图像处理方法、计算机装置与流程

1.本发明涉及图像处理技术领域，具体涉及一种图像处理方法、计算机装置。


背景技术：

2.目前用于人行环境中的物件识别模型，在街景辨识时有可能会遇到误判情况。一旦发生误判情况，则极有可能让大众对于运用该物件识别模型的设施如无人驾驶汽车丧失信任度。
3.当前，为了提升物件识别模型的识别准确率，一般是通过优化训练集进行重复训练而得到更优异的物件识别模型。如何优化训练集则显得尤其重要。


技术实现要素：

4.鉴于以上内容，有必要提出一种图像处理方法、计算机装置，可以有效提升图像分割的准确率。
5.所述图像处理方法包括：获取检测图像以及该检测图像对应的标签图像；利用预设的分割模型对所述检测图像进行分割，获得第一分割图像；基于所述标签图像对所述第一分割图像进行校正，获得第二分割图像；及调整所述第二分割图像的尺寸，将调整后的所述第二分割图像作为所述检测图像的标准分割图像。
6.优选地，所述基于所述标签图像对所述第一分割图像进行校正，获得第二分割图像包括：设定超分辨率的倍数；根据所述标签图像，基于所设定的超分辨率的倍数对所述第一分割图像执行超分辨率处理，获得所述第二分割图像。
7.优选地，所述根据所述标签图像，基于所设定的超分辨率的倍数对所述第一分割图像执行超分辨率处理，获得所述第二分割图像包括：根据所设定的超分辨率的倍数以及所述第一分割图像的尺寸创建一张参考图像；根据所述第一分割图像，为所述参考图像中的指定像素点设定rgb值；根据所述指定像素点的rgb值以及所述标签图像为其他像素点设定rgb值，所述其他像素点是指所述参考图像中，除所述指定像素点之外的像素点；及当所述参考图像的所述指定像素点以及其他像素点的rgb值设定完后，将该参考图像作为所述第二分割图像。
8.优选地，所述指定像素点是指所述参考图像中位于每个奇数行的每个奇数位置的像素点；其中，所述根据所述第一分割图像，为所述参考图像中的指定像素点设定rgb值包括：获取所述第一分割图像的每行所有像素点的rgb值；及根据所获取的每行所有像素点的rgb值，设置所述指定像素点的rgb值。
9.优选地，所述根据所述指定像素点的rgb值以及所述标签图像为其他像素点设定rgb值包括：根据任意一个其他像素点在所述参考图像中的位置，从所述标签图像中确定与该任意一个其他像素点所对应的标签像素点；根据任意一个其他像素点在所述参考图像中的位置确定与该任意一个其他像素点相邻的两个相邻像素点，并计算所述两个相邻像素点的rgb值的平均值，将所计算获得的rgb值的平均值作为所述任意一个其他像素点的参考
rgb值；比较所述任意一个其他像素点的参考rgb值与所述任意一个其他像素点对应的标签像素点的rgb值；当该任意一个其他像素点的参考rgb值与该任意一个其他像素点对应的标签像素点的rgb值相同时，将该任意一个其他像素点的rgb值设置为等于该任意一个其他像素点的参考rgb值；及当该任意一个其他像素点的参考rgb值与该任意一个其他像素点对应的标签像素点的rgb值不相同时，根据该任意一个其他像素点的参考rgb值以及与该任意一个其他像素点对应的标签像素点的rgb值设置该任意一个其他像素点的rgb值。
10.优选地，所述调整所述第二分割图像的尺寸包括:将所述第二分割图像等比例缩放，使得等比例缩放后的该第二分割图像的尺寸等于所述检测图像的尺寸。
11.所述计算机装置包括：处理器；存储器，所述存储器用于存储至少一个指令，所述处理器用于执行所述至少一个指令以实现以下步骤：获取检测图像以及该检测图像对应的标签图像；利用预设的分割模型对所述检测图像进行分割，获得第一分割图像；基于所述标签图像对所述第一分割图像进行校正，获得第二分割图像；及调整所述第二分割图像的尺寸，将调整后的所述第二分割图像作为所述检测图像的标准分割图像。
12.优选地，所述基于所述标签图像对所述第一分割图像进行校正，获得第二分割图像包括：设定超分辨率的倍数；根据所述标签图像，基于所设定的超分辨率的倍数对所述第一分割图像执行超分辨率处理，获得所述第二分割图像。
13.优选地，所述根据所述标签图像，基于所设定的超分辨率的倍数对所述第一分割图像执行超分辨率处理，获得所述第二分割图像包括：根据所设定的超分辨率的倍数以及所述第一分割图像的尺寸创建一张参考图像；根据所述第一分割图像，为所述参考图像中的指定像素点设定rgb值；根据所述指定像素点的rgb值以及所述标签图像为其他像素点设定rgb值，所述其他像素点是指所述参考图像中，除所述指定像素点之外的像素点；及当所述参考图像的所述指定像素点以及其他像素点的rgb值设定完后，将该参考图像作为所述第二分割图像。
14.优选地，所述指定像素点是指所述参考图像中位于每个奇数行的每个奇数位置的像素点；其中，所述根据所述第一分割图像，为所述参考图像中的指定像素点设定rgb值包括：获取所述第一分割图像的每行所有像素点的rgb值；及根据所获取的每行所有像素点的rgb值，设置所述指定像素点的rgb值。
15.相较于现有技术，本发明提供的图像处理方法、计算机装置，可以有效提升图像分割的准确率，由此使得基于本发明所分割的图像所训练获得物件识别模型的准确率也可以得到提升。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
17.图1是本发明较佳实施例提供的图像处理方法的流程图。
18.图2举例说明像素点rgb的设定。
19.图3是本发明较佳实施例提供的图像处理系统的功能模块图。
20.图4是本发明较佳实施例提供的计算机装置的结构图。
21.主要元件符号说明
22.计算机装置3图像处理系统30获取模块301执行模块302存储器31处理器32第一分割图像5参考图像6显示屏33
23.如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
24.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
25.在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
27.图1是本发明较佳实施例提供的图像处理方法的流程图。
28.在本实施例中，所述图像处理方法可以应用于计算机装置中，对于需要进行图像处理的计算机装置，可以直接在计算机装置上集成本发明的方法所提供的用于图像处理的功能，或者以软件开发工具包(software development kit，sdk)的形式运行在计算机装置上。
29.如图1所示，所述图像处理方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
30.步骤s1、获取检测图像以及该检测图像对应的标签图像。
31.本实施例中，所述检测图像可以是街景图像、或者是对其他指定的物件所拍摄的图像。
32.所述标签图像可以是指对所述检测图像中的每个物件所在区域作了标识的图像。本实施例中，所述检测图像的尺寸与所述标签图像的尺寸相同。
33.举例而言，假设所述检测图像为一街景图像，在该街景图像中包括马路、电线杆，以及行人，那么所述标签图像则是指在所述检测图像中对该马路、电线杆，以及行人分别所在区域加以标识后的图像。
34.本实施例中，所述检测图像可以是用于训练物件识别模型的样本图像。
35.步骤s2、利用预设的分割模型对所述检测图像进行分割，获得第一分割图像。
36.本实施例中，所述分割模型可以包含一特征提取模型以及一分类模型。该特征提取模型用于提供不同场景间的不同对象的判别机率，该分类模型用于进行上采样(upsample)并进行像素级别类型的判定，最终输出一块完整的分割图像。所述特征提取模型可以是指vgg、resnet等，所述上采样的模型可以是指fcn(fully convolutional networks)或fully connected crf等。
37.需要说明的是，一般来讲，利用分割模型对所述检测图像进行分割后所获得的所述第一分割图像的尺寸会小于所述检测图像的尺寸。步骤s3、基于所述标签图像对所述第一分割图像进行校正，获得第二分割图像。
38.本实施例中，所述基于所述标签图像对所述第一分割图像进行校正，获得第二分割图像包括：设定超分辨率的倍数；以及根据所述标签图像，基于所设定的超分辨率的倍数对所述第一分割图像执行超分辨率处理，获得所述第二分割图像。
39.在一个实施例中，可以响应用户的输入来设定所述超分辨率的倍数，或者由系统开发人员直接设定好所述超分辨率的倍数。优选地，所述超分辨率的倍数为2或者4。
40.在一个实施例中，所述根据所述标签图像，基于所设定的超分辨率的倍数对所述第一分割图像执行超分辨率处理，获得所述第二分割图像包括(a1)-(a1)：
41.(a1)根据所设定的超分辨率的倍数以及所述第一分割图像的尺寸创建一张参考图像。
42.举例而言，假设所述第一分割图像的尺寸为60*120，设定所述超分辨率的倍数为4倍，那么所述参考图像的尺寸则为240*480。
43.在一个实施例中，所述参考图像的每个像素点的初始rgb值相同。例如都为0或者255。
44.(a2)根据所述第一分割图像，为所述参考图像中的指定像素点设定rgb值。
45.在一个实施例中，所述指定像素点是指所述参考图像中位于每个奇数行的每个奇数位的像素点。
46.举例而言，参阅图2所示，假设第一分割图像5的尺寸为4*4，所设定的超分辨率的倍数为2倍，基于该第一分割图像5以及所设定的超分辨率的倍数2倍创建了参考图像6，该参考图像6的尺寸为8*8。那么在所述参考图像6中，位于每个奇数行即第1、3、5、7行中的每个奇数位的像素点(如像素点p1’、p3’、p5’、p7’、p17’、p19’、p21’、p23
’……
p49’、p51’、p53’、p55’)即为所述指定像素点。
47.在一个实施例中，所述根据所述第一分割图像，为所述参考图像中的指定像素点设定rgb值包括(a21)-(a22)：
48.(a21)获取所述第一分割图像的每行所有像素点的rgb值。
49.(a22)根据所获取的每行所有像素点的rgb值，设置所述指定像素点的rgb值。
50.具体地，首先可以按照从上到下的顺序将所述第一分割图像的每行与所述参考图像中的其中一个奇数行建立关联。
51.例如，将所述第一分割图像的第一行与所述参考图像中的第一个奇数行(也即是第一行)建立关联；将所述第一分割图像的第二行与所述参考图像中的第二个奇数行(也即是第三行)建立关联；将所述第一分割图像的第三行与所述参考图像中的第三个奇数行(也
即是第五行)建立关联；以及将所述第一分割图像的第四行与所述参考图像中的第四个奇数行(也即是第七行)建立关联。
52.然后按照从左到右的顺序，将所述参考图像中每行所对应的所述指定像素点的rgb值设定为等于所述第一分割图像中对应行的对应像素点的rgb值。
53.举例而言，仍然参阅图2所示，假设获取到第一分割图像5的第一行的像素点p1、p2、p3、p4中的每个像素点的rgb值，然后即可将所述参考图像6中与该第一分割图像5的第一行所关联的奇数行(也即是所述参考图像6的第一行)的奇数位的像素点p1’、p3’、p5’、p7’的rgb值分别设定为等于像素点p1、p2、p3、p4的rgb值。即设定像素点p1’的rgb值等于像素点p1的rgb值；设定像素点p3’的rgb值等于像素点p2的rgb值；设定像素点p5’的rgb值等于像素点p3的rgb值；设定像素点p7’的rgb值等于像素点p4的rgb值。类似地，设定像素点p17’的rgb值等于像素点p5的rgb值；设定像素点p19’的rgb值等于像素点p6的rgb值；设定像素点p21’的rgb值等于像素点p7的rgb值；设定像素点p23’的rgb值等于像素点p8的rgb值。
54.(a3)根据所述指定像素点的rgb值以及所述标签图像为其他像素点设定rgb值，所述其他像素点是指所述参考图像中，除所述指定像素点之外的像素点。
55.在一个实施例中，所述根据所述指定像素点的rgb值以及所述标签图像为其他像素点设定rgb值包括(a31)-(a35)：
56.(a31)根据任意一个其他像素点在所述参考图像中的位置，从所述标签图像中确定与该任意一个其他像素点所对应的像素点(为清楚简单说明本发明，以下将所述标签图像中与该任意一个其他像素点所对应的像素点称为“标签像素点”)。
57.本实施例中，与该任意一个其他像素点所对应的标签像素点在所述标签图像中的位置与该任意一个其他像素点在所述参考图像中的位置相同。本实施例中所提及的位置可以是指坐标。
58.(a32)根据该任意一个其他像素点在所述参考图像中的位置确定与该任意一个其他像素点相邻的两个相邻像素点，并计算所述两个相邻像素点的rgb值的平均值，将所计算获得的rgb值的平均值作为所述任意一个其他像素点的参考rgb值。
59.本实施例中，与所述任意一个其他像素点相邻的两个相邻像素点可以是指第一组像素点或者第二组像素点。该第一组像素点包括位于所述任意一个其他像素点的左边的第一个像素点以及位于所述任意一个其他像素点的右边的第一个像素点。该第二组像素点包括位于所述任意一个其他像素点的上边的第一个像素点以及位于所述任意一个其他像素点的下边的第一个像素点。
60.优选地，与所述任意一个其他像素点相邻的两个相邻像素点为所述第一组像素点。
61.需要说明的是，当任意一个其他像素点既不存在所述第一组像素点也不存在所述第二组像素点时，与所述任意一个其他像素点相邻的两个相邻像素点可以是指所述位于所述任意一个其他像素点的左边的第一个像素点、位于所述任意一个其他像素点的右边的第一个像素点、位于所述任意一个其他像素点的上边的第一个像素点以及位于所述任意一个其他像素点的下边的第一个像素点中的任意两者的组合。
62.(a33)比较所述任意一个其他像素点的参考rgb值与所述任意一个其他像素点对
应的标签像素点的rgb值。
63.(a34)当该任意一个其他像素点的参考rgb值与该任意一个其他像素点对应的标签像素点的rgb值相同时，将该任意一个其他像素点的rgb值设置为等于该任意一个其他像素点的参考rgb值。
64.(a35)当该任意一个其他像素点的参考rgb值与该任意一个其他像素点对应的标签像素点的rgb值不相同时，根据该任意一个其他像素点的参考rgb值以及与该任意一个其他像素点对应的标签像素点的rgb值设置该任意一个其他像素点的rgb值。
65.在一个实施例中，所述任意一个其他像素点的rgb值可以等于该任意一个其他像素点的参考rgb值与该任意一个其他像素点对应的标签像素点的rgb值的平均值。
66.(a4)当所述参考图像的所述指定像素点以及其他像素点的rgb值设定完后，将该参考图像作为所述第二分割图像。
67.步骤s4、调整所述第二分割图像的尺寸，将调整后的所述第二分割图像作为所述检测图像的标准分割图像。
68.本实施例中，所述调整所述第二分割图像的尺寸包括:将所述第二分割图像等比例缩放(例如等比例放大或者等比例缩小)，使得等比例缩放后的该第二分割图像的尺寸等于所述检测图像的尺寸。
69.本实施例中，可以基于上述步骤s1-s4对作为训练集的每个样本图像进行分割，以及基于每个样本图像所对应的标准分割图像训练物件识别模型。由此使得训练获得物件识别模型的准确率也可以得到相应的提升。
70.上述图1详细介绍了本发明的图像处理方法，下面结合图3和图4，对实现所述图像处理方法的软件系统的功能模块以及实现所述图像处理方法的硬件装置架构进行介绍。
71.应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
72.参阅图3所示，是本发明较佳实施例提供的图像处理系统的模块图。
73.在一些实施例中，所述图像处理系统30运行于计算机装置3中。所述图像处理系统30可以包括多个由程序代码段所组成的功能模块。所述图像处理系统30中的各个程序段的程序代码可以存储于计算机装置3的存储器31中，并由至少一个处理器32所执行，以实现图像处理功能(详见图2描述)。
74.本实施例中，所述图像处理系统30根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：获取模块301、执行模块302。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
75.具体地，获取模块301可以用于获取检测图像以及该检测图像对应的标签图像。执行模块302可以利用预设的分割模型对所述检测图像进行分割，获得第一分割图像。执行模块302还可以基于所述标签图像对所述第一分割图像进行校正，获得第二分割图像；及调整所述第二分割图像的尺寸，将调整后的所述第二分割图像作为所述检测图像的标准分割图像。
76.参阅图4所示，为本发明较佳实施例提供的计算机装置的结构示意图。在本发明较佳实施例中，所述计算机装置3包括存储器31、至少一个处理器32、显示屏33。本领域技术人员应该了解，图4示出的计算机装置的结构并不构成本发明实施例的限定，既可以是总线型
结构，也可以是星形结构，所述计算机装置3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
77.在一些实施例中，所述计算机装置3包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的终端，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。
78.需要说明的是，所述计算机装置3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。
79.在一些实施例中，所述存储器31用于存储程序代码和各种数据，例如安装在所述计算机装置3中的图像处理系统30，并在计算机装置3的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器31包括只读存储器(read-only memory，rom)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read-only memory，eprom)、一次可编程只读存储器(one-time programmable read-only memory，otprom)、电子擦除式可复写只读存储器(electrically-erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者任何其他能够用于携带或存储数据的计算机可读的存储介质。
80.在一些实施例中，所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器32是所述计算机装置3的控制核心(control unit)，利用各种接口和线路连接整个计算机装置3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行计算机装置3的各种功能和处理数据，例如执行图像处理的功能。
81.尽管未示出，所述计算机装置3还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述计算机装置3还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。
82.应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
83.上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是服务器、个人电脑等)或处理器(processor)执行本发明各个实施例所述方法的部分。
84.在进一步的实施例中，结合图3，所述至少一个处理器32可执行所述计算机装置3的操作装置以及安装的各类应用程序(如所述的图像处理系统30)、程序代码等，例如，上述的各个模块。
85.所述存储器31中存储有程序代码，且所述至少一个处理器32可调用所述存储器31中存储的程序代码以执行相关的功能。例如，图3中所述的各个模块是存储在所述存储器31中的程序代码，并由所述至少一个处理器32所执行，从而实现所述各个模块的功能以达到
图像处理的目的。
86.在本发明的一个实施例中，所述存储器31存储一个或多个指令(即至少一个指令)，所述至少一个指令被所述至少一个处理器32所执行以实现图1所示的图像处理的目的。
87.在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
88.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
89.另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
90.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
91.最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。