一种图像处理方法、装置、电子设备和存储介质与流程

1.本发明涉及图像处理技术领域，具体涉及一种图像处理方法、装置、电子设备和存储介质。


背景技术：

2.目前，可通过多分类任务模型实现交通对象(例如交通标识)的分类识别，但由于交通对象众多，且容易受到远距离或物体遮挡等影响，因此存在识别准确率不高的问题。


技术实现要素：

3.为解决现有存在的技术问题，本发明实施例提供一种图像处理方法、装置、电子设备和存储介质。
4.为达到上述目的，本发明实施例的技术方案是这样实现的：
5.本发明实施例提供了一种图像处理方法，所述方法包括：
6.获取行驶设备上安装的图像采集装置采集的视频流，从所述视频流中确定包含特定交通对象的多帧图像；
7.确定所述多帧图像中的每帧图像中的特定交通对象的类别及其置信度；
8.基于所述多帧图像中的特定交通对象的类别的置信度的比较结果，确定置信度不满足预设条件的类别的校正信息。
9.上述方案中，从所述视频流中确定包含特定交通对象的多帧图像，包括：
10.确定所述视频流中的包含交通对象的图像中的交通对象在图像中的第一区域；
11.针对每个第一区域，在所述第一区域内确定第二区域，所述第二区域小于所述第一区域；
12.基于各个第二区域的信息，从所述包含交通对象的图像中挑选包含第一类别的交通对象的图像作为包含特定交通对象的多帧图像，所述第一类别为所述特定交通对象所属的类别。
13.上述方案中，所述第二区域为所述第一区域的中心区域，所述第二区域的信息为所述第一区域的特征图的中心区域的信息。
14.上述方案中，所述基于各个第二区域的信息，从所述包含交通对象的图像中挑选包含第一类别的交通对象的图像，包括：
15.分别对所述各个第二区域进行特征提取，基于提取的特征确定所述各个第二区域的像素点的第一相似度；
16.将位置信息满足第一预设条件，且所述第一相似度满足第二预设条件的第二区域所在的图像确定为包含第一类别的交通对象的图像。
17.上述方案中，所述确定所述多帧图像中的每帧图像中的特定交通对象的类别及其置信度，包括：
18.确定所述多帧图像中的每帧图像中的第一类别的交通对象的置信度最大的细分
类别及其置信度，所述第一类别为所述特定交通对象所属的类别。
19.上述方案中，所述基于所述多帧图像中的特定交通对象的类别的置信度的比较结果，确定置信度不满足预设条件的交通对象的校正信息，包括：
20.基于所述多帧图像中的所述第一类别的交通对象的置信度最大的细分类别的置信度的比较结果，确定最大置信度不满足预设条件的第一类别的交通对象的细分类别的校正信息。
21.上述方案中，所述确定所述多帧图像中的每帧图像中的第一类别的交通对象的置信度最大的细分类别及其置信度，包括：
22.确定所述多帧图像中的每帧图像中的第一类别的交通对象与各个第二类别的模板图像之间的第二相似度，各个第二类别为第一类别的细分类别；
23.基于所述第二相似度确定所述每帧图像中第一类别的交通对象的置信度最大的细分类别及其置信度。
24.上述方案中，所述基于所述多帧图像中的所述第一类别的交通对象的置信度最大的细分类别的置信度的比较结果，确定最大置信度不满足预设条件的第一类别的交通对象的细分类别的校正信息，包括：
25.响应于所述多帧图像中的第一图像中的第一类别的交通对象的置信度最大的细分类别的置信度满足第三预设条件，且所述多帧图像中的第二图像中的第一类别的交通对象的置信度最大的细分类别的置信度不满足第三预设条件，将所述第二图像中的第一类别的交通对象的置信度最大的细分类别设置为与所述第一图像中的第一类别的交通对象的置信度最大的细分类别相同的类别。
26.上述方案中，所述基于所述多帧图像中的所述第一类别的交通对象的置信度最大的细分类别的置信度的比较结果，确定最大置信度不满足预设条件的第一类别的交通对象的细分类别的校正信息，包括：
27.响应于所述多帧图像中的所述第一类别的交通对象的置信度最大的细分类别的置信度均不满足第三预设条件，输出表示所述交通对象的分类结果不能确定的提示信息。
28.本发明实施例还提供了一种图像处理装置，所述装置包括：获取单元、第一确定单元、第二确定单元和第三确定单元；其中，
29.所述获取单元，用于获取行驶设备上安装的图像采集装置采集的视频流；
30.所述第一确定单元，用于从所述视频流中确定包含特定交通对象的多帧图像；
31.所述第二确定单元，用于确定所述多帧图像中的每帧图像中的特定交通对象的类别的置信度；
32.所述第三确定单元，用于基于所述多帧图像中的特定交通对象的类别的置信度的比较结果，确定置信度不满足预设条件的类别的校正信息。
33.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述图像处理方法的步骤。
34.本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例所述图像处理方法的步骤。
35.本发明实施例提供的图像处理方法、装置、电子设备和存储介质，所述方法包括：
获取行驶设备上安装的图像采集装置采集的视频流，从所述视频流中确定包含特定交通对象的多帧图像；确定所述多帧图像中的每帧图像中的特定交通对象的类别及其置信度；基于所述多帧图像中的特定交通对象的类别的置信度的比较结果，确定置信度不满足预设条件的类别的校正信息。采用本发明实施例的技术方案，根据多帧图像中的特定交通对象的类别的置信度的比较结果，对置信度不满足预设条件的类别进行校正，即利用特定交通对象的高可靠性的分类结果，对低可靠性的分类结果进行校正，一方面能够提高图像中的交通对象的分类准确度，另一方面能够为下游的决策控制提供可靠的依据，便于后续的实时控制。
附图说明
36.图1为本发明实施例的图像处理方法的应用场景示意图；
37.图2为本发明实施例的图像处理方法的流程示意图；
38.图3为本发明实施例的图像处理方法中的分类结果示意图；
39.图4为本发明实施例的图像处理方法中的分类结果的可靠性示意图；
40.图5为本发明实施例的图像处理装置的组成结构示意图；
41.图6为本发明实施例的电子设备的硬件组成结构示意图。
具体实施方式
42.下面结合附图及具体实施例对本发明作进一步详细的说明。
43.目前的交通对象的识别主要通过一个单层多分类器来实现，由于交通对象类别众多，且容易受到远距离、物体遮挡等影响，因此存在着难以标注、不能实现准确分类等问题。图1为本发明实施例的图像处理方法的应用场景示意图；如图1所示，下图中第21帧(frame21)图像由于距离过远导致不能识别交通标志牌内容；第51帧(frame51)图像由于树干遮挡，交通标志牌易被识别为限速30；第55帧(frame55)图像同样由于树干遮挡，交通标志牌易被识别为限速60；最终在第60帧(frame60)图像，交通标志牌可以被正确认为限速50。
44.为解决上述问题，本发明实施例中，电子设备根据多帧图像中的特定交通对象的类别的置信度的比较结果，对置信度不满足预设条件的类别进行校正，即利用特定交通对象的高可靠性的分类结果，对特定交通对象的低可靠性的分类结果进行校正，一方面能够提高图像中的交通对象的分类准确度，另一方面能够为下游的决策控制提供可靠的依据。
45.本发明各实施例中，交通对象可以是道路上的任意对象，例如可包括交通标志牌、道路标识、交通参与者和交通指示灯中的至少一种对象。
46.需要说明的是，在本公开实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
47.例如，本公开实施例提供的图像处理方法包含了一系列的步骤，但是本公开实施
例提供的图像处理方法不限于所记载的步骤，同样地，本公开实施例提供的图像处理装置包括了一系列模块，但是本公开实施例提供的装置不限于包括所明确记载的模块，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。
48.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
49.本发明实施例提供了一种图像处理方法。图2为本发明实施例的图像处理方法的流程示意图；如图2所示，所述方法包括：
50.步骤101：获取行驶设备上安装的图像采集装置采集的视频流，从所述视频流中确定包含特定交通对象的多帧图像；
51.步骤102：确定所述多帧图像中的每帧图像中的特定交通对象的类别及其置信度；
52.步骤103：基于所述多帧图像中的特定交通对象的类别的置信度的比较结果，确定置信度不满足预设条件的类别的校正信息。
53.本实施例的图像处理方法应用于电子设备中，所述电子设备可以是车载设备，也可以是云平台或其他计算机设备。示例性的，车载设备可以是安装在行驶设备上的瘦客户机、厚客户机、基于微处理器的系统、小型计算机系统，等等，云平台可以是包括小型计算机系统或大型计算机系统的分布式云计算技术环境等等。其中，所述行驶设备例如可以是道路上行驶的各种车辆，以下实施例中均以行驶设备为车辆为例进行说明。
54.本实施例中，车载设备可以与车辆的传感器、定位装置等通信连接，车载设备可以通过通信连接获取车辆的传感器采集的数据、以及定位装置上报的地理位置信息等。示例性的，车辆的传感器可以是毫米波雷达、激光雷达、摄像头等设备中的至少一种；定位装置可以是基于以下至少一种定位系统的用于提供定位服务的装置：全球定位系统(gps，global positioning system)、北斗卫星导航系统或伽利略卫星导航系统。
55.在一个示例中，车载设备可以为高级辅助驾驶系统(adas，advanced driving assistant system)，adas设置在车辆上，adas可以从车辆的定位装置中获取车辆的实时位置信息，和/或，adas可以从车辆的传感器中获得表示车辆周围环境信息的图像数据、雷达数据等等。其中，可选地，adas可以将包括车辆的实时位置信息的车辆行驶数据发送至云平台，如此，云平台可以接收到车辆的实时位置信息和/或表示车辆周围环境信息的图像数据、雷达数据等等。
56.本实施例中，通过设置在行驶设备上的图像采集装置(即上述传感器，如摄像头)获得视频流，图像采集装置伴随行驶设备的移动而实时采集行驶设备周围的道路图像或环境图像，也即所述视频流可以是行驶设备在行驶状态下连续采集的周围环境或场景得到的连续图像。
57.在一些可选实施例中，电子设备可通过分类网络识别所述视频流中的每帧图像，确定每帧图像中包括特定交通对象，以及特定交通对象的类别。示例性的，所述视频流可作为分类网络的输入数据，通过分类网络对视频流中的各帧图像进行特征提取，基于提取出的特征确定图像中的特定交通对象，确定特定交通对象在图像中的第一区域，以及确定特定交通对象的类别。其中，所述特定交通对象的类别可以是多个交通对象分类中的一个类
别。例如预先将各交通对象划分为多个类别，每个类别中可包含一种或多种交通对象。特定交通对象所属的类别可以是上述预划分一个类别。
58.在一些可选实施例中，确定所述多帧图像中的每帧图像中的特定交通对象的类别的置信度，可包括：确定所述多帧图像中的每帧图像中的特定交通对象的类别的模板图像，计算特定交通对象与模板图像之间的相似度，基于所述相似度确定特定交通对象的类别的置信度。
59.本实施例中，电子设备中存储有各个类别的模板图像。电子设备在确定特定交通对象的类别后，将特定交通对象所在的第一区域的图像与对应类别的模板图像进行比对，计算特定交通对象与对应类别的模板图像之间的相似度，计算出的相似度可作为特定交通对象的类别的置信度。
60.本实施例中，电子设备基于所述多帧图像中的特定交通对象的类别的置信度的比较结果，确定置信度不满足预设条件的类别的校正信息，也即对置信度不满足预设条件的类别进行校正。其中，示例性的，置信度不满足预设条件可以是置信度小于预设阈值。
61.可选地，所述基于所述多帧图像中的特定交通对象的类别的置信度的比较结果，确定置信度不满足预设条件的类别的校正信息，包括：响应于所述多帧图像中的第一图像中的特定交通对象的类别的置信度满足预设条件，且所述多帧图像中的第二图像中的所述特定交通对象的类别的置信度不满足所述预设条件，将所述第二图像中的所述特定交通对象的类别设置为所述第一图像中的所述特定交通对象的类别。其中，所述第一图像和所述第二图像的先后顺序不限，即所述第一图像在所述第二图像之后，或者，所述第一图像在所述第二图像之前。
62.本实施例中，电子设备可利用针对特定交通对象的高可靠性的分类结果，校正该特定交通对象的低可靠性的分类结果，实现了对置信度不满足预设条件的类别进行校正，能够为下游模块(例如控制模块、决策模块等)提供充分的依据，便于后续的实时控制。
63.在本发明的一些可选实施例中，从所述视频流中确定包含特定交通对象的多帧图像，包括：确定所述视频流中的包含交通对象的图像中的交通对象在图像中的第一区域；针对每个第一区域，在所述第一区域内确定第二区域，所述第二区域小于所述第一区域；基于各个第二区域的信息，从所述包含交通对象的图像中挑选包含第一类别的交通对象的图像作为包含特定交通对象的多帧图像，所述第一类别为所述特定交通对象所属的类别。
64.本实施例中，电子设备确定视频流中的各帧图像中的交通对象在图像中的第一区域，也即获得交通对象在图像中的检测框(例如矩形框)，检测框在图像中的区域也即第一区域；进而在视频流包括的各图像中的第一区域内确定第二区域。
65.可选地，所述第二区域为所述第一区域的中心区域，所述第二区域的信息为所述第一区域的特征图的中心区域的信息。
66.作为一种示例，所述第二区域的确定方式可以是：将所述第一区域(即交通对象的检测框)的长度和宽度等比例的缩小，缩小后的区域作为第二区域，该第二区域也可称为所述第一区域的中心区域。作为另一种示例，所述第二区域的确定方式还可以是：按照交通对象的被遮挡程度将所述第一区域的长度和宽度进行非等比例的缩小，缩小后依据交通对象的被遮挡位置移动中心点，从而得到第二区域。以图1中的第51帧图像或第55帧图像为例，通过对交通对象进行检测，发现交通对象的左侧被遮挡，因此可针对该交通对象所在的第
一区域(即交通对象的检测框)的长度和宽度进行非等比例的缩小，缩小后由于交通对象的左侧被遮挡，可将缩小后的区域向右移动(移动后的区域也在第一区域内)，从而得到第二区域，这样使得第二区域内尽可能多的保留交通对象的特征，减少遮挡物的特征。
67.本实施例中，电子设备基于图像中的第二区域的信息，从包含交通对象的图像中筛选包含第一类别的交通对象的图像，将多帧包含第一类别的交通对象的图像作为包含特定交通对象的多帧图像，所述第一类别为所述特定交通对象所属的类别。
68.在一些可选实施例中，所述基于各个第二区域的信息，从所述包含交通对象的图像中挑选包含第一类别的交通对象的图像，包括：分别对所述各个第二区域进行特征提取，基于提取的特征确定所述各个第二区域的像素点的第一相似度；将位置信息满足第一预设条件、且所述第一相似度满足第二预设条件的第二区域所在的图像确定为包含第一类别的交通对象的图像。其中，第一类别为特定交通对象所属的类别。
69.其中，可选地，所述包含交通对象的图像中的第二区域的位置信息满足第一预设条件，具体可以是所述包含交通对象的图像中的任意相邻两帧图像中的第二区域的位置信息之间的距离，即第二区域在其所在图像中的位置之间的差异，小于第一阈值。其中，所述距离可以是在指定坐标系(例如像素坐标系、图像坐标系等)下的距离。
70.可选地，所述第一相似度满足第二预设条件，具体可以是指所述第一相似度大于或等于第二阈值。
71.示例性的，以所述包含交通对象的图像包括第一图像和第二图像为例，所述第二图像为所述第一图像后的一帧图像；一种示例中，第二图像可以是第一图像的后一帧图像，另一种示例中，第二图像也可以是第一图像后、相隔几帧的图像。例如图1中，第一图像可以是第21帧图像，第二图像可以是第51帧图像、第55帧图像或第60帧图像。
72.电子设备分别对第一图像和第二图像进行交通对象识别，确定交通对象在第一图像中的第一区域以及交通对象在第二图像中的第一区域。本示例中，针对识别出的第一图像中的交通对象进行追踪(tracking)，具体是采用小于交通对象所在的第一区域的第二区域进行追踪，考虑到遮挡的情况通常会遮挡到交通对象的边缘，因此采用第二区域进行追踪，对遮挡具有鲁棒性。
73.例如，将所述第一区域(即检测框)的长度和宽度等比例的缩小，缩小后的区域作为第二区域，该第二区域也可称为所述第一区域的中心区域。进一步地，基于第一图像中的第二区域的像素点和第二图像中的第二区域的像素点，确定所述第一图像和所述第二图像中的交通对象是否为第一类别的交通对象。
74.具体的，可对第一图像中的第二区域的像素点进行特征提取处理，对第二图像中的第二区域的像素点进行特征提取处理，基于分别提取出的特征计算二者之间的相似程度(这里记为第一相似度)；在所述第一位置信息和所述第二位置信息满足第一预设条件以及所述第一相似度满足第二预设条件时，确定所述第一图像和所述第二图像中对应于所述第二区域的交通对象为第一类别。其中，所述第一位置信息可以是第一图像中的第二区域的中心点的坐标，所述第二位置信息可以是第二图像中的第二区域的中心点坐标。
75.其中，可选的，所述第一位置信息和所述第二位置信息满足第一预设条件，具体可以是所述第一位置信息和所述第二位置信息之间的距离(例如第一图像中的第二区域的中心点坐标与第二图像中的第二区域的中心点坐标之间的距离)小于第一阈值。其中，所述距
离可以是在指定坐标系(例如像素坐标系、图像坐标系等)下的距离。例如在像素坐标系下，确定第一位置信息对应的第一中心点坐标，确定第二位置信息对应的第二中心点坐标，将第一中心点坐标和第二中心点坐标做差得到所述第一位置信息和所述第二位置信息之间的距离。实际应用中，由于图像采集的帧间隔极小，因此在不同的帧图像中，如果包括第一类别的交通对象，则该交通对象在不同的帧图像中的位置也是相近的。
76.可选的，所述第一相似度满足第二预设条件，具体可以是所述第一相似度大于或等于第二阈值；在所述第一相似度大于或等于第二阈值的情况下，可确定第一图像中第二区域的交通对象和第二图像中第二区域的交通对象为相同类别，即第一类别的对象(但可能不是相同的交通对象)；再结合上述第一位置信息和第二位置信息满足第一预设条件，可确定第一图像中对应于第二区域的交通对象和第二图像中对应于第二区域的交通对象为相同的交通对象。
77.在一种情况下，可分别对各图像中的第二区域进行特征提取，基于提取的特征确定各图像中的第二区域的像素点的第一相似度；在所述第一相似度满足第二预设条件时，可确定各图像中的交通对象为相同类别(如第一类别)。这种情况可认定各图像中的交通对象为相同类别(如第一类别)，但可能不是同一个交通对象。在另一种情况下，在上述确定第一相似度的基础上，在各图像中的第二区域的位置信息满足第一预设条件，且所述第一相似度满足第二预设条件的情况下，可确定各图像中的交通对象为相同类别(如第一类别)。这种情况可认定各图像中的交通对象为相同类别(如第一类别)，并且是同一个交通对象。也就是说，本实施例中所述的第一类别的交通对象，不仅限于至少两帧图像中的交通对象所属类别相同，还可以包括至少两帧图像中的交通对象是相同交通对象的情况。
78.在具体实施时，确定至少两帧图像中的交通对象是相同交通对象可以采用以下方案：针对每帧图像中识别出的交通对象，均可分配其对应的唯一标识(id)，以便于在不同帧图像之间识别出相同的交通对象；响应于多帧图像中的交通对象为相同类别(如第一类别)的情况，将为所述多帧图像中的所述交通对象分配的所述第一标识关联。
79.本实施例中，以多帧图像包括第一图像和第二图像为例，在识别出第一图像中的交通对象(例如记为对象1)后，为所述交通对象(对象1)分配第一标识；在确定第二图像中对应于所述第二区域的交通对象(例如记为对象2)与所述第一图像中对应于第二区域的交通对象(对象1)属于相同类别(如第一类别)时，则可将为对象1分配的第一标识与对象2进行关联，即对象1和对象2均关联第一标识，以此作为相同类别(如第一类别)的交通对象。或者，为对象1分配第一标识，为对象2分配第二标识；在确定对象1和对象2属于相同类别(如第一类别)时，关联第一标识和第二标识，例如可将第二标识替换为第一标识，即对象1和对象2均关联第一标识，以此作为相同类别(如第一类别)的交通对象。
80.在本发明的一些可选实施例中，所述确定所述多帧图像中的每帧图像中的特定交通对象的类别及其置信度，包括：确定所述多帧图像中的每帧图像中的第一类别的交通对象的置信度最大的细分类别及其置信度，所述第一类别为所述特定交通对象所属的类别。
81.相应的，所述基于所述多帧图像中的特定交通对象的类别的置信度的比较结果，确定置信度不满足预设条件的交通对象的校正信息，包括：基于所述多帧图像中的所述第一类别的交通对象的置信度最大的细分类别的置信度的比较结果，确定最大置信度不满足预设条件的第一类别的交通对象的细分类别的校正信息。
82.本实施例中，电子设备先确定交通对象的第一类别(即粗分类别)，进而确定交通对象在第一类别中的细分类别，也即先对交通对象进行粗粒度分类，再对交通对象在该粗粒度分类中进行细粒度分类。
83.可选地，电子设备可通过第一层网络识别所述视频流中的各帧图像，确定各帧图像中包括相同类别(第一类别)的交通对象，也即检测各帧图像中的交通对象，并且确定检测到的交通对象属于相同类别(即第一类别)。示例性的，所述视频流可作为第一层网络的输入数据，通过第一层网络对视频流中的各帧图像进行特征提取，基于提取出的特征确定每帧图像中的交通对象，确定交通对象在每帧图像中的第一区域，确定交通对象的类别(如粗分类别)，也即输出每帧图像中的交通对象的检测框以及交通对象所属的类别(粗分类别)；进而从中确定属于相同类别(这里记为第一类别)的交通对象的多帧图像。其中，可选地，所述多帧图像可以是视频流中的连续的或不连续帧图像。例如，视频流包括100帧图像，确定的包含第一类别的交通对象的多帧图像可以是其中的第10帧到第50帧图像，或者也可以是从100帧图像中的第5帧、第15帧、第25帧、第35帧、第45帧图像等，本实施例中对此不做限定。
84.在一些可选实施例中，所述特定交通对象的所属类别(包括第一类别)为多个交通对象分类中的一个类别。可以理解，所述第一层网络是基于交通对象分类预先训练获得的，通过第一层网络对图像的处理，可以得到图像中的交通对象是否属于预标注的交通对象分类以及属于哪一种交通对象分类。
85.示例性的，以交通对象为交通标识(例如包括交通标志牌和道路标识)为例，由于交通标识类别众多，因此本实施例中，预先对各种交通标识进行分类，例如图3中的上半部分所示，交通标识分类可预先分为速度类标识、人行道类标识、警告类标识、停止类标识等等；假设对视频流中的各帧图像中的交通对象进行识别，即可筛选出包含“速度类标识”类别的交通对象的多帧图像。实际应用中，可依据各交通标识的功能或作用进行分类。在其他实施例中，也可采用其他分类方式，本实施例对此不做限定。
86.进一步地，通过第一层网络确定出包括相同类别(即第一类别)的交通对象的多帧图像后，通过第二层网络对多帧图像中的每帧图像中的第一类别的交通对象进行细分类处理，得到每帧图像中的第一类别的交通对象的细分类别及其置信度。
87.本实施例中，所述第二层网络可以是对应于交通对象所属类别的分类网络。可选地，第二层网络的数量可对应于交通对象所属类别的数量，也即每种交通对象所属类别均可对应一个第二层网络，每个第二层网络中均预先标注对应的交通对象所属类别中的细分类别。以图3所示的速度类标识为例，速度类标识可包括80千米每小时(km/h)速度标识、40km/h速度标识、120km/速度标识、70km/h速度标识等等。则确定交通对象为速度类标识后，通过对应的第二层网络的分类处理，可得到该交通对象的置信度最大的细分类别及其置信度，例如该交通对象的置信度最大的细分类别可以是70km/h速度标识。
88.在其他实施方式中，第二层网络也可对应于多个交通对象所属类别。以交通对象为交通标识为例，第二层网络可用于识别“单向(one)类标识”、“转向(turn)类标识”和“车道(lane)类标识”中的细分类别。又或者，第二层网络可包括多个用于分类处理的分支网络，每个分支网络可用于对一类或多类交通对象所属类别对应的细分类别进行识别。示例性的，电子设备在识别出交通对象所属类别(如第一类别)后，剪切出交通对象所在的第一
区域对应的子图像，将该子图像输入至该第一类别对应的分支网络，以用于对第一类别下的细分类别的识别。
89.如此，先确定交通对象的第一类别(粗分类别)，进而确定交通对象在第一类别中的细分类别，也即先对交通对象进行粗粒度分类，再对交通对象在该粗粒度分类中进行细粒度分类，能够提高图像中的交通对象(例如交通标志牌、道路标识等)的分类精度；尤其在目前通过单层多分类器识别类别众多的交通对象的情况下，解决由于类别众多存在的难以标注、无法准确分类的问题。
90.在本发明的一些可选实施例中，所述确定所述多帧图像中的每帧图像中的第一类别的交通对象的置信度最大的细分类别及其置信度，包括：确定所述多帧图像中的每帧图像中的第一类别的交通对象与各个第二类别的模板图像之间的第二相似度，各个第二类别为第一类别的细分类别；基于所述第二相似度确定所述每帧图像中第一类别的交通对象的置信度最大的细分类别及其置信度。
91.本实施例中，电子设备中存储有各个第二类别的模板图像。电子设备在确定交通对象的第一类别后，将图像(具体是交通对象所在区域的特征图)与各个第二类别的模板图像进行比对，确定每帧图像中的第一类别的交通对象与各个第二类别的模板图像之间的相似度(这里记为第二相似度)。其中，最大的第二相似度也可作为该交通对象的细分类别(如第二类别)的置信度，或者，交通对象的细分类别(如第二类别)的置信度也可根据最大的第二相似度计算得到。
92.示例性的，图4所示，第60帧(frame60)图像中的交通对象与各个第二类别的模板图像进行比对，确定其与“50km/h速度标识”的第二相似度为100％；第55帧(frame55)图像中的交通对象与各个第二类别的模板图像进行比对，确定其与“60km/h速度标识”的第二相似度为50％；第51帧(frame51)图像中的交通对象与各个第二类别的模板图像进行比对，确定其与“30km/h速度标识”的第二相似度为40％；第21帧(frame21)图像中的交通对象与各个第二类别的模板图像进行比对，确定其与“禁止掉头标识”的第二相似度为80％。从各个第二相速度中确定置信度最大的细分类别及其置信度，上述示例中，最大的置信度为100％，其对应的细分类别为“50km/h速度标识”。
93.示例性的，在多帧图像中的交通对象所属的第二类别对应的最大置信度大于或等于第三阈值的情况下，确定交通对象所属第二类别的置信度(即可靠性)为高；相应的，在所述多帧图像中的交通对象所属的第二类别对应的最大置信度小于所述第三阈值的情况下，确定交通对象所属第二类别的置信度(即可靠性)为低。如图4所示，第60帧(frame60)图像中的交通对象所属第二类别对应的最大置信度为100％，其认定为高可靠性；而第21帧(frame21)图像中，交通对象所属第二类别对应的最大置信度为80％，第51帧(frame51)图像中，交通对象所属第二类别对应的最大置信度为40％，第55帧(frame55)图像中，交通对象所属第二类别对应的最大置信度为50％，其均可认定为低可靠性。
94.其中，需要说明的是，上述第三阈值可依据实际情况确定。作为一种实施方式，可依据各帧图像对应的最大置信度确定第三阈值。例如100帧图像，其中最大置信度为100％的图像占比为80％，最大置信度为80％的图像占比为15％，最大置信度为50％的图像占比为5％，则可认为图像的分类结果较为可靠，则可将所述第三阈值的取值设定较高，例如设置为90％甚至95％。相应的，若图像中的最大置信度计算结果总体不太高，则可将所述第三
阈值的取值设定的小一些。本实施例中对此不做限定。
95.本实施例中，电子设备基于所述多帧图像中的所述第一类别的交通对象的置信度最大的细分类别的置信度的比较结果，确定最大置信度不满足预设条件的第一类别的交通对象的细分类别的校正信息，从而对最大置信度不满足预设条件的第一类别的交通对象的细分类别进行校正，进而提高视频流中的交通对象的分类精度，为下游的决策控制提供可靠的依据。
96.在本发明的一些可选实施例中，所述基于所述多帧图像中的所述第一类别的交通对象的置信度最大的细分类别的置信度的比较结果，确定最大置信度不满足预设条件的第一类别的交通对象的细分类别的校正信息，包括：响应于所述多帧图像中的第一图像中的第一类别的交通对象的置信度最大的细分类别的置信度满足第三预设条件，且所述多帧图像中的第二图像中的第一类别的交通对象的置信度最大的细分类别的置信度不满足第三预设条件，将所述第二图像中的第一类别的交通对象的置信度最大的细分类别设置为与所述第一图像中的第一类别的交通对象的置信度最大的细分类别相同的类别。
97.其中，示例性的，所述置信度满足第三预设条件具体可以是所述置信度大于或等于第四阈值。
98.本实施例中，所述多帧图像中的第一图像和第二图像的先后顺序不限，即所述第一图像在所述第二图像之后，或者，所述第一图像在所述第二图像之前。
99.在一些可选实施例中，所述第二图像为所述第一图像后的一帧图像。本实施例适用于对图像进行实时检测的场景。
100.示例性的，所述置信度满足第三预设条件，可以表明可靠程度高或可靠性高；相应的，所述置信度不满足第三预设条件，可以表明可靠程度低或可靠性低。针对相同类别(第一类别)的交通对象，在第一图像中、所述交通对象的最大的第二类别(即细分类别)的置信度高(满足第三预设条件)，且第二图像中所述交通对象的最大的第二类别(即细分类别)的置信度低(不满足第三预设条件)，则可采用第一图像中的高可靠性的细分类结果(即最大的第二类别)替换第二图像中的低可靠性的细分类结果(即最大的第二类别)。
101.上述实施例适用于对图像的实时检测分类过程，例如存在遮挡造成的在后的图像的分类结果不准确。
102.例如，表1为校正前的分类示意，表2为校正后的分类示意。参照表1所示，通过对五帧图像的实时检测以及分类，得到标识id分别为1、2、3和4的四个交通对象(其中前两帧图像的交通对象为相同交通对象，因此采用相同的id)以及每个交通对象的第一分类和第二分类，以及对应的置信度。通过对交通对象进行跟踪确定该四个交通对象为相同交通对象，则将该四个交通对象关联相同的标识id为1，并且采用高可靠性的细分类结果替换低可靠性的细分类结果，如表2所示，将低可靠性的细分类结果均被替换为高可靠性的细分类结果为：第一分类为速度，第二分类为50，置信度为高。
103.表1
104.标识id11234第一分类速度速度禁止速度速度第二分类5050禁止通过3050置信度高高低低高
105.表2
106.标识id11111第一分类速度速度速度速度速度第二分类5050505050置信度高高-高高
107.本实施例通过利用高可靠性的细分类结果校正相同交通对象的低可靠性的细分类结果(置信度最大的细分类别)，实现了对最大置信度不满足预设条件的第一类别的交通对象的细分类别进行校正，能够为下游模块(例如控制模块、决策模块等)提供充分的依据，便于后续的实时控制。
108.在另一些可选实施例中，所述第一图像为所述第二图像后的一帧图像。本实施例适用于训练数据分类错误的场景。
109.本实施例中，上述图像(包括第一图像和第二图像)以及分类结果均是用于训练网络模型的。在存在利于距离远导致的分类错误的情况下，例如图1所示的场景，第21帧(frame21)帧图像由于距离较远，识别出的细分类结果为低可靠性(或置信度)；而随着逐渐靠近交通对象，相应的采集到的图像越来愈清晰，细分类结果的可靠性也会变化，例如第60帧(frame60)的分类结果处于高可靠性(或置信度)。则为了优化训练数据，可将在后的、处于高可靠性的第一图像的细分类结果替换在先的、处于低可靠性的第二图像的细分类结果。
110.例如，表3为校正前的分类示意，表4为校正后的分类示意。参照表3所示，通过对五帧图像的实时检测以及分类，得到标识id分别为1、2、3和4的四个交通对象(其中前两帧图像的交通对象为相同交通对象，因此采用相同的id)以及每个交通对象的第一分类和第二分类，以及对应的置信度。通过对交通对象进行跟踪确定该四个交通对象为相同交通对象，则将该四个交通对象关联相同的标识id为1，参照表4所示。对于相同类别(第一类别)的交通对象，由于前几帧图像的细分类结果的可靠性低(不满足第三预设条件)，第五帧图像中该相同交通对象的细分类结果的可靠性高(满足第三预设条件)，则将前几帧对应的低可靠性的细分类结果均被替换为高可靠性的细分类结果，替换的细分类结果为：第一分类为速度，第二分类为50，置信度为高。
111.表3
112.标识id11234第一分类禁止速度速度速度速度第二分类速度30306050置信度低低低低高
113.表4
114.标识id11111第一分类速度速度速度速度速度第二分类5050505050置信度高高高高高
115.在本发明的一些可选实施例中，所述基于所述多帧图像中的所述第一类别的交通
对象的置信度最大的细分类别的置信度的比较结果，确定最大置信度不满足预设条件的第一类别的交通对象的细分类别的校正信息，包括：响应于所述多帧图像中的所述第一类别的交通对象的置信度最大的细分类别的置信度均不满足第三预设条件，输出表示所述交通对象的分类结果不能确定的提示信息。
116.本实施例中，若多帧图像中、每帧图像中第一类别的交通对象的置信度最大的细分类别的置信度均不满足第三预设条件，即每帧图像中第一类别的交通对象的置信度最大的细分类别的置信度均小于第四阈值，也即每帧图像中第一类别的交通对象的置信度最大的细分类别的可靠性较低，则不能确定该交通对象的细分类别，输出表示分类结果不能确定的提示信息。
117.例如，参照前述表3的分类结果，通过对五帧图像的实时检测以及分类，得到标识id分别为1、2、3和4的四个交通对象(其中前两帧图像的交通对象为相同交通对象，因此采用相同的id)以及每个交通对象的第一分类和第二分类，以及对应的置信度。通过对交通对象进行跟踪确定该四个交通对象为相同交通对象，则将该四个交通对象关联相同的标识id为1，参照表5所示。假定当前采集到第四帧图像，由于前三帧图像中相同交通对象对应的第二分类的分类结果均是低置信度，第四帧图像中相同交通对象对应的第二分类的分类结果依旧是低置信度(不满足第三预设条件)，则输出表示分类结果不能确定的提示信息。进一步地，随着采集到第五帧图像，检测到第五帧图像中相同交通对象对应的第二分类的分类结果是高置信度(满足第三预设条件)，则可输出高置信度的分类结果，即速度为50km/h的细分类结果。
118.表5
[0119][0120][0121]
基于上述方法实施例，本发明实施例还提供了一种图像处理装置。图5为本发明实施例的图像处理装置的组成结构示意图；如图5所示，所述装置包括：获取单元21、第一确定单元22、第二确定单元23和第三确定单元24；其中，
[0122]
所述获取单元21，用于获取行驶设备上安装的图像采集装置采集的视频流；
[0123]
所述第一确定单元22，用于从所述视频流中确定包含特定交通对象的多帧图像；
[0124]
所述第二确定单元23，用于确定所述多帧图像中的每帧图像中的特定交通对象的类别及其置信度；
[0125]
所述第三确定单元24，用于基于所述多帧图像中的特定交通对象的类别的置信度的比较结果，确定置信度不满足预设条件的类别的校正信息。
[0126]
在本发明的一些可选实施例中，所述第一确定单元22，用于确定所述视频流中的包含交通对象的图像中的交通对象在图像中的第一区域；针对每个第一区域，在所述第一区域内确定第二区域，所述第二区域小于所述第一区域；基于各个第二区域的信息，从所述包含交通对象的图像中挑选包含第一类别的交通对象的图像，将多帧包含第一类别的交通
对象的图像作为包含特定交通对象的多帧图像，所述第一类别为所述特定交通对象所属的类别。
[0127]
在本发明的一些可选实施例中，所述第二区域为所述第一区域的中心区域，所述第二区域的信息为所述第一区域的特征图的中心区域的信息。
[0128]
在本发明的一些可选实施例中，所述第一确定单元22，用于分别对所述各个第二区域进行特征提取，基于提取的特征确定所述各个第二区域的像素点的第一相似度；将位置信息满足第一预设条件、且所述第一相似度满足第二预设条件的第二区域所在的图像确定为包含第一类别的交通对象的图像。
[0129]
在本发明的一些可选实施例中，所述第二确定单元23，用于确定所述多帧图像中的每帧图像中的第一类别的交通对象的置信度最大的细分类别及其置信度，所述第一类别为所述特定交通对象所属的类别。
[0130]
在本发明的一些可选实施例中，所述第三确定单元24，用于基于所述多帧图像中的所述第一类别的交通对象的置信度最大的细分类别的置信度的比较结果，确定最大置信度不满足预设条件的第一类别的交通对象的细分类别的校正信息。
[0131]
在本发明的一些可选实施例中，所述第二确定单元23，用于确定所述多帧图像中的每帧图像中的第一类别的交通对象与各个第二类别的模板图像之间的第二相似度，各个第二类别为第一类别的细分类别；基于所述第二相似度确定所述每帧图像中第一类别的交通对象的置信度最大的细分类别及其置信度。
[0132]
在本发明的一些可选实施例中，所述第三确定单元24，用于响应于所述多帧图像中的第一图像中的第一类别的交通对象的置信度最大的细分类别的置信度满足第三预设条件，且所述多帧图像中的第二图像中的第一类别的交通对象的置信度最大的细分类别的置信度不满足第三预设条件，将所述第二图像中的第一类别的交通对象的置信度最大的细分类别设置为与所述第一图像中的第一类别的交通对象的置信度最大的细分类别相同的类别。
[0133]
在本发明的一些可选实施例中，所述第三确定单元24，用于响应于所述多帧图像中的所述第一类别的交通对象的置信度最大的细分类别的置信度均不满足第三预设条件，输出表示所述交通对象的分类结果不能确定的提示信息。
[0134]
本发明实施例中，所述装置中的获取单元21、第一确定单元22、第二确定单元23和第三确定单元24，在实际应用中均可由中央处理器(cpu，central processing unit)、数字信号处理器(dsp，digital signal processor)、微控制单元(mcu，microcontroller unit)或可编程门阵列(fpga，field－programmable gate array)实现。
[0135]
需要说明的是：上述实施例提供的图像处理装置在进行图像处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0136]
本发明实施例还提供了一种电子设备，图6为本发明实施例的电子设备的硬件组成结构示意图，如图6所示，所述电子设备包括存储器32、处理器31及存储在存储器32上并可在处理器31上运行的计算机程序，所述处理器31执行所述程序时实现本发明实施例所述
图像处理方法的步骤。
[0137]
可选地，所述电子设备还可包括用户接口33和网络接口34。其中，用户接口33可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
[0138]
可选地，电子设备中的各个组件通过总线系统35耦合在一起。可理解，总线系统35用于实现这些组件之间的连接通信。总线系统35除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统35。
[0139]
可以理解，存储器32可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read-only memory)、可擦除可编程只读存储器(eprom，erasable programmable read-only memory)、电可擦除可编程只读存储器(eeprom，electrically erasable programmable read-only memory)、磁性随机存取存储器(fram，ferromagnetic random access memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom，compact disc read-only memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，random access memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，static random access memory)、同步静态随机存取存储器(ssram，synchronous static random access memory)、动态随机存取存储器(dram，dynamic random access memory)、同步动态随机存取存储器(sdram，synchronous dynamic random access memory)、双倍数据速率同步动态随机存取存储器(ddrsdram，double data rate synchronous dynamic random access memory)、增强型同步动态随机存取存储器(esdram，enhanced synchronous dynamic random access memory)、同步连接动态随机存取存储器(sldram，synclink dynamic random access memory)、直接内存总线随机存取存储器(drram，direct rambus random access memory)。本发明实施例描述的存储器32旨在包括但不限于这些和任意其它适合类型的存储器。
[0140]
上述本发明实施例揭示的方法可以应用于处理器31中，或者由处理器31实现。处理器31可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器31中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器31可以是通用处理器、dsp，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器31可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器32，处理器31读取存储器32中的信息，结合其硬件完成前述方法的步骤。
[0141]
在示例性实施例中，电子设备可以被一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、fpga、通用处理器、控制器、mcu、微处理器(microprocessor)、或其他电子元件实现，用于执行前述方法。
[0142]
在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，例如包括
计算机程序的存储器32，上述计算机程序可由电子设备的处理器31执行，以完成前述方法所述步骤。计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、flash memory、磁表面存储器、光盘、或cd-rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
[0143]
本发明实施例提供的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述的图像处理方法的步骤。
[0144]
本技术所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
[0145]
本技术所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
[0146]
本技术所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
[0147]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0148]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0149]
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0150]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0151]
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0152]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。