一种目标对象的识别方法和装置与流程

1.本发明涉及图像处理技术领域，尤其涉及一种目标对象的识别方法和装置。


背景技术：

2.图像识别(image identification)是指利用深度学习算法对图像进行处理、分析和理解，以识别各种不同模式的目标和对象。
3.现有的车辆行驶过程中，车端服务器为了识别视野内的目标对象(比如，红绿灯)，通常是确定出感兴趣区域，把感兴趣区域通过resize函数调整至模型检测所需尺度，进而进行模型检测。
4.然而，在模型的有限检测区域下，如果视野范围内包括多个目标对象，现有的裁剪方式无法做到兼顾，可能造成目标丢失；如果采用增加batch size的方式进行检测，需要占用的车端资源也就越大，使得车端服务器的负载压力过大、响应延时等，用户体验差，严重情况下甚至会导致车端服务器崩溃引起安全事故。


技术实现要素：

5.有鉴于此，本发明实施例提供一种目标对象的识别方法和装置，能够实现在有限检测区域内可以涵盖更多数量、更高优先级的目标对象，并且不会消耗额外的车端资源，从而实现目标对象的多区域检测，提升了用户体验，保障行车安全和车端服务的稳定性。
6.为实现上述目的，根据本发明实施例的一个方面，提供了一种目标对象的识别方法，包括：
7.获取车端图像包括的多个待检测目标对象的当前优先级；其中，所述当前优先级是根据车辆的行驶数据确定的；
8.根据预训练的图像检测模型的目标输入尺度和所述当前优先级，确定所述车端图像的多个预处理区域；其中，所述预处理区域包括一个或多个所述待检测目标对象；
9.根据多个所述预处理区域，对所述车端图像进行处理，将处理结果作为所述图像检测模型的输入，以识别所述目标对象。
10.可选地，所述根据图像检测模型的目标输入尺度和所述当前优先级，确定所述车端图像的多个预处理区域，包括：
11.根据所述目标输入尺度，确定所述待检测目标对象的目标区域尺度；
12.根据预设边缘尺度和所述目标区域尺度，确定多个所述待检测目标对象的候选区域集合；其中，所述候选区域集合包括多个候选区域框，所述候选区域框内包括一个或多个待检测目标对象；
13.根据所述候选区域集合内的所述待检测目标对象的当前优先级和目标数量，确定所述多个预处理区域。
14.可选地，所述根据预设边缘尺度和所述目标区域尺度，确定多个所述待检测目标对象的候选区域集合，包括：
15.根据所述预设边缘尺度和所述目标区域尺度，生成与所述待检测目标对象对应的多个候选区域框；
16.根据所述候选区域框的尺度，对多个所述候选区域框进行排序；
17.按照排序结果，确定所述车端图像包括的全部所述待检测目标对象的多个候选区域，组成所述候选区域集合。
18.可选地，所述确定所述车端图像包括的全部所述待检测目标对象的多个候选区域，包括：
19.从最小候选区域框开始，循环执行以下步骤，直至所述候选区域包括最多个待检测目标对象：
20.a1：根据所述候选区域框的尺度，确定与所述候选区域框对应的待检测目标对象距离最近的一个或者多个其它待检测目标对象；
21.a2：确定包括与所述候选区域框对应的待检测目标对象和其它待检测目标对象的区域尺度是否小于或等于所述候选区域框的尺度，如果是，转至步骤a3；如果否，转至步骤a4；
22.a3：将所述其它待检测目标对象添加为所述候选区域框对应的待检测目标对象，转至步骤a1；
23.a4：将任一角度的所述候选区域框作为候选区域。
24.可选地，所述根据所述候选区域集合内的所述待检测目标对象的当前优先级和目标数量，确定所述多个预处理区域，包括：
25.根据所述候选区域包括的所述待检测目标对象的当前优先级和目标数量，确定所述候选区域集合包括的每一个所述候选区域的候选优先级；
26.确定所述候选优先级最高的所述候选区域为第一类预处理区域，其余的所述候选区域为第二类预处理区域。
27.可选地，所述根据所述候选区域包括的所述待检测目标对象的当前优先级和目标数量，确定所述候选区域集合包括的每一个所述候选区域的候选优先级，包括：
28.在所述候选区域包括的所述待检测目标对象的目标数量为一个的情况下，所述候选优先级为所述待检测目标对象的当前优先级；
29.在所述候选区域包括的所述待检测目标对象的目标数量为多个的情况下，所述候选优先级为多个所述待检测目标对象的当前优先级之和。
30.可选地，所述车端图像对应所述车辆的相机坐标系；所述根据所述目标输入尺度，确定所述待检测目标对象的目标区域尺度，包括：
31.根据所述车辆的行驶数据，确定所述待检测目标对象的实物尺寸；
32.在所述相机坐标系下，根据所述实物尺寸和所述目标输入尺度，确定所述待检测目标对象的目标区域尺度。
33.可选地，所述根据多个所述预处理区域，对所述车端图像进行处理，将处理结果作为所述图像检测模型的输入，包括：
34.根据多个所述预处理区域和预设的裁剪尺度，对所述车端图像进行裁剪，得到多个裁剪区域；
35.将多个所述裁剪区域进行拼接；
36.根据拼接结果，确定所述图像检测模型的输入。
37.可选地，还包括：
38.根据所述图像检测模型的当前检测结果，调整所述第二类预处理区域对应的所述目标对象的优先级；
39.根据调整后的所述目标对象的优先级，确定所述目标对象的当前优先级；
40.根据调整后的所述目标对象的当前优先级，重新执行所述根据图像检测模型的目标输入尺度和所述当前优先级，确定所述图像检测模型的目标检测结果。
41.可选地，还包括：
42.对所述图像检测模型的目标检测结果进行归一化处理；
43.根据所述归一化处理的处理结果，确定所述图像检测模型的输出；
44.根据所述图像检测模型的输出，识别所述目标对象。
45.可选地，所述图像检测模型是根据修改后的输入尺度训练得到的；其中，所述修改后的输入尺度对应多个目标对象的多区域检测。
46.根据本发明实施例的再一个方面，提供了一种目标对象的识别装置，包括：
47.获取模块，用于获取车端图像包括的多个待检测固有目标的当前优先级；其中，所述当前优先级是根据车辆的行驶数据确定的；
48.预处理模块，用于根据预训练的图像检测模型的目标输入尺度和所述当前优先级，确定所述车端图像的多个预处理区域；其中，所述预处理区域包括一个或多个所述待检测固有目标；
49.识别模块，用于根据多个所述预处理区域，对所述车端图像进行处理，将处理结果作为所述图像检测模型的输入，以识别所述固有目标。
50.根据本发明实施例的另一个方面，提供了一种目标对象的识别的电子设备，包括：
51.一个或多个处理器；
52.存储装置，用于存储一个或多个程序，
53.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明提供的目标对象的识别方法。
54.根据本发明实施例的还一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明提供的目标对象的识别方法。
55.上述发明中的一个实施例具有如下优点或有益效果：因为采用对现有的图像检测模型进行改进，使得图像检测模型可以进行多区域检测，进而根据训练好的图像检测模型的目标输入尺度，确定待检测目标对象的目标尺度；根据待检测目标对象的目标尺度确定其目标区域尺度；在目标区域尺度的基础上，构建候选区域框，以从最小候选区域框开始，将包括尽可能多的待检测目标对象为目的，确定候选区域集；再根据待检测目标对象的初始优先级、目标数量，确定候选区域优先级，得到多种类型的预处理区域(包括稳定优先级区域和动态切换区域)；对预处理区域进行裁剪、拼接以生成图像检测模型的输入；根据检测结果调整目标对象的优先级，以获得最终的目标检测结果；对目标检测结果进行归一化处理以及nms融合，从而得到图像检测模型的输出，以确定包括多个待检测目标对象的车端图像的多区域检测结果的技术手段，所以克服了现有的检测模型检测多个目标对象的车端图像时可能造成目标丢失；通过增加batch size的方法需要消耗极大的车端资源，使得车
端服务器的负载压力过大、响应延时等，用户体验差，严重情况下甚至会导致车端服务器崩溃引起安全事故的技术问题，进而达到能够实现在有限检测区域内可以涵盖更多数量、更高优先级的目标对象，并且不会消耗额外的车端资源，从而实现目标对象的多区域检测，提升了用户体验，保障行车安全和车端服务的稳定性的技术效果。
56.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
57.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
58.图1是根据本发明实施例的目标对象的识别方法的主要流程的示意图；
59.图2是根据本发明实施例的图像检测模型的训练方法的主要流程的示意图；
60.图3是根据本发明实施例的预处理区域的确定方法的主要流程的示意图；
61.图4是根据本发明实施例的候选区域的确定方法的主要流程的示意图；
62.图5是根据本发明实施例的图像检测模型的输入的确定方法的主要流程的示意图；
63.图6是根据本发明实施例的图像检测模型多区域检测的示意图；
64.图7是根据本发明实施例的目标对象的优先级的调整方法的主要流程的示意图；
65.图8是根据本发明实施例的图像检测模型的输出的确定方法的主要流程的示意图；
66.图9是根据本发明实施例的目标对象的识别装置的主要模块的示意图；
67.图10示出了适于应用于本发明实施例的目标对象的识别方法或目标对象的识别装置的示例性系统架构图；
68.图11是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
69.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
70.尺度：即scale，用于表示各个区域对应的像素尺寸大小，比如，候选区域、检测区域等；其中，尺度可以是区间值。
71.padding：填充属性定义元素边框与元素内容之间的空间。通过设置元素的内边距属性，比如，增加各个边的pixels(像素)的数量，保证特征图不会过小，以防止原图信息丢失。
72.图1是根据本发明实施例的目标对象的识别方法的主要流程的示意图，如图1所示，本发明的目标对象的识别方法包括如下步骤：
73.在现有的目标对象检测中，图像检测模型普遍只检测车端图像的单区域的目标对象，单区域尺寸多种多样，输入图像检测模型的是车端图像的单区域resize后的检测区域
(比如，宽640
×
高320)；其中，resize()函数用于修改图片尺寸、或者调整图片的比例使得其与目标尺寸相同。面对多个目标对象的检测任务，现有的图像检测模型需要增加batch size的数量，由于batch size并非越大约好(较优的batch size可以使得服务器gpu满载运行、并且使得模型的训练和使用速度最优)，在有限的车端资源下，不断增加batch size会使得车端服务器负载越来越大，极易导致服务器响应延时、甚至崩溃无法提供服务，影响驾驶员的正常驾驶，导致突发事故等；并且，为了获得较优的检测效果，需要根据图像中目标对象的成像区域尺度，裁剪对应的检测区域，使其维持在图像检测模型较好的检测尺度之内，但是，在有限的检测区域尺度下，现有的图像裁剪方式较为随机，无法识别车辆视野内较为重要的目标对象。
74.通过本发明的目标对象的识别方法，可以在有限的车端资源、以及图像检测模型有限的检测尺度下，根据目标对象的优先级确定区域优先级，在区域优先级的基础上对车端图像进行裁剪及拼接，作为经过训练可以进行多区域检测的图像检测模型的输入，实现有限检测区域内尽可能更多、更高优先级的多个目标对象的多区域同时检测，从而保持检测区域的稳定性和多样性，使得不同目标对象均存在被选择的可能性，并且不会消耗额外的车端资源。
75.由于图像检测模型的输入对应的目标对象的多区域检测尺度不同，对应的图像检测模型的输出的准确性也不同。针对不同的区域检测尺度，输出的准确性类似于正太分布，也即，目标对象过大或者过小都不易于检测，因此，本发明的目标对象的识别方法希望多区域的目标对象的处于较优的检测范围，故而，如何使得尽可能更多、更高优先级的目标对象的尺度处于图像检测模型的最优检测尺度范围内，即成为本发明的目标对象的识别方法的实现目的。
76.步骤s101，获取车端图像包括的多个待检测目标对象的当前优先级；其中，所述当前优先级是根据车辆的行驶数据确定的。
77.在本发明实施例中，目标对象主要是指车辆的视野范围内的一些固定目标，比如，红绿灯、路桩、标志建筑物等特征比较固定的建筑。
78.在本发明实施例中，车辆的行驶数据包括地图数据，地图数据包括车辆的视野范围内的待检测目标对象oi的位置信息和路线信息。
79.在本发明实施例中，根据待检测目标对象oi的位置信息和路线信息，确定待检测目标对象oi的当前优先级prior(oi)，或者，可以根据检测任务的类型和应用场景确定车辆视野内的待检测目标对象oi的当前优先级prior(oi)；其中，车辆视野与车端图像相对应。
80.在本发明实施例中，不同类型的目标对象的优先级确定原则不同，相应的优先级确定算法不同，比如，目标对象为红绿灯，优先级确定算法与红绿灯的位置关系和逻辑关系相关。
81.步骤s102，根据预训练的图像检测模型的目标输入尺度和所述当前优先级，确定所述车端图像的多个预处理区域；其中，所述预处理区域包括一个或多个所述待检测目标对象。
82.在本发明实施例中，预训练的图像检测模型可以实现有限检测区域内的车端图像的多个目标对象的多区域检测，且无需消耗额外的车端资源。目标输入尺度是预训练的图像检测模型已经确定的，对应图像检测模型的检测效果较好的检测尺度，目标输入尺度为
区间值，使得最终根据对应一个或多个待检测目标对象的多个裁剪区域确定的模型输入在区间值内即可，多个裁剪区域是由多个预处理区域基于待检测目标对象进行裁剪后确定的，模型输入是多个裁剪区域拼接的结果，模型输入对应有限的检测区域。
83.在本发明实施例中，预处理区域包括第一类预处理区域和第二类预处理区域，第一类预处理区域为稳定优先级区域priorarea
p
，第二类预处理区域为动态切换区域switchareaq。
84.在本发明实施例中，如图2所示，本发明的图像检测模型的训练方法包括如下步骤：
85.步骤s201，修改图像检测模型的输入尺度。
86.在本发明实施例中，利用区域构造的方法，改变图像检测模型的输入尺度，使得现有的单区域检测下有限的检测区域可以实现多个目标对象的多区域检测，也即，一张车端图像的单区域检测转变为一张车端图像的多区域检测，改变后的图像检测模型的输入对应目标输入尺度。
87.目标输入尺度指示了改变后的图像检测模型的检测区域的像素尺寸，检测区域包括多个待检测目标对象对应的多个裁剪区域，相应地，根据目标输入尺度对车端图像的预处理区域进行裁剪，可以实现多个裁剪区域的拼接结果满足图像检测模型的输入，进而进行车端图像的多个待检测目标对象的多区域检测；其中，一个裁剪区域可以包括一个或多个待检测目标对象。
88.在预处理区域的基础上裁剪待检测目标对象的裁剪尺度为size_crop，一张车端图像对应多个预处理区域，多个预处理区域的区域尺度可以相同或者不同，待检测目标对象的裁剪尺度相同，也即，按照裁剪尺度裁剪预处理区域中的待检测目标对象，进而将裁剪结果拼接为图像检测模型的输入，图像检测模型的输入对应图像检测模型的检测区域，可以实现待检测目标对象的多区域检测。比如，图像检测模型的目标输入尺度size_input＝n*n，n*n可以是目标输入尺度的像素尺寸(比如，长*宽)，为了使裁剪区域与目标输入尺度size_input满足预期比例关系，可以根据检测区域包括的裁剪区域的数量，确定裁剪尺度，具体地：
89.假使图像检测模型同时检测2个区域，相应地，检测区域包括2个裁剪区域，裁剪尺度size_crop可以是size_crop＝n/2*n，按照n/2*n的裁剪尺度裁剪预处理区域的待检测目标对象，得到2个n/2*n的裁剪区域，将2个裁剪区域拼接为检测区域，如此，即可实现一次检测多区域(即，多区域检测)。依次类推，假使图像检测模型同时检测4个区域，则每个裁剪尺度可以是size_crop＝n/2*n/2。
90.在本发明实施例中，目标输入尺度也可以通过图像数据通道的格式进行表示，根据实际需要进行选择即可。
91.步骤s202，对图像检测模型进行训练。
92.在本发明实施例中，根据修改后的图像检测模型的输入尺度，对图像检测模型进行训练，使得训练后的图像检测模型可以进行多区域检测。
93.在本发明实施例中，通过本发明的图像检测模型的训练方法，能够对图像检测模型进行改进，使得其可以适应车端图像的目标对象的多区域检测，并且无需消耗额外的车端资源，提高了模型的检测效率。
94.在本发明实施例中，如图3所示，本发明的预处理区域的确定方法包括如下步骤：
95.步骤s301，根据所述目标输入尺度，确定所述待检测目标对象的目标区域尺度。
96.步骤s3011，根据所述车辆的行驶数据，确定所述待检测目标对象的实物尺寸。
97.在本发明实施例中，车端图像对应车辆的相机坐标系，车辆的行驶数据的地图数据包括待检测目标对象的实物尺寸，位置信息包括位置坐标。
98.步骤s3012，在所述相机坐标系下，根据所述实物尺寸和所述目标输入尺度，确定所述待检测目标对象的目标区域尺度。
99.在本发明实施例中，目标输入尺度指示了图像检测模型的检测区域中最适合检测待检测目标对象的目标尺度(也即，在输入图像检测模型之前，待检测目标对象裁剪后的预期像素尺寸)，即，待检测目标对象的裁剪尺度size_crop，目标输入尺度对应图像检测模型的检测区域的尺度，检测区域对应多个目标尺度，多个目标尺度相同，一个目标尺度下可以包括一个或多个待检测目标对象。根据预训练的图像检测模型的检测区域对应的目标尺度的个数，确定目标尺度。比如，目标输入尺度为n*n，预训练的图像检测模型的检测区域对应的目标尺度的个数为4，确定目标尺度为n/2*n/2。
100.在相机坐标系下，根据待检测目标对象的实物尺寸、位置坐标和目标尺度，基于相机成像原理，确定待检测目标对象在车端图像内的目标区域尺度；其中，待检测目标对象的目标尺度是图像检测模型训练后确定的。
101.进一步地，根据待检测目标对象的的实物尺寸、相机投影距离、目标尺度，确定待检测目标对象的目标区域尺度si。
102.步骤s302，根据预设边缘尺度和所述目标区域尺度，确定多个所述待检测目标对象的候选区域集合；其中，所述候选区域集合包括多个候选区域框，所述候选区域框内包括一个或多个待检测目标对象。
103.在本发明实施例中，根据预设边缘尺度和目标区域尺度，利用padding填充的方法，确定待检测目标对象的区域裁剪尺度，保证特征图的信息完整性。在区域裁剪尺度的基础上，生成对应的候选区域框，从而尽可能多地获取待检测目标对象及其周边环境，以生成候选区域，组成包括多个待检测目标对象的候选区域集合。
104.在本发明实施例中，如图4所示，本发明的候选区域的确定方法包括如下步骤：
105.步骤s401，根据所述预设边缘尺度和所述目标区域尺度，生成与所述待检测目标对象对应的多个候选区域框。
106.在本发明实施例中，为了避免待检测目标对象落入区域边缘导致待检测目标对象被截断，设置边缘尺度，以确定各个待检测目标对象的区域裁剪尺度scalei，如下式所示：
107.scalei＝s
i-mi108.其中，预设边缘尺度mi为10px，或者，预设边缘尺度mi可以根据需要进行选择性设置。
109.进一步地，根据待检测目标对象的区域裁剪尺度scalei，生成不同的候选区域框b1、b2、
…
、bn；其中，候选区域框内包括待检测目标对象。
110.步骤s402，根据所述候选区域框的尺度，对多个所述候选区域框进行排序。
111.在本发明实施例中，根据尺度由小到大的顺序，对多个候选区域框进行排序，并确定其中尺度最小的候选区域框为最小候选区域框。
112.步骤s403，按照排序结果，确定所述车端图像包括的全部所述待检测目标对象的多个候选区域，组成所述候选区域集合。
113.在本发明实施例中，从最小候选区域框开始，循环执行步骤s4031-s4034，直至候选区域包括最多个待检测目标对象。
114.步骤s4031，根据所述候选区域框的尺度，确定与所述候选区域框对应的待检测目标对象距离最近的一个或者多个其它待检测目标对象。
115.在本发明实施例中，将最小区域框作为当前候选区域框，确定当前候选区域框的尺度、以及当前候选区域框对应的当前待检测目标对象。根据当前候选区域框的尺度，确定距离当前待检测目标对象距离最近的其它待检测目标对象。
116.步骤s4032，确定包括与所述候选区域框对应的待检测目标对象和其它待检测目标对象的区域尺度是否小于或等于所述候选区域框的尺度，如果是，转至步骤s4033；如果否，转至步骤s4034。
117.在本发明实施例中，在其它待检测目标对象为一个的情况下，确定包括当前待检测目标对象、其它待检测目标对象和周边环境的区域尺度是否小于或者等于当前候选区域框的尺度。
118.在本发明实施例中，在其它待检测目标对象为多个的情况下，将多个其它待检测目标对象进行排序，确定尺度最大的其它待检测目标对象，并将包括当前待检测目标对象、尺度最大的其它待检测目标对象和周边环境的区域尺度与当前候选区域框的尺度进行对比。如果包括当前待检测目标对象、尺度最大的其它待检测目标对象和周边环境的区域尺度小于或者等于当前候选区域框的尺度，按照多个其它待检测目标对象的尺度排序，确定尺度排序第二的其它待检测目标对象，并将包括当前待检测目标对象、尺度最大的其它待检测目标对象、尺度排序第二的其它待检测目标对象和周边环境的区域尺度与当前候选区域框的尺度进行对比。以此类推。
119.步骤s4033，将所述其它待检测目标对象添加为所述候选区域框对应的待检测目标对象，转至步骤s4031。
120.在本发明实施例中，在包括与候选区域框对应的待检测目标对象和其它待检测目标对象的区域尺度小于或等于候选区域框的尺度的情况下，将其它待检测目标对象添加为候选区域框对应的待检测目标对象，继续循环比较，依次获取包含更多待检测目标对象和/或周边环境的候选区域。
121.步骤s4034，将任一角度的所述候选区域框作为候选区域。
122.在本发明实施例中，在包括与候选区域框对应的待检测目标对象和其它待检测目标对象的区域尺度大于候选区域框的尺度的情况下，将任一角度的候选区域框对应的区域作为候选区域，候选区域包括与候选区域框对应的待检测目标对象。
123.在本发明实施例中，步骤s4031-s4034如下式所示：
[0124][0125]
其中：
[0126]
b(o)表示候选区域框内的待检测目标对象的集合；
[0127]
num()表示b(o)集合内元素数量；
[0128]
box()表示候选区域集合；
[0129]
box(o)&num(b(o))＞num(box(o))表示选择包括更多待检测目标对象的区域。
[0130]
在本发明实施例中，通过本发明的候选区域的确定方法，能够基于区域裁剪尺度生成不同的候选区域框，以使候选区域框试探性地框选更多待检测目标对象以得到候选区域，便于后续待检测目标对象的识别，提高待检测目标对象的识别量和识别效率。
[0131]
步骤s303，根据所述候选区域集合内的所述待检测目标对象的当前优先级和目标数量，确定所述多个预处理区域。
[0132]
在本发明实施例中，基于检测稳定性和动态性的区别，将候选区域集合boxm包括的各个候选区域进行区分，稳定性的候选区域的优先级通常是确定的，且相对固定，而动态性的候选区域的优先级可能根据检测结果进行多次调整。比如，针对候选区域集合boxm包括的各个候选区域，根据候选区域的候选优先级对候选区域进行区分。
[0133]
步骤s3031，根据所述候选区域包括的所述待检测目标对象的当前优先级和目标数量，确定所述候选区域集合包括的每一个所述候选区域的候选优先级。
[0134]
在本发明实施例中，各个候选区域的候选优先级prior(box)通常由候选区域的一个或多个待检测目标对象的优先级确定，在首次确定候选区域的候选优先级prior(box)时，待检测目标对象的优先级为初始的当前优先级；在动态性的候选区域基于检测结果确定候选区域的候选优先级prior(box)时，待检测目标对象的优先级为调整后的当前优先级。
[0135]
在本发明实施例中，在候选区域包括的待检测目标对象的目标数量为一个的情况下，候选优先级为待检测目标对象的当前优先级。
[0136]
在候选区域包括的待检测目标对象的目标数量为多个的情况下，
[0137]
候选优先级为多个待检测目标对象的当前优先级之和。如下式所示：
[0138][0139]
上式表示：
[0140]
根据候选区域的一个或多个待检测目标对象的优先级之和，确定候选区域的候选优先级。
[0141]
步骤s3032，确定所述候选优先级最高的所述候选区域为第一类预处理区域，其余的所述候选区域为第二类预处理区域。
[0142]
在本发明实施例中，第一类预处理区域(即稳定优先级区域priorarea
p
)的确定方法如下式所示：
[0143]
priorarea
p
＝{area∈{box∈boxm|max(num(box(o)))}|max(prior(area))}
[0144]
上式表示：
[0145]
选择待检测目标对象的目标数量最多的候选区域，确定其区域优先级，对应的候选区域为稳定优先级区域priorarea
p
。
[0146]
第二类预处理区域(即动态切换区域switchareaq)的确定方法如下式所示：
[0147][0148]
上式表示：除稳定优先级区域priorarea
p
以外，剩余的候选区域中，在多个候选区域包括的待检测目标对象的最大当前优先级相同的情况下，选择目标数量最多的候选区域为动态切换区域switchareaq。
[0149]
在本发明实施例中，或者，在多个候选区域包括的待检测目标对象的目标数量相同的情况下，选择候选区域内待检测目标对象的当前优先级最大的候选区域为动态切换区域switchareaq；又或者，将剩余的候选区域全部作为动态切换区域switchareaq。
[0150]
在本发明实施例中，通过候选区域框试探性框选更多待检测目标对象，使得预处理区域的待检测目标对象整体更趋于居中分布。
[0151]
在本发明实施例中，通过本发明的预处理区域的确定方法，能够基于预训练的图像检测模型的目标输入尺度，确定待检测目标对象的目标尺度，从而确定候选区域框以框选尽可能多的待检测目标对象，生成候选区域集合，根据待检测目标对象的优先级和数量确定其中的稳定优先级区域priorarea
p
和动态切换区域switchareaq，实现了图像检测模型尽可能多的、优先级高的待检测目标对象的检测，不会消耗额外的车端资源，保证车端服务的稳定性和用户体验。
[0152]
步骤s103，根据多个所述预处理区域，对所述车端图像进行处理，并将处理的车端图像作为所述图像检测模型的输入，以识别所述目标对象。
[0153]
在本发明实施例中，对车端图像的处理可以是裁剪、拼接等，裁剪车端图像，得到多个与预处理区域包括的待检测目标对象对应的裁剪区域，将多个裁剪区域进行拼接以生成图像检测模型的输入，根据图像检测模型的输出识别目标对象。
[0154]
在本发明实施例中，如图5所示，本发明图像检测模型的输入的确定方法包括如下步骤：
[0155]
步骤s501，根据多个所述预处理区域和预设的裁剪尺度，对所述车端图像进行裁剪，得到多个裁剪区域。
[0156]
在本发明实施例中，裁剪尺度是预训练的图像检测模型确定的，根据裁剪尺度，裁剪预处理区域，得到多个裁剪区域。
[0157]
步骤s502，将多个所述裁剪区域进行拼接。
[0158]
在本发明实施例中，拼接方法可以是行拼接，即不改变宽度的情况下，拆分高度，将高度拆分区域按行拼接为检测区域。如下式所示：
[0159]
detectarea＝vconcat(priorarea
p
，switchareaq)。
[0160]
上式表示：将预处理区域裁剪得到的裁剪区域进行拼接，也即，将分别裁剪稳定优先级区域和动态切换区域得到的裁剪区域进行拼接。
[0161]
步骤s503，根据拼接结果，确定所述图像检测模型的输入。
[0162]
在本发明实施例中，拼接结果对应图像检测模型的检测区域。
[0163]
进一步地，可以利用独立于图像检测模型之外的图像处理模型确定车端图像的拼接结果，图像处理模型根据获取的车端图像执行发明的车端图像的预处理、裁剪和拼接等
方法，输出拼接结果，将拼接结果作为图像检测模型的输入。
[0164]
如果按照现有技术的分别对单区域进行检测以识别多个目标对象，需要增加batch size数量，造成车端资源的极大消耗，而且运算时间大大增加。在本发明实施例中，如图6所示，在不增加车端资源消耗的情况下，对应现有的有限的检测区域，可以实现多个目标对象的多区域检测。
[0165]
在本发明实施例中，通过本发明的图像检测模型的输入的确定方法，能够裁剪多个预处理区域中的多个待检测目标对象，并将裁剪得到的裁剪区域拼接以输入图像检测模型，可以实现在有限检测区域下的多个目标对象的多区域检测，大大提高了模型的检测效率，而且不会对车端资源造成额外消耗，保证车端服务的稳定性。
[0166]
在本发明实施例中，如图7所示，本发明的目标对象的优先级的调整方法包括如下步骤：
[0167]
步骤s701，根据所述图像检测模型的当前检测结果，调整所述第二类检测区域对应的所述目标对象的优先级。
[0168]
在本发明实施例中，将拼接结果输入图像检测模型后，可以得到图像检测模型的第一个检测结果，然而，由于稳定优先级区域的检测结果通常较为准确，而动态切换区域的检测结果通常准确性较差，因此，需要对动态切换区域的目标对象的优先级进行调整；其中，检测结果的评判标准是预先确定的，可以根据检测任务、检测场景等进行确定。比如，检测结果的检测score较低、检测不稳定等原因，触发目标对象的优先级的调整，调整标准可以是降低检测不稳定的目标对象目标的优先级，从而提高动态切换区域的检测效果。
[0169]
步骤s702，根据调整后的所述目标对象的优先级，重新执行所述根据图像检测模型的目标输入尺度和所述当前优先级，确定所述图像检测模型的目标检测结果。
[0170]
在本发明实施例中，在调整目标对象的优先级后，根据调整后的目标对象的优先级，重新执行本发明的目标对象的识别方法，循环迭代，直至检测效果最好，得到最优的目标检测结果。
[0171]
在本发明实施例中，通过本发明的目标对象的优先级的调整方法，能够在未获得较好的检测结果的情况下，调整目标对象的优先级以重新进行检测，通过不断地迭代执行，使得检测结果达到最优。
[0172]
在本发明实施例中，如图8所示，本发明的图像检测模型的输出的确定方法包括如下步骤：
[0173]
步骤s801，对所述图像检测模型的目标检测结果进行归一化处理。
[0174]
在本发明实施例中，由于裁剪区域对应的目标对象的尺度可能并非与原始的车端图像一模一样，因此，为了便于输出的查看，在输出之前对目标检测结果进行归一化处理，以恢复至原始的车端图像的尺度后进行输出。
[0175]
以该区域完成检测后，由于不同区域的尺度可能不一致，所以需要根据各个裁剪区域，归一化为原始图像尺度后，再将归一化后的检测框，统一进行nms实现多区域融合后，输出最终多区域检测结果。
[0176]
步骤s802，根据所述归一化处理的处理结果，确定所述图像检测模型的输出。
[0177]
在本发明实施例中，由于多个候选区域框的框选内容有可能存在重叠，因此，为了保证最终输出的准确性，利用nms算法对经过归一化处理的目标检测结果进行多区域融合，
相当于去重叠处理，保证模型输出的图像中各个对象仅保留一个。
[0178]
步骤s803，根据所述图像检测模型的输出，识别所述目标对象。
[0179]
在本发明实施例中，图像检测模型输出多区域检测结果，即车端图像中的各个目标对象。
[0180]
在本发明实施例中，通过本发明的图像检测模型的输出的确定方法，能够对图像检测模型的目标检测结果进行归一化处理，以对应原始的车端图像尺寸，便于输出的查看，而且通过nms融合处理，使得图像中的各个对象只保留一个，排除重叠区域对输出的干扰，保证输出的准确性，提高图像检测模型的识别的准确度。
[0181]
在本发明实施例中，通过获取车端图像包括的多个待检测目标对象的当前优先级；其中，所述当前优先级是根据车辆的行驶数据确定的；根据预训练的图像检测模型的目标输入尺度和所述当前优先级，确定所述车端图像的多个检测区域；其中，所述检测区域包括一个或多个所述待检测目标对象；根据所述多个检测区域，对所述车端图像进行处理，并将处理的车端图像作为所述图像检测模型的输入，以识别所述目标对象等步骤，能够实现在有限检测区域内可以涵盖更多数量、更高优先级的目标对象，并且不会消耗额外的车端资源，从而实现目标对象的多区域检测，提升了用户体验，保障行车安全和车端服务的稳定性。
[0182]
图9是根据本发明实施例的目标对象的识别装置的主要模块的示意图，如图9所示，本发明的目标对象的识别装置900包括：
[0183]
获取模块901，用于获取车端图像包括的多个待检测目标对象的当前优先级；其中，所述当前优先级是根据车辆的行驶数据确定的。
[0184]
在本发明实施例中，所述获取模块901用于获取车端图像包括的多个待检测目标对象的当前优先级(即初始优先级)，车辆的行驶数据包括地图数据，地图数据包括车辆的视野范围内的待检测目标对象oi的位置信息和路线信息。根据待检测目标对象oi的位置信息和路线信息，确定待检测目标对象oi的当前优先级prior(oi)，或者，可以根据检测任务的类型和应用场景确定车辆视野内的待检测目标对象oi的当前优先级prior(oi)。
[0185]
预处理模块902，用于根据预训练的图像检测模型的目标输入尺度和所述当前优先级，确定所述车端图像的多个预处理区域；其中，所述预处理区域包括一个或多个所述待检测目标对象。
[0186]
在本发明实施例中，预训练的图像检测模型可以实现有限检测区域内的车端图像的多个目标对象的多区域检测，且无需消耗额外的车端资源。所述预处理模块902用于根据预训练的图像检测模型的目标输入尺度和待检测目标对象的当前优先级，确定车端图像的多个预处理区域。目标输入尺度是预训练的图像检测模型已经确定的，对应图像检测模型的检测效果较好的检测尺度，目标输入尺度为区间值，使得最终根据对应一个或多个待检测目标对象的多个裁剪区域确定的模型输入在区间值内即可，多个裁剪区域是由多个预处理区域基于待检测目标对象进行裁剪后确定的，模型输入是多个裁剪区域拼接的结果，模型输入对应有限的检测区域。
[0187]
在本发明实施例中，预处理区域包括第一类预处理区域和第二类预处理区域，第一类预处理区域为稳定优先级区域priorarea
p
，第二类预处理区域为动态切换区域switchareaq。
[0188]
识别模块903，用于根据多个所述预处理区域，对所述车端图像进行处理，将处理结果作为所述图像检测模型的输入，以识别所述目标对象
[0189]
在本发明实施例中，对车端图像的处理可以是裁剪、拼接等，所述识别模块903裁剪车端图像，得到多个与预处理区域包括的待检测目标对象对应的裁剪区域，将多个裁剪区域进行拼接以生成图像检测模型的输入，根据图像检测模型的输出识别目标对象。
[0190]
在本发明实施例中，通过获取模块、预处理模块和识别模块等模块，能够实现在有限检测区域内可以涵盖更多数量、更高优先级的目标对象，并且不会消耗额外的车端资源，从而实现目标对象的多区域检测，提升了用户体验，保障行车安全和车端服务的稳定性。
[0191]
图10示出了适于应用于本发明实施例的目标对象的识别方法或目标对象的识别装置的示例性系统架构图，如图10所示，本发明实施例的目标对象的识别方法或目标对象的识别装置的示例性系统架构包括：
[0192]
如图10所示，系统架构1000可以包括检测设备1001、1002、1003，网络1004和服务器1005。网络1004用以在检测设备1001、1002、1003和服务器1005之间提供通信链路的介质。网络1004可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0193]
检测设备1001、1002、1003通过网络1004与服务器1005交互，以采集或发送消息等。
[0194]
检测设备1001、1002、1003可以是具有检测功能的各种电子设备，包括但不限于激光雷达传感器、摄像头等等。
[0195]
服务器1005可以是提供各种服务的服务器，例如对采集到的检测设备1001、1002、1003发送的车端图像提供支持的后台管理服务器。后台管理服务器可以对采集到的包括多个待检测目标对象的车端图像等数据进行分析等处理，并输出处理结果(例如目标对象的识别结果)。
[0196]
需要说明的是，本发明实施例所提供的目标对象的识别方法一般由服务器1005执行，相应地，目标对象的识别装置一般设置于服务器1005中。
[0197]
应该理解，图10中的检测设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的检测设备、网络和服务器。
[0198]
图11是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图，如图11所示，本发明实施例的终端设备或服务器的计算机系统1100包括：
[0199]
中央处理单元(cpu)1101，其可以根据存储在只读存储器(rom)1102中的程序或者从存储部分1108加载到随机访问存储器(ram)1103中的程序而执行各种适当的动作和处理。在ram1103中，还存储有系统1100操作所需的各种程序和数据。cpu1101、rom1102以及ram1103通过总线1104彼此相连。输入/输出(i/o)接口1105也连接至总线1104。
[0200]
以下部件连接至i/o接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至i/o接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
[0201]
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计
算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(cpu)1101执行时，执行本发明的系统中限定的上述功能。
[0202]
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0203]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0204]
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、预处理模块和识别模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，预处理模块还可以被描述为“根据预训练的图像检测模型的目标输入尺度和所述当前优先级，确定所述车端图像的多个预处理区域的模块”。
[0205]
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取车端图像包括的多个待检测目标对象的当前优先级；其中，所述当前优先级是根据车辆的行驶数据确定的；根据预训练的图像检测模型的目标输入尺度和所述当
前优先级，确定所述车端图像的多个预处理区域；其中，所述预处理区域包括一个或多个所述待检测目标对象；根据多个所述预处理区域，对所述车端图像进行处理，确定多个检测区域作为所述图像检测模型的输入，以识别所述目标对象。
[0206]
根据本发明实施例的技术方案，通过多个算法(包括待检测目标对象候选区域生成算法、多区域优先级确定算法、检测区域构造算法、多区域检测结果融合算法等)，实现在不消耗额外车端资源的情况下，可以在有限的检测区域下包括更多、优先级更高的目标对象，从而提高识别结果的准确度。
[0207]
根据本发明实施例的技术方案，对现有的图像检测模型进行改进，使得图像检测模型可以进行多区域检测，进而根据训练好的图像检测模型的性能，确定目标对象的检测尺度，进而在限定batch size基础上，实现在有限的检测区域下选择优先级更高的区域，最后针对多区域的检测结果进行融合以输出识别结果。
[0208]
根据本发明实施例的技术方案，对现有的图像检测模型进行改进，使得图像检测模型可以进行多区域检测，进而根据训练好的图像检测模型的目标输入尺度，确定待检测目标对象的目标尺度；根据待检测目标对象的目标尺度确定其目标区域尺度；在目标区域尺度的基础上，构建候选区域框，以从最小候选区域框开始，将包括尽可能多的待检测目标对象为目的，确定候选区域集；再根据待检测目标对象的初始优先级、目标数量，确定候选区域优先级，得到多种类型的预处理区域(包括稳定优先级区域和动态切换区域)；对预处理区域进行裁剪、拼接以生成图像检测模型的输入；根据检测结果调整目标对象的优先级，以获得最终的目标检测结果；对目标检测结果进行归一化处理以及nms融合，从而得到图像检测模型的输出，以确定包括多个待检测目标对象的车端图像的多区域检测结果，从而在不增加batch size数量、并且不占用额外的车端资源的基础上，实现包括多个目标对象的车端图像的多区域检测，保证多区域检测的区域稳定性，满足多区域检测的目标多样性。
[0209]
根据本发明实施例的技术方案，实现在有限检测区域内可以涵盖更多数量、更高优先级的目标对象，并且不会消耗额外的车端资源，从而实现目标对象的多区域检测，提升了用户体验，保障行车安全和车端服务的稳定性。
[0210]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。