一种基于深度学习的车辆组件匹配方法、存储介质及设备与流程

1.本发明属于图像处理技术领域和深度学习技术领域，尤其是一种基于深度学习的车辆组件匹配方法、存储介质及设备。


背景技术：

2.深度学习是人工智能的一个重要分支，而图像识别是现代人工智能的一个重要应用领域，其中基于深度卷积神经网络的图像识别技术目前占据了人工智能领域的半壁江山，这里简称cnn(convolutional neural network)。
3.在实际应用中，在需要判断车辆各种状态时，经常需要利用到车辆的各种组件如车牌、车头、车尾、车窗、车顶、车灯来综合判断车辆的信息，如车牌号码、行驶朝向、遮挡情况、打灯情况等；因此需要能够提取出车辆的各种组件信息，针对此需求，传统常规做法有几种不同的流派。
4.第一种传统方法是，检测器只检测出车的位置box，并根据box从原图抠出对应的整个车区域patch，将patch送入训练好的分类/识别模型来进一步提取所需各组件的位置信息；这种方法主要缺点是，图片中每辆车都需要再跑一次识别模型，效率太低，在速度要求高/车密集的场景下完全没法用；且该做法在车比较拥挤的情况下也可能因为抠出来的车patch带有附近其他车的信息导致识别模型误识别出别的车的信息给当前车用；且对于小组件如车牌和车灯，尤其是车牌需要进一步识别其内容时候，一般还需要再跑专门的识别模型，也并不能省去这部分的计算量。
5.第二种传统方法是，检测器出了车，还检测其余需要的车组件的box，后处理根据人工写的逻辑再把这些box进行配对，得到车box 车身其余组件box的配对/聚类信息；后续再需要识别某些组件进一步的信息时，如需要识别车牌号或车灯打灯信息，再把车里该组件box对应的区域抠出来送入专门的识别模型跑出结果。这种方法相比第一种方法省去了提取车各组件位置的步骤，大为提速，在速度上非常实用，但是缺点也很明显，根据人工经验写的组件配对逻辑并不鲁棒，很容易因为拥挤、车型变换、姿势变换、不完整、检测器误检漏检等导致配对出错，并且里面需要人工设置太多的经验性参数，适应性不强且麻烦。
6.第三种传统方法是，检测器检测车的同时，模型还额外预测每个车box对应的各组件的位置和有无。这种方法也省去了第一种方法的大量识别时间，并也克服了第二种方法的鲁棒性不强和人为经验要求太高的缺陷，但缺点是，该方法预测出来的组件信息效果不好，因为检测器检测不同大小的物体涉及到的感受野和特征图粒度不一样，难以让相对大很多的物体-车来同步预测车内小得多的各组件如车牌车灯的准确位置信息，且这种强行预测甚至会导致检测器检测车本身的效果也下降。


技术实现要素：

7.本发明的目的在于，为克服现有技术缺陷，提供了一种基于深度学习的车辆组件匹配方法，能够鲁棒地处理车辆组件的匹配问题，在训练数据集采集合理的情况下能适应
各种场景，且不需要人工经验写后处理逻辑。
8.本发明目的通过下述技术方案来实现：
9.一种基于深度学习的车辆组件匹配方法，所述车辆组件匹配方法包括：
10.s1：图片采集及图片标注步骤，完成车box和车上的组件box的位置标注，并对每个车box和车上组件box完成对应的车id标注，形成标注标签；
11.s2：标注标签处理步骤，基于步骤s1中标注标签作出对应的检测标签，使得通过检测标签信息能够基于车id找到对应的车box和组件box；然后完成车box的中心点坐标设置，形成额外位置信息；
12.s3：模型训练步骤，将图片、标注标签、检测标签及额外信息输入至深度卷积神经网络搭建的检测网络模型进行模型训练，模型中在分类和box分支之外再增加点回归分支，用于预测额外位置信息；
13.s4：检测步骤，模型训练完毕后，对于需要处理的图片，使用检测器来检测图里的车box和各组件box的位置，针对每个box都预测获得有一个额外位置信息，即预测获得有车辆中心点；
14.s5：车体组件匹配步骤，
15.s51：将各box按照分类分数从大到小排序，对于按顺序的每个车box，根据该车box对应的额外位置信息，挑选车体其余组件，并完成组件的匹配；或者
16.s52：计算每个车box和各组件box的各自预测中心点的距离d1或者基于计算得到距离d1计算相对于车box的大小得出的相对距离d2，从而基于d1或d2得出计算分数s，其中，计算分数s在距离d1或d2越大时取值越小，并当距离d1或d2大过某预设值时s取0；
17.根据车box和组件box的分类分数对计算分数s做乘法，得到两两连接分数s1，
18.不为0的各连接分数s1组成一个权值图，基于权值图中数值大小关系完成各车的组件匹配。
19.根据一个优选的实施方式，步骤s1中，通过对每个车box和车上组件box完成对应的车id标注，使得每个车和车内组件都有同一个id。
20.根据一个优选的实施方式，步骤s2中，车box的中心点坐标采用xy表示，也即是额外位置信息。
21.根据一个优选的实施方式，步骤s4中，检测器需要使用到fpn。
22.根据一个优选的实施方式，步骤s4中，每个box都预测有一个额外位置信息xy，代表车辆中心点。
23.根据一个优选的实施方式，步骤s51中挑选车体其余组件时，基于组件box预测的车辆中心点离基于车box预测的中心点越近，组件的匹配度就越高，在全部候选组件中，根据每车对应每个组件的最大个数，挑选组件和该车匹配。
24.根据一个优选的实施方式，当基于组件的box预测的车辆中心点离基于车box预测的中心点的距离相对车box的大小大于一定阈值时，该组件不被挑选。
25.根据一个优选的实施方式，所述车辆组件匹配方法包括：s6：当车上各组件匹配完毕，使用匹配结果进行后续操作。
26.另一方面，本发明还公开了：
27.一种外接存储介质的处理设备，所述设备包括：
28.处理器，用于执行计算机程序时实现如前述的车辆组件匹配方法的步骤。
29.另一方面，本发明还公开了：
30.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的车辆组件匹配方法的步骤。
31.前述本发明主方案及其各进一步选择方案可以自由组合以形成多个方案，均为本发明可采用并要求保护的方案。本领域技术人员在了解本发明方案后根据现有技术和公知常识可明了有多种组合，均为本发明所要保护的技术方案，在此不做穷举。
32.本发明的有益效果：本发明的基于深度学习的车辆组件匹配方法直接使用检测模型来使每个box都额外预测一个规定的点，最后根据box预测的点来对box进行聚类来直接得到车组件的匹配结果。可以克服几种不同的传统方法的缺陷，使用模型来直接预测出车和车组件之间的关系信息，适应各种场景、鲁棒、效果好、速度快。
附图说明
33.图1是本发明方法的流程示意图。
具体实施方式
34.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
35.需要说明的是，为使本发明实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
36.实施例1：
37.参考图1所示，本发明公开了一种基于深度学习的车辆组件匹配方法，所述车辆组件匹配方法包括：
38.步骤s1：图片采集及图片标注步骤，完成车box和车上的组件box的位置标注，并对每个车box和车上组件box完成对应的车id标注，形成标注标签。
39.通过对每个车box和车上组件box完成对应的车id标注，使得每个车和车内组件都有同一个id。
40.具体地，采集需要处理的各场景的的图片，并人工标注车实例级别的标签：车和需要的类别的组件的位置，以及每个box对应的车的id，使得每个车和车内组件都有同一个id。要求每个标注了组件box的车都应该也被至少标注车box。
41.步骤s2：标注标签处理步骤，基于步骤s1中标注标签作出对应的检测标签，使得通过检测标签信息能够基于车id找到对应的车box和组件box；然后完成车box的中心点坐标设置，形成额外位置信息；
42.具体地，对于原始人工标签进行后处理，先根据标签做出标注的检测标签信息，然后对于每个box(车box或组件box)对应的id，都能找到该id对应的车box，再设置该车box的
中心点坐标给该box作为额外位置信息(采用2个数字xy表示中心点坐标，坐标表示法和box的坐标表示法一致)。
43.步骤s3：模型训练步骤，将图片、标注标签、检测标签及额外信息输入至深度卷积神经网络搭建的检测网络模型进行模型训练，模型中在分类和box分支之外再增加点回归分支，用于预测额外位置信息。
44.具体地，把图片和标签送入深度卷积神经网络搭建的检测网络进行训练，并在分类和box分支之外再增加一个点回归分支，用于预测额外信息xy，即是用于预测车辆中心点。
45.步骤s4：检测步骤，模型训练完毕后，对于需要处理的图片，使用检测器来检测图里的车box和各组件box的位置，每个box都输出有一个额外位置信息。每个box都带有一个额外输出x和y，代表预测的车辆中心点的位置。
46.优选地，由于小物体box也需要预测涉及到大物体的点位置，因此检测器需要使用到fpn。
47.步骤s5：车体组件匹配步骤。具体包括：
48.步骤s51：将各box按照分类分数从大到小排序，对于按顺序的每个车box，根据该车box对应的额外位置信息，挑选车体其余组件，并完成组件的匹配。分类分数为一个置信度分数。
49.步骤s51中挑选车体其余组件时，基于组件box预测的车辆中心点离基于车box预测的中心点越近，组件box与相应车box的匹配度就越高，在全部候选组件中，根据每个组件应该有的每车最大个数，挑选足够的组件和该车匹配成功。当基于组件的box预测的车辆中心点离基于车box预测的中心点的距离相对车box的大小大于一定阈值时，该组件不被挑选。
50.或者采用步骤s52完成组件匹配。
51.步骤s52：计算每个车box和各组件box的各自预测中心点的距离d1或者基于计算得到距离d1计算相对于车box的大小得出的相对距离d2，从而基于d1或d2得出计算分数s。其中，计算分数s在距离d1或d2越大时取值越小，并当距离d1或d2大过某预设值时s取0。
52.计算相对距离d2的目的在于，当有的车尺寸较大时，其基于车box的中心预测点和基于组件box的中心预测点间可能会存在较大的距离d1，但是，d1较大也并一定就表示该组件box不属于或不能匹配至相应车box之上，例如，通过对距离d1进行基于特定车尺寸的归一化处理，从而获得相对距离d2可能就会很小，也可以表明，改组件box应当被匹配至相应的车box之上。
53.根据车box和组件box的分类分数对计算分数s做乘法，得到两两连接分数s1，不为0的各连接分数s1组成一个权值图，基于权值图中数值大小关系完成各车的组件匹配(或可用各种策略求出该图的最优解或次优解来得到最终的组件匹配策略)。
54.要说明的是，s5跟背景介绍里的方法2里可能用到的人工策略最终解法一致，但最大的区别是一开始的匹配分数不由人工策略计算出，而是由模型的结果直接简单得出，而根据匹配分数来操作的后续解法双方都可以共享。
55.优选地，所述车辆组件匹配方法包括：s6：当车上各组件匹配完毕，使用匹配结果进行后续操作。
56.通过上述方式，本发明的基于深度学习的车辆组件匹配方法直接使用检测模型来使每个box都额外预测一个规定的点，最后根据box预测的点来对box进行聚类来直接得到车组件的匹配结果。
57.本发明的基于深度学习的车辆组件匹配方法可以克服几种不同的传统方法的缺陷，使用模型来直接预测出车和车组件之间的关系信息，适应各种场景、鲁棒、效果好、速度快。
58.实施例2
59.本发明还公开了：一种外接存储介质的处理设备，所述设备包括：处理器，用于执行计算机程序时实现如实施例1所述的车辆组件匹配方法的步骤。
60.实施例3
61.本发明还公开了：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例1所述的车辆组件匹配方法的步骤
62.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。