车辆图像的识别方法、电子设备及计算机可读存储介质与流程

1.本发明涉及车辆检测技术领域，尤其是涉及车辆图像的识别方法、电子设备及计算机可读存储介质。


背景技术：

2.随着城市建设的不断发展，交管部门在各道路关卡都配备有视频监控设施，对所有通过该卡口点的机动车辆进行拍摄于与记录，旨在通过拍摄到的车辆图片识别出对应的车辆信息。
3.考虑到卡口的环境条件受光照影响较大，且位于交通枢纽地段的卡口的车流量较大，过车速度较快，因此有必要对卡口获取到的车辆图像进行识别处理，但在目前的实际应用中，对车辆图像的识别采用的是一些较为传统的识别方法，选用诸如hog、lbp、haar等识别手段，这些传统方法的优点在于识别速度快、易移植、在嵌入式平台上具有较佳的实用性，但是对车辆图像的识别精度不高，难以准确地对车身区域特征进行识别，导致实际的识别效果不够理想。


技术实现要素：

4.本发明提供一种车辆图像的识别方法、电子设备及计算机可读存储介质，以解决现有的车辆图像识别方法精度较低的技术问题，通过配置基于深度学习模型的车辆图像识别策略，提高了车辆图像识别的准确率。
5.为了解决上述技术问题，本发明实施例提供了一种车辆图像的识别方法，所述方法包括：
6.根据实时获取到的车辆图像构建待过滤车辆图像集；
7.基于图像曝光度对所述待过滤车辆图像集进行过滤，得到待识别图像；
8.对所述待识别图像进行前后车身识别，得到对应的前拍车身图和后拍车身图；
9.将所述待识别图像输入预置的用于存储图像特征与车身区域特征之间的对应关系的深度学习检测模型中，得到若干个设定的车身区域特征图；
10.将所述前拍车身图、以及与所述前拍车身图相关的所述车身区域特征图进行特征融合，且将所述后拍车身图、以及与所述后拍车身图相关的所述车身区域特征图进行特征融合；
11.分别输出融合后的图像结果。
12.作为其中一种优选方案，所述根据实时获取到的车辆图像构建待过滤车辆图像集，具体为：
13.实时获取车辆图像；
14.分别向所述车辆图像添加不同程度的随机噪声，得到各样本图像；
15.以所述样本图像构建待过滤车辆图像集。
16.作为其中一种优选方案，在所述实时获取车辆图像后，所述方法还包括：
17.对所述车辆图像进行预处理，其中，所述预处理包括剪裁和旋转变换。
18.作为其中一种优选方案，在所述分别向所述车辆图像添加不同程度的随机噪声，得到各样本图像后，所述方法还包括：
19.分别调整各所述样本图像的分辨率。
20.作为其中一种优选方案，所述基于图像曝光度对所述待过滤车辆图像集进行过滤，得到待识别图像，具体为：
21.设定图像曝光度的筛选范围区间；
22.计算各所述样本图像的曝光度；
23.筛选并过滤曝光度位于所述范围区间之外的样本图像，以得到对应的所述待识别图像。
24.作为其中一种优选方案，所述对所述待识别图像进行前后车身识别，得到对应的前拍车身图和后拍车身图，具体为：
25.将所述待识别图像输入车身前后拍分类模型中进行分析，输出对应的前拍车身图和后拍车身图，其中，所述车身前后拍分类模型为以下所述中的其中一种：zfnet模型、resnet模型、mobilenet模型。
26.作为其中一种优选方案，所述设定的车身区域特征图至少包括前后雨刮器特征图、前后车灯特征图、前后车窗玻璃特征图和进气格栅特征图。
27.作为其中一种优选方案，所述将所述前拍车身图、以及与所述前拍车身图相关的所述车身区域特征图进行特征融合，且将所述后拍车身图、以及与所述后拍车身图相关的所述车身区域特征图进行特征融合，具体为：
28.分别提取所述前拍车身图、所述前雨刮器特征图、所述前车灯特征图、所述前车窗玻璃特征图和所述进气格栅特征图的图像特征，输出对应的各前拍概率图；
29.基于各所述前拍概率图的置信度进行加权融合；且，
30.分别提取所述后拍车身图、所述后雨刮器特征图、所述后车灯特征图和所述后车窗玻璃特征图的图像特征，输出对应的各后拍概率图；
31.基于各所述后拍概率图的置信度进行加权融合。
32.本发明另一实施例提供了一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的车辆图像的识别方法。
33.本发明又一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的车辆图像的识别方法。
34.相比于现有技术，本发明实施例的有益效果在于以下所述中的至少一点，首先根据实时获取到的车辆图像构建待过滤车辆图像集，从而提高了样本的丰富程度，为后续的基于深度学习的图像处理策略提供了准确的数据支撑；然后基于对曝光度的判断过滤掉图像质量明显不符合预期的车辆图像，从而降低了后续检测模型的计算量；接着对车辆图像进行前后拍识别，从而将车辆图像划分为两个对应的识别区域，为准确识别车辆的车身特征提供了双重保障；再者提取车辆图像的相关特征区域，并将提取的特征区域与对应的识别区域进行融合，从而使得融合后的车辆图像具有准确的车身区域特征，且车辆前拍和后
拍的双重视角划分能够保障全面的、多类别的车身区域特征，从而提高了最终输出的图像质量，进而提高了车辆图像识别的精度与准确率，保障了卡口车辆图像识别的实用性和可靠性。
附图说明
35.图1是本发明其中一种实施例中的车辆图像的识别方法的流程示意图；
36.图2是本发明其中一种实施例中的构建待过滤车辆图像集的流程示意图；
37.图3是本发明其中一种实施例中的过滤的流程示意图；
38.图4是本发明其中一种实施例中的融合的流程示意图；
39.图5是本发明其中一种实施例中的识别的流程示意图；
40.图6是本发明其中一种实施例中的电子设备的结构示意图；
41.其中，10、处理器；20、存储器；a、计算机程序。
具体实施方式
42.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.在本技术描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。
44.在本技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术中的具体含义。
45.在本技术的描述中，需要说明的是，除非另有定义，本发明所使用的所有的技术和科学术语与属于本的技术领域的技术人员通常理解的含义相同。本发明中说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明，对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术中的具体含义。
46.本发明一实施例提供了一种车辆图像的识别方法，具体的，请参见图1，图1示出为本发明其中一种实施例中的车辆图像的识别方法的流程示意图，其中所述车辆图像的识别方法具体包括：
47.s1、根据实时获取到的车辆图像构建待过滤车辆图像集；在本实施例中，实时获取到的车辆图像为各卡口的视频监控设备获取到的关键帧车辆图像，例如一张分辨率为160*300的车身区域图像，当然，各卡口获取到的车辆图像的分辨率规格由卡口的拍摄组件的规格决定，在此不再赘述。
48.s2、基于图像曝光度对所述待过滤车辆图像集进行过滤，得到待识别图像；为了首
先筛选掉明显的质量不符的车辆图像，本实施例通过基于图像曝光度对待过滤车辆图像集进行过滤，从而降低了后续检测模型的处理数据量与运行内存的消耗。
49.s3、对所述待识别图像进行前后车身识别，得到对应的前拍车身图和后拍车身图；将车辆图像进行前拍和后拍的划分，一方面有利于构建双重的图像保障，从而提高对车辆识别的精度；另一方面，前拍视角和后拍视角的划分也有利于后续将对应的车身区域特征与对应视角的车辆图像进行融合，从而为准确识别车辆图像提供了准确的数据支撑。
50.s4、将所述待识别图像输入预置的用于存储图像特征与车身区域特征之间的对应关系的深度学习检测模型中，得到若干个设定的车身区域特征图；当然，设定的车身区域特征图的获取是为了更好地识别车辆图像，防止因过曝或过暗的环境因素导致丢失大部分车身特征。
51.s5、将所述前拍车身图、以及与所述前拍车身图相关的所述车身区域特征图进行特征融合，且将所述后拍车身图、以及与所述后拍车身图相关的所述车身区域特征图进行特征融合；多任务的图像卷积特征提取阶段可以共享权值，分类阶段能够适应多个不同但相关的目标，具有很好的泛化能力，本发明将利用共享的权值特征，将相关联的车身图像进行特征融合，从而提高了识别的精度与准确率。
52.s6、分别输出融合后的图像结果。
53.需要说明的是，在卡口过车检测场景下，摄像头需要采集过往车辆信息进行识别，由于卡口环境光线复杂，车辆众多，通常会造成所拍摄的过车车身区域过曝或者过暗，导致过车车身区域特征丧失，卡口的车辆检测识别系统会因为检测不到过车车身区域，或者无法识别车辆或误识别车辆。目前并没有有效的针对卡口车辆检测识别的方法，车辆的识别需要鲁棒性足够强且需要对车身区域特征进行分类回归识别，例如车窗区域固有的车窗玻璃过暗，车灯由于灯光的照射造成了过曝，夜晚卡口环境过暗造成车身图过暗，车身区域特征完全丢失，与背景混为一体，从而造成车身检测的失败或者把背景作为检测结果输出判定结果。目前常用的图像特征有hog、lbp、haar，其中，hog(histogram of oriented gradient,方向梯度直方图)是一种用来计算和统计图像局部区域的梯度方向直方图的特征；lbp(local binary pattern，局部二值模式)是用来描述图像局部纹理特征的算子，具有旋转不变性和灰度不变性等优点；haar特征是由线性特征、边缘特征、中心特征和对角线特征组合成特征模板。常用的组合方式有hog svm(support vector machines，支持向量机)、dpm(deformable part model，可变形的组件模型)等。法国研究人员dalal在2005的cvpr上提出hog svm进行行人检测的方法，这种组合是许多改进行人检测算法的基础。dpm算法由felzenszwalb于2008年提出，采用了改进后的hog特征、svm分类器和滑动窗口(sliding windows)检测思想，对目标的形变具有很强的鲁棒性。paul viola和miachael jones在2001年的cvpr上等提出了adaboost(adaptive boosting，自适应增强) haar的人脸检测算法，也取得很好的效果。但发明人经研究发现，上述传统方法的优势在于速度快，易移植，但是需要手工设计特征，鲁棒性不强，在对车标志物检测识别上通常是对车窗标志物的类别进行单类别检测，存在检测精度不高还有类别不够全面等的问题，本发明实施例为了改善上述不足，将车辆图像划分为两个对应的识别区域，为准确识别车辆的车身特征提供了双重保障；再者提取车辆图像的相关特征区域，并将提取的特征区域与对应的识别区域进行融合，从而使得融合后的车辆图像具有准确的车身区域特征，且车辆前拍和后拍
的双重视角划分能够保障全面的、多类别的车身区域特征，从而提高了最终输出的图像质量，进而提高了车辆图像识别的精度与准确率，保障了卡口车辆图像识别的实用性和可靠性。
54.进一步地，在上述实施例中，对于步骤s1：所述根据实时获取到的车辆图像构建待过滤车辆图像集，具体的，请参见图2，图2示出为本发明其中一种实施例中的构建待过滤车辆图像集的流程示意图，其中包括：
55.s11、实时获取车辆图像；
56.s12、分别向所述车辆图像添加不同程度的随机噪声，得到各样本图像；
57.s13、以所述样本图像构建待过滤车辆图像集。
58.应当说明的是，在随机增噪的过程中，可选用现有技术，使用python产生加性零均值高斯噪声，对每一个点的灰度值加上一个随机数，使用box-muller算法，该算法用均匀分布生成的两组独立的随机数通过以下公式生成正态分布随机变量x、y。此外，在噪声的概念中，通常采用信噪比(signal-noise rate,snr)衡量图像噪声，本实施例中的不同程度的随机噪声是基于信噪比的指标进行评判，当然也需要考虑各卡口对于车辆图像识别的不同要求，在此不再赘述。
59.进一步地，在上述实施例中，在所述实时获取车辆图像后，所述方法还包括：对所述车辆图像进行预处理，其中，所述预处理包括剪裁和旋转变换，例如对图像进行随机剪裁、0～5
°
的旋转，当然，考虑到不同的识别系统对于图像的分辨率亦有不同要求，优选地，在上述实施例中，在所述分别向所述车辆图像添加不同程度的随机噪声，得到各样本图像后，所述方法还包括：分别调整各所述样本图像的分辨率，其中，可根据深度学习检测模型的需求把图片压缩为128*128、64*64等分辨率，提高模型训练速度和识别速度。
60.进一步地，在上述实施例中，对于步骤s2：所述基于图像曝光度对所述待过滤车辆图像集进行过滤，得到待识别图像，具体的，请参见图3，图3示出为本发明其中一种实施例中的过滤的流程示意图，具体包括：
61.s21、设定图像曝光度的筛选范围区间；
62.s22、计算各所述样本图像的曝光度；
63.s23、筛选并过滤曝光度位于所述范围区间之外的样本图像，以得到对应的所述待识别图像。
64.优选地，在本实施例中，基于图像曝光度对车辆图像是否过曝或过暗进行判断，从而过滤掉图像质量差的车身图像。
65.进一步地，在上述实施例中，对于步骤s3：对所述待识别图像进行前后车身识别，得到对应的前拍车身图和后拍车身图，具体为：将所述待识别图像输入车身前后拍分类模型中进行分析，输出对应的前拍车身图和后拍车身图，其中，所述车身前后拍分类模型为以下所述中的其中一种：zfnet模型、resnet模型、mobilenet模型。
66.进一步地，在上述实施例中，所述设定的车身区域特征图至少包括前后雨刮器特征图、前后车灯特征图、前后车窗玻璃特征图和进气格栅特征图。考虑到不同的卡口的识别需求均不相同，车身区域特征也可选择其他车辆特征，例如车顶、车轮、后视镜等等，当然，具体的车身区域特征的设定也需要结合具体的车型，也可设置为不同的车型对应不同的车身区域特征。
67.此外，在本实施例中，具体的，请参见图5，图5示出为本发明其中一种实施例中的识别的流程示意图，其中，对于设定的车身区域特征图的获取包括对设定的车身区域特征的检测、以及对设定的车身区域特征的识别两个步骤，对于检测设定的车身区域特征，是指对输入的车身图进行雨刮器、车灯、车窗玻璃、进气格栅进行检测，优选地，检测所涉及技术可选用ssd、yolo、fast-rcnn等常见的基于深度学习技术的目标检测网络；对于识别设定的车身区域特征，是指对检测到的特征区域进行识别，输出为前雨刮器，后雨刮器，前车灯，后车灯，前车窗玻璃，后车窗玻璃，进气格栅共七类。
68.进一步地，在上述实施例中，对于步骤s5：将所述前拍车身图、以及与所述前拍车身图相关的所述车身区域特征图进行特征融合，且将所述后拍车身图、以及与所述后拍车身图相关的所述车身区域特征图进行特征融合，具体的，请参见图4，图4示出为本发明其中一种实施例中的融合的流程示意图，具体包括：
69.s51、分别提取所述前拍车身图、所述前雨刮器特征图、所述前车灯特征图、所述前车窗玻璃特征图和所述进气格栅特征图的图像特征，输出对应的各前拍概率图；
70.s52、基于各所述前拍概率图的置信度进行加权融合；且，
71.s53、分别提取所述后拍车身图、所述后雨刮器特征图、所述后车灯特征图和所述后车窗玻璃特征图的图像特征，输出对应的各后拍概率图；
72.s54、基于各所述后拍概率图的置信度进行加权融合。
73.由上可知，搭建的多个卷积神经网络，通过多尺度特征融合可以极大的提高车辆前后拍识别的抗干扰性和鲁棒性，其中多个卷积神经网络可同时进行分类识别，融合了不同尺度的图像特征，提高模型识别准确率和召回率，且融合两个任务的输出结果和置信度进行图像质量判断，从而得到精度较高的前拍车身图和后拍车身图，提高了车辆前后拍检测识别的检测率和识别准确率。
74.本发明另一实施例提供了一种电子设备，具体的，请参见图6，图6示出为本发明其中一种实施例中的电子设备的结构示意图，其中包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序a，所述处理器10执行所述计算机程序a时实现如上所述的车辆图像的识别方法。
75.本发明又一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的车辆图像的识别方法。
76.本发明实施例提供的车辆图像的识别方法、电子设备及计算机可读存储介质，有益效果在于以下所述中的至少一点，首先根据实时获取到的车辆图像构建待过滤车辆图像集，从而提高了样本的丰富程度，为后续的基于深度学习的图像处理策略提供了准确的数据支撑；然后基于对曝光度的判断过滤掉图像质量明显不符合预期的车辆图像，从而降低了后续检测模型的计算量；接着对车辆图像进行前后拍识别，从而将车辆图像划分为两个对应的识别区域，为准确识别车辆的车身特征提供了双重保障；再者提取车辆图像的相关特征区域，并将提取的特征区域与对应的识别区域进行融合，从而使得融合后的车辆图像具有准确的车身区域特征，且车辆前拍和后拍的双重视角划分能够保障全面的、多类别的车身区域特征，从而提高了最终输出的图像质量，进而提高了车辆图像识别的精度与准确率，保障了卡口车辆图像识别的实用性和可靠性。
77.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。