一种车辆铭牌信息位置检测方法和系统与流程

1.本发明涉及车辆信息识别技术领域，具体而言涉及一种车辆铭牌信息位置检测方法和系统。


背景技术：

2.车辆铭牌是标明车辆基本特征的标牌，其主要内容包括：车辆型号、发动机型号、发动机排量、发动机额定功率、车辆识别代号、总质量、载重量或载客人数、出厂编号、制造年月、制造国家及厂名等；车辆铭牌一般位于车辆前部易于观察到的地方。车辆铭牌图像识别技术对于交通管理单位对车辆进行登记、检测防伪和车辆年审等具有重要的意义，但由于车辆铭牌本身材质特殊加之所处环境恶劣，车辆铭牌图像常常存在着反光、污渍、模糊、划痕等问题，这对车辆铭牌上的文字信息的获取带来了诸多困难。
3.传统的针对扫描文档的ocr方法很难做到复杂场景中的文字识别，现有的场景文字识别方法对于场景单一且对于没有畸变的图像有不错的识别效果；但是对于像车辆铭牌这样的自然目标，存在着扭曲、畸变的情况，其识别效果很差。
4.除了传统方式外，专利号cn110414309a的发明中提出了一种车辆铭牌的自动识别方法，通过场景分割的方式来确定车辆铭牌的区域，通过形态学膨胀操作得到二值化图像，然后直线逼近四个角点，求解最小外接矩形，最后透视操作，得到纠正之后的图像；但是对于像车辆铭牌这样的自然目标，通过场景分割之后确定车牌区域的后处理仍比较耗时，定位不准确。


技术实现要素：

5.本发明针对现有技术中的不足，提供一种车辆铭牌信息位置检测方法和系统，以解决现有技术中对于存在着扭曲、畸变况的车辆铭牌无法进行准确的定位和识别的问题；本发明结合深度学习和传统图像处理方法可以准确地定位车辆铭牌以及车辆铭牌的信息区域。此外，本发明代替了人工检测，有效地克服人工检测的低效率与可靠性差等缺陷，从而使车辆铭牌检测工作客观化、规范化和智能化。
6.为实现上述目的，本发明采用以下技术方案：
7.第一方面，本发明实施例提出了一种车辆铭牌信息位置检测方法，所述检测方法包括以下步骤：
8.s1，获取车辆铭牌图像；
9.s2，基于深度神经网络构建外框识别模型，采用外框识别模型对采集的车辆铭牌图像进行预测，得到一个包含铭牌的矩形框，定义为该车辆铭牌图像的铭牌外框；
10.s3，基于深度神经网络构建角点定位模型，采用角点定位模型预测得到车辆铭牌图像中的铭牌外框的四个角点；
11.s4，根据四个角点构成的连通区域，计算铭牌外框内封闭区域的面积，若计算得到的面积小于预设面积阈值，则判定该车辆铭牌图像上不存在铭牌，返回步骤s1；否则，判定
该车辆铭牌图像上存在铭牌，转入步骤s5；
12.s5，利用铭牌外框的四个角点，采用透视校正函数校正图像，得到校正后的铭牌外框区域；
13.s6，定位所述校正后的铭牌外框区域上的铭牌信息。
14.进一步地，步骤s2中，所述基于深度神经网络构建外框识别模型的过程包括以下步骤：
15.s21，将获取的一定量不同拍照场地环境、不同光照和不同倾斜角度的车辆铭牌图像作为训练样本；
16.s22，采用多边形框在样本图像上标记铭牌外框的四个角点；
17.s23，根据标记的铭牌外框的四个角点的json文件，计算出四个角点的最小外界矩形的四个角点，取四个角点最小的横坐标作为左上角x1，取四个角点最小的纵坐标作为y1，取四个角点最大的横坐标作为右下角x2，取四个角点最大的纵坐标作为右下角y2，得到左上角(x1,y1)和右下角(x2,y2)；
18.将左上角坐标(x1,y1)和右下角坐标(x2,y2)转化为中心点坐标(out_x、out_y)、长边的长度值out_w和短边的长度值out_h，生成一个txt文件，每一张图片对应一个txt文件，txt的文件名为图片的名称，每一个txt文件中的每一行对应一个铭牌外界矩形框坐标数据组(x、y、w、h)，得到所有图片对应的txt文件；将所有有对应txt的图片的名称放在一个总的txt中，每一个行对应一个图片的路径，将这个总的txt和铭牌图像以及和图片同名的txt构成的数据集，训练车辆铭牌外框深度神经网络。
19.进一步地，步骤s2中，采用外框识别模型对采集的车辆铭牌图像进行预测的过程包括以下步骤：
20.s24，利用步骤s23训练得到的模型对图像进行预测，得到铭牌外框的中心点坐标(out_x、out_y)、长边的长度值out_w和短边的长度值out_h；
21.s25，根据中心点、长边的长度和短边的长度值，得到一个包含铭牌的矩形框，令长边为宽，短边为高。
22.进一步地，步骤s3中，基于深度神经网络构建角点定位模型的过程包括以下步骤：
23.s31，将获取的一定量不同拍照场地环境、不同光照和不同倾斜角度的车辆铭牌图像作为训练样本；
24.s32，采用多边形框在图像上标记铭牌外框的四个角点以及铭牌信息的四个角点；
25.s33，根据所述标记的铭牌外框的四个角点的json文件及铭牌图像构成的数据集，训练包含左上、右上、右下和左下这四个角点的深度神经网络，采用alphapose人体关键点检测的算法，将关键点的个数改为4个，获得用于预测铭牌外框四个角点的角点定位模型；
26.s34，利用所述铭牌外框四个角点的模型对车辆铭牌图像进行预测，得到铭牌外框的四个角点。
27.进一步地，步骤s5中，利用铭牌外框的四个角点，采用透视校正函数校正图像，得到校正后的铭牌外框区域的过程包括以下步骤：
28.s51，根据所述步骤s34中预测得到的铭牌外框的四个角点，计算透视变换后的铭牌外框为矩形的四个角点arr_pt；
29.s52，根据所述步骤s34中预测得到的铭牌外框的四个角点及步骤s51中得到的四
个角点的坐标得到透视矩阵；
30.s53，根据所述透视矩阵，对铭牌图像进行透视校正，得到校正后的铭牌图像；
31.s54，截取四个角点arr_pt在校正后的铭牌图像上的所在区域得到铭牌外框区域，且所截取出的铭牌外框区域为矩形。
32.进一步地，步骤s6中，定位所述校正后的铭牌外框区域上的铭牌信息的过程包括以下步骤：
33.s61，根据所述步骤s32中标记的铭牌外框的四个角点，利用所述步骤s5中的透视校正方法来截取的铭牌外框区域，作为训练铭牌信息的数据集；
34.s62，根据透视校正矩阵，计算出标记铭牌信息相对于校正后的铭牌外框区域的四个角点坐标值；
35.s63，使用步骤s51中训练铭牌信息的数据集和旋转目标检测深度学习网络进行训练，以获得铭牌信息位置检测模型；
36.s64，利用得到的铭牌信息位置检测模型预测铭牌信息的位置。
37.进一步地，所述铭牌信息包括：制造年月、发动机号、车架号、整机型号和品牌。
38.第二方面，本发明实施例提出了一种车辆铭牌信息位置检测系统，所述检测系统包括：
39.图像采集模块，用于获取车辆铭牌图像；
40.基于深度神经网络构建的外框识别模型，用于对采集的车辆铭牌图像进行预测，得到一个包含铭牌的矩形框，定义为该车辆铭牌图像的铭牌外框；
41.基于深度神经网络构建的角点定位模型，用于预测得到车辆铭牌图像中的铭牌外框的四个角点；
42.铭牌判定模块，用于接收角点定位模型预测得到的车辆铭牌图像中的铭牌外框的四个角点，根据四个角点构成的连通区域，计算铭牌外框内封闭区域的面积，若计算得到的面积小于预设面积阈值，则判定该车辆铭牌图像上不存在铭牌；否则，判定该车辆铭牌图像上存在铭牌；
43.校正模块，用于利用铭牌外框的四个角点，采用透视校正函数校正图像，得到校正后的铭牌外框区域；
44.铭牌信息定位模块，用于定位所述校正后的铭牌外框区域上的铭牌信息。
45.本发明的有益效果是：
46.本发明的方法定位车辆铭牌信息位置的准确度高，完全可以替代现有的人工检查，克服了现有技术中人工检测效率、可靠性差等缺陷；通过本发明的方法能够使车辆铭牌检测工作实现客观化、规范化和智能化，降低了人力成本，提高了检测的准确率。
附图说明
47.图1是本发明实施例的车辆铭牌信息位置检测方法流程图。
具体实施方式
48.现在结合附图对本发明作进一步详细的说明。
49.需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦
仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
50.实施例一
51.图1是本发明实施例的车辆铭牌信息位置检测方法流程图。参见图1，该检测方法包括以下步骤：
52.s1，获取车辆铭牌图像。
53.s2，基于深度神经网络构建外框识别模型，采用外框识别模型对采集的车辆铭牌图像进行预测，得到一个包含铭牌的矩形框，定义为该车辆铭牌图像的铭牌外框。
54.s3，基于深度神经网络构建角点定位模型，采用角点定位模型预测得到车辆铭牌图像中的铭牌外框的四个角点。
55.s4，根据四个角点构成的连通区域，计算铭牌外框内封闭区域的面积，若计算得到的面积小于预设面积阈值，则判定该车辆铭牌图像上不存在铭牌，返回步骤s1；否则，判定该车辆铭牌图像上存在铭牌，转入步骤s5。
56.s5，利用铭牌外框的四个角点，采用透视校正函数校正图像，得到校正后的铭牌外框区域。
57.s6，定位所述校正后的铭牌外框区域上的铭牌信息。
58.下面结合例子对前述检测方法进行详细阐述。本实施例的检测方法包括以下步骤：
59.步骤一、获取车辆铭牌图像
60.本实施例的检测方法能够对拍摄的图像质量进行自动判定和自动校正，较少受到拍摄参数影响，理论上允许获取不同拍照场地环境、不同光照和不同倾斜角度的铭牌图像。
61.步骤二、预测车辆铭牌图像中的铭牌外框
62.基于深度神经网络构建外框识别模型的过程包括以下步骤：
63.21)将获取的在不同拍照场地环境、不同光照和不同倾斜角度的车辆铭牌图像作为训练样本。
64.22)采用多边形框在图像上标记铭牌外框的四个角点。
65.23)根据标记的铭牌外框的四个角点的json文件，计算出四个角点的最小外界矩形的四个角点，取四个角点最小的横坐标作为左上角x1，取四个角点最小的纵坐标作为y1，取四个角点最大的横坐标作为右下角x2，取四个角点最大的纵坐标作为右下角y2，得到左上角(x1,y1)和右下角(x2,y2)。
66.为了便于描述，将长边定义为矩形框的宽，将短边定义为矩形框的高。将左上角(x1,y1)和右下角(x2,y2)转化为中心点和宽高(x、y、w、h)，生成一个txt文件，每一张图片对应一个txt文件，txt的文件名为图片的名称，每一个txt文件中的每一行对应一个铭牌外界矩形框坐标(x、y、w、h)，得到所有图片对应的txt文件之后，将所有有对应txt的图片的名称放在一个总的txt中，每一个行对应一个图片的路径，将这个总的txt和铭牌图像以及和图片同名的txt构成的数据集，训练车辆铭牌外框深度神经网络；示例性的，可以采用centernet检测算法。
67.24)利用步骤23)训练得到的模型对图像进行预测，得到铭牌外框的中心点(out_x、out_y)以及宽高(out_w、out_h)；根据中心点和宽高，得到一个包含铭牌的矩形框。
68.步骤三、预测铭牌外框的四个角点
69.采用基于深度神经网络定位车辆铭牌图像中的铭牌外框的四个角点。
70.31)将获取的在不同拍照场地环境、不同光照和不同倾斜角度的车辆铭牌图像作为训练样本。
71.32)采用多边形框在图像上标记铭牌外框的四个角点以及铭牌信息的四个角点。
72.33)根据所述标记的铭牌外框的四个角点的json文件及铭牌图像构成的数据集，训练四个角点(左上、右上、右下和左下)的深度神经网络，采用alphapose人体关键点检测的算法，将关键点的个数改为4个，获得铭牌外框四个角点的模型。
73.34)利用所述铭牌外框四个角点的模型对车辆铭牌图像进行预测，得到铭牌外框的四个角点。
74.示例性地，深度神经网络选用的是2d多人关键点检测(多人姿态估计)中top-down方法alphapose算法，先进行目标检测，检测出包含铭牌外框的四个角点的水平矩形，即检测出铭牌，再对每个检测的铭牌进行单铭牌的四个角点检测，然后再对角点进行分组关联
75.步骤四，图像质量判定
76.根据四个角点构成的连通区域，计算所述铭牌外框内封闭区域的面积，若所述面积小于预设面积阈值则判定图像上不存在铭牌，需要返回步骤一重新采集图像；否则，判定图像上存在铭牌，进入步骤五。
77.步骤五，图像校正
78.根据所述铭牌外框的四个角点调用透视校正函数校正图像，以得到校正后的铭牌外框区域。
79.根据所述四个角点arr_pt1计算透视变换后矩形的四个角点坐标arr_pt2；假设获取到的车辆铭牌图像上的四个角点坐标分别为pt_tl、pt_bl、pt_tr、pt_br，经透视变换后对应的四个角点坐标分别为：new_pt_tl、new_pt_bl、new_pt_tr、new_pt_br；则：
80.根据变换前后的坐标调用getperspectivetransform函数得到透视变换矩阵m，再调用opencv透视变化函数warpperspective对铭牌图像进行校正，便能得到校正之后的铭牌图像，此时铭牌外框区域为矩形。
81.步骤六，铭牌信息位置定位
82.定位所述校正后的铭牌外框区域上的铭牌信息的过程包括以下步骤：
83.51)根据所述步骤32)中标记的铭牌外框的四个角点，利用所述步骤4)中的透视校正方法来截取的铭牌外框区域，作为训练铭牌信息的数据集。
84.52)根据透视校正矩阵，计算出标记铭牌信息相对于校正后的铭牌外框区域的四个角点坐标值。
85.53)使用步骤51)中训练铭牌信息的数据集和旋转目标检测深度学习网络进行训练，以获得铭牌信息位置检测模型。
86.54)利用所述得到的铭牌信息位置检测模型预测铭牌信息的位置。
87.透视校正铭牌，并且已经得到校正之后铭牌四个角点坐标：new_pt_tl、new_pt_bl、new_pt_tr、new_pt_br，根据这四个角点坐标可以得到铭牌区域roi。对铭牌外框的四个点的样本使用步骤四的透视校正得到校正后的铭牌区域roi训练样本。根据透视矩阵计算出相对于在铭牌区域roi训练样本上多边形框标记制造年月、发动机号、车架号、整机型号
和品牌等所在位置，即调用opencv中的perspectivetransform函数，计算出铭牌信息的相对坐标。使用所述图像训练旋转目标检测深度学习网络模型，获得铭牌信息位置检测模型。
88.将铭牌图像输铭牌信息位置检测模型，得到n个一维数组[class，score，x，y，width，height,angle]，数组第一个元素class代表对象类别，与训练时的类别顺序一致，0代表背景，1代表制造年月，2代表发动机号，3代表整机型号，4代表车架号，5代表品牌；score代表分数，x，y代表矩形中心点坐标，width代表矩形宽度，height代表矩形高d度，angle代表相对于长边逆时针旋转的角度；每个数组均对应一个区域，选取得分最大的为目标输出。
[0089]
实施例二
[0090]
第二方面，本发明实施例提出了一种车辆铭牌信息位置检测系统，该检测系统包括图像采集模块、外框识别模型、角点定位模型、铭牌判定模块、校正模块和铭牌信息定位模块。
[0091]
图像采集模块，用于获取车辆铭牌图像。
[0092]
基于深度神经网络构建的外框识别模型，用于对采集的车辆铭牌图像进行预测，得到一个包含铭牌的矩形框，定义为该车辆铭牌图像的铭牌外框。
[0093]
基于深度神经网络构建的角点定位模型，用于预测得到车辆铭牌图像中的铭牌外框的四个角点。
[0094]
铭牌判定模块，用于接收角点定位模型预测得到的车辆铭牌图像中的铭牌外框的四个角点，根据四个角点构成的连通区域，计算铭牌外框内封闭区域的面积，若计算得到的面积小于预设面积阈值，则判定该车辆铭牌图像上不存在铭牌；否则，判定该车辆铭牌图像上存在铭牌。
[0095]
校正模块，用于利用铭牌外框的四个角点，采用透视校正函数校正图像，得到校正后的铭牌外框区域。
[0096]
铭牌信息定位模块，用于定位所述校正后的铭牌外框区域上的铭牌信息。
[0097]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。