一种雾霾环境下的车牌识别方法与流程

1.本发明涉及一种车牌识别方法，特别是一种雾霾环境下的车牌识别方法。


背景技术：

2.随着经济的快速发展和城市规模不断扩大，交通系统已成为现代社会不可或缺的组成部分。车牌是对各车辆的编号与信息登记，其主要作用是通过车牌可以知道该车辆的所属地区，也可根据车牌查到该车辆的主人以及该车辆的登记信息。
3.车牌识别技术可以自动地识别车牌并区分车辆。车牌识别技术被广泛用于车辆跟踪、交通拥堵监控、城市街道管理和收费道路电子收费等应用。
4.然而在雾霾天气越来越严重的情况下，雾霾严重模糊了车牌的边界和特征，使得车牌难以被发现和识别。现有的车牌识别技术大多基于特征提取技术，由于雾霾干扰使得图像模糊性致使特征提取非常困难。


技术实现要素：

5.发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种雾霾环境下的车牌识别方法。
6.为了解决上述技术问题，本发明公开了一种雾霾环境下的车牌识别方法，包括：
7.步骤1，改进暗通道先验算法，对模糊图像进行初步去雾，得到初步去雾图像；
8.步骤2，通过带有卷积网络的联合去雾和区域提取模型，对初步去雾图像进一步去雾处理，得到车牌去雾图像；
9.步骤3，通过带有卷积网络的联合去雾和区域提取模型，进行区域提取，在车牌去雾图像中提取车牌边界框，并对边界框位置进行校正，得到校正图像；
10.步骤4，对校正图像进行超采样处理，得到高分辨率图像；
11.步骤5，采用连通域方法和模板匹配方法，对高分辨率图像进行字符分割，并采用人工神经网络进行字符识别，最终完成雾霾环境下的车牌识别。
12.本发明中步骤1包括：
13.步骤1-1，区域划分，将每幅图像分成几个不同雾浓度的区域；
14.步骤1-2，区域处理，分别对不同雾浓度的区域进行处理。
15.本发明中步骤1-1所述区域划分包括：
16.对图像进行灰度处理，灰度值代表每个像素的亮度；
17.计算每个像素的暗通道值，以每一个像素为中心取设定大小的矩形窗口，取矩形窗口中灰度值最小值代替中心像素灰度值，得到该像素的暗通道值；
18.采用k-means聚类算法将像素点划分为不同的雾浓度区域。
19.本发明中步骤1-2所述区域处理包括：进行区域划分后，在每个区域中选择暗通道图像灰度值最大的0.1％的像素，取最大亮度作为该区域的区域大气光成分a；计算透光率t，方法如下：
[0020][0021]
其中，ω是修正因子，i是待去雾的图像，上标c表示rgb三通道的某一通道，a 是区域大气光成分，ω(x)表示以像素x为中心的一个窗口，y是窗口中的一个像素；
[0022]
再根据如下方法得到重建图像：
[0023]
i(x)＝j(x)
·
t(x) a
·
[1-t(x)]
[0024]
其中，i(x)是已有的带雾图像，j(x)是期望的无雾图像，a是全球大气光成分，t(x) 为透射率。
[0025]
本发明步骤2中所述的带有卷积网络的联合去雾和区域提取模型jfrm，由三个模块组成：多尺度密集连接去雾优化网络；特征提取骨干网络；特征交互检测网络；
[0026]
其中，通过多尺度密集连接去雾优化网络对初步去雾图像进一步去雾处理；在多尺度密集连接去雾优化网络中，添加过滤器形成多尺度特征，并结合卷积层和连接层补偿缺失的卷积过程中的信息；添加残差块加深对图像中雾霾结构的感知，准确捕捉不同深度物体的边界细节；从而得到车牌去雾图像。
[0027]
本发明中步骤3包括，通过带有卷积网络的联合去雾和区域提取模型jfrm进行区域提取，得到车牌边界框，方法包括：
[0028]
在特征提取骨干网络中，以yolov3中的darknet-53网络作为特征提取的网络结构；该网络结合卷积层和残差块；残差块在不改变输入图像和输出图像的大小的情况下产生残差结果；残差块控制梯度的传播，避免梯度弥散问题；
[0029]
在特征交互检测网络中，采用yolov3中的yolo层与darknet-53多次下采样提取的特征进行交互；将五次下采样的最后三个特征输出映射到三个不同尺度的yolo层；最小尺度的特征图尺寸为13*13，中尺度的特征图尺寸为26*26，特征图尺寸为最大比例为52*52；三个不同尺度的yolo层应用一个1*1的卷积核产生一个输出。
[0030]
本发明中步骤3包括：采用一种非极大值抑制方法来消除重叠的边界框，通过交并比计算预测边框和真实边框的交集和并集的比值，具体方法如下：
[0031]
步骤3-1，遍历车牌去雾图像和从每个图像中提取的边界框，对于每幅图像，计算其任意两个边界框bi和bj之间的交并比值iou，比较置信度分数score，并执行步骤 3-2和步骤3-3；
[0032]
步骤3-2，将标志flag初始化为0；
[0033]
步骤3-3，当交并比值iou(bi,bj)大于等于门限值且边界框bi的置信度分数 score(bi)大于等于边界框bj的置信度分数score(bj)时，删除边界框bj及其置信度分数；否则，删除边界框bi及其置信度分数；将标志flag设置为1；
[0034]
步骤3-5，输出最优边界框及其置信度分数。
[0035]
本发明步骤3中：对于倾斜的车牌，采用wpod-net校正边界框的位置；首先设定一个固定大小的矩形角框围绕一个像素的中心，如果这个像素的物体概率大于预设的检测阈值，则利用回归参数构建仿射矩阵，将矩形框转换为倾斜的车牌区域；如果小于则不进行处理。
[0036]
本发明骤4中，使用卷积增强的超分辨率神经网络srcnn获取高分辨率图像，首先
通过双三次插值将图像调整到目标尺寸，然后通过卷积层完成非线性映射；卷积增强的srcnn模型结构有6层，增加第一层卷积的核大小；在第3层到第5层，连续执行不同尺寸的卷积核进一步提取特征，第6层通过5*5*1的卷积核重构映射特征并生成高分辨率图像。
[0037]
本发明步骤5中：执行高斯模糊、灰度处理和大津二值化，除去噪声伪影；利用连通域法获得可能的字符列表和字母数字的连通域；将这些可能的字符与车牌字符进行匹配，除去轮廓内的重叠字符；将字符分割成一系列的单字符块，采用人工神经网络识别车牌字符，最终完成雾霾环境下的车牌识别。
[0038]
有益效果：为了减少雾霾干扰，提出了一种雾霾环境下的车牌识别方法，并提出 jfrm模型，大大减少了累积误差造成的图像重建失真，准确提取去雾图像的车牌。通过卷积增强的srcnn实现图像超分辨率，从而可以成功识别车牌字符。仿真结果表明我们的方法可以提高雾霾环境下车牌识别的准确性。
附图说明
[0039]
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/ 或其他方面的优点将会变得更加清楚。
[0040]
图1为本方法的总体流程图。
[0041]
图2为改进暗通道先验算法初步去雾的效果图。
[0042]
图3为处理倾斜的车牌的效果图。
[0043]
图4为图像进行超采样处理的效果图。
[0044]
图5为采用本发明方法进行车牌识别的效果图。
具体实施方式
[0045]
本发明提供了一种雾霾环境下的车牌识别方法，其目的在于在雾霾环境下，减小雾霾对车牌的边界和特征的影响，正确的识别车牌字符。
[0046]
一种雾霾环境下的车牌识别方法，如图1所示，包括以下步骤：
[0047]
步骤一：改进暗通道先验算法，对模糊图像进行初步去雾。
[0048]
步骤二：通过联合去雾对图像进行进一步去雾处理，获得车牌去雾的图像。
[0049]
步骤三：通过区域提取模型提取的边界框，并对边界框位置进行校正。
[0050]
步骤四：对图像进行超采样处理，获取高分辨率图像。
[0051]
步骤五：利用连通域方法和模板匹配方法来实现字符分割，然后采用人工神经网络来实现字符识别。
[0052]
所述的一种雾霾环境下的车牌识别技术，所述的步骤一中，将每幅图像分成几个不同雾浓度的区域，然后分别对不同雾浓度的区域进行处理。
[0053]
在区域划分中，包括以下步骤：
[0054]
首先，我们对图像进行灰度处理，这些灰度值代表了每个像素的亮度。
[0055]
然后，我们计算每个像素的暗通道值，以每一个像素为中心取一定大小的矩形窗口，取矩形窗口中灰度值最小值代替中心像素灰度值，从而得到该像素的暗通道值。。
[0056]
最后采用k-means聚类算法自动将像素点划分为不同的雾浓度区域。
[0057]
在区域处理中，对雾集中区域进行划分后，在每个区域中，我们选择暗通道图像灰度
值最大的0.1％的像素，取最大亮度作为该区域的区域大气光成分a。通过计算透光率t，再根据得到重建图像。
[0058]
所述的一种雾霾环境下的车牌识别技术，所述的步骤二中，本发明提出一个带有卷积网络的联合去雾和区域提取模型(jfrm)，它由三个模块组成：多尺度密集连接去雾优化网络；特征提取骨干网络；特征交互检测网络。
[0059]
在多尺度密集连接去雾优化网络中，我们添加了一些过滤器来形成多尺度特征，同时结合卷积层和连接层来补偿缺失的卷积过程中的信息。我们添加了一些残差块来加深对图像中雾霾结构的感知，从而准确捕捉到不同深度物体的边界细节。
[0060]
在特征提取骨干网络中，以yolov3中的darknet-53网络(参考： j.redmonanda.farhadi，yolov3:an incremental improvement)作为特征提取的主要网络结构。该网络结合了卷积层和残差块。残差块将在不改变输入图像和输出图像的大小的情况下产生残差结果。残差块可以控制梯度的传播，避免梯度分散和梯度的一些问题。
[0061]
在特征交互检测中，我们使用yolov3中的yolo层与darknet-53多次下采样提取的特征进行交互。将五次下采样的最后三个特征输出映射到三个不同尺度的yolo层。最小尺度的特征图尺寸为13*13，中尺度的特征图尺寸为26*26，特征图尺寸为最大比例为52*52。这样，三个不同尺度的yolo层可以应用一个1*1的卷积核来产生一个类似于全连接层的输出。
[0062]
所述的一种雾霾环境下的车牌识别技术，所述的步骤三中，使用了一种非极大值抑制算法来消除重叠的边界框。iou的全称为交并比(intersection over union)，计算的是“预测的边框”和“真实的边框”的交集和并集的比值。算法描述如下：
[0063]
步骤3.1：遍历去雾图像和从每个图像中提取的边界框。对于每幅图像，计算其任意两个边界框(bi,bj)之间的iou值，比较置信度分数score。
[0064]
步骤3.2：将标志flag初始化为0。
[0065]
步骤3.3：当iou(bi,bj)≥门限值且score(bi)≥score(bj)时，删除bj及其置信度；否则，bi及其置信度分数将被删除。flag设置为1。然后，在其他两个边界框中，计算iou值，比较置信度。
[0066]
步骤3.4：输出最优边界框及其置信度分数
[0067]
对于倾斜的车牌，边界框不准确。因此，引入了wpod-net来校正边界框的位置(参考：s.m.silva and c.r.jung，license plate detection and recognition inunconstrained scenarios)，如图5所示。wpod-net中引入了空间变换器网络的特性，可用于检测非矩形区域。
[0068]
对于倾斜的车牌，我们首先考虑一个固定大小的矩形角框围绕一个像素的中心，如果这个像素的物体概率大于预设的检测阈值，则利用一些回归参数来构建仿射矩阵，将矩形框转换为倾斜的车牌区域。
[0069]
所述的一种雾霾环境下的车牌识别技术，所述的步骤四中，使用卷积增强的srcnn 来获取高分辨率图像。对于低分辨率图像，srcnn首先通过双三次插值将图像调整到目标尺寸，然后通过卷积层完成非线性映射。卷积增强的srcnn的结构有6层，其中增加了第一层卷积的核大小。在第3层到第5层，连续执行不同尺寸的卷积核以进一步提取特征，第6层通过
5*5*1的卷积核重构映射特征并生成高分辨率图像。srcnn可以参考chao dong，chen change loy的“image super-resolution using deep convolutional networks”[0070]
所述的一种雾霾环境下的车牌识别技术，所述的步骤五中，在字符识别步骤中，我们专注于包含我们想要识别的字母数字的区域，而丢弃其他区域。首先，执行高斯模糊、灰度处理和大津二值化，除去可能的噪声伪影。
[0071]
其次，利用连通域法获得可能的字符列表和字母数字的连通域。然后将这些可能的字符与车牌字符进行匹配，除去轮廓内的重叠字符。最后，字符被分割成一系列的单字符块，依靠人工神经网络来识别车牌字符
[0072]
本发明具有以下优点及有益效果：为了减少雾霾干扰，首先研究了一种雾浓度去雾方法，并提出jfrm模型，大大减少了累积误差造成的图像重建失真，准确提取去雾图像的车牌。通过卷积增强的srcnn实现图像超分辨率，从而可以成功识别车牌字符。仿真结果表明我们的方法可以提高雾霾环境下车牌识别的准确性。
[0073]
实施例
[0074]
为使本发明的内容更加明显易懂，通过特定的具体实例说明本发明的实施方式。
[0075]
将真实车辆图像作为数据集。这些图像包括各种自然场景(如白天、夜间)，共计3000张图像。通过添加噪声、旋转等图像处理，图像数量可以增加到12000张。通过手工标注得到车牌特征的xml文件。此外，将300张带有运动模糊的图像作为卷积增强srcnn的数据集。
[0076]
采用改进暗通道先验算法，对模糊图像进行初步去雾，可以产生更好的还原图像。
[0077]
在区域划分中，包括以下步骤：
[0078]
首先，我们对图像进行灰度处理，这些灰度值代表了每个像素的亮度。
[0079]
然后，我们计算每个像素的暗通道值，以每一个像素为中心取一定大小的矩形窗口，取矩形窗口中灰度值最小值代替中心像素灰度值，从而得到该像素的暗通道值。
[0080]
最后采用k-means聚类算法自动将像素点划分为不同的雾浓度区域。
[0081]
在区域处理中，对雾集中区域进行划分后，在每个区域中，我们选择暗通道图像灰度值最大的0.1％的像素，取最大亮度作为该区域的区域大气光成分a。通过计算透光率t，再根据得到重建图像，如图2所示，左边为去雾前的图像，右边为去雾后的图像。
[0082]
通过联合去雾对图像进行进一步去雾处理，获得车牌去雾的图像。
[0083]
在多尺度密集连接去雾优化网络中，我们添加了一些过滤器来形成多尺度特征，同时结合卷积层和连接层来补偿缺失的卷积过程中的信息。我们添加了一些残差块来加深对图像中雾霾结构的感知，从而准确捕捉到不同深度物体的边界细节
[0084]
在特征提取骨干网络中，以yolov3中的darknet-53网络作为特征提取的主要网络结构。该网络结合了卷积层和残差块。残差块将在不改变输入图像和输出图像的大小的情况下产生残差结果。残差块可以控制梯度的传播，避免梯度分散和梯度的一些问题。
[0085]
在特征交互检测中，我们使用yolo层与darknet-53多次下采样提取的特征进行交互。将五次下采样的最后三个特征输出映射到三个不同尺度的yolo层。最小尺度的特征图尺寸为13*13，中尺度的特征图尺寸为26*26，特征图尺寸为最大比例为52*52。这样，三个不同尺度的yolo层可以应用一个1*1的卷积核来产生一个类似于全连接层的输出。
[0086]
通过区域提取模型提取的边界框，并对边界框位置进行校正。
[0087]
对于倾斜的车牌，如图3所示，我们首先考虑一个固定大小的矩形角框围绕一个像素的中心，如果这个像素的物体概率大于预设的检测阈值，则利用一些回归参数来构建仿射矩阵，将矩形框转换为倾斜的车牌区域。
[0088]
对图像进行超采样处理，如图4所示。对于低分辨率图像，srcnn首先通过双三次插值将图像调整到目标尺寸，然后通过卷积层完成非线性映射。卷积增强的srcnn 的结构有6层，其中增加了第一层卷积的核大小，将其设置为11。在第3层到第5层，连续执行不同尺寸的卷积核以进一步提取特征，第6层通过5*5*1的卷积核重构映射特征并生成高分辨率图像。
[0089]
利用连通域方法和模板匹配方法来实现字符分割，然后采用人工神经网络来实现字符识别。
[0090]
首先，执行高斯模糊、灰度处理和大津二值化，除去可能的噪声伪影。
[0091]
其次，利用连通域法获得可能的字符列表和字母数字的连通域。然后将这些可能的字符与车牌字符进行匹配，除去轮廓内的重叠字符。最后，字符被分割成一系列的单字符块，依靠人工神经网络来识别车牌字符。识别效果如图5所示。
[0092]
本发明提供了一种雾霾环境下的车牌识别方法的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。