一种针对雾霾天气环境的自动车牌识别方法与流程

1.本技术属于车牌识别技术领域，更具体地说，是涉及一种针对雾霾天气环境的自动车牌识别方法。


背景技术：

2.随着智慧交通的不断发展以及机动车数量的迅速增长，车牌识别技术已经成为实现智慧交通必不可少的一环，并且在停车场管理，高速公路收费，违章拍照等任务中发挥着非常重要的作用。现有的车牌识别算法大致可分为传统方法和基于深度学习的方法。传统车牌识别算法通常使用基于图像处理的算法来进行车牌的定位和识别，识别准确率较低，并且仅适用单一场景。
3.近年来，随着机器学习技术的发展，基于深度学习模型的车牌识别算法在稳定性和识别准确率方面都有了很大程度上的提升。然而，由于车牌识别的应用场景较为复杂，目前的车牌识别技术在雾霾等恶劣气象环境的干扰下，仍存在识别准确率低，鲁棒性差等问题，因此，雾霾天气环境下车牌识别准确率低的问题是目前亟待解决的重点问题。


技术实现要素：

4.为实现上述目的，本技术采用的技术方案是：提供一种针对雾霾天气环境的自动车牌识别方法，首先上传雾霾天气环境下的有雾车辆图像，然后使用训练好的雾霾图像预处理模块对有雾车辆图像进行去雾处理，再采用车牌定位模块进行车牌定位，最后将定位出来的车牌输入到车牌识别模块进行车牌字符识别，并且输出识别结果。
5.可选地，包括以下步骤：
6.步骤一，开始；
7.步骤二，在雾霾图像预处理模块对采集的有雾车辆图像进行去雾处理之前，首先对清晰无雾车牌图片进行加雾处理，批量生成与真实雾霾天气环境下的车辆图像类似的图片，并与原始清晰无雾车牌图像成对组合成训练集，作为cycle gan去雾模型的输入对模型进行训练；
8.上传雾霾天气下的有雾车辆图像至雾霾图像预处理模块，使用训练好的cycle gan去雾模型对上传的有雾车辆图像进行去雾处理；
9.步骤三，经过图像去雾网络，去除雾霾天气的干扰，生成清晰无雾的车辆图像，将该图像输入到基于yolov5的车牌定位模块进行车牌定位；
10.步骤四，车牌定位模块将定位出来的车牌输入到车牌识别模块中，车牌识别模块使用lprnet网络进行端到端的车牌字符识别；
11.步骤五，结束。
12.可选地，步骤二中，cycle gan去雾模型包括两个镜像对称的生成式对抗网络，每个生成式对抗网络包括两个鉴别器和两个生成器。
13.可选地，cycle gan去雾模型用于进行有雾车牌图片到无雾车牌图片的变换；
14.设有雾图像为x域，无雾图像为y域；
15.生成器一负责通过x域图片来生成y域图片，生成器二负责通过y域的图片来生成x域的图片；
16.两个鉴别器需要判别输入图像是x域还是y域；
17.生成器尝试通过原域的图片学习到生成目标域的映射，鉴别器判断，在生成器和鉴别器对抗的过程中，使生成器生成的图片越来越接近真实的目标域图片。
18.可选地，生成式对抗网络为了保留生成器生成的目标域图片在某些特征上与原域的图片相似，又将生成的假的目标域的图片还原回原域，并进行损失函数计算，损失函数为对抗性损失函数和循环一致性损失函数；
19.对抗性损失函数，为学习原域与目标域之间的映射关系，用来保证图像从有雾图像映射到无雾图像，抗性损失函数如公式(1)所示：
[0020][0021]
其中，x和y分别代表来自x域和y域的图像，gxy为负责从x域生成y域图像的生成器，dy为鉴别器；
[0022]
循环一致性损失函数，能够保证在图像域转换的过程中保留原图像在原域中的相应特征，循环一致性损失函数如公式(2)所示：
[0023][0024]
其中，x和y分别代表来自x域和y域的图像，gxy为负责从x域生成y域图像的生成器，gyx为负责从y域生成x域图像的生成器；
[0025]
完整的损失函数是两个损失函数的总和，如公式(3)所示：
[0026]
ψ(g
xy
,g
yx
,d
x
,dy)＝ψ
gan
(g
xy
,dy,x,y) ψ
gan
(g
yx
,d
x
,x,y) λψ
cyc
ꢀꢀꢀ
(3)
[0027]
其中，gxy为负责从x域生成y域图像的生成器，gyx为负责从y域生成x域图像的生成器，dx和dy为鉴别器,λ为权重系数。
[0028]
可选地，步骤三中，车牌定位模块使用yolov5进行车牌定位，yolov5包括backbone模块、neck模快、head模块；
[0029]
backbone模块用于特征的提取；
[0030]
neck模块用于对特征进行混合与组合；
[0031]
head模块用于预测输出；
[0032]
在backbone模块的csp-darknet53中包含5个csp模块，csp模块在进行特征提取时不仅使用第五个csp输出的特征图，还同时使用了其它csp层输出的特征图。
[0033]
可选地，车牌定位模块包括非极大值抑制，非极大值抑制首先将所有的预测框按不同类别进行分组，组内按照置信度的大小进行排序，选取置信度最大的预测框，再依次选取其他的预测框，判断该预测框与已选取的预测框的重叠区域是否大于预先设定好的阈值，若大于设定好的阈值，则判定为预测的是同一个车牌目标，删除该预测框，如果重叠部分小于设定好的阈值，则判定为预测的不是同一个车牌目标，保留该预测框；循环执行该算法，直至处理完所有的预测框。
[0034]
可选地，步骤四中，车牌识别模块包括stn空间变换网络和lprnet网络，stn空间变
换网络对输入的车牌图片进行矫正，lprnet网络用于车牌字符识别。
[0035]
可选地，stn空间变换网络对输入的车牌图片进行矫正方法为，首先将雾霾图像预处理模块裁剪出的车牌图片输入到stn空间变换网络中，使用池化层提取图像特征，将提取的特征传进全连接层，计算出变换参数；最后使用变换参数对输入图像进行矫正，矫正后的图片将作为lprnet网络的输入。
[0036]
可选地，lprnet网络以94*24的rgb图片做输入，经过卷积运算和特征提取后，输出一段代表字符概率的序列；
[0037]
采用ctc损失进行训练，应对输出的代表字符概率序列与车牌字符序列长度不一致的问题，识别变长字符序列；
[0038]
对代表字符概率的序列进行解码操作，然后通过集束搜索和后过滤找到最可能的n个序列并返回与模板最匹配的字符序列进行输出，输出结果即为车牌号序列。
[0039]
本技术的针对雾霾天气环境的自动车牌识别方法，在传统的车牌识别算法的基础上增加了雾霾图像预处理模块，使用cycle gan去雾模型生成式对抗网络去除雾霾天气的干扰像素，将雾霾天气下的车辆图像转换为清晰无雾的图像，该模块结合车牌定位模块，车牌识别模块三部分为一体，实现端到端的车牌自动识别。在图像去雾方面，使用少量成对图像数据即可获得较好的去雾效果。本技术提出的车牌识别方法可以更好的应用到雾霾天气场景中，针对雾霾天气环境下的车牌自动识别，适应性较强，识别准确率高，解决了现有对雾霾天气环境下车牌识别准确率较低的问题，具有广泛的应用前景。
附图说明
[0040]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0041]
图1为雾霾天气环境下的自动车牌识别算法整体流程图；
[0042]
图2为雾霾图像预处理模块的训练过程框图；
[0043]
图3为yolov5网络结构图；
[0044]
图4为非极大值抑制效果图；
[0045]
图5为lprnet网络结构图。
具体实施方式
[0046]
为了使本技术所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0047]
现对本技术实施例提供的针对雾霾天气环境的自动车牌识别方法进行说明。所述针对雾霾天气环境的自动车牌识别方法，首先上传采集的雾霾天气环境下的有雾车辆图像，然后采用雾霾图像预处理模块对采集的车辆图像进行去雾处理，再采用车牌定位模块进行车牌定位，最后将定位出来的车牌输入到车牌识别模块进行车牌字符识别，并且输出识别结果。参见图1，具体包括以下步骤：
[0048]
步骤一，开始；
[0049]
步骤二，采集雾霾天下的车牌图片，并上传雾霾天气下的有雾车辆图像至训练好的雾霾图像预处理模块。
[0050]
采用训练好的雾霾图像预处理模块对上传的有雾车辆图像进行去雾处理，采用cycle gan去雾模型将有雾车牌图片变换为无雾车牌图片。
[0051]
cycle gan去雾模型在对有雾车牌图片预处理前，首先对cycle gan去雾模型进行训练，训练集包括正常天气下采集的无雾车牌图片以及对无雾车牌图片加雾处理后的有雾车牌图片，成对输入到cycle gan去雾模型中，使cycle gan去雾模型学习有雾车牌图片与无雾车牌图片的相互转换；待cycle gan去雾模型训练好后，即可投入使用，将接收的有雾车辆图像进行去雾处理。
[0052]
cycle gan去雾模型在对有雾车牌图片预处理前进行训练，训练数据的生成方法为：对清晰无雾的车牌图片进行加雾处理，批量生成与真实雾霾天气环境下的车辆图像类似的图片，并与原始清晰无雾的图像成对组合成训练集，作为cycle gan去雾模型的输入对模型进行训练。
[0053]
cycle gan去雾模型包括两个对称的生成式对抗网络，每个生成式对抗网络包括两个鉴别器和两个生成器，两个鉴别器和两个生成器配合，从而完成两类图像风格的转换。
[0054]
cycle gan去雾模型用于进行有雾车牌图片到无雾车牌图片的变换。如图2所示，设有雾图像为x域，无雾图像为y域。生成器一负责通过x域图片来生成y域图片，生成器二负责通过y域的图片来生成x域的图片；
[0055]
两个鉴别器需要判别输入图像是x域还是y域。
[0056]
本技术提出的cyclegan去雾模型的核心思想是在训练的过程中同时优化对抗性损失和循环一致性损失，并且使用少量成对的样本作为训练集，成对的样本能够在模型训练时提供约束，使模型生成的分布更容易拟合到源域样本。
[0057]
训练的过程中，生成器尝试通过原域的图片学习到生成目标域的映射，鉴别器判断，生成器和鉴别器对抗的过程中，生成器生成的图片越来越接近真实的目标域图片。
[0058]
生成式对抗网络为了保留生成器生成的目标域图片在某些特征上与原域的图片相似，又将生成的目标域的图片还原回原域，并进行损失计算，从而在映射的过程中可以很好的保证原始图片的特征。
[0059]
cycle gan去雾模型的主要有两个损失函数，第一个损失函数是对抗性损失，如公式(1)所示。使用对抗性损失的目的主要是学习原域与目标域之间的映射关系，使生成器可以生成越来越接近目标域的图片。在训练过程中，两个生成器不断学习有雾图像和无雾图像之间的映射过程，而两个鉴别器也在训练中提高自己鉴别图片真假的能力。
[0060][0061]
其中，x和y分别代表来自x域和y域的图像，gxy为负责从x域生成y域图像的生成器，dy为鉴别器。
[0062]
对抗性损失主要用来保证图像从有雾图像映射到无雾图像，并不能保证两个图像之间的对应关系。因此，cyclegan还添加了循环一致性损失，循环一致性损失可以很好的保证了在图像域转换的过程中保留原图像在原域中的相应特征，如公式(2)所示。
[0063][0064]
其中，x和y分别代表来自x域和y域的图像，gxy为负责从x域生成y域图像的生成器，gyx为负责从y域生成x域图像的生成器。
[0065]
完整的损失函数是两个损失函数的总和，如公式(3)所示：
[0066]
ψ(g
xy
,g
yx
,d
x
,dy)＝ψ
gan
(g
xy
,dy,x,y) ψ
gan
(g
yx
,d
x
,x,y) λψ
cyc
ꢀꢀꢀ
(3)
[0067]
其中，gxy为负责从x域生成y域图像的生成器，gyx为负责从y域生成x域图像的生成器，dx和dy为鉴别器,λ为权重系数。
[0068]
训练好的图像去雾网络能够有效的去除雾霾天气的干扰因素影响，使图片变清晰。
[0069]
此外，在训练过程中，采用成对训练数据进行模型的训练，在模型优化过程中加以约束，与传统cycle gan去雾模型相比，极大的减少了训练样本的数量，因此只需要少量的训练样本就可以达到较高的识别准确率。同时，该模型具有泛化性和通用性，能够在不改变模型结构的情况下，应用于不同类型的验证码图片，极大的减少了人工干预。
[0070]
步骤三，经过图像去雾网络，去除雾霾天气的干扰，生成清晰无雾的车辆图像，将该图像输入到车牌定位模块，采用yolov5进行车牌定位。
[0071]
车牌定位模块使用yolov5进行车牌定位，yolov5的网络结构，如图3所示，主要包括backbone、neck、head三部分。
[0072]
backbone用于特征的提取。
[0073]
neck用于对特征进行混合与组合。
[0074]
head用于预测输出。
[0075]
在backbone模块的csp-darknet53中包含5个csp模块。
[0076]
csp模块在进行特征提取时不仅使用第五个csp输出的特征图，还同时使用了其它csp层输出的特征图。从而提升了特征的多样化，提升cnn的学习能力。该模块在轻量化的同时能够保证准确率，降低计算瓶颈以及降低内存成本。
[0077]
在使用yolov5进行车牌定位的过程中，会生成多个围绕着同一个车牌位置的预测框，多个预测框之间相互重叠，这些预测框预测的为同一个车牌位置，需要从中选取其中一个位置最准确的预测框。因此需要使用非极大值抑制来完成这一过程。非极大抑制效果图，如图4所示。非极大值抑制(nms)首先将所有的预测框按不同类别进行分组，组内按照置信度的大小进行排序，选取置信度最大的预测框，再依次选取其他的预测框，判断该预测框与已选取的预测框的重叠区域是否大于预先设定好的阈值，若大于设定好的阈值，则判定为预测的是同一个车牌目标，删除该预测框，如果重叠部分小于设定好的阈值，则判定为预测的不是同一个车牌目标，保留该预测框。循环执行该算法，直至处理完所有的预测框。
[0078]
使用车牌定位模块定位出来车牌，并将其作为车牌识别模块的输入，进行车牌字符识别。
[0079]
步骤四，车牌定位模块将定位出来的车牌输入到车牌识别模块中，车牌识别模块包括stn空间变换网络和lprnet网络，stn空间变换网络对输入的车牌图片进行矫正，lprnet网络用于车牌字符识别。
[0080]
在车牌识别过程中，经过yolov5定位模块输出的车牌可能存在图像倾斜的问题，
不利于进一步的车牌识别，因此在输入到lprnet网络进行车牌识别之前，先使用stn空间变换网络对截取出来的车牌图像进行空间变换矫正处理。stn空间变换的方法如下：将雾霾图像预处理模块裁剪出的车牌图片输入到stn空间变换网络中，使用池化层提取图像特征，将提取的特征传进全连接层，计算出变换参数；然后使用变换参数对输入图像进行矫正，矫正后的图片将作为lprnet网络的输入。stn空间变换网络结构如表1所示。
[0081]
表1stn网络结构
[0082][0083]
车牌识别的过程由lprnet网络实现，lprnet网络以94*24的rgb图片做输入，经过卷积运算和特征提取后，输出一段代表字符概率的序列，它与输入图片的像素的宽度有关。并且使用ctc损失进行训练，可以有效地应对输出的代表字符概率序列与车牌字符序列长度不一致的问题，可以很好的识别变长字符序列。推理阶段对代表字符概率的序列进行解码操作，然后通过集束搜索和后过滤找到最可能的n个序列并返回与模板最匹配的字符序列进行输出，输出结果即为车牌号序列，lprnet网络，如图5所示。ctc损失计算为现有技术，此处不再赘述。
[0084]
步骤五，结束。
[0085]
本技术的针对雾霾天气环境的自动车牌识别方法，在传统的车牌识别算法的基础上增加了车牌图像预处理的功能，去除雾霾天气的干扰因素，使车辆图像变清晰，该方法结合雾霾图像预处理模块，车牌定位模块，车牌识别模块三部分为一体，实现端到端的车牌自动识别。在图像去雾方面，使用少量成对图像数据即可获得较好的去雾效果。本技术提出的车牌识别方法可以更好的应用到雾霾天气场景中，针对雾霾天气环境下的车牌自动识别，适应性较强，识别准确率高，解决了现有对雾霾天气环境下车牌识别准确率较低的问题，具有广泛的应用前景。
[0086]
以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本技术的保护范围之内。