车牌识别方法、模型及装置与流程

1.本技术涉及图像识别领域，特别是涉及一种车牌识别方法、模型及装置。


背景技术：

2.在城市交通管理过程中经常需要对车辆进行识别并且获取车辆的相关信息在诸多车辆相关信息中，车牌作为车辆的唯一识别信息可被用于标识车辆。车牌识别技术在诸如停车场管理、收费站管理、违规车辆管理等场景中有着广泛的应用。
3.传统的车牌识别技术通常包括两个阶段：字符定位以及字符识别，先对车牌所在区域进行定位后截取该部分区域后进行字符识别，由于传统车牌识别技术的限制，传统的车牌识别技术往往需要输入较高分辨率的图像且车牌字符不能倾斜，这就导致其难以满足实际监控需求。在实际监控需求中，车牌一般位于车辆的中下部位置且车牌本身的面积比较小，这就导致了监控摄像头获取的车辆图像中的车牌区域存在分辨率低、图像质量差的情况，无法很好地利用现有的车牌识别算法进行车牌识别。
4.换言之，传统车牌识别技术存在极大缺陷导致其无法很好地识别车牌：第一、训练用的车牌样本只构成不完整的搜索空间，无法涵盖所有可能存在的车牌情况；第二、很多情况下车牌相对于水平平面倾斜角会达到30度，极大地干扰字符检测和识别；第三，字符定位位置比较困难,错误率高。


技术实现要素：

5.本技术实施例提供了一种车牌识别方法、模型及装置，提供了一种端到端的gan增强的车牌识别模型，可对输入的车辆图像进行超分辨率处理并在不进行字符分割的情况下定位车牌的文本区域，对车牌进行高准确度的识别。
6.第一方面，本技术实施例提供了一种车牌识别模型的构建方法，包括：获取训练样本：获取高分辨率车牌字符图像，所述高分辨率车牌字符图像经过下采样得到低分辨率车牌字符图像；构建依次连接的图像增强模块和车牌字符识别模块：所述图像增强模块包括以对抗式学习方式训练的生成器和鉴别器，所述生成器内包括依次连接的用于生成超分辨率图像的高分辨率生成网络和用于重建所述超分辨率图像的重建自编码网络，所述鉴别器的全连接层区分为平行的字符数量计算分支和判断比对分支；所述字符数量计算分支输出的计数信息输入到车牌字符识别模块的最后一层；训练所述图像增强模块和车牌字符识别模块：所述高分辨率车牌字符图像输入到所述鉴别器中用于和所述生成器进行对抗学习，所述低分辨率字符图像输入到所述生成器中，迭代优化所述生成器和所述鉴别器的损失函数；所述图像增强模块输出的增强图像和所述高分辨率车牌字符图像输入到所述车牌字符识别模块，迭代所述识别图像模块的损失函数。
7.第二方面，本技术实施例提供了一种车牌识别模型，采用上述所述的车牌识别模
型的构建方法构建得到。
8.第三方面，本技术实施例提供了一种车牌识别方法，将包含待测车牌的待测图像输入到所述的车牌识别模型得到车牌字符。
9.第四方面，本技术实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述的车牌识别模型的构建方法或所述的车牌识别方法。
10.第五方面，本技术实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括所述的车牌识别模型的构建方法或所述的车牌识别方法。
11.本发明的主要贡献和创新点如下：本技术实施例提供一种车牌识别方法、模型及装置，设计一种全新的车牌识别模型，该车牌识别模型可从模糊的小图像中直接生成高清晰度的超分辨率图像，车牌识别模型中的图像增强模块内优化了鉴别器的结构、对抗学习方式并引入了重建自编码网络，且本方案车牌字符识别模块采用端到端的网络框架，可以快速准确地识别车牌字符。
12.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
13.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1是根据本技术实施例的车牌识别模型的框架示意图；图2是根据本技术一种实施例的重建自编码器的网络结构示意图；图3是根据本技术一种实施例的车牌识别模型的构建方法的流程示意图；图4是根据本技术实施例的电子装置的硬件结构示意图。
具体实施方式
14.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
15.需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
16.实施例一本技术实施例提供了一种车牌识别模型的构建方法，具体地，参考图1和图3所示，所述方法包括：
获取训练样本：获取高分辨率车牌字符图像，所述高分辨率车牌字符图像经过下采样得到低分辨率车牌字符图像；构建依次连接的图像增强模块和车牌字符识别模块：所述图像增强模块包括以对抗式学习方式训练的生成器和鉴别器，所述生成器内包括依次连接的用于生成超分辨率图像的高分辨率生成网络和用于重建所述超分辨率图像的重建自编码网络，所述鉴别器的全连接层区分为平行的字符数量计算分支和判断比对分支；所述字符数量计算分支输出的计数信息输入到车牌字符识别模块的最后一层；训练所述图像增强模块和所述图像增强模块和车牌字符识别模块：所述高分辨率车牌字符图像输入到所述鉴别器中用于和所述生成器进行对抗学习，所述低分辨率字符图像输入到所述生成器中，迭代优化所述生成器和所述鉴别器的损失函数；所述图像增强模块输出的增强图像和所述高分辨率车牌字符图像输入到所述车牌字符识别模块，迭代所述识别图像模块的损失函数。
17.本方案的图像增强模块采用了改进式的对抗性超分辨率图像增强方法，在图像增强模块中引入了重建自编码网络修正超分辨率图像中的车牌字符倾斜的问题，解决某些车牌倾斜角度过大的问题，重建自编码网络的目标函数是倾斜车牌字符的倾斜图像和拉直车牌字符的拉直图像之间的差值；优化了所述鉴别器的损失函数，进而使得鉴别器在区分超分辨率图像和输入的高分辨率车牌字符图像的同时可并行计算车牌字符数量得到计数结果，该计数结果有助于提高车牌字符识别模块的字符识别精度，且本方案的图像增强模块引入了对抗学习的概念，以解决极小极大博弈为优化目标，避免了图像平滑效果，生成的车牌效果更具有锐化效果。
18.本方案的高分辨率生成网络采用图像超分辨率方法可将低分辨率图像（low resolution,lr）恢复成超分辨率图像，传统的图像超分辨率方法以像素平均值作为优化目标，但是传统的方法以超分辨率图像和真实图像之间的均方误差最小，这种方式导致图像会更为平滑，而平滑的图像就意味着对比度小，意味着车牌字符识别时的精度不高。
19.另外，本方案采用的车牌字符识别模块为端到端的单阶段识别模型，可在不进行车牌字符分割的情况下定位车牌字符所在的区域。本方案的车牌字符识别模块采用多尺度图像检测方法进行图像检测。
20.具体的，低分辨率图像输入到高分辨率生成网络中，通过迭代优化高分辨率生成网络的损失函数使其可生成超分辨率图像；超分辨率图像输入到重建自编码网络中通过去噪学习的方式被校正得到增强图像。
21.本方案的高分辨率生成网络由一系列卷积层和上采样层组成，使用两个上采样层实现2倍上采样，进而可以获得4倍增强的超分辨率图像。具体的，高分辨率生成网络的网络框架包括多个残差块、每个残差块中包含两个3*3的卷积层，卷积层后连接批规范化层，选择prelu作为激活函数，再连接两个亚像素卷积层作为上采样网络层。
22.本方案的重建自编码网络可用于重建超分辨率图像，作为用于提高分辨率的图像细化任务，可通过去噪学习方式以及纠正图像的校正超分辨率图像得到增强图像。本方案得到的增强图像为超分辨率图像中的车牌倾斜情况被纠正的图像。
23.示例性的，可以在原图中通过加入噪声,将图像倾斜一定角度生成一个输入样本,最终比较输出样本与原图的差异损失来重建自编码网络学会去噪和纠正图像，训练后的重
建自编码网络可将超分辨率图像重建为增强图像。
24.如图2所示，本方案提供的重建自编码网络包括依次连接的编码器和解码器，编码器和解码器使用卷积神经网络，编码器和解码器都由相同数量的卷积层组成，编码器添加了maxpoolig2d层用于空间下采样，而后者添加了上采样2d层，并使用了batchnormalization。在本方案的实施例中，编码器包括三个卷积层，第一个卷积层为5*5*3*64，第二个卷积层为5*5*64*128，第三个卷积层为5*5*128*256。
25.本方案的鉴别器的输出层分为字符数量计算分支和判断比对分支两个平行的分支，所述字符数量分支可用于计算输入的图像中含有的字符数量，进而得到计数信息，所述判断比对分支用于比对增强图像和所述高分辨率车牌字符图像得到比对结果。在一些实施例中，本方案选用的鉴别器为vgg19的结构。
26.生成器和鉴别器采用对抗学习的方式，对抗学习的结果是让生成器生成的概率分布和数据分布完全匹配。且本方案优化了对抗学习的minimax值函数，使得生成器从低分辨率车牌字符图像创建超分辨率图像，鉴别器区分超分辨率图像和低分辨率车牌字符图像。
27.本方案优化的对抗学习通过同时交替更新生成器g和鉴别器d来训练极小极大博弈，具体的训练公式如下所示：其中，是高分辨率车牌字符图像，是低分辨率车牌字符图像，和分别表示由前馈cnn g和d训练的参数，对应的是神经网络的权重数据。
28.该损失函数包括 左加右两个部分，左边这一部分的作用是保证鉴别器的基础判断能力, 会驱使判别器尽量将真实样本都判真，右边这部分是保证鉴别器能够区分出虚假样本。在“迭代优化所述生成器和所述鉴别器的损失函数”步骤中，损失函数包括像素损失函数、对抗损失函数、重建损失函数以及鉴别损失函数，四个不同的损失函数采用不同权重进行加权计算得到损失函数。
29.其中像素损失函数描述超分辨率图像和高分辨率图之间的差异,让生成器生成的图像更像真的；对抗损失函数可用于让鉴别器能区分真的和生成的高分辨率图；重建损失函数可用于判断重建自编码网络输入和输出之间差异,去噪纠正问题；鉴别损失函数:用于提高鉴别器判断能力并对字符进行计数。
30.本方案为了使得生成器生成的超分辨率图像尽可能地接近高分辨车牌字符图像，生成器针对生成的超分辨率图像集和小而模糊的低分辨率车牌字符图之间每个像素的mse损失进行优化。
31.生成器的像素mse的像素损失函数如下：
其中gs1()代表高分辨率生成网络，gs2()代表重建自编码网络，代表低分辨率车牌字符图像，代表高分辨率车牌字符图像。
32.另外，为了对生成的增强图像提供不同于通常gan采用的平滑效果的mse损失的锐化效果，生成器的对抗损失函数为：其中代表低分辨率车牌字符图像代表高分辨率车牌字符图像，gw表示生成器，d代表的是鉴别器。
33.为了使得增强图像的质量更加真实，本方案还提出了重建损失，所述重建损失可以纠正增强图像的拓扑中干扰检测的变化，生成器的重建损失的重建损失函数为：其中gs1()代表高分辨率生成网络，gs2()代表重建自编码网络，代表低分辨率车牌字符图像，重建损失就是高分辨率生成网络和重建自编码网络之间的差值。
34.另外，本方案还优化了鉴别器的损失函数，进而使得鉴别器在区分超分辨率图像和输入的高分辨率车牌字符图像的同时可并行计算车牌字符数量得到计数结果。
35.此时所述鉴别器的鉴别损失函数为：其中表示字符数和预测值的与(^)操作, 如果和的预测正确，则分别输出1，代表车牌字符的实际的字符数。
36.本方案提供的车牌字符识别模块为端到端的单节点识别网络，所述车牌字符识别模块将字符定位和字符识别集成在一起。本方案的车牌字符识别模块选用yolov3算法模型网络结构，且所述yolov3算法模型网络结构在三个不同尺度上检测字符，不同尺度的图像是通过图像的维度减少得到的，而不需要额外设置池化层。
37.方案提供的车牌字符识别模块对小尺寸字符有更好的检测性能，车牌识别主要表现为小尺寸定位和识别，该模型针对车牌上的字符进行了优化，带有跨层的输出连接。
38.具体的，所述车牌字符识别模块包括多个依次连接的卷积层，a卷积层的输出特征和计数信息输入到最后一层卷积层，可以增加字符识别的准确率，这个车牌字符识别网络可以更加有效地计算和定位的车牌字符。
39.输入到所述车牌字符识别模块中的输入特征在经历多层卷积层后得到第一尺度特征，输出第一尺度特征的卷积层定义为a卷积层，第一尺度特征输入b卷积层中得到第一
特征，第一尺度特征经历卷积和1/4采样后输入到c卷积层中得到第二特征，第一特征和第二特征相加得到第二尺度特征，第二尺度特征再拉大与第一尺度特征相加得到第三尺度特征。
40.本方案得到叠加的第三尺度特征对应的特征图后,把特征图送到检测头提取输出信息，从特征图上面的每一个点都能提取三个尺寸的位置框,并且预测这个框内的文字是什么,再经过位置框的去重工作(nms); 并且结合从鉴别器得到的文字数量,得到最后的车牌文字框和文字内容(车牌文字)。
41.本方案的检测核的形状表示为1
×1×
（b
×
（5 c）），其中b是每个车牌字符的位置框的数量，5是每个车牌字符的位置框的四个属性（坐标（x，y）、宽度和高度）和一个对象置信度得分，c是字符的类别数，表示每个字符对应的字的类别。在本方案方法中，将检测核大小定义为b=3，c为66（10个数字（0-9），24个英文字母和32个中文字母），其中b是特征图中每个点对应的框的个数，c是每个字符对应的字，结果为1
×1×
213。
42.本方案可从监控视频中采集大量的高分辨率车牌字符图，并通过下采样得到低分辨率车牌字符图，将采集的数据作为训练样本输入到搭建的网络构建中进行训练，以通过不断地训练使得车牌识别模型可以从低分辨率字牌字符图中得到超分辨率图，且从超分辨率图中预测得到车牌字符。
43.实施例二，本方案还提供一种根据上述车牌识别模型的构建方法构建得到的车牌识别模型，车牌识别模型可以用于对车牌字符进行检测，可将低清晰度的图像转换生成清晰的超分辨率图，并从超分辨率图中端到端地检测到车牌字符。关于该实施例二中与实施例一相同的技术特征参见实施例一的技术内容。
44.实施例三，本方案还提供了一种车牌识别方法，包括以下步骤：将包含待测车牌的待测图像输入到所述车牌识别模型得到车牌字符。
45.关于该实施例三中与实施例一相同的技术特征参见实施例一的技术内容。
46.实施例四本实施例还提供了一种电子装置，参考图4，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项车牌识别模型的构建方法或车牌识别方法的实施例中的步骤。
47.具体地，上述处理器402可以包括中央处理器（cpu），或者特定集成电路（applicationspecificintegratedcircuit，简称为asic），或者可以被配置成实施本技术实施例的一个或多个集成电路。
48.其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（harddiskdrive，简称为hdd）、软盘驱动器、固态驱动器（solidstatedrive，简称为ssd）、闪存、光盘、磁光盘、磁带或通用串行总线（universalserialbus，简称为usb）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（non-volatile）存储器。在特定实施例中，存储器404包括只读存储器（read-onlymemory，简称为rom）和随机存取存储器（randomaccessmemory，简称为ram）。在合适的情况下，该rom可以是掩模编程的rom、可编程rom（programmableread-onlymemory，简称为prom）、可擦除prom
（erasableprogrammableread-onlymemory，简称为eprom）、电可擦除prom（electricallyerasableprogrammableread-onlymemory，简称为eeprom）、电可改写rom（electricallyalterableread-onlymemory，简称为earom）或闪存（flash）或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器（staticrandom-accessmemory，简称为sram）或动态随机存取存储器（dynamicrandomaccessmemory，简称为dram），其中，dram可以是快速页模式动态随机存取存储器404（fastpagemodedynamicrandomaccessmemory，简称为fpmdram）、扩展数据输出动态随机存取存储器（extendeddateoutdynamicrandomaccessmemory，简称为edodram）、同步动态随机存取内存（synchronousdynamicrandom-accessmemory，简称sdram）等。
49.存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。
50.处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种车牌识别模型的构建方法或车牌识别方法的。
51.可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
52.传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（network interface controller，简称为nic），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（radio frequency，简称为rf）模块，其用于通过无线方式与互联网进行通讯。
53.输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是清晰度欠缺的车牌图像，输出的信息可以是超分辨率图像或者车牌字符等。
54.可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：获取训练样本：获取高分辨率车牌字符图像，所述高分辨率车牌字符图像经过下采样得到低分辨率车牌字符图像；构建依次连接的图像增强模块和车牌字符识别模块：所述图像增强模块包括以对抗式学习方式训练的生成器和鉴别器，所述生成器内包括依次连接的用于生成超分辨率图像的高分辨率生成网络和用于重建所述超分辨率图像的重建自编码网络，所述鉴别器的全连接层区分为平行的字符数量计算分支和判断比对分支；所述字符数量计算分支输出的计数信息输入到车牌字符识别模块的最后一层；训练所述图像增强模块和所述图像增强模块和车牌字符识别模块：所述高分辨率车牌字符图像输入到所述鉴别器中用于和所述生成器进行对抗学习，所述低分辨率字符图像输入到所述生成器中，迭代优化所述生成器和所述鉴别器的损失函数；所述图像增强模块输出的增强图像和所述高分辨率车牌字符图像输入到所述车牌字符识别模块，迭代所述识别图像模块的损失函数。
55.需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
56.通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发
明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
57.本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如dvd及其数据变体、cd等光学介质上。物理介质是非瞬态介质。
58.本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
59.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。