基于生成对抗网络的车牌生成方法与流程

1.本发明涉及计算机技术领域，具体为一种基于生成对抗网络的车牌生成方法。


背景技术：

2.在自动车牌识别系统中，车牌识别是非常关键的一环，其性能影响着最终的识别结果。在当前基于深度学习的车牌识别方法中，车牌数据集对识别网络的训练影响显著。通过大规模、覆盖场景广的训练集训练，能够使得识别网络具有更加优秀的泛化性与更强的鲁棒性。但受限于车牌数据集的收集面临诸如收集困难、标注成本高、数据隐私等多种挑战。获取覆盖场景广、数量多的车牌数据集是困难的。因此这就迫切要求能够利用图像合成技术合成大批量的车牌数据并用于训练车牌识别网络。
3.近些年，随着图像生成模型的发展，利用生成对抗网络解决车牌数据集的匮乏问题是可行的路径之一。通常情况下，这些生成模型从一个随机噪声开始生成的车牌图像，导致生成的车牌图像对应的车牌号码是随机的，后续还需要人工标注进行车牌号码的标注。这就限制了利用生成模型生成的大规模车牌数据集的能力。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种基于生成对抗网络的车牌生成方法，，基于编码-解码网络结构，使得能够根据模板车牌，进行有标签的车牌图像生成，解决了传统生成的车牌图像标签随机的问题
5.为实现上述目的，本发明采用如下技术方案：
6.一种基于生成对抗网络的车牌生成方法，包括以下步骤：
7.步骤s1:获取用于生成模板车牌的车牌字符库和背景图像；
8.步骤s2:根据车牌构成随机选择字符，使用opencv将字符置入背景图像中，合成模板车牌,并对模板车牌进行图像增强,得到模板车牌图像集；
9.步骤s3:构建基于编码-解码结构的车牌生成网络，包括基于卷积神经网络的车牌编码网络、基于stylegan2的解码生成网络、车牌判别器，patch网络；
10.步骤s4:基于真实场景下的车牌图像和模板车牌图像集，构建训练集；
11.步骤s5:基于训练集，使用对抗生成模型训练基于编码-解码结构的车牌生成网络，得到训练后的车牌生成网络，用于生成有标签的车牌图像。
12.进一步的，所述步骤s2具体为：
13.步骤s21:获取蓝色车牌背景图像，横坐标范围为0-440mm；
14.步骤s22:随机获取首字符的中文字符图像，使用opencv将中文字符放入横坐标起始为15，终止为60的区域内；
15.步骤s23:根据标准发牌机关代号，随机选择对应省、自治区、直辖市的第二位英文字符代号,并使用opencv将字符放入横坐标起始为72，终止为117的区域内；
16.步骤s24:随机选择5位由数字和英文字母构成的序号,使用opencv将5为序号逐次
放入相应位置。具体为第1位序号坐标区域为151至196，第2位序号坐标区域为208至253，第3位序号坐标区域为265至310，第4位序号坐标区域为322至357，第5位序号坐标区域为379至424；
17.步骤s25:由步骤s12.1至步骤s12.4合成一张车牌图像，并记录了对应的车牌号码；
18.步骤s26:对合成的车牌图像随机应用图像增强函数。
19.进一步的，所述图像增强函数包括色相、饱和度变化、随机亮度变化、随机应用高斯模糊或运动模糊之一、随机添加图像旋转。
20.进一步的，步骤s3具体为：
21.步骤s31:构建残差卷积模块，所述残差卷积模块的基本单元为残差卷积模块，残差模块包括卷积分支和残差分支；卷积分支由两个3
×
3的卷积构成，记卷积分支的转换为f1；残差分支由模糊池化和1
×
1卷积级联构成，记残差分支的转换为f2；则对于输入特征x，残差模块的输出y1表示为：
22.y1＝max(0，f1(x) f2(x))
23.步骤s32:构建卷积编码网络，卷积编码网络由输入层的卷积单元和残差单元构成；
24.步骤s33:构建stylegan2的基本单元，风格模块，其卷积过程使用的卷积参数由调制和解调过程获得
25.定义si表示输入特征图的第i层，w
ijk
表示初始权重，w
′
ijk
表示调制后的卷积参数，i和j分别表示遍历输出的第j个特征图和卷积的空间位置j，则w
′
ijk
表示为：
26.w
′
ijk
＝si·wijk
27.同时，对第j个特征图的卷积参数的标准偏差σj表示为：
[0028][0029]
由σj对卷积参数进行解调，获得最终用于卷积的权重w
″
ijk
：
[0030][0031]
其中，∈表示极小的非零常数；
[0032]
s24：基于风格模块与残差网络构建车牌解码生成网络
[0033]
s25：根据步骤s21至步骤s24，对于输入的模板车牌x，使用编码网络encode和解码生成网络decode，输出生成的，车牌号码不变，但更加真实的车牌图像z：
[0034]
z＝decode(encode(x))。
[0035]
进一步的，卷积编码网络，具体层如下：卷积层conv 3
×
3，下采样步长为2的残差单元resblock1，下采样步长为1的残差单元resblock2，下采样步长为1的残差单元resblock3；
[0036]
由此构成车牌的卷积编码网路，记编码过程为encode。输入的模板车牌x的高和宽
尺寸为(48，128)，则输出的编码向量y表示为：
[0037]
y＝encode(x)
[0038]
此时编码向量y的大小为(c，24，64)，其中c表示编码向量的维度，其由残差单元resblock3的特征通道数决定。
[0039]
进一步的，车牌解码生成网络，具体为：残差层resblock1，残差层resblock2，上采样风格模块styleblock3，卷积层conv4。定义解码生成的车牌图像为z，解码生成网络为decode，则对输入的编码向量y，输出的车牌图像z可表示为：
[0040]
z＝decode(y)。
[0041]
进一步的，所述步骤s4，具体为：根据步骤s1所述方法，批量生成有标签的模板车牌图像，构成训练集收集真实车牌图像，构成训练集
[0042]
进一步的，所述步骤s5具体为：
[0043]
s51：构建生成对抗的目标函数。目标函数的第一部分为生成对抗函数，要完成对真实车牌yb∈b与生成车牌z的判定，定义判别器为dy，则第一部分的目标函数为：
[0044][0045]
其中表期望值，y～p
data
(y)表示y属于真实车牌数据集b，x～p
data
(x)表示x属于模板车牌数据集a，z表示x经过车牌生成网络编解码后的生成车牌；目标函数的第二部分为patchnce损失由patch网络完成计算；
[0046]
总的目标函数为：
[0047][0048]
其中，g表示车牌的编码-解码生成网络，h表示多层感知网络；
[0049]
s52：根据训练集和目标函数，对基于编码-解码结构的车牌生成网络进行训练，并获得权重文件，利用生成网络和使用opencv合成的模板车牌，可以批量生成有标签的车牌图像。
[0050]
本发明与现有技术相比具有以下有益效果：
[0051]
1、本发明基于编码-解码网络结构，使得能够根据模板车牌，进行有标签的车牌图像生成，解决了传统生成的车牌图像标签随机的问题；
[0052]
2、本发明能够生成高质量的车牌图像，覆盖场景广，能够使得生成的车牌图像具有较高的应用价值。测试表明，单独使用生成车牌进行车牌识别网络的训练就能取得优异的识别结果；
[0053]
3、本发明可以随机生成大批量的省、自治区、直辖市对应的车牌号码，解决车牌数据集收集的地域限制，形成均衡的车牌训练集。同时本方法能够根据现实需要生成自定义号码的合成车牌，满足定制化的需求；
[0054]
4、本发明通过该发明能够大批量的生成有标签的车牌图像，极大的丰富了车牌图像数据集。
附图说明
[0055]
图1是本发明方法流程图；
[0056]
图2是本发明一实施例生成车牌的示意图。
具体实施方式
[0057]
下面结合附图及实施例对本发明做进一步说明。
[0058]
请参照图1，本发明提供一种基于生成对抗网络的车牌生成方法，包括以下步骤：
[0059]
步骤s1:获取用于生成模板车牌的车牌字符库和背景图像；
[0060]
步骤s2:根据车牌构成随机选择字符，使用opencv将字符置入背景图像中，合成模板车牌,并对模板车牌进行图像增强,得到模板车牌图像集；
[0061]
步骤s3:构建基于编码-解码结构的车牌生成网络，包括基于卷积神经网络的车牌编码网络、基于stylegan2的解码生成网络、车牌判别器，patch网络；车牌编码网络完成对输入模板车牌的编码，形成相应的编码向量。解码生成网络接收编码输入，通过卷积调制生成车牌图像。车牌判别器完成生成车牌与真实车牌的判别，计算类损失。patch网络完成对生成车牌的局部区域的判别，计算得到patchnce损失。
[0062]
步骤s4:基于真实场景下的车牌图像和模板车牌图像集，构建训练集；
[0063]
步骤s5:基于训练集，使用对抗生成模型训练基于编码-解码结构的车牌生成网络，得到训练后的车牌生成网络，用于生成有标签的车牌图像。
[0064]
在本实施例中，根据《中华人民共和国机动车号牌(ga 36-2018)》现行标准，收集的车牌首字符的中文字符图像，包括省、自治区、直辖市共31个中文简称、数字和英文字母字符共34个(不包括英文字母字符“o”和“i”)以及外廓尺寸大小为440mm
×
140mm的蓝色背景图像。步骤s2具体为：
[0065]
步骤s21:获取蓝色车牌背景图像，横坐标范围为0-440mm；
[0066]
步骤s22:随机获取首字符的中文字符图像，使用opencv将中文字符放入横坐标起始为15，终止为60的区域内；
[0067]
步骤s23:根据标准发牌机关代号，随机选择对应省、自治区、直辖市的第二位英文字符代号,并使用opencv将字符放入横坐标起始为72，终止为117的区域内；
[0068]
步骤s24:随机选择5位由数字和英文字母构成的序号,使用opencv将5为序号逐次放入相应位置。具体为第1位序号坐标区域为151至196，第2位序号坐标区域为208至253，第3位序号坐标区域为265至310，第4位序号坐标区域为322至357，第5位序号坐标区域为379至424；
[0069]
步骤s25:由步骤s12.1至步骤s12.4合成一张车牌图像，并记录了对应的车牌号码；
[0070]
步骤s26:对合成的车牌图像随机应用图像增强函数。
[0071]
优选的，图像增强函数包括色相、饱和度变化、随机亮度变化、随机应用高斯模糊或运动模糊之一、随机添加图像旋转。
[0072]
在本实施例中，步骤s3具体为：
[0073]
步骤s31:构建残差卷积模块，所述残差卷积模块的基本单元为残差卷积模块，残差模块包括卷积分支和残差分支；卷积分支由两个3
×
3的卷积构成，记卷积分支的转换为f1；残差分支由模糊池化和1
×
1卷积级联构成，记残差分支的转换为f2；则对于输入特征x，残差模块的输出y1表示为：
[0074]
y1＝max(0，f1(x) f2(x))
[0075]
步骤s32:构建卷积编码网络，卷积编码网络由输入层的卷积单元和残差单元构成；卷积编码网络，具体层如下：卷积层conv 3
×
3，下采样步长为2的残差单元resblock1，下采样步长为1的残差单元resblock2，下采样步长为1的残差单元resblock3；
[0076]
由此构成车牌的卷积编码网路，记编码过程为encode。输入的模板车牌x的高和宽尺寸为(48，128)，则输出的编码向量y表示为：
[0077]
y＝encode(x)
[0078]
此时编码向量y的大小为(c，24，64)，其中c表示编码向量的维度，其由残差单元resblock3的特征通道数决定。
[0079]
步骤s33:构建stylegan2的基本单元，风格模块，其卷积过程使用的卷积参数由调制和解调过程获得
[0080]
定义si表示输入特征图的第i层，w
ijk
表示初始权重，w
′
ijk
表示调制后的卷积参数，i和j分别表示遍历输出的第j个特征图和卷积的空间位置j，则w
′
ijk
表示为：
[0081]w′
ijk
＝si·wijk
[0082]
同时，对第j个特征图的卷积参数的标准偏差σj表示为：
[0083][0084]
由σj对卷积参数进行解调，获得最终用于卷积的权重w
″
ijk
：
[0085][0086]
其中，∈表示极小的非零常数；
[0087]
s24：基于风格模块与残差网络构建车牌解码生成网络；车牌解码生成网络，具体为：残差层resblock1，残差层resblock2，上采样风格模块styleblock3，卷积层conv4。定义解码生成的车牌图像为z，解码生成网络为decode，则对输入的编码向量y，输出的车牌图像z可表示为：
[0088]
z＝decode(y)。
[0089]
s25：根据步骤s21至步骤s24，对于输入的模板车牌x，使用编码网络encode和解码生成网络decode，输出生成的，车牌号码不变，但更加真实的车牌图像z：
[0090]
z＝decode(encode(x))。
[0091]
在本实施例中，步骤s4，具体为：根据步骤s1所述方法，批量生成有标签的模板车牌图像，构成训练集收集真实车牌图像，构成训练集
[0092]
在本实施例中，步骤s5具体为：
[0093]
s51：构建生成对抗的目标函数。目标函数的第一部分为生成对抗函数，要完成对真实车牌yb∈b与生成车牌z的判定，定义判别器为dy，则第一部分的目标函数为：
[0094]
[0095]
其中表期望值，y～p
data
(y)表示y属于真实车牌数据集b，x～p
data
(x)表示x属于模板车牌数据集a，z表示x经过车牌生成网络编解码后的生成车牌；目标函数的第二部分为patchnce损失由patch网络完成计算。；
[0096]
总的目标函数为：
[0097][0098]
其中，g表示车牌的编码-解码生成网络，h表示多层感知网络；
[0099]
s52：根据训练集和目标函数，对基于编码-解码结构的车牌生成网络进行训练，并获得权重文件，利用生成网络和使用opencv合成的模板车牌，可以批量生成有标签的车牌图像。
[0100]
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。