一种车牌图像的模糊图像生成方法与流程

1.本发明属于计算机视觉、深度学习技术领域，具体涉及一种车牌图像的模糊图像生成方法。


背景技术：

2.使用深度学习方法进行图像去模糊时，需要使用大量图像内容相同的清晰
‑
模糊配对图像数据进行模型的训练和测试，但是，大批量收集真实场景下的清晰
‑
模糊配对图像数据难度大，或者现实中无法大批量收集。现有清晰
‑
模糊配对图像数据获取方法主要是：通过单一模糊算法，将清晰图像生成模糊图像。此种方法形成的配对模糊图像的模式过于单一，无法模拟真实环境中复杂的模糊图像，由此种数据训练的模型在真实场景中图像去模糊效果不理想。


技术实现要素：

3.针对现有技术存在的缺陷，本发明提供一种车牌图像的模糊图像生成方法，可有效解决上述问题。
4.本发明采用的技术方案如下：
5.本发明提供一种车牌图像的模糊图像生成方法，包括以下步骤：
6.步骤1，建立非真实场景的清晰
‑
模糊图像对样本集合s；
7.所述非真实场景的清晰
‑
模糊图像对样本集合s表示为：s＝{(s
01
,s
11
),(s
02
,s
12
),....(s
0n
,s
1n
)}；其中，n代表样本集合s中的清晰
‑
模糊图像对的数量；令i＝1,2,...,n，第i个清晰
‑
模糊图像对(s
0i
,s
1i
)含义为：s
0i
代表第i个清晰
‑
模糊图像对中的清晰图像样本，s
1i
代表第i个清晰
‑
模糊图像对中的模糊图像样本，并且，清晰图像样本s
0i
和模糊图像样本s
1i
为配对图像，图像内容相同，仅清晰度不相同；模糊图像样本s
1i
获取方法为：通过模糊算法对清晰图像样本s
0i
进行模糊处理后生成的模糊图像；
8.步骤2，构建模糊图像生成器模型；
9.所述模糊图像生成器模型包括：生成器、鉴别器、鉴别器优化器和生成器优化器；
10.步骤3，采用步骤1建立的非真实场景的清晰
‑
模糊图像对样本集合s，预训练所述模糊图像生成器模型，得到预训练后的模糊图像生成器模型；
11.对所述模糊图像生成器模型进行预训练的训练方法为：
12.步骤3.1，令k＝1；
13.步骤3.2，将清晰图像样本s
0k
输入生成器；所述生成器对所述清晰图像样本s
0k
进行特征提取，输出与清晰图像样本s
0k
相同尺寸的生成图像u
0k
；
14.步骤3.3，将所述生成图像u
0k
输入鉴别器；所述鉴别器对所述生成图像u
0k
进行多次下采样，并进一步提取所述生成图像u
0k
的抽象特征信息，输出特征向量w
0k
；
15.将所述模糊图像样本s
1k
输入鉴别器；所述鉴别器对所述模糊图像样本s
1k
进行多次下采样，并进一步提取所述模糊图像样本s
1k
的抽象特征信息，输出特征向量w
1k
；
16.步骤3.4，令k＝k 1，判断k是否大于n；如果不大于，则返回步骤3.2；如此不断循环，直到当k大于n时，执行步骤3.5；
17.步骤3.5，由此得到n组特征向量，分别为：(w
01
,w
11
),(w
02
,w
12
),...,(w
0n
,w
1n
)；
18.步骤3.6，计算每组特征向量的偏差，并求和，得到总偏差；根据总偏差，分别得到鉴别器损失函数d_loss和生成器损失函数g_loss；
19.步骤3.7，鉴别器损失函数d_loss经过鉴别器优化器计算，得到对鉴别器网络参数的更新值，进而更新鉴别器网络参数，得到本轮优化后的鉴别器；
20.生成器损失函数g_loss经过生成器优化器计算，得到对生成器网络参数的更新值，进而更新生成器网络参数，得到本轮优化后的生成器；
21.步骤3.8，判断生成器网络是否收敛，如果没有收敛，返回步骤3.1，进行下一轮的预训练；如果收敛，则停止训练，得到预训练后的模糊图像生成器模型；
22.步骤4，建立真实场景的清晰
‑
模糊图像对样本集合p；
23.所述真实场景的清晰
‑
模糊图像对样本集合p表示为：p＝{(p
01
,p
11
),(p
02
,p
12
),....(p
0m
,p
1m
)}；其中，m代表样本集合p中的清晰
‑
模糊图像对的数量；令j＝1,2,...,m，第j个清晰
‑
模糊图像对(p
0j
,p
1j
)含义为：p
0j
代表第j个清晰
‑
模糊图像对中的清晰图像样本，p
1j
代表第j个清晰
‑
模糊图像对中的模糊图像样本，并且，清晰图像样本p
0j
和模糊图像样本p
1j
为配对图像，图像内容相同，仅清晰度不相同；模糊图像样本p
1j
和清晰图像样本p
0j
均为真实场景下直接拍摄得到的图像；
24.步骤5，迁移学习训练：
25.将步骤3预训练后的模糊图像生成器模型，迁移到步骤4建立的真实场景的清晰
‑
模糊图像对样本集合p中进行进一步训练，得到最终训练完成的模糊图像生成器模型；
26.步骤6，从步骤5训练完成的模糊图像生成器模型中，提取出生成器，为训练完成的生成器；
27.当需要得到一张清晰图像tu(0)的模糊图像时，将所述清晰图像tu(0)输入所述训练完成的生成器中，所述训练完成的生成器输出与所述清晰图像tu(0)配对的模糊图像tu(1)，所述模糊图像tu(1)为模拟真实场景，对清晰图像tu(0)进行模糊处理后生成的图像。
28.优选的，步骤1中，模糊图像样本s
1i
获取方法为：通过模糊算法对清晰图像样本s
0i
进行模糊处理后生成的模糊图像，具体为：
29.对于每张清晰图像样本s
0i
：采用运动模糊算法，生成一张运动模糊图像样本；采用高斯模糊算法，生成一张高斯模糊图像样本；采用图像金字塔模糊算法，生成一张图像金字塔模糊图像样本，由此共生成三张模糊图像样本。
30.优选的，所述非真实场景的清晰
‑
模糊图像对样本集合s中的每个清晰图像样本，为经过预处理后的清晰图像样本，预处理方法为：
31.对原始清晰图像进行透视变换，将原始清晰图像转为正向视角，并均缩放为统一尺寸。
32.本发明提供的一种车牌图像的模糊图像生成方法具有以下优点：
33.(1)模糊图像生成器模型，可以生成足够多的模拟真实场景的模糊图像，形成清晰
‑
模糊配对图像，解决了大批量收集真实场景下的清晰
‑
模糊配对图像难度大的问题。
34.(2)模糊图像生成器模型，学习了运动模糊、高斯模糊、图像金字塔模糊、真实场景
图形模糊的多样特征，解决模糊图像模式单一、无法模拟真实环境中复杂的模糊图像的问题。
附图说明
35.图1为本发明提供的一种车牌图像的模糊图像生成方法的流程示意图；
36.图2为本发明提供的生成器的网络结构图；
37.图3为本发明提供的鉴别器的网络结构图。
具体实施方式
38.为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
39.本发明提供一种车牌图像的模糊图像生成方法，可用于生成与清晰车牌图像配对的模糊车牌图像，由此将清晰车牌图像和模糊车牌图像组成配对的训练数据，进而训练车牌图像识别模型。
40.本发明提供一种车牌图像的模糊图像生成方法，利用清晰图像生成图像内容相匹配的模糊图像，同时解决模糊图像模式单一、无法模拟真实环境中复杂的模糊图像的问题，解决了大批量收集真实场景下的清晰
‑
模糊配对的数据难度大的问题。
41.本发明提供一种车牌图像的模糊图像生成方法，包括以下步骤：
42.步骤1，建立非真实场景的清晰
‑
模糊图像对样本集合s；
43.所述非真实场景的清晰
‑
模糊图像对样本集合s表示为：s＝{(s
01
,s
11
),(s
02
,s
12
),....(s
0n
,s
1n
)}；其中，n代表样本集合s中的清晰
‑
模糊图像对的数量；令i＝1,2,...,n，第i个清晰
‑
模糊图像对(s
0i
,s
1i
)含义为：s
0i
代表第i个清晰
‑
模糊图像对中的清晰图像样本，s
1i
代表第i个清晰
‑
模糊图像对中的模糊图像样本，并且，清晰图像样本s
0i
和模糊图像样本s
1i
为配对图像，图像内容相同，仅清晰度不相同；模糊图像样本s
1i
获取方法为：通过模糊算法对清晰图像样本s
0i
进行模糊处理后生成的模糊图像；
44.本发明中，模糊图像样本s
1i
获取方法为：通过模糊算法对清晰图像样本s
0i
进行模糊处理后生成的模糊图像，具体为：
45.对于每张清晰图像样本s
0i
：采用运动模糊算法，生成一张运动模糊图像样本；采用高斯模糊算法，生成一张高斯模糊图像样本；采用图像金字塔模糊算法，生成一张图像金字塔模糊图像样本，由此共生成三张模糊图像样本。
46.另外，本发明中，采用的清晰图像样本，为经过预处理后的清晰图像样本，预处理方法为：对原始清晰图像进行透视变换，将原始清晰图像转为正向视角，并均缩放为统一尺寸。
47.作为一种实施例，以车牌图像为例，方法为：
48.首先获取到3万张清晰车牌图像，进行以下预处理操作：标注出清晰车牌图像的四个角点，通过四个角点位置信息对清晰车牌图像进行透视变换，将清晰车牌图像转为正向视角，并均缩放为96*96大小，从而得到清晰车牌图像样本。
49.然后采用运动模糊、高斯模糊、图像金字塔模糊算法，生成3万张运动模糊图像样
本、3万张高斯模糊图像样本、3万张图像金字塔模糊图像样本。图像金字塔模糊是将图像进行下采样，使图像缩小造成信息损失，然后将其放大至原来尺寸，这样造成的图像信息损失就形成了图像金字塔模糊图像。
50.因此，形成3万个清晰
‑
运动模糊图像对、3万个清晰
‑
高斯模糊图像对、3万个清晰
‑
图像金字塔模糊图像对，共形成9万对非真实场景下的清晰
‑
模糊配对图像。
51.步骤2，构建模糊图像生成器模型；
52.模糊图像生成器模型，用于利用清晰图像生成图像内容相匹配的模糊图像。
53.参考图1，为模糊图像生成器模型的训练框架，所述模糊图像生成器模型包括：生成器、鉴别器、鉴别器优化器(d优化器)和生成器优化器(g优化器)；
54.其中：生成器的网络结构如图2所示，用于对输入图像进行以下处理：输入图像经过一层卷积层处理之后，得到特征图1；进入两层卷积层将特征图1缩小4倍，得到特征图2；特征图2进入残差网络模块，进一步提取特征图2的特征信息，得到特征图3；特征图3再进入两层反卷积层，将特征图3放大4倍，最后经过卷积层和激活层tanh将特征图的维度变成与输入图像的维度一致，输出特征图。
55.鉴别器的网络结构如图3所示，用于对输入图像进行以下处理：输入图像经过一层卷积层，将输入图像缩小2倍，得到特征图t1；特征图t1再进入三层卷积层，将特征图t1缩小8倍，得到特征图t2；特征图t2进入一层卷积层进行特征提取，同时保持特征图尺寸不变，得到特征图t3；特征图t3最后进入一层卷积层和激活层sigmod，输出特征向量。
56.步骤3，采用步骤1建立的非真实场景的清晰
‑
模糊图像对样本集合s，预训练所述模糊图像生成器模型，得到预训练后的模糊图像生成器模型；
57.对所述模糊图像生成器模型进行预训练的训练方法为：
58.步骤3.1，令k＝1；
59.步骤3.2，将清晰图像样本s
0k
输入生成器；所述生成器对所述清晰图像样本s
0k
进行特征提取，输出与清晰图像样本s
0k
相同尺寸的生成图像u
0k
；
60.步骤3.3，将所述生成图像u
0k
输入鉴别器；所述鉴别器对所述生成图像u
0k
进行多次下采样，并进一步提取所述生成图像u
0k
的抽象特征信息，输出特征向量w
0k
；
61.将所述模糊图像样本s
1k
输入鉴别器；所述鉴别器对所述模糊图像样本s
1k
进行多次下采样，并进一步提取所述模糊图像样本s
1k
的抽象特征信息，输出特征向量w
1k
；
62.步骤3.4，令k＝k 1，判断k是否大于n；如果不大于，则返回步骤3.2；如此不断循环，直到当k大于n时，执行步骤3.5；
63.步骤3.5，由此得到n组特征向量，分别为：(w
01
,w
11
),(w
02
,w
12
),...,(w
0n
,w
1n
)；
64.步骤3.6，计算每组特征向量的偏差，并求和，得到总偏差；根据总偏差，分别得到鉴别器损失函数d_loss和生成器损失函数g_loss；
65.步骤3.7，鉴别器损失函数d_loss经过鉴别器优化器计算，得到对鉴别器网络参数的更新值，进而更新鉴别器网络参数，得到本轮优化后的鉴别器；
66.生成器损失函数g_loss经过生成器优化器计算，得到对生成器网络参数的更新值，进而更新生成器网络参数，得到本轮优化后的生成器；
67.步骤3.8，判断生成器网络是否收敛，如果没有收敛，返回步骤3.1，进行下一轮的预训练；如果收敛，则停止训练，得到预训练后的模糊图像生成器模型；
68.经过本步骤，模糊图像生成器模型预训练结束后，得到非真实场景的模糊图像生成器，到此，生成器生成的模糊图像具备运动模糊、高斯模糊、图像金字塔模糊的特征，但是不具备真实场景中复杂的模糊特征。
69.在模糊图像生成器模型预训练过程中，通过不断调节生成器网络参数和鉴别器网络参数，向生成器输入清晰图像样本，生成器输出的模糊图像，不断接近作为标签的模糊图像样本，从而使生成器学习到清晰图像样本转变为作为标签的模糊图像样本的特征。
70.步骤4，建立真实场景的清晰
‑
模糊图像对样本集合p；
71.所述真实场景的清晰
‑
模糊图像对样本集合p表示为：p＝{(p
01
,p
11
),(p
02
,p
12
),....(p
0m
,p
1m
)}；其中，m代表样本集合p中的清晰
‑
模糊图像对的数量；令j＝1,2,...,m，第j个清晰
‑
模糊图像对(p
0j
,p
1j
)含义为：p
0j
代表第j个清晰
‑
模糊图像对中的清晰图像样本，p
1j
代表第j个清晰
‑
模糊图像对中的模糊图像样本，并且，清晰图像样本p
0j
和模糊图像样本p
1j
为配对图像，图像内容相同，仅清晰度不相同；模糊图像样本p
1j
和清晰图像样本p
0j
均为真实场景下直接拍摄得到的图像；
72.下面介绍一个实施例：
73.具体的，大批量收集真实场景下的清晰
‑
模糊配对的图像样本难度较大，或者在现实中无法大批量收集。
74.所以，本发明选取少量id车牌图像(2000个id)，每个id图像都有一个清晰图像和真实场景中模糊图像。
75.对相同id的车牌图像(清晰图像和模糊图像)均标注出四个角点，通过四个角点位置对车牌图像进行透视变换，将车牌图像转为正向视角，并均缩放为96*96大小。这样两张图像(清晰图像和模糊图像)的内容和位置近似一致，可以匹配为一组图像。从而形成2000对真实场景下的清晰
‑
模糊配对的图像对。
76.步骤5，迁移学习训练：
77.将步骤3预训练后的模糊图像生成器模型，迁移到步骤4建立的真实场景的清晰
‑
模糊图像对样本集合p中进行进一步训练，得到最终训练完成的模糊图像生成器模型；
78.具体的，2000对真实场景下的清晰
‑
模糊配对的图像对，数据量非常少，如果直接训练模糊图像生成器模型，信息量不足，模糊图像生成器模型容易出现过拟合或者难以收敛的情况，同时模糊图像生成器模型的性能比较差，不能实际使用。
79.本步骤迁移学习非常关键。将步骤3中预训练后的生成器和鉴别器形成的模糊图像生成器模型，迁移在2000对真实场景下的清晰
‑
模糊配对的图像对进行下一步训练，一方面，模型经过预训练容易收敛，一方面模型学习了2000张真实场景下模糊图像的模糊特征。模糊图像生成器模型再次收敛时训练结束。
80.到此得到了模拟真实场景模糊图像的生成器，可以利用足够多的清晰图像，产生足够多的模拟真实场景的模糊图像，形成足够多的配对数据集，进行下一步的应用例如图像去模糊。
81.步骤6，从步骤5训练完成的模糊图像生成器模型中，提取出生成器，为训练完成的生成器；
82.当需要得到一张清晰图像tu(0)的模糊图像时，将所述清晰图像tu(0)输入所述训练完成的生成器中，所述训练完成的生成器输出与所述清晰图像tu(0)配对的模糊图像tu
(1)，所述模糊图像tu(1)为模拟真实场景，对清晰图像tu(0)进行模糊处理后生成的图像。
83.本发明提出一种车牌图像的模糊图像生成方法，主要思路为：
84.采用运动模糊、高斯模糊、图像金字塔模糊算法，形成非真实场景的清晰
‑
模糊配对数据集，预训练模糊图像生成器模型。然后，采集少量的id车牌图像，每个id车牌图像都对应有一个清晰图像和真实场景中模糊图像，形成真实场景下的清晰
‑
模糊配对数据集，将预训练的模糊图像生成器模型迁移到真实的场景的数据集，通过迁移学习训练一个可以模拟真实场景的模糊图像生成器，从而得到最终的生成器，该生成器可将清晰图像生成图像内容相匹配的模糊图像，并且，生成的模糊图像既具备运动模糊、高斯模糊、图像金字塔模糊的特征，又具备真实场景中复杂的模糊特征。
85.本发明提出一种车牌图像的模糊图像生成方法，主要技术创新包括：
86.1.模糊图像生成器模型的训练框架和训练流程。
87.2.模糊图像生成器模型的迁移学习机制。
88.3.使用多种模糊算法生成模糊数据训练模糊图像生成器的方法。
89.4.模糊图像生成器生成模拟真实场景模糊图像的方法流程。
90.与现有技术相比，本发明有益效果是：
91.(1)模糊图像生成器模型，可以生成足够多的模拟真实场景的模糊图像，形成清晰
‑
模糊配对图像，解决了大批量收集真实场景下的清晰
‑
模糊配对图像难度大的问题。
92.(2)模糊图像生成器模型，学习了运动模糊、高斯模糊、图像金字塔模糊、真实场景图形模糊的多样特征，解决模糊图像模式单一、无法模拟真实环境中复杂的模糊图像的问题。
93.(3)根据训练数据分布和数量的增加，模糊图像生成器模型可以进一步优化的更好。相比而言，运动模糊、高斯模糊、图像金字塔模糊算法，没有优化的空间。
94.(4)模糊图像生成器模型，利用了gan网络和迁移学习的训练机制，因此具备了两种机制的优点。gan超越了传统神经网络分类和特征提取的功能，能够按照真实数据的特点生成新的数据。迁移学习可以解决训练数据少的问题、而且可靠性好。两种机制联合，只需要少量真实数据即可生成大量可靠的数据。
95.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。