牌照生成方法、电子设备及存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种牌照生成方法、电子设备及计算机可读存储介质。


背景技术：

2.交通工具具有登记牌照，牌照可以悬挂或者固定在交通工具的设定位置，牌照用于标识交通工具的身份，其中包括交通工具的所属地区/登记地区、编号等信息。交通工具不限于是小汽车、大货车、摩托车、电动车、轮船等等。
3.通过牌照，可以对交通工具进行管控。具体来说，可以通过拍摄牌照图像，再利用基于牌照识别模型对牌照图像进行识别得到识别结果，通过识别结果实现对交通工具的管控。在将牌照识别模型应用于识别之前，需要大量的牌照图像作为训练样本对牌照识别模型进行训练，以使牌照模型的识别性能达到预期。
4.但是，牌照图像直接采集的难度大、成本高，不易达到理想的牌照图像数量。


技术实现要素：

5.本技术提供一种牌照生成方法、电子设备及计算机可读存储介质，能够解决牌照图像的采集难度大、成本高的问题。
6.为解决上述技术问题，本技术采用的一个技术方案是：提供一种牌照生成方法。该方法包括：获取背景集和字符集，背景集包括若干背景图像，字符集包括若干牌照字符图像，背景图像和牌照字符图像是从原始牌照图像的边缘提取结果分离得到的；从背景集选取参考背景图像，从字符集选取参考牌照字符图像；基于参考牌照字符图像和参考背景图像生成目标牌照图像。
7.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。
8.为解决上述技术问题，本技术采用的又一个技术方案是：提供一种计算机可读存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。
9.通过上述方式，本技术一方面可以通过选取的参考牌照字符图像和参考背景图像生成目标牌照图像，从而能够通过生成的方式增加牌照图像的数量，从而能够减少需要采集的牌照图像数量，降低牌照图像的采集成本。另一方面，由于参考牌照字符图像和参考背景图像是从原始牌照图像的边缘提取结果分离提取到的，真实度高，因此生成的目标牌照图像真实度高。又一方面，本技术提供的牌照生成方法适用于任何类型的牌照，通用性高。
附图说明
10.图1是本技术牌照生成方法一实施例的流程示意图；图2是本技术牌照生成方法另一实施例的流程示意图；
图3是图2中s23的具体流程示意图；图4是本技术牌照生成方法又一实施例的流程示意；图5是本技术牌照生成方法又一实施例的流程示意图；图6是本技术牌照生成方法又一实施例的流程示意图；图7是本技术牌照生成方法一具体实例的流程示意图；图8是本技术背景集和字符集建立的流程示意图；图9是合成目标车牌图像的流程示意图；图10是本技术电子设备一实施例的结构示意图；图11是本技术计算机可读存储介质一实施例的结构示意图。
具体实施方式
11.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
12.本技术中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
13.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
14.图1是本技术牌照生成方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：s11：获取背景集和字符集。
15.背景集包括若干背景图像，字符集包括若干牌照字符图像，背景图像和牌照字符图像是从原始牌照图像的边缘提取结果分离得到的。
16.原始牌照图像即直接收集得到的牌照图像。原始牌照图像的边缘提取结果可以是通过任意边缘特征提取方式得到的，例如，二值化处理、边缘分割（如水平集分割）等等。原始牌照图像可以带有字符标注信息，字符标注信息包括原始牌照图像中包含的牌照字符的位置和牌照字符的值。
17.背景集中不同的背景图像是从不同的原始牌照图像的边缘提取结果提取到的，字符集中不同的牌照字符图像是从不同的原始牌照图像的边缘提取结果提取到的。
18.背景集中每张背景图像关联有牌照字符的位置、牌照字符的类别、各牌照字符的排列规律，牌照字符是指背景图像所属原始牌照图像中的牌照字符。
19.s12：从背景集选取参考背景图像，从字符集选取参考牌照字符图像。
20.可以从背景集选取任意的背景图像作为参考背景图像，从字符集选取任意的牌照字符图像作为参考牌照字符图像。
21.或者，对于不同类型的牌照而言，其中牌照字符的排列规律可能不同。排列规律包含牌照字符的类别、牌照字符的数目等等。因此可以基于排列规律适应性选择参考背景图像和参考牌照字符图像。牌照的类型可以是依据牌照所属的交通工具类型划分的，也可以是根据牌照所属的区域划分的。例如，按照交通工具类型划分为轮船的牌照、车辆的牌照；按照区域划分为不同城区、不同城市、不同国的牌照。
22.s13：基于参考牌照字符图像和参考背景图像生成目标牌照图像。
23.通过本实施例的实施，一方面可以通过选取的参考牌照字符图像和参考背景图像生成目标牌照图像。从而，能够通过生成的方式增加牌照图像的数量，从而能够减少需要采集的牌照图像数量，降低牌照图像的采集成本。另一方面，由于参考牌照字符图像和参考背景图像是从原始牌照图像分离得到的，真实度高，因此生成的目标牌照图像真实度高。又一方面，本技术提供的牌照生成方法适用于任何类型的牌照，通用性高。
24.进一步地，上述s11中，至少可以采取如下两种方式实现：方式一：可以针对原始牌照图像中包含的牌照字符和背景进行边缘特征提取，得到牌照字符和背景的边缘提取结果（涵盖牌照字符，背景图案、字符的分割结果），基于牌照字符和背景的边缘提取结果，得到背景图像和牌照字符图像，将背景图像归入背景集，将牌照字符图像归入字符集。
25.方式二：可以针对原始牌照图像中包含的牌照字符进行边缘特征提取，得到牌照字符的边缘提取结果，基于边缘提取结果中牌照字符的位置（参考后文说明）得到牌照字符图像，以及基于牌照字符的位置，从原始牌照图像中分离出牌照字符之外的区域并进行二值化处理，得到背景图像。
26.可以理解的是，对原始牌照图像中包含的牌照字符进行边缘特征提取得到的边缘提取结果，仅涵盖牌照字符的边缘提取结果，丢失了背景的细节信息（图案和字符），基于此，如果直接从边缘提取结果分离出背景图像，会影响背景图像的真实度，从而影响后续基于牌照字符图像和背景图像合成的牌照图像的真实度。通过上述方式一/方式二，能够使得背景的细节信息被保留在背景图像之中，提高背景图像的真实度，进而提高合成的牌照图像的真实度。
27.如下详细介绍方式一：图2是本技术牌照生成方法另一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。本实施例是对s11的进一步扩展，如图2所示，本实施例可以包括：s21：针对原始牌照图像中包含的牌照字符和背景进行边缘特征提取，得到边缘提取结果。
28.边缘提取结果涵盖牌照字符和背景（图案和字符）的边缘提取结果。例如，可以对原始牌照图像进行灰度处理，得到灰度图像；对灰度图像进行水平集分割，得到边缘提取结果。边缘提取结果中充分保留了牌照字符和背景的边缘轮廓信息。
29.s22：基于边缘提取结果中牌照字符的位置，对边缘提取结果分离得到牌照字符图像和背景图像。
30.一牌照字符对应一牌照字符图像。可以基于牌照字符的位置，从边缘提取结果分离得到牌照字符图像；将边缘提取结果中牌照字符的位置对应的区域置零，得到背景图像。
31.在一些实施例中，牌照字符的位置可以是边缘提取结果涵盖的牌照字符的边缘提取结果（牌照字符的连通域）。
32.在一些实施例中，牌照字符的位置也可以是牌照字符的连通域的外接矩形框。
33.在一些实施例中，牌照字符的位置还可以是原始牌照图像带有的字符标注信息中牌照字符的位置。边缘提取结果和牌照字符图像的尺寸一致，因此字符标注信息中牌照字符的位置对应为边缘提取结果中牌照字符的位置。从而，此方式下，s22可以视为基于字符标注信息将边缘提取结果中的牌照字符和背景解耦得到牌照字符图像和背景图像，降低了分离的复杂度。
34.为了提高分离效果，在s22之前，还可以对边缘提取结果进行矫正。具体来说，可以计算牌照首字符和末尾字符的位置中心点，拟合直线，若直线与水平线的夹角大于指定角度值（例如5度），则旋转该边缘提取结果进行矫正，并更新各牌照字符的位置，得到新的边缘提取结果。
35.s23：将牌照字符图像归入字符集，将背景图像归入背景集。
36.字符集包括若干字符子集，一字符子集对应一牌照字符类别。在一些实施例中，牌照字符类别包括数字、字母、汉字等等。在一些实施例中，数字可以细分为特殊数字和普通数字，字母可以细分为特殊字母和普通字母。特殊字符可以是占用的位置尺寸小的字符，也可以是部分地区或者国家特有的字符等等。
37.结合参阅图3，s23可以包括以下子步骤：s231：基于所述牌照字符的值对若干牌照字符图像分类，得到若干牌照字符图像所属的牌照字符类别。
38.s232：基于牌照字符图像所属的牌照字符类别，确定若干牌照字符图像所属的字符子集。
39.s233：将牌照字符图像归入其所属的字符子集。
40.进一步地，在s23之后，还可以去除倾斜、边缘断裂、粘连及含背景干扰等不满足质量要求的牌照字符，去除各牌照字符零值边距。
41.可以理解的是，通过对原始牌照图像进行牌照字符和背景分割，利用字符标注信息将牌照字符和背景解耦，得到背景图像和牌照字符图像分别存入背景集和字符集的方式，充分保留了原始牌照图像中牌照字符和背景的信息，因此后续分别从背景集和字符集选取背景图像和牌照字符图像合成的目标牌照图像真实度高、质量高。
42.图4是本技术牌照生成方法又一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图4所示的流程顺序为限。本实施例是对上述实施例的进一步扩展，如图4所示，在s232之后，本实施例可以包括：s31：将各牌照字符图像所属的牌照字符类别依次排列，得到各牌照字符的排列规律。
43.s32：将牌照字符图像所属的牌照字符类别、牌照字符的位置、排列规律与背景图像关联。
44.例如，各牌照字符图像所属的牌照字符值分别为“浙”、“a”、“1”、“1”、“1”、“b”、“b”、“b”，那么各牌照字符的排列规律为“文字、字母、数字
×
3、字母
×
3”。
45.s33：将排列规律归入排列规律集。
46.在将排列规律归入排列规律集之前，可以先判断该排列规律是否已经存在于排列规律集；若不存在，则将该排列规律归入排列规律集；否则不将该排列规律归入排列规律集。
47.背景图像关联的信息，可以被应用于参考牌照字符图像的选择、模拟牌照图像的合成等阶段。
48.图5是本技术牌照生成方法又一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图5所示的流程顺序为限。本实施例是对s12的进一步扩展，以实现参考牌照字符图像的选取。如图5所示，本实施例可以包括：s41：确定参考背景图像关联的牌照字符值是否包括预设牌照字符类别。
49.预设牌照字符类别包括前文提及的特殊字符。例如占用的位置尺寸小的“i”、“1”等等。
50.若包括，则执行s42；否则执行s43。
51.s42：按照第一选取方式从字符集选取参考牌照字符图像。
52.在第一选取方式下，按照参考背景图像关联的排列规律选取参考牌照字符图像。即，将参考背景图像关联的排列规律作为参考排列规律；按照参考排列规律，从字符集选取参考牌照字符图像。具体来说，依次将参考排列规律中每个牌照字符类别作为当前类别，从当前类别所属的字符子集中，选取参考牌照字符图像，选取的参考牌照字符图像用于叠加至背景图像关联的当前类别对应的牌照字符的位置。
53.s43：按照第二选取方式从字符集选取参考牌照字符图像。
54.在第二选取方式下，要求选取参考牌照字符图像依据的排列规律与参考背景图像关联的排列规律包含的牌照字符数目一致即可。可以从排列规律集选择一排列规律，选择的排列规律包含的牌照字符的数目与参考背景图像包含的牌照字符的数目一致；将选择的排列规律作为参考排列规律；按照参考排列规律，从字符集中选取参考牌照字符图像。参考背景图像对应的牌照字符的数目，即为参考背景图像所属原始牌照图像中牌照字符的数目。
55.其中，按照参考排列规律，从字符集中选取参考牌照字符图像时，选取的参考牌照字符图像形成的排列规律与参考排列规律一致。即，从选取的参考牌照字符图像所属的类别与排列规律中对应牌照字符的类别一致。
56.图6是本技术牌照生成方法又一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图6所示的流程顺序为限。本实施例是对s13的进一步扩展。如图6所示，本实施例可以包括：s51：将参考牌照字符图像叠加至参考背景图像关联的牌照字符的位置，得到模拟牌照图像。
57.如前文提及的，牌照字符图像的位置可以是牌照字符的连通域，也可以是牌照字符的矩形框。若为矩形框，可能存在不同的牌照字符的位置重叠的情况，因此可以在s51之前，判断参考背景图像关联的相邻的牌照字符的位置在水平方向上是否存在重叠；若存在重叠，则调整相邻的牌照字符的位置的间距。例如，可以基于相邻的牌照字符的位置的横坐标计算重叠区域宽度，基于重叠区域宽度逐次移动相邻的牌照字符的位置的左右边界，直至相邻的牌照字符的位置在水平方向上间隔大于1像素。从而，实现对牌照字符的位置的更
新。
58.进一步地，还可以调整参考背景图像对应的牌照字符的位置在垂直方向上的高度。例如，计算参考背景图像对应的所有牌照字符的位置的中心纵坐标均值y和高度均值h，依次判断每个牌照字符的位置的中心纵坐标与y的差值，根据差值调整牌照字符的位置的中心纵坐标以及上下边界，根据新的中心纵坐标及h调整牌照字符的位置的上下边界。从而，实现对牌照字符的位置的进一步更新。
59.s52：利用生成对抗网络对模拟牌照图像进行风格推断，得到目标牌照图像。
60.生成对抗网络（gan）可以但不限于是pix2pixhd，其包括一个生成网络模型modelg和判别网络模型modelid。
61.在将生成对抗网络应用于s52中的风格推断之前，还可以利用原始牌照图像及其对应的边缘提取结果训练生成对抗网络，边缘提取结果是对原始牌照图像进行边缘特征提取得到的。
62.在训练过程中，以原始牌照图像为标准，生成对抗网络推断边缘提取结果的风格（包括颜色等信息），以生成与原始牌照图像对应的预测牌照图像；以边缘提取结果为标准，生成对抗网络推断原始牌照图像的牌照字符和背景边缘，以生成与边缘提取结果对应的预测边缘提取结果；基于预测牌照图像与原始牌照图像之间的差异、边缘提取结果与预测边缘提取结果之间的差异，调整生成对抗网络的参数，从而使得生成对抗网络生成的预测牌照图像与原始牌照图像越来越接近。
63.可以理解的是，由于边缘提取结果不仅涵盖牌照字符的边缘提取结果，还包括背景的边缘提取结果，因此在训练过程中生成对抗网络可以同时学习到牌照字符和背景的信息，因此在应用过程中推断出的目标牌照图像真实度高、整体协调度高、质量高。
64.在上述任一实施例的基础上，得到目标牌照图像之后，还可以对目标牌照对象进行旋转、加噪声、模糊等处理来进一步增加牌照图像样本的数量。
65.如下以牌照是车牌，通过几个例子的形式，对本技术提供的方法进行详细说明：例子1：结合图7和图8说明背景集、字符集、排列规律集的建立。
66.1）对原始车牌图像i1进行灰度处理，得到灰度图像i2，i1带有字符标注信息，字符标注信息包括其中车牌字符的位置矩形框（车牌字符框）、车牌字符的值；2）对灰度图像i2进行水平集分割，得到初始的边缘提取结果i3（边缘分割图像）；3）矫正i3，得到最终的边缘提取结果i4；4）建立初始边缘分割字符图集s，s包括0~9和a~z共36个字符子集；建立初始车牌字符排列规律集t，用于记录车牌字符的排列规律；建立初始边缘分割背景图集e，用于存放车牌边缘分割背景图像。
67.5）基于车牌字符框对i4分离出车牌字符图像，并基于车牌字符的值对车牌字符图像分类，得到车牌字符图像所属的车牌字符类别（“h”、“m”、“a”、“v”、“6”、“2”），将车牌字符图像归入其所属的车牌字符类别对应的字符子集。
68.6）去除各字符集中倾斜、边缘断裂、粘连及含背景干扰的字符，去除各字符零值边距。
69.7）将各车牌字符的类别依次排列形成车牌字符的排列规律。判断该排列规律是否已经存在于t，若不存在，则将该排列规律归入t。
70.8）将i4中车牌字符框对应区域的像素值置0，得到背景图像i5，将i5归入e，并将i5与车牌字符的类别、车牌字符框、排列规律关联。
71.例子2：结合图7和图9说明基于背景集、字符集、排列规律集生成目标车牌图像。
72.1）从e中随机选取一张参考背景图像ii，获取ii关联的车牌字符的类别、车牌字符框、排列规律；2）若ii关联的不同车牌字符框存在重叠，则调整不同车牌字符框在水平方向的间距，实现去重叠，并更新ii关联的车牌字符框；3）修正车牌字符框的高度；4）基于ii关联的车牌字符信息或者车牌字符的排列规律，为ii关联的各个车牌字符框选择对应的目标车牌字符图像；具体来说，判断ii关联的车牌字符类别是否有特殊字母（“i”）或者特殊数字（“1”）。若有，则按照参考背景图像关联的排列规律，从字符集选取参考车牌字符图像。即依次将每个车牌字符类别作为当前车牌字符类别。若当前车牌字符类别是特殊数字“1”；若是，则从“1”字符子集中为当前车牌字符类别选择目标车牌字符图像；若不是，则从[0~9]字符集中为当前车牌字符值选择目标车牌字符图像。若当前车牌字符值的类别是特殊字母“i”；若是，则从“i”字符子集中为当前车牌字符值选择目标车牌字符图像；若不是，则从[a~z]字符集中为当前车牌字符值选择目标车牌字符图像。
[0073]
5）将选择的目标车牌字符图像的大小缩放为对应的车牌字符框的尺寸，再叠加至参考背景图像，以得到模拟车牌图像。
[0074]
6）基于生成网络对模拟车牌图像推断，得到目标车牌图像。
[0075]
图10是本技术电子设备一实施例的结构示意图。如图10所示，该电子设备包括处理器21、与处理器21耦接的存储器22。
[0076]
其中，存储器22存储有用于实现上述任一实施例的方法的程序指令；处理器21用于执行存储器22存储的程序指令以实现上述方法实施例的步骤。其中，处理器21还可以称为cpu（central processing unit，中央处理单元）。处理器21可能是一种集成电路芯片，具有信号的处理能力。处理器21还可以是通用处理器、数字信号处理器（dsp）、专用集成电路（asic）、现场可编程门阵列（fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0077]
图11是本技术计算机可读存储介质一实施例的结构示意图。如图11所示，本技术实施例的计算机可读存储介质30存储有程序指令31，该程序指令31被执行时实现本技术上述实施例提供的方法。其中，该程序指令31可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质30中，以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本技术各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质30包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
[0078]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论
的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0079]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。