一种基于机器视觉技术的单层/双层车牌增广方法与流程

1.本发明涉及计算机视觉领域，尤其涉及一种基于机器视觉技术的单层/双层车牌增广方法。


背景技术：

2.随着卷积神经网络的日益发展，其在文字识别、车牌内容识别等相关领域已被广泛使用。
3.随着深度学习和卷积神经网络的不断发展，神经网络以应用与各行各业。在交通运输系统中，车辆牌照定位与识别是计算机视觉与模式识别技术在智能交通领域应用的重要研究课题之一。在实际项目中，我们能够很容易获得蓝色车牌，绿色车牌这些道路上较为常见的车辆图片，但是很难获得自然路况下的稀少车牌的较为清晰的图像，如：黄色车牌（农用车和工程车），黑色车牌（大使、领事馆、外资企业车辆），白色车牌（军用车或者公安车）等。这样就使得我们在训练车牌检测和识别模型的时候，对数据量少的车牌效果不佳。在用卷积神经网络解决实际问题时，训练数据的数量与质量是制约网络效果的一个瓶颈。对于一些类型小众或者采集难度较大的数据则需要进行数据增广操作以满足卷积神经网络的训练需求。
4.在专利申请号为cn201910738162.8的发明专利中公开了一种基于卷积神经网络的数据增广方法，包括：将已标记车牌信息的图像输入到数据增广网络，数据增广网络包括：数据产生器和数据判别器；采用数据产生器，分别获取输入图像的三个层级下采样图像；将每个层级下采样图像分别输入对应层级ccgan，获取对应层级的拼接特征向量，对拼接特征向量进行图像上采样操作，得到的图像作为对应层级ccgan的输出图像；采用数据判别器，通过目标函数公式计算增广数据产生器的损失函数值，根据损失函数值调整每个层级ccgan的网络参数，直至损失函数值收敛；将车牌图像输入数据增广网络进行处理，获得车牌图像的增广图像。该专利与现有技术相比，能够改善车牌增广图像种类数目不均衡情况。但是该专利主要是对阈值进行划分，实际上是针对检测算法得到的结果进行处理。而不是对车牌图像本身进行处理。


技术实现要素：

5.本发明的目的在于克服现有技术的不足，提供一种基于机器视觉技术的单层/双层车牌增广方法。
6.本发明的目的是通过以下技术方案来实现的：一种基于机器视觉技术的单层/双层车牌增广方法，包括以下步骤：步骤1：根据各种车牌格式，选取固定字符，并从英文字母以及阿拉伯数字中随机挑选字符，进行车牌图像img_plate的制作；步骤2：随机选取一张制作好的车牌图像img_plate，采用计算机视觉方法进行多样性增强；
步骤3：根据真实图像中车辆车牌的四个角点信息，对真实图像的车辆车牌角点位置进行调整；步骤4：根据车牌图像img_plate和真实车牌的大小，计算四个顶点位置进行透视变换，得到真实车牌大小的图片，在四个顶点内填充车牌图像img_plate，其余位置填充白色，得到只有车牌的图像img_tmp；步骤5：制作一张和车牌一样大，但是值全部为0的图像；使用该图像和四个顶点位置进行透视变换，变换到真实车牌大小的图片，并在车牌位置其余位置填充1；得到车牌内部是0，其余位置是1的掩模图像img_mask；步骤6：使用掩模图像img_mask与原始真实车辆图像img_org进行每一个像素点的与操作，抠除车牌内部的信息，使变成黑色，从而得到图像img_crop；步骤7：使用img_crop与img_tmp的每个像素点进行或操作，把车牌填充到图像之中，得到最终图像img_res。
7.进一步的，所述车牌包括港澳车牌、领事馆车牌、大使车牌、警用车牌、新能源车牌、应急救援专用车牌、双层白色车牌、双层黄色车牌和单层黄色车牌。
8.进一步的，所述步骤2包括以下子步骤：步骤201：增加污渍效果，通过与准备的污渍图片进行加权叠加，得到更新图片；步骤202：增加噪声，针对bgr三个通道，分别进行高斯噪声的添加；步骤203：添加运动模糊滤波，使用工具包imgaug对车牌图像添加运动模糊。
9.进一步的，所述步骤3包括以下子步骤：步骤301：根据真实图像中车辆车牌的四个角点信息判断车辆的车牌类型是否为新能源车牌、应急救援专用车牌或者双层车牌；步骤302：若是，则对车牌角点位置进行调整；若不是，则不进行调整。
10.进一步的，所述车牌类型是新能源车牌或应急救援专用车牌时，进行以下调整步骤：步骤3011：计算在s1和s3两条线段上需要增加的长度，通过ratio=480px/440px-1=0.0909；步骤3012：通过两点间距离公式计算s1的直线长度d1和s3的直线长度d3，并计算s1需要padding的线段p1=d1*ratio和s3需要padding的线段p3=d3*ratio；在padding时，s1左右需要padding的长度均为p1_half=p1/2，s3左右需要padding的长度均为p3_half=p3/2；步骤3013：通过s1和s3的直线公式以及y=kx b，并根据p1_half和p3_half的长度，得到变幻后的点（x1’，y1’），（x2’，y2’），（x3’，y3’），（x4’，y4’）。
11.进一步的，所述车辆类型是双层车牌时，进行以下调整步骤：步骤3014：计算在s2和s4两条线段上需要增加的长度，通过ratio=440px/220px-1=1；步骤3015：通过两点间距离公式计算s2的直线长度d2和s4的直线长度d4，并计算s2需要padding的线段p2=d2*ratio和s4需要padding的线段p4=d4*ratio；在padding时，s2左右需要padding的长度均为p2_half=p2/2，s4左右需要padding的长度均为p4_half=p4/2；
步骤3016：通过s2和s4的直线公式以及y=kx b，并根据p2_half和p4_half的长度，得到变幻后的点（x1’，y1’），（x2’，y2’），（x3’，y3’），（x4’，y4’）。
12.本发明的有益效果：本发明提出一种自然场景下的车牌增广方式，能够极大丰富车牌检测数据集，提高稀有车牌检测准确率；改善和解决了深度学习中数据集的长尾问题，极大地增加了车牌数据中稀有车牌（黑牌、白牌、双层黄绿牌等）的数量，使用车牌样本中各种颜色的车牌数量均衡。解决了训练中的样本类别不平衡的问题。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
14.图1是本发明的方法流程图。
15.图2是车牌调整时的数据示意图。
具体实施方式
16.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后
……
）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
19.另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当人认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
20.本实施例中，如图1所示，一种基于机器视觉技术的单层/双层车牌增广方法，包括以下步骤：步骤1：根据各种车牌格式，选取固定字符，并从英文字母以及阿拉伯数字中随机挑选字符，进行车牌图像img_plate的制作；步骤2：随机选取一张制作好的车牌图像img_plate，采用计算机视觉方法进行多样性增强；步骤3：根据真实图像中车辆车牌的四个角点信息，对真实图像的车辆车牌角点位置进行调整；步骤4：根据车牌图像img_plate和真实车牌的大小，计算四个顶点位置进行透视变换，得到真实车牌大小的图片，在四个顶点内填充车牌图像img_plate，其余位置填充白色，得到只有车牌的图像img_tmp；步骤5：制作一张和车牌一样大，但是值全部为0的图像；使用该图像和四个顶点位
置进行透视变换，变换到真实车牌大小的图片，并在车牌位置其余位置填充1；得到车牌内部是0，其余位置是1的掩模图像img_mask；步骤6：使用掩模图像img_mask与原始真实车辆图像img_org进行每一个像素点的与操作，抠除车牌内部的信息，使变成黑色，从而得到图像img_crop；步骤7：使用img_crop与img_tmp的每个像素点进行或操作，把车牌填充到图像之中，得到最终图像img_res。
21.其中，所述车牌包括港澳车牌、领事馆车牌、大使车牌、警用车牌、新能源车牌、应急救援专用车牌、双层白色车牌、双层黄色车牌和单层黄色车牌。
22.其中，所述步骤2包括以下子步骤：步骤201：增加污渍效果，通过与准备的污渍图片进行加权叠加，得到更新图片；步骤202：增加噪声，针对bgr三个通道，分别进行高斯噪声的添加；步骤203：添加运动模糊滤波，使用工具包imgaug对车牌图像添加运动模糊。
23.其中，所述步骤3包括以下子步骤：步骤301：根据真实图像中车辆车牌的四个角点信息判断车辆的车牌类型是否为新能源车牌、应急救援专用车牌或者双层车牌；步骤302：若是，则对车牌角点位置进行调整；若不是，则不进行调整。
24.在本实施例中，如图2所示，车牌类型是新能源车牌或应急救援专用车牌时，进行以下调整步骤：步骤3011：计算在s1和s3两条线段上需要增加的长度，通过ratio=480px/440px-1=0.0909；步骤3012：通过两点间距离公式计算s1的直线长度d1和s3的直线长度d3，并计算s1需要padding的线段p1=d1*ratio和s3需要padding的线段p3=d3*ratio；在padding时，s1左右需要padding的长度均为p1_half=p1/2，s3左右需要padding的长度均为p3_half=p3/2；步骤3013：通过s1和s3的直线公式以及y=kx b，并根据p1_half和p3_half的长度，得到变幻后的点（x1’，y1’），（x2’，y2’），（x3’，y3’），（x4’，y4’）。
25.车辆类型是双层车牌时，进行以下调整步骤：步骤3014：计算在s2和s4两条线段上需要增加的长度，通过ratio=440px/220px-1=1；步骤3015：通过两点间距离公式计算s2的直线长度d2和s4的直线长度d4，并计算s2需要padding的线段p2=d2*ratio和s4需要padding的线段p4=d4*ratio；在padding时，s2左右需要padding的长度均为p2_half=p2/2，s4左右需要padding的长度均为p4_half=p4/2；步骤3016：通过s2和s4的直线公式以及y=kx b，并根据p2_half和p4_half的长度，得到变幻后的点（x1’，y1’），（x2’，y2’），（x3’，y3’），（x4’，y4’）。
26.在步骤1中，制作不同类型的车牌的要求如下：港澳车牌：黑底白字，宽高分别为440像素，140像素。最后一个字为港或者澳，第一个字为粤，第二个字符为数字或字母，第三个字符为点，其余中间5个字符为字母或数字。
27.领事馆车牌：黑色底，宽高分别为440像素，140像素。最后一个字为：领，红色。第一
个白色字符是省、自治区简称，第二字白色字符是数字或字母，第三个白色字符是点，其余中间4个白色字符为字母或数字。
28.大使车牌：黑色底，宽高分别为440像素，140像素。第一个红色字符为使，。接着3个白色的字符为字母或数字，接着一个白色字符是点，后面三个白色字符为字母或数字。
29.警用车牌：白色底，宽高分别为440像素，140像素.最后一个红色字符为警。第一个白色字符为省的简称，第二个黑色字符为点号，其余五个黑色字符均为字母或数字。
30.新能源车牌：黄绿底黑子，宽高分别为480像素，140像素。第一个字符是省、自治区简称，其余七个字符均为字母或数字。
31.应急救援专用车牌：白色底，宽高分别为480像素，140像素。第一个黑色字符是省、自治区简称，第二个黑色字符是间隔符，第三个红色字符代表所属救援队伍代号，后面四个字符是字母或数字，最后两个红色字符是应急。
32.双层白色车牌：白色底，宽高分别为440像素，220像素。上层第一个红色字符是应，第二个黑色分隔符，第三个红色字符是急。下层第一个黑色字符省或者自治区简称，后四个黑色字符为字母或数字双层黄色车牌：黄色底，宽高分别为440像素，220像素。上层第一个黑色字符是省或自治区简称，第二个黑色分隔符，第三个字母或数字。下层五个字符均为字母或数字。
33.单层黄色车牌：黄色底黑色字，宽高分别为440像素，140像素。第一个字符是省或自治区简称，第2个字符为字母或数字，第三个字符为分隔符，4-7个字符为字母或数字。最后一个字符为挂、学。
34.需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和单元并不一定是本技术所必须的。
35.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
36.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、rom、ram等。
37.以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。