一种基于二维高斯边界框重叠度度量的车牌检测方法与流程

1.本发明属于车牌检测技术领域，涉及一种基于二维高斯边界框重叠度度量的车牌检测方法。


背景技术：

2.车辆使用的车牌号是车辆唯一的身份标志，也是车辆上路行驶的重要凭证，车牌的检测识别是辨识车辆身份的主要手段。因此车牌检测是智慧交通数据统计分析的重要任务，也是城市车辆管理的前置任务，其应用场景十分广泛，如停车场、小区准入验证和道路交通监控等，然而实际应用场景中车牌收到光照、视角变化等移速的影响，使得检测结果不佳。
3.现有的车牌检测方法主要有两种，一是基于传统方法的车牌检测方法，通过使用梯度和颜色空间进行车牌检测，这类方法拥有较快的检测速度，但是对复杂的背景和场景中的车牌特征建模差，对遮挡、模糊、形变的车牌定位不准确；二是基于深度学习的车牌检测方法，这类方法通过学习大量的训练数据，对不同的场景具有很强的适应能力，为了更好的描述倾斜车牌的位置，很多深度学习方法使用朝向框的方法定义车牌的边界框，在训练时通常使用平滑l1损失来度量误差，但是这种损失评价方式与评估方式并不一致，即预测框与真实框的重叠程度与损失的大小不是线性的关系；在通用目标检测（水平框）中通常使用重叠度损失（iou loss）来解决损失和评估的不一致性，然而朝向框使用重叠度损失会带来损失函数不可导的问题，影响了训练过程。
4.由此可见，在基于深度学习的车牌朝向框训练过程中，现有的方法存在的损失和评估方式不一致的问题，严重影响了训练的效率和精度，因此急需有效的方法用于提升车牌检测精度。


技术实现要素：

5.为了克服上述现有技术的不足，本发明设计提供一种基于二维高斯边界框重叠度度量的车牌检测方法，用来解决畸形形变车牌训练过程中损失和评估方式不一致的问题，可用于任意场景的形变车牌训练任务，能够高效的车牌检测的精度和训练效率。
6.为实现上述目的，本发明首先构架数据集并设计简洁的主干网络，避免任何繁琐的后处理步骤，用于预测的旋转车牌的朝向框，再将基于五点定位法的预测朝向框近似为一个二维高斯分布，通过计算预测朝向框与真实朝向框之间的二维高斯分布之间的距离度量两个框的重叠度，进而实现对朝向框质量的度量，具体过程为：（1）数据集构建：收集小区出入口、侧方位停车场等场景中含有常规以及倾斜、畸变车牌的图像，构建含有车牌的图像数据集，并标注车牌的位置，再将数据集划分为训练集、验证集和测试集，其中训练集用于训练，验证集用于训练过程中的模型验证，测试集用于最终的精度测试；（2）主干网络特征提取：先对数据集中的图片尺寸和数值范围进行初始化处理，再
将处理后的图像输入到主干网络中进行卷积特征提取；（3）多尺度特征层次结构：将特征提取后的图像通过基于特征融合的多尺度特征层次结构得到的多尺度特征层次特征图集合；（4）车牌位置定位：根据步骤（3）得到的多尺度特征层次特征图集合，在不同的多尺度卷积层后连接两层卷积核为3*3的卷积层以及一层平均池化层，在特征图的每一个特征点设置一个锚框，分别使用两个结构相同的但不共享参数的全连接层子网络学习分类和位置偏移信息，实现目标框的类别分类和位置回归；其中位置偏移信息是车牌的目标框与特征点对应的锚框的偏差，类别分类是z判断是否是车牌，位置为车牌的朝向框，其中表示车牌的中心点，表示车牌朝向框的长和宽，表示与水平方向的夹角；（5）朝向框转换：将基于五点表示法的朝向框转换成基于二维高斯分布表示的朝向框，获得预测的朝向框和真实的朝向框的二维高斯分布形式；（6）朝向框相似度度量：使用kl散度作为两个分布之间的度量标准度量预测的朝向框和真实的朝向框之间的距离；（7）训练网络结构，得到训练好的模型参数：使用数据集中训练集的图像，图片尺寸为6404803，将图像依次输入到网络中，并且使用iou阈值作为样本分配策略的衡量标准，输出车牌的分类置信度和回归坐标位置，其中b为一次训练所选取的样本数，class为2，即是否是车牌，n是输出预测车牌目标的数量，5为车牌的朝向框的中心点坐标、框的长宽和角度；采用focal损失算预测类别和真实类别的误差，采用步骤朝向框相似度度量计算预测车牌位置与真实车牌位置的误差，并通过反向传播更新参数，经过200轮完整训练集训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，得到训练好的车牌检测网络参数；（8）输出车牌位置和类别：保持图片长短边比例不变的情况下将图像长边缩放（resize）到640后对图片的短边进行填充，使得图像尺寸为640480，作为车牌检测网络的输入，即可输出车牌的分类置信度和车牌的坐标位置，设置阈值过滤低置信度的车牌，并使用非极大抑制（nms）删除网络输出的冗余的框，得到车牌位置。
7.进一步的，步骤（1）中标注车牌的位置是对车牌四个角点的标注，通过四个角点的位置计算出车牌的朝向框的中心点、长宽以及与水平方向的夹角，用于监督车牌的定位。
8.进一步的，步骤（2）中所述主干网络使用在imagenet数据集中经过预训练的vgg16作为特征提取网络，分别提取c3、c4和c5输入到后续网络中。
9.进一步的，步骤（3）中所述基于特征融合的多尺度特征层次结构通过自顶向下的路径对浅层特征进行语义扩充，并通过自底向上的路径将顶层特征映射与底层信息相结合，特征层次的每一层都能同时捕获丰富的语义表示和底层信息；其中自顶向下的路径使用上采样模块和卷积层对特征进行放大，并于对应尺寸的特征融合，自底向上的路径使用下采样模块和卷积层对特征进行缩放并与对应尺寸的特征融合，最终通过将不同层次的特征结合对多尺度目标形成一个强大的特征表示。
10.进一步的，步骤（5）中所述基于二维高斯分布表示的朝向框为，其中用（）进行表示，公式如下：）进行表示，公式如下：用表示，公式如下：；预测的朝向框和真实的朝向框的二维高斯分布形式分别为。
11.进一步的，步骤（6）中所述kl散度计算公式为：。
12.与现有技术相比，本发明的有益效果是：通过将朝向边界框的转换为二维高斯分布的表示，并使用kl散度作为度量标准来计算预测边界框与真实边界框之间的分布距离，以此作为边界框的回归损失，并且该方法是可微的，解决平滑l1度量损失与评估方式不一致的问题，可以提高基于朝向框的车牌检测网络训练效率和泛化能力，并且仅用于网络训练阶段，并不增加推理过程的计算量，不仅可以用来进行倾斜形变车牌检测，还可以用于场景文本检测、超市商品检测等多种场景的目标检测任务，相比现有的方法，检测精度从93.2%提高到97.5%，提高了网络的监督能力和检测的。
附图说明
13.图1为本发明所述主干网络结构框架示意图。
14.图2为本发明的工作流程示意框图。
具体实施方式
15.下面通过实施例并结合附图进一步描述本发明，但不以任何方式限制本发明的范围。
16.实施例：本实施例先设计简洁的主干网络，避免任何繁琐的后处理步骤，用于预测的旋转车牌的朝向框，然后将基于五点定位法的预测朝向框近似为一个二维高斯分布，通过计算预测朝向框与真实朝向框之间的二维高斯分布之间的距离度量两个框的重叠度，进而实现对朝向框质量的度量，具体实施包括如下步骤：（1）数据集构建：收集小区出入口、侧方位停车场等场景的含有常规以及倾斜、畸变车牌的图像，构建含有车牌的图像数据集，标注车牌的位置，主要是车牌四个角点的标注，通过四个角点的位置计算出车牌的朝向框的中心点、长宽以及与水平方向的夹角，用于监督车牌的定位，并将数据集划分为训练集、验证集和测试集，其中训练集用于训练，验证
集用于训练过程中的模型验证，测试集用于最终的精度测试；（2）主干网络提取基础特征：将数据集中的图像作为输入，首先对图片的尺寸和数值范围行初始化处理，然后将处理后的图像输入到主干网络中进行卷积特征提取，其中主干网络使用在imagenet数据集中经过预训练的vgg16作为特征提取网络，分别提取c3、c4和c5输入到后续网络中；（3）多尺度特征层次结构：针对不同尺寸的车牌，在特征提取网络之后使用基于特征融合的多尺度特征层次结构，该结构通过自顶向下的路径对浅层特征进行语义扩充，并通过自底向上的路径将顶层特征映射与底层信息相结合，特征层次的每一层都能同时捕获丰富的语义表示和底层信息，其中自顶向下的路径使用上采样模块和卷积层对特征进行放大，并于对应尺寸的特征融合，自底向上的路径使用下采样模块和卷积层对特征进行缩放并与对应尺寸的特征融合，最终通过将不同层次的特征结合起来，可以对多尺度目标形成一个强大的多尺度特征层次特征图集合；（4）车牌位置定位：根据步骤（3）得到的多尺度特征层次特征图集合，在不同的多尺度卷积层后连接两层卷积核为3*3的卷积层以及一层平均池化层，在特征图的每一个特征点设置一个锚框，然后分别使用两个结构相同的但是不共享参数的全连接层子网络学习分类和位置偏移信息，其中位置偏差信息是车牌的紧致目标框与特征点对应的锚框的偏差从而完成目标框类别分类和位置回归的任务。其中分类为是否是车牌，位置信息为车牌的朝向框，其中表示车牌的中心点，表示车牌朝向框的长和宽，表示与水平方向的夹角；（5）朝向框转换：朝向框转换将基于五点表示法的朝向框转换成基于二维高斯分布表示的朝向框，其中可以用（）进行表示公式如下：）进行表示公式如下：可以用表示，公式如下：通过以上公式将预测的朝向框和真实的朝向框转换为二维高斯分布的形式；（6）朝向框相似度度量：在获得预测的朝向框和真实的朝向框的二维高斯分布的形式后，需要度量两个框之间的距离，使用kl散度作为两个分布之间的度量标准，其公式如下：（7）训练网络结构，得到训练好的模型参数：使用数据集中训练集的图像，图片尺寸为6404803，将图像依次输入到网络中，整个网络的输入，其中b为一
次训练所选取的样本数，并且使用iou阈值作为样本分配策略的衡量标准，高质量水平候选框模块输出车牌的分类置信度和回归坐标位置，其中class为2，即是否是车牌，n是输出预测车牌目标的数量，5为车牌的朝向框的中心点坐标、框的长宽和角度；采用focal损失算预测类别和真实类别的误差，采用步（5）和（6）朝向框相似度度量来计算预测车牌位置与真实车牌位置的误差，通过反向传播更新参数，经过200轮完整训练集训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，即得到训练好的车牌检测网络参数；（8）测试网络并输出车牌位置和类别：在测试过程中，保持图片长短边比例不变的情况下将图像长边缩放（resize）到640，然后对图片的短边进行填充，使得图像尺寸为640480，作为网络的输入。即可输出车牌的分类置信度和车牌的坐标位置，设置阈值过滤低置信度的车牌，并使用非极大抑制（nms）删除网络输出的冗余的框，得到车牌位置。
17.本实施例针对使用朝向边界框倾斜形变的车牌，通过将朝向边界框的转换为二维高斯分布的表示，并使用kl散度作为度量标准来计算预测边界框与真实边界框之间的分布距离，以此作为边界框的回归损失，由此解决了平滑l1度量损失与评估方式不一致的问题，可以提高基于朝向框的车牌检测网络训练效率和泛化能力，并且仅用于网络训练阶段，并不增加推理过程的计算量。
18.需要注意的是，本实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。