一种恶劣天气下小样本车牌检测方法与流程

1.本发明属于车牌检测技术领域，尤其涉及一种恶劣天气下小样本车牌检测方法。


背景技术：

2.近年来，随着经济的发展，城市中汽车数量急剧增加，给城市交通管理带来了极大的挑战，车牌检测作为车牌识别的前置任务，在智慧交通数据统计和分析中占有举足轻重的地位。其应用场景十分广泛，如小区出入口、高速公路及收费站、城市交通违章等应用场景，然而在实际应用中车牌受到雾天、雨天、雪天等极端恶劣天气的影响，使得检测结果不佳。
3.在极端恶劣天气下，图像质量受到严重影响，细节特征丢失严重，车牌的信息不易被提取，导致车牌检测极易出现错检和漏检的情况，而且恶劣天气下的数据严重不足，很大程度上限制了深度学习网络的泛化性，使得现有的车牌检测方法很难在恶劣天气下达到理想的检测性能；另一方面，车牌检测需要同时进行定位和分类，使得模型适应过程更加复杂，模型存在过度自适应(类似于使用少量数据样本进行训练时的过拟合)和不稳定风险，最终导致目标域检测性能下降。
4.目前，针对恶劣场景中的数据收集和标注往往需要消耗巨大的人力物力，而只收集少量的有代表性的样本数据，所付出的努力是可以忽略不计的，同时可以减少大量样本带来的不可避免的噪声，但是在只有少量恶劣天气的数据样本的情况下学习车牌的定位和分类是非常具有挑战性的。
5.由此可见，在恶劣天气下的车牌检测受到了训练样本的限制，现有的方法在少量的数据上容易过拟合并且检测性能受限，因此急需有效的手段提升恶劣天气下小样本车牌检测性能。


技术实现要素：

6.为了克服现有技术的不足，本发明设计提供一种恶劣天气下小样本车牌检测方法，用来恶劣天气下小样本车牌检测问题，可用于小样本场景的车牌检测任务，能够高效的车牌检测的精度和模型泛化性能。
7.为实现上述目的，本发明实现小样本车牌检测的具体过程为：（1）数据集构建：先收集常规天气的交通监控、停车场等场景的含有常规以及倾斜、畸变车牌的图像，构建车牌数据集作为训练的基础数据，并将车牌数据集划分为训练集、验证集和测试集，再收集不少于200张的恶劣天气下的车牌图像作为小样本数据；（2）共享主干网络特征提取：先对图片的尺寸和数值范围行初始化处理，再将处理后的图像输入到主干网络中进行卷积特征提取；然后通过特征金字塔网络对提取的特征进行强化得到多尺度车牌卷积特征图集合；（3）车牌位置定位：根据步骤（2）得到的多尺度车牌卷积特征图集合，在不同的多尺度卷积层后连接两层卷积核为33的卷积层以及一层平均池化层，在特征图的每一个特
征点设置一个锚框，再分别使用两个结构相同的但是不共享参数的全连接层子网络学习分类和位置偏移信息后输出候选框；（4）样本嵌入空间构建：与样本标签相比，将iou》0.7 的候选框定义为正样本信息， 0.2《iou《0.3 的候选框定义为负样本信息，并使用三层全连接层构建多层感知嵌入编码，输入正样本和负样本候选框对相应区域通过步骤（2）提取得到的卷积特征，输出正样本嵌入和负样本嵌入，并将正样本嵌入和负样本嵌入分别纳入到正样本嵌入空间和负样本嵌入空间；（5）样本距离度量：将步骤（3）输出的候选框对应的嵌入编码后的向量分别与正样本嵌入空间和负样本嵌入空间进行距离计算，利用得到的两个距离，通过概率度量方法输出每个候选框是车牌的概率；（6）训练网络结构，得到训练好的车牌检测网络：使用数据集中训练集的图像，图片尺寸为5125123，根据一次训练所需的样本数将图像依次输入到网络中，整个网络的输入，其中b为一次训练所需的样本数，并且使用iou阈值作为样本分配策略的衡量标准输出回归坐标位置， n是输出预测车牌目标的数量，4表示四维，包含车牌的水平框中心点坐标（x,y）和长宽（w，h）；再采用与步骤（5）中相同的方法计算候选框是否为车牌，然后通过反向传播更新参数，经过500轮完整训练集训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，得到训练好的车牌检测网络；（7）测试网络并输出车牌位置和类别：在保持图片长短边比例不变的情况下将图像长边缩放（resize）到512，然后对图片的短边进行填充，使得图像尺寸为512512，作为车牌检测网络的输入，然后输出车牌的分类置信度和车牌的坐标位置，通过设置阈值过滤低置信度的车牌，并使用非极大抑制（nms）删除网络输出的冗余的框得到车牌检测框，最后将车牌检测框对应的车牌特征输入到车牌识别模块，得到车牌号。
8.作为本发明的进一步技术方案，步骤（1）所述车牌数据集和小样本数据中的图像需标注车牌的位置，即标注车牌的四个角点，并通过四个角点的位置计算表示车牌位置的点集合，点集合包含车牌的中心点、四个角点以及四条边的中心点。
9.作为本发明的进一步技术方案，步骤（2）所述主干网络使用在imagenet数据集中经过预训练的resnet50作为特征提取网络，分别提取模块3、模块4和模块5输入到后续网络中，特征金字塔网络设置在resnet50之后，特征金字塔网络对resnet50提取的特征进行强化利用，获得表达力更强的包含多尺度车牌信息的卷积特征图集合，从而更好的捕获近距离和远距离的不同尺寸车牌。
10.作为本发明的进一步技术方案，步骤（3）所述位置偏差信息是车牌的紧致目标框与特征点对应的锚框的偏差从而完成目标框类别分类和位置信息的任务，其中分类为是否是车牌，位置信息为车牌的最小外接矩（朝向框）。
11.作为本发明的进一步技术方案，步骤（5）中距离计算公式为：其中x为候选框对应的嵌入向量，e为样本空间中存储的嵌入向量，为温度系数，是x和y之间的距离系数，概率度量是使用高斯函数将距离映射到概率，其概率为：
其中为候选框与正样本嵌入的距离，为候选框与负样本嵌入的距离，并且添加β值，以确保距离减法不为负。
12.本发明针对恶劣天气下样本数量少的问题，通过引入一种新的基于负样本和正样本的度量学习框架和一种新的负样本和正样本的推理方案来充分利用小样本检测中的负样本，同时使用正样本和负样本，在训练图像上学习到一个嵌入空间，其中距离对应于车牌与正样本和负样本的相似性度量，一旦学习了这个空间，使用提出的嵌入方法作为特征向量，可以以很少的代价从小样本中检测恶劣天气中的车牌。
13.与现有技术相比，本发明的有益效果是：（1）通过构建正负样本的嵌入空间在增加很少计算量的基础上极大的程度提高在退化车牌上的表现；（2）不仅可以用来进行恶劣天气下小样本车牌检测，还可以用于多种小样本目标检测任务，在恶劣天气下的小样本数据检测精度可达96.5%，极大的提升了检测和分类效果。
附图说明
14.图1为本发明所述恶劣天气下小样本车牌检测网络结构框架示意图。
15.图2为本发明所述恶劣天气下小样本车牌检测流程框图。
具体实施方式
16.下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
17.实施例：本实施例通过设计简洁的主干网络用于提取正负样本框，在训练时为常规天气数据构建多个正样本的嵌入空间表征以及负样本的嵌入空间表征，在测试时增加新的恶劣天气图像的正样本表征和负样本的嵌入空间表征，而优化目标是推近目标建议框距离与正样本嵌入空间的距离，拉大目标建议框与负样本嵌入空间的距离，最终通过此度量判断目标候选框是否为车牌，从而达到车牌检测的效果，具体包括如下步骤：（1）数据集构建：收集常规天气的交通监控、停车场等场景的含有常规以及倾斜、畸变车牌的图像，构建车牌的数据集，作为训练的基础数据，并将数据集划分为训练集、验证集和测试集；收集200-3000张的恶劣天气下的车牌数据，作为小样本数据，并将小样本数据划分为训练集、验证集和测试集，所收集的图像需要标注车牌的位置，主要是车牌四个角点的标注，通过四个角点的位置可以计算表示车牌位置的点集合，点集合包含车牌的中心点、四个角点以及四条边的中心点；（2）共享主干网络特征提取：先对图片的尺寸和数值范围行初始化处理，然后将处理后的图像输入到主干网络中进行卷积特征提取，其中主干网络使用在imagenet数据集中经过预训练的resnet50作为特征提取网络，分别提取模块3、模块4和模块5输入到后续网络中，并在resnet50之后添加特征金字塔网络，对resnet50提取的特征进行强化利用，获得表达力更强的包含多尺度车牌信息的卷积特征图集合，从而更好的捕获近距离和远距离的不
同尺寸车牌；（3）车牌位置定位：根据步骤（2）得到的多尺度车牌卷积特征图集合，在不同的多尺度卷积层后连接两层卷积核为33的卷积层以及一层平均池化层，在特征图的每一个特征点设置一个锚框，然后分别使用两个结构相同的但是不共享参数的全连接层子网络学习分类和位置偏移信息后输出候选框，位置偏差信息是车牌的紧致目标框与特征点对应的锚框的偏差从而完成目标框类别分类和位置信息的任务，其中分类为是否是车牌，位置信息为车牌的最小外接矩（朝向框）；（4）样本嵌入空间构建：将与样本标签 iou》0.7 的候选框定义为正样本信息，将 0.2《iou《0.3 的候选框定义为负样本信息，并使用三层全连接层构建多层感知嵌入编码，其输入为正样本和负样本候选框对相应区域的卷积特征（从步骤（2）中提取得到），输出为正样本和负样本嵌入，将输出结果分别纳入到正、负样本嵌入空间；（5）样本距离度量：将步骤（3）输出的候选框对应的嵌入编码后的向量分别与正样本嵌入空间和负样本嵌入空间进行距离度量，综合利用这两个距离，通过概率度量方法输出每个候选框是车牌的概率，距离度量公式如下式所示：其中x为候选框对应的嵌入向量，e为样本空间中存储的嵌入向量，为温度系数，是x和y之间的距离系数，然后使用高斯函数将距离映射到概率，其概率定义为：其中为候选框与正样本嵌入的距离，为候选框与负样本嵌入的距离，并且添加β值，以确保距离减法不为负；（6）训练网络结构，得到训练好的车牌检测网络：使用数据集中训练集的图像，图片尺寸为5125123，按照批次尺寸（b），b为一次训练所需的样本数，依次输入到网络中，所以整个网络的输入，并且使用iou阈值作为样本分配策略的衡量标准，高质量水平候选框模块输出回归坐标位置， n是输出预测车牌目标的数量，4表示四维，包含车牌的水平框中心点坐标（x,y）和长宽（w，h）；再采用步骤（5）中样本距离度量和概率估计方法计算候选框是否为车牌，通过反向传播更新参数，经过500轮完整训练集训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，得到训练好的车牌检测网络；（7）测试网络输出车牌位置和类别：在测试过程中，保持图片长短边比例不变的情况下将图像长边缩放（resize）到512，然后对图片的短边进行填充，使得图像尺寸为512512，作为网络的输入，即可输出车牌的分类置信度和车牌的坐标位置，设置阈值过滤低置信度的车牌，并使用非极大抑制（nms）删除网络输出的冗余的框得到车牌检测框，最后将车牌检测框对应的车牌特征输入到车牌识别模块，得到车牌号。
18.实施例2：本实施例选取ccpd数据集中的ccpd_weather数据1000张图像进行精度检测，检测结果为96.5%，其中训练集、测试集、验证集分别包含 200张、500张和300张。
19.本文中未详细说明的算法、模块均为现有技术或本领域通用技术。
20.需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。