一种基于图关系排名的尺度敏感车牌检测方法与流程

1.本发明属于车牌检测技术领域，涉及一种基于图关系排名的尺度敏感车牌检测方法。


背景技术：

2.随着社会的不断发展，人工智能相关的研究引起越来越多的重视，人工智能不断改进着传统行业的生产方式，极大的带动了传统行业的进步，车牌检测作为生活中非常常见的一种技术手段，伴随着人工智能的发展，越来越多的新算法被提出。
3.基于传统手工设计特征的方式存在非常大的弊端，其实用性受限于生活中场景的复杂度，随着场景的复杂，其性能往往会大打折扣，得益于大规模数据集的不断被提出，数据驱动的深度学习算法不断被提出，取得了非常高的性能。
4.然而，基于深度学习车牌检测算法对于复杂场景（雨雪天气，高/低对比度）的车牌检测并不能取得非常好的效果，这是因为现有算法对层间特征挖掘不充分，导致特征融合模块并不能充分发挥层间特征优势，同时，特征中存在大量噪声信息干扰，没有合适的机制将层间噪声信息去除，导致目前车牌检测精度低。由此可见，亟需一种新的车牌检测方法，提高检测精度。


技术实现要素：

5.为解决上述问题，本发明设计提出一种基于图关系排名的尺度敏感车牌检测方法，充分挖掘层间特征，发挥层间特征优势，同时将层间噪声信息去除，提高车牌检测算法鲁棒性和检测精度。
6.为实现上述目的，本发明实现车牌检测的具体过程为：（1）车牌检测数据集构建：收集复杂场景下的车牌图片构建车牌检测数据集，每张图片包含车牌顶点坐标以及车牌字符的标注信息，并将车牌检测数据集划分为训练集、验证集和测试集；（2）多尺度特征提取：将训练集中的车牌图片输入到基础网络vggnet，将基础网络中间层的特征输出作为多尺度特征，然后将网络不同层的侧输出通过卷积层转变为统一维度的特征层，通过下采样和上采样操作将多尺度特征聚合得到多尺度聚合特征；（3）尺度内图网络构建：在步骤（2）得到的多尺度特征的基础上建模尺度内图网络，通过尺度内图网络，学习尺度内层间特征加权，得到多尺度内层间特征的关系；（4）尺度内图网络关系排名：基于步骤（3）得到的多尺度内层间特征的关系，引入层间关系排名，通过关系排名的方式将噪声信息去除，同时增强网络抗过拟合能力；（5）尺度内特征精细化：经过步骤（4）后得到多尺度内层间特征图网络，通过节点间关系传递，达到精细化尺度内层间特征一致性的目的，得到多尺度特征的精细化特征；（6）尺度间特征融合：将多尺度特征精细化特征进行融合得到不同尺度间融合后增强的特征；
（7）尺度间图网络构建：根据步骤（6）得到的不同尺度间融合后增强的特征，建模尺度间图网络，得到多尺度之间的关系；（8）尺度间图网络关系排名：在多尺度图网络构建的基础上，引入关系排名将尺度间特征进行二次精细化，得到尺度间关系矩阵；（9）尺度间特征精细化：将尺度间特征通过尺度间关系矩阵进行节点间的传递，通过节点间信息传递，将多尺度特征自适应加权融合，得到精细化的车牌特征；（10）车牌位置精细化输出：将精细化后的车牌特征通过输出层输出，得到车牌分类信息和车牌坐标信息；（11）训练网络：使用步骤（1）训练集中的车牌图片训练整个网络，并计算整个网络误差，通过反向传播训练网络，得到训练好的车辆检测模型；（12）测试网络：加载训练好的车牌检测模型，并将测试集中的车牌图片输入到网络中，输出车牌类别置信度和回归坐标位置；（13）车牌识别：在车牌检测结果基础上，通过基于lstm的车牌识别算法，识别车牌中的字符并输出。
7.作为本发明的进一步技术方案，步骤（2）得到的多尺度聚合特征为：其中为基础网络中间层conv0-》4输出的多尺度特征， conv为卷积核为1
×
1的卷积操作，为下采样和上采样操作。
8.作为本发明的进一步技术方案，步骤（3）的具体过程为：先将层间特征定义为节点，并构建尺度内层间图网络，则节点间的关系为：,其中和分别为尺度内索引为i，j层的特征，为矩阵乘法，为归一化函数。
9.作为本发明的进一步技术方案，步骤（4）的具体过程为：,其中rank为排序函数，为获取排序后k个数目的值。
10.作为本发明的进一步技术方案，步骤（5）的具体过程为：将图网络进行节点之间信息传递，通过节点间信息传递达到基于节点间关系权重融合层间特征的目的，得到经过图网络节点间关系传递后的特征信息：,其中，为对角矩阵，和是图网络层学习的权重，f为不同节点的特征；
为将图特征之间节点信息更充分的挖掘层内特征关系，将节点信息传递后的图节点特征继续采用图网络的方式传递，达到精细化的目的：其中，表示第t次迭代产生的节点特征，为对角矩阵，为对角关系矩阵，表示第t-1次迭代中第i层特征，rank为排序函数，为获取排序后k个数目的值。
11.作为本发明的进一步技术方案，步骤（6）得到不同尺度间融合后增强的特征的具体过程为：其中，h为不同尺度间融合后增强的特征，con为concat操作，分别代表下采样和上采样操作，代表使用卷积核为的卷积层降维， m为步骤（2）得到的多尺度聚合特征。
12.作为本发明的进一步技术方案，步骤（7）得到多尺度之间的关系为：；其中为不同尺度间融合后增强的特征h的不同层；作为本发明的进一步技术方案，步骤（8）得到的尺度间关系矩阵为：其中rank为排序函数，为获取排序后k个数目的值。
13.作为本发明的进一步技术方案，步骤（9）的具体过程为：,其中，表示精细化后的车牌区域，代表第t次迭代产生的精细化车牌区域，而代表第t-1次迭代产生的精细化车牌区域，和分别代表第t-1次迭代过程中第i和j层的特征。
14.与现有技术相比，本发明通过主干网络提取不同层侧输出特征作为多尺度特征，尺度内层与层之间凭借卷积核的多样性，保证提取多尺度特征的多样性，为充分挖掘多尺度特征中蕴含的深层次信息，通过将层建模为图网络节点，而层与层之间的关系建模为图的边，在图网络学习的过程中，逐渐学习层间特征的重要性，引入关系排名模块滤除层内特征中的噪声信息，并在此基础上，将尺度信息建模为节点，尺度间关系建模为图网络的边，
通过图网络学习尺度间的重要性，同时二次滤除尺度内的噪声信息，保证尺度间车牌特征一致性，通过尺度内和尺度间的双重关系建模，极大的增强车牌特征的辨别性，提升车牌检测的精度，不仅可以用来进行复杂场景下的车牌检测，还可用于复杂场景下的物体分割等复杂场景下的检测，在ccpd数据集中检测精度达到98.1%。
附图说明
15.图1为本发明所述尺度内/尺度间图关系建模结构图。
16.图2本发明实现车牌检测的整个网络结构图。
17.图3为本发明提实现车牌检测的工作流程框图。
具体实施方式
18.下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
19.实施例1：本实施例提出一种基于图关系排名的尺度敏感的复杂场景车牌检测方法，通过尺度内和尺度间图网络关系建模网络，充分发掘尺度内蕴含的深层信息，极大的提升了复杂场景下车牌检测的精度，如图1、图2和图3所示，本实施例实现车牌检测的过程具体包括如下步骤：（1）车牌检测数据集构建：收集复杂场景下的车牌图片构建车牌检测数据集，每张图片包含详细的标注信息，如车牌顶点坐标以及车牌字符信息，将车牌检测数据集划分为训练集、验证集和测试集三个子数据集；（2）多尺度特征提取为获取车牌的多尺度信息，将训练集中车牌图片输入到基础网络vggnet，将基础网络中间层（conv0-》4）的特征输出作为多尺度特征，然后将网络不同层的侧输出（conv_0-》4）通过卷积层conv（）转变为统一维度的特征层，通过下采样和上采样操作（）将多尺度特征聚合得到多尺度聚合特征m：（3）尺度内图网络构建：获取到上述多尺度特征后，为获取尺度内层间特征（）的关系，先将层间特征定义为节点，并构建尺度内层间图网络，则节点间的关系为：,其中，和分别为尺度内索引为i，j层的特征，为矩阵乘法，为归一化函数；（4）尺度内图网络关系排名：因尺度内层中（和）存在大量噪声信息，存在的
噪声将会导致网络学习存在非常大的歧义性，为将噪声信息滤除，本实施例对关系矩阵排名，同时，取排名中前k(80%)为精细化的特征，然后构建精细化后的关系矩阵（稀疏矩阵），通过这种方式，能够极大的避免噪声信息带来的干扰，详细操作如下：,其中，rank为排序函数，能够根据特征中数值排序，为获取排序后k个数目的值，通过这种方式获得的关系矩阵为稀疏矩阵，这种方式不仅能够将噪声信息过滤，同时能够起到防止网络过拟合的作用；（5）尺度内特征精细化：通过上述步骤后，图网络的构建已经完成，再将图网络进行节点之间信息传递，通过节点间信息传递达到基于节点间关系权重融合层间特征的目的；,其中，为对角矩阵，和是图网络层学习的权重，r为经过图网络节点间关系传递后的特征信息，f为不同节点的特征；为将图特征之间节点信息更充分的挖掘层内特征关系，将节点信息传递后的图节点特征继续采用图网络的方式传递，达到精细化的目的：其中，表示第t次迭代产生的节点特征，为对角矩阵，为对角关系矩阵，表示第t-1次迭代中第i层特征；（6）尺度间特征融合：将精细化后的特征和原有特征组合，这样既能加权初始特征又能不对初始特征造成过度干扰，具体操作如下，其中，为concat操作，分别代表下采样和上采样操作，代表使用卷积层conv（）降维，h为不同尺度间融合后增强的特征，m为步骤（2）得到的多尺度聚合特征；（7）尺度间图网络构建：通过上述步骤获得经过层间特征精细化后的多尺度信息，即得到每个尺度的精细化特征，而不同尺度之间，虽然具有互补性，但是不能对他们同等对待，因为单一尺度的车牌，需要某一个尺度的网络层占主导，同等对待将会导致尺度间存在歧义性，因此，网络需要学习不同尺度车牌检测，得到多尺度之间的关系，；
其中为不同尺度间融合后增强的特征h的不同层；（8）尺度间图网络关系排名：对于不同尺度的特征，为消除其内部存在的歧义性，通过尺度间特征排名的方式将歧义性特征去除掉，得到尺度间关系矩阵，（9）尺度间特征精细化：将尺度间特征通过关系矩阵进行节点间的传递，达到精细化车牌区域的目的，,其中，表示精细化后的车牌区域，代表第t次迭代产生的精细化车牌区域，而代表第t-1次迭代产生的精细化车牌区域，和分别代表第t-1次迭代过程中第i和j层的特征；（10）车牌位置精细化输出：将精细化后的车牌特征通过输出层输出为车牌分类信息和车牌坐标信息，其中， o为最终的输出特征，n为精细化后的车牌区域，m为多尺度信息，con为卷积层，将n的维度降低为m相同的维度；（11）训练网络：通过步骤（1）构建的训练集训练车牌检测网络，网络的输入为图片数据，通过本实施例提出的网络得到车牌类别置信度和回归坐标位置，类别置信度判别当前分支预测是否为车牌，回归坐标位置为车牌的四个顶点坐标（位置信息），采用focalloss计算车牌损失，smooth l1 loss计算车牌误差，经过设定迭代次数（59次）完整训练集训练迭代后，保存精度最高的模型参数；（12）测试网络：使用步骤（1）构建的测试集测试车牌检测网络，将车牌检测图片数据输入到本实施例提出的网络中，并加载训练好的模型参数，网络输出得到车牌类别置信度和回归坐标位置，然后通过阈值过滤掉低置信度的车牌，最后使用非极大抑制（nms）删除网络输出的冗余的车牌检测框；（13）车牌识别：根据步骤（12）得到的车牌位置区域将车牌从图片中截取出来，并通过基于循环神经网络lstm的车牌识别算法获得车牌识别结果。
20.本实施例先通过主干网络提取不同层侧输出特征作为多尺度特征，在多尺度特征的基础上，引入图关系网络，建模尺度内以及尺度间关系，将尺度内特征和尺度间特征视作节点，通过图关系学习自适应多尺度层间特征融合权重，避免之前的方法将层间特征一视同仁带来的学习混乱问题。为了滤除节点关系建模中噪声信息带来的特征丢失，在图网络节点关系学习过程中引入节点关系排名模块，同时，保证节点关系稀疏性，防止网络过拟
合。
21.实施例2：本实施例从ccpd数据集中挑选正常车牌以及光线暗或亮，以及雨雪雾天气下的车牌数据（230k）作为数据集，其中，180k作为训练集，20k作为验证集，30k作为测试集，将训练好的车牌检测模型作为权重，加载到实施例1提出的模型中，并测试网络的性能，为测试网络的性能，本实施例采用真实外接矩形与测试输出外接矩形iou作为评价指标，当iou》0.7时，检测正确，在其他情况下，判定为检测错误，通过统计检测的准确率，得出在ccpd抽取的测试集中检测精确率达到98.1%。
22.本文中未详细描述的网络结构、算法均为本领域通用技术。
23.需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。