一种物流货车车牌识别方法及设备与流程

1.本发明属于图像识别技术领域，具体地说，涉及一种物流货车车牌识别方法及设备。


背景技术：

2.现有的无人地磅系统能够自动对物流货车进行称重，并记录重量、车牌等相关数据，与传统地磅相比，运行效率高，避免了大量因人为操作导致的差错。在无人地磅系统中，通过设置在旁边的摄像头来采集车辆的车牌图像，然后利用图像识别算法识别获取车牌信息。在实际场景中，物流货车经常会出现车牌污损的情况，而且货车重量大，在过磅时会造成摄像头抖动，货车排气也会在周围空气中激起大量的灰尘，形成雾霾，这些因素导致拍摄获得的车牌图像中存在大量的噪音。而现有的车牌识别算法均没有考虑到这些干扰因素，导致其在无人地磅系统中进行车牌识别时存在较高的错误率。


技术实现要素：

3.针对现有技术中上述的不足，本发明提供一种物流货车车牌识别方法及设备，以提高对无人地磅系统中采集的车牌图像的识别准确率。
4.为了达到上述目的，本发明采用的解决方案是：一种物流货车车牌识别方法，包括以下步骤：s100、获取无人地磅系统中采集的货运车辆车牌图像（该货运车辆车牌图像是经过分割后的车牌图像，每张图像中只包含一个汉字或字母或数字），获取预先经过训练的图像识别卷积网络；所述图像识别卷积网络中设有主体池化层、前馈层、主体分类器和多个特征提取模块，所述特征提取模块用于提取所述货运车辆车牌图像的特征信息；s200、将所述货运车辆车牌图像输入所述图像识别卷积网络，所述货运车辆车牌图像顺次经过各个所述特征提取模块后，生成得到初步特征图；s300、利用所述主体池化层对所述初步特征图的各个图层进行全局池化操作，生成得到初步特征向量；s400、所述初步特征向量顺次经过所述前馈层和所述主体分类器后，生成得到所述货运车辆车牌图像的识别结果；其中，所述特征提取模块提取图像特征信息的过程表示为如下数学模型：
其中，x
l-1
表示输入所述特征提取模块的特征图，x
l
表示所述特征提取模块经过特征提取操作后输出的特征图，f1、f2、f3、f4和f5均表示普通卷积操作，f1、f2和f3的卷积核大小各不相同，fr1、fr2、fr3、fr4、fr5和fr6均表示relu激活函数，∣
•
∣表示对其中的特征图做拼接操作，sp1表示第一调制模块，sp2表示第二调制模块，sp3表示第三调制模块，
×
表示元素对应乘积运算，yw表示旁路融合模块，cp表示旁路调制模块，fk表示跨步卷积操作，scp表示跨维度调制模块，sv1表示从所述第一调制模块输出的第一调制信息，sv2表示从所述第二调制模块输出的第二调制信息，sv3表示从所述第三调制模块输出的第三调制信息，cv表示从所述旁路调制模块输出的旁路调制信息，pl表示内部池化操作，m1、m2、m3、m5和m7分别表示函数fr1、fr2、fr3、fr4和fr5激活后生成的特征图，m4表示将特征图m1、特征图m2和特征图m3调制后拼接起来生成的特征图，m6表示所述旁路融合模块输出的特征图，m8表示内部池化操作后生成的特征图与m7特征图相加后生成的特征图。
5.进一步地，f1表示步长为1、且卷积核尺寸为1*1的卷积操作，f2、f4和f5均表示步长为1、且卷积核尺寸为3*3的卷积操作，f3表示步长为1、且卷积核尺寸为5*5的卷积操作。
6.进一步地，所述跨步卷积操作的步长为2、卷积核尺寸为3*3。
7.进一步地，所述第一调制模块、所述第二调制模块和所述第三调制模块内部操作过程相同，所述第一调制模块、所述第二调制模块和所述第三调制模块内部均设有顺次连接的调制全局池化层和调制激活函数，所述调制全局池化层用于对特征图在通道方向做全局最大池化操作，所述调制激活函数为sigmoid函数；所述第一调制信息、所述第二调制信息和所述第三调制信息分别为所述第一调制模块、所述第二调制模块和所述第三调制模块内部的调制全局池化层操作后输出的矩阵。
8.进一步地，所述旁路融合模块内部运算过程表示为如下数学模型：
其中，特征图m1、m2和m3作为所述旁路融合模块的输入，特征图m6作为旁路融合模块的输出，
×
表示元素对应乘积运算，∣
•
∣表示对其中的特征图做拼接操作，fp表示步长为1、且卷积核尺寸为1*1的普通卷积操作，frp表示relu激活函数，y1表示将特征图m1、m2和m3相加后生成的特征图，y2表示将特征图m1、m2和m3做元素对应乘积后生成的特征图。
9.进一步地，所述旁路调制模块内部设有顺次连接的旁路全局池化层、第一全连接层、第一旁路激活函数、第二全连接层和第二旁路激活函数；所述旁路全局池化层用于对特征图在空间方向做全局最大池化操作，所述第一旁路激活函数为relu函数，所述第二旁路激活函数为sigmoid函数；所述旁路调制信息为所述旁路调制模块内部的所述旁路全局池化层操作后输出的向量。
10.进一步地，所述跨维度调制模块内部运算过程的数学模型为；其中，sv1表示所述第一调制信息，sv2表示所述第二调制信息，sv3表示所述第三调制信息，cv表示所述旁路调制信息，sv1、sv2、sv3和cv共同作为所述跨维度调制模块的输入，
×
表示元素对应乘积运算，∣
•
∣表示对其中的特征图做拼接操作，gfc表示第三全连接层，gpl表示跨维度全局池化层，所述跨维度全局池化层用于对特征图在通道方向做全局最大池化操作，δ
g1
和δ
g2
均表示sigmoid激活函数，sc1表示将sv1、sv2和sv3拼接起来生成的特征图，sc2表示函数δ
g1
激活后生成的特征图，sc3表示所述跨维度调制模块输出的跨维度调制图。
11.进一步地，所述内部池化操作的池化窗口尺寸为2*2、且步长为2。
12.进一步地，所述主体池化层用于在空间方向对特征图的各个图层做全局平均池化操作；所述前馈层为全连接层，所述主体分类器为softmax分类器。
13.本发明还提供了一种物流货车车牌识别设备，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如上所述的物流货车车牌识别方法。
14.本发明的有益效果是：（1）本发明的特征提取模块中采用并行的多卷积结构（fr1、fr2、fr3），在每个分支上均设有调制模块（sp1、sp2、sp3），从不同的视角对特征信息进行调制，这样能够更有针对性地、更有效地抑制不同类型的噪音，经过融合过滤后得到特征图m5中能保留更多的有用信息，模型抗干扰能力强；（2）本发明在特征提取模块中设置了旁路融合模块，利用旁路融合模块从另外的角度提取特征信息，经过跨步卷积等操作后最终生成特征图m7，特征图m7与内部池化操作
（pl）输出的特征图具有互相验证补充的效果，有效避免了单一特征提取方式的网络对摄像头抖动时拍摄图像识别错误率偏高的缺陷；（3）在现有的技术中，注意力机制（或调制模块）都是采用单一的输出，也就是说，对注意力机制的利用主要是其末端输出的调制信息，而其内部计算过程中产生的大量中间信息并没有得到充分的利用，存在计算资源浪费的问题；本发明利用跨维度调制模块将几个调制模块的中间信息很好地结合起来，跨维度调制模块与第一调制模块、第二调制模块、第三调制模块和旁路调制模块配合，对特征信息进行立体多层次的调制，对有效信息利用率高，这对于正确识别部分信息缺失的污损车牌具有重要作用。
附图说明
15.图1为实施例1的图像识别卷积网络结构示意图；图2为图1所示图像识别卷积网络中特征提取模块的结构示意图；图3为图2所示特征提取模块中第一调制模块的内部结构示意图；图4为图2所示特征提取模块中旁路融合模块的内部结构示意图；图5为图2所示特征提取模块中旁路调制模块的内部结构示意图；图6为图2所示特征提取模块中跨维度调制模块的内部结构示意图；图7为实施例2中特征提取模块的结构示意图；图8为实施例3中特征提取模块的结构示意图；附图中：1-货运车辆车牌图像，2-首部卷积层，3-特征提取模块，31-第一调制模块，32-第二调制模块，33-第三调制模块，34-旁路融合模块，35-旁路调制模块，36-跨维度调制模块，4-主体池化层，5-前馈层，6-主体分类器，7-识别结果。
具体实施方式
16.以下结合附图对本发明作进一步描述：实施例1：在对网络训练之前，需要先准备合适的数据集。通过收集无人地磅系统中拍摄的车牌图像，利用现有技术对车牌图像进行目标检测和分割，使每张图像中只包含一个汉字或字母或数字，然后人工为这些图像打上标签信息，获得相应的训练集和测试集。由于这些图像都是在实际的场景中拍摄获得，因此，其中相当一部分图像中含有不同类型的噪音。训练集包括了3728张图像，测试集包括了1548张图像，训练集和测试集中均包含了车牌上可能会出现的所有汉字、字母和数字的图像。
17.下面对本发明提出的物流货车车牌识别方法进行较为详细地示例性说明。如图1所示，图像识别卷积网络的最前端设有首部卷积层2（其卷积核尺寸为3*3、且步长为1），首部卷积层2用于对输入图像识别卷积网络的货运车辆车牌图像1进行卷积操作，生成浅层特征图。当货运车辆车牌图像1的宽、高和通道尺寸分别为w、h和3时，首部卷积层2输出的浅层特征图尺寸为w*h*32（宽*高*通道，下同）。特征图每经过一个特征提取模块3，其宽和高减少一半，通道增加一倍，本实施例图像识别卷积网络的中部设有5个顺次连接的特征提取模块3，因此最后一个特征提取模块3输出的初步特征图尺寸为(w/32)*(h/32)*1024。主体池
化层4用于在空间方向对特征图的各个图层做全局平均池化操作，因此主体池化层4输出是长度为1024的初步特征向量。前馈层5为全连接层，其输入节点数为1024，输出节点数根据需要分类的总类别设置。主体分类器6则采用现有的softmax分类器实现，主体分类器6输出得到识别结果7。
18.请参考上述特征提取模块3的数学模型和图2，设输入特征提取模块3的特征图x
l-1
尺寸为a*b*c（宽*高*通道，下同），则其内部生成的特征图m1、m2、m3、m5、m6尺寸均为a*b*c。经过跨步卷积操作后，生成的特征图m7尺寸为a/2*b/2*c，经过内部池化操作后，生成的特征图尺寸同样为a/2*b/2*c，两者相加融合后的特征图m8尺寸也就为a/2*b/2*c。最后经过f5卷积操作后，输出得到尺寸为a/2*b/2*2c的特征图x
l
。
19.对于上述特征提取模块3中，如图3所示，第一调制模块31、第二调制模块32和第三调制模块33内部均设有顺次连接的调制全局池化层和调制激活函数，调制全局池化层用于对特征图在通道方向做全局最大池化操作，则调制全局池化层输出的是尺寸为a*b*1的矩阵，经过调制激活函数激活后，即得到尺寸为a*b*1的各分支空间调制图。由于第一调制信息sv1为第一调制模块31内部的调制全局池化层操作后输出的二维矩阵，第二调制信息sv2为第二调制模块内部的调制全局池化层操作后输出的二维矩阵，第三调制信息sv3为第三调制模块内部的调制全局池化层操作后输出的二维矩阵,因此，该特征提取模块3中的第一调制信息、第二调制信息和第三调制信息的尺寸均为a*b*1。
20.对于上述特征提取模块3中的旁路融合模块34，如图4所示，其内部生成的特征图y1和y2的尺寸均为a*b*c。对于旁路调制模块35内部，如图5所示，旁路全局池化层用于对特征图在空间方向做全局最大池化操作，因此旁路全局池化层输出的是尺寸为1*1*c的向量。相应地，该旁路调制模块35中的第一全连接层输入节点数为c、输出节点数为c/8，第二全连接层的输入节点数为c/8，输出节点数为c，最后经过第二旁路激活函数后，输出得到尺寸为1*1*c的旁路通道调制图。
21.对于上述特征提取模块3中的跨维度调制模块36，如图6所示，第一调制信息、第二调制信息和第三调制信息拼接后，生成的特征图sc1尺寸为a*b*3。另一方面，第三全连接层输入节点数为c，输出节点数为3，经过δ
g1
函数激活后，得到的sc2尺寸为1*1*3。sc1与sc2做元素对应乘积，使得sc1的各个图层乘以sc2中的对应的元素值。然后经过跨维度全局池化层处理和δ
g2
函数激活后，得到尺寸为a*b*1的跨维度调制图。
22.本实施例以交叉熵函数作为损失函数，利用上述训练集分别对resnet152和本发明提出的图像识别卷积网络进行训练，然后分别将训练好的两个模型在上述测试集上进行测试，测试结果显示，resnet152的识别正确率为91.93%，而本发明的图像识别卷积网络的识别正确率为98.42%，识别准确率明显高于resnet152。
23.实施例2：本实施例为对比实验，仅仅将实施例1中所有的跨维度调制模块36去掉（去掉后的特征提取模块3结构如图7所示），网络的其他部分均保持与实施例1相同。采用与实施例1完全相同的训练和测试过程，结果显示，实施例2的图像识别卷积网络在测试集上的识别正确率为94.88%。对比测试结果可以看出，设置跨维度调制模块36后，识别效果具有明显的提升。
24.实施例3：
本实施例为对比实验，将实施例1中所有的跨维度调制模块36、旁路融合模块34、旁路调制模块35和跨步卷积等去掉（去掉后的特征提取模块3结构如图8所示），网络的其他部分均保持与实施例1相同。采用与实施例1完全相同的训练和测试过程，结果显示，实施例3的图像识别卷积网络在测试集上的识别正确率为81.54%。对比实施例2和实施例3的测试结果可以看出，设置旁路融合模块34、旁路调制模块35和跨步卷积等操作后，明显提升了网络的车牌识别正确率。
25.以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。