一种基于卷积神经网络的车辆识别方法与流程

本发明涉及车辆识别，更具体地说，涉及一种基于卷积神经网络的车辆识别方法。

背景技术：

1、车辆识别是智能交通系统的核心技术之一，广泛应用于交通监控、安全预警等领域，随着深度学习技术的发展，基于卷积神经网络的车辆识别方法因其强大的特征提取能力和端到端的学习优势，已成为主流技术方案。

2、在现有技术中，如专利号cn108171112a公开的《基于卷积神经网络的车辆识别与跟踪方法》，提出一种将faster-rcnn与跟踪卷积神经网络相结合的车辆识别与跟踪方案，通过快速区域卷积神经网络对监控视频初始帧进行车辆识别，并通过离线训练与在线迭代更新交替进行的方式，对后续帧中的车辆目标进行持续跟踪，在通用道路场景下取得了较好的识别与跟踪效果。

3、然而，若将该技术方案直接应用于公路隧道场景时，存在以下技术障碍：

4、第一，该方案所采用的卷积神经网络在训练完成后，其卷积核的权重参数即固定不变，不具备根据输入图像光照条件动态调整的能力：公路隧道具有极为特殊的光照环境，隧道出入口处存在由于亮度剧烈反差所导致的“黑洞效应”与“白洞效应”，严重削弱交通视觉系统的图像采集能力，且隧道内部照明灯与车辆行驶灯交织形成复杂的非均匀光照分布，图像对比度剧烈波动，在上述复杂光照条件下，固定参数的卷积核难以稳定地提取有效的车辆特征，导致识别准确率显著下降。

5、第二，该方案所采用的faster-rcnn框架中，rpn（区域提议网络）一般在每个特征图位置预设固定数量和固定尺度的锚框：在公路隧道这一狭长空间中，摄像头受安装空间限制通常位置较低，导致监控图像存在严重的透视畸变，车辆成像尺寸随纵深位置的增加而急剧减小，画面近端车辆成像尺度大、远端车辆成像尺度极小，成像尺度差异可达数十倍，而传统的固定尺度锚框策略，一方面在近端区域产生大量与目标尺度不匹配的冗余锚框，造成计算资源浪费，另一方面在远端区域因缺乏足够小尺度的锚框而导致小目标车辆大量漏检。

6、因此，针对实际的技术缺陷情形，现提出一种基于卷积神经网络的车辆识别方法，以适应隧道特殊光照条件和空间几何约束。

技术实现思路

1、本发明目的在于解决上述问题，现提供一种基于卷积神经网络的车辆识别方法。

2、本发明的目的可以通过以下技术方案实现：一种基于卷积神经网络的车辆识别方法，包括如下步骤：

3、s1、获取隧道监控视频图像，标记为目标图像，对目标图像进行光照状态分析，判定目标图像所属的隧道区段类型以及当前光照强度等级；

4、s2、构建光照自适应卷积神经网络，该网络包含光照状态判定分支和特征提取主干网络，所述特征提取主干网络中各卷积层具有初始训练完成的原始卷积核参数矩阵；

5、所述光照状态判定分支根据s1判定结果，针对从多个卷积层中选定的至少一个目标卷积层，生成与该目标卷积层各输出通道一一对应的通道重置参数，以通道重置参数对该目标卷积层的原始卷积核参数矩阵进行动态重置，以实时调整的卷积核参数矩阵执行本次卷积运算；

6、s3、预先获取摄像头的标定参数和隧道的断面尺寸，据此建立图像中像素行位置与隧道纵深位置之间的映射关系，并按照该映射关系计算各纵深位置处标准尺寸车辆的理论成像大小，形成锚框尺度先验限定信息；

7、s4、将目标图像输入s2调整后的特征提取主干网络，经多层卷积运算后输出多尺度卷积特征图；

8、s5、将s4输出的多尺度卷积特征图输入区域提议网络，所述区域提议网络采用公知的卷积神经网络结构，依据所述锚框尺度先验限定信息为多尺度卷积特征图上不同空间位置配置锚框尺寸和数量，生成疑似车辆区域；

9、s6、对所述疑似车辆区域进行类别判定和边界精修，输出隧道内车辆的识别结果。

10、进一步的，所述s1中判定隧道区段类型的方式为：

11、将摄像头在隧道内光轴沿隧道纵深方向固定布置，其拍摄画面的物理空间对应关系固定，按照像素行方向将目标图像由上至下划分为顶部远景区域、中部中景区域和底部近景区域，其中顶部远景区域对应隧道纵深远处，中部中景区域对应隧道纵深中距处，底部近景区域对应隧道纵深近处；分别计算底部近景区域与顶部远景区域的平均像素亮度差值，据此区分隧道入口过渡段、隧道内部段和隧道出口过渡段；

12、所述光照强度等级的判定方式为：绘制目标图像的灰度直方图，计算该直方图的全局亮度均值及标准差，以当前帧为起点向前追溯连续n-1帧，获取包括当前帧在内的连续n帧各自对应的全局亮度均值，按时间顺序排列形成全局亮度均值序列，基于全局亮度均值序列以及当前帧图像灰度直方图的标准差将光照强度等级划分为光照暂变等级、强光等级、正常光照等级或弱光等级。

13、进一步的，所述s2中的光照状态判定分支包含可学习的参数映射层，所述通道重置参数由参数映射层依据输入的隧道区段类型和光照强度等级实时预测生成，其包含与目标卷积层各输出通道相对应的乘性缩放系数和加性偏置系数，不同目标卷积层对应的参数映射层相互独立，各自的映射关系通过隧道场景图像样本预先训练获得。

14、进一步的，所述s2中动态重置的方式为：将所述目标卷积层原始卷积核参数矩阵中各输出通道的参数数值分别乘以对应的缩放系数后叠加对应的偏置系数，得到调整后的卷积核参数矩阵。

15、进一步的，所述s3中形成锚框尺度先验限定信息的方式为：

16、预先获取隧道内摄像头的安装高度、俯仰角度、焦距参数以及隧道断面宽度，按照相似三角形投影原理计算沿隧道纵深方向不同纵深位置处标准车宽的车辆在目标图像平面上对应的理论成像像素宽度，目标图像中由上至下的各行位置对应的像素分别对应于由远及近的各纵深位置，将目标图像每一行位置所对应的纵深位置代入上述计算，得到该行位置处锚框尺寸的配置依据；汇总全部图像行位置对应的配置依据，形成锚框尺度先验限定信息。

17、进一步的，所述特征提取主干网络的多层卷积层包括浅层卷积层、深层卷积层以及中间层卷积层，各卷积层输出的特征图分辨率不同且对应不同隧道纵深位置；浅层卷积层输出的高分辨率特征图对应于目标图像中底部近景区域即隧道纵深近处；深层卷积层输出的低分辨率特征图对应于图像中顶部远景区域即隧道纵深远处；中间层卷积层输出的中等分辨率特征图对应于图像中部中景区域即隧道纵深中距处；

18、将目标图像输入特征提取主干网络，经多层卷积运算后输出包含低分辨率特征图、高分辨率特征图及中分辨率特征图构成的多尺度卷积特征图。

19、进一步的，所述s5中，为多尺度卷积特征图的低分辨率特征图配置小尺寸锚框；为高分辨率特征图配置大尺寸锚框；为中等分辨率特征图配置中等尺寸锚框；各位置配置的锚框数量少于标准区域提议网络在各位置预设的锚框总数。

20、进一步的，所述s5中生成疑似车辆区域的具体方式为：

21、根据多尺度卷积特征图上被配置的每个锚框，区域提议网络通过其内部设置的区域提议二分类分支输出该锚框存在车辆目标的置信度分数，选取置信度分数大于预设分数阈值的锚框并从高到低进行排序，构成高置信度锚框序列，对该序列执行非极大值抑制操作，计算任意两个锚框之间的交并比，交并比为两个锚框交集面积与并集面积的比值，若交并比超过预设交并比阈值，剔除置信度分数较低的锚框，将保留下来的锚框的图像区域作为疑似车辆区域。

22、进一步的，从多尺度卷积特征图中提取各疑似车辆区域的特征，采用感兴趣区域池化操作或感兴趣区域对齐操作，将所提取的各特征调整为统一尺寸的特征向量；将各特征向量输入由全连接层构成的检测分类分支，输出疑似车辆区域属于预设车辆类别的概率分布，取概率最大的类别作为该疑似车辆区域的车辆类别判定结果；

23、同时将各个特征向量输入由全连接层构成的检测回归分支，输出该疑似车辆区域的边界框精修偏移量，据此对该疑似车辆区域的边界框位置和尺寸进行精细调整，获得精确的边界框坐标。

24、相比于现有技术，本发明的优点在于：

25、1、针对常规的卷积神经网络中卷积核参数固定不变的技术局限，构建包含光照状态判定分支和特征提取主干网络的光照自适应卷积神经网络，通过光照状态判定分支实时分析隧道区段类型和光照强度等级，生成与目标卷积层各输出通道一一对应的通道重置参数，在卷积运算执行前对卷积核参数矩阵进行动态重置，使特征提取主干网络能够根据隧道入口、内部、出口等不同区段的光照条件自适应改变卷积核响应特性，在卷积运算前直接调整卷积核参数，以解决固定卷积核参数在隧道光照骤变环境下特征提取失效的问题，显著提升隧道车辆识别的准确率。

26、2、在上述基础上，针对传统的区域提议网络中固定尺度锚框无法适应隧道纵深尺度剧烈变化的问题，还利用摄像头在隧道内固定安装时其光轴沿隧道纵深方向布置的几何约束，通过预先获取摄像头安装参数和隧道断面尺寸，计算不同隧道纵深位置处车辆在目标图像中的理论成像尺寸，基于透视投影原理建立图像行位置与纵深位置的精确映射关系，形成锚框尺度先验限定信息，区域提议网络依据该先验信息在多尺度特征图各层级配置与纵深位置相适应的锚框尺寸和数量，克服标准rpn在全图范围内采用统一锚框尺度导致远处小目标漏检、近处锚框冗余的技术缺陷，在提升小目标检测精度的同时降低计算开销。