一种基于MobileNet轻量化网络的上下文特征融合方法

一种基于mobilenet轻量化网络的上下文特征融合方法
技术领域
1.本发明涉及一种基于mobilenet轻量化网络的上下文特征融合方法，属于图像处理技术领域。


背景技术：

2.当前目标检测不仅在学术界受到大量的研究，在实际生活中也得到了大量的应用，如视频火灾探测、无人驾驶、安全监控、无人机场景分析等。目前目标检测算法主要分为两种，基于图像处理的传统目标检测算法和基于卷积神经网络的目标检测算法。
3.目前，各类机动车辆大量增加，驾驶员队伍日益壮大。道路交通过程中车辆之间的冲突和事故也日益增多，特别是高速公路上发生的道路交通事故的数量,随着我国高速公路里程的增加也随之增加，专家对汽车交通事故的分析结果表明，在所发生的交通事故中，有80％是由于驾驶员反应不及时，处置不当所造成。其中有65％的事故属汽车追尾碰撞造成。结合高速公路交通管理实践经验，分析一下高速公路追尾事故的主要原因。
4.机器视觉也叫计算机视觉,是用计算机模拟人的视觉系统,通过对环境图像的采集、感知、处理、识别来获取环境信息,最终用于实际测量、检测和控制。大量的环境信息以视觉的方式呈现,所以视觉系统的模拟成为当今传感器及模式识别,人工智能的重要研究方向。机器视觉是一项综合技术,其中包括数字图像处理技术、机械工程技术、控制技术、光学成像技术、传感器技术、计算机软硬技术、人机接口技术等。
5.在计算机视觉领域，特征提取和分类一直是其不可分离的一部分。在传统的图像处理中，提取特征的方法一般是基于统计规律或者一些先验知识而预先设计好的。这种手工设计的特征提取方式，不能完全提取出原始图像的信息，鲁棒性也不强。卷积神经网络是专门用来处理图像数据这种具有类似网络结构的数据的神经网络。卷积神经网络增加了局部感受野、稀疏权重和参数共享的概念。这三种概念的提出使得卷积神经网络跟其他神经网络相比拥有一定平移和尺度的不变性，更加适合图像数据的学习。平移和尺度不变性保证特定特征的识别更加有效。
6.目前的目标检测算法对于中大目标检测已经取得较好的检测效果，但对小目标检测的效果不佳，这是由于小目标背景复杂度高、其边缘信息不显著以及容易遭遇光照遮挡等原因。如何提高车辆检测算法对中目标和小目标车辆仍存在漏检现象是现在任需解决的技术问题。


技术实现要素：

7.本发明要解决的技术问题是提供一种基于mobilenet轻量化网络的上下文特征融合方法，用于解决对小目标检测效果差等问题，增加网络特征的提取能力，有效提高目标检测的精度。
8.本发明的技术方案是：一种基于mobilenet轻量化网络的上下文特征融合方法，具体步骤为：
9.step1：构建轻量级神经网络模型，在主干特征提取网络部分使用有效注意力机制(efficient channel attention module，简称eca)，加强主干网络特征提取能力，在算法预测结构上，利用fpn特征金字塔结构对mobilenet网络的第5、第7、第10个block模块进行多卷积层特征融合，在mobilenet网络的深度可分离卷积模块中，在最后经过正则化和激活函数后加入eca注意力机制，可以增加网络对目标的关注程度，达到更好的训练效果。加入感受野模块(receptive field block简称rfb)，通过模拟人类视觉扩大网络特征的感受野，获得更加丰富的语义信息，在预测框回归损失函数和目标预测框非极大值抑制；
10.step2：使用车辆检测kitti数据集，对车辆图像进行筛选整理，划分训练集和测试集；
11.step3：通过训练集和测试集对构建的轻量级神经网络进行训练；
12.step4、利用训练好的模型对车辆目标进行识别。
13.所述车辆检测kitti数据集包含市区、乡村和高速公路等场景采集的真实图像数据，为不同种类、不同形状的以及有不同细节的图片。以训练网络的泛化性，用以应对不同的需求。
14.所述数据集中有多个小目标，所述fpn特征金字塔结构具有自上而下的运算逻辑，具体通过与特征提取网络部分的卷积层信息进行横向连接，提高对多尺度图像目标的识别能力。
15.所述感受野模块中包含多个3
×
3大小的卷积核，可以使用空间可分离卷积替代普通卷积，空间可分离卷积是把卷积核为n
×
n的卷积拆分为n
×
1和1
×
n的两个卷积。以达到减小模型计算量和参数量的目的。
16.所述轻量级神经网络模型通过轻量级神经网络模型构建模块来构建，具体为，在主干网络的深度可分离模块中加入eca注意力机制，在算法预测结构上，利用特征金字塔结构进行多尺度特征融合，之后再加入rfb扩充感受野模块增加语义信息，提高目标检测的效果。
17.本发明的有益效果是：本发明是利用计算机深度学习领域的方法。通过在mobilenet主干特征提取网络上增加eca注意力机制，增加对目标的关注程度，然后加入多尺度特征融合和增加感受野的方法。网络本发明与现有技术相比，主要解决了车辆检测中小目标所占图片面积小而存在漏检等现象，增强网络特征提取能力，提高了车辆目标检测精度。
附图说明
18.图1是本发明的流程图；
19.图2是本发明构建mobile net网络的具体过程示意图；
20.图3是本发明模型训练过程中两类损失收敛曲线示意图；
21.图4是本发明mobilenet对车辆识别示意图；
22.图5是本发明对车辆识别示意图。
具体实施方式
23.下面结合附图和具体实施方式，对本发明作进一步说明。
24.如图1所示，一种基于mobilenet轻量化网络的上下文特征融合方法，首先加入多尺度特征融合方法，使低层的位置信息和高层的语义信息相结合，然后加入扩充感受野rfb模块，能够像人类视觉那样扩大感受野。最后加入注意力机制，使网络能够关注目标的关键信息。
25.具体步骤为：
26.step1：如图2所示，构建轻量级神经网络模型，在主干特征提取网络部分使用有效注意力机制(efficient channel attention module，简称eca)，加强主干网络特征提取能力；在算法预测结构上，利用fpn特征金字塔结构对mobilenet网络的第5、第7、第10个block模块进行多卷积层特征融合；并加入感受野模块(receptive field block简称rfb)获得更加丰富的语义信息；在预测框回归损失函数和目标预测框非极大值抑制。
27.step2：使用车辆检测kitti数据集，对车辆图像进行筛选整理，划分训练集和测试集。
28.step3：通过训练集和测试集对构建的轻量级神经网络进行训练。
29.step4：利用训练好的模型对车辆目标进行识别。
30.本发明是在轻量级网络上加入多尺度特征融合方法，并加入轻量的扩充感受野模块rfb模块，能够对目标进行精确分类和定位。本发明的模型具有训练时长短、参数量小等特点，适合部署在嵌入式设备中。
31.在网络特征提取部分加入有效注意力机制eca，所使用的是用一维卷积实现一种不降维的局部跨信道交互策略和确定局部跨信道交互覆盖率的自适应一维卷积核大小的方法，提高了网络对目标的关注程度。在算法的预测结构上，利用特征金字塔结构实现多卷积层特征融合，之后再加入扩充感受野rfb模块，提高小尺度车辆图像目标的识别能力。
32.特征金字塔结构是指：在本发明得到s-mobile net网络后，利用特征金字塔设计算法的预测结构，将特征提取网络第5、第7、第10个block模块进行卷积层的拼接(concat)。同时，利用标准卷积(conv2d)和上采样(up sampling2d)完成不同大小特征图的融合及特征信息的输出。该预测结构具有自上而下的运算逻辑，通过与特征提取网络卷积层信息进行横向拼接，构建3个目标预测通道，分别进行不同尺度的车辆目标预测，提高对多尺度车辆图像目标的识别能力。
33.本发明还设计了rfb模块的轻量化方法，在rfb模块3
×
3的卷积层中，使用空间可分离卷积替代标准卷积。空间可分离卷积是把大小为n
×
n的卷积核替换为两个n
×
1和1
×
n的卷积核，这样可以减小算法的计算量，并降低模型大小。
34.为进一步验证本发明的有效性，本发明选取每类船舶的平均识别精度ap以及车辆平均精度的均值ap进行定量评价，其计算公式为：
[0035][0036][0037]
其中，tp是当前类别正确检测次数，totalobjection是实际目标的总量，totalimg是包含当前类别在所有图像的数量，p是准确率，c是所有类别数，ap表示单个类别的平均精度。
[0038]
如图3-4所示，为更好地验证本发明的有效性，分别将mobilenet和ssd算法作对比实验，实验结果如表1所示：
[0039]
模型主干网络输入分辨率ap/％fpssize/mbmobilenetmobilenet300
×
30077.14930.5ssdvgg-16300
×
30088.23098.3本发明mobilenet320
×
32087.73448.5
[0040]
从表1数据可以看出，上述3种算法对车辆检测具有良好的识别精度，车辆目标尺度大，方便进行图像特征提取。通过对比分析moblienet和ssd的实验结果，可以发现；mobilenet由于基础网络简单，其对车辆目标特征提取不完整，不具有深层语义信息，因此该算法实验结果较差；本发明提供的轻量级车辆目标识别模型可以有效识别车辆等小尺度目标，且模型参数量只有ssd的一半左右。
[0041]
基于轻量级神经网络的车辆识别模型实验结果如图所示，由图5可以看出，本发明可以精确识别渔船、客轮等小尺度船舶，没有发生目标漏识或误识；本发明对各类大尺度船舶目标具有良好的识别能力，并且有效排除了近岸背景的干扰；本发明可以很好地识别船舶遮挡情况下的船舶图像目标，展现出很好的鲁棒性。
[0042]
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。