基于特征增强的轻量化SSD的红外目标检测方法

基于特征增强的轻量化ssd的红外目标检测方法
技术领域
1.本发明属于红外目标检测领域，具体涉及一种基于特征增强的轻量化ssd的红外目标检测方法。


背景技术：

2.目标检测作为计算机视觉和数字图像处理的基本问题之一，是其它许多计算机视觉任务后续处理的基础，例如实例分割、图像理解、目标跟踪等。红外系统利用红外探测器感知物体的红外辐射来获取信息，具备全天候工作、隐蔽性好、易穿透烟尘、抗噪声能力强的特点。目前，红外场景下的目标检测在自动驾驶、视频监控、军事等领域都具有重要的应用。
3.由于红外图像缺乏颜色和纹理信息，信噪比和对比度较低、背景噪声严重且分辨率低等缺陷，导致传统算法以手工设计的特征对红外目标进行识别的误检率较高，鲁棒性较差。近年来，基于深度学习的两阶段算法逐步提高了检测的精度，但计算量的增加也在一定程度上造成了检测速度的下降，越来越多的实际应用场景在保证一定检测精度的条件下，对检测速度的要求越来越高。两阶段检测任务可以分解为两个单阶段检测任务，第一阶段任务完成候选框生成、对候选框做背景与目标的判断以及对边界框位置做初步的回归，第二阶段任务实现对候选框最终的类别预测以及预测框最终的位置回归。单阶段检测算法在单个阶段内完成两个任务，直接对候选框预测目标所属类进行分类预测和边界框预测，因此研究基于单阶段的红外目标检测方法意义重大。


技术实现要素：

4.有鉴于此，本发明的主要目的在于提供一种基于特征增强的轻量化ssd的红外目标检测方法。
5.为达到上述目的，本发明的技术方案是这样实现的：
6.一种基于特征增强的轻量化ssd的红外目标检测方法，包括如下步骤：
7.构建用于提取特征的基础网络结构；
8.将图像输入所述基础网络结构，经过多个卷积层逐层卷积，在不同的卷积层分别获得图像的低层特征图和高层特征图；
9.通过在低层特征分支adws11后添加设计构建的pac特征增强模块进行特征加强，获得语义信息丰富的低层特征图；
10.对所述语义信息丰富的低层特征图和高层特征图分别预测特征图上每个网格对应的每个预测框所属的分类与边界框；
11.通过非极大值抑制算法合并边界框，输出整个网络最终的预测结果。
12.与现有技术相比，本发明在提高检测算法速度的同时，有效地提高了检测精度,设计的特征增强模块通过并行空洞卷积扩大感受野，并从多尺度提取、融合特征，以获取到更充分的语义信息，提高对小目标的检测能力；asl损失函数通过使用γ

和γ-将正负样本损
失函数的变化速率解耦，来保证在缺少正样本的情况下仍能够很好地学习其特征，不仅具备平衡正负样本的作用，还能在保证正样本贡献的同时进一步降低简单负样本的损失，从而在少量正样本的情况下提高了小目标的检测能力。
附图说明
13.此处所说明的附图用来公开对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
14.图1为本发明实施例基于特征增强的轻量化ssd的红外目标检测流程图。
15.图2为本发明实施例基于特征增强的轻量化ssd的红外目标检测方法的网络结构图。
16.图3为本发明实施例基于特征增强的轻量化ssd的红外目标检测方法的pac特并行空洞卷积特征增强模块结构图。
17.图4为本发明实施例基于特征增强的轻量化ssd的红外目标检测方法的多尺度检测模块的结构图。
18.图5为本发明实施例提供的算法部分检测结果图。
具体实施方式
19.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
20.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、物品或者装置中还存在另外的相同要素。
21.本发明实施例提供一种基于特征增强的轻量化ssd的红外目标检测方法，如图1所示，其步骤为：
22.步骤1：构建用于提取特征的基础网络结构。
23.具体地，如图2所示，以轻量化mobilenet网络为基础，通过多次堆叠多个不同的非对称深度可分离卷积模块进行构建，输入图像经过3
×
3的标准卷积层进行下采样，然后卷积前进方向上依次叠加13个非对称深度可分离卷积模块adws，从而构成改进的amobilenet网络结构，在非对称深度可分离卷积模块adws中，输入的特征图首先分别经过大小为1
×
3、3
×
3和3
×
1的卷积进行特征提取，并将得到的三个结果相加得到的输出作为深度卷积的结果，然后对此深度卷积结果再进行1
×
1的逐点卷积，逐点卷积用来改变输出通道的数量，对信息进行跨通道整合从而得到最终输出。
24.步骤2：将图像输入所述基础网络结构，经过多个卷积层逐层卷积，在不同的卷积层分别获得图像的低层特征图和高层特征图。
25.具体地，将输入图像经由adws11和adws13的输出矩阵作为图像的低层特征图；adws模块中，adws11和adws13分别为所述改进的amobilenet网络结构中堆叠的第11层和第
13层非对称深度卷积模块，其网络结构均如图2所示，其输出分别为14
×
14
×
512特征图和7
×7×
1024特征图结构。
26.在深度卷积层adws13后再直接添加4个额外的卷积层c14、c15、c16、c17，该4个额外的卷积层的每一层的输出作为图像的高层特征图。
27.步骤3：通过在低层特征分支adws11后添加设计构建的pac特征增强模块进行处理来增强特征，扩大感受野，获得语义信息丰富的低层特征图。
28.具体地，如图3所示，将将由模块adws11输出的低层特征图经pac特征增强模块进行并行分支处理，获得4个分支的输出结果并进行拼接。
29.具体地，pac特征增强模块共有4个分支结构，对于上一层输入：
30.(1)分支1经过1
×
1的卷积层降低通道的维度，在卷积层后添加3
×
3空洞率为1的空洞卷积产生输出；
31.(2)分支2经过1
×
1的卷积层降低通道的维度，在卷积层后添加3
×
3空洞率为2的空洞卷积产生输出；
32.(3)分支3经过1
×
1的卷积层降低通道的维度，在卷积层后添加3
×
3空洞率为3的空洞卷积产生输出；
33.(4)分支4先经过1
×
1的卷积层降低通道维度，在卷积层后再依次添加3
×
3的空洞率分别为1、2和3的空洞卷积产生输出。
34.将以上4个分支的输出结果在通道维度上对应级联，最后在通道维度上进行拼接并与模块adws11的输出图像进行相加，获得语义信息丰富的低层特征图。
35.步骤4：对语义信息丰富的低层特征图和高层特征图分别预测该特征图上每个网格对应的每个预测框所属的分类与边界框。
36.具体地，将经特征增强模块pac处理的低层特征图(即语义信息丰富的低层特征图)和四个高层特征图分别输入分类和回归检测网络进行多尺度检测，本发明分类和回归检测网络包括6个检测分支，分别对应6层输入特征图，每个检测分支的结构相同，分为两个1
×
1的卷积分支，一个分支通过softmax层输出每个候选框对应的类别，另一个分支通过线性回归层输出对应的边界框，对于每一个区域，分类和回归检测网络将输出6个可能所存在的目标的位置与种类。最后通过非极大值抑制算法将6个特征层获得的先验框信息结合，抑制部分重叠或者错误的先验框，生成最终检测结果。
37.本发明中，对于6个特征层的每一个像素中心点，输入分类和回归检测网络的经pac增强的adws11低层特征图，其线性回归层将输出4个比例尺度不同的先验框，而输入分类和回归检测网络的adws13低层特征图和经4个额外卷积层生成的c14、c15、c16、c17高层特征图，其线性回归层将输出6个比例尺度不同的先验框；每个先验框位置参数包含4个数据，包括目标边界框的中心位置坐标、宽、高；softmax层则输出预设的目标种类概率信息，其中，目标种类共有a个，即输出对应a种目标的可能性，目标可能种类与训练集的设置有关。
38.如图4所示，对于不同层特征图产生的先验框，假设利用m层特征图进行预测，则每一层特征图中先验框的比例大小为
39.40.其中，sk是第k层的特征图中先验框的比例，s
max
和s
min
分别是m层的特征图中最顶层和最底层的先验框比例。对于同一层特征图的先验框的不同宽高比来说，需要计算每个先验框的宽度和高度。如果设置了ar＝{1,2,3,1/2,1/3}等5种不同的宽高比，则每个先验框的宽度为
[0041][0042]
同理，每个先验框的高度为
[0043][0044]
先验框的中心坐标如下
[0045][0046]
其中，|fk|是第k个特征图边长的数值，i,j∈[0,|fk|)，0.5是设置的偏移量。一般情况下当宽高比为1时，额外添加一个尺寸为的先验框。
[0047]
特征图的每个中心点会生成6个不同大小的先验框，特征图中不同大小与长宽比的先验框覆盖了几乎所有待检测的位置，能够完成检测输入的所有目标区域，通过计算每个先验框对于每个类别以及背景的得分，判断出先验框所属类别。
[0048]
由于缩小卷积核尺寸对检测精度几乎没有影响但却可以减少计算量，故在检测模块中使用1
×
1的卷积核，将先验框的数量设定为3、6、6、6、6、6。假设输入图像分辨率为300
×
300，通过特征增强ssd的目标检测方法输出19
×
19、10
×
10、5
×
5、3
×
3、2
×
2和1
×
1共6个尺度的特征图，第一层网络每个网格预测3个边界框，其它5层网络每个网格均预测6个边界框，每个边界框有4个参数(分别是先验框中心点的横、纵坐标，先验框的长宽)，共预测5个类别。最终，生成先验框的数量为：
[0049]
19
×
19
×
3 (10
×
10 5
×
5 3
×
3 2
×
2 1
×
1)
×
6＝1917
[0050]
步骤5：通过非极大值抑制算法合并边界框，输出整个网络最终的预测结果。
[0051]
如图5所示，可以看出该算法能够将包括小目标在内的多尺度的目标精确地检测出来，没有发生漏检现象，例如图5(a)中远距离的所有的汽车与图5(b)中不同远近距离互相遮挡的汽车和行人，以及图5(c)中的密集人群以及远且本身尺寸较小的汽车与图5(d)中侧方停靠汽车以及远处人群。另外，目标的边界框定位非常准确，并没有发生形变。
[0052]
基础网络结构及参数设置：
[0053]
1、在训练网络时，采用改进的非对称损失(asymmetric loss，asl)函数，表达式为
[0054][0055]
其中，γ

和γ-分别是正负样本的聚焦参数(focusing parameter)，可以将正负样本损失函数的变化速率解耦，来保证在缺少正样本的情况下仍能够很好地学习其特征，l

和l-就是正负样本一般的交叉熵损失，可以通过改变m的值来减少负样本的损失。，y
′
是激活函数输出后的表示样本属于1的概率，范围在[0,1]，ym新引入的超参数，用来新的超参数，其表达式为ym＝max(y
′‑
m,0)。
[0056]
最后，根据损失函数计算结果，使用包含动量的随机梯度下降法对权重进行更新。
[0057]
2、conv14～conv17的卷积核尺寸全部为1
×
1，输出特征图的尺寸、步长与是否输入检测分支等信息如表1.1所示。
[0058]
表1.1部分卷积层参数设置
[0059]
卷积层特征图尺寸步长输入检测分支conv14_110
×
10
×
2561否conv14_25
×5×
5122是conv15_15
×5×
1281否conv15_23
×3×
2562是conv16_13
×3×
1281否conv16_22
×2×
2562是conv17_12
×2×
641否conv17_21
×1×
1282是
[0060]
3、基于特征增强的轻量化ssd的红外目标检测方法从6个不同尺度的有效特征图上提取特征分别进行检测，这6个检测模块包括两个尺寸为1
×
1的卷积分支，其中一个分支对目标进行分类预测，另一个分支对目标进行边界框回归。各个检测模块的输入尺寸、边界框数量、分类分支与回归分支通道数如表1.2所示。
[0061]
表1.2各检测模块参数设置
[0062][0063][0064]
4、在实验过程中的一些超参数设置为：将原始图片缩放为512
×
512，一个批次的数量为64，momentum为0.9，decay为0.0005，初始的学习率为0.001，最大迭代次数为50000次，学习策略采用multistep，并且在迭代40000、45000次时将学习率衰减十倍。
[0065]
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。