一种利用多方向性特征构造卷积神经网络的红外弱小目标检测方法

1.本发明涉及一种利用多方向性特征构造卷积神经网络的红外弱小目标检测方法，属于数字图像处理和计算机视觉领域，主要涉及深度学习和目标检测技术，在各类基于图像的应用系统中有广阔的应用前景。


背景技术：

2.红外弱小目标检测技术被广泛地应用于精确制导、反导弹技术、空间碎片搜索等众多领域。实际运用中，弱小目标检测算法的稳定性、准确性和实时性决定了红外预警系统的可靠性和实用性。由于各种物体的不同结构具有不同的辐射强度分布，同时受到温度、气候等因素影响，使得红外图像背景复杂，在检测中易发生误检。比如在空天背景下，卷云、带状云、絮团等会干扰对小目标的检测；在山地背景下，由于地面存在树木、建筑等，背景的辐射将变得更为复杂；在海天背景下，海面的波浪不断变化，使得红外辐射极不稳定；而海面光线的反射等也造成辐射效果的复杂变化，这些都会对检测造成干扰。因此，在复杂背景下快速准确检测弱小目标是一项具有挑战性和研究意义的任务。
3.一些早期的研究方法通过背景估计得到目标，通过滤波、形态学等方法得到背景，再通过原图与背景之差得到目标。基于最大-中值滤波和最大-均值滤波的方法(参见文献：迪什潘德孟等，用于小目标检测的最大-中值和最大-均值滤波器，国际光学工程学会光学科学、工程和仪器国际研讨会论文集，1999:74-83.(deshpande s d,meng h e,venkateswarlu r,et al.max-mean and max-median filters for detection of small targets[c]//spie's international symposium on optical science,engineering,and instrumentation.international society for optics and photonics,1999:74-83.))是一种经典的小目标检测方法，通过选择当前像素邻域下某些特定方向位置的中值或者均值来替代当前操作的像素，以此滤除小目标；但对于高斯白噪声较为敏感，容易造成虚警。一些基于形态学的经典小目标检测方法(参见文献：白相志等，新顶帽变换及其在红外弱小目标检测应用中的分析研究，模式识别，2010：43(6)：2145-2156.(bai x,zhou f.analysis of new top-hat transformation and the application for infrared dim small target detection[j].pattern recognition,2010,43(6):2145-2156.))利用顶帽变换增强目标抑制背景。形态学运算简单快速，但在处理复杂场景时，容易受到强烈边缘等干扰从而虚警过高；同时形态学算子的尺寸也大多固定，不能自适应地根据场景调整。一些研究利用弱小目标灰度分布差异性突出的特点，通过设计测度增强目标、抑制背景，从而实现检测(参见文献：邓贺等，基于局部权重差异度量的红外小目标检测方法，美国电气电子工程师学会地理与遥感汇刊，2016,54(7):4204-4214.(deng h,sun x,liu m,et al.small infrared target detection based on weighted local difference measure[j].ieee transactions on geoscience and remote sensing,2016,54(7):4204-4214.))。这类方法通常运行速度较快，但假设比较单一，在复杂环境下鲁棒性较弱。近年，根据弱小目标分
布较少的稀疏特点，一些基于稀疏表示的检测方法被提出(参见文献：高陈强等，用在单幅图像中检测小目标的红外分块图像模型，美国电气电子工程师学会图像处理汇刊，2013,22(12):4996-5009.(gao c,meng d,yang y,et al.infrared patch-image model for small target detection in a single image[j].ieee transactions on image processing,2013,22(12):4996-5009.))，但基于优化理论的模型相对复杂，造成计算量过大，实用性较差。
[0004]
近年来，深度学习技术在红外弱小目标检测领域得到了发展。应用于该领域的神经网络方法主要是从一般物体的检测网络中发展而来，根据提取特征的次数主要分为一阶段检测算法和多阶段检测算法。一阶段检测算法在检测过程中只对目标提取一次特征，此类算法检测速率高，但精度相对低一点，主要有ssd，yolo系列等。多阶段检测算法主要以r-cnn系列网络为代表，目前具有代表性的两阶段检测网络是faster r-cnn(参见文献：任少卿等，更快的r-cnn：基于区域提案网络的实时目标检测，美国电气与电子工程师协会模式分析与机器智能学报，2017，1137-1149.(ren s,he k,girshick r,et al.faster r-cnn:towards real-time object detection with region proposal networks[j].ieee transactions on pattern analysis&machine intelligence,2017,39(6):1137-1149.))，其主要思想是先寻找可能存在目标的区域，通过锚盒机制来得到筛选后的候选区域，然后通过参数共享，统一分类和回归，进而得到最终的检测结果。liu等人提出一种基于相关滤波器的多层卷积网络，将检测问题视为二分类问题，级联多个弱分类器并得到相对准确的结果(刘强等，用于热红外物体跟踪的深度卷积神经网络，系统知识基础，2017,134：189-198.(liu q,lu x,he z,et al.deep convolutional neural networks for thermal infrared object tracking[j].knowledge-based systems,2017,134:189-198.))。deng等人考虑到成像系统本身存在的噪声，提出了一种由变换、局部卷积和全卷积三种结构组成的多尺度卷积神经网络，对于成像系统的噪声具有很强的鲁棒性(邓璐等，用于空间红外点物体判别的多尺度卷积神经网络，美国电气与电子工程师协会方法，2019,7:28113-28123.(deng q,lu h,tao h,et al.multi-scale convolutional neural networks for space infrared point objects discrimination[j].ieee access,2019,7:28113-28123.))。
[0005]
深度学习方法在检测速度上存在优势，但当前该类型方法较少考虑弱小目标特性，在弱小目标检测任务上性能有限。本发明为了实现快速且有效的弱小目标检测，由弱小目标的尺度、灰度分布特性出发设计深度学习网络模型，提出了一种利用多方向性特征构造卷积神经网络的红外弱小目标检测方法。


技术实现要素：

[0006]
1、目的：针对复杂背景下弱小目标检测困难、虚警率高、实时性差的问题，本发明提出了一种利用多方向性特征构造卷积神经网络的红外弱小目标检测方法，模型有效结合红外弱小目标的多方向性特征与尺度特征进行网络设计，在提高检测精度、降低虚警率以及运行时间上有明显改善。
[0007]
2、技术方案：为实现上述目的，本发明的整体思路是根据弱小目标特征设计轻量化骨干网络与多方向特性注意力模块，搭建一个针对红外弱小目标的轻量级神经网络，保
证检测速度的同时增强对目标特征提取的能力。本发明的算法技术思路主要体现在以下四方面：
[0008]
1)针对本应用的目标尺寸接近于3
×
3的特性，设计轻量级骨干网络，提高对目标特征的提取效率；
[0009]
2)根据弱小目标在多方向上有较大灰度差性的特性，设计多方向特性注意力模块，通过若干固定卷积核的结合使用提取同一感受野下的多方向性特征以实现目标增强，增强了模块的可解释性和对目标特征提取的能力；
[0010]
3)设计特征融合模块，针对弱小目标特点，结合空间与通道注意力机制有效融合目标的低级特征和高级语义特征，实现精度更高的分割检测效果。
[0011]
4)设计损失函数，缓解目标与背景数量分布极不平衡带来的训练困难。
[0012]
本发明涉及一种利用多方向性特征构造卷积神经网络的红外弱小目标检测方法，该方法具体步骤如下：
[0013]
步骤一：基于多方向特征搭建卷积神经网络。首先提取浅层特征并使用多方向性注意力进行目标特征增强；随后使用骨干网络对增强后的浅层特征进行四组特征提取；随后将提取的四组特征通过特征融合模块拼接降维后与浅层特征进行高低级特征融合；最后通过全卷积网络逐像素预测，得到全图像像素级别的概率预测图。
[0014]
步骤二：构造损失函数对网络进行训练。使用预测结果与像素级标签进行损失计算，以实现对网络参数的训练。
[0015]
输出：用训练好的神经网络处理红外图像。在使用训练数据对构造的多方向性特征卷积神经网络进行充分迭代训练之后，得到训练好的网络用于检测目标像素。
[0016]
其中，所述步骤一具体如下：
[0017]
1.1：提取浅层特征并使用多方向性特性进行目标特征增强。网络主要使用卷积单元作为基本组件，每个卷积单元由1个卷积层、批量归一化层、leakyrelu操作组合而成，卷积层中卷积核大小与步长等参数根据需要进行调整。首先，输入图像经过一个卷积核大小为3
×
3，步长为1的卷积单元，生成通道数为16的浅层特征f；随后浅层特征f通过由固定卷积核构建的多方向特性注意力，得到增强目标特征后的浅层特征fe，见图2与图3所示。一幅红外弱小目标图像可被认为由三部分组成：目标、背景、噪声。i＝b t n，其中i代表原图矩阵，b代表背景矩阵，t代表目标矩阵，n代表噪声等误差矩阵。为了能准确将背景和目标分离，本发明根据目标的多方向性特性构建模块，增强模型性能与可解释性。本发明认为目标在多个方向上与周围的背景有较大灰度差，而背景的多方向性不明显，如图2所示，其中c是目标可能出现的区域，s1～s8是背景区域。针对目标在多方向上存在较大的对比度的特性，本发明以网络实现了该多方向性测度，根据某像素点在多方向上存在的灰度差大小来衡量该点为目标的概率，通过注意力机制增强目标特征。在一个像素点周围5
×
5区域内的八个方向上，本发明首先并行使用8个固定卷积核分别计算该像素点与间隔一定距离的八个像素点的灰度差di，di＝g(t)-g(bi)，其中g(t)和g(bi)分别是目标点和周围某方向像素点的灰度值，卷积核大小取5
×
5，中心位置参数设为1，某方向位置参数设为-1，其余位置参数设
为0(例如：卷积核)；随后通过对8个特征图di与d
i 4
之间两两执行逐点相乘得到4个特征图，再对4个特征图相加，计算多方向性测度即中心点像素同时与多个方向的像素存在一定的灰度差，由此得到基于多方向性的注意力信息；最后将注意力信息在原浅层特征f上执行空间注意力操作后再与原浅层特征f相加，得到目标特征增强后的浅层特征fe。
[0018]
1:2：构建骨干网络对增强后的低层特征进行特征提取。骨干网络主要由四个残差块单元构成，每个残差块单元由不同尺寸、数量的卷积单元与残差连接组成，以提取不同尺度的特征。增强后的浅层特征fe首先经过一个卷积核大小为3
×
3，步长为2的卷积单元，生成通道数为32的特征图f0；接着并行通过4组残差块单元，生成通道数均为32的四组特征图f1、f2、f3、f4。其中，第一个残差块单元先使用1次卷积核大小为1
×
1，步长为1的卷积单元，对特征下采样；再使用1次卷积核大小为1
×
1，步长为1的卷积单元，对特征上采样；随后与特征图f0进行残差连接得到特征图f1。第二个残差块单元先使用1次卷积核大小为3
×
3，步长为1的卷积单元，对特征下采样；再使用1次卷积核大小为3
×
3，步长为1的卷积单元，对特征上采样；随后与特征图f0进行残差连接得到特征图f2。第三个残差块单元先使用1次卷积核大小为5
×
5，步长为1的卷积单元，对特征下采样；再使用1次卷积核大小为1
×
1，步长为1的卷积单元，对特征上采样；随后与特征图f0进行残差连接得到特征图f3。第四个残差块单元先使用1次卷积核大小为7
×
7，步长为1的卷积单元，对特征下采样；再使用1次卷积核大小为1
×
1，步长为1的卷积单元，对特征上采样；随后与特征图f0进行残差连接得到特征图f4。
[0019]
1.3：特征融合模块。考虑在红外弱小目标检测任务中，反映边缘、纹理等细节信息的浅层特征与目标的边缘分割相关，包含更多语义信息的深层特征与目标的位置确定相关，本发明设计了针对弱小目标特征的特征融合模块对不同层特征区分处理。对浅层特征使用较少的处理，尽可能保留其中细节信息；而对于深层特征，进一步通过注意力机制提取其中定位信息，增强高级语义特征。
[0020]
1.4：通过全卷积网络进行检测。将融合后的特征fr利用全卷积网络(fcn)逐像素预测，输出全图像像素级别的概率预测图。
[0021]
其中，所述步骤二具体如下：
[0022]
2.1：损失函数由两部分构成：focal损失与交并比(iou)损失，l＝l
fl
l
iou
。focal损失是在交叉熵损失的基础上加入调制系数，降低易分类的负样本权重，使模型更专注于对正样本的检测。focal损失l
fl
＝-(1-pt)
γ
log(p
t
)，其中调制系数γ＝2，p为网络输出的该像素点预测概率，y为该像素点标签(y＝1即该点是目标)。交并比是指产生的预测区域与真实目标区域的交叠率，即是指两者的交集和并集的比值。我们训练网络进行目标检测时，期望达到的理想情况是预测区域与真实区域能够完全重叠，即交并比等于1。因此，实际情况中，交并比的值总是在0～1之间，且值越大，则代表网络的检测效果越精
确。由此，定义交并比损失其中area(predict)为本发明方法预测的目标区域，area(trut)为真实目标区域面积，∩为集合交运算，∪为集合并运算。给出以上损失函数定义后，先将步骤一得到的概率预测图与标注的真实结果图按focal损失定义进行逐像素计算，得到focal损失；再将步骤一得到的概率预测图通过sigmoid函数阈值分割，得到预测结果图；将预测结果图与标注的真实结果图进行逐像素点乘，得到预测目标区域与真实目标区域的重叠结果，即area(predict)∩area(trut)；在此基础上，分别求和计算真实目标区域、预测目标区域、二者重叠区域的像素数，进而计算交并比损失。
[0023]
2.2:本发明采用adagrad优化器进行优化，网络的初始学习率为0.005，权重衰减系数为10-4
，训练中自适应更新学习率，通过梯度反向传播调整网络参数降低相应的损失函数。
[0024]
3、优点及功效：
[0025]
本发明提出一种利用多方向性特征搭建卷积神经网络的红外弱小目标检测方法，从弱小目标局部灰度差多方向性的特性出发，利用卷积操作的组合设计多方向性注意力模块以增强目标特征；并结合弱小目标的尺度特性设计骨干网络，实现更适于本任务的特征提取；通过特征融合模块，结合注意力机制融合高低级特征，更好地保留小目标相关特征。模型设计从红外弱小目标的特性出发，在可解释性和性能方面有较好表现，应用前景广泛。
附图说明
[0026]
图1为本发明提出的利用多方向性特征构造卷积神经网络的红外弱小目标检测方法的原理框图。
[0027]
图2为本发明中多方向性测度的示意图以及其在目标和背景像素上的不同结果。
[0028]
图3为多方向性注意力模块的基本结构。
[0029]
图4为特征融合模块的基本结构。
[0030]
图5a-5h是展示了本发明在实际场景中的检测结果；其中，图5a、5b、5e、5f是原始红外图像，小目标由白色方框标记出，图5c、5d、5g、5h是本发明方法的检测结果。
具体实施方式
[0031]
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。
[0032]
本发明提出了一种利用多方向特征设计卷积神经网络的红外弱小目标检测方法，原理框图如图1所示，具体实施步骤如下：
[0033]
步骤一：基于多方向特征搭建卷积神经网络，网络的基本结构如图1所示；
[0034]
步骤二：构造损失函数对网络进行训练。
[0035]
输出：用训练好的神经网络处理红外图像。在使用训练数据对构造的多方向性特征卷积神经网络进行充分迭代训练之后，得到训练好的网络用于检测目标像素。
[0036]
其中，所述步骤一具体如下：
[0037]
1.1：提取浅层特征并使用多方向性特性进行目标特征增强。网络主要使用卷积单元作为基本组件，每个卷积单元由1个卷积层、批量归一化层、leakyrelu操作组合而成，卷
积层中卷积核大小与步长等参数根据需要进行调整。首先，输入图像经过一个卷积核大小为3
×
3，步长为1的卷积单元，生成通道数为16的浅层特征f；随后浅层特征f通过由固定卷积核构建的多方向特性注意力增强目标特征，得到增强后的浅层特征fe，具体见图2与图3所示。本发明认为目标在多个方向上与周围的背景有较大灰度差，而背景的多方向性不明显，如图2所示，其中c是目标可能出现的区域，s1～s8是背景区域。针对目标在多方向上存在较大的对比度的特性，本发明以网络实现了该多方向性测度，根据某像素点在多方向上存在的灰度差大小来衡量该点为目标的概率，通过注意力机制增强目标特征。在一个像素点周围5
×
5区域内的八个方向上，本发明首先并行使用8个固定卷积核分别计算该像素点与间隔一定距离的八个像素点的灰度差di，di＝g(t)-g(bi)，其中g(t)和g(bi)分别是目标点和周围某方向像素点的灰度值，卷积核大小取5
×
5，中心位置参数设为1，某方向位置参数设为-1，其余位置参数设为0(例如：卷积核)；随后通过对8个特征图di与d
i 4
之间两两执行逐点相乘得到4个特征图，再对4个特征图相加，计算多方向性测度即中心点像素同时与多个方向的像素存在一定的灰度差，由此得到基于多方向性的注意力信息；最后将注意力信息在原浅层特征上执行空间注意力操作后再与原浅层特征相加，得到目标特征增强后的浅层特征fe。其中多方向性注意力模块的基本结构见图3。
[0038]
1:2：构建骨干网络对增强后的浅层特征进行特征提取。骨干网络主要由四个残差块单元并联构成，每个残差块单元由不同参数的卷积单元与残差连接组成，以提取不同特征。增强后的浅层特征fe首先经过一个卷积核大小为3
×
3，步长为2的卷积单元，生成通道数为32的特征图f0；接着并行通过4组残差块单元，生成通道数均为32的四组特征图f1、f2、f3、f4。其中，第一个残差块单元先使用1次卷积核大小为1
×
1，步长为1的卷积单元，对特征下采样；再使用1次卷积核大小为1
×
1，步长为1的卷积单元，对特征上采样；随后与特征图f0进行残差连接得到特征图f1。第二个残差块单元先使用1次卷积核大小为3
×
3，步长为1的卷积单元，对特征下采样；再使用1次卷积核大小为3
×
3，步长为1的卷积单元，对特征上采样；随后与特征图f0进行残差连接得到特征图f2。第三个残差块单元先使用1次卷积核大小为5
×
5，步长为1的卷积单元，对特征下采样；再使用1次卷积核大小为1
×
1，步长为1的卷积单元，对特征上采样；随后与特征图f0进行残差连接得到特征图f3。第四个残差块单元先使用1次卷积核大小为7
×
7，步长为1的卷积单元，对特征下采样；再使用1次卷积核大小为1
×
1，步长为1的卷积单元，对特征上采样；随后与特征图f0进行残差连接得到特征图f4。特征提取过程的实现方式如图1所示。
[0039]
1.3：特征融合模块。考虑在红外弱小目标检测任务中，反映边缘、纹理等细节信息的浅层特征与目标的边缘分割相关，包含更多语义信息的深层特征与目标的位置确定相关，本发明设计了针对弱小目标特征的特征融合模块对不同层特征区分处理，将提取的四组特征f1、f2、f3、f4通过特征融合模块拼接降维后与浅层特征f进行特征融合，得到融合特征fr。对四组深层特征f1、f2、f3、f4在通道维度上进行拼接，通道数变为128；随后使用1次卷
积核大小为3
×
3，步长为1的卷积单元，进行下采样，通道数恢复为32；接着先应用通道注意力机制，再应用空间注意力机制，进一步提取高级语义特征；最后对处理后的深层特征上采样并与经过1次卷积核大小为1
×
1，步长为1的卷积单元处理的浅层特征f逐点加和，得到融合特征fr。特征融合模块的具体实现方式如图4所示。
[0040]
1.4：通过全卷积网络进行检测。将融合后的特征fr利用全卷积网络(fcn)逐像素预测，融合特征经过3
×
3卷积单元后通道数降至原始的四分之一，再经过1
×
1卷积单元降维通道数为1，输出全图像像素级别的概率预测图。
[0041]
其中，所述步骤二具体如下：
[0042]
2.1：损失函数由两部分构成：focal损失与交并比(iou)损失，l＝l
fl
l
iou
。focal损失是在交叉熵损失的基础上加入调制系数，降低易分类的负样本权重，使模型更专注于对正样本的检测。focal损失l
fl
＝-(1-p
t
)
γ
log(p
t
)，其中调制系数γ＝2，p为网络输出的该像素点预测概率，y为该像素点标签(y＝1即该点是目标)。交并比是指产生的预测区域与真实目标区域的交叠率，即是指两者的交集和并集的比值。我们训练网络进行目标检测时，期望达到的理想情况是预测区域与真实区域能够完全重叠，即交并比等于1。因此，实际情况中，交并比的值总是在0～1之间，且值越大，则代表网络的检测效果越精确。由此，定义交并比损失其中area(predict)为本发明方法预测的目标区域，area(trut)为真实目标区域面积，∩为集合交运算，∪为集合并运算。给出以上损失函数定义后，先将步骤一得到的概率预测图与标注的真实结果图按focal损失定义进行逐像素计算，得到focal损失；再将步骤一得到的概率预测图通过sigmoid函数阈值分割，得到预测结果图；将预测结果图与标注的真实结果图进行逐像素点乘，得到预测目标区域与真实目标区域的重叠结果，即area(predict)∩area(trut)；在此基础上，分别求和计算真实目标区域、预测目标区域、二者重叠区域的像素数，进而计算交并比损失。
[0043]
2.2：本发明采用adagrad优化器进行优化，网络的初始学习率为0.005，权重衰减系数为10-4
，训练中自适应更新学习率，通过梯度反向传播调整网络参数降低相应的损失函数。在该过程中，使用梯度下降法进行反向传播，通过求导链式法则，将损失函数对某一网络参数求偏导来进行参数更新：其中θi为反向传播前的网络参数，θ
′i为反向传播更新后的网络参数，η为学习率，l为损失函数。
[0044]
图5a-5h是本发明在实际红外场景中的应用，小目标的位置用白框标出，图5c、5d、5g、5h为相应的检测结果。用于实验的图像来自于不同的红外场景，其中的小目标大多数非常暗淡且尺寸小，且背景中存在云、植被等复杂干扰，但实验结果不仅有效排除噪声干扰并精准检测目标的位置与形状，而且在运算时间上具备优势，实现了快速准确检测的目标，这充分说明本发明的有效性，可广泛应用于各类红外弱小目标检测系统，具有广阔的市场前景与应用价值。