一种基于注意力机制的红外小目标检测方法与流程

1.本发明属于图像处理与计算机视觉技术领域，特别涉及一种基于注意力机制的红外小目标检测方法。


背景技术：

2.红外小目标检测在红外成像系统研究中起着重要的作用，被广泛应用于预警、远距离目标跟踪等任务中。然而，当存在云杂波或者海杂波时，小目标通常被淹没在具有低信噪比的复杂背景中。此外，由于成像距离远，小目标没有具体的形状和纹理。因此，红外小目标检测一直被认为是一个困难且具有挑战性的任务。
3.目前，关于红外小目标检测的方法主要分为四种：第一种是基于背景特征的红外小目标检测方法，根据背景抑制方式的不同，可分为两类：基于空域的滤波方法和基于变换域的滤波方法。基于空域的背景滤波方法的基本思想是先估计图像的背景图像，再将原图与估计得到的背景图像进行差分运算，最后在差分图像上使用阈值分割实现小目标的检测；基于变换域的滤波方法主要是使用相应的变换方法获得红外图像的变换域信息，在变换域中对背景进行滤波处理，再通过逆变换实现小目标的检测。第二种是基于目标特征的检测方法，根据目标及其背景邻域在红外图像中的特征差异，设计不同的方法来凸显小目标的特征并进行背景抑制，从而实现小目标的检测。第三种是基于红外图像成像特性的小目标检测方法，主要根据红外图像中目标的稀疏性和背景非局部相关性的成像特点，对目标图像和背景图像进行分离，从而实现对小目标的检测。第四种是基于深度学习的小目标检测方法，主要通过卷积网络自动学习特征表达，目的是更好地抑制背景杂波和传感器噪声，增强感兴趣的目标。上述的传统方法对符合一定先验知识的小目标具有不错的检测，但存在着泛化性不强的问题。而基于数据驱动的深度学习方法能够通过学习大量数据赋予神经网络模型强大的拟合能力，让网络自动学习小目标的特征分布，提升红外小目标检测的泛化性。然而受背景杂波的影响，检测结果中通常会出现大量虚警。同时红外小目标图像背景杂波信息重复度较高，导致网络容易出现过拟合的现象。


技术实现要素：

4.为了能够有效地抑制背景杂波和增强小目标特征，本发明提出一种基于注意力机制的红外小目标检测方法，具体包括以下步骤：
5.s1、将训练样本输入网络，其中训练样本包括：高斯噪声图像与原图的通道堆叠图像和全零图像与原图的通道堆叠图像，两种训练样本以1：1的比例作为训练阶段的输入；
6.s2、将通道堆叠图像传入注意力机制模块进行背景抑制和目标增强；
7.s3、将注意机制模块的输出图像与原图进行通道堆叠后传入红外小目标检测模块，得到红外小目标的检测图像；
8.s4、将检测图像与标签图像的差异作为损失函数反向优化网络两模块的网络参数；若损失函数降低到可接受的阈值范围，则认为网络已达到最优，得到的检测图像即为最
终检测结果；
9.s5、将测试样本输入网络，测试数据为全零图像与待检测图像的通道堆叠，将测试数据传入注意力机制模块，抑制背景杂波和增强小目标特征，之后注意机制模块的输出图像与原图进行通道堆叠后传入红外小目标检测模块，实现检测任务。
10.本发明在噪声与原图通道堆叠的数据增强输入方式下，注意力机制模块能够有效地抑制背景杂波和增强小目标特征，之后使用红外小目标检测模块进行检测，以两模块交替训练的模式实现检测任务。
附图说明
11.图1为本发明基于注意力机制的红外小目标检测方法的整体流程示意图；
12.图2为本发明基于注意力机制的红外小目标检测方法整体构架示意图；
13.图3为本发明基于注意力机制模块构架示意图；
14.图4为本发明基于红外小目标检测模块的构架示意图；
15.图5为本发明实施例中一张红外小目标图像，注意力机制模块的输出图像，以及经过注意力机制模块再经过红外小目标检测模块的输出图像的示意图。
具体实施方式
16.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
17.本发明提出一种基于注意力机制的红外小目标检测方法，具体包括以下步骤：
18.s1、将训练样本输入网络，其中训练样本包括：高斯噪声图像与原图的通道堆叠图像和全零图像与原图的通道堆叠图像，两种训练样本以1：1的比例作为训练阶段的输入；
19.s2、将通道堆叠图像传入注意力机制模块进行背景抑制和目标增强；
20.s3、将注意机制模块的输出图像与原图进行通道堆叠后传入红外小目标检测模块，得到红外小目标的检测图像；
21.s4、将检测图像与标签图像的差异作为损失函数反向优化网络两模块的网络参数；若损失函数降低到可接受的阈值范围，则认为网络已达到最优，得到的检测图像即为最终检测结果；
22.s5、将测试样本输入网络，测试数据为全零图像与待检测图像的通道堆叠，将测试数据传入注意力机制模块，抑制背景杂波和增强小目标特征，之后注意机制模块的输出图像与原图进行通道堆叠后传入红外小目标检测模块，实现检测任务。
23.本发明提供一种具体实施方式，在本实施例中使用的该数据集包含10000张训练图像(图像大小均为128
×
128)和100张测试图像(图像大小在128
×
128左右)，包括海天，云层，建筑物等场景。
24.训练阶段，输入样本包含两种形式：高斯噪声与原图的通道堆叠，全零图像与原图的通道堆叠，其中全零图像与原图的通道堆叠的训练样本可以使得噪声通道适应全零图像的输入方式。传统方法中，将高斯噪声与红外小目标图像直接相加的数据增强方式，会导致
目标信息完全淹没在背景与噪声中，更加难以检测到小目标。因此，本发明提出一种噪声与原图通道堆叠的数据增强方式。该方法让网络自动分配不同的权值给噪声和原图，再进行相加，从而有效地保留了小目标的输入特征，增强网络的鲁棒性。
25.测试阶段，由于网络输入端设计的是两通道的输入方式，因此采用全零图像与原图通道堆叠的输入方式，使得测试样本只包含原图的信息。
26.本发明高斯噪声z与红外小目标原图i以通道堆叠的方式送入网络，网络第一层中的卷积核会随机分配给z和i不同的权重值；该层输入图像的通道数决定该层每个卷积核的通道数；该层输出图像通道数，则由当前层卷积核的个数决定，其中每个卷积核的通道数等于该层输入图像的通道数；高斯噪声与原图通道堆叠的输入方式表示输入是两通道图像，那么网络第一层卷积的每一个卷积核相应也是两通道，则高斯噪声对红外小目标图像数据的自适应增强的公式证明如下：
27.i
in_1
＝i
in
*ω＝ω1*z ω2*i,i
in
＝{z,i}
28.其中，i
in_1
表示经过网络第一层卷积操作后高斯噪声z与原图i的融合特征图，i
in
表示网络的输入，*表示卷积操作，ω表示网络第一层中的卷积核，ω1和ω2分别表示网络第一层中的卷积核ω随机分配给高斯噪声与红外小目标原图的权重值。
29.通过网络的学习与参数更新，可以保证小目标的信息在不丢失的情况下，自适应地调整输入噪声的强度，有效地保留小目标的特征，增强网络的鲁棒性。
30.输入图像经过通道堆叠后，传入注意力机制模块，抑制背景杂波和增强小目标特征。之后红外小目标模块在注意力机制模块的输出信息的指导下实现小目标的精准检测。为保证注意力机制模块的输出信息的有效复用，注意力机制模块输出和原图采用通道堆叠输入的方式让该模块的网络自动学习两者不同的权重值。
31.其中注意力机制模块共有8层，红外小目标检测模块共有14层。每一层均由卷积层、归一化层和激活层组成。每层卷积核的初始大小为3
×
3，对卷积核采用空洞卷积的方式，通过填充补零的操作改变该层卷积核的尺寸，并使用膨胀系数表示在3
×
3卷积核中间填充零的个数。图3和图4的中黑色数字是该层使用的膨胀系数。通过空洞卷积的方式扩大感受野，有效地保留了小目标的特征信息。同时以空洞卷积的方式保持网络每层的输入输出大小一致，使得任何尺寸的图像都可以作为测试进行输入。另外，为了保证红外小目标检测模块更加精准地提取小目标特征，红外小目标检测模块采用跨层连接的方式，使得网络深度可以更深，并有效避免梯度消失的同时高效复用该网络模块的浅层信息。
32.训练阶段采用两模块交替训练的方式，训练注意力机制模块对背景杂波的抑制能力和小目标特征的增强能力，以及训练红外小目标检测模块对注意力机制模块输出图像的复用能力和红外小目标的检测能力。
33.固定红外小目标检测模块的网络参数，训练注意力机制模块，在当前红外小目标检测模块的检测水平下，调整注意力机制模块的背景抑制和目标增强能力。
34.固定注意力机制模块的网络参数，训练红外小目标检测模块，对于当前的注意力机制模块的输出，可能会存在某种机器学习产生的不符合要求的错误，如目标增强过程中，可能对某些建筑物的边角进行了错误的信息增强。因此，针对性训练红外小目标检测模块，加强其对注意力机制模块输出结果的进一步改正能力，同时能够对图像语义特征的学习能力做强化处理，加强模块对红外小目标图像的分割能力。
35.在上述交替训练过程中，每个模块进行一轮的训练后切换训练另一个模块，每次训练过程在第二个模块(红外小目标检测模块)处计算检测图像与标签图像之间的误差，将该误差对相应训练的模块进行反向优化，即在本发明中第二个模块的输出处使用同一个损失函数进行约束，其共同目的是使损失函数降到最低，实现最终的检测任务。损失函数的定义为：
[0036][0037]
其中，loss表示红外小目标检测图像与标签图像之间的像素级差异，n表示训练样本的数量；yk表示网络第k个训练样本的回归预测值；表示第k个训练样本的标签图像，标签图像中背景像素值为0，小目标像素值为255。该方法的最终目的是使网络的输出结果无限接近标签图像。
[0038]
测试阶段：将测试样本输入网络，测试数据为全零图像与待检测图像的通道堆叠，经过注意力机制模块对图像进行背景杂波抑制和小目标特征增强，之后注意机制模块的输出图像与待检测图像进行通道堆叠后传入红外小目标检测模块，实现检测任务。
[0039]
图5为本实施例对照图。图5(a)中上下两张图像为原图像，经过注意力机制模块处理后分别输入为图5(b)中上下两张图像，再经过红外小目标检测模块检测后，输出图5中(c)中上下两张图像，经过(c)中两张图像的小目标，可以看出本发明方案能够有效进行红外小目标的检测。
[0040]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。