基于FPN与PAN网络的双重注意力的遥感小目标检测方法

基于fpn与pan网络的双重注意力的遥感小目标检测方法
技术领域
1.本发明涉及一种基于fpn与pan网络的双重注意力的遥感小目标检测方法，属于计算机视觉、图像应用领域。


背景技术：

2.遥感小目标检测在车辆管控、船只调度等各个领域都有着广阔的前景。从卫星或无人机捕获的图像中检测和定位小目标的方法有很多。然而，对于噪声和低分辨率的遥感图像检测性能并不理想。现有的基于深度学习的检测方法大致可概括为两类：一类是以faster r-cnn为代表的双阶段目标检测方法，该方法先把backbone中输出的特征图输入到rpn网络(region proposal network)中，将输入样本映射成一个概率值和四个坐标值。通过训练以获得精确的候选区域，然后将候选区域与特征图送入第二阶段进行分类和回归；另一类是以yolo系列为代表的单阶段目标检测方法，它将图像划分为等分网格后直接输入backbone，经过多个卷积层与全连接层后生成n个box并得到五个回归值(四个位置与含有物体的概率)，最后再通过使用nms算法(non-maximum suppression)过滤得到最终的预测框。无论是单阶段的目标检测方法还是双阶段的检测方法，他们都存在着遥感小目标检测困难的情况。为此，研究者们在该领域进行了深入探索，并先后形成了大量优秀的小目标检测方法。其中主流方法大致分为提高分辨率后检测与多尺度特征图检测两类。
3.提高分辨率后检测方法的主要思想是通过生成对抗网络的方式将小目标的细节纹理信息进行重建来丰富小尺度目标的特征，进而转化为和大、中尺度目标一样或近似的特征表达来提高小目标的检测精度。比如：在eesrgan中，rabbi等人提出了一种由超分辨率网络和检测网络两个模块组成的网络结构，整个网络以端到端的方式进行训练。该方法首先使用超分辨率网络对低分辨率图像进行重建，然后将输出图像与对应的高分辨率图像共同输入检测网络，将检测损失梯度反向传播到超分变率网络中来优化超分变率网络，在优化检测网络的同时对超分变率网络进行优化，进而起到提高遥感图像中小尺度目标的检测精度。
4.由于提高分辨率后检测的方法计算量比较大，因此绝大多数研究者都偏向于在多尺度特征图检测的方向上做研究。比如：在he等人提出的fpn网络中，通过两个自底向上的分支与自顶向下的分支，分别用来产生多尺度的特征以及将高层产生的丰富语义信息融合到底层特征。通过这种方法，可以使底层特征拥有充分的语义信息，使其有利于小目标的检测；在panet中，liu等人对fpn网络中不同尺寸的特征图进行再次融合，使得fpn的高层特征图也拥有丰富的底层特征与多层特征。虽然这几种多尺度检测方法通过不同的特征融合方式，都分别在小目标检测性能上有着不同程度的提升，但他们都并未在遥感图像中进行实验，忽略了遥感图像中复杂背景信息对小目标对象造成不良影响问题与遥感图像中小目标对象细节信息更容易丢失的问题。


技术实现要素：

5.本发明提供了一种基于fpn与pan网络的双重注意力的遥感小目标检测方法，针对遥感图像小目标的特殊性，对特征图金字塔中的不同尺度特征图分别计算通道注意力与空间注意力，从而实现增强遥感图像小目标的语义及位置信息，提高检测精度。
6.本发明的技术方案是：将遥感图像数据集输入到特征提取网络中，使用特征提取网络对图像进行特征提取，得到不同尺寸的特征图金字塔。在得到的特征图金字塔中，首先对fpn网络中的顶层特征图进行池化得到通道向量，再将通道向量进行矩阵运算后得到通道注意力矩阵，接着将其归一化得到通道权重矩阵，并将该权重乘到特征图中得到带有通道权重的特征图，再与低层特征融合。在pan网络中首先对底层特征图进行通道压缩得到空间向量，再将空间向量进行矩阵运算后得到空间注意力矩阵，接着将其归一化得到空间权重矩阵，并将该权重乘到特征图中得到带有空间权重的特征图，再与高层特征融合。最后送往检测头生成检测结果。
7.所述方法的具体步骤如下：
8.step1：输入遥感图像集，使用特征提取网络对遥感图像集中的图像进行特征提取，得到每张图像三个不同尺寸的特征图c2,c3,c4，构成特征图金字塔c，其中c＝{c2,c3,c4}；
9.step2：在fpn中对特征提取网络中的特征图c4进行卷积操作生成特征图金字塔中新的顶层特征图p5，并对p5进行全局池化后生成通道向量并对生成的通道向量进行reshape操作生成二维矩阵，再对该二维矩阵进行转置后与自身相乘得到通道注意力矩阵f5；
10.step3：将step2中生成的通道注意力矩阵f5归一化得到通道权重矩阵，并将其与p5相乘得到带有通道权重的p
5_w
，接着将p
5_w
与特征提取网络中的特征图c3进行特征融合得到特征图p4；
11.step4：对step3中生成的特征图p4进行全局池化后生成通道向量并对生成的通道向量进行reshape操作生成二维矩阵，再对该二维矩阵进行转置后与自身相乘得到通道注意力矩阵f4；
12.step5：将step4中生成的通道注意力矩阵f4归一化得到通道权重矩阵，并将其与p4相乘得到带有通道权重的p
4_w
，接着将p
4_w
与特征提取网络中的特征图c2进行特征融合得到特征图p3；
13.step6：在pan中对step5中生成的p3进行卷积操作生成特征图金字塔中新的底层特征图n3，并对n3进行通道压缩后生成空间向量并对生成的空间向量进行reshape操作生成二维矩阵，再对该二维矩阵进行转置后与自身相乘得到空间注意力矩阵s3；
14.step7：将step6中生成的空间注意力矩阵s3归一化得到空间权重矩阵，并将其与n3相乘得到带有空间权重的n
3_w
，接着将n
3_w
与step3中生成的特征图p4进行特征融合得到n4；
15.step8：对step7中生成的特征图n4进行通道压缩后生成空间向量并对生成的空间向量进行reshape操作生成二维矩阵，再对该二维矩阵进行转置后与自身相乘得到空间注意力矩阵s4；
16.step9：将step8中生成的空间注意力矩阵s4归一化得到空间权重矩阵，并将其与n4相乘得到带有空间权重的n
4_w
，接着将n
4_w
与特征图p5进行特征融合得到n5；
17.step10：对最终生成的特征图n3、n4、n5进行检测得到遥感小目标检测结果。
18.所述step1具体如下：
19.根据遥感图像的不同目标类别，采用cspdark-53网络对输入的遥感图像数据集i＝{i1,i2,
…
,in}进行特征提取，n表示遥感图像数据集中图像数量。得到每张图像三个不同尺寸的特征图c2,c3,c4，构成特征图金字塔c，其中c＝{c2,c3,c4}。
20.所述step2具体如下：
21.在得到的特征图金字塔中，首先将fpn网络中的顶层特征图p5进行一次全局平均池化，得到p5的三维通道向量a5并对其进行reshape操作转换成a
5_r
，其中,p5∈(c
p5
×wp5
×hp5
)，a5∈(c
p5
×1×
1)，a
5_r
∈(c
p5
×
(1
×
1))，c
p5
为p5的通道数，w
p5
、h
p5
分别为p5的宽、高。接着将a
5_r
与a
5_rt
相乘后得到通道注意力矩阵f5，其中f5∈(c
p5
×cp5
)。
22.所述step3具体如下：
23.首先将通道注意力矩阵f5使用softmax归一化得到通道权重矩阵，然后再将其乘到p5上为p5赋予通道权重，得到p
5_w
。最后将p
5_w
进行二倍上采样并与经过卷积后的c3进行融合后得到p4，其中，p
5_w
∈(c
p5
×wp5
×hp5
)，c3∈(c
c3
×wc3
×hc3
)，p4∈(c
p4
×wp4
×hp4
)，c
c3
、w
c3
、h
c3
分别为c3的通道数、宽、高，c
p4
、w
p4
、h
p4
分别为p4的通道数、宽、高。其计算过程如下：
24.p4＝conv(cat(conv(c3),upsampling(reshape(softmax(f5)
×
reshape(p5)))))
25.其中的cat表示特征融合。
26.所述step4具体如下：
27.在step4中对step3中生成的特征图p4进行一次全局平均池化，得到p4的三维通道向量a4并对其进行reshape操作转换成a
4_r
，其中,p4∈(c
p4
×wp4
×hp4
)，a4∈(c
p4
×1×
1)，a
4_r
∈(c
p4
×
(1
×
1))，c
p4
为p4的通道数，w
p4
、h
p4
分别为p4的宽、高。接着将a
4_r
与a
4_rt
相乘后得到通道注意力矩阵f4，其中f4∈(c
p4
×cp4
)。
28.所述step5具体如下：
29.首先将通道注意力矩阵f4使用softmax归一化得到通道权重矩阵，然后再将其乘到p4上为p4赋予通道权重，得到p
4_w
。最后将p
4_w
进行二倍上采样并与经过卷积后的c2进行融合后得到p3，其中，p
4_w
∈(c
p4
×wp4
×hp4
)，c2∈(c
c2
×wc2
×hc2
)，p3∈(c
p3
×wp3
×hp3
)，c
c2
、w
c2
、h
c2
分别为c2的通道数、宽、高，c
p3
、w
p3
、h
p3
分别为p3的通道数、宽、高。其计算过程如下：
30.p3＝conv(cat(conv(c2),upsampling(reshape(softmax(f4)
×
reshape(p4)))))
31.其中的cat表示特征融合。
32.所述step6具体如下：
33.在得到的特征图金字塔中，首先将pan网络中的特征图n3进行一次通道压缩，得到n3的三维空间向量r3并对其进行reshape操作转换成r
3_r
，其中，n3∈(c
n3
×wn3
×hn3
)，r3∈(1
×wn3
×hn3
)，r
3_r
∈(1
×
(w
n3
×hn3
))，c
n3
为n3的通道数，w
n3
为n3的宽度，h
n3
为n3的高度。接着将r
3_r
与r
3_rt
相乘后得到空间注意力矩阵s3，其中s3∈((w
n3
×hn3
)
×
(w
n3
×hn3
))。
34.所述step7具体如下：
35.首先将空间注意力矩阵s3使用softmax归一化得到空间权重矩阵，然后再将其乘到n3上为n3赋予空间权重，得到n
3_w
。最后将n
3_w
进行二倍下采样并与经过卷积后的p4进行融合得到n4，其中，n
3_w
∈(c
n3
×wn3
×hn3
)，p4∈(c
p4
×wp4
×hp4
)，n4∈(c
n4
×wn4
×hn4
)，c
p4
、w
p4
、h
p4
分别为p4的通道数、宽、高，c
n4
、w
n4
、h
n4
分别为n4的通道数、宽、高。其计算过程如下：
36.n4＝conv(cat(conv(p4),downsampling(reshape(softmax(s3)
×
reshape
(n3)))))
37.其中的cat表示特征融合。
38.所述step8具体如下：
39.在step8中对step7中生成的特征图n4进行一次通道压缩，得到n4的三维空间向量r4并对其进行reshape操作转换成r
4_r
，其中,n4∈(c
n4
×wn4
×hn4
)，r4∈(1
×wn4
×hn4
)，r
4_r
∈(1
×
(w
n4
×hn4
))，c
n4
为n4的通道数，w
n4
为n4的宽度，h
n4
为n4的高度。接着将r
4_r
与r
4_rt
相乘后得到空间注意力矩阵s4，其中s4∈((w
n4
×hn4
)
×
(w
n4
×hn4
))。
40.所述step9具体如下：
41.首先将空间注意力矩阵s4使用softmax归一化得到空间权重矩阵，然后再将其乘到n4上为n4赋予空间权重，得到n
4_w
。最后将n
4_w
进行二倍下采样并与经过卷积后的p5进行融合得到n5，其中，n
4_w
∈(c
n4
×wn4
×hn4
)，p5∈(c
p5
×wp5
×hp5
)，n5∈(c
n5
×wn5
×hn5
)，c
p5
、w
p5
、h
p5
分别为p5的通道数、宽、高，c
n5
、w
n5
、h
n5
分别为n5的通道数、宽、高。其计算过程如下：
42.n5＝conv(cat(conv(p5),downsampling(reshape(softmax(s4)
×
reshape(n4)))))
43.其中的cat表示特征融合。
44.所述step10具体如下：
45.通过对最终生成的三层特征图金字塔n3、n4、n5进行检测，生成目标类别与置信度，得到可视化结果。
46.本发明的有益效果是：
47.1.本发明根据遥感图像中小目标特点，将基准网络中提取出的特征图金字塔在fpn网络与pan网络中为每一层特征图赋予不同的注意力，具体为：在fpn网络中，利用语义信息最为丰富的高层特征图，首先对其进行全局池化减少计算量，再计算其各通道之间的关联性来为每个通道附加一个权重，将其与下一层特征图进行融合后达到增强每层特征图语义信息的目的。该方法可以在避免高层粗粒度特征图不准确位置信息对低层细粒度特征图准确位置信息干扰的同时来增强低层特征图的语义信息，可有效缓解遥感图像中复杂背景信息对目标特征的干扰，增强检测器分类能力。
48.2.本发明根据遥感图像中小目标特点，将基准网络中提取出的特征图金字塔在fpn网络与pan网络中为每一层特征图赋予不同的注意力，具体为：在pan网络中，利用空间信息最为丰富的低层特征图，首先对其进行通道压缩减少计算量，再计算其各像素之间的关联性来为每个像素附加一个权重，将其与上一层特征图进行融合后达到增强每层特征图空间信息的目的。该方法可以在避免低层粗粒度特征图不准确语义信息对高层细粒度特征图准确语义信息干扰的同时来增强高层特征图的位置信息，可有效提升遥感图像中目标的细节纹理信息，增强检测器定位能力。
附图说明
49.图1为基于fpn与pan网络的双重注意力的遥感小目标检测方法处理流程图。
具体实施方式
50.为了更好的说明本发明的技术方案，下面结合附图对本发明的具体实施方式进行
详细描述。
51.实施例1：如图1为本发明方法的流程示意图，一种基于fpn与pan网络的双重注意力的遥感小目标检测方法，包括：
52.step1提取遥感图像的特征图金字塔：通过特征提取网络对遥感图像特征进行提取生成特征图金字塔；
53.使用dior遥感图像数据集中的遥感图像作为输入图像，采用yolov5中的cspdark-53特征提取网络对输入的含有船只小目标的遥感图像进行特征提取，选取特征提取网络中的三个不同阶段的包含船只目标特征的特征图组成特征图金字塔，其中每层特征图都为不同尺寸、不同通道，表示为c＝{c2,c3,c4}。用于后续fpn网络中进行跨层融合。
54.step2生成通道注意力矩阵：通过对特征图p5进行矩阵运算得到特征图的通道注意力矩阵f5；
55.在fpn网络中，首先对特征图金字塔中的特征图c4进行一次卷积操作生成顶层特征图p5作为新的顶层特征图，然后再进行通道注意力的计算。在计算通道注意力过程中，首先将特征图p5进行一次全局平均池化，得到p5的三维通道向量a5，然后对其进行reshape操作转换成a
5_r
，并对a
5_r
进行转置得到a
5_rt
。其中,p5∈(c
p5
×wp5
×hp5
)，a5∈(c
p5
×1×
1)，a
5_r
∈(c
p5
×
(1
×
1))，c
p5
为p5的通道数，w
p5
、h
p5
分别为p5的宽高。接着将a
5_r
与a
5_rt
相乘后得到通道注意力矩阵f5，其中f5∈(c
p5
×cp5
)。
56.step3为特征图赋予通道权重并跨层融合：通过将通道权重乘到特征图p5上，得到p
5_w
，接着将其与低层特征图相融；
57.在获得通道注意力矩阵f5后，首先将f5使用softmax归一化得到通道权重矩阵，然后再将其乘到p5上为p5赋予通道权重，得到p
5_w
。最后将p
5_w
进行二倍上采样并与经过卷积后的c3进行融合后得到p4，其中，p
5_w
∈(c
p5
×wp5
×hp5
)，c3∈(c
c3
×wc3
×hc3
)，p4∈(c
p4
×wp4
×hp4
)，c
c3
、w
c3
、h
c3
分别为c3的通道数、宽、高，c
p4
、w
p4
、h
p4
分别为p4的通道数、宽、高。其计算过程如下：
58.p4＝conv(cat(conv(c3),upsampling(reshape(softmax(f5)
×
reshape(p5)))))
59.其中的cat表示特征融合。
60.step4生成通道注意力矩阵：通过对特征图p4进行矩阵运算得到特征图的通道注意力矩阵f4；
61.在step4中对step3中生成的特征图p4进行一次全局平均池化，得到p4的三维通道向量a4并对其进行reshape操作转换成a
4_r
，并对a
4_r
进行转置得到a
4_rt
。其中,p4∈(c
p4
×wp4
×hp4
)，a4∈(c
p4
×1×
1)，a
4_r
∈(c
p4
×
(1
×
1))，c
p4
为p4的通道数，w
p4
、h
p4
分别为p4的宽、高。接着将a
4_r
与a
4_rt
相乘后得到通道注意力矩阵f4，其中f4∈(c
p4
×cp4
)。
62.step5为特征图赋予通道权重并跨层融合：通过将通道权重乘到特征图p4上，得到p
4_w
，接着将其与低层特征图相融；
63.在获得通道注意力矩阵f4后，首先将f4使用softmax归一化得到通道权重矩阵，然后再将其乘到p4上为p4赋予通道权重，得到p
4_w
。最后将p
4_w
进行二倍上采样并与经过卷积后的c2进行融合后得到p3，其中，p
4_w
∈(c
p4
×wp4
×hp4
)，c2∈(c
c2
×wc2
×hc2
)，p3∈(c
p3
×wp3
×hp3
)，c
c2
、w
c2
、h
c2
分别为c2的通道数、宽、高，c
p3
、w
p3
、h
p3
分别为p3的通道数、宽、高。其计算过程如下：
64.p3＝conv(cat(conv(c2),upsampling(reshape(softmax(f4)
×
reshape(p4)))))
65.其中的cat表示特征融合。
66.step6生成空间注意力矩阵：通过对特征图n3进行矩阵运算得到特征图的空间注意力矩阵s3；
67.在pan网络中，首先对step5中生成的特征图p3进行一次卷积操作生成底层特征图n3作为新的底层特征图，然后再进行空间注意力的计算。在计算空间注意力过程中，首先将特征图n3进行一次通道压缩，得到n3的三维空间向量r3并对其进行reshape操作转换成r
3_r
，并对r
3_r
进行转置得到r
3_rt
。其中，n3∈(c
n3
×wn3
×hn3
)，r3∈(1
×wn3
×hn3
)，r
3_r
∈(1
×
(w
n3
×hn3
))，c
n3
为n3的通道数，w
n3
为n3的宽度，h
n3
为n3的高度。接着将r
3_r
与r
3_rt
相乘后得到空间注意力矩阵s3，其中s3∈((w
n3
×hn3
)
×
(w
n3
×hn3
))。
68.step7为特征图赋予空间权重并跨层融合：通过将空间权重乘到特征图n3上，得到n
3_w
，接着将其与高层特征图相融；
69.在获得空间注意力矩阵s3后，首先将s3使用softmax归一化得到空间权重矩阵，然后再将其乘到n3上为n3赋予空间权重，得到n
3_w
。最后将n
3_w
进行二倍下采样并与经过卷积后的p4进行融合得到n4，其中，n
3_w
∈(c
n3
×wn3
×hn3
)，p4∈(c
p4
×wp4
×hp4
)，n4∈(c
n4
×wn4
×hn4
)，c
p4
、w
p4
、h
p4
分别为p4的通道数、宽、高，c
n4
、w
n4
、h
n4
分别为n4的通道数、宽、高。其计算过程如下：
70.n4＝conv(cat(conv(p4),downsampling(reshape(softmax(s3)
×
reshape(n3)))))
71.其中的cat表示特征融合。
72.step8生成空间注意力矩阵：通过对特征图n4进行矩阵运算得到特征图的空间注意力矩阵s4；
73.在step8中对step7中生成的特征图n4进行一次通道压缩，得到n4的三维空间向量r4并对其进行reshape操作转换成r
4_r
，其中,n4∈(c
n4
×wn4
×hn4
)，r4∈(1
×wn4
×hn4
)，r
4_r
∈(1
×
(w
n4
×hn4
))，c
n4
为n4的通道数，w
n4
为n4的宽度，h
n4
为n4的高度。接着将r
4_r
与r
4_rt
相乘后得到空间注意力矩阵s4，其中s4∈((w
n4
×hn4
)
×
(w
n4
×hn4
))。
74.step9为特征图赋予空间权重并跨层融合：通过将空间权重乘到特征图n4上，得到n
4_w
，接着将其与高层特征图相融；
75.在获得空间注意力矩阵s4后，首先将s4使用softmax归一化得到空间权重矩阵，然后再将其乘到n4上为n4赋予空间权重，得到n
4_w
。最后将n
4_w
进行二倍下采样并与经过卷积后的p5进行融合得到n5，其中，n
4_w
∈(c
n4
×wn4
×hn4
)，p5∈(c
p5
×wp5
×hp5
)，n5∈(c
n5
×wn5
×hn5
)，c
p5
、w
p5
、h
p5
分别为p5的通道数、宽、高，c
n5
、w
n5
、h
n5
分别为n5的通道数、宽、高。其计算过程如下：
76.n5＝conv(cat(conv(p5),downsampling(reshape(softmax(s4)
×
reshape(n4)))))
77.其中的cat表示特征融合。
78.step10对特征图进行检测：对pan网络输出的特征图金字塔进行检测并生成最终可视化效果；
79.通过对最终生成的三层特征图金字塔n3、n4、n5进行预测，在遥感图像中标注出船
只小目标的位置并添加类别名称与置信度，得到可视化结果。
80.本实施例中，本发明在最新遥感小目标数据集dior数据集上进行了实验，与大量优秀的目标检测方法进行了比较，比较结果如表1所示，比较的方法包括：双阶段检测方法，即libra r-cnn与dynamic r-cnn；单阶段检测方法，即ssd，yolov3与yolox。其中
“‑”
表示无报告数据，aps表示遥感图像中小目标检测精度，map表示所有类别平均表示精度。
81.在表1可知，本发明所提出方法在dior数据集上较所对比方法均取得最高值。其中，aps指标较次优小目标检测方法yolox高出5.9个百分比。map较次优小目标检测方法yolox高出0.3个百分比。
82.与双阶段目标检测方法对比，本发明所提出方法在dior数据集上较最优双阶段算法libra r-cnn均表现出最优性能。其中，aps指标较libra r-cnn高出8.3个百分比。map较libra r-cnn高出6.3个百分比。
83.表1本发明与其他方法对比
[0084][0085]
本发明提出一种基于fpn与pan网络的双重注意力的遥感小目标检测方法，该方法通过分别计算高层特征图的通道注意力与低层特征图的空间注意力来分别强化特征图中的语义信息与位置信息，可有效抑制遥感图像中背景信息的表达并对小目标细节信息进行再次增强，进而提升模型在遥感图像目标检测任务上的表现能力。
[0086]
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。