一种用于遥感图像中小目标检测的多分支检测方法

1.本发明涉及遥感目标检测技术领域，尤其涉及一种用于遥感图像中小目标检测的多分支检测方法。


背景技术：

2.随着先进航空技术和遥感图像传感器的不断发展，光学遥感图像中的目标检测受到越来越多的研究关注。然而由于遥感目标的尺寸大小不一致，大多数目标尺寸很小，占据的像素较小，导致现有的检测方法较难提取特征。为了检测小目标，主干网络起着重要的作用，一个好的主干网络可以提取更多丰富的特征信息。而现有有关遥感方面的检测方法中，由于其主干网络的特征提取能力不足，导致检测方法在遥感图像中无法取得较好的表现，进而带来的检测效果不太理想。


技术实现要素：

3.针对现有检测方法对小尺寸目标的特征提取能力不足，无法在遥感图像中取得良好的效果的问题，本发明提供一种用于遥感图像中小目标检测的多分支检测方法。
4.本发明提供的一种用于遥感图像中小目标检测的多分支检测方法，包括：
5.步骤1：构建repdarknet主干网络，使用所述repdarknet主干网络对遥感图像进行特征提取，其中，所述repdarknet主干网络包含五个串联的特征提取分支；
6.步骤2：构建跨层融合网络，使用所述跨层融合网络对所述repdarknet主干网络提取到的五个特征图进行跨层特征融合；
7.步骤3：设计边界框回归损失函数，基于所述边界框损失函数和融合后特征得到小目标检测框。
8.进一步地，步骤1中，所述五个串联的特征提取分支按照先后串联顺序分别记作r1分支、r2分支、r3分支、r4分支和r5分支；在所述r4分支和r5分支之间还串联有spp模块；
9.每个特征提取分支均包括第一cbl模块、第二cbl模块、resblock模块和concat模块；其中，r1分支、r2分支、r3分支、r4分支和r5分支中的所述resblock模块的个数按照先后顺序分别为1、2、3、4和5；
10.每个特征提取分支对输入的特征图的处理过程为：特征图先输入至所述第一cbl模块进行处理，所述第一cbl模块输出后的特征图分别输入至所述第二cbl模块和所述resblock模块进行处理；所述第一cbl模块输出的特征图、所述第二cbl模块输出的特征图和所述resblock模块输出的特征图共同输入至所述concat模块进行concat处理，所述concat模块的输出作为当前特征提取分支的输出。
11.进一步地，所述resblock模块包括第三cbl模块、第四cbl模块和一个add模块；
12.所述第一cbl模块输出的特征图依次经过所述第三cbl模块和所述第四cbl模块进行处理；所述第一cbl模块输出的特征图和所述第四cbl模块输出的特征图共同输入至所述add模块进行处理，所述add模块的输出即为所述resblock模块的输出。
13.进一步地，所述第一cbl模块、第二cbl模块、第三cbl模块和第四cbl模块为结构相同的cbl模块，所述cbl模块由浅入深依次包括conv层、bn层和leaky relu层。
14.进一步地，所述spp模块包括：第一最大池化层、第二最大池化层、第三最大池化层和concat模块；
15.r4分支的输出分别输入至第一最大池化层、第二最大池化层、第三最大池化层进行池化处理；然后，三个池化层的输出和r4分支的输出共同输入至所述concat模块进行concat处理。
16.进一步地，其特征在于，步骤2中，所述跨层融合网络对r1分支提取的特征图c1和基于r2分支提取的特征图c2进行concate处理得到融合特征图n2；对r5分支提取的特征图c5直接进行1
×
1卷积操作，将维度降为原来的一半后得到融合特征图n5，对所述融合特征图n5进行上采样；对r4分支提取的特征图c4与上采样后的融合特征图n5进行concat处理得到融合特征图n4；其中，融合特征图n2、n4和上采样前的融合特征图n5的尺度大小分别为152
×
152、38
×
38和19
×
19。
17.进一步地，步骤3中，采用giouloss作为边界框回归损失函数；其中，按照公式(1)计算giou：
[0018][0019]
其中，a和b表示任意形状的边界框，c是最小闭合形状的边界框。
[0020]
本发明的有益效果：
[0021]
(1)构建的repdarknet主干网络作为特征提取网络，同时满足了训练精度和检测速度；实验表明，当应用于dior数据集时，repdarknet的性能优于以darknet为主干网络的yolov4；
[0022]
(2)构建的跨层融合网络，可以更好的融合由主干网络中提取出来的特征信息；
[0023]
(3)优化了边界框回归损失函数，使用较大的输入和giou来改进小目标检测，并将其应用于dior车辆数据集进行测试，最终提高了模型的检测精度，取得了较好的检测效果。
附图说明
[0024]
图1为本发明实施例提供的一种用于遥感图像中小目标检测的多分支检测方法的流程示意图；
[0025]
图2为本发明实施例提供的repdarknet主干网络的结构示意图；
[0026]
图3为本发明实施例提供的特征提取分支和现有技术中的特征提取分支的结构对比示意图；
[0027]
图4为本发明实施例提供的跨层融合网络进行特征融合的示意图。
具体实施方式
[0028]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创
造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0029]
如图1所示，本发明实施例提供一种用于遥感图像中小目标检测的多分支检测方法，包括：
[0030]
s101：构建repdarknet主干网络，使用所述repdarknet主干网络对遥感图像进行特征提取；
[0031]
图2本发明实施例构建的repdarknet主干网络的结构示意图。如图2所示，所述repdarknet主干网络包含五个串联的特征提取分支，所述五个串联的特征提取分支按照先后串联顺序分别记作r1分支、r2分支、r3分支、r4分支和r5分支；在所述r4分支和r5分支之间还串联有spp模块；
[0032]
具体地，尺度大小为608*608*3的遥感图像先输入至r1分支进行处理，r1分支输出的特征图再进入r2分支进行处理，r2分支输出的特征图再进入r3分支进行处理，r3分支输出的特征图再进入r4分支进行处理，r4分支输出的特征图经spp模块处理后再输入至r5分支进行处理，至此，特征提取过程结束。
[0033]
作为一种可实施方式，每个特征提取分支均包括第一cbl模块、第二cbl模块、resblock模块和concat模块；其中，r1分支、r2分支、r3分支、r4分支和r5分支中的所述resblock模块的个数(即图中layer的取值)按照先后顺序分别为1、2、3、4和5。其中，每个特征提取分支对输入的特征图的处理过程为：特征图先输入至所述第一cbl模块进行处理，所述第一cbl模块输出后的特征图分别输入至所述第二cbl模块和所述resblock模块进行处理；所述第一cbl模块输出的特征图、所述第二cbl模块输出的特征图和所述resblock模块输出的特征图共同输入至所述concat模块进行concat处理，所述concat模块的输出作为当前特征提取分支的输出。
[0034]
具体地，如图3所示，本发明中的每个特征提取分支rn(n＝1,2,3,4,5)是一个简单但功能强大的三分支结构，对应的功能函数可以表示为：
[0035]
y＝f(x) g(x) x
[0036]
其中，f(x)表示第二cbl模块的功能函数，即cbl操作，g(x)表示resblock模块的功能函数，x表示输入的特征图。
[0037]
如图3所示，现有技术中的cspdarknet结构为两分支结构，在卷积过程中，会逐渐丢失小目标的特征信息；而本发明中的特征提取分支为三分支结构，在卷积过程中，能够将上层信息直接传输至下一层，丰富了深层网络的特征信息，尤其是小目标的特征信息。
[0038]
在卷积过程中，cnn会逐渐丢失小目标的特征信息，而rep模块则是将上层信息直接传输至下一层，丰富了深层网络的特征信息，尤其是小目标的特征信息
[0039]
作为一种可实施方式，所述resblock模块包括第三cbl模块、第四cbl模块和一个add模块；所述第一cbl模块输出的特征图依次经过所述第三cbl模块和所述第四cbl模块进行处理；然后，所述第一cbl模块输出的特征图和所述第四cbl模块输出的特征图共同输入至所述add模块进行处理，所述add模块的输出即为所述resblock模块的输出。
[0040]
在本发明实施例中，所述第一cbl模块、第二cbl模块、第三cbl模块和第四cbl模块为结构相同的cbl模块，所述cbl模块由浅入深依次包括conv层、bn层和leaky relu层。
[0041]
作为一种可实施方式，所述spp模块包括：第一最大池化层、第二最大池化层、第三最大池化层和concat模块；r4分支的输出分别输入至第一最大池化层、第二最大池化层、第
三最大池化层进行池化处理；然后，三个池化层的输出和r4分支的输出共同输入至所述concat模块进行concat处理。
[0042]
s102：构建跨层融合网络，使用所述跨层融合网络对所述repdarknet主干网络提取到的五个特征图进行跨层特征融合；
[0043]
如图4所示，所述跨层融合网络对r1分支提取的特征图c1和基于r2分支提取的特征图c2进行concat处理得到融合特征图n2；对r5分支提取的特征图c5直接进行1
×
1卷积操作，将维度降为原来的一半后得到融合特征图n5，对融合特征图n5进行上采样，确保上采样后的融合特征图n5与r4分支提取的特征图c4的尺度大小保持一致；对r4分支提取的特征图c4与上采样后的融合特征图n5进行concat处理得到融合特征图n4；其中，融合特征图n2、n4和上采样前的融合特征图n5的尺度大小分别为152
×
152、38
×
38和19
×
19。
[0044]
本发明中的跨层融合网络，通过在浅层(r1分支和r2分支)添加检测头，然后对r1分支、r2分支、r4分支和r5分支的特征图实现跨层特征融合，融合了高层特征图，为待检测目标的特征图提供了丰富的上下文信息，从而提高了小目标探测精度。
[0045]
s103：设计边界框回归损失函数，基于所述边界框损失函数和融合后特征得到小目标检测框。
[0046]
作为一种可实施方式，采用giouloss作为边界框回归损失函数；其中，按照公式(1)计算giou：
[0047][0048]
其中，a和b表示任意形状的边界框，c是最小闭合形状的边界框。
[0049]
具体地，现有技术中，iou loss事实上存在两个问题：(1)当预测框和目标框不相交时，也就是当iou＝0时，无法反映两个框距离的远近，此时损失函数不可导，所以iou loss无法优化两个框不相交的情况。(2)当两个预测框和同一个目标框相重叠，且两者iou相同，这时iouloss对两个预测框的惩罚相同，无法区分两个预测框与真实框的相交情况。针对上述的两个问题，本发明采用giouloss作为边界框回归损失函数，解决了边界框不重合时的问题。
[0050]
针对现有检测方法对小尺寸目标的特征提取能力不足，无法在遥感图像中取得良好的效果的问题，首先，本发明构建的repdarknet主干网络作为特征提取网络可以提取遥感图像(例如汽车类遥感图像)中小目标的丰富特征信息。其次，本发明构建的跨层融合网络能够更好地融合由主干网络提出的特征信息。最后，本发明还改进了边界框回归损失函数，在实验过程中，我们通过使用较大的输入和giou来改进小目标检测，进一步提高了小目标的检测准确度。
[0051]
为了验证本发明所提供的多分支检测方法的有效性，本发明还分别在dior数据集和nwpu vhr-10数据集上进行了实验，实验结果表明，f1-score、recall、precision、map等各项指标均有所提高，与现有较为先进的方法相比，本发明提出的方法达到了较优的实验效果，这些结果对改进基于航空遥感图像的目标检测技术具有实际意义。
[0052]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可
以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。