一种基于跨模态多尺度增强的无人机小目标检测方法

本发明属于计算机视觉和多模态目标检测，主要涉及一种基于跨模态多尺度增强的无人机小目标检测方法。

背景技术：

1、无人机具有机动灵活、部署便捷和观测范围广等优势，已广泛应用于低空巡检、海域监视、交通监管、应急救援和安防侦察等任务。在上述应用中，无人机通常需要对地面、海面以及空中的目标进行实时检测。由于无人机平台成像视角高、观测距离远、飞行姿态不断变化，目标在图像中往往呈现尺度小、外观弱、形态变化大和背景干扰强等特点。由于可见光图像仅在光照充足、背景清晰的条件下具有较好的目标辨识能力，因此工业和学术领域广泛引入红外图像以解决可见光目标特征退化问题，并在弱光、夜间和部分复杂天气条件下展现出一定优势。同时，红外图像通常分辨率较低并且纹理细节不足，舰船、飞机和无人机等目标在远距离成像时表现为弱小斑点或低对比度区域，且易受热源背景、海面反射、建筑热干扰和传感器噪声的影响，单一模态图像难以在多场景、多类别和多尺度条件下稳定完成目标检测任务。因此，如何在无人机图像中实现稳定、准确的小目标检测，是低空感知系统中的关键问题。

2、为提升无人机目标检测鲁棒性，红外-可见光双模态融合检测成为一种重要技术路线。现有红外-可见光融合检测方法主要包括早期拼接融合、特征级融合和决策级融合等方式。早期拼接融合方法通常将红外和可见光图像在通道维度直接拼接，并输入同一检测网络。该方式结构简单，但由于两种模态的成像机制、灰度分布、噪声特征和目标响应方式存在差异，直接拼接容易造成模态信息混杂，使网络难以分别学习可见光纹理特征和红外热辐射特征。决策级融合方法通常分别对两种模态进行检测，再对检测结果进行合并，该方式能够保留模态独立性，但难以在特征表达阶段实现细粒度互补，且容易受到单模态检测误差影响。特征级融合方法能够在网络中间层对两种模态特征进行交互，是目前较常用的融合方式，但现有方法仍存在融合位置单一、融合方式简单和跨模态相关关系建模不足等问题。

3、在无人机目标检测场景中，目标类别多、尺度跨度大、成像姿态复杂，不同类别目标在不同模态中的特征响应存在明显差异，仅通过简单加和、简单拼接或单尺度注意力融合，难以充分挖掘红外特征与可见光特征之间的互补关系。同时，小目标经过多次网络下采样后容易在深层特征图中丢失，导致漏检率升高和定位精度下降。常规目标检测网络多依赖中高层语义特征进行检测，虽然有利于大目标和中等目标识别，但对远距离小尺寸目标的空间定位能力不足。对于无人机平台下的多类别目标检测任务，仅依靠深层低分辨率特征难以同时满足小目标定位和类别判别需求。因此，现有技术至少存在以下不足。第一，红外图像与可见光图像存在跨模态域间差异，早期拼接融合容易造成模态信息混杂，难以充分保留两种模态各自的有效特征，现有特征融合方法缺乏针对跨模态特征互补关系和共同目标响应的专门建模机制，难以突出两种模态中共同指向真实目标的有效信息，导致复杂背景下融合特征的判别能力不足。第二，无人机远距离成像的行人、舰船、车辆和飞机等目标常表现为小尺寸、弱纹理或低对比度目标，现有检测网络在多次下采样后容易丢失小目标空间位置信息，单一尺度融合难以兼顾浅层空间细节、中层结构特征和深层语义信息，从而导致检测定位不稳定和漏检问题。

技术实现思路

1、为了克服现有技术的不足，提升复杂背景下融合特征的判别能力，提升小目标成像检测的精度，降低漏检率，本发明提供一种基于跨模态多尺度增强的无人机小目标检测方法。

2、本发明的目的在于提供一种基于跨模态多尺度增强的无人机小目标检测方法，以解决现有双模态目标检测方法存在的跨模态互补性建模不足、小目标特征易丢失和多尺度融合不充分等问题。本发明通过构建红外-可见光双分支特征提取网络，在多个尺度上设置跨模态协同响应增强模块，并将增强融合特征分别反馈至可见光分支和红外分支，使网络在保持模态独立表征能力的同时增强跨模态互补信息利用能力。进一步地，本发明在检测头中保留高分辨率小目标检测分支，以增强无人机小目标的定位能力。

3、本发明解决其技术问题采用的方案包括如下步骤：

4、步骤s1：构建数据集；所述数据集中包括若干红外-可见光图像对；所述若干红外-可见光图像对为以时间顺序获取同一观测位置下、同一场景下并经过预处理的可见光图像和红外图像；所述红外-可见光图像对中的每张图像均标注目标类别和目标边界框；

5、步骤s2：构建红外-可见光双模态检测网络，使用数据集对红外-可见光双模态检测网络进行训练，当训练轮数达到预设训练轮数，或者目标检测总损失函数l连续若干轮内下降幅度小于预设阈值，则获得最优红外-可见光双模态检测网络；

6、所述红外-可见光双模态检测网络包括双分支主干网络、多尺度颈部特征融合模块和检测头模块；所述双分支主干网络分别对可见光图像和红外图像进行特征提取后，将可见光图像和红外图像相同尺度下的特征进行融合，获得不同尺度下的第二拼接特征、第三融合特征、第四融合特征和第五融合特征；再将第二拼接特征、第三融合特征、第四融合特征和第五融合特征输入多尺度颈部特征融合模块，通过自顶向下和自底向上的双向金字塔结构融合处理，将深层语义信息传递至高分辨率特征，并将浅层空间细节信息回传至深层特征层，获得第三颈部特征、第四颈部特征、第五颈部特征和第六颈部特征；最后将第三颈部特征、第四颈部特征、第五颈部特征和第六颈部特征输入检测头模块进行分类检测；

7、步骤s3：将待检测的可见光图像和红外图像输入最优红外-可见光双模态检测网络，即获得检测结果，所述检测结果包括目标边界框、类别概率和置信度。

8、更进一步的，所述预处理的过程为：

9、以时间顺序获取同一观测位置下、同一场景下的原始可见光图像和原始红外图像，对获取的原始可见光图像和原始红外图像进行配对，并进行尺寸统一和同步数据增强处理，获得红外-可见光图像对；

10、所述同步数据增强处理包括随机缩放、随机翻转、随机裁剪、随机平移和mosaic数据增强中的一种或多种；

11、同步数据增强对可见光图像和红外图像的目标边界框进行相同的几何变换，以保证两种模态图像在增强后仍保持空间对应关系；

12、所述目标类别包括行人、舰船、汽车、公交车、自行车、飞机和无人机；所述边界框为归一化坐标，表示为：

13、；

14、其中，和表示边界框中心点坐标，表示边界框宽度，表示边界框高度。

15、更进一步的，所述双分支主干网络包括可见光特征提取分支、红外特征提取分支、通道拼接模块、第三跨模态协同响应增强模块、第四跨模态协同响应增强模块和第五跨模态协同响应增强模块；可见光特征提取分支的输入为可见光图像；红外特征提取分支的输入为红外图像；

16、所述可见光特征提取分支包括依次串联的第一阶段模块p1、第二阶段模块p2、第三阶段模块p3、第四阶段模块p4和第五阶段模块p5；所述可见光特征提取分支的输出为可见光高分辨特征、中分辨率第一特征、中分辨率第二特征和语义特征；所述第二阶段模块p2的输出可见光高分辨特征；所述第三阶段模块p3的输出为可见光中分辨率第一特征；所述第四阶段模块p4的输出为可见光中分辨率第二特征；所述第五阶段模块p5的输出为可见光语义特征；所述第一阶段模块p1、第二阶段模块p2、第三阶段模块p3、第四阶段模块p4和第五阶段模块p5均包括依次连接的卷积下采样层conv和c2f模块，按照网络深度逐级提取不同分辨率的特征；

17、所述红外特征提取分支的结构与可见光特征提取分支的结构相同；所述红外特征提取分支的输出为红外高分辨特征、红外中分辨率第一特征、红外中分辨率第二特征和红外语义特征；

18、所述红外特征提取分支第二阶段模块p2的输出为红外高分辨特征；所述红外特征提取分支第三阶段模块p3的输出为红外中分辨率第一特征；所述红外特征提取分支第四阶段模块p4的输出为红外中分辨率第二特征；所述红外特征提取分支第五阶段模块p5的输出为红外语义特征；

19、所述通道拼接模块的输入为可见光高分辨特征和红外高分辨特征；通道拼接模块的输出为第二拼接特征；

20、所述第三跨模态协同响应增强模块、第四跨模态协同响应增强模块和第五跨模态协同响应增强模块均为特征协同增强模块；

21、所述第三跨模态协同响应增强模块的输入为可见光中分辨率第一特征和红外中分辨率第一特征；所述第三跨模态协同响应增强模块的输出为第三融合特征；

22、所述第四跨模态协同响应增强模块的输入为可见光中分辨率第二特征和红外中分辨率第二特征；所述第四跨模态协同响应增强模块的输出为第四融合特征；

23、所述第五跨模态协同响应增强模块的输入为可见光语义特征和红外语义特征；所述第五跨模态协同响应增强模块的输出为第五融合特征。

24、更进一步的，所述特征协同增强模块包括依次连接的通道拼接单元、通道交互单元、注意力单元、双路投影输出单元、残差反馈增强模块和特征拼接单元；

25、所述特征协同增强模块的输入包括可见光特征和红外特征；

26、所述通道拼接单元将可见光特征和红外特征进行拼接，获得跨模态联合特征：

27、；

28、跨模态联合特征的通道数为，c表示尺度s下可见光特征和红外特征的通道数，二者的通道数均为 c，表示通道维度拼接操作；

29、所述通道交互单元包括依次连接的第一通道卷积组、第二通道卷积组、第三通道卷积组，每个通道卷积组均包括1×1卷积层、批归一化层和relu激活函数；所述通道交互单元的输入为跨模态联合特征；所述通道交互单元的输出为跨模态中间特征；所述第一通道卷积、第二通道卷积和第三通道卷积均为卷积；其中，表示跨模态通道交互映射函数，表示跨模态中间特征；

30、所述注意力单元包括依次连接的全局平均池化、第一注意力卷积、第二注意力卷积和sigmoid激活函数；

31、所述注意力单元的输入为跨模态中间特征；所述注意力单元的输出为跨模态协同响应特征；

32、；

33、表示逐元素乘法，表示通道注意力权重；

34、；

35、；

36、表示全局平均池化操作；

37、所述双路投影输出单元将跨模态协同响应特征映射分别映射为可见光增强特征和红外增强特征；

38、所述残差反馈增强模块的输入为可见光增强特征、红外增强特征、可见光特征和红外特征；所述残差反馈增强模块的输出分别为残差反馈增强可见光特征和残差反馈增强红外特征：

39、；

40、；

41、所述特征拼接单元的输入为残差反馈增强可见光特征和残差反馈增强红外特征；特征拼接单元将残差反馈增强可见光特征和残差反馈增强红外特征按照通道进行拼接，获得融合特征。

42、更进一步的，所述多尺度颈部特征融合模块包括自顶向下特征融合模块和自底向上特征融合模块；

43、所述自顶向下特征融合模块包括第一上采样融合单元、第二上采样融合单元和第三上采样融合单元；

44、所述第一上采样融合单元包括依次连接的第一上采样模块和第一c2f模块；第一上采样融合单元的输入包括第五融合特征和第四融合特征；第五融合特征作为第一上采样模块的输入，第一上采样模块的输出与第四融合特征通道拼接后输入第一c2f模块，第一c2f模块的输出为第一颈部特征；

45、所述第二上采样融合单元包括依次连接的第二上采样模块和第二c2f模块；第二上采样融合单元的输入包括第一颈部特征和第三融合特征；第一颈部特征作为第二上采样模块的输入，第二上采样模块的输出与第三融合特征通道拼接后输入第二c2f模块，第二c2f模块的输出为第二颈部特征；

46、所述第三上采样融合单元包括依次连接的第三上采样模块和第三c2f模块；第三上采样融合单元的输入包括第二颈部特征和第二拼接特征；第二颈部特征作为第三上采样模块的输入，第三上采样模块的输出与第二拼接特征通道拼接后输入第三c2f模块，第三c2f模块的输出为第三颈部特征；

47、所述自底向上特征融合模块包括第一下采样融合单元、第二下采样融合单元和第三下采样融合单元；

48、所述第一下采样融合单元包括依次连接的第一下采样模块和第四c2f模块；第一下采样融合单元的输入包括第三颈部特征和第二颈部特征；第三颈部特征作为第一下采样模块的输入，第一下采样模块的输出与第二颈部特征通道拼接后输入第四c2f模块，第四c2f模块的输出为第四颈部特征；

49、所述第二下采样融合单元包括依次连接的第二下采样模块和第五c2f模块；第二下采样融合单元的输入包括第四颈部特征和第一颈部特征；第四颈部特征作为第二下采样模块的输入，第二下采样模块的输出与第一颈部特征通道拼接后输入第五c2f模块，第五c2f模块的输出为第五颈部特征；

50、所述第三下采样融合单元包括依次连接的第三下采样模块和第六c2f模块；第三下采样融合单元的输入包括第五颈部特征和第五融合特征；第五颈部特征作为第三下采样模块的输入，第三下采样模块的输出与第五融合特征通道拼接后输入第六c2f模块，第六c2f模块的输出为第六颈部特征。

51、更进一步的，所述检测头模块包括小目标检测头、中小目标检测头、中等目标检测头、大目标检测头和候选结果筛选模块；

52、所述小目标检测头的输入为第三颈部特征；所述小目标检测头的输出为小目标检测结果；

53、所述中小目标检测头的输入为第四颈部特征；所述中小目标检测头的输出为中小目标检测结果；

54、所述中等目标检测头的输入为第五颈部特征；所述中等目标检测头的输出为中等目标检测结果；

55、所述大目标检测头的输入为第六颈部特征；所述大目标检测头的输出为大目标检测结果；

56、所述大目标检测结果、中等目标检测结果、中小目标检测结果和小目标检测结果均包括目标检测框、置信度和类别概率；

57、所述候选结果筛选模块首先计算大目标检测结果、中等目标检测结果、中小目标检测结果和小目标检测结果中置信度和类别概率的乘积，保留乘积大于预设信度阈值的检测结果作为候选检测结果；候选检测结果按照置信度和类别概率的乘积由高到低进行排序，并基于预测的目标检测框之间的交并比执行非极大值抑制处理，去除与高置信度预测的目标检测框重叠程度大于预设交并比阈值的目标检测框，得到最终检测结果。

58、更进一步的，目标检测总损失函数l为：

59、；

60、其中， 、、分别表示边界框回归损失、类别分类损失和分布焦点损失，、和分别为边界框回归损失、类别分类损失和分布焦点损失的权重系数。

61、本发明的有益效果是：

62、本发明通过构建红外-可见光双分支主干网络，使可见光图像和红外图像分别进行特征提取，能够在保持两种模态独立表征能力的基础上，避免早期直接拼接造成的模态信息混杂问题；通过在多个尺度上设置跨模态协同响应增强模块，对红外特征与可见光特征之间的互补信息和共同目标响应进行建模，并通过残差反馈方式将跨模态协同响应信息分别注入对应模态分支，从而增强复杂背景下融合特征的判别能力；通过引入包含高分辨率小目标检测分支的多尺度颈部特征融合结构，将深层语义信息与浅层空间细节信息进行充分交互，能够有效缓解小目标特征在多次下采样过程中易丢失的问题，提高弱小目标的定位能力和检测稳定性。

63、与现有红外-可见光双模态检测方法相比，本发明在综合检测精度和目标召回能力方面均取得较优效果。在具体实施例中，本发明在ap、ap50、ap75和ar指标上分别达到22.0%、47.2%、16.5%和36.6%，均高于对比方法tardal、ua-cmdet和cma-det；其中，相较于对比方法中的最优结果，本发明的ap提高3.1个百分点，ap50提高6.3个百分点，ap75提高0.1个百分点，ar提高1.4个百分点，说明本发明能够提升无人机小目标检测的综合精度，并降低复杂场景下的漏检风险。