一种可见光-红外自适应融合无人机检测方法及系统

摘要: 本发明涉及计算机视觉与图像处理,尤其涉及一种可见光-红外自适应融合无人机检测方法及系统。背景技术:1、近年来,无人机技术得到了极大的发展,无人机凭借成本低,机动...
一种可见光-红外自适应融合无人机检测方法及系统

本发明涉及计算机视觉与图像处理,尤其涉及一种可见光-红外自适应融合无人机检测方法及系统。

背景技术:

1、近年来,无人机技术得到了极大的发展,无人机凭借成本低,机动性强和部署灵活等特点,被广泛应用于军事、应急救援等领域。然而,无人机的快速普及也带来了违规飞行等问题。因此如何对重点区域内的无人机目标进行及时、准确的检测与识别,已成为低空安全防护中的重要内容。受无人机飞行高度、运动状态以及环境光照变化等因素影响,单一可见光传感器在复杂环境下容易出现目标信息缺失的问题,红外成像能够利用目标与背景之间的热辐射差异获取目标信息,在低照度或夜间环境下具有较好的适应能力。因此,将可见光图像与红外图像进行联合利用,可以在一定程度上发挥不同成像模态之间的互补作用,提高复杂环境下目标检测的稳定性和可靠性。

2、然而,在实际情况下,可见光传感器与红外传感器通常并非完全处于相同的成像条件,两种传感器在安装位置、光学参数、焦距、视场范围以及成像时刻等方面可能存在差异,使得针对同一目标获得的可见光图像和红外图像难以实现严格的一一空间对应。尤其在无人机存在姿态变化或目标处于运动状态时,不同模态图像之间还可能产生不同程度的平移、尺度变化以及局部位置偏差。因此,直接将两种模态对应位置的特征进行拼接、相加或加权融合,容易使并不对应的特征发生交互,进而造成目标边缘、局部纹理及语义信息的混淆,降低后续检测网络对目标真实特征的表达能力。

3、另一方面,可见光与红外图像具有不同的成像机理和信息表达方式。可见光图像通常能够提供较为丰富的颜色、纹理和边缘细节,但其图像质量容易受到光照、天气及遮挡等因素影响;红外图像主要反映目标的热辐射特征,在复杂光照环境下具有一定优势,但通常缺少可见光图像中的颜色和细粒度纹理信息。因此,两种模态之间既存在能够相互补充的有效信息,也存在分布差异较大的模态特有信息以及重复、冲突甚至不可靠的信息。现有部分多模态检测方法在融合过程中难以根据不同位置、不同通道以及不同场景下两种模态的可靠程度进行动态调整,容易将冗余信息和模态冲突信息一并引入融合特征,从而影响目标检测的准确性。

4、此外,待检测无人机通常具有尺寸较小、背景复杂、目标尺度变化明显等特点,仅依赖局部范围内的特征交互可能难以充分建立可见光与红外模态之间的长距离关联关系,而直接采用计算量较大的全局特征交互又会增加网络的计算负担。因此,如何在解决不同模态空间错位的基础上,进一步区分两种模态中的有效信息与冗余信息,并根据目标所在区域的实际特征动态确定不同模态信息的融合程度,从而提高多模态特征融合的有效性,同时兼顾检测实时性和计算资源的要求,仍是现有可见光-红外无人机目标检测技术中需要进一步解决的技术问题。

技术实现思路

1、本发明所要解决的技术问题是克服现有技术中存在的不足,提供一种可见光-红外自适应融合无人机检测方法及系统。

2、本发明是通过以下技术方案予以实现:

3、一种可见光-红外自适应融合无人机检测方法,包括如下步骤:

4、s1.对可见光图像和红外图像进行多尺度特征提取,获得可见光特征图和红外特征图;

5、s2.从成对的所述可见光特征图和红外特征图中学习一种自适应的几何变换,得到对齐后的可见光特征和红外特征;

6、s3.通过建模两种模态的响应差异,将对齐后的可见光特征和红外特征在两个方向上进行自适应校正;

7、s4.将经过校正的可见光特征和红外特征利用全局感受野实现不同模态的信息交互,并通过轻量的空间门控机制以动态融合可见光特征和红外特征。

8、根据上述技术方案,优选地,步骤s2中,将红外模态作为参考模态,可见光模态作为感知模态,将可见光特征对齐到红外特征的空间坐标系下。

9、根据上述技术方案,优选地,步骤s2包括:

10、s21.将可见光特征图和红外特征图进行拼接,得到跨模态特征表达:

11、,

12、其中,h、w分别代表特征图高度和宽度;

13、s22.将拼接后的所述跨模态特征送入一个轻量级仿射参数预测网络以预测空间变换矩阵:

14、,

15、其中,表示仿射参数预测网络;

16、s23.将池化后的特征展平送入线性投影层以预测仿射变换参数θ,θ表示为:

17、,

18、对于参考模态坐标系中的任意坐标,其在感知模态特征图中的采样坐标可表示为:

19、,

20、即:

21、,

22、,

23、其中,和分别表示水平方向和垂直方向的平移参数,a和d分别水平方向和垂直方向的尺度变换参数,b和c使该变换能够描述旋转、倾斜的空间变化;

24、s24.将映射关系应用于红外特征图的所有空间位置,得到完整的采样网格,并采用双线性插值方式对可见光特征图进行网格采样,得到对齐后的可见光特征:

25、,

26、其中表示网格采样。

27、根据上述技术方案,优选地,步骤s3中,通过卷积将对齐后的可见光特征和红外特征映射到统一的特征空间中,映射后的可见光特征和红外特征分别表示为:

28、,

29、,

30、其中, 和分别表示可见光分支与红外分支的卷积投影函数。

31、根据上述技术方案,优选地,步骤s3中,以可见光特征校正红外特征时,包括:

32、s311.计算可见光特征与红外特征之间的差异特征:

33、;

34、s312.基于所述差异特征分别生成通道校正权重和空间校正权重:

35、,

36、,

37、其中,表示由两个1×1卷积层和silu激活函数组成的轻量级映射函数,avgpool和maxpool分别表示平均池化和最大池化,表示双曲正切激活函数;表示沿通道维度进行拼接,表示使用7×7大小的卷积,表示sigmoid激活函数;

38、s313.在得到所述通道校正权重和空间校正权重后,分别计算通道校正补偿项和空间校正补偿项:

39、,

40、,

41、其中,表示逐元素乘法;

42、s314.将所述通道校正补偿项和空间校正补偿项以残差方式注入红外特征,得到校正后的红外特征:

43、,

44、其中,和分别用于控制通道级校正项和空间级校正项的贡献强度。

45、根据上述技术方案,优选地,步骤s3中,以红外特征校正可见光特征时,包括:

46、s321.计算红外特征与可见光特征之间的差异特征:

47、;

48、s322.基于所述差异特征分别生成通道校正权重和空间校正权重:

49、,

50、,

51、其中,表示由两个1×1卷积层和 silu 激活函数组成的轻量级映射函数,avgpool和maxpool分别表示平均池化和最大池化,表示双曲正切激活函数,表示沿通道维度进行拼接,表示使用7×7大小的卷积,表示sigmoid激活函数;

52、s323.在得到所述通道校正权重和空间校正权重后,分别计算通道校正补偿项和空间校正补偿项:

53、,

54、;

55、s324.将所述通道校正补偿项和空间校正补偿项以残差方式注入可见光特征,得到校正后的可见光特征:

56、。

57、根据上述技术方案,优选地,步骤s4中,利用全局感受野实现不同模态的信息交互,包括:

58、s411.将经过校正的可见光特征和红外特征展平为空间序列后的可见光特征和红外特征,表示为:

59、,

60、,

61、其中,,;

62、s412.对两种模态的特征分别进行线性投影,生成两种模态的查询、键和值,表示为:

63、,

64、,

65、,

66、,

67、,

68、,

69、其中,是可学习的线性变换矩阵,通过可学习线性投影生成q、k和v表示,能够对每个空间位置的通道语义进行自适应重编码,在不引入额外空间建模复杂度的情况下,能为跨模态注意力提供具有判别性的token表征;

70、s413.使用自引导机制,即每个模态的查询和键来自自身模态,以使用自身的特征结构来组织信息,而值特征来自另一个模态,用于引入红外模态中的互补特征:

71、,

72、,

73、,

74、,

75、其中,为单个注意力头的通道维度,和来自可见光分支,来自红外分支,和来自红外分支,来自可见光分支,和是增强后的可见光和红外特征;

76、s414.在得到跨模态增强特征后,通过线性投影将特征映射回原始通道维度,并通过可学习残差缩放与归一化稳定训练过程:

77、,

78、,

79、其中,ln表示归一化层,,为投影矩阵,用于将注意力的结果映射回原始通道数c,,为可学习缩放因子,并在初始化时设为0;

80、s415.将增强后的序列特征恢复为空间特征图:

81、,

82、,

83、其中,表示将尺寸为的序列特征恢复为尺寸为的空间特征图,且。

84、根据上述技术方案,优选地,步骤s4中,通过轻量的空间门控机制以动态融合可见光特征和红外特征,包括:

85、s421.将增强后的特征在通道维度进行拼接,并对通道维度特征信息进行交互与提取:

86、,

87、其中,表示门控特征,表示卷积核大小为1×1的卷积运算;

88、s422.将输出特征输入sigmoid函数,动态预测取值范围为0-1的门控,并通过得到红外特征权重:

89、,

90、其中,为空间位置级融合权重,表示sigmoid函数;

91、s423.使用门控和对可见光特征以及红外特征分别逐元素相乘,并对相乘后的结果进行相加,生成最后的融合后的特征:

92、,

93、其中,表示逐元素乘法。

94、本技术还公开了一种可见光-红外自适应融合无人机检测系统,基于上述一种可见光-红外自适应融合无人机检测方法,包括:

95、特征提取模块,用于对可见光图像和红外图像进行多尺度特征提取,获得可见光特征图和红外特征图;

96、几何特征对齐模块,用于从成对的所述可见光特征图和红外特征图中学习一种自适应的几何变换,得到对齐后的可见光特征和红外特征;

97、差异感知特征校正模块,用于通过建模两种模态的响应差异,将对齐后的可见光特征和红外特征在两个方向上进行自适应校正;

98、自引导跨模态门控融合模块,用于将经过校正的可见光特征和红外特征利用全局感受野实现不同模态的信息交互,并通过轻量的空间门控机制以动态融合可见光特征和红外特征。

99、本发明的有益效果是:

100、本发明能够针对可见光-红外无人机检测过程中存在的空间错位、模态响应差异以及信息冗余和冲突等问题,对不同模态特征进行由空间对齐、双向校正、全局交互到动态融合的逐级处理,使可见光和红外模态中的互补信息得到更加充分的利用,并抑制无效及冲突信息的传播,从而提高融合特征的表征能力以及复杂环境下无人机目标检测的准确性和稳定性。

101、与现有的可见光-红外无人机检测方法相比,本发明通过构建由多尺度特征提取、几何特征对齐、差异感知特征校正以及自引导跨模态门控融合组成的处理过程,对可见光模态与红外模态之间存在的空间位置偏差、响应差异以及信息冗余和模态冲突进行逐级处理,从而提高不同成像模态之间的信息对应程度和融合有效性,尤其适用于复杂环境下的无人机目标检测。