一种基于频率解耦特征融合Mamba模块的多光谱目标检测方法及装置

摘要: 本发明涉及计算机视觉与图像处理,特别是涉及一种基于频率解耦特征融合mamba模块的多光谱目标检测方法及装置。背景技术:1、多光谱目标检测通过融合红外图像与可见光...
一种基于频率解耦特征融合Mamba模块的多光谱目标检测方法及装置

本发明涉及计算机视觉与图像处理,特别是涉及一种基于频率解耦特征融合mamba模块的多光谱目标检测方法及装置。

背景技术:

1、多光谱目标检测通过融合红外图像与可见光图像的信息,以提升复杂环境下的目标感知能力。其中,可见光图像能够提供丰富的纹理细节信息,而红外图像在低照度或恶劣天气条件下具有更稳定的结构响应,因此二者在信息表达上具有显著的互补性。如何充分挖掘两种模态之间的互补关系,并在融合过程中有效抑制噪声干扰,一直是多光谱目标检测领域的重要研究问题。

2、现有多光谱目标检测方法大多直接在空间域对双模态特征进行融合,例如通过特征拼接、加权叠加或注意力机制等方式实现跨模态信息交互。然而,这类方法通常将特征视为统一整体进行处理,缺乏对不同频率信息的差异化建模能力。在实际场景中,低频信息往往包含目标的整体结构和轮廓,而高频信息则更多反映纹理细节与边缘特征。如果在融合过程中未能对不同频率成分进行有效区分,容易导致结构信息与细节信息相互干扰,从而影响最终检测性能。

3、另一方面,近年来现有技术方案尝试引入具有全局建模能力的网络结构以增强特征表达能力。然而传统全局建模方法通常依赖复杂的注意力计算机制,在处理高分辨率图像或多尺度特征时容易带来较高的计算开销,影响模型的推理效率。同时,对于多模态特征而言,如何在保持全局建模能力的同时兼顾计算效率,也是当前研究中的一项挑战。

4、因此,亟需提出一种基于频率解耦特征融合mamba模块的多光谱目标检测方法及装置,在特征融合过程中对不同频率信息进行有效解耦,并结合高效的全局建模机制提升跨模态特征表达能力,从而在保证计算效率的同时提高多光谱目标检测的准确性与鲁棒性。

技术实现思路

1、为了解决上述现有技术存在的问题,本发明的目的是提出一种基于频率解耦特征融合mamba模块的多光谱目标检测方法及装置,以解决现有多光谱目标检测方法在特征融合过程中存在的高频信息与低频信息差异化表征不足、跨模态特征交互存在冗余以及全局建模能力受限等问题。

2、为实现上述目的,本发明提供了如下方案:

3、一种基于频率解耦特征融合mamba模块的多光谱目标检测方法,包括:

4、同步采集目标场景的红外图像与可见光图像,将所述红外图像与所述可见光图像输入多光谱目标检测模型,获取目标检测结果;所述多光谱目标检测模型利用训练集训练获得;

5、通过所述多光谱目标检测模型的双流主干网络分别提取红外图像的结构信息与可见光图像的纹理信息,并基于频率解耦特征融合mamba模块对所述结构信息和所述纹理信息进行跨模态融合。

6、可选地,所述多光谱目标检测模型包括:

7、双流主干网络,用于分别提取所述红外图像的全局结构特征与所述可见光图像的精细纹理特征,以构建模态特有的基础表征;

8、频率解耦特征融合mamba模块,用于在频率域对所述全局结构特征和精细纹理特征进行分量解耦与跨模态全局语义交互,抑制模态间信息冗余并获取互补增强的融合特征;

9、颈部网络,用于对所述融合特征进行多尺度特征聚合与增强,获取兼顾深层语义与底层细节的多尺度特征图序列;

10、检测头,配置为接收所述多尺度特征图序列,并基于此执行目标分类与边界框回归预测,以输出所述目标检测结果。

11、可选地,对所述结构特征和所述纹理特征进行跨模态融合包括:

12、频率域分解与解耦:利用频域变换技术对所述全局结构特征与精细纹理特征进行分量提取,获取表征宏观拓扑分布的低频分量与表征局部边缘细节的高频分量;

13、基于mamba的低频全局建模:利用mamba结构的线性计算复杂度与长距离依赖建模能力,对所述低频分量执行跨模态全局语义建模与增强,以捕获复杂的场景上下文关联;

14、高频细节增强与动态交互:对所述高频分量执行局部细节增强与跨模态动态交互,在抑制模态噪声干扰的同时,激活具有强判别性的互补纹理特征;

15、多尺度特征聚合:将增强后的低频特征执行空间上采样,并与对应的交互后高频特征进行逐元素聚合或加权求和,从而输出语义完整且边界清晰的所述融合特征。

16、可选地,获取所述高频分量与所述低频分量包括:

17、;

18、;

19、;

20、;

21、其中,表示平均池化算子,表示上采样操作,,,和分别是经过频率分解后得到的可见光低频特征、红外低频特征、可见光高频特征和红外高频特征。

22、可选地,对所述低频分量进行全局建模与增强包括:

23、将所述低频分量进行层归一化和线性层投影,获取第一特征和第二特征;

24、通过全局特征学习支路对所述第一特征进行全局特征学习,获取全局特征学习支路的输出特征;

25、基于门控特征学习支路对所述第二特征进行门控特征学习,获取门控特征学习支路的输出特征;

26、将所述全局特征学习支路的输出特征和所述门控特征学习支路的输出特征依次进行加权、线性层处理和添加残差,获取所述增强后的低频特征。

27、可选地,通过全局特征学习支路对所述第一特征进行全局特征学习包括:

28、;

29、;

30、;

31、其中,表示输入的特征图,是经过深度可分离卷积后的中间特征图,为经过 silu 激活函数处理后的非线性激活特征图,为经过 ss2d 算子处理后的最终输出特征图,表示深度可分离卷积,表示积极或函数,是vmamba中的核心算子。

32、可选地,基于门控特征学习支路对所述第二特征进行门控特征学习包括:

33、;

34、其中,表示中间的过程变量。

35、可选地,对所述高频分量进行细节增强与跨模态交互包括:

36、;

37、其中,为高频交互模块,为高频增强模块,、为经过频率分解后得到的可见光高频特征和红外高频特征,和为经过高频交互模块后得到的可见光特征和红外特征。

38、可选地,所述高频增强和高频交互模块包括:

39、;

40、;

41、;

42、;

43、;

44、;

45、其中,表示3×3的深度可分离卷积,表示1×1卷积,表示sigmoid激活函数,⊗表示逐元素乘法操作,和均为中间计算变量,和分别为经过高频交互模块后得到的可见光特征和红外特征。

46、为实现上述目的,本发明还提供了一种基于频率解耦特征融合mamba模块的多光谱目标检测装置,包括:

47、第一处理单元,用于采集目标场景的红外图像与可见光图像;

48、第二处理单元,用于将所述红外图像与所述可见光图像输入多光谱目标检测模型,获取目标检测结果;所述多光谱目标检测模型利用训练集训练获得;

49、通过所述多光谱目标检测模型的双流主干网络分别提取红外图像的结构信息与可见光图像的纹理信息,并基于频率解耦特征融合mamba模块对所述结构信息和所述纹理信息进行跨模态融合。

50、本发明的有益效果为:

51、本发明采用双流特征提取结构,并在特征融合阶段引入频率解耦特征融合mamba模块,通过对红外特征与可见光特征进行高频与低频信息分解,实现结构信息与细节信息的差异化建模。同时利用mamba结构对低频特征进行高效的全局建模,以增强目标整体结构信息表达能力,并通过高频细节增强与跨模态交互机制提升纹理细节的表达效果。

52、本发明能够有效提升多模态特征之间的互补利用效率,在保证检测精度的同时降低计算复杂度,从而提高多光谱目标检测在复杂环境下的鲁棒性与实用性。