基于模态引导的红外与可见光双模态目标检测方法

本发明属于计算机视觉中的多模态目标检测领域，尤其涉及基于模态引导的红外与可见光双模态目标检测方法。

背景技术：

1、目标检测是计算机视觉领域的一项基础任务，在自动驾驶、视频监控和遥感分析等应用中具有重要价值。近年来，基于单一模态的目标检测技术取得了显著进展，无论是两阶段方法中的r-cnn系列，还是单阶段方法中的yolo系列，均在诸多场景中得到了广泛应用。但可见光成像受限于其特定波长范围，在夜间、雨雾等低照度或恶劣天气条件下，图像信噪比急剧下降，导致检测模型的漏检率和误检率显著上升。为应对这一挑战，红外成像技术被广泛引入，以弥补可见光在恶劣感知条件下的局限性。因此，可见光与红外图像的多模态目标检测方法（ivod）逐渐成为当前研究的重要方向。

2、然而，当前可见光与红外图像的多模态目标检测方法仍面临诸多挑战：一方面，红外图像普遍存在分辨率低、纹理细节匮乏等固有特性，导致通用特征提取器难以从中提取有效的纹理与颜色信息。另一方面，现有研究的焦点存在偏差，过多集中于提升融合图像人眼的主观视觉质量，而非面向检测器感知性能的优化。这会导致针对检测任务所设计的特征融合机制长期处于探索不足的状态。尽管已有方法在一定程度上提升了模型的感知性能，但在跨模态交互方面仍存在明显不足。常见的融合策略通常仅将双模态数据简单拼接为四通道输入，或在各自分支中分别提取特征后进行简单融合。此类方法难以实现语义与结构信息的深度耦合，导致跨模态间的互补特征未能得到充分挖掘与利用。

3、因此，急需提供一种基于差异引导的红外与可见光特征融合方法以解决上述问题。

技术实现思路

1、为实现上述目的，发明人提供了一种基于模态引导的红外与可见光双模态目标检测方法，包括以下步骤：

2、s1，从视频流或文件中获取配对的红外图像与可见光图像；

3、s2，将获取的红外图像与可见光图像分别输入基于yolov11改进的特征提取网络；

4、s3，经基于yolov11改进的特征提取网络分别得到红外特征图与可见光特征图；

5、s4，将所述红外特征图与可见光特征图输入至目标感知模态融合模块，通过差异感知引导融合与全局上下文感知注意力机制进行跨模态特征融合，得到融合特征图；

6、s5，将所述融合特征图输入检测头网络，预测得到目标的边界框和类别置信度。

7、作为本发明的一种优选方式，所述特征提取网络中采用可学习的加权卷积模块，所述加权卷积层通过引入可学习的空间加权模板对标准卷积核进行逐元素调制，调制后的加权卷积核的表达式为：

8、；

9、其中，⊙表示逐元素相乘，e为标准卷积核，φ为可学习的空间加权模板；

10、所述可学习的空间加权模板φ的初始值设置为具有中心增强特性的固定模板，其初始值由向量α=[δ,…,1.0,…,δ]通过外积运算生成，其中δ∈(0,1)，t表示矩阵的转置；

11、在该初始化基础上，将整个特征提取网络投入端到端的训练流程中，用于优化参数。

12、作为本发明的一种优选方式，在训练过程中，可学习的空间加权模板φ通过反向传播算法进行更新，从而从数据中学习最优的空间加权模式，表达式为：

13、；

14、其中，表示空间加权模板矩阵，表示将设置为可训练参数，由权重固定的二维空间加权模板矩阵生成，作为训练初始值，最终卷积操作的表达式为：

15、；

16、其中，表示输出特征图y在第b个样本、第c个输出通道、第（i，j）个空间位置处的取值，表示卷积核在第c个输出通道、第m个输入通道以及空间位置（u,v）处的权重参数，表示空间加权模板在位置（u，v）处的权重，表示输入通道数，k表示卷积核的空间尺寸。

17、作为本发明的一种优选方式，所述差异感知引导融合包括以下步骤：

18、m1，计算红外特征图与所述可见光特征图之间的逐像素绝对差值，得到模态差异图；

19、m2，将模态差异图依次通过卷积层、激活函数层和sigmoid函数，生成空间自适应的差异引导权重图；

20、m3，使用差异引导权重图对红外特征图与可见光特征图进行加权求和，得到局部融合特征图；

21、m4，将红外特征图与可见光特征图相加，得到初步全局联合特征；

22、m5，对初步全局语义表征执行全局平均池化操作，得到通道级统计描述向量；

23、m6，将通道级统计描述向量输入多层感知机，并经softmax函数归一化，得到跨模态通道注意力权重；

24、m7，利用跨模态通道注意力权重对红外特征图与所述可见光特征图进行通道加权融合，得到红外与可见光的特征融合图。

25、作为本发明的一种优选方式，其特征在于，所述差异感知引导融合包括以下步骤：m1，在局部融合路径上，目标感知模态融合模块计算红外模态特征图和可见光模态特征图的逐像素绝对差异图d，表达式为：

26、；

27、其中，和分别表示红外特征图和可见光特征图；

28、m2，将逐像素绝对差异图d输入轻量级的权重生成子模块，生成空间自适应的的差异引导权重图f，表达式为：

29、；

30、其中，f表示差异引导权重图，和表示卷积操作，表示激活函数，表示sigmoid函数；

31、m3，利用差异引导权重图对红外特征图和可见光特征图进行像素级加权，得到局部融合特征图，表达式为：

32、；

33、其中，表示局部融合特征图，⊙表示逐元素相乘运算。

34、作为本发明的一种优选方式，其特征在于，所述权重生成子模块依次由以下层构成：一个3×3卷积层，其输入输出通道数均为c、一个relu激活函数、一个1×1卷积层，其输入通道数为c，输出通道数为1、以及一个sigmoid激活函数σ。

35、作为本发明的一种优选方式，所述差异感知引导融合还包括以下步骤：

36、m4，在全局融合路径上，对红外特征图和可见光特征图进行逐通道相加，得到初步的全局联合特征，表达式为：

37、；

38、其中，表示初步的全局联合特征，和分别表示红外特征图和可见光特征图；

39、m5，对初步的全局联合特征执行全局平均池化操作，获得通道级统计描述向量，表达式为：

40、；

41、其中，表示通道级统计描述向量，表示全局平均池化操作；

42、m6，将通道级统计描述向量输入一个由两层1×1卷积组成的轻量级mlp网络，第一层将通道数从c压缩至c/r，其中压缩比r=8，通过relu激活实现非线性变换，第二层将通道数恢复至c×h，其中h为模态数，生成融合权重张量，并通过softmax归一化获得平衡的跨模态通道注意力权重，表达式为：

43、；

44、其中，a表示跨模态通道注意力权重，表示多层感知机，表示归一化函数；

45、m7，利用跨模态注意力权重对红外与可见光特征进行加权组合，获得全局注意力增强特征，表达式为：

46、；

47、其中，表示全局注意力增强特征，表示红外特征对应的跨模态通道注意力权重，表示可见光特征对应的跨模态通道注意力权重；

48、目标感知模态融合模块将局部融合特征与全局注意力增强特征进行叠加，得到红外与可见光的特征融合图，表达式为：

49、；

50、其中，表示红外与可见光的特征融合图，表示局部融合特征图，表示全局注意力增强特征。

51、区别于现有技术，上述技术方案所达到的有益效果有：本方法利用模态间的差异信息构建引导信号，实现多模态特征图的自适应融合，从而促进特征间的充分交互与互补；并通过引入差异引导融合机制与可学习的加权卷积模块，实现了红外与可见光特征的自适应与互补性融合；同时，本方法对现有加权卷积模块进行了改进，通过将卷积核与可训练的先验模板相结合，增强了卷积操作的动态建模能力与特征表达能力；本方法能够克服单一模态的感知局限，提升在光照不足、恶劣天气等复杂场景下的目标检测精度与鲁棒性。