一种基于模态质量感知与多层次交互的可见光-红外目标跟踪方法及系统

本发明属于计算机视觉，具体涉及一种基于模态质量感知与多层次交互的可见光-红外目标跟踪方法及系统。

背景技术：

1、传统的rgbt多模态融合跟踪算法通常在单一层次（如仅特征级或仅决策级）进行信息融合，这在特征提取过程中极易出现细节信息丢失的问题。

2、在实际复杂环境中，当某一模态（如可见光或红外）受到强光、雨雾等干扰时，其浅层信息会大幅减少或被噪声淹没。现有技术往往采用简单丢弃低质量模态的策略，或者进行不加选择的粗暴加权融合。这种处理方式不仅无法充分发挥多模态传感器信息的互补优势，未能挖掘受干扰模态中仍留存的深层次有效信息，反而容易将干扰噪声引入后续跟踪网络，导致跟踪精度下降、模型极易发生漂移，过度依赖理想的成像条件。

技术实现思路

1、本发明的目的是解决现有rgbt跟踪算法中多模态信息挖掘能力不足、受干扰模态有效信息利用率低的技术痛点。通过构建一种“感知-评估-优化”的多层次（像素级-特征级-决策级）交互与递进式融合机制，本发明能够在避免引入低质量噪声的同时，自适应提取并保留跨模态的细粒度细节与深层辅助信息，从而显著提升高动态、强干扰复杂场景下的多模态弱小目标跟踪精度与鲁棒性。

2、本发明的技术方案：根据本发明的第一方面，提出一种基于模态质量感知与多层次交互的可见光-红外目标跟踪方法，采用包括如下步骤：

3、步骤s1，将可见光模态和红外模态的模板图像与搜索图像分别输入至双流骨干网络提取器，获取第一阶段的浅层特征图。

4、该双流骨干网络采用基于swin-transformer的权值共享孪生网络结构，第一阶段通过两次spd-conv模块将输入图像尺寸从h×w×3转换为h/4×w/4×48。

5、步骤s2，将所述浅层特征图输入至像素级跨模态融合模块，通过为每个模态配备独立的模态特定归一化层进行分布差异处理，并利用轻量级卷积网络生成动态模态质量掩码，将所述动态模态质量掩码与对应模态的原始图像逐像素相乘并加权相加，得到保留细粒度信息的像素级融合增强模板。

6、将所述浅层特征图输入至像素级跨模态融合模块，通过为每个模态配备独立的模态特定归一化层（msbn）进行分布差异处理，并利用轻量级卷积网络生成动态模态质量掩码。该轻量级卷积网络使用1×1卷积降维，relu激活，再通过1×1卷积将通道压缩至1或3，最后经sigmoid激活函数归一化至[0,1]区间。将所述质量掩码上采样至原始图像尺寸后，与对应模态的原始图像逐像素相乘并加权相加，得到保留细粒度信息的像素级融合增强模板。上采样操作采用基于隐式神经表示的连续掩膜生成方法，通过傅里叶位置编码将空间坐标映射至高维特征空间，结合低分辨率特征图中的局部特征向量，利用多层感知机（mlp）拟合连续的掩膜分布。

7、步骤s3，将骨干网络后三个阶段的特征图输入至特征级跨模态融合模块。

8、首先，利用高效通道注意力机制（eca）对各阶段特征图进行全局平均池化，通过一维卷积与sigmoid激活函数生成通道权重，并与原始特征图元素相乘，获得各模态特异性增强后的特征向量。

9、其次，利用门控特征重组单元（gfru），以所述像素级融合增强模板作为共性特征基底，通过深度可分离卷积提取基底特征；利用模态特异性信息向量通过1×1卷积和3×3卷积生成空间自适应门控信号，将空间门控特征图与共性特征基底逐元素相乘后再进行元素相加，得到模态共享特征向量。

10、步骤s4，将可见光特异性信息、红外特异性信息以及模态共享特征向量分别输入至多分支决策级融合模块中三个并行的区域候选网络（rpn）预测头，输出对应模态倾向的初始目标边界框与置信度。

11、基于所述像素级融合增强模板，通过轻量级评估网络对所述初始目标边界框进行可靠性打分：根据每个候选边界框的位置从像素级融合增强模板中裁剪出目标区域，通过3×3卷积、relu激活函数和全局平均池化进行编码，再经由全连接层和sigmoid激活函数生成可靠性评分。将初始置信度与可靠性评分相乘得到修正置信度，选取修正置信度最高的模态的结果。最后，以该结果为中心在像素级融合增强模板中裁剪出面积为原边界框两倍的区域，通过3层3×3卷积和1×1卷积的轻量级回归网络输出偏移量，与初始目标边界框相加得到最终目标位置。

12、在一个可能的实施例中，在所述步骤s2中，所述模态特定归一化层（msbn）通过对可见光分支和红外分支的第一阶段输出特征图分别进行批归一化处理，以适配不同模态的数据分布差异。

13、在一个可能的实施例中，在所述步骤s2中，轻量级卷积网络生成动态模态质量掩码的过程包括：使用1×1卷积对经msbn处理的特征图进行降维，通过relu激活函数，再使用1×1卷积将通道压缩至1或3，最后通过sigmoid激活函数将输出值归一化至[0,1]区间，得到对应模态的质量响应分布掩码。

14、在一个可能的实施例中，在所述步骤s2中，将质量掩码上采样至原始图像尺寸的上采样操作为基于隐式神经表示的连续掩膜生成方法：利用傅里叶位置编码将空间坐标映射至高维特征空间，结合低分辨率特征图中的局部特征向量，通过多层感知机（mlp）拟合连续的掩膜分布。

15、在一个可能的实施例中，所述步骤s3中，高效通道注意力机制（eca）的实现方式为：对各阶段特征图进行全局平均池化，通过一维卷积与sigmoid激活函数生成通道权重，再与原始特征图元素相乘，获得各模态特异性增强后的特征向量。

16、在一个可能的实施例中，所述步骤s3中，门控特征重组单元（gfru）的实现方式为：使用深度可分离卷积对像素级融合增强模板提取共性特征基底；利用模态特异性信息向量通过1×1卷积和3×3卷积生成空间门控特征图，将所述空间门控特征图与共性特征基底逐元素相乘后再进行元素相加，得到模态共享特征向量。

17、在一个可能的实施例中，在所述步骤s4中，所述轻量级评估网络对初始目标边界框进行可靠性打分的过程包括：根据每个候选边界框的位置从像素级融合增强模板中裁剪出目标区域，通过3×3卷积、relu激活函数和全局平均池化进行编码，再经由全连接层和sigmoid激活函数生成可靠性评分。

18、在一个可能的实施例中，在所述步骤s4中，局部微调回归的实现方式为：以选取的修正置信度最高的初始目标边界框为中心，在像素级融合增强模板中裁剪出覆盖面积为原边界框两倍的区域，通过3层3×3卷积和1×1卷积的轻量级回归网络输出偏移量，将所述偏移量与初始目标边界框相加得到最终目标位置。

19、根据本发明的第二方面，提出一种基于模态质量感知与多层次交互的可见光-红外目标跟踪系统，用于实现上述的一种基于模态质量感知与多层次交互的可见光-红外目标跟踪方法，包括：

20、像素级跨模态融合模块，用于将可见光模态和红外模态的模板图像与搜索图像分别输入至双流骨干网络提取器，获取第一阶段的浅层特征图；将所述浅层特征图输入至像素级跨模态融合模块，通过为每个模态配备独立的模态特定归一化层（msbn）进行分布差异处理，并利用轻量级卷积网络生成动态模态质量掩码，将所述质量掩码与对应模态的原始图像逐像素相乘并加权相加，得到保留细粒度信息的像素级融合增强模板；

21、特征级跨模态融合模块，用于将骨干网络后三个阶段的特征图输入至特征级跨模态融合模块，利用高效通道注意力机制（eca）增强各模态的特异性信息，并利用门控特征重组单元（gfru）以所述像素级融合增强模板作为共性特征基底，结合模态特异性信息生成空间自适应门控信号，动态融合得到模态共享特征向量；

22、多分支决策级融合模块，用于将可见光特异性信息、红外特异性信息以及模态共享特征向量分别输入至多分支决策级融合模块中三个并行的区域候选网络（rpn）预测头，输出对应模态倾向的初始目标边界框与置信度；基于所述像素级融合增强模板，通过轻量级评估网络对所述初始目标边界框进行可靠性打分，并选取修正置信度最高的目标边界框进行局部微调回归，输出最终目标位置。

23、与现有技术相比，本发明的有益效果在于：

24、1.多层次递进式融合架构：突破了传统单一融合层次的局限，建立了“像素级-特征级-决策级”的全链路多模态交互通道，通过创新的像素级“跳连接”机制，有效克服了深层网络中细粒度纹理信息丢失的问题。

25、2.基于模态质量感知的自适应提取：针对受干扰模态，并非简单丢弃，而是通过独立的特定归一化层和质量掩码，在滤除噪声的同时深度挖掘其辅助判别特征。

26、3.决策级倒置修正机制：利用具备最丰富原始信息的像素级融合图像作为全局仲裁者，对三个独立高维预测头的输出进行二次评估与空间偏移修正，实现闭环优化。