一种基于可学习门控融合的可见光-红外目标跟踪方法及系统

本发明属于计算机视觉，具体涉及一种基于可学习门控融合的可见光-红外目标跟踪方法及系统。

背景技术：

1、现有可见光-红外（rgbt）融合目标跟踪算法在追求高性能的同时，通常面临两大瓶颈：一是模型计算复杂度高，依赖大型骨干网络和密集融合操作，导致实时性差，难以在资源受限的边缘设备上部署；二是算法对输入数据有严格的像素级空间配准要求，而实际应用中双模传感器因硬件差异常导致图像错位，使此类算法性能急剧下降。

2、现有工作往往在精度、速度和鲁棒性（对非配准的适应性）之间难以权衡。一些方法通过保留原始单模态信息来提升鲁棒性，但引入了额外计算开销；另一些方法试图简化模型，却又牺牲了精度或对复杂场景的适应能力。此外，鲜有研究系统性地解决算法在嵌入式多核npu平台上的高效部署问题，如任务调度、内存管理和模型量化等。因此，亟需一种在算法层面轻量化、自适应，在系统层面可高效部署的rgbt跟踪方案，以推动其在安防、车载、无人机等实际边缘场景中的应用。

技术实现思路

1、本发明的目的是解决现有rgbt跟踪算法模型臃肿、计算效率低、过度依赖数据配准，以及难以在嵌入式平台实现实时部署的技术难题。通过设计一种集成“决策级空间重建、动态门控模态选择、轻量特征融合”的算法架构，并结合针对嵌入式npu的异构计算优化策略，本发明旨在实现以下目标：1）在非配准数据上，通过高层响应引导实现鲁棒的空间语义对齐；2）通过可学习的门控机制，根据场景动态选择最可靠的单模态或融合模态进行跟踪，避免无效计算，大幅提升效率；3）设计完整的轻量化网络组件，在保持高跟踪精度的前提下实现高帧率；4）提供一套从算法到系统的嵌入式部署优化方案，包括多核npu任务调度、异步流水线、内存复用与模型量化，实现算法在边缘设备上的高效、稳定运行。

2、本发明的技术方案：根据本发明的第一方面，提出一种基于可学习门控融合的可见光-红外目标跟踪方法，包括如下步骤：

3、步骤s1，通过决策级响应引导模块，对可见光和红外模态的搜索图与模板图进行特征提取和深度互相关，得到各模态的响应图；基于响应图中所有通道的响应峰值坐标的众数计算匹配中心，并以红外模态的匹配中心为基准对可见光响应图进行空间配准，得到配准后的响应图；

4、步骤s2，通过可学习数据流门控模块，提取所述配准后的响应图的模态质量特征向量，并预测各模态的可靠性评分；根据所述可靠性评分与预设阈值的比较结果，动态选择单模态路径或融合路径；当任一模态的可靠性评分大于或等于阈值时，选择该模态的原始特征进行目标跟踪；当两个模态的可靠性评分均小于阈值时，激活特征级融合模块；

5、步骤s3，通过所述特征级融合模块，在融合路径中，基于所述模态质量特征向量解耦出的通道权重，对原始搜索特征和模板特征进行通道加权并拼接，得到融合后的搜索特征和模板特征；

6、步骤s4，将单模态路径中的原始特征或融合路径中的融合特征，输入至共享权重的轻量跟踪头，所述轻量跟踪头包含共享基座的卷积层以及回归分支、分类分支和中心度分支，输出目标框参数。

7、在一个可能的实施例中，在所述步骤s1中，所述基于响应峰值的众数匹配具体包括：计算可见光响应图和红外响应图中所有通道的响应峰值坐标的众数，分别作为可见光匹配中心和红外匹配中心；以红外匹配中心为原点，减去可见光匹配中心坐标得到平移向量；利用该平移向量对可见光响应图进行平移或边缘填充操作，实现与红外响应图的空间对齐。

8、在一个可能的实施例中，在所述步骤s2中，所述可学习数据流门控模块包括：通过1×1卷积对配准后的响应图进行通道降维，再通过全局平均池化压缩空间维度，得到模态质量特征向量；将所述模态质量特征向量输入至由三层全连接层构成的分类网络，并使用sigmoid激活函数输出可靠性评分。

9、在一个可能的实施例中，在所述步骤s2中，所述预设阈值为0.5；当可见光模态的可靠性评分p_rgb或红外模态的可靠性评分p_tir中任意一个大于或等于0.5时，选择该高置信度模态对应的原始搜索特征和模板特征进行单模态跟踪；当p_rgb和p_tir均小于0.5时，选择融合路径。

10、在一个可能的实施例中，在所述步骤s3中，所述通道加权融合具体包括：从模态质量特征向量中解耦出每个通道的融合权重标量；将每个模态的原始搜索特征和原始模板特征分别与其对应通道的融合权重标量相乘；将加权后的可见光和红外特征在通道维度进行拼接，得到融合后的搜索特征和模板特征。

11、在一个可能的实施例中，在所述步骤s4中，所述共享权重的轻量跟踪头包括：四个3×3卷积层构成的共享基座，前三层后接relu激活函数，第四层无激活函数；回归分支、分类分支和中心度分支共享前三层卷积提取的特征，输出分类热力图、中心度热力图和边界框回归参数；其中，中心度热力图与分类热力图逐像素相乘得到联合置信度热力图，用于确定目标中心位置。

12、在一个可能的实施例中，所述方法还包括总损失函数的训练过程，所述总损失函数由门控损失l_gate和跟踪损失l_track加权构成；所述门控损失l_gate包括模态优先级损失l_p、决策边界强化损失l_b和模态竞争正则化损失l_c；其中，模态优先级损失采用基于可见光高质量样本数和红外高质量样本数计算的加权二元交叉熵损失，以缓解数据分布不均衡。

13、在一个可能的实施例中，所述总损失函数的训练采用分阶段渐进式训练策略：第一阶段冻结门控模块和跟踪头，仅微调骨干网络；第二阶段冻结骨干网络和跟踪头，仅更新门控模块参数；第三阶段解冻所有网络模块进行端到端联合微调。

14、根据本发明的第二方面，提出一种基于动态门控的可学习轻量化非配准可见光-红外目标跟踪系统，用于实现上述的一种基于动态门控的可学习轻量化非配准可见光-红外目标跟踪方法，包括：

15、决策级响应引导模块，用于对可见光和红外模态的搜索图与模板图进行特征提取和深度互相关，得到各模态的响应图；基于响应图中所有通道的响应峰值坐标的众数计算匹配中心，并以红外模态的匹配中心为基准对可见光响应图进行空间配准，得到配准后的响应图；该模块旨在解决输入图像的空间非配准问题，避免在底层直接融合产生语义错位。

16、可学习数据流门控模块，用于提取所述配准后的响应图的模态质量特征向量，并预测各模态的可靠性评分；根据所述可靠性评分与预设阈值的比较结果，动态选择单模态路径或融合路径；当任一模态的可靠性评分大于或等于阈值时，选择该模态的原始特征进行目标跟踪；当两个模态的可靠性评分均小于阈值时，激活特征级融合模块；该模块作为系统的“智能调度器”，评估各模态质量并决定最高效的跟踪路径。

17、特征级融合模块，用于在融合路径中，基于所述模态质量特征向量解耦出的通道权重，对原始搜索特征和模板特征进行通道加权并拼接，得到融合后的搜索特征和模板特征；该模块仅在ldg模块决定需要融合时被激活，进行轻量而有效的特征整合。

18、共享权重的轻量跟踪头，用于将单模态路径中的原始特征或融合路径中的融合特征，输入至共享权重的轻量跟踪头，输出目标框参数。

19、在一个可能的实施例中，针对嵌入式多核npu平台，所述系统采用如下嵌入式部署优化方案：

20、任务级并行调度：将可见光和红外搜索图及模板图的骨干网络前向推理分配给第一和第二npu核心，将门控模块和跟踪头的计算分配给第三npu核心；

21、数据流异步流水线：采用生产者-消费者模型，利用无锁原子标志同步实现npu核心间的解耦与全流水线运行；

22、内存复用与管理：在共享内存中预先分配环形缓冲区，用于缓存各npu核心输出的中间特征数据，通过读写指针循环移动实现内存复用；

23、模型量化与固化：对训练好的模型进行int8量化，并将量化后的权重在编译阶段固化为常量，嵌入npu的片上缓存。

24、与现有技术相比，本发明的有益效果在于：

25、“决策重建-动态门控”的轻量化自适应架构：首创在决策级通过响应图众数匹配实现非配准空间重建，避免了底层融合噪声。核心创新在于可学习门控（ldg）模块，能根据实时场景评估模态质量，动态选择单模态或融合路径，实现了真正的“按需计算”，在保持高精度的同时，大幅提升了跟踪效率（尤其在简单场景下）。

26、针对非均衡数据的门控协同训练机制：设计了融合模态优先级损失、决策边界强化损失和模态竞争正则化损失的协同训练目标，通过人工标注的模态质量标签来平衡训练样本分布，有效解决了门控网络在复杂数据分布下的学习难题，使其决策更准确、更果断。

27、面向多核npu的端到端部署优化体系：超越了单一的算法设计，提出了一套涵盖任务调度、异步流水线、环形缓冲内存复用和模型量化的完整嵌入式部署优化方案。该方案充分利用了嵌入式异构计算平台的硬件特性，实现了算法从高性能服务器到资源受限边缘设备的高效、低延迟迁移，使实时高性能rgbt跟踪在边缘端成为可能。