一种时空非配准可见光-红外目标跟踪方法及系统

本发明属于计算机视觉，具体涉及一种时空非配准可见光-红外目标跟踪方法及系统。

背景技术：

1、在实际工程应用中，由于可见光与红外成像传感器的物理特性与工作机制存在固有差异（如红外传感器光电转换效率低、帧率低、工作过程中需进行非均匀性校正等），导致采集的可见光与红外视频流在时间和空间上难以实现精确配准。

2、时间非配准表现为帧率不同和采集时刻异步，空间非配准则表现为像素级位置偏移。传统的可见光-红外（rgbt）跟踪算法通常假设输入的成对图像是严格时空配准的，这使得它们在面对实际时空非配准数据时，性能会急剧下降甚至失效。

3、现有方法通常将时空配准、信息融合与目标跟踪作为独立模块处理，导致系统复杂、难以训练，且实时性差。此外，它们未能有效利用时序信息来增强跟踪的鲁棒性和处理目标动态变化的能力。因此，亟需一种能够统一处理时空非配准、实现高效跨模态融合与自适应时序建模的端到端跟踪框架。

技术实现思路

1、本发明的目的是解决现有rgbt跟踪算法对时空配准数据过度依赖、无法有效处理现实世界中普遍存在的时空异步问题，以及难以实现高效、实时跟踪的技术难题。通过设计一种“时空交互查询-决策引导空间配准-特征级响应感知融合”的端到端架构，本发明旨在实现以下目标：1）在特征层面重建可见光与红外模态之间的时间对应关系；2）利用高层决策信息引导底层实现空间维度的自适应对齐；3）在时间和空间对齐的特征基础上，进行高质量的信息融合与目标跟踪；4）通过动态模板更新机制，在时间维度融合目标状态信息，有效应对目标形变、遮挡等挑战。

2、本发明的技术方案：根据本发明的第一方面，提出一种时空非配准可见光-红外目标跟踪方法，采用一种名为时空配准自由跟踪网络（spatiotemporal alignment-freenetwork, safnet），该方法的核心在于将时空配准、信息融合与目标跟踪三大功能集成在一个统一的网络框架中，通过“先时序对齐，再空间引导，后特征融合”的分布式处理策略，实现对时空非配准数据的鲁棒跟踪。

3、整体架构设计：safnet设计了“最小数据块”作为基本处理单元，该单元包含在特定处理周期内连续采集的x张可见光图像和y张红外图像。x和y由可见光和红外相机的采样间隔的最小公倍数确定。

4、网络包含三个核心模块：时空交互查询模块（siq）、决策级空间引导融合模块（dsgf）和特征级响应感知融合模块（fraf），以及一个集成动态模板更新机制的跟踪头。

5、所述方法具体包括如下步骤：

6、步骤s1，构建最小数据块：根据可见光相机和红外相机的采样间隔的最小公倍数，确定一个处理周期内连续采集的x张可见光图像和y张红外图像，组成一个最小数据块；

7、步骤s2，时空交互查询：将所述最小数据块中的可见光图像和红外图像分别分割为图像块（本发明的骨干网络使用vision transformer架构，这个架构会将输入的图像分割成16x16像素或32x32像素大小的块，即patch。一般输入的图像会被缩放到224*224大小，例如：若按16x16分割，会分成196个大小的块，每个块会展平成一个1*256的向量，这个向量即为token），并嵌入位置编码和基于图像采集绝对时间戳生成的时间编码，得到时空嵌入特征；将所述时空嵌入特征输入交叉跨模态时间注意力层，计算红外图像块查询与可见光图像块键之间的相似度，并通过时间间隔惩罚项加权，确定时间上最匹配的可见光-红外图像对；为匹配的帧分配新的对齐时间戳，并对未匹配帧，根据与已匹配帧的相似度权重进行插值，生成补充时间戳；依据新的对齐时间戳和补充时间戳，利用双线性插值技术，输出时间维度上已对齐的可见光和红外搜索图特征图及模板特征图；

8、通过时空交互查询模块（siq）解决时间非配准问题。

9、步骤s3，决策级空间引导融合：将时间对齐后的可见光和红外搜索图特征图及模板特征图分别进行深度互相关操作，生成各自模态的多通道初步目标响应图；对每个模态的初步目标响应图进行拼接和降维，生成每个模态的最终响应图；以红外最终响应图的峰值点为参考基准，计算可见光最终响应图与红外最终响应图的坐标偏移，根据所述偏移对可见光最终响应图进行裁剪和填充，生成空间对齐的校正响应图，并记录裁剪填充参数；

10、通过决策级空间引导融合模块（dsgf）解决空间非配准问题。

11、步骤s4，特征级响应感知融合：利用所述裁剪填充参数，对所述可见光搜索图特征图进行空间校正，得到空间对齐的特征图；将初步目标响应图归一化并插值至与特征图相同尺寸后，作为空间权重与对应模态的空间对齐特征图进行卷积，增强目标响应区域；提取各通道响应图的最大值作为通道权重，对模板特征图进行通道注意力增强；将增强后的可见光和红外搜索特征图及模板特征图分别融合，得到融合搜索特征和融合模板特征；

12、通过特征级响应感知融合模块（fraf）进行精细化特征融合。

13、步骤s5，动态模板更新与跟踪：该步骤首先将融合搜索特征和融合模板特征输入区域建议网络（rpn），回归出最终的精确目标边界框；为克服模板退化，设计一种动态更新策略，网络维护一个包含连续若干组（如5组）融合模板的队列，初始模板的更新权重固定，对于后续模板，通过一个轻量级评估网络（由卷积层、全连接层和softmax层构成）以当前模板与搜索图的响应图为输入，评估其可靠性并输出更新权重，最新模板由初始模板和后续模板根据各自权重加权融合生成。

14、通过集成动态模板更新机制的跟踪头输出最终跟踪结果。

15、在一个可能的实施例中，在所述步骤s2中，所述时间编码采用余弦位置编码方式生成，将图像采集的绝对时间戳转换为统一的时间参数，并叠加到对应的图像块特征中。

16、在一个可能的实施例中，在所述步骤s2中，所述交叉跨模态时间注意力层中，所述时间间隔惩罚项包括一个可学习参数，用于调节时间差矩阵的权重，防止静态场景下的误匹配；所述时间差矩阵基于所述可见光图像和红外图像的帧数构建。

17、在一个可能的实施例中，所述步骤s2中，对未匹配帧进行时间戳插值包括：计算未匹配的可见光帧与已匹配的红外帧之间的匹配权重；基于所述匹配权重，通过线性插值和非线性修正项生成补充时间戳；所述非线性修正项通过多层感知机根据匹配权重的统计量生成。

18、在一个可能的实施例中，所述步骤s3中，所述深度互相关操作保留通道语义信息，为每个模态生成一组多通道的初步目标响应图；所述拼接和降维通过1x1卷积实现。

19、在一个可能的实施例中，所述步骤s4中，所述响应图引导的特征增强步骤包括：将每个模态的多通道初步响应图分别进行归一化和插值，使其尺寸与对应的搜索图特征图一致；将归一化后的响应图作为空间权重，与对应的搜索图特征图进行逐元素卷积。

20、该步骤具体实施为：首先，将上一级跨模态融合模块输出的二维空间响应图进行归一化处理，并通过双线性插值上采样至与当前待增强特征图相同的空间分辨率，得到空间注意力掩码；随后，将该空间注意力掩码与待增强特征图在通道维度上逐元素相乘，实现对特征图中各空间位置的特征图进行加权调制，使响应峰值对应区域的特征响应被选择性放大，而低响应背景区域的特征被抑制；最后，将加权调制后的特征图与原始待增强特征图通过残差连接方式进行逐元素相加，输出经空间响应引导增强后的目标特征表示，该特征表示在保留全局语义信息的同时强化了目标判别性区域的特征表达。

21、在一个可能的实施例中，所述步骤s4中，所述通道注意力融合步骤包括：提取每个模态的多通道初步响应图在每个通道上的最大值，形成通道权重向量；将所述通道权重向量分别与对应的模板特征图进行逐通道乘法，实现通道注意力增强。

22、该步骤具体实施为：首先，将可见光分支特征图与红外分支特征图在通道维度上进行拼接，得到联合特征张量；随后，对联合特征张量执行全局平均池化操作，将其压缩为通道描述符向量，并依次通过两个全连接层构成的瓶颈结构（其中第一层将通道数缩减为原始通道数的1/r，第二层恢复至原始通道数），再经sigmoid激活函数生成通道维度的注意力权重向量；接着，将该注意力权重向量分别以逐通道标量乘法的方式作用于可见光分支特征图和红外分支特征图，实现对两路异构特征的自适应通道重标定；最后，将重标定后的两路特征图在通道维度上逐元素相加，输出通道自适应融合的跨模态特征表示，该表示根据输入样本的动态特性自动调节各模态及各通道的贡献比重。

23、在一个可能的实施例中，所述步骤s5中，所述轻量级评估网络依次包括卷积层、全连接层和softmax层；所述初始模板的更新权重为固定值0.5；所述动态更新策略维护一个包含连续5组融合模板的队列。

24、在一个可能的实施例中，还包括损失函数步骤：总损失函数由分类损失和回归损失加权构成；分类损失使用交叉熵损失，回归损失使用giou损失，并针对可见光和红外模态的预测结果分别计算回归损失。

25、该步骤中总损失函数由三项子损失加权求和构成，各项子损失分别对应模型训练过程中的不同优化目标：第一项为分类损失，采用focal loss或交叉熵损失函数，作用于分类预测头输出的类别概率分布与真实类别标签之间，用于优化模型对目标与背景的判别能力，解决正负样本不平衡问题；第二项为边界框回归损失，采用giou loss或ciou loss函数，作用于预测边界框坐标与真实标注框坐标之间，用于优化目标定位精度，同时兼顾重叠面积、中心点距离及宽高比的一致性；第三项为中心度损失或辅助任务损失，采用二元交叉熵损失函数，作用于中心度预测分支或特定辅助预测头的输出与对应真值标签之间，用于抑制低质量预测框并提升检测置信度的校准精度；最终，三项子损失分别乘以预设的平衡权重系数后线性叠加，作为端到端反向传播的总优化目标，驱动网络参数同步更新。

26、根据本发明的第二方面，提出一种时空非配准可见光-红外目标跟踪系统，用于实现上述的一种时空非配准可见光-红外目标跟踪方法，包括：

27、数据构建单元，用于根据相机采样间隔构建最小数据块；

28、时空交互查询单元，用于将所述最小数据块中的可见光图像和红外图像分别分割为图像块，并嵌入位置编码和基于采集时间戳生成的时间编码，得到时空嵌入特征；将所述时空嵌入特征输入交叉跨模态时间注意力层，计算红外图像块查询与可见光图像块键之间的相似度，并通过时间间隔惩罚项加权，确定时间上最匹配的可见光-红外图像对；为匹配的帧分配新的对齐时间戳，并对未匹配帧进行时间戳插值和特征图生成，输出时间维度上已对齐的可见光和红外搜索图特征图及模板特征图；

29、决策级空间引导融合单元，用于将时间对齐后的可见光特征和红外特征分别进行深度互相关操作，生成各自模态的多通道初步响应图；对每个模态的初步响应图进行拼接和降维，生成每个模态的最终响应图；以红外响应图的峰值点为参考基准，计算可见光响应图与红外响应图的坐标偏移，根据所述偏移对可见光响应图进行裁剪和填充，生成空间对齐的校正响应图，并记录裁剪填充参数；

30、特征级响应感知融合单元，用于利用所述裁剪填充参数，对所述可见光搜索图特征图进行空间校正；将所述初步响应图归一化并插值后，作为空间权重与对应模态的空间对齐特征图进行卷积，增强目标响应区域；提取各通道响应图的最大值作为通道权重，对模板特征进行通道注意力增强；将增强后的可见光和红外搜索图特征及模板特征分别融合，得到融合搜索特征和融合模板特征；

31、动态模板更新与跟踪单元，用于将融合搜索特征和融合模板特征输入区域建议网络，回归目标边界框；维护一个最新的若干组融合模板队列，通过轻量级评估网络根据当前模板与搜索图的响应图评估其可靠性并输出更新权重，将初始模板与后续模板根据权重加权融合生成最新模板。

32、与现有技术相比，本发明的有益效果在于：

33、1）“最小数据块”与时空解耦处理范式：首创以“最小数据块”为基本处理单元，通过siq模块在特征层率先解决时间非配准问题，再利用dsgf模块基于响应图解决空间非配准问题，实现了时空维度的有效解耦与分步处理，极大增强了对现实异步数据的适应能力。

34、2）决策级引导的空间特征对齐机制：突破传统在像素或浅层特征进行空间对齐的思路，在dsgf模块中，首先通过深度互相关在决策级获得目标粗略位置，再以此为指导对深层特征图进行裁剪/填充式的空间对齐。这种方法对配准误差不敏感，且计算高效。

35、3）响应感知的多层次融合与动态更新：在fraf模块中，利用dsgf产生的目标响应图作为天然的质量评估器，动态指导特征融合权重，强化高质量模态信息。结合跟踪头中基于轻量网络评估的动态模板更新策略，实现了在时间和特征维度上的双重融合，显著提升了跟踪的精度与对目标变化的鲁棒性。