一种基于双流视觉Transformer与多阶段跨模态特征增强的红外与可见光目标跟踪方法

摘要: 本发明涉及计算机视觉与人工智能,尤其涉及一种基于双流视觉transformer与多阶段跨模态特征增强的红外与可见光目标跟踪方法。背景技术:1、视觉目标跟踪是计算...
一种基于双流视觉Transformer与多阶段跨模态特征增强的红外与可见光目标跟踪方法

本发明涉及计算机视觉与人工智能,尤其涉及一种基于双流视觉transformer与多阶段跨模态特征增强的红外与可见光目标跟踪方法。

背景技术:

1、视觉目标跟踪是计算机视觉领域中的基础性任务之一,其目标是在视频序列中根据初始帧给定的目标位置,对后续帧中的目标进行持续定位。近年来,随着深度学习技术的发展,尤其是transformer结构在视觉任务中的应用,基于transformer的目标跟踪方法已成为主流技术路线,并在多个公开数据集上取得了较好的性能表现。

2、然而,在复杂场景条件下,例如弱光、强光、雾霾等光照不稳定环境,以及目标与背景外观高度相似(如伪装场景)情况下,仅依赖可见光(rgb)信息的跟踪方法容易出现特征退化,从而导致定位精度下降。

3、为提升在复杂环境中的鲁棒性,红外与可见光(rgb-t)多模态目标跟踪方法逐渐受到关注。红外图像能够基于物体热辐射信息成像,在光照不足或干扰较强的情况下仍可提供稳定的目标表征,从而与rgb信息形成互补。

4、现有rgb-t目标跟踪方法在进行多模态信息融合时,通常采用特征拼接或逐元素相加等简单融合方式,该类方法难以建立跨模态之间的显式关联关系,导致融合特征表达能力有限。部分方法引入跨模态交互模块以增强信息交互,但通常存在以下问题:其一,跨模态交互多集中于单一网络层级(如仅在骨干网络末端),难以实现分层次、多阶段的信息融合;其二,在融合过程中通常未区分模板特征与搜索区域特征的功能差异,使二者在同一机制下等价处理,可能引入冗余计算并造成信息干扰,从而影响跟踪性能与效率。

5、因此,如何设计一种能够实现多层级跨模态交互,同时区分模板与搜索区域功能特性的rgb-t目标跟踪方法,以提升融合效果并降低冗余计算,是本领域亟待解决的技术问题。

技术实现思路

1、针对现有技术的不足,本发明提供了一种基于双流视觉transformer与多阶段跨模态特征增强的红外与可见光目标跟踪方法,解决了传统方法在跨模态信息交互过程中缺少分层次、多阶段的信息融合与计算冗余的问题。本发明设计基于共享参数双分支的双流视觉编码器,在特定的transformer编码子层之间插入跨模态特征增强单元,实现可见光与红外的双向跨注意力互补,并对搜索区域的特征进行通道拼接与卷积降维后由预测头输出目标跟踪结果。

2、为实现上述技术目的,本发明提供了如下技术方案:一种基于双流视觉transformer与多阶段跨模态特征增强的红外与可见光目标跟踪方法,包括以下步骤:

3、基于给定的跟踪目标初始边界框,从时间对齐的可见光视频序列与红外视频序列中获取模板图像对与搜索图像对;

4、所述模板图像对包括可见光模板图像与红外模板图像;

5、所述搜索图像对包括可见光搜索图像与红外搜索图像;

6、将模板图像对与搜索图像对输入双流视觉编码器,得到模板子序列与搜索子序列;

7、所述双流视觉编码器,包括参数共享的可见光分支与红外分支,每个分支均包括若干transformer编码子层与跨模态特征增强单元;

8、所述跨模态特征增强单元,基于跨注意力机制分别对来自可见光模态与红外模态的特征进行增强式更新;

9、将搜索子序列进行重塑与降维,随后输入预测头,逐帧输出跟踪目标预测边界框,实现对跟踪目标的连续跟踪。

10、可选的,所述基于给定的跟踪目标初始边界框,从时间对齐的可见光视频序列与红外视频序列中获取模板图像对与搜索图像对,包括:

11、根据给定的跟踪目标初始边界框,结合预设的模板尺度因子确定模板区域大小,对可见光视频序列与红外视频序列的第一帧图像裁切出正方形区域作为可见光模板区域与红外模板区域,并缩放至预设的模板输入尺寸,再经归一化及预处理得到可见光模板图像与红外模板图像,构成模板图像对;

12、对可见光视频序列与红外视频序列的第二帧至最后一帧图像,各帧图像根据其前一帧的跟踪目标预测边界框,结合预设的搜索尺度因子确定可见光搜索区域大小,根据其前第二帧的跟踪目标预测边界框,结合预设的搜索尺度因子确定红外搜索区域大小,分别裁切出正方形区域作为可见光搜索区域与红外搜索区域,并缩放至预设的搜索输入尺寸,再经归一化及预处理得到可见光搜索图像与红外搜索图像,构成搜索图像对;其中对于可见光视频序列与红外视频序列的第二帧图像,采用给定的跟踪目标初始边界框确定可见光搜索区域大小与红外搜索区域大小,对于红外视频序列的第三帧图像,采用给定的跟踪目标初始边界框确定红外搜索区域大小。。

13、可选的,所述将模板图像对与搜索图像对输入双流视觉编码器,得到模板子序列与搜索子序列,包括:

14、将可见光模板图像与可见光搜索图像进行图像块嵌入映射生成token,构建可见光模板token序列与可见光搜索token序列,随后将二者拼接为可见光token序列,送入可见光分支,经transformer编码子层与跨模态特征增强单元处理后生成可见光特征序列,再拆分为可见光模板子序列与可见光搜索子序列;

15、将红外模板图像与红外搜索图像进行图像块嵌入映射生成token,构建红外模板token序列与红外搜索token序列,随后将二者拼接为红外token序列,送入红外分支,经transformer编码子层与跨模态特征增强单元处理后生成红外特征序列,再拆分为红外模板子序列与红外搜索子序列;

16、将所述可见光模板子序列与所述红外模板子序列在通道维度进行拼接,构成模板子序列;

17、将所述可见光搜索子序列与所述红外搜索子序列在通道维度进行拼接,构成搜索子序列;

18、所述可见光分支与所述红外分支,均包括12层串联的transformer编码子层,且在第4、第7、第10层transformer编码子层后插入跨模态特征增强单元,所述transformer编码子层,在可见光分支与红外分支中分别对来自可见光token序列与红外token序列的token进行编码处理,分别得到可见光编码特征与红外编码特征,最后一层transformer编码子层生成的可见光编码特征与红外编码特征分别构成可见光特征序列与红外特征序列。

19、可选的,所述跨模态特征增强单元,对来自transformer编码子层的可见光编码特征与红外编码特征执行跨模态注意力计算与第一次融合,生成可见光中间模态特征与红外中间模态特征,随后分别依次送入层归一化层与前馈网络,再分别执行第二次融合,经随机深度处理后以残差形式分别对可见光编码特征与红外编码特征进行增强式更新,更新后的可见光编码特征与红外编码特征作为token送入对应的下一层transformer编码子层。

20、可选的,所述对来自transformer编码子层的可见光编码特征与红外编码特征执行跨模态注意力计算与第一次融合,生成可见光中间模态特征与红外中间模态特征,包括:

21、对可见光编码特征进行线性投影,生成可见光查询向量、可见键向量与可见光值向量;

22、对红外编码特征进行线性投影,生成红外查询向量、红外键向量与红外值向量;

23、基于可见光查询向量、红外键向量与红外值向量计算基于红外的可见光跨模态注意力,数学表示为:

24、;

25、其中,表示基于红外的可见光跨模态注意力;表示softmax归一化操作;、、分别表示可见光查询向量、红外键向量与红外值向量;表示转置操作;表示红外键向量的特征维度;

26、基于红外查询向量、可见光键向量与可见光值向量计算基于可见光的红外跨模态注意力,数学表示为:

27、;

28、其中,表示基于可见光的红外跨模态注意力;、、分别表示红外查询向量、可见光键向量与可见光值向量;表示可见光键向量的特征维度;

29、对基于红外的可见光跨模态注意力与红外值向量进行加权融合,得到可见光中间模态特征,数学表示为:

30、;

31、其中,表示可见光中间模态特征;、分别为基于红外的可见光跨模态注意力与红外值向量的可学习标量系数;

32、对基于可见光的红外跨模态注意力与可见光值向量进行加权融合,得到红外中间模态特征,数学表示为:

33、;

34、其中,表示红外中间模态特征;、分别为基于可见光的红外跨模态注意力与可见光值向量的可学习标量系数。

35、可选的,所述第二次融合,对前馈网络的输出进行加权融合,得到增量可见光中间模态特征与增量红外中间模态特征,数学表示为:

36、;

37、;

38、其中,、分别表示增量可见光中间模态特征与增量红外中间模态特征;、分别表示可见光中间模态特征与其对应的前馈网络的可学习标量系数;、分别表示红外中间模态特征与其对应的前馈网络的可学习标量系数;表示前馈网络;表示层归一化层。

39、可选的,所述将搜索子序列进行重塑与降维,包括:

40、将搜索子序列重塑为搜索特征图;

41、将搜索特征图送入卷积层进行通道维度的映射压缩。

42、本发明还提供了一种电子设备,所述电子设备包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行所述的基于双流视觉transformer与多阶段跨模态特征增强的红外与可见光目标跟踪方法。

43、本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现所述的基于双流视觉transformer与多阶段跨模态特征增强的红外与可见光目标跟踪方法。

44、本发明还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现基于双流视觉transformer与多阶段跨模态特征增强的红外与可见光目标跟踪方法。

45、借由上述技术方案,本发明提供了一种基于双流视觉transformer与多阶段跨模态特征增强的红外与可见光目标跟踪方法,至少具备以下有益效果:

46、(1)本发明根据目标跟踪任务中浅层视觉信息、中层结构信息以及深层语义信息逐渐变化的特点,通过在由12层transformer编码子层构成的双流视觉编码器中,于第4、第7及第10层分别设置跨模态特征增强单元,使不同深度阶段的模态互补信息均能够参与目标表征过程,这种分阶段跨模态交互机制使得可见光模态提供的纹理、边缘信息与红外模态提供的热辐射信息能够在目标特征形成过程中逐步融合,减少单一阶段融合造成的有效信息遗漏,提高复杂光照、低对比度以及遮挡场景下rgb-t目标跟踪的稳定性;

47、(2)本发明针对rgb-t跟踪任务中可见光与红外模态之间存在信息贡献不对称的问题,设计了双向自适应跨模态增强机制,建立可见光引导红外特征更新以及红外引导可见光特征更新的交互路径,使两个模态能够根据自身特征特点分别吸收另一模态中的有效信息;同时,针对不同场景下两种模态可靠程度动态变化的问题,本发明为两个模态更新分支分别设置独立的可学习标量系数,对原始特征信息、跨模态注意力信息以及前馈增强信息进行自适应调节,使模型能够根据当前跟踪环境自动调整不同模态信息的贡献比例,在弱光、强光、热交叉以及背景干扰等情况下,提高目标表征的有效性和跟踪鲁棒性;

48、(3)本发明针对rgb-t目标跟踪任务中搜索区域特征直接决定目标定位结果的特点,通过将经过多阶段跨模态增强后的来自可见光与红外的搜索区域的特征进行通道维拼接,并通过卷积映射实现统一特征空间重构,使双模态目标状态信息能够以适用于预测头处理的形式进行表达,同时,本发明通过这种在预测阶段重点对增强后的搜索区域特征进行融合和定位的设计,使跨模态增强后的互补信息能够直接服务于跟踪目标位置预测,在减少双模态特征冗余的同时保留目标空间结构信息,提高复杂环境下目标定位的准确性与稳定性;

49、(4)本发明兼容基于角点回归与中心点回归的不同预测头结构,可根据具体应用场景进行灵活配置,从而提升方法的适用性。