一种基于运动感知先验的全稀疏目标跟踪方法和系统

本发明涉及计算机视觉领域，更具体地，涉及一种基于运动感知先验的全稀疏目标跟踪方法和系统。

背景技术：

1、在计算机视觉领域，基于变换器（transformer）的一体式目标跟踪器因其优异的特征建模能力而受到广泛关注。此类方法将模板区域与搜索区域划分为图像块令牌，并在基于变换器构造的编码器中对图像块令牌进行特征融合与关系建模，取得了较高的跟踪精度。然而，由于搜索区域中令牌数量庞大，注意力计算量随令牌数量呈近似二次增长，导致在低功耗中央处理器、嵌入式图形处理器和移动端神经网络处理器等设备上实时部署困难。

2、针对上述计算瓶颈，现有技术尝试通过令牌剪枝或动态计算来减少推理开销。然而，现有方案仍存在以下不足：第一，由于早期网络层对目标的响应不够稳定，若在此阶段进行令牌剪枝，容易丢失目标相关信息，因此现有方法往往推迟到中后期执行剪枝，导致早期高成本编码层仍需处理完整的搜索令牌，限制了计算加速的潜力。第二，运动先验信息仅用于最终预测结果的后处理，仅起到调整响应得分的作用，无法在特征编码阶段减少实际计算量。第三，稀疏化的主干网络与稠密的预测头之间存在结构不匹配，稀疏令牌仍需还原为完整特征图才能进行后续处理，引入了额外的无效计算。此外，现有动态计算方法的每帧计算量波动较大，不利于边缘端部署；且在保留令牌比例较低时，目标关键信息容易丢失，导致跟踪漂移或失败。

技术实现思路

1、本发明提供一种基于运动感知先验的全稀疏目标跟踪方法和系统，用于在对目标跟踪时显著降低推理计算量，同时保持目标跟踪的精度。

2、根据本技术的第一方面，提供了一种基于运动感知先验的全稀疏目标跟踪方法，所述方法包括：

3、基于首帧图像获取模板图像，基于当前帧图像的上一帧预测边界信息和当前帧图像，获取所述当前帧图像的搜索图像；其中，所述首帧图像和所述当前帧图像基于待目标跟踪视频的若干帧图像获取；

4、基于预设的注意力机制，获取所述模板图像的若干模板令牌和所述搜索图像的若干搜索令牌；

5、基于所述模板令牌和所述上一帧预测边界信息，获取所述搜索令牌的运动感知分数；

6、基于所述运动感知分数，从若干所述搜索令牌筛选出若干保留令牌；

7、基于所述模板令牌、所述上一帧预测边界信息和所述保留令牌对所述当前帧图像的目标进行定位，得到所述当前帧图像的预测边界信息；

8、基于所述待目标跟踪视频中各帧图像的预测边界信息，获取所述待目标跟踪视频的目标跟踪结果。

9、可理解的是，通过基于上一帧预测边界信息转化为令牌级的运动感知分数，并执行固定预算的搜索令牌筛选，使后续仅处理保留令牌，有效降低了注意力计算量；同时采用无需补零还原的稀疏预测头，直接在保留令牌上进行评分和单次回归定位，避免了稠密特征图重建带来的无效计算，在显著降低边缘端推理计算量的同时保持了跟踪精度。

10、可选地，所述基于当前帧图像的上一帧预测边界信息和当前帧图像，获取所述当前帧图像的搜索图像，包括：

11、从当前帧图像的上一帧预测边界信息中，提取所述当前帧图像的上一帧图像的目标位置；

12、基于所述上一帧图像的目标位置和预设的裁剪参数，从所述当前帧图像中裁剪出搜索图像。

13、可理解的是，基于上一帧预测边界信息中的目标位置，从当前帧图像中裁剪出包含目标的搜索图像，将输入范围限定在目标可能出现的局部区域，有效减少了后续令牌嵌入和注意力计算的数据量，同时保留了目标运动的空间上下文，为后续令牌筛选和运动感知先验的生成提供了精准的输入基础。

14、可选地，所述基于所述模板令牌和所述上一帧预测边界信息，获取所述搜索令牌的运动感知分数，包括：

15、获取所述搜索令牌相对于所述模板令牌的相似度分数；

16、基于所述上一帧预测边界信息获取所述当前帧图像的上一帧图像的目标位置和目标尺寸；

17、基于所述模板令牌、所述上一帧图像的目标位置和目标尺寸、所述搜索令牌的相似度分数，获取所述搜索令牌的运动感知分数。

18、可理解的是，将基于模板令牌和搜索令牌交叉注意力计算的相似度分数，与基于上一帧预测边界信息生成的运动先验信息相结合，通过融合当前帧的外观信息和历史帧的运动信息，使令牌筛选同时受到看起来像目标和出现在目标应出现的位置双重约束，有效解决了早期变换器层注意力图弥散导致误删目标令牌或保留背景令牌的问题。

19、可选地，所述获取所述搜索令牌相对于所述模板令牌的相似度分数，包括：

20、获取位于所述模板图像中心区域的若干模板令牌作为中心令牌；

21、提取所述中心令牌的键向量，并将所有所述键向量的平均值作为目标代表向量；

22、提取所述搜索令牌的查询向量；

23、基于所述目标代表向量与所述搜索令牌的查询向量计算相似度分数，作为所述搜索令牌相对于所述模板令牌的相似度分数。

24、可理解的是，通过选取模板图像中心区域的若干模板令牌的键向量平均值作为目标代表向量，能够有效抑制模板边缘背景噪声对特征表达的干扰，使目标代表向量表征更加纯净和稳定；再通过计算各搜索令牌的查询向量与目标代表向量的相似度，获得反映各搜索令牌与目标代表向量的相似度分数，为后续融合运动先验进行令牌筛选提供了可靠的外观依据。

25、可选地，第个所述搜索令牌的相似度分数为：

26、

27、其中，为指数函数，为第个搜索令牌的查询向量，为第个搜索令牌的查询向量，表示对向量的转置运算，表示目标代表向量，表示预设的向量维度。

28、可理解的是，通过计算搜索令牌查询向量与目标代表向量键向量的缩放点积相似度，并采用对所有搜索令牌的相似度进行归一化，将每个搜索令牌的外观匹配程度量化为0到1之间的概率值，既保证了不同搜索令牌之间相似度分数的可比性，又为后续与运动先验参数进行乘法融合提供了尺度匹配的数值基础，从而实现了外观信息与运动信息的有效联合。

29、可选地，所述基于所述模板令牌、所述上一帧图像的目标位置和目标尺寸、所述搜索令牌的相似度分数，获取所述搜索令牌的运动感知分数，包括：

30、获取所述搜索令牌在所述搜索图像的原始位置信息；

31、将所述上一帧图像的目标位置和目标尺寸映射至所述搜索图像的坐标系中，得到所述上一帧图像的目标位置、目标尺寸在所述搜索图像的映射位置和映射尺寸；

32、基于所述搜索令牌在所述搜索图像的原始位置信息、所述映射位置和所述映射尺寸获取所述搜索令牌的运动先验参数；

33、基于所述搜索令牌的运动先验参数和所述搜索令牌的相似度分数，获取所述搜索令牌的运动感知分数。

34、可理解的是，通过将上一帧预测边界框的目标位置和目标尺寸映射到当前搜索图像的坐标系中，使历史帧的运动信息与当前帧的搜索令牌位置建立空间对应关系，再结合各搜索令牌的原始位置信息、映射位置和映射尺寸生成运动感知分数，从而将上一帧的目标位置信息转化为可作用于每个搜索令牌的先验概率，实现了运动信息与外观信息的精确对齐与有效融合。

35、可选地，所述映射位置包括所述上一帧图像的目标位置映射在所述搜索图像坐标系下的水平坐标和垂直坐标；所述映射尺寸包括所述上一帧图像的目标尺寸映射在搜索图像坐标系下的宽度和高度；

36、第个所述搜索令牌的运动感知分数为：

37、

38、

39、

40、

41、其中，表示第个所述搜索令牌的相似度分数，表示第帧图像对应的搜索图像的运动先验参数，其中所述第帧图像为当前帧图像；分别表示第个所述搜索令牌在所述搜索图像坐标系下的水平坐标和垂直坐标；表示指数函数，分别表示所述上一帧图像即第帧图像映射位置的水平坐标和垂直坐标；分别表示所述运动先验参数在水平方向和垂直方向的标准差；表示预设的尺度系数，分别表示所述上一帧图像即第帧图像映射尺寸的宽度和高度。

42、可理解的是，基于映射位置、映射尺寸为基准生成平滑的空间先验分布，并通过乘法方式将运动先验参数与相似度分数融合，使目标中心区域的令牌获得更高的保留概率，同时有效抑制远离中心区域的干扰令牌；运动先验参数的标准差与上一帧映射尺寸线性正相关，实现了运动先验的自适应尺度调节，提升了不同映射尺寸目标下的令牌筛选鲁棒性。

43、可选地，所述基于所述运动感知分数，从若干所述搜索令牌筛选出若干保留令牌，包括：

44、基于所述运动感知分数和预设顺序对所述搜索令牌进行排列，并获取所述运动感知分数最大的预设个数的搜索令牌作为所述保留令牌。

45、可理解的是，基于运动感知分数对搜索令牌进行排序，并按照预设的固定保留数量或保留比例选择保留令牌，使后续仅处理精简后的保留令牌集合；固定预算的稀疏化策略确保了每帧的计算量保持稳定，避免了动态计算方法中每帧计算量波动的问题，对边缘部署环境友好，同时通过运动先验的引导保证了高压缩率下目标相关令牌的有效保留。

46、可选地，所述基于所述模板令牌、所述上一帧预测边界信息和所述保留令牌对当前帧图像的目标进行定位，得到所述当前帧图像的预测边界信息，包括：

47、对所述保留令牌进行置信度评分，得到置信度分数；选取所述置信度分数最高的保留令牌作为目标令牌；

48、基于所述上一帧预测边界信息，对所述目标令牌执行回归运算，得到相对于所述上一帧预测边界信息的坐标偏移量和尺度缩放量；

49、获取所述目标令牌在所述当前帧图像的原始位置信息；

50、基于所述目标令牌在所述当前帧图像的原始位置信息获取目标在所述当前帧图像的初步位置和初步尺寸；

51、基于所述坐标偏移量对所述初步位置进行修正，得到目标位置；基于所述尺度缩放量对所述初步尺寸进行修正，得到目标尺寸；

52、基于所述目标位置和所述目标尺寸，得到所述当前帧图像的预测边界信息。

53、可理解的是，直接在保留令牌集合上进行评分，选取最高置信度的保留令牌作为目标令牌，并仅对该目标令牌执行一次回归运算，无需将稀疏令牌补零还原为稠密二维特征图，有效避免了传统稠密预测头对大量空位置进行无效卷积或回归计算；先评分后单点回归的策略使评分计算量随保留令牌数量线性增长、回归计算量为常数复杂度，实现了端到端的全稀疏计算，进一步降低了推理延迟，适合边缘端实时部署。

54、根据本技术的第二方面，提供了一种基于运动感知先验的全稀疏目标跟踪系统，所述系统包括：

55、图像获取模块，用于基于首帧图像获取模板图像，基于当前帧图像的上一帧预测边界信息和当前帧图像，获取所述当前帧图像的搜索图像；其中，所述首帧图像和所述当前帧图像基于待目标跟踪视频的若干帧图像获取；

56、模板和搜索令牌获取模块，用于基于预设的注意力机制，获取所述模板图像的若干模板令牌和所述搜索图像的若干搜索令牌；

57、参数获取模块，用于基于所述模板令牌和所述上一帧预测边界信息，获取所述搜索令牌的运动感知分数；

58、保留令牌获取模块，用于基于所述运动感知分数，从若干所述搜索令牌筛选出若干保留令牌；

59、预测模块，用于基于所述模板令牌、所述上一帧预测边界信息和所述保留令牌对所述当前帧图像的目标进行定位，得到所述当前帧图像的预测边界信息；

60、追踪结果获取模块，用于所述基于待目标跟踪视频中各帧图像的预测边界信息，获取所述待目标跟踪视频的目标跟踪结果。

61、根据本技术的第三方面，提供了一种电子设备，包括：

62、存储器，用于存储一个或多个计算机程序；

63、处理器，当所述一个或多个计算机程序被所述处理器执行时，实现上述第一方面所述的一种基于运动感知先验的全稀疏目标跟踪方法。

64、根据本技术的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现上述第一方面所述的一种基于运动感知先验的全稀疏目标跟踪方法。

65、基于上述任意一个方面，本技术实施例提供的一种基于运动感知先验的全稀疏目标跟踪方法、系统、电子设备及存储介质，可以达到以下技术效果：

66、通过将上一帧预测边界框信息转化为令牌级的运动先验参数，与基于模板令牌和搜索令牌计算的相似度分数进行乘法融合，并仅执行一次性固定预算的保留令牌稀疏化，使后续均仅处理保留令牌集合。相比现有方案将稀疏化推迟到中后层的做法，本技术的计算量节省贯穿后续全部网络层，在同等稀疏化条件下能够获得更显著的加速收益，有效降低了设备的推理延迟。

67、采用无需稠密还原的全稀疏预测头，直接在保留令牌集合上进行置信度评分，选取最高分令牌作为目标令牌，并仅对该单个目标令牌执行一次回归运算。相比传统稠密预测头需将稀疏令牌补零并还原为完整二维特征图再进行卷积或回归计算的做法，本技术避免了大量空位置上的无效计算，评分分支的计算量随保留令牌数量线性增长，回归分支为常数复杂度，实现了端到端的全稀疏计算流水线，进一步降低了推理延迟，同时消除了传统稀疏化方法中稀疏主干+稠密预测头的结构不匹配问题。

68、通过运动先验对早期交叉注意力的弥散问题进行空间重加权，使目标中心附近的令牌在早期即获得更高的保留概率，有效缓解了现有令牌剪枝方法在早期层容易保留背景令牌或误删目标中心附近令牌的问题。固定预算的保留策略确保了每帧的计算图稳定，避免了动态计算方法计算量波动对一些部署环境不友好的问题。