基于权重预处理和令牌更新的多光谱目标跟踪方法

本发明属于图像处理，具体涉及一种基于权重预处理和令牌更新的多光谱目标跟踪方法。

背景技术：

1、无人机已成为监测地球表面动态目标的重要遥感平台，支持环境监测、精准农业和安全监测等广泛应用。得益于其高机动性和灵活的飞行部署，无人机可以获得高时空分辨率的图像，能够在复杂场景中连续观察运动目标。

2、现有的大多数基于无人机的跟踪方法都是针对rgb图像开发的，主要依靠外观相似性来定位跨帧的目标。然而，空中跟踪往往面临着巨大的挑战，包括剧烈的视点变化、尺度变化、运动模糊和背景杂乱，这些经常导致跟踪漂移或失败，从而限制了基于无人机的目标跟踪的发展。这些限制在很大程度上归因于rgb图像的有限光谱表示，它为区分目标和视觉上相似的背景提供了有限的区分信息。多光谱图像通过捕获多个波段上丰富的光谱反射率，使对象的材料和特征能够更具区分性。主流的跟踪方法大致可以分为两类：主要依赖于手工制作的特征和集成的相关滤波器的方法和基于深度学习的方法。

3、然而，目标的复杂的运动模式和隐藏的高层语义信息很难用手工制作的特征来表示，限制了跟踪器在复杂动态的背景中的性能。

4、由于深度学习在目标跟踪任务中的成功应用,目前主流方法已经转向基于深度学习的方法。trans-dat使用transformer架构通过端到端学习来自动提取目标的光谱-空间特征受到广泛关注。sense使用孪生网络框架以及通过融合材料和运动线索提高了跟踪的鲁棒性。tbr-net使用深度卷积神经网络以及变换的频段重组和特征细化网络来提高模型在复杂动态环境中的性能。相比于手工特征的有限的特征表示能力，使用transformer架构或深度卷积神经网络来提取多光谱特征，并集成特征增强模块，可以有效提高处理复杂非线性模式的能力。

5、总体来看，当前多光谱视频跟踪仍面临两方面关键挑战：其一，对多光谱搜索区域的注意力权重更新不及时，难以充分利用目标的空间和光谱信息；其二，对目标全局上下文信息和历史帧信息利用不够充分，限制了其在复杂动态环境中跟踪的鲁棒性。

技术实现思路

1、由鉴于此，本发明的主要目的在于提供基于权重预处理和令牌更新的多光谱目标跟踪方法。

2、为达到上述目的，本发明的技术方案是这样实现的：

3、本发明实施例提供一种基于权重预处理和令牌更新的多光谱目标跟踪方法，该方法为：

4、步骤一、载入多光谱图像序列，确定多光谱图像序列中第1帧多光谱图像的模板图像和第帧多光谱图像的搜索图像，其中，表示输入的多光谱图像序列的帧数，是大于等于1的整数；

5、步骤二、将所述和进行空间注意力计算，得到空间注意力，将所述和进行通道注意力计算，得到通道注意力，利用和对进行权重预处理，得到空间通道加权搜索图像；

6、步骤三、将所述进行patchembedding操作并展平拼接得到未更新的模板令牌，将所述进行patchembedding操作并展平拼接得到未更新的搜索令牌；

7、步骤四、将所述进行计算得到更新的模板令牌，将所述和进行transformer编码处理得到transformer搜索令牌，将所述进行计算得到原始光谱提示令牌；

8、步骤五、将所述进行计算，得到更新的光谱提示令牌；

9、步骤六、将所述和进行多头注意力交互操作，得到更新的搜索令牌；

10、步骤七、将所述与相加得到第2次更新的搜索令牌；

11、步骤八、将所述送入预测头获取预测框位置，完成第帧多光谱图像的目标跟踪，依次载入多光谱图像序列中的每一帧多光谱图像。

12、可选地，所述步骤二，具体通过以下步骤实现：

13、（201）按照下式，对所述进行计算得到空间注意力：

14、(1)

15、其中，表示1×1卷积操作，表示3×3卷积操作；

16、（202）按照下式，对所述进行计算得到通道注意力：

17、(2)

18、(3)

19、(4)

20、其中，表示平均池化操作，表示经过平均池化的模板图像特征，其中，表示查询矩阵，表示关键矩阵，表示值矩阵，表示光谱通道的数量，表示转置操作，表示单头自注意力操作，表示激活函数，表示归一化操作；

21、（203）按照下式，对所述进行权重预处理，得到空间通道加权搜索图像：

22、(5)

23、其中，表示整形操作，表示逐元素相乘操作。

24、可选地，所述步骤三，具体包括：对所述进行patchembedding操作，分成patch大小为16×16像素的小块并展平为一维向量，然后拼接得到未更新的模板令牌，对所述进行patchembedding操作，分成patch大小为16×16像素的小块并展平为一维向量，然后拼接得到未更新的搜索令牌。

25、可选地，所述步骤四，具体通过以下步骤实现：

26、（401）按照下式，对进行全局选择性上下文更新处理得到更新的模板令牌：

27、(6)

28、(7)

29、其中，表示进行全局选择性上下文更新处理，为状态方程，表示隐藏状态方程的系数矩阵，为隐藏状态方程，表示输入令牌的系数矩阵，为输入令牌，为输出方程，表示状态方程的系数矩阵；

30、（402）按照下式，对和进行transformer编码处理得到transformer搜索令牌：

31、(8)

32、其中，表示transformer编码处理；

33、（403）按照下式，对进行全局平均池化操作得到原始光谱提示令牌：

34、(9)

35、其中，表示做全局平均池化操作;

36、可选地，所述步骤五，具体通过以下步骤实现：

37、（501）按照下式，利用和计算中间令牌：

38、(10)

39、其中，表示压缩操作，表示引入激励操作，表示

gelu激活函数；

40、（502）按照下式，利用进行计算得到更新的光谱提示令牌：

41、(11)

42、其中，表示多层感知机制。

43、可选地，所述步骤六，具体通过以下步骤实现：

44、（601）按照下式，对和进行计算得到第组多头注意力：

45、(12)

46、其中,是大于等于1的整数;

47、（602）按照下式，对组进行串联操作并与变换矩阵相乘得到更新的搜索区域令牌：

48、(13)

49、其中，表示串联操作，表示变换矩阵。

50、可选地，所述步骤七，具体通过以下步骤实现：

51、(14)

52、其中，表示逐元素相加操作。

53、可选地，所述步骤八，具体包括：将输入预测头，输出分类得分图、中心偏移图和尺度变化图，根据分类得分最高的位置确定目标中心位置，根据中心偏移图和尺度变化图细化目标中心位置，从而完成第帧多光谱图像的目标跟踪，依次载入多光谱图像序列中的每一帧多光谱图像，完成整个多光谱图像序列的目标跟踪。

54、与现有技术相比，本发明提出了一种基于权重预处理和令牌更新的多光谱目标跟踪方法，在权重预处理阶段，通过计算空间和通道两个维度上的注意力权重来自适应地更新权重，通过空间注意力和通道注意力抑制空间背景的干扰并增强了重要通道的权重从而强化了目标和背景的光谱差异；然后，在令牌更新阶段，通过引入mamba层，利用其自适应参数调节机制对全局上下文信息进行选择性压缩，并在时间维度上持续更新特征表示，从而有效建模长期依赖关系并提升特征表征能力，光谱提示层则利用历史帧信息持续更新光谱提示令牌，从而提纯光谱信息，令牌更新阶段使模型在保持计算效率的同时实现光谱信息的动态更新与精细建模。