一种基于混合注意力机制的端到端单目标跟踪方法及装置

技术特征：
1.一种基于混合注意力机制的端到端单目标跟踪方法，其特征是构建一个跟踪框架mixformer用于目标跟踪，所述跟踪框架mixformer为一个端到端训练的transformer跟踪网络，包括一个主干网络和一个跟踪头，跟踪框架mixformer的构建实现包括如下阶段：1)数据准备阶段，对训练数据集中所有视频帧裁剪出目标搜索区域，从每个视频的帧序列的前半部分抽取两帧作为模板帧，后半部分抽取一帧作为测试帧，对测试帧标注目标框作为验证帧，每个验证帧中目标框的对角坐标作为离线训练过程中的真实标签；2)网络配置阶段，主干网络为一个基于混合注意力模块的特征提取器，将特征提取和信息融合通过transformer结构统一起来，跟踪头为一个回归头，采用卷积网络实现；将模板帧和测试帧同时输入到主干网络中产生融合了模板信息的测试帧特征，然后再将该测试帧特征通过回归头产生目标的对角坐标，作为测试帧产生的最终目标框；其中，主干网络基于混合注意力机制，对模板帧和测试帧的特征进行自注意力和互注意力操作，自注意力用于提取模板帧和测试帧的自身特征，互注意力用于目标帧和测试帧的特征信息交互，以得到融合了模板信息的测试帧特征；3)离线训练阶段，对于回归头目标框的训练，采用l1损失函数和giou损失函数来进行监督，结合由验证帧得到的真实标签，使用adamw优化器，通过反向传播算法来更新整个网络参数，不断训练配置的网络，直至达到迭代次数，得到跟踪框架mixformer；在线跟踪，对待跟踪视频的第一帧标注目标搜索区域作为模板帧，后续帧作为测试帧，输入训练得到的跟踪框架mixformer，输出得到测试帧上的目标框，实现目标跟踪。2.根据权利要求1所述的一种基于混合注意力机制的端到端单目标跟踪方法，其特征是主干网络的互注意力操作只进行单向的从模板帧到测试帧的互注意力，不进行从测试帧到模板帧的互注意力，得到融合了模板信息的测试帧特征。3.根据权利要求1所述的一种基于混合注意力机制的端到端单目标跟踪方法，其特征是主干网络具体为：对模板帧和测试帧分别生成块向量，进行自注意力操作得到模板自身特征和测试帧自身特征，分别将二者通过公共的多头注意力函数得到各自的query，key和value，然后进行互注意力操作，将两者的query，key和value拼接后经过一个线性层，模板帧和测试帧的块向量拉平拼接得到拼接向量f
token
，线性层的输出与f
token
相加得到一次混合的向量，将混合向量分割后再进行自注意力和互注意力操作得到新的混合向量，重复m次得到最终混合特征，经分割reshape之后得到融合了模板信息的测试帧特征。4.根据权利要求1或2或3所述的一种基于混合注意力机制的端到端单目标跟踪方法，其特征是跟踪头还包括一个分类头，分类头用于得到测试帧的分类目标置信度，分类头具有一个预设的可学习的置信度向量，分别与测试帧特征和模板帧自身特征进行注意力操作，感知二者的信息预测得到当前测试帧的分类目标置信度，在跟踪过程中，从已经跟踪完的视频帧序列中挑选出置信度符合条件的帧补充作为模板帧。5.根据根据权利要求4所述的一种基于混合注意力机制的端到端单目标跟踪方法，其特征是在线跟踪时，首先裁剪出待跟踪视频的第一帧图像中的目标搜索区域，作为模板帧f
train
，待跟踪的帧作为测试帧f
test
，经过跟踪框架mixformer得到测试帧f
test
上的目标框，在跟踪过程中，从已经跟踪完的帧序列中每n帧挑选出一个置信度最高的帧及其跟踪得到的目标框作为标签，补充作为模板帧f
train
。6.根据权利要求1所述的一种基于混合注意力机制的端到端单目标跟踪方法，其特征
是数据准备阶段中，对训练数据集中每个视频的每一帧图像进行目标区域抖动处理，然后裁剪出抖动处理后的目标搜索区域。7.一种基于混合注意力机制的端到端单目标跟踪装置，其特征是具有计算机存储介质，所述计算机存储介质中配置有计算机程序，所述计算机程序用于实现权利要求1-6所述的跟踪框架mixformer，所述计算机程序被执行时实现权利要求1-6所述的跟踪方法。

技术总结
一种基于混合注意力机制的端到端单目标跟踪方法，构建一个基于Transformer跟踪的跟踪框架MixFormer，用于目标跟踪，跟踪框架的构建包括以下步骤：1)数据准备阶段；2)网络配置阶段；3)离线训练阶段；4)在线跟踪阶段。本发明采用了基于混合注意力的骨干网络来同时进行特征提取与目标信息融合，得到了一个简洁清晰的跟踪框架，并且能有效地提升性能。此外，本发明的跟踪方法能对跟踪过程中的物体变形有更好的适应能力，有效地提升目标回归的精度。有效地提升目标回归的精度。有效地提升目标回归的精度。


技术研发人员：王利民 崔玉涛 蒋承 武港山
受保护的技术使用者：南京大学
技术研发日：2022.02.18
技术公布日：2022/5/31