一种基于时空特征和位置变化的单目标跟踪方法及系统与流程

技术特征：
1.一种基于时空特征和位置变化的单目标跟踪方法，其特征在于，包括：获取待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板；所述搜索区域是以待跟踪目标为中心裁剪出来；所述搜索区域大于所述初始模板；所述位置模板与所述搜索区域大小相同；根据待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板利用训练好的单目标跟踪器对所述待跟踪目标进行跟踪；利用训练好的单目标跟踪器对所述待跟踪目标进行跟踪的过程为：利用训练好的单目标跟踪器中的特征提取网络对初始模板、历史动态模板以及搜索区域的图像特征进行提取；利用训练好的单目标跟踪器中的拉伸层对提取的图像特征进行特征拉伸；利用训练好的单目标跟踪器中的transformer编码器将拉伸后的图像特征与目标变化的时空信息进行结合，确定图像特征图；利用训练好的单目标跟踪器中的一个transformer译码器对图像特征图进行学习目标时空变化的预测，得到第一预测结果；利用训练好的单目标跟踪器中的另一个transformer译码器以及位置模板对图像特征图进行学习目标位置变化的预测，得到第二预测结果；所述位置模板与所述搜索区域大小相同；对第一预测结果和第二预测结果进行正则化，并将正则化后的结果分别输入训练好的单目标跟踪器中的边框预测模块和跟踪结果评估模块；判断跟踪结果评估模块的输出结果是否大于设定阈值；若跟踪结果评估模块的输出结果小于或等于设定阈值，则返回所述获取待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板的步骤，进行下一步的跟踪；若跟踪结果评估模块的输出结果大于设定阈值，则根据边框预测模块的输出结果对历史动态模板和位置模板进行更新，并返回所述利用训练好的单目标跟踪器中的特征提取网络对初始模板、历史动态模板以及搜索区域的图像特征进行提取的步骤。2.根据权利要求1所述的一种基于时空特征和位置变化的单目标跟踪方法，其特征在于，所述拉伸后的图像特征为一维图像。3.根据权利要求1所述的一种基于时空特征和位置变化的单目标跟踪方法，其特征在于，transformer编码器通过self-attention操作将目标变化的时空信息添加到拉伸后的图像特征中。4.根据权利要求1所述的一种基于时空特征和位置变化的单目标跟踪方法，其特征在于，利用公式re＝decoder(fe，tq)确定第一预测结果；利用rp＝decoder(fe*fm，tq)确定第二预测结果；利用r＝norm(re rp)确定正则化后的结果；其中，re为第一预测结果，rp为第二预测结果，r为正则化后的结果，tq为目标检索序列，decoder为译码器，norm()函数为正则化函数。5.根据权利要求1所述的一种基于时空特征和位置变化的单目标跟踪方法，其特征在于，利用公式f
m
＝seg(img)确定位置模板；其中，f
m
为生成的位置模板，seg()为分割函数，用于前后景分割和对前后景赋值，img
为输入的搜索区域的图像。6.根据权利要求1所述的一种基于时空特征和位置变化的单目标跟踪方法，其特征在于，所述训练好的单目标跟踪器的损失函数为：l
ce
＝y
i
log(p
i
) (1-y
i
)log(1-p
i
)；其中，l为第一阶段的损失，λ
iou
为iou损失的权重，l
iou
为iou损失函数，b
i
为第一阶段训练跟踪器对第i个输入的跟踪结果，为对应bi的监督标签groundtruth，λ
l1
为l1损失函数权重，l1为l1损失函数，l
ce
为第二阶段的损失，y
i
为groundtruth标签，p
i
为跟踪结果评估模块预测的评估值，也是第二阶段训练时跟踪器的输出。7.一种基于时空特征和位置变化的单目标跟踪系统，其特征在于，包括：图像获取模块，用于获取待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板；所述搜索区域是以待跟踪目标为中心裁剪出来；所述搜索区域大于所述初始模板；所述位置模板与所述搜索区域大小相同；跟踪模块，用于根据待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板利用训练好的单目标跟踪器对所述待跟踪目标进行跟踪；利用训练好的单目标跟踪器对所述待跟踪目标进行跟踪的过程为：利用训练好的单目标跟踪器中的特征提取网络对初始模板、历史动态模板以及搜索区域的图像特征进行提取；利用训练好的单目标跟踪器中的拉伸层对提取的图像特征进行特征拉伸；利用训练好的单目标跟踪器中的transformer编码器将拉伸后的图像特征与目标变化的时空信息进行结合，确定图像特征图；利用训练好的单目标跟踪器中的一个transformer译码器对图像特征图进行学习目标时空变化的预测，得到第一预测结果；利用训练好的单目标跟踪器中的另一个transformer译码器以及位置模板对图像特征图进行学习目标位置变化的预测，得到第二预测结果；所述位置模板与所述搜索区域大小相同；对第一预测结果和第二预测结果进行正则化，并将正则化后的结果分别输入训练好的单目标跟踪器中的边框预测模块和跟踪结果评估模块；判断跟踪结果评估模块的输出结果是否大于设定阈值；若跟踪结果评估模块的输出结果小于或等于设定阈值，则返回所述获取待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板的步骤，进行下一步的跟踪；若跟踪结果评估模块的输出结果大于设定阈值，则根据边框预测模块的输出结果对历史动态模板和位置模板进行更新，并返回所述利用训练好的单目标跟踪器中的特征提取网络对初始模板、历史动态模板以及搜索区域的图像特征进行提取的步骤。

技术总结
本发明涉及一种基于时空特征和位置变化的单目标跟踪方法及系统。该方法包括：获取待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板；根据待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板利用训练好的单目标跟踪器对所述待跟踪目标进行跟踪；即构建了一个利用时空信息和目标位置变化进行单目标跟踪的系统，创新性的提出了一个帮助模型学习目标位置变化的位置模板和学习目标位置变化的分支，让系统同时学习目标时空变化和位置变化，系统根据跟踪结果选择是否分离出目标和背景形成一个位置模板来指导模型学习目标在图像中的位置变化。本发明能够提高单目标的跟踪精度。的跟踪精度。的跟踪精度。


技术研发人员：蒋鑫 杜晓宇 李泽超
受保护的技术使用者：南京理工大学
技术研发日：2021.10.19
技术公布日：2022/1/21