一种基于时空特征和位置变化的单目标跟踪方法及系统与流程

1.本发明涉及计算机视觉领域，特别是涉及一种基于时空特征和位置变化的单目标跟踪方法及系统。


背景技术：

2.近年来，视频数量大大增长，其中一个非常重要的主题是移动物体的活动。这促使了单目标跟踪在计算机视觉领域的广泛研究，其在视频监控、人机交互等领域中有着广阔的应用前景。时空单目标跟踪由空间单目标跟踪发展而来，空间单目标跟踪主要基于初始模板帧利用空间信息对视频中的目标进行跟踪，时空单目标跟踪则是基于初始模板帧利用时间和空间信息对视频中的目标进行跟踪。在现实应用中，因为目标在移动的过程中，形状、大小等都会发生变化，单纯的利用空间信息无法保证准确的跟踪，所以时空单目标跟踪在各个领域中都有更实际的应用价值和研究意义。
3.为了实现较高的跟踪精度，大多数现有的最先进的时空单目标跟踪算法都使用了一个历史帧集合来指导模型的跟踪或直接进行模型的在线更新，从中学习到目标的空间变化。但它们只注重学习目标形状大小等随时间的变化，但忽略了目标在图像中的位置变化，这导致在跟踪的过程中，模型可能会关注到同一图像中的相似目标，导致跟踪漂移等问题的出现。
4.因此，亟需一种基于时空特征和位置变化的单目标跟踪方法或系统以解决上述问题。


技术实现要素：

5.本发明的目的是提供一种基于时空特征和位置变化的单目标跟踪方法及系统，能够提高单目标的跟踪精度。
6.为实现上述目的，本发明提供了如下方案：
7.一种基于时空特征和位置变化的单目标跟踪方法，包括：
8.获取待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板；所述搜索区域是以待跟踪目标为中心裁剪出来；所述搜索区域大于所述初始模板；所述位置模板与所述搜索区域大小相同；
9.根据待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板利用训练好的单目标跟踪器对所述待跟踪目标进行跟踪；
10.利用训练好的单目标跟踪器对所述待跟踪目标进行跟踪的过程为：
11.利用训练好的单目标跟踪器中的特征提取网络对初始模板、历史动态模板以及搜索区域的图像特征进行提取；
12.利用训练好的单目标跟踪器中的拉伸层对提取的图像特征进行特征拉伸；
13.利用训练好的单目标跟踪器中的transformer编码器将拉伸后的图像特征与目标变化的时空信息进行结合，确定图像特征图；
14.利用训练好的单目标跟踪器中的一个transformer译码器对图像特征图进行学习目标时空变化的预测，得到第一预测结果；
15.利用训练好的单目标跟踪器中的另一个transformer译码器以及位置模板对图像特征图进行学习目标位置变化的预测，得到第二预测结果；
16.对第一预测结果和第二预测结果进行正则化，并将正则化后的结果分别输入训练好的单目标跟踪器中的边框预测模块和跟踪结果评估模块；
17.判断跟踪结果评估模块的输出结果是否大于设定阈值；
18.若跟踪结果评估模块的输出结果小于或等于设定阈值，则返回所述获取待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板的步骤，进行下一步的跟踪；
19.若跟踪结果评估模块的输出结果大于设定阈值，则根据边框预测模块的输出结果对历史动态模板和位置模板进行更新，并返回所述利用训练好的单目标跟踪器中的特征提取网络对初始模板、历史动态模板以及搜索区域的图像特征进行提取的步骤。
20.可选地，所述拉伸后的图像特征为一维图像。
21.可选地，transformer编码器通过self-attention操作将目标变化的时空信息添加到拉伸后的图像特征中。
22.可选地，利用公式re＝decoder(fe，tq)确定第一预测结果；
23.利用rp＝decoder(fe*fm，tq)确定第二预测结果；
24.利用r＝norm(re rp)确定正则化后的结果；
25.其中，re为第一预测结果，rp为第二预测结果，r为正则化后的结果，tq为目标检索序列，decoder为译码器，norm()函数为正则化函数。
26.可选地，利用公式fm＝seg(img)确定位置模板；
27.其中，fm为生成的位置模板，seg()为分割函数，用于前后景分割和对前后景赋值，img为输入的搜索区域的图像。
28.可选地，所述训练好的单目标跟踪器的损失函数为：
[0029][0030]
l
ce
＝yilog(pi) (1-yi)log(1-pi)；
[0031]
其中，l为第一阶段的损失，λ
iou
为iou损失的权重，l
iou
为iou损失函数，bi为第一阶段训练跟踪器对第i个输入的跟踪结果，为对应bi的监督标签groundtruth，λ
l1
为l1损失函数权重，l1为l1损失函数，l
ce
为第二阶段的损失，yi为groundtruth标签，pi为跟踪结果评估模块预测的评估值，也是第二阶段训练时跟踪器的输出。
[0032]
一种基于时空特征和位置变化的单目标跟踪系统，包括：
[0033]
图像获取模块，用于获取待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板；所述搜索区域是以待跟踪目标为中心裁剪出来；所述搜索区域大于所述初始模板；所述位置模板与所述搜索区域大小相同；
[0034]
跟踪模块，用于根据待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板利用训练好的单目标跟踪器对所述待跟踪目标进行跟踪；
[0035]
利用训练好的单目标跟踪器对所述待跟踪目标进行跟踪的过程为：
[0036]
利用训练好的单目标跟踪器中的特征提取网络对初始模板、历史动态模板以及搜
索区域的图像特征进行提取；
[0037]
利用训练好的单目标跟踪器中的拉伸层对提取的图像特征进行特征拉伸；
[0038]
利用训练好的单目标跟踪器中的transformer编码器将拉伸后的图像特征与目标变化的时空信息进行结合，确定图像特征图；
[0039]
利用训练好的单目标跟踪器中的一个transformer译码器对图像特征图进行学习目标时空变化的预测，得到第一预测结果；
[0040]
利用训练好的单目标跟踪器中的另一个transformer译码器以及位置模板对图像特征图进行学习目标位置变化的预测，得到第二预测结果；所述位置模板与所述搜索区域大小相同；
[0041]
对第一预测结果和第二预测结果进行正则化，并将正则化后的结果分别输入训练好的单目标跟踪器中的边框预测模块和跟踪结果评估模块；
[0042]
判断跟踪结果评估模块的输出结果是否大于设定阈值；
[0043]
若跟踪结果评估模块的输出结果小于或等于设定阈值，则返回所述获取待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板的步骤，进行下一步的跟踪；
[0044]
若跟踪结果评估模块的输出结果大于设定阈值，则根据边框预测模块的输出结果对历史动态模板和位置模板进行更新，并返回所述利用训练好的单目标跟踪器中的特征提取网络对初始模板、历史动态模板以及搜索区域的图像特征进行提取的步骤。
[0045]
根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0046]
本发明所提供的一种基于时空特征和位置变化的单目标跟踪方法及系统，提出一种可同时学习到目标时空变化和位置变化的单目标跟踪方法，针对传统的时空单目标跟踪方法中存在的未对位置变化进行学习的问题，提出了位置变化模板和同时学习目标时空变化和位置变化的单目标跟踪方法，使模型在跟踪过程中更加关注目标，提高了跟踪的精度。
附图说明
[0047]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0048]
图1为本发明所提供的一种基于时空特征和位置变化的单目标跟踪方法流程示意图；
[0049]
图2为基础跟踪器结构示意图；
[0050]
图3是本发明所提供的位置模板示意图；
[0051]
图4是本发明所提供的位置变化学习分支示意图；
[0052]
图5是本发明所提供的单目标跟踪器结构示意图；
[0053]
图6本发明所提供的一种基于时空特征和位置变化的单目标跟踪系统结构示意图。
具体实施方式
[0054]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0055]
本发明的目的是提供一种基于时空特征和位置变化的单目标跟踪方法及系统，能够提高单目标的跟踪精度。
[0056]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0057]
图1为本发明所提供的一种基于时空特征和位置变化的单目标跟踪方法流程示意图，如图1所示，本发明所提供的一种基于时空特征和位置变化的单目标跟踪方法，包括：
[0058]
s101，获取待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板；所述搜索区域是以待跟踪目标为中心裁剪出来；所述搜索区域大于所述初始模板；所述位置模板与所述搜索区域大小相同；即搜索区域面积大小为初始模板大小的4倍；
[0059]
s102，根据待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板利用训练好的单目标跟踪器对所述待跟踪目标进行跟踪；
[0060]
利用训练好的单目标跟踪器对所述待跟踪目标进行跟踪的过程为：
[0061]
s201，利用训练好的单目标跟踪器中的特征提取网络对初始模板、历史动态模板以及搜索区域的图像特征进行提取；
[0062]
提取出图像特征为和其中的hz，h
x
分别是输入的模板(初始模板和历史动态模板)图像和搜索区域图像的大小，s是卷积的步长，c为最后feature maps的通道数。
[0063]
s202，利用训练好的单目标跟踪器中的拉伸层对提取的图像特征进行特征拉伸；所述拉伸后的图像特征ft为一维图像。
[0064]
s203，利用训练好的单目标跟踪器中的transformer编码器将拉伸后的图像特征与目标变化的时空信息进行结合，确定图像特征图fe；
[0065]
s203具体包括：
[0066]
transformer编码器通过self-attention操作将目标变化的时空信息添加到拉伸后的图像特征中
[0067]
s204，利用训练好的单目标跟踪器中的一个transformer译码器对图像特征图进行学习目标时空变化的预测，得到第一预测结果；
[0068]
s205，利用训练好的单目标跟踪器中的另一个transformer译码器以及位置模板对图像特征图进行学习目标位置变化的预测，得到第二预测结果；所述位置模板与所述搜索区域大小相同；
[0069]
s205具体包括：
[0070]
利用公式fm＝seg(img)确定位置模板；
[0071]
其中，fm为生成的位置模板，seg()为分割函数，用于前后景分割和对前后景赋值，img为输入的搜索区域的图像。
[0072]
s206，对第一预测结果和第二预测结果进行正则化，并将正则化后的结果分别输入训练好的单目标跟踪器中的边框预测模块和跟踪结果评估模块；
[0073]
边框预测模块利用fe和r计算出一个相似性图，并与r做一个点乘用来增强重要区域并削弱判别性较小的区域。将其结果送入一个全连接网络产生最终预测的边框的左上角和右下角坐标。
[0074]
s206具体包括：
[0075]
利用公式re＝decoder(fe，tq)确定第一预测结果；
[0076]
利用rp＝decoder(fe*fm，tq)确定第二预测结果；
[0077]
利用r＝norm(re rp)确定正则化后的结果；
[0078]
其中，re为第一预测结果，rp为第二预测结果，r为正则化后的结果，tq为目标检索序列，decoder为译码器，norm()函数为正则化函数。
[0079]
s207，判断跟踪结果评估模块的输出结果是否大于设定阈值；
[0080]
s208，若跟踪结果评估模块的输出结果小于或等于设定阈值，则返回所述获取待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板的步骤，进行下一步的跟踪；
[0081]
s209，若跟踪结果评估模块的输出结果大于设定阈值，则根据边框预测模块的输出结果对历史动态模板和位置模板进行更新，并返回s201的步骤。
[0082]
训练的过程为：
[0083]
采用了常用的监督学习训练方法，在模型对训练数据进行预测后，利用标签信息对模型进行学习和优化，得到训练后的模型参数。目前主流的思想将跟踪任务分为定位和回归两个任务，因此本方法也是采用该思想，将整个训练分为两个阶段进行训练，两个阶段的网络输入都是搜索区域帧，初始模板帧，历史动态模板帧和位置模板，但用于训练的网络输出和监督标签都不同。第一阶段执行定位相关的任务，对transformer编码器、transformer译码器和边框预测模块进行训练，用于训练的网络输出是边框预测模块输出。第二阶段执行回归相关的任务，其利用第一阶段训练的模块，但保持第一阶段训练的模块的参数不变，只对跟踪结果评估模块进行训练，用于训练的网络输出是跟踪结果评估模块的输出，通过训练的损失值计算梯度进行反向传播来指导两个阶段的训练。
[0084]
所述训练好的单目标跟踪器的损失函数为：
[0085][0086]
l
ce
＝yilog(pi) (1-yi)log(1-pi)；
[0087]
其中，l为第一阶段的损失，λ
iou
为iou损失的权重，l
iou
为iou损失函数，bi为第一阶段训练跟踪器对第i个输入的跟踪结果，为对应bi的监督标签groundtruth，λ
l1
为l1损失函数权重，l1为l1损失函数，l
ce
为第二阶段的损失，yi为groundtruth标签，pi为跟踪结果评估模块预测的评估值，也是第二阶段训练时跟踪器的输出。
[0088]
图6本发明所提供的一种基于时空特征和位置变化的单目标跟踪系统结构示意图，如图6所示，本发明所提供的一种基于时空特征和位置变化的单目标跟踪系统，包括：
[0089]
图像获取模块601，用于获取待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板；所述搜索区域是以待跟踪目标为中心裁剪出来；所述搜索区域大于所述初始模板；所述位置模板与所述搜索区域大小相同；
[0090]
跟踪模块602，用于根据待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板利用训练好的单目标跟踪器对所述待跟踪目标进行跟踪；
[0091]
利用训练好的单目标跟踪器对所述待跟踪目标进行跟踪的过程为：
[0092]
利用训练好的单目标跟踪器中的特征提取网络对初始模板、历史动态模板以及搜索区域的图像特征进行提取；
[0093]
利用训练好的单目标跟踪器中的拉伸层对提取的图像特征进行特征拉伸；
[0094]
利用训练好的单目标跟踪器中的transformer编码器将拉伸后的图像特征与目标变化的时空信息进行结合，确定图像特征图；
[0095]
利用训练好的单目标跟踪器中的一个transformer译码器对图像特征图进行学习目标时空变化的预测，得到第一预测结果；
[0096]
利用训练好的单目标跟踪器中的另一个transformer译码器以及位置模板对图像特征图进行学习目标位置变化的预测，得到第二预测结果；所述位置模板与所述搜索区域大小相同；
[0097]
对第一预测结果和第二预测结果进行正则化，并将正则化后的结果分别输入训练好的单目标跟踪器中的边框预测模块和跟踪结果评估模块；
[0098]
判断跟踪结果评估模块的输出结果是否大于设定阈值；
[0099]
若跟踪结果评估模块的输出结果小于或等于设定阈值，则返回所述获取待跟踪目标的初始模板、历史动态模板、搜索区域以及位置模板的步骤，进行下一步的跟；
[0100]
若跟踪结果评估模块的输出结果大于设定阈值，则根据边框预测模块的输出结果对历史动态模板和位置模板进行更新，并返回所述利用训练好的单目标跟踪器中的特征提取网络对初始模板、历史动态模板以及搜索区域的图像特征进行提取的步骤。
[0101]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0102]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。