基于时空时空正则化和上下文感知的相关滤波跟踪算法的制作方法

1.本发明属于计算机视觉领域，特别是单目标跟踪领域，具体是涉及一种基于时空时空正则化和上下文感知的相关滤波跟踪算法。


背景技术：

2.相关滤波跟踪算法因其高速性在目标跟踪领域成为了主流研究方法之一，但在目标运动过程中仍然可能存在光照变化、目标遮挡、形变、剧烈运动等问题。判别式相关滤波器是相关滤波跟踪算法中的主流研究方法，但其引入的循环矩阵会影响跟踪效果。尽管判别式相关滤波器在特征融合、尺度估计、空间正则化、深度特征的引入之后，性能逐渐提高，但是无法在跟踪速度和精准性两方面仍有待提高。
3.为解决这个问题，通常的做法是优化算法模型，比如空间正则化、加入背景信息、迭代更新滤波器来提高精度、深度特征等方法，可以有效改进算法的跟踪速度和精度。但是跟踪速度和精度很难两方面兼顾，因为跟踪速度快是由于引入循环矩阵，这样也引起了跟踪精度的下降；另一方面通过优化算法模型来提高跟踪的精度，但往往会导致跟踪速度下降。


技术实现要素：

4.发明目的：本发明目的是提供了一种改进的相关滤波目标跟踪算法；具体是一种基于时空时空正则化和上下文感知的相关滤波跟踪算法；能有效的提高目标跟踪的速度以及精度。
5.技术方案：本发明所述的基于时空时空正则化和上下文感知的相关滤波跟踪算法，具体实现步骤如下：
6.(1)、根据初始化样本，确定目标模板，初始化上下文信息，对其进行帧采样；
7.(2)、对目标的上下文进行hog cn特征提取；
8.(3)、引入上一帧的目标信息和空间正则化对滤波器的更新进行约束以防在时间和空间上有较大差异，防止过拟合，求解目标方程，得到滤波器模板；
9.(4)、求解出最优时空正则化和上下文感知滤波器模型，与样本在傅里叶域进行卷积操作，响应值得分最高的即为目标区域，然后更新目标模板。
10.(5)、重复步骤二到四，直至目标跟踪结束。
11.进一步的，在步骤(1)中，所述根据初始化样本，确定目标模板，初始化上下文信息，对其进行帧采样的具体方式是：
12.所述初始化目标位置：给定初始帧的目标位置，即目标的x,y坐标和长度及宽度，最后以一个框住目标的矩形框；
13.所述上下文信息：为提高算法的精度，处理在跟踪过程中目标的尺寸变化，保证获取更多的判别信息，在目标框固定选取4个背景框。
14.进一步的，在步骤(2)中，所述对选择的目标和上下文进行hog cn特征提取的具体
方式是：采用的是hog和cn特征，hog特征用于对图像的局部出现的方向梯度进行计数，cn颜色特征用于对目标颜色进行统计，从梯度和颜色上融合，用于处理地目标遮挡及形变。
15.进一步的，在步骤(3)中，所述引入时间项和空间正则项，目的是约束目标求解，防止过度拟合和模型退化，从时间和空间上约束目标方程，时间项是从时间上控制前后帧之间滤波器之间的差异，空间正则项是从空间上处理，权重滤波器的分布，突出目标区域部分，抑制背景区域部分。
16.进一步的，在步骤(4)中，所述对时空正则化和上下文感知的相关滤波器的求解，是通过最小化目标函数得到，所述最小化目标函数可表示为：
[0017][0018]
其中，w是滤波器模板，y是相关输出，w
t-1
代表第(t-1)帧的相关滤波器，γ是正则化系数；代表空间正则项；pw-w
t-1
p代表空间项；代表上下文信息项。
[0019]
进一步的，在最小化的过程中，为得到最优的相关滤波器w，采用交替乘子方向法来解决最小化问题；其具体过程如下：
[0020]
引入一个辅助变量g，令w＝q，设定步长参数为η，方程(1)即可表示为：
[0021][0022]
其中，f是拉格朗日乘数，γ是惩罚因子；引入公式(2)可变成下列形式：
[0023][0024]
采用admm算法来求解以下子问题：
[0025][0026]
式(4)中第一行在傅里叶域通过帕塞瓦尔定理被重写，进而被求导可得到
[0027][0028]
闭式解：
[0029]
式(4)第二行的闭式解即为：
[0030][0031]
其中更新步长参数即为：
[0032]
η
(i 1)
＝min(η
max
,ξη(i))。
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0033]
进一步的，在步骤(5)中，所述重复步骤(2)到(4)，即对每一帧都进行相同的操作，直至视频序列结束，对初始帧和后续帧进行特征提取，构建目标方程，求解最优目标函数，进行卷积操作，确定目标位置，更新模板，初始帧的目标模板是给定的，后续帧的目标模板是通过前一帧目标位置来更新的。
[0034]
有益效果：本发明与现有技术相比，本发明的特点:本发明在训练过程中加入时空信息和上下文信息来缓解边界效应的影响并且提高了算法的整体性能；跟踪模型利用交替乘子跟踪法的迭代方法，所提出模型的子问题都有闭环解，可达到实时跟踪的效果；空间正则化可以缓解模型退化的影响；在经典数据集otb100和tc128实验结果中，可以表明本文提出的跟踪器的性能比其他先进的跟踪器更好整体算法提高了精度和速度。
附图说明
[0035]
图1是本发明的操作流程图；
[0036]
图2是本发明与其他经典算法整体性能在otb100数据集对比实验中的精确图和成功率曲线下面积对比图；
[0037]
图3是本发明与其他经典算法整体性能在tc128数据集对比实验中的的精确图和成功率曲线下面积对比图。
具体实施方式
[0038]
以下结合附图和具体实施例，对本发明做出进一步说明。
[0039]
如图所述，本发明所述的基于时空时空正则化和上下文感知的相关滤波跟踪算法，具体实现步骤如下：
[0040]
(1)、根据初始化样本，确定目标模板，初始化上下文信息，对其进行帧采样；
[0041]
(2)、对目标的上下文进行hog cn特征提取；
[0042]
(3)、引入上一帧的目标信息和空间正则化对滤波器的更新进行约束以防在时间和空间上有较大差异，防止过拟合，求解目标方程，得到滤波器模板；
[0043]
(4)、求解出最优时空正则化和上下文感知滤波器模型，与样本在傅里叶域进行卷积操作，响应值得分最高的即为目标区域，然后更新目标模板。
[0044]
(5)、重复步骤(2)到(4)，直至目标跟踪结束。
[0045]
进一步的，在步骤(1)中，所述根据初始化样本，确定目标模板，初始化上下文信息，对其进行帧采样的具体方式是：
[0046]
所述初始化目标位置：给定初始帧的目标位置，即目标的x,y坐标和长度及宽度，最后就是以一个框住目标的矩形框；
[0047]
所述上下文信息：为了提高算法的精度，更好的处理在跟踪过程中目标的尺寸变化，保证获取更多的判别信息，在目标框固定选取4个背景框。
[0048]
进一步的，在步骤(2)中，所述对选择的目标和上下文进行hog cn特征提取的具体方式是：采用的是hog和cn特征，hog特征可以用于对图像的局部出现的方向梯度进行计数，cn颜色特征用于对目标颜色进行统计，从梯度和颜色上融合，可以更好的用于处理地目标遮挡及形变。
[0049]
进一步的，在步骤(3)中，所述引入时间项和空间正则项，目的是约束目标求解，防止过度拟合和模型退化，从时间和空间上约束目标方程，时间项是从时间上控制前后帧之间滤波器之间的差异，空间正则项是从空间上处理，权重滤波器的分布，突出目标区域部分，抑制背景区域部分。
[0050]
进一步的，在步骤(4)中，所述对时空正则化和上下文感知的相关滤波器的求解，是通过最小化目标函数：(训练时空正则化和上下文感知的相关滤波器以一维空间为例说明构造时空正则化和上下文感知的相关滤波器的过程，空间域的目标函数可以表示为：)
[0051][0052]
其中，w是滤波器模板，y是相关输出，w
t-1
代表第(t-1)帧的相关滤波器，γ是正则化系数；代表空间正则项；pw-w
t-1
p代表空间项；代表上下文信息项；
[0053]
目标函数的形式较为复杂，求解过程中需要引入合并通过admm方法分解子问题。
[0054]
进一步的，在最小化的过程中，为了得到最优的相关滤波器w，采用交替乘子方向法来解决最小化问题。具体过程如下：
[0055]
引入一个辅助变量g，令w＝q，设定步长参数为η，方程(1)即可表示为：
[0056][0057]
其中，f是拉格朗日乘数，γ是惩罚因子。引入公式(2)可以变成下列形式：
[0058][0059]
采用admm算法来求解以下子问题；
[0060][0061]
式(4)第一行在傅里叶域通过帕塞瓦尔定理被重写，进一步被求导就可以得到闭式解：
[0062][0063]
式(4)第二行的闭式解即为：
[0064][0065]
其中更新步长参数即为：
[0066]
η
(i 1)
＝min(η
max
,ξη(i))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)；
[0067]
通过上述采用的目标跟踪方法，能够有效的利用跟踪过程中的时空信息和上下文信息，能够有效缓解边界效应的影响，改善算法的整体性能。
[0068]
进一步的，在步骤(5)中，所述重复步骤(2)到(4)，即对每一帧都进行相同的操作，直至视频序列结束，对初始帧和后续帧进行特征提取，构建目标方程，求解最优目标函数，进行卷积操作，确定目标位置，更新模板，初始帧的目标模板是给定的，后续帧的目标模板是通过前一帧目标位置来更新的。
[0069]
本发明的目的是这样实现的：根据初始化样本，确定目标模板，初始化上下文信息，对其进行帧采样；对目标的上下文进行hog cn特征提取；引入上一帧的目标信息和空间正则化对滤波器的更新进行约束以防在时间和空间上有较大差异，防止过拟合，求解目标方程，得到滤波器模板；求解出最优时空正则化和上下文感知滤波器模型，与样本在傅里叶域进行卷积操作，响应值得分最高的即为目标区域，然后更新目标模板；重复步骤(2)到(4)，直至目标跟踪结束。
[0070]
将stcacf算法在otb-2013和otb-2015数据集与前沿的跟踪算法作比较，即eco_hc、stample_ca、ladcf-hc、arcf-h、srdcf、bacf、autotrack，staple，在otb-2015和tc128这
两个数据集作比较，这两个数据集是目标跟踪领域的主流数据集，otb-2015包含100个视频序列，tc128包含128个视频序列；这些视频序列包含着目标跟踪中在现实生活中遇到的大多数情况与挑战，例如光照变化、尺度变化、形变等；因此这两个数据集可以反映跟踪器在各种情况下的跟踪情况，反映算法性能。
[0071]
otb-2013、otb-2015和tc128通常会采用一次性评估作为评价指标，一次性评估包括跟踪算法的成功率图和精确图两种评价结果；同时，成功率曲线下的面积也是作为跟踪算法性能的主要评价指标之一；在图2中可以看出，stcacf在数据集otb2015获得了最高的auc得分(65.4％)和最高精度(86.5％)；从图3中可以看出，stcacf在数据集tc128中获得了最高精度(74.4％)和第二的auc得分(55％)；这说明了该算法的框架是有效的。
[0072]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。