一种改进余弦窗的相关滤波目标跟踪方法

1.本发明属于目标跟踪技术领域，具体涉及一种改进余弦窗的相关滤波目标跟踪方法。


背景技术：

2.图像识别与目标跟踪是计算机视觉中的一项关键工作，其具体内容是面向视频序列中的目标状态加以连续的推断处理，核心工作是定位视频在全部帧数中涉及到的跟踪目标，来获得对应目标的运动轨迹，针对每一帧图像提供跟踪目标的活动区域。目标跟踪技术目前已经被军事以及民用领域普遍推广，给人生活带来大量便利，随着人类生活水平的提高，对于目标跟踪的要求也越来越高。尽管目标跟踪相关技术每年都在革新,相关算法在性能优化方面依然存在需求，现阶段研究人员仍然面临着众多挑战。
3.近年来，针对目标跟踪的各种问题，许多研究者们提出了很多方法来设计一个稳定、准确的目标跟踪器。2017年galoogahi等提出了bacf算法，为了提高样本的质量，提出了关键的“裁剪”思想，将原本的采样区域扩大，获得更多的背景信息，然后对循环样本进行中心裁剪，这样即扩大了样本数量，由提高了样本质量。再之后，2021年li等提出的adtrack算法，利用一种0-1掩膜提取目标信息，然后将目标和目标背景信息分开训练，进一步改进了bacf算法。
4.但是，adtrack也存在着很多不足。首先是余弦窗函数，普通的余弦窗函数直接采用了中间极值四周零值的模型，忽略了目标的实际尺寸，若直接预处理样本，会增加目标纹理而污染目标源信息。除此之外，adtrack的算法中对于滤波器的约束项也不理想，存在滤波器的过拟合问题和滤波器模型快速退化的情况。


技术实现要素：

5.本发明是一种改进余弦窗的相关滤波目标跟踪方法，并分别对目标和背景信息进行滤波训练。目前目标跟踪领域还存在着很多问题，如目标尺度变化、目标遮挡等。针对于目标尺度变化，本发明构建一种尺度自适应余弦窗，对余弦窗进行削峰，并且适时更新，再使用目标和目标背景两种滤波器，结合两者的自约束和互约束，对相关滤波目标跟踪模型进行改进，以此提高跟踪性能。
6.本发明采用的技术方案大致如下：
7.一种改进余弦窗的相关滤波目标跟踪方法，包括如下步骤：
8.步骤1，预处理阶段；判断是否处于暗场景，若判断处于暗场景，则对视频序列进行增强，并计算得到掩膜m，用于后续滤波器的训练；
9.步骤2，提取特征阶段；基于训练样本得到特征集xg，通过削峰处理后的余弦窗实现跟踪目标尺度更新的自适应，基于掩膜m得到目标特征集xo，得到尺度自适应余弦窗模型；
10.步骤3，训练阶段；利用步骤2得到的特征集xg和xo训练出下一帧的两个滤波器hg和ho
，其中hg是用于训练背景信息的滤波器，ho是用于训练目标信息的滤波器；
11.步骤4，检测阶段；基于训练后的滤波器和提取的样本通道特征，得到目标响应图，通过目标响应图的最大值确定目标的位置信息。
12.进一步地，步骤1包括如下分步骤：
13.步骤1-1，假设给定彩色图像对图像的rbg三通道进行光度整合：
[0014][0015]
其中ψm(i(x,y))代表着m通道出图像的像素值，并且αr αg αb＝1，将彩色图像转换为单通道图像；再对亮度进行对数平均处理：
[0016][0017]
其中δ为常数，用于防止log(0)的出现，代表当前图像的对数平均场景亮度，再通过引入阈值τ判断当前图像是否处于暗场景，小于阈值即为暗场景，表示为s(i)；
[0018]
步骤1-2，对图像进行增强，利用之前获取的图像亮度v(x,y,i)和图像对数平均亮度图像全局的增强矩阵表示为：
[0019][0020]
其中v
max
(i)代表图像亮度v(x,y,i)中的最大值，然后对图像的三通道进行增强处理：
[0021][0022]
其中ie表示增强过的图像，ψm(ie(x,y))表示增强过的图像在m通道(x,y)位置处的像素值；由上述增强过后的图像，得到图像的增强部分信息：
[0023]
e(i)＝v(i)-v(ie)
[0024]
步骤1-3，通过e(i)得到e(i)的平均值μ和标准差σ，由此得到全局的掩膜mg：
[0025][0026]
通过裁剪矩阵p对mg进行裁剪，得到预期的掩膜m＝mg⊙
p，p∈rw×h，用于提取样本内的目标大小信息。
[0027]
进一步地，步骤2包括如下分步骤：
[0028]
步骤2-1，通过余弦窗预处理、循环矩阵、中心裁剪方法获取大量训练样本，余弦窗处理即为在样本上直接点乘余弦窗函数，循环矩阵和中心裁剪的操作见附图2。对获取的样本进行特征提取，包括灰度信息、颜色信息、梯度信息等，得到特征集合xg；
[0029]
步骤2-2，利用目标初始大小对余弦窗削峰处理，削峰位置为参数q∈(0,1)，q由下面的公式得到：
[0030]
[0031][0032]
其中coswin0是最原始的余弦窗，w
×
h,w＝h为余弦窗尺寸，w
×
h,w≥h为目标大小；
[0033]
步骤2-3，每次跟踪目标尺度更新之后，获取尺度更新因子s
scale
，再次更新余弦窗的削峰位置q
scale
＝q
×sscale
，使模型尺度自适应；之后利用掩膜m，得到xo＝m
⊙
xg，代表着单纯的目标特征，得到xg和xo两种特征集；尺度自适应余弦窗的具体模型为：
[0034][0035]
上式中coswin0是最原始的余弦窗，q
scale
为余弦窗削峰的位置，s
scale
为尺度因子。
[0036]
进一步地，步骤3包括如下分步骤：
[0037]
步骤3-1，滤波器的目标函数为：
[0038][0039]
其中，p是样本裁剪矩阵；代表的是第c通道的目标信息滤波器或者背景信息滤波器；coswin是之前中提出的随着目标尺度因子变化的余弦窗函数，用于对训练样本数据进行预处理；y是理想高斯模型；h
t
和h
t-1
表示当前帧和前一帧的滤波器，m矩阵表示两种滤波器之间的关系，λ是滤波器正则化项的约束参数，μ是两个滤波器互约束项的约束参数；
[0040]
步骤3-2，对于整体目标函数来说，因为k∈{g,o}，再加上最后的两者互约束，所以目标函数可以看成7部分累加，第1、2和第4、5部分是多了裁剪矩阵的常规线性模型，最小二乘加上正则项，正则项的目的是为了防止滤波器过拟合；第3、6部分是两种滤波器的自约束，可以有效防止滤波器的快速退化；第7部分是两种滤波器的互约束，在训练期间相互绑定，使得两种滤波器的判别能力更加强大；
[0041]
步骤3-3，通过admm迭代算法进行求解；因为coswin是对样本的预处理，所以迭代时可以将其忽略。对于已知的ho和m，对hg进行admm迭代最优解；使用增广拉格朗日法，引入松弛变量p
t
是裁剪矩阵p的转置，in是n
×
n的单位矩阵；目标函数的增广拉格朗日形式表示为：
[0042][0043]
其中是拉格朗日向量，γ是惩罚因子；采用admm方法，通过迭代的方式将上式转化为下面三个子问题：
[0044][0045]
对于子问题，通过一阶导数求得hg的闭式解：
[0046][0047]
对于ξ
*
子问题，需要先将其转换到频域进行进一步的计算：
[0048][0049]
上式分解为t个子问题,t＝42表示特征的维度，设每个子问题为得：
[0050][0051]
对上式求导得：
[0052][0053]
使用sherman-morrison方程来优化求解逆矩阵，得：
[0054][0055]
其中为标量；
[0056]
hg和ho的迭代过程相同，m矩阵的迭代为：
[0057]
进一步地，步骤4中，目标响应图表示为：
[0058][0059]
其中，代表给定数据的傅里叶域的对应量，代表反傅里叶变换之后的响应图，d代表滤波器的维数，和是第f帧的两个滤波器，表示从f 1帧中提取的搜索区域样本的第c通道特征，是经过掩膜处理的ρ是一个控制由和产生的两个响应
图的权重参数。
[0060]
与现有技术相比，本发明具有以下有益效果：
[0061]
(1)发明了一种尺度自适应余弦窗。分析了现存余弦窗的不足，利用目标初始大小对余弦窗进行削峰处理。另外加上考虑目标的尺度变化，通过尺度变化因子，对余弦窗削峰的位置进行动态调整，提高了跟踪算法在目标发生尺度变化场景下的跟踪成功率。
[0062]
(2)改进adtrack算法，引入了训练目标和背景两种滤波器之间的自约束和互约束，进一步优化了目标函数，优化了现存跟踪器的跟踪漂移和模板快速退化现象，并且对新的目标函数进行了admm的优化推导。
附图说明
[0063]
图1为本发明实施例中的尺度自适应余弦窗的构建。
[0064]
图2为循环矩阵和裁剪矩阵的示范。
[0065]
图3为本发明实施例中的算法模型总体框架。
[0066]
图4为本发明实施例中的tc128数据集tiger1视频序列的跟踪结果。
[0067]
图5为本发明实施例中的基于tc128数据集对比近几年算法和本发明方法的总精确率结果示意图。
[0068]
图6为本发明实施例中的基于tc128数据集对比近几年算法和本发明方法的总成功率结果示意图。
具体实施方式
[0069]
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
[0070]
本发明是一种改进余弦窗的相关滤波目标跟踪方法，并分别对目标和背景信息进行滤波训练。目前目标跟踪领域还存在着很多问题，如目标尺度变化、目标遮挡等。针对于目标尺度变化，本发明构建一种尺度自适应余弦窗，对余弦窗进行削峰，并且适时更新，再使用目标和目标背景两种滤波器，结合两者的自约束和互约束，对相关滤波目标跟踪模型进行改进，以此提高跟踪性能。
[0071]
本发明的技术方案主要内容如下：针对相关滤波目标跟踪算法中余弦窗会增加样本的纹理、污染样本的问题，构建一种尺度自适应余弦窗函数，构建方法为先基于目标的基准大小，对余弦窗模型进行削峰，然后利用dsst算法尺度检测模块中的尺度因子s
scale
，适时更新削峰的余弦窗模型，使之尺度自适应，具体效果见附图1。本发明总的跟踪模型基于adtrack算法，具体效果见附图3，除了上述的尺度自适应余弦窗外，还在adtrack基础模型上优化了滤波器的自约束和互约束并重新推导模型的admm迭代。
[0072]
本发明具体步骤如下：
[0073]
step1：预处理阶段，利用阈值τ来判断是否处于暗场景，τ的最佳值通过调参获取。若判断处于暗场景，则对视频序列进行增强，目的是提高黑夜状态下的目标跟踪的准确性和鲁棒性，并且得到掩膜m，目的是用于后续两个滤波器的训练。
[0074]
假设给定彩色图像对图像的rbg三通道进行光度整合：
[0075][0076]
其中ψm(i(x,y))代表着m通道出图像的像素值，并且αr αg αb＝1，可以理解为将彩色图像转换为单通道图像。再对亮度进行对数平均处理：
[0077][0078]
其中δ是一个很小的值，目的是防出现log(0)的错误情况，这个就代表了当前图像的对数平均场景亮度，再通过引入阈值τ，就可以判断当前图像是否处于暗场景，小于阈值即为暗场景，表示为s(i)。
[0079]
之后对图像进行增强，利用之前获取的图像亮度v(x,y,i)和图像对数平均亮度图像全局的增强矩阵可以表示为：
[0080][0081]
其中v
max
(i)代表图像亮度v(x,y,i)中的最大值，然后可以对图像的三通道进行增强处理：
[0082][0083]
其中ie表示增强过的图像，ψm(ie(x,y))也就表示增强过的图像在m通道(x,y)位置处的像素值。由上述增强过后的图像，也就很容易得到图像的增强部分信息：
[0084]
e(i)＝v(i)-v(ie)
[0085]
最后通过e(i)得到e(i)的平均值μ和标准差σ，由此就可以得到全局的掩膜mg：
[0086][0087]
参考bacf算法中的裁剪矩阵p，对mg进行裁剪，就可以得到预期的掩膜m＝mg⊙
p,p∈rw×h用于提取样本内的目标大小信息。
[0088]
step2：提取特征阶段。通过余弦窗预处理、循环矩阵、中心裁剪方法获取大量训练样本，余弦窗处理即为在样本上直接点乘余弦窗函数，循环矩阵和中心裁剪的操作见附图2。再对获取的样本进行特征提取，包括灰度信息、颜色信息、梯度信息等，得到特征集合xg。考虑到原始余弦窗的不足，本发明对余弦窗进行改进，具体步骤见附图1，先利用目标初始大小对余弦窗削峰处理，削峰位置为参数q∈(0,1)，q可由下面的公式得到：
[0089][0090][0091]
其中coswin0是最原始的余弦窗，w
×
h,w＝h为余弦窗尺寸，w
×
h,w≥h为目标大小。
[0092]
之后每次跟踪目标尺度更新之后，获取尺度更新因子s
scale
，再次更新余弦窗的削峰位置q
scale
＝q
×sscale
，使模型尺度自适应。之后利用掩膜m，得到xo＝m
⊙
xg，代表着单纯的
目标特征，至此就得到了xg和xo两种特征集。尺度自适应余弦窗的具体模型为：
[0093][0094]
上式中coswin0是最原始的余弦窗，q
scale
为余弦窗削峰的位置，s
scale
为尺度因子，w
×
h,w＝h为余弦窗尺寸，w
×
h,w≥h为目标大小。
[0095]
step3：训练阶段。利用step2得到的xg和xo特征集训练出下一帧的两个滤波器：hg和ho，hg是用于训练背景信息的滤波器，ho是用于训练目标信息的滤波器。本算法模型基于adtrack模型改良，具体模型见附图3，模型的目标函数可以表示为：
[0096][0097]
其中，p是adtrack基准算法bacf算法中的样本裁剪矩阵；h
kc
代表的是第c通道的目标信息或者背景信息滤波器；coswin是之前中提出的随着目标尺度因子变化的余弦窗函数，用于对训练样本数据进行预处理；y是理想高斯模型；h
t
和h
t-1
表示当前帧和前一帧的滤波器，m矩阵表示两种滤波器之间的关系，λ是滤波器正则化项的约束参数，μ是两个滤波器互约束项的约束参数。
[0098]
对于整体目标函数来说，因为k∈{g,o}，再加上最后的两者互约束，所以目标函数可以看成7部分累加，第1、2和第4、5部分是多了裁剪矩阵的常规线性模型，最小二乘加上正则项，正则项的目的是为了防止滤波器过拟合；第3、6部分是两种滤波器的自约束，可以有效防止滤波器的快速退化；第7部分是两种滤波器的互约束，在训练期间相互绑定，使得两种滤波器的判别能力更加强大。
[0099]
接下来通过admm迭代算法进行求解。在迭代的过程中，可以先假定ho和m是已知的，对hg进行admm迭代最优解。由于w余弦窗函数仅仅是对样本的预处理，所以进行迭代的时候可以将其忽略。使用增广拉格朗日法，引入松弛变量p
t
是裁剪矩阵p的转置，in是n
×
n的单位矩阵；目标函数的增广拉格朗日形式表示为：
[0100][0101]
其中是拉格朗日向量，γ是惩罚因子。采用admm方法，可以通过迭代的方式将上式转化为下面三个子问题：
[0102][0103]
对于子问题，可以直接通过一阶导数求得hg的闭式解：
[0104][0105]
对于子问题ξ
*
，需要先将其转换到频域进行进一步的计算：
[0106][0107]
上式可以分解为t个子问题,t＝42表示特征的维度，设每个子问题为可得：
[0108][0109]
对上式求导可得：
[0110][0111]
由于出现了矩阵除法，计算量大，需要用到sherman-morrison方程来优化求解逆矩阵，得：
[0112][0113]
其中为标量。
[0114]
hg和ho的迭代过程大致相同，不再赘述，m矩阵的迭代为：
[0115]
step4：检测阶段。目标响应图可以表示为:
[0116][0117]
其中，代表着给定数据的傅里叶域的对应量，代表着反傅里叶变换之后的响应图，d对应着滤波器的维数，和是第f帧的两个滤波器，表示从f 1帧中提取的搜索
区域样本的第c通道特征，是经过掩膜处理的ρ是一个控制由和产生的两个响应图的权重参数。最后根据响应图最大值就可以确定目标的位置信息。
[0118]
本发明通过尺度自适应余弦窗、滤波器的自约束和互约束，提高了目标跟踪算法在尺度变化场景下的跟踪性能，减少了跟踪过程中的模板漂移问题，大大提高了算法的准确率和成功率，如附图5-6和表1所示，本方法跟踪成功率排名第一，精确率和autotrack算法并列第一。
[0119]
表1 各算法在tc128数据集下的总精确率和总成功率
[0120] ourscpcfadtrackautotrackbacfkcfsrdcfbicfprecision0.7020.6970.6890.7020.6440.5440.6440.641success0.6490.6170.6190.6290.6100.4540.5840.559
[0121]
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。