基于自适应背景感知和空间注意力机制的目标跟踪方法

1.本发明涉及视觉目标跟踪领域，特别涉及基于自适应背景感知和空间注意力机制的目标跟踪方法。


背景技术：

2.视觉目标跟踪作为计算机视觉的热点研究领域之一，其主要任务是通过设计跟踪模型和算法，利用视频前后帧特征信息和关系，获取视频兴趣目标在前一帧中位置及尺度等信息，以预测在后续帧中信息，从而得到目标整个运动轨迹。
3.随着计算机视觉技术的迅速发展，目标跟踪算法取得了显著进展，已被广泛用于安检系统、交通管制、视频监控等应用领域。尽管目标跟踪研究在学界与业界均取得了显著进展，但仍存在诸多问题与挑战。鉴于目标跟踪是一个序列化问题，初始帧中目标形态清晰，而后续帧中目标的外观易发生变化，这会给跟踪带来时间上的挑战，以及单帧内环境差异带来的挑战，因此现实应用中常面临光照变化、背景变化、目标遮挡、运动模糊等多重不利因素的挑战。因此，设计应对复杂挑战的稳健目标跟踪器，以处理云台、无人机等轻量级便携设备上的跟踪问题，提高视觉跟踪的实时性与鲁棒性需求，对未来视觉目标跟踪的发展至关重要。


技术实现要素：

4.发明目的：针对以上问题，本发明目的是提供一种基于自适应背景感知和空间注意力机制的目标跟踪方法。
5.技术方案：本发明的一种基于自适应背景感知和空间注意力机制的目标跟踪方法，包括如下步骤：
6.步骤1，采集视频图像，获取被跟踪目标的位置及特征信息，建立视频图像序列对应的样本矩阵ai，i表示视频帧数；
7.步骤2，通过空间注意力机制预处理图像样本矩阵ai，调整图像样本不同位置处特征的注意力权重，建立空间特征增强图像样本集zi；
8.步骤3，对步骤2预处理得到的特征增强图像样本集zi循环采样，并建立滤波器模型的目标函数，通过训练滤波器模型实现目标跟踪；
9.步骤4，利用自适应空间正则化策略优化滤波器模型，通过对滤波器施以自适应权重，分配样本目标与背景区域的特征资源，调整图像样本与理想高斯模板的动态关系；
10.步骤5，通过自适应背景感知方法再次优化滤波器模型，通过获取图像样本的背景信息，筛选背景中易产生跟踪干扰的信息构成负样本矩阵，利用此负样本矩阵训练滤波器，并更新滤波器模型求解的目标函数；
11.步骤6，通过傅里叶变换和交替方向乘子算法优化步骤5中滤波器模型的目标函数，进而更新跟踪模型，通过求解最优滤波器参数，定位目标，并获取目标当前帧中的位置。
12.进一步，所述步骤2包括：
13.步骤201，将样本矩阵ai中图像样本xi输入至空间注意力机制模块，通过高斯函数形式计算任意位置a处样本xa与其它所有可能位置b处样本xb交互关系，表达式为：
[0014][0015]
式中，x
at
xb表示点积相似性，t表示转置运算；h函数值与b位置对a位置影响大小成正比；
[0016]
步骤202，再计算图像样本xi中各像素点的特征权重，表达式为：
[0017]
g(xb)＝υgxj[0018]
式中，υg表示权重矩阵；
[0019]
步骤203，空间注意力模块对样本矩阵特征图的每个位置进行空间注意力调整，得到经过加权样本特征za，表达式为：
[0020][0021]
式中，h表示归一化参数；
[0022]
使用全局平均池化生成空间信息统计，将每一帧的全局空间样本特征za整合为空间注意力图像样本矩阵zi。
[0023]
进一步，所述步骤3包括：
[0024]
步骤301，经典相关滤波跟踪方法在循环移位的采样基础上，采集样本矩阵ai，获得目标循环矩阵a0，通过实现岭回归以完成目标跟踪，滤波器模型的目标函数表达式为：
[0025][0026]
式中，y是理想高斯响应矩阵，即图像的矢量化回归目标；
[0027]
步骤302，利用步骤2中预处理后获得的空间特征增强图像样本zi，对其进行循环采样，在zi的目标周围平移建模，获得循环矩阵z0，则滤波器跟踪模型的目标函数表达式为：
[0028][0029]
进一步，所述步骤4包括：
[0030]
步骤401，引入滤波器空间先验信息作为预定义空间参考模板，且该参考模板初始为高斯形状分布，建立当前帧图像样本的滤波器与预定义空间参考模板之间最小化关系f(w)1，表达式为：
[0031][0032]
式中，λ1、λ2是正则化参数；w是相关滤波器；w
′
是预定义空间参考模板，该模板随目标运动而变化；
[0033]
步骤402，利用自适应空间正则化策略作用于滤波器模型，则滤波器跟踪模型的目标函数表达式为：
[0034][0035]
进一步，所述步骤5包括：
[0036]
步骤501，采集图像样本中目标周围的背景干扰信息，获得当前帧目标样本与滤波器相关滤波响应结果矩阵r；通过自适应背景感知方法筛选目标周围滤波响应值较高的区域，记为响应图局部最值r
l
，则r
l
可以通过下式计算得到：
[0037]rl
＝imregionalmax(r)，l＝1,2,3
…
[0038]
式中，l表示当前帧响应值较高的位置；
[0039]
步骤502，取响应图局部最值r
l
中仅次于目标中心最大响应值的三个次大值r1、r2、r3，扩展至图像样本的后续每一帧，构成一组背景干扰样本集，用背景感知负样本zj表示；
[0040]
步骤503，利用背景感知负样本对滤波器进行训练，使滤波器在目标样本处响应值较高，其余背景样本处响应值接近于零，计算背景感知负样本的响应值f(w)2表达式为：
[0041][0042]
式中，λ3表示正则化系数；
[0043]
步骤504，增加自适应背景感知模块后，更新滤波模型目标函数，则基于自适应背景感知和空间注意力机制的滤波器跟踪模型目标函数归纳如下：
[0044][0045]
步骤505，将目标样本循环矩阵z0与背景感知负样本zj合并为表示样本特征的循环矩阵q，将响应矩阵y转化为保持滤波器对目标与背景样本的相应约束，使目标样本接近理想回归目标y、背景感知负样本接近于0，则滤波器跟踪模型的目标函数表达式修改为：
[0046][0047]
式中，
[0048]
进一步，所述步骤6包括：
[0049]
步骤601，将函数f
p
(w，q)于傅里叶域中最小化，对相关滤波器w求偏导，表达式为：
[0050][0051]
式中，i表示单位矩阵；
[0052]
步骤602，利用循环矩阵的对角化性质以及其可逆性，将循环矩阵表示为对应特征向量，化简后的滤波器表达式为：
[0053][0054]
式中，f是离散傅里叶矩阵；
[0055]
步骤603，利用循环矩阵卷积定理，将滤波器求解转换到傅里叶域中，获得滤波器最优解表达式为：
[0056][0057]
步骤604，用前一帧滤波器与当前帧图像样本特征进行相关性计算，得到相应结
果图，取响应值最大处对应位置，即为当前帧目标定跟踪结果。
[0058]
有益效果：本发明与现有技术相比，其显著优点是：
[0059]
1、本发明通过空间注意力机制提高滤波器对图像样本目标特征的判别能力，着重关注空间位置上对目标跟踪有利的样本特征，然后引入空间正则化约束策略，根据当前帧滤波器和预定义空间约束模板的变化情况，动态更新滤波器，增强滤波器的空间信息捕捉能力；提出一种自适应背景感知方法，过滤易干扰滤波器训练的背景信息，提高跟踪算法对目标的辨别能力，使得面临尺度变化、背景复杂、光照变化、运动模糊复杂场景挑战下，跟踪器依然能够应对复杂场景的目标跟踪需求；
[0060]
2、本发明考虑了增强样本的空间特征，提升目标样本的样本质量和空间表征能力，给出了更合理的背景和空间感知策略，有效地提高了滤波器鲁棒性；
[0061]
3、本发明提高了目标跟踪性能，降低复杂场景下目标漂移的风险，且能保持较好的实时性，能够用于无人机、云台搭载的目标跟踪；在实际应用方面，可为智能视频监控系统提供支撑，推动智能防控系统的安全高效运行。
附图说明
[0062]
图1为本发明流程结构示意图；
[0063]
图2为空间注意力机制模块结构示意图；
[0064]
图3为自适应背景感知相关滤波模型结构示意图；
[0065]
图4为本实施例方法与其他方法在otb100数据集上的精确度和成功率：(a)精度图，(b)成功率图；
[0066]
图5为本实施例方法与其他方法在otb100上8种属性序列的成功率：(a)尺度变化，(b)背景复杂，(c)光照变化，(d)形变，(e)运动模糊，(f)快速运动，(g)平面内旋转，(h)平面外旋转；
[0067]
图6为本实施例方法与其他方法在otb100数据集部分序列上的可视化跟踪结果(a)bird1，(b)couple，(c)dragonbaby，(d)matrix。
具体实施方式
[0068]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。
[0069]
如图1，本实施例所述的一种基于自适应背景感知和空间注意力机制的目标跟踪方法，包括如下步骤：
[0070]
步骤1，采集视频图像，获取被跟踪目标的位置及特征信息，建立视频图像序列对应的样本矩阵ai，i表示视频帧数。
[0071]
通过便携设备采集视频图像，建立图像样本集，用于实时视觉跟踪，在图像样本集第一帧中框定初始化目标，获取被跟踪目标的位置及特征等信息，建立每帧视频图像序列对应的样本矩阵ai。
[0072]
步骤2，通过空间注意力机制预处理图像样本矩阵ai，调整图像样本不同位置处特征的注意力权重，建立空间特征增强图像样本集zi。
[0073]
步骤201，将样本矩阵ai中图像样本xi输入到空间注意力机制模块，通过高斯函数
形式计算任意位置a处样本xa与剩余所有可能位置b处样本xb交互关系，表达式为：
[0074][0075]
式中，x
at
xb表示点积相似性，t表示转置运算；h函数值与b位置对a位置影响大小成正比。
[0076]
步骤202，再计算图像样本xi中各像素点的特征权重，表达式为：
[0077]
g(xb)＝υgxj[0078]
式中，υg表示权重矩阵；
[0079]
步骤203，空间注意力模块对样本矩阵特征图的每个位置进行空间注意力调整，得到经过加权样本特征za，表达式为：
[0080][0081]
式中，h表示归一化参数；
[0082]
使用全局平均池化生成空间信息统计，将每一帧的全局空间样本特征za整合为空间注意力图像样本矩阵zi。
[0083]
图2中以i取1为例进行说明，当前帧的图像样本划分为9个位置，计算x1与另外8个位置处样本之间特征相似性，然后计算各位置处的特征权重，再将这两部分进行运算得到样本特征。
[0084]
步骤3，对步骤2预处理得到的特征增强图像样本集zi循环采样，并建立滤波器模型的目标函数，通过训练滤波器模型实现目标跟踪。
[0085]
步骤301，经典相关滤波跟踪方法在循环移位的采样基础上，采集样本矩阵ai，获得目标循环矩阵a0，通过实现岭回归以完成目标跟踪，滤波器模型的目标函数表达式为：
[0086][0087]
式中，y是理想高斯响应矩阵，即图像的矢量化回归目标；
[0088]
步骤302，利用步骤2中预处理后获得的空间特征增强图像样本zi，对其进行循环采样，在zi的目标周围平移建模，获得循环矩阵z0，则滤波器跟踪模型的目标函数表达式为：
[0089][0090]
步骤4，利用自适应空间正则化策略优化滤波器模型，通过对滤波器施以自适应权重，分配样本目标与背景区域的特征资源，调整图像样本与理想高斯模板的动态关系；
[0091]
步骤401，引入滤波器空间先验信息作为预定义空间参考模板，且该参考模板初始为高斯形状分布，建立当前帧图像样本的滤波器与预定义空间参考模板之间最小化关系f(w)1，表达式为：
[0092][0093]
式中，λ1、λ2是正则化参数；w是相关滤波器；w
′
是预定义空间参考模板，该模板随目标运动而变化；
[0094]
步骤402，利用自适应空间正则化策略作用于滤波器模型，则滤波器跟踪模型的目标函数表达式为：
[0095]
[0096]
步骤5，通过自适应背景感知方法再次优化滤波器模型，通过获取图像样本的背景信息，筛选背景中易产生跟踪干扰的信息构成负样本矩阵，利用此负样本矩阵训练滤波器，并更新滤波器模型求解的目标函数，如图3所示。
[0097]
步骤501，采集图像样本中目标周围的背景干扰信息，获得当前帧目标样本与滤波器相关滤波响应结果矩阵r；通过自适应背景感知方法筛选目标周围滤波响应值较高的区域，记为响应图局部最值r
l
，则r
l
可以通过下式计算得到：
[0098]rl
＝imregionalmax(r)，l＝1,2,3
…
[0099]
式中，l表示当前帧响应值较高的位置；
[0100]
步骤502，取响应图局部最值r
l
中仅次于目标中心最大响应值的三个次大值r1、r2、r3，扩展至图像样本的后续每一帧，构成一组背景干扰样本集，用背景感知负样本zj表示；
[0101]
步骤503，利用背景感知负样本对滤波器进行训练，使滤波器在目标样本处响应值较高，其余背景样本处响应值接近于零，计算背景感知负样本的响应值f(w)2表达式为：
[0102][0103]
式中，λ3表示正则化系数；
[0104]
步骤504，增加自适应背景感知模块后，更新滤波模型目标函数，则基于自适应背景感知和空间注意力机制的滤波器跟踪模型目标函数归纳如下：
[0105][0106][0107]
步骤505，将目标样本循环矩阵z0与背景感知负样本zj合并为表示样本特征的循环矩阵q，将响应矩阵y转化为保持滤波器对目标与背景样本的相应约束，使目标样本接近理想回归目标y、背景感知负样本接近于0，则滤波器跟踪模型的目标函数表达式修改为：
[0108][0109]
式中，
[0110]
步骤6，通过傅里叶变换和交替方向乘子算法优化步骤5中滤波器模型的目标函数，进而更新跟踪模型，通过求解最优滤波器参数，定位目标，并获取目标当前帧中的位置。
[0111]
步骤601，将函数f
p
(w，q)于傅里叶域中最小化，对相关滤波器w求偏导，表达式为：
[0112][0113]
式中，i表示单位矩阵；
[0114]
步骤602，利用循环矩阵的对角化性质以及其可逆性，将循环矩阵表示为对应特征向量，化简后的滤波器表达式为：
[0115]
[0116]
式中，f是离散傅里叶矩阵；
[0117]
步骤603，利用循环矩阵卷积定理，将滤波器求解转换到傅里叶域中，获得滤波器最优解表达式为：
[0118][0119]
步骤604，用前一帧滤波器与当前帧图像样本特征进行相关性计算，得到相应结果图，取响应值最大处对应位置，即为当前帧目标定跟踪结果。
[0120]
为验证本实施例中所述目标跟踪方法的效果，利用本方法在otb100基准数据集上进行了测试。实验中对本实施例方法与9种主流的相关滤波方法进行对比，包括asrcf、eco、c-cot、tadt、deepsrdc、bacf、srdcf、staple、kcf。
[0121]
本实施例与其他方法在otb100数据集的精确度和成功率结果分别如图4(a)和图4(b)所示，实验结果表明：本实施例中的目标跟踪方法取得了比较优秀的精度效果，达到91.4％，在跟踪成功率上取得最优效果，达到69.5％。相比基准方法srdcf、bacf分别提高15.8％和12％的精度与16.2％和13％的成功率。
[0122]
本实施例与其他方法在otb100数据集不同属性场景序列的跟踪成功率如图5(a)至图5(h)所示，实验结果表明：本实施例中的目标跟踪方法实现了最高的成功率，可以较好应对尺度变化、背景复杂、光照变化、运动模糊等8种跟踪挑战。
[0123]
本实施例与其他方法在otb100数据集不同属性场景序列的可视化结果，如图6(a)至图6(d)所示，实验结果表明：其他主流跟踪方法较多出现跟丢和漂移现象，或在偏离后保持短暂回归，而本实施例中的目标跟踪方法于跟踪过程中能够一直保持捕捉目标的敏感性。