一种基于自适应特征融合的长时相关滤波目标跟踪方法与流程

1.本发明属于计算机视觉领域，涉及一种基于自适应特征融合的长时相关滤波目标跟踪方法。


背景技术：

2.目标跟踪作为计算视觉领域中的关键技术之一，在现实生活中有很多应用，包括智能监控、人机交互、医疗诊断、国防军事等领域。由于实际的跟踪环境复杂多变，目标容易受各种因素的影响出现目标丢失最终导致跟踪失败的情况。因此，如何在多因素的影响下实现对目标长时间的稳定跟踪，仍然是一个具有挑战性的问题。
3.近年来，基于相关滤波的目标跟踪算法因其高精度及高实时性，引起了众多研究学者的关注。2010年，bolme等人提出的mosse算法首次将相关滤波引入到目标跟踪领域，从此开启了相关滤波跟踪算法的研究热潮。henriques等在mosse算法的基础上提出了csk算法，利用循环矩阵的性质对样本进行密集采样，解决了训练样本不足的问题。随后，henriques等提出的kcf算法，用多通道的hog特征代替单通道的灰度特征，极大的提升了跟踪的性能。由于单一特征对目标外观描述的能力有限，为此，li等提出了samf算法，将灰度特征、cn特征、hog特征串联起来；li等提出了ldes算法，将hog特征和颜色直方图特征加权融合，并在对数极坐标系中利用相位相关的方法估计目标尺度及旋转角度。另外，对于在目标长时间的跟踪过程中存在丢失的情况，kalal等提出了tld算法，将检测和跟踪结合起来；ma等提出了lct算法，利用随机蕨分类对目标进行重检测；ma等提出了lct2算法，利用svm代替随机蕨分类。
4.但是，上述各种方法存在不足：
5.1)由于单一特征对目标外观描述的能力有限，目前大多数方法采用的都是以固定的权重将多种特征融合的方式对目标进行跟踪。但是目标在实际的跟踪过程中容易受各种因素的干扰，即每帧跟踪图像都是变化多样的，采用固定的权重将特征融合并不能很好的发挥每种特征的优势，这种权重分配方法存在着一定的局限性。
6.2)目前大多数方法在对目标进行长时间的跟踪时，并没有对每一帧的跟踪结果进行有效的判断就直接更新模型，当目标受各种因素的影响而丢失时，模型就会学习到错误的目标外观信息，随着错误信息的积累最终会导致模型漂移而造成跟踪失败。
7.因此，亟需一种能够解决目标在复杂环境下长时间的跟踪过程中目标丢失的方法。


技术实现要素：

8.有鉴于此，本发明的目的在于提供一种基于自适应特征融合的长时相关滤波目标跟踪方法，解决目标在复杂环境下长时间的跟踪过程中存在的目标丢失的问题。具体的，本发明采用动态特征权重分配的方式，实现特征的自适应融合；以及设置两个有效的置信度检测指标以及目标再检测模块，在目标丢失后，恢复对目标的跟踪。
9.为达到上述目的，本发明提供如下技术方案：
10.一种基于自适应特征融合的长时相关滤波目标跟踪方法，采用的跟踪框架是ldes算法的基础跟踪框架，考虑到ldes算法中估计目标旋转变化及迭代求最优解的方法会使算法的时间复杂度较高、实时性不好，因此本发明在牺牲了这些性能的条件下，采用了该算法中的基础跟踪框架，即核相关滤波器、颜色直方图模型以及尺度估计模型。该方法具体包括以下步骤：
11.1)目标位置预测阶段：分别提取每一帧图像的hog特征和颜色直方图特征，利用核相关滤波器和颜色直方图模型得到每种特征的响应图，并计算出每种特征的响应峰值的归一化值，然后根据不同特征的响应峰值的归一化值来动态调整每种特征的权重，从而实现特征的自适应融合，并根据融合之后的特征响应图来估计出跟踪目标位置；
12.2)目标置信度检测阶段：同时设置了两个置信度检测指标来判断当前跟踪结果是否可靠，即apce(平均峰值能量)的归一化值和响应峰值，也额外训练了一个检测滤波器(仅用hog特征训练的核相关滤波器)和svm分类器，分别用来检测当前跟踪目标是否可靠即目标是否丢失和对丢失目标位置的重新定位，该检测滤波器和svm分类器是以高置信度的跟踪结果训练的，可以保持对高置信度目标外观的长期记忆，有助于恢复对丢失目标的跟踪，即：
13.在目标位置预测阶段得到跟踪目标位置后，利用检测滤波器对其进行检测，并得到其检测响应图，然后计算得到该响应图的apce的归一化值和检测响应峰值，并利用其对检测结果进行置信度判断；若当前帧处于低置信度状态，则会进入目标再检测模块，利用svm分类器对目标进行重新定位，然后以此确定目标的最终位置，最后将其转换到对数极坐标系中，利用相位相关的方法估计出目标的尺度变化，并对各种模型进行更新。
14.进一步，在目标位置预测阶段中，根据不同特征的响应峰值的归一化值来动态调整每种特征的权重，从而实现特征的自适应融合，具体包括以下步骤：
15.(1)初始化hog特征和颜色直方图特征的权重分别为w
hog,1
＝0.6、w
hist,1
＝0.4；
16.(2)根据核相关滤波器和颜色直方图模型分别计算得到当前帧hog特征和颜色直方图特征的响应结果，即f
hog,t
、f
hist,t
；
17.(3)根据归一化值计算公式分别对hog特征和颜色直方图特征的响应峰值进行归一化，得到μ
hog,t
、μ
hist,t
；由于hog特征具有强大的表征能力，因此当μ
hog,t
或μ
hist,t
小于阈值τ1时，可将w
ho,t
设置为一个较高的固定值γ1；否则特征的权重计算公式如下：；否则特征的权重计算公式如下：
18.(4)为了防止特征权重漂移，对第t帧特征权重的更新方式如公式：
19.w
ho,t
＝θ
×
w
hog,t
(1
‑
θ)
×
w
hog,1
20.w
hist,t
＝θ
×
w
hist,t
(1
‑
θ)
×
w
hist,1
21.其中，θ表示特征权重更新率；
22.(5)第t帧图像融合之后最终的响应结果为：f
t
＝f
hog,t
×
w
ho,t
f
hist,t
×
w
hist,t
。
23.进一步，归一化值计算公式为：
24.25.其中，f
max,t
表示第t帧特征响应图中的响应峰值，μ
t
表示第t帧特征响应峰值的归一化值。
26.进一步，在目标置信度检测阶段中，在特征响应图中，响应峰越高值越大说明跟踪结果越稳定，响应峰越多值越低则说明跟踪结果不可靠；另外apce值也能反应响应图的波动情况，一般apce值越大说明跟踪结果越稳定，当apce值突然降低时，则可认为目标丢失。因此可以用apce的归一化值和响应峰值来度量当前跟踪目标的可信度，即可将其作为目标置信度检测的指标，其中平均峰值能量apce及其归一化值μ
apce,t
的计算公式为：
[0027][0028][0029]
其中，f
max
、f
min
分别表示响应图中的最大值和最小值，f
w,h
表示响应图中坐标位置为(w,h)位置处的值，μ
apce,t
表示第t帧检测响应图的apce的归一化值，apce
t
表示第t帧检测响应图的apce值；
[0030]
跟踪目标经过检测滤波器后，若其检测响应峰值f
max,t
小于阈值t
f1
或apce的归一化值μ
apce,t
小于阈值t
apce1
时，可认为目标处于低置信度状态，即此时目标丢失，不可靠；其余情况则表示目标可靠。
[0031]
进一步，在目标置信度检测阶段中，所述目标再检测具体包括：利用svm分类器对目标重新定位后，还需使用检测滤波器对重定位的目标检测并进行置信度判断，若当前帧检测响应峰值f
max,t
大于阈值t
f2
或apce的归一化值μ
apce,t
大于阈值t
apce2
时，则认为重定位的目标可靠，否则采用原跟踪目标；同时在跟踪的过程中，也需要对检测滤波器和svm分类器进行更新，为了保持检测滤波器和svm分类器的有效性，只有当目标处在高置信度状态时才更新，即当前帧检测响应峰值f
max,t
大于阈值t
f3
或apce的归一化值μ
apce,t
大于阈值t
apce3
。
[0032]
本发明的有益效果在于：
[0033]
(1)在目标的位置预测阶段，本发明在以固定权重将多特征融合的基础上采用了一种特征权重动态分配的方法，实现了特征的自适应融合，能够较好的发挥每种特征的优势，实现复杂场景下对目标的稳定跟踪。
[0034]
(2)在得到目标的预测位置后，本发明额外训练了一个检测滤波器和svm分类器并设置了两个置信度检测指标对跟踪结果进行置信度判断，若跟踪结果置信度过低则可认为当前目标丢失，即进入再检测模块，利用svm分类器对目标重新定位，实现对目标的长时跟踪。
[0035]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0036]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优
选的详细描述，其中：
[0037]
图1为本发明中自适应特征融合的长时相关滤波目标跟踪算法框架图；
[0038]
图2为验证实验中数据集otb
‑
2015上的评估结果，其中图2(a)为成功率图，图2(b)为精确度图。
具体实施方式
[0039]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0040]
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0041]
请参阅图1～图2，为一种基于自适应特征融合的长时相关滤波目标跟踪方法，该方法的的总体框架如图1所示，该方法的具体实施步骤如下：
[0042]
步骤一：目标的初始状态为b0＝(x0,y0,s0)，初始化特征权重w
hog,1
、w
hist,1
，核相关滤波器f
ko
，颜色直方图模型f
hist
，尺度估计模型f
s
，检测滤波器f
r
，再检测模块r；
[0043]
步骤二：在第t帧图像i
t
中裁剪出以(x
t
‑1,y
t
‑1)为中心的图像块，并提取其hog特征和颜色直方图特征；
[0044]
步骤三：分别利用f
hog
、f
hist
计算出对应特征的响应图f
hog,t
、f
hist,t
，并根据公式对不同特征的响应峰值进行归一化，可得μ
hog,t
、μ
hi,t
；
[0045]
步骤四：若μ
hhog,t
或μ
hist,t
小于τ1，则w
ho,t
＝γ1，否则根据公式，否则根据公式w
hog,t
＝θ
×
w
hog,t
(1
‑
θ)
×
w
hog,1
、w
his,t
＝θ
×
w
hist,t
(1
‑
θ)
×
w
hist,1
，计算出w
ho,t
、w
his,t
；
[0046]
步骤五：根据公式f
t
＝f
hog,t
×
w
hog,t
f
hist,t
×
w
hist,t
，计算得到融合之后的特征响应图f
t
，并估计出目标的位置pos＝(x
′
t
,y
′
t
)；
[0047]
步骤六：以(x
′
t
,y
′
t
)为中心在i
t
中裁剪出新的图像块，并提取其hog特征，利用f
r
计算得到检测响应图，根据公式计算得到检测响应图，根据公式求出当前帧f1
max,t
及μ1
apce,t
；
[0048]
步骤七：若μ1
apce,t
小于t
apce1
或f1
max,t
小于t
f1
，则进入r，得到重定位的目标位置pos1＝(x
′
t1
,y
′
t1
)，重复步骤六，得到当前帧f2
max,t
及μ2
apce,t
，若μ2
apce,t
大于t
apce2
或f2
max,t
大于t
f2
，则pos＝pos1，否则采用原跟踪结果pos；
[0049]
步骤八：利用f
s
估计出目标的尺度s
t
；
[0050]
步骤九：更新f
hog
、f
hist
、s，若当前帧μ3
apce,t
大于t
apce3
或f3
max,t
大于t
f3
，则更新f
r
、r；
[0051]
步骤十：如果序列未结束，则转到步骤二，否则算法终止。
[0052]
验证实验：
[0053]
本实验采用数据集为：otb
‑
2015；
[0054]
评价指标为：otb
‑
2015数据集中的精确度和成功率；
[0055]
实验参数设置为：检测滤波器f
r
的学习率为0.01，特征权重更新率θ＝0.06，阈值τ1＝0.23，权重γ1＝0.7，置信度检测阈值t
apce1
＝0.15、t
apce
＝0.45、t
ap
＝0.65、t
f1
＝0.15、t
f2
＝0.35、t
f3
＝0.55，其余参数同ldes算法基础框架中的参数一致。
[0056]
实验环境为：intel(r)core(tm)i5
‑
9300h cpu@2.4ghz、16gb内存、win10 64位操作系统的笔记本电脑，matlab 2017b。
[0057]
实验结果：由图2可以看出，本发明目标跟踪的精确度和成功率都优于其他现有方法。
[0058]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。