一种面向严重遮挡场景的核相关滤波目标跟踪方法及系统

1.本发明属于目标追踪技术领域，具体涉及一种面向严重遮挡场景的核相关滤波目标跟踪方法及系统。


背景技术：

2.目标跟踪主要可以分为生成式算法和判别式算法，两种算法的主要区别在于目标模型建模方式的不同。
3.生成式算法：此类方法首先通过提取第一帧图像中的目标特征，实现目标跟踪模型的构建，然后在后续视频图像中提取目标的候选样本，和目标模型进行相似性检测，得到与目标模型最相似的样本(即为跟踪的目标位置)，并将此样本的位置作为目标的位置，最后将目标信息更新到目标模型中。这类方法存在图像背景信息利用率低、目标本身的外观变化有随机性和多样性等明显缺陷。具体表现为在光照变化、运动模糊、分辨率低、目标旋转形变等情况下，模型的建立会受到巨大的影响，从而影响跟踪的准确性；模型的建立没有有效的预测机制，当出现目标遮挡情况时，不能很好的解决。
4.判别式算法：此类方法首先使用目标正样本信息和背景负样本信息训练目标跟踪模型，然后在后续视频图像中提取候选区域，并通过判别式模型选取最优候选区域作为目标的位置，最后对判别式模型进行相应更新。与生成式方法相比，判别式方法利用背景信息训练分类器，使得分类器具有更强的辨别能力，能够更好区分前景和后景，所以判别式方法普遍要比生成模型方法好，跟踪表现鲁棒性更强，逐渐在目标跟踪领域占主流地位。
5.核相关滤波跟踪算法是一种经典的判别式目标跟踪算法，它可以很好的适用于目标的小角度旋转、轻微遮挡以及一些其他的干扰。其主要思想是使用给定样本去训练一个判别分类器，通过计算搜索区域特征和目标区域特征之间的循环相关来得到相似度热图，热图上的最大值点的位置对应于目标在相邻两帧之间的位移，最终确定目标的移动轨迹。算法在计算过程中使用循环矩阵对样本进行采集，这使得可以使用快速傅里叶变换对计算进行加速。传统的核相关滤波算法的流程框架，可归纳如下：
6.在初始图像中根据给出的目标特征信息，初始化相关目标跟踪滤波器；
7.读入后序视频图像，依据前一帧目标的位置和大小提取候选样本特征信息，并对样本特征数据进行余弦窗处理减少边界效应，再通过快速傅里叶变换处理，实现候选样本信息从时域到频域的转换；
8.在频率域对候选样本的特征信息和目标滤波器进行相关性计算操作，通过反向快速傅里叶变换处理得到高斯响应图，并以响应图中响应最大的位置作为跟踪目标位置；
9.通过模型在线更新策略，将新的目标外观信息更新到目标跟踪滤波器和目标特征模型中，使得核相关滤波模型能适应目标的变化。
10.尽管核相关滤波跟踪算法在面对轻微遮挡情况时，能够完成有效跟踪，具有一定的抗干扰能力和鲁棒性，但在面对严重遮挡时，会出现跟踪失败的问题。因此，面向严重遮挡场景，本领域亟需针对现有的核相关滤波算法进行优化。


技术实现要素：

11.对于目标被严重遮挡的场景，由于核相关滤波跟踪算法没有相应的遮挡检测机制和更新停止机制，算法没有能力区分遮挡物和目标，大量遮挡物的特征信息被更新到目标模型中，这造成了目标模型的污染，最终导致目标跟踪过程的失败。本发明的目的是提供一种面向严重遮挡场景的核相关滤波目标跟踪方法及系统，来解决目标被严重遮挡时，目标跟踪发生漂移的问题。
12.为了实现上述发明目的，本发明采用如下技术方案：
13.一种面向严重遮挡场景的核相关滤波跟踪方法，包括以下步骤：
14.步骤1、初始化kcf滤波器的kcf算法和kalman滤波器的kalman滤波算法，以第一帧的目标位置作为kcf算法和kalman滤波算法的初始位置；
15.步骤2、使用遮挡检测机制判断当前图像中是否发生目标严重遮挡；若否，则采用kcf算法的跟踪结果作为目标物体在当前图像中的位置；若是，则采用kalman滤波算法的跟踪结果作为目标物体在当前图像中的位置；
16.步骤3、根据各自的跟踪结果分别对kalman滤波器和kcf滤波器进行自适应更新；
17.步骤4、读取下一个视频帧，返回执行步骤2；直至跟踪过程结束。
18.作为优选方案，所述步骤2中，采用联合指标遮挡检测机制处理图像，以判断当前图像中目标是否发生严重遮挡。
19.作为优选方案，所述联合指标遮挡检测机制为：
20.(1)基于融合特征的相似性判断
21.特征融合指标f使用hsv和lbp特征进行构建，包括：
22.基于kcf算法的检测区域，分别提取目标和背景区域的hsv和lbp特征，并对提取的(hsv
target
，hsv
background
)和(lbp
target
，lbp
background
)使用下述公式进行归一化处理，记待处理的特征向量为x＝(x1，x2，...，x
n-1
，xn)
t
，归一化后的特征向量为x
*
：
[0023][0024][0025]
在得到归一化的特征向量后，分别计算hsv
target
与hsv
background
的欧氏距离d
hsv
，lbp
target
与lbp
background
的欧氏距离d
lbp
：
[0026][0027]
[0028]
其中，表示目标的hsv特征向量的第i个分量值，表示目标的lbp特征向量的第i个分量值，表示背景区域的hsv特征向量的第i个分量值，表示背景区域的lbp特征向量的第i个分量值；
[0029]
指标d用于反应在此特征下，目标和背景之间的区分程度；
[0030]
hsv和lbp在融合特征中的权值计算方式如下：
[0031][0032]
γ
hsv
＝1-γ
lbp
[0033]
通过提取相邻两帧目标特征的hsv和lbp特征，计算得到相第k帧目标的特征相似性和
[0034][0035][0036]
其中，hsvk和hsv
k-1
表示第k帧和第k-1帧中目标的hsv特征，lbpk和lbp
k-1
表示第k帧和第k-1帧中目标的lbp特征；
[0037]
通过权重γ
lbp
和γ
hsv
进行加权求和，得到特征融合f：
[0038][0039]
利用融合特征f进行相似性判断：当执行到第n帧时，首先利用得到的历史相似性距离数据计算平均相似性距离s，并计算相应的阈值th1，计算公式如下：
[0040][0041]
th1＝δ1*s(1＜δ1＜2)
[0042]
其中，δ1表示平均相似性距离s的阈值系数；
[0043]
然后计算第n-1与n帧的目标融合特征的欧式距离fn，并判断欧式距离fn是否大于th1；若否，则并未发生遮挡；若是，则可能发生遮挡；
[0044]
记是否发生遮挡的指标为ε1，ε1表示为：
[0045][0046]
(2)基于最大响应值的跟踪效果判断
[0047]
使用最大响应值f
max
进行跟踪效果判断，包括：当执行到第n帧时，首先，统计前n-1帧的历史最大响应值信息，计算平均最大响应响应值m和阈值th2，m和th2计算公式如下：
[0048][0049]
th2＝δ2*m(0＜δ2＜1)
[0050]
其中，表示第i帧的最大响应值，δ2表示平均最大响应响应值m的阈值系数；
[0051]
然后，判断第n帧的最大响应值是否大于th2；若是，则当前并未发生遮挡；若
否，则可能发生了遮挡；
[0052]
记是否发生遮挡的指标为ε2，ε2表示为：
[0053][0054]
(3)基于平均相关峰值比的评估机制
[0055]
使用平均相关峰值比apce进行跟踪可信度评估，包括：在响应矩阵基础上，利用平均相关峰值比评估核相关滤波跟踪方法的跟踪效果；apce计算公式如下：
[0056][0057]
其中，f
max
表示当前帧的最大响应值，f
min
表示当前帧的最小响应值；
[0058]
计算前n-1帧的平均和阈值th3，用于评估当前帧，即第n帧的跟踪效果，计算公式如下：
[0059][0060][0061]
其中，δ3表示平均相关峰值比的阈值系数；
[0062]
判断是否大于th3；若是，则未发生遮挡；若否，则可能发生遮挡；
[0063]
记是否发生遮挡的指标为ε3，ε3表示为：
[0064][0065]
构建联合指标∈为：
[0066]
∈＝ε1 ε2 ε3[0067]
当∈＝0或1时，表示目标未被遮挡或轻微遮挡，使用kcf算法的结果作为跟踪结果；
[0068]
当∈＝2或3时，表示目标被严重遮挡，使用kalman滤波算法的结果作为跟踪结果。
[0069]
作为优选方案，所述步骤3，包括：
[0070]
若使用kcf算法的结果作为跟踪结果，则进行kcf滤波器更新，同时还将kcf算法的结果作为kalman测量值对kalman滤波器进行更新；
[0071]
若使用kalman滤波算法的结果作为跟踪结果，则对kalman滤波器进行更新，kcf滤波器停止更新。
[0072]
作为优选方案，所述kcf滤波器的更新，包括：
[0073]
α
t
＝θ((1-ρ)α
t-1
ρα
t
) (1-θ)α
t-1
[0074]
x
t
＝θ((1-ρ)x
t-1
ρx
t
) (1-θ)x
t-1
[0075][0076]
其中，ρ表示kcf滤波器参数的更新系数；α
t-1
和α
t
表示第t-1帧和第t帧的kcf滤波器系数，x
t-1
和x
t
表示第t-1帧和第t帧的kcf滤波器选用的目标模型的参数。
[0077]
本发明还提供一种面向严重遮挡场景的核相关滤波跟踪系统，包括：
[0078]
初始化模块，用于初始化kcf滤波器的kcf算法和kalman滤波器的kalman滤波算法，以第一帧的目标位置作为kcf算法和kalman滤波算法的初始位置；
[0079]
判断模块，用于使用遮挡检测机制判断当前图像中是否发生目标严重遮挡；若否，则采用kcf算法的跟踪结果作为目标物体在当前图像中的位置；若是，则采用kalman滤波算法的跟踪结果作为目标物体在当前图像中的位置；
[0080]
更新模块，用于根据各自的跟踪结果分别对kalman滤波器和kcf滤波器进行自适应更新；
[0081]
执行模块，用于读取下一个视频帧，返回执行步骤2；直至跟踪过程结束。
[0082]
作为优选方案，所述判断模块采用联合指标遮挡检测机制处理图像，以判断当前图像中目标是否发生严重遮挡。
[0083]
作为优选方案，所述联合指标遮挡检测机制为：
[0084]
(1)基于融合特征的相似性判断
[0085]
特征融合指标f使用hsv和lbp特征进行构建，包括：
[0086]
基于kcf算法的检测区域，分别提取目标和背景区域的hsv和lbp特征，并对提取的(hsv
target
，hsv
background
)和(lbp
target
，lbp
background
)使用下述公式进行归一化处理，记待处理的特征向量为x＝(x1，x2，...，x
n-1
，xn)
t
，归一化后的特征向量为x
*
：
[0087][0088][0089]
在得到归一化的特征向量后，分别计算hsv
target
与hsv
background
的欧氏距离d
hsv
，lbp
target
与lbp
background
的欧氏距离d
lbp
：
[0090][0091][0092]
其中，表示目标的hsv特征向量的第i个分量值，表示目标的lbp特征向量的第i个分量值，表示背景区域的hsv特征向量的第i个分量值，表示背景区域的lbp特征向量的第i个分量值；
[0093]
指标d用于反应在此特征下，目标和背景之间的区分程度；
[0094]
hsv和lbp在融合特征中的权值计算方式如下：
[0095][0096]
γ
hsv
＝1-γ
lbp
[0097]
通过提取相邻两帧目标特征的hsv和lbp特征，计算得到相第k帧目标的特征相似性和
[0098][0099][0100]
其中，hsvk和hsv
k-1
表示第k帧和第k-1帧中目标的hsv特征，lbpk和lbp
k-1
表示第k帧和第k-1帧中目标的lbp特征；
[0101]
通过权重γ
lbp
和γ
hsv
进行加权求和，得到特征融合f：
[0102][0103]
利用融合特征f进行相似性判断：当执行到第n帧时，首先利用得到的历史相似性距离数据计算平均相似性距离s，并计算相应的阈值th1，计算公式如下：
[0104][0105]
th1＝δ1*s(1＜δ1＜2)
[0106]
其中，δ1表示平均相似性距离s的阈值系数；
[0107]
然后计算第n-1与n帧的目标融合特征的欧式距离fn，并判断欧式距离fn是否大于th1；若否，则并未发生遮挡；若是，则可能发生遮挡；
[0108]
记是否发生遮挡的指标为ε1，ε1表示为：
[0109][0110]
(2)基于最大响应值的跟踪效果判断
[0111]
使用最大响应值f
max
进行跟踪效果判断，包括：当执行到第n帧时，首先，统计前n-1帧的历史最大响应值信息，计算平均最大响应响应值m和阈值th2，m和th2计算公式如下：
[0112][0113]
th2＝δ2*m(0＜δ2＜1)
[0114]
其中，表示第i帧的最大响应值，δ2表示平均最大响应响应值m的阈值系数；
[0115]
然后，判断第n帧的最大响应值是否大于th2；若是，则当前并未发生遮挡；若否，则可能发生了遮挡；
[0116]
记是否发生遮挡的指标为ε2，ε2表示为：
[0117][0118]
(3)基于平均相关峰值比的评估机制
[0119]
使用平均相关峰值比apce进行跟踪可信度评估，包括：在响应矩阵基础上，利用平均相关峰值比评估核相关滤波跟踪方法的跟踪效果；apce计算公式如下：
[0120][0121]
其中，f
max
表示当前帧的最大响应值，f
min
表示当前帧的最小响应值；
[0122]
计算前n-1帧的平均和阈值th3，用于评估当前帧，即第n帧的跟踪效果，计算公式如下：
[0123][0124][0125]
其中，δ3表示平均相关峰值比的阈值系数；
[0126]
判断是否大于th3；若是，则未发生遮挡；若否，则可能发生遮挡；
[0127]
记是否发生遮挡的指标为ε3，ε3表示为：
[0128][0129]
构建联合指标∈为：
[0130]
∈＝ε1 ε2 ε3[0131]
当∈＝0或1时，表示目标未被遮挡或轻微遮挡，使用kcf算法的结果作为跟踪结果；
[0132]
当∈＝2或3时，表示目标被严重遮挡，使用kalman滤波算法的结果作为跟踪结果。
[0133]
作为优选方案，所述更新模块的更新过程，包括：
[0134]
若使用kcf算法的结果作为跟踪结果，则进行kcf滤波器更新，同时还将kcf算法的结果作为kalman测量值对kalman滤波器进行更新；
[0135]
若使用kalman滤波算法的结果作为跟踪结果，则对kalman滤波器进行更新，kcf滤波器停止更新。
[0136]
作为优选方案，所述kcf滤波器的更新，包括：
[0137]
α
t
＝θ((1-ρ)α
t-1
ρα
t
) (1-θ)α
t-1
[0138]
x
t
＝θ((1-ρ)x
t-1
ρx
t
) (1-θ)x
t-1
[0139][0140]
其中，ρ表示kcf滤波器参数的更新系数；α
t-1
和α
t
表示第t-1帧和第t帧的kcf滤波器系数，x
t-1
和x
t
表示第t-1帧和第t帧的kcf滤波器选用的目标模型的参数。
[0141]
本发明与现有技术相比，有益效果是：
[0142]
(1)针对核相关滤波算法遮挡检测机制缺失问题，提出了联合指标遮挡检测机制，使得可以区分正常场景和遮挡场景；
[0143]
(2)设计了遮挡情况下模型的自适应更新策略，使得特征模型在线更新的同时不会被遮挡物严重污染；
[0144]
(3)增加了遮挡情况下kalman目标跟踪处理机制，使得即使目标被严重遮挡，仍能实现对目标的跟踪。
附图说明
[0145]
图1为本发明实施例的面向严重遮挡场景的核相关滤波目标跟踪方法的流程图；
[0146]
图2为本发明实施例的连续帧中相似性距离fn和阈值th1的关系；
[0147]
图3为本发明实施例的连续帧中最大响应值fmax和阈值th2的关系；
[0148]
图4为本发明实施例的连续帧中平均相关峰值比acpe和阈值th3的关系；
[0149]
图5为本发明实施例的连续帧中遮挡前后联合遮挡检测机制各参数变化；
[0150]
图6为本发明实施例的面向严重遮挡场景的核相关滤波目标跟踪系统的构架图。
具体实施方式
[0151]
为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
[0152]
本发明实施例的面向严重遮挡场景的核相关滤波目标跟踪方法主要对现有框架进行了以下三个方面的优化：
[0153]
一、针对遮挡情况的检测机制缺失问题，提出了联合指标遮挡检测机制；
[0154]
二、设计了遮挡情况下模型的自适应更新策略；
[0155]
三、增加了遮挡情况下kalman目标跟踪处理机制。
[0156]
具体地，如图1所示，本发明实施例的面向严重遮挡场景的核相关滤波目标跟踪方法，包括以下步骤：
[0157]
步骤1：初始化kcf目标跟踪算法和kalman算法，以第一帧的目标位置作为kcf和kalman两个算法的初始位置。
[0158]
kalman算法使用上一帧目标框的位置和目标移动速度，对下一帧目标的位置进行预测跟踪处理。在实时视频的目标跟踪任务中，每两帧时间间隔比较小，可以认为目标在相邻图像在运动变化缓慢，目标运动可近似为匀速直线运动，下一帧中目标的位置和移动速度可由动力学公式所得：
[0159]
xk＝x
k-1
v
k-1
δt
[0160]
vk＝v
k-1
[0161]
其中，δt为两帧时间间隔，x
k-1
表示目标在第k-1帧中的位置，v
k-1
表示目标在第k-1帧中的速度。因系统为线性动态模型，以二维情况为例，系统转移状态方程如下：
[0162]
x(k)＝ax(k-1) g(k)
[0163][0164]
其中，a表示物体的运动转移矩阵，x(k)＝(xk，yk，v
x
，vy)
t
，xk表示目标在第k-1帧中
x轴的位置，yk表示目标在第k-1帧中y轴的位置，v
x
表示目标在x轴的运动速度，vy表示目标在y轴的运动速度，δt表示视频两次检测的周期；表示速率变动，在匀速直线运动中可视为运动过程中的高斯白噪声，和均服从n(0，1)分布。
[0165]
系统测量值计算公式为：
[0166]
y(k)＝hx(k) c(k)
[0167]
式中，h表示测量系统的观测矩阵，c(k)表示测量过程的噪声。
[0168]
目标位置和与之相对应的误差协方差矩阵p可使用卡尔曼滤波器预测得出：
[0169][0170]
式中，q表示运动噪声的协方差。结合预测值和测量值，可以得到现在状态k的最优化估算值为：
[0171][0172]
并更新k状态下x(k|k)的误差协方差：
[0173]
p(k|k)＝p(k|k-1)-k
k hp(k|k-1)
[0174]
其中，kk为卡尔曼增益，其计算公式如下：
[0175]kk
＝p(k|k-1)h
t
/(hp(k|k-1)h
t
rk)
[0176]
其中，rk是指测量噪声的协方差，测量协方差的值较低时意味着在当前的测量值上具有更大的加权，即认为测量值的可信度更高。
[0177]
kalman滤波算法的整体流程简述如下：
[0178]
(1)确定系统的状态转移矩阵a与测量矩阵h。
[0179]
(2)初始化协方差矩阵初值p(0|0)与状态量初值x(0)。
[0180]
(3)根据状态转移矩阵a，状态递推方程和协方差矩阵，确定下一时刻的状态量和协方差矩阵p(k|k-1)，并更新卡尔曼增益kk。
[0181]
(4)根据测量向量y(k)、卡尔曼增益kk以及状态量修正状态量，得到该更新周期的状态估计修正值即x(k)。
[0182]
(5)根据状态估计修正值x(k)，测量值计算公式，更新协方差矩阵，得到协方差阵修正值p(k|k)。
[0183]
(6)回到上述步骤(3)，重复上述步骤，直到追踪过程结束。
[0184]
步骤2：使用联合指标遮挡检测机制处理图像，判断当前图像中目标是否发生严重遮挡情况。如果不存在目标遮挡，则采用kcf算法的跟踪结果作为目标物体在当前帧中的位置；如果目标被严重遮挡，采用kalman算法的预测结果作为目标在当前帧中的位置。
[0185]
本发明实施例的联合指标遮挡检测机制详细描述如下：
[0186]
1)基于融合特征的相似性判断
[0187]
特征融合指标f使用hsv和lbp特征进行构建，具体方式如下：在kcf算法的检测区域基础上，分别提取目标和背景区域的hsv和lbp特征，并对提取的(hsv
target
，hsv
background
)和(lbp
target
，lbp
background
)使用下述公式进行归一化处理，记待处理的特征向量为x＝(x1，x2，...，x
n-1
，xn)
t
，归一化后的向量为x
*
：
[0188][0189][0190]
在得到归一化的特征向量后，分别使用下述公式分别计算hsv
target
和hsv
background
的欧氏距离d
hsv
，lbp
target
和lbp
background
的欧氏距离d
lbp
：
[0191][0192][0193]
式中，表示目标的lbp特征向量的第i个分量值，同样地有表示背景区域的lbp特征向量的第i个分量值，同样地有
[0194]
指标d用于反应在此特征下，目标和背景之间的区分程度。目标和背景之间的区分度越高，说明使用此特征构建的目标模型越准确，所以构建的融合特征应包含此特征的更多信息。hsv和lbp在融合特征中的权值计算方式如下：
[0195][0196]
γ
hsv
＝1-γ
lbp
[0197]
通过提取相邻两帧目标特征的hsv和lbp特征，可以通过如下公式计算得到相第k帧目标的特征相似性和
[0198][0199][0200]
式中，hsvk和hsv
k-1
表示第k帧和第k-1帧中目标的hsv特征，lbpk和lbp
k-1
表示第k帧和第k-1帧中目标的lbp特征。再通过上文求得的权重γ
lbp
和γ
hsv
进行加权求和，就能对两个特征进行融合，得到特征融合f，f的公式如下所示：
[0201][0202]
接下来使用得到的融合特征f进行相似性判断：当算法执行到第n帧时，首先利用得到的历史相似性距离数据计算平均相似性距离s，并计算相应的阈值th1，计算公式如下：
[0203][0204]
th1＝δ1*s(1＜δ1＜2)
[0205]
其中，δ1表示平均相似性距离s的阈值系数，一般选取δ1＝1.5。然后计算第n-1与n帧的目标融合特征的欧式距离fn，当fn小于th1时，则说明近时间段内并未发生遮挡，相反，则说明可能发生了遮挡。记在此特征下，是否发生遮挡的指标为ε1，当目标可能被遮挡时，ε1取值为1；若未发生遮挡，ε1取值为0，ε1可表示为：
[0206][0207]
在连续帧中，相似性距离fn和阈值th1的关系如图2所示。
[0208]
2)基于最大响应值的跟踪效果判断
[0209]
使用最大响应值f
max
进行跟踪效果判断：当运行到第n帧时，首先统计前n-1帧的历史最大响应值信息，计算平均最大响应响应值m和阈值th2，m和th2计算公式如下：
[0210][0211]
th2＝δ2*m(0＜δ2＜1)
[0212]
其中，表示第i帧的最大响应值，δ2表示平均最大响应响应值m的阈值系数，一般选取δ2＝0.6。然后比较第n帧的最大响应值和th2的大小关系，如果最大响应值大于th2，则说明当前并未发生遮挡。如果最大响应值小于th2，则说明近段时间内可能发生了遮挡。记在此特征下，是否发生遮挡的指标为ε2，当目标可能被遮挡时，ε2取值为1；若未发生遮挡，ε2取值为0，ε2可表示为：
[0213][0214]
连续帧中，最大响应值f
max
和阈值th2的关系如图3所示。
[0215]
3)基于平均相关峰值比的评估机制
[0216]
使用平均相关峰值比apce进行跟踪可信度评估：在响应矩阵基础上，wang等人提出了平均相关峰值比(apce)，用于评估核相关滤波跟踪算法的跟踪效果，apce计算公式如下，其中f
max
表示当前帧的最大响应值，f
min
表示当前帧的最小响应值。
[0217][0218]
计算前n-1帧的平均和阈值th3，用于评估当前帧(第n帧)的跟踪效果，计算公式如下：
[0219][0220]
[0221]
其中，δ3表示平均相关峰值比的阈值系数，一般选取δ3＝0.5。记在此特征下，是否发生遮挡的指标为ε3，当目标可能被遮挡时，当ε3取值为1；若未发生遮挡，ε3取值为0，ε3可表示为：
[0222][0223]
连续帧中，平均相关峰值比acpe和阈值th3的关系如图4所示。
[0224]
最后结合上述三种指标，来构造联合指标∈，实现目标遮挡的检测，其公式如下所示：
[0225]
∈＝ε1 ε2 ε3[0226]
其中ε1表示基于融合特征f反应的跟踪情况，其中ε2表示基于最大响应值f
max
反应的跟踪情况，其中ε3表示基于平均相关峰值比apce反应的跟踪情况。当∈＝0 or 1时，表示目标未被遮挡或者轻微遮挡，不会对kcf滤波器造成太大的污染，滤波器进行正常更新即可，并使用kcf算法的结果作为跟踪结果。当∈＝2 or 3时，表示目标被严重遮挡，需要执行其他操作，并使用kalman算法的结果作为跟踪结果。在连续视频帧中，目标遮挡前后，上述f、f
max
和apce变化如图5所示。
[0227]
步骤3：根据遮挡检测机制的结果，使用步骤2的结果对kalman滤波器和kcf滤波器进行自适应更新。如果不存在目标遮挡，则使用kcf算法的结果作为kalman测量值(即将测量向量y(k)设置为kcf的结果)，对kalman滤波器进行更新，并同时进行kcf滤波器的常规更新；如果出现目标被遮挡的情况时，则停止kcf滤波器的更新，并将kalman滤波器的预测值作为kalman测量值(即将测量向量y(k)设置为与先验状态一致)，对kalman滤波器进行更新。
[0228]
对kcf滤波器而言，自适应更新策略是在原策略基础上，加入了停止机制。θ是判定是否进行更新的指标，∈为遮挡检测机制的结果，其判定过程为：
[0229][0230]
当没有遮挡或者发生轻微遮挡(θ＝1)，此时的kcf滤波器更新策略和原策略一致。当发生严重遮挡(θ＝0)，此时kcf滤波器应停止更新，避免受到污染。对应到kcf滤波器中，其具体参数的更新公式如下所示：
[0231]
α
t
＝θ((1-ρ)α
t-1
ρα
t
) (1-θ)α
t-1
[0232]
x
t
＝θ((1-ρ)x
t-1
ρx
t
) (1-θ)x
t-1
[0233]
其中，ρ表示kcf滤波器参数的的更新系数，一般为0.8。α
t-1
和α
t
表示第t-1帧和第t帧kcf滤波器系数，x
t-1
和x
t
表示第t-1帧和第t帧的kcf滤波器中选定的目标模型的参数，可参考现有技术，在此不赘述。
[0234]
在完成自适应更新后，方法将读取下一个视频帧，回到步骤2。
[0235]
直到所有视频帧都读取完，方法结束。
[0236]
基于上述本发明实施例的核相关滤波跟踪方法，如图6所示，本发明实施例还提供面向严重遮挡场景的核相关滤波跟踪系统，包括初始化模块、判断模块、更新模块和执行模块。
[0237]
具体地，初始化模块用于初始化kcf滤波器的kcf算法和kalman滤波器的kalman滤波算法，以第一帧的目标位置作为kcf算法和kalman滤波算法的初始位置；
[0238]
判断模块用于使用遮挡检测机制判断当前图像中是否发生目标严重遮挡；若否，则采用kcf算法的跟踪结果作为目标物体在当前图像中的位置；若是，则采用kalman滤波算法的跟踪结果作为目标物体在当前图像中的位置；
[0239]
具体地，判断模块采用联合指标遮挡检测机制处理图像，以判断当前图像中目标是否发生严重遮挡。
[0240]
联合指标遮挡检测机制为：
[0241]
(1)基于融合特征的相似性判断
[0242]
特征融合指标f使用hsv和lbp特征进行构建，包括：
[0243]
基于kcf算法的检测区域，分别提取目标和背景区域的hsv和lbp特征，并对提取的(hsv
target
，hsv
background
)和(lbp
target
，lbp
background
)使用下述公式进行归一化处理，记待处理的特征向量为x＝(x1，x2，...，x
n-1
，xn)
t
，归一化后的特征向量为x
*
：
[0244][0245][0246]
在得到归一化的特征向量后，分别计算hsv
target
与hsv
background
的欧氏距离d
hsv
，lbp
target
与lbp
background
的欧氏距离d
lbp
：
[0247][0248][0249]
其中，表示目标的hsv特征向量的第i个分量值，表示目标的lbp特征向量的第i个分量值，表示背景区域的hsv特征向量的第i个分量值，表示背景区域的lbp特征向量的第i个分量值；
[0250]
指标d用于反应在此特征下，目标和背景之间的区分程度；
[0251]
hsv和lbp在融合特征中的权值计算方式如下：
[0252]
[0253]
γ
hsv
＝1-γ
lbp
[0254]
通过提取相邻两帧目标特征的hsv和lbp特征，计算得到相第k帧目标的特征相似性和
[0255][0256][0257]
其中，hsvk和hsv
k-1
表示第k帧和第k-1帧中目标的hsv特征，lbpk和lbp
k-1
表示第k帧和第k-1帧中目标的lbp特征；
[0258]
通过权重γ
lbp
和γ
hsv
进行加权求和，得到特征融合f：
[0259][0260]
利用融合特征f进行相似性判断：当执行到第n帧时，首先利用得到的历史相似性距离数据计算平均相似性距离s，并计算相应的阈值th1，计算公式如下：
[0261][0262]
th1＝δ1*s(1＜δ1＜2)
[0263]
其中，δ1表示平均相似性距离s的阈值系数；
[0264]
然后计算第n-1与n帧的目标融合特征的欧式距离fn，并判断欧式距离fn是否大于th1；若否，则并未发生遮挡；若是，则可能发生遮挡；
[0265]
记是否发生遮挡的指标为ε1，ε1表示为：
[0266][0267]
(2)基于最大响应值的跟踪效果判断
[0268]
使用最大响应值f
max
进行跟踪效果判断，包括：当执行到第n帧时，首先，统计前n-1帧的历史最大响应值信息，计算平均最大响应响应值m和阈值th2，m和th2计算公式如下：
[0269][0270]
th2＝δ2*m(0＜δ2＜1)
[0271]
其中，表示第i帧的最大响应值，δ2表示平均最大响应响应值m的阈值系数；
[0272]
然后，判断第n帧的最大响应值是否大于th2；若是，则当前并未发生遮挡；若否，则可能发生了遮挡；
[0273]
记是否发生遮挡的指标为ε2，ε2表示为：
[0274][0275]
(3)基于平均相关峰值比的评估机制
[0276]
使用平均相关峰值比apce进行跟踪可信度评估，包括：在响应矩阵基础上，利用平均相关峰值比评估核相关滤波跟踪方法的跟踪效果；apce计算公式如下：
[0277][0278]
其中，f
max
表示当前帧的最大响应值，f
min
表示当前帧的最小响应值；
[0279]
计算前n-1帧的平均和阈值th3，用于评估当前帧，即第n帧的跟踪效果，计算公式如下：
[0280][0281][0282]
其中，δ3表示平均相关峰值比的阈值系数；
[0283]
判断是否大于th3；若是，则未发生遮挡；若否，则可能发生遮挡；
[0284]
记是否发生遮挡的指标为ε3，ε3表示为：
[0285][0286]
构建联合指标∈为：
[0287]
∈＝ε1 ε2 ε3[0288]
当∈＝0或1时，表示目标未被遮挡或轻微遮挡，使用kcf算法的结果作为跟踪结果；
[0289]
当∈＝2或3时，表示目标被严重遮挡，使用kalman滤波算法的结果作为跟踪结果。
[0290]
本发明实施例的更新模块用于根据各自的跟踪结果分别对kalman滤波器和kcf滤波器进行自适应更新。具体地，更新模块的更新过程，包括：
[0291]
若使用kcf算法的结果作为跟踪结果，则进行kcf滤波器更新，同时还将kcf算法的结果作为kalman测量值对kalman滤波器进行更新；kalman滤波器可以参考现有技术。
[0292]
若使用kalman滤波算法的结果作为跟踪结果，则对kalman滤波器进行更新，kcf滤波器停止更新。
[0293]
其中，kcf滤波器的更新，包括：
[0294]
α
t
＝θ((1-ρ)α
t-1
ρα
t
) (1-θ)α
t-1
[0295]
x
t
＝θ((1-ρ)x
t-1
ρx
t
) (1-θ)x
t-1
[0296][0297]
其中，ρ表示kcf滤波器参数的更新系数；α
t-1
和α
t
表示第t-1帧和第t帧的kcf滤波器系数，x
t-1
和x
t
表示第t-1帧和第t帧的kcf滤波器选用的目标模型的参数。
[0298]
本发明实施例的执行模块用于读取下一个视频帧，返回执行上述过程，直至跟踪过程结束。
[0299]
以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。