一种尺度自适应与抗遮挡的KCF方法

一种尺度自适应与抗遮挡的kcf方法
技术领域
1.本发明涉及计算机视觉技术领域，具体为一种尺度自适应与抗遮挡的kcf方法。


背景技术：

2.kcf算法是通过循环矩阵的理论获取大量的样本，利用选取的样本在线进行训练分类器，将分类器进行最小二乘法训练和目标检测，通过快速傅里叶转化到傅里叶域中计算，大大加快了运算速度。近年来，基于相关滤波的目标跟踪算法显著提升了跟踪的性能。2010年bolme等提出了最小输出平方误差和跟踪算法(mosse)，该算法首次将相关滤波思想引入目标跟踪领域，实时性可以达到每秒数百帧，这一结果引起了国内外研究学者的广泛关注。随后相继出现了循环结构的检测跟踪算法(csk)和核相关滤波目标跟踪算法(kcf)，引入循环矩阵实现循环采样，克服样本不足的缺陷，利用图像的方向梯度直方图(hog)特征建立较高鲁棒性的特征模型。yang li对训练样本图像进行7个尺度空间上的缩放，在尺度空间上求取分类器最大响应，从而解决了kcf不能有效对有尺度变化的目标进行跟踪的问题。ting liu等人提出使用结构化的方法对目标进行分块处理，最后通过给定分块权重计算目标位置信息。akin等人提出了一种依赖全局跟踪器与多个部分跟踪器耦合交互的跟踪器。ma等人提出长期目标跟踪算法(lct)，利用平移相关滤波、尺度相关滤波和置信度检测相关滤波实现了目标尺度自适应，并且对遮挡有较好的处理效果。包晓安等人提出kcf结合sift特征的抗遮挡检测算法。上述算法最终都得到了不错的跟踪性能，但是都很大程度上牺牲了跟踪速度。
3.近年来，视频目标跟踪作为计算机视觉研究领域中的一个关键技术，已广泛应用到国防和民用的各个领域中，如医学诊断、智能监控、人机交互、导航制导等。目前视频目标跟踪技术虽然已经取得了很大的发展与进步，kcf算法成为公认的性能较好的跟踪算法之一，在跟踪速度上表现尤为突出，精确度也较高。但是，kcf算法本身有自己的局限性，当目标出现遮挡时，会跟丢目标，并且无法改变跟踪框的尺寸。当目标出现遮挡时，会跟丢目标，并且无法改变跟踪框的尺寸，例如：尺度变化、光照变化、运动模糊、目标变形、目标遮挡等问题。所以就需要一种尺度自适应与抗遮挡的kcf方法。


技术实现要素：

4.本发明的目的在于提供一种尺度自适应与抗遮挡的kcf方法；对尺度自适应与遮挡的实时性和成功率的提高，针对尺度变换和遮挡导致目标丢失问题进行改进，提高在处理尺度变化时的有效性。
5.本发明是这样实现的：一种尺度自适应与抗遮挡的kcf方法；具体按以下步骤执行；
6.s1:读取图像和初始化目标位置，提取目标图像的hog特征和cn特征，对图像梯度进行计算，进行自适应特征融合；
7.s
1.1
:hog特征提取首先是对图像进行灰度化和伽马校正，计算每一个像素点的梯
度值；
8.s
1.2
:将8
×
8个像素分为一个单元cell计算每个cell的梯度直方图；再将4
×
4个cell合并为一个块block，得到每个block的hog特征，对每一个block进行归一化处理得到最终的hog特征值；
9.s
1.3
:获取图像的rgb值，计算rgb值对应的颜色索引值，在文件中找到rgb值对应的数值，得到图像cn特征；
10.s
1.4
:联合hog特征与cn特征，得到图像的特征描述。
11.s2:利用kcf算法将预测到的目标分为四个子块进行处理，根据子块位置的相对变化来确定最终目标的尺度信息，实现尺度自适应；
12.s
2.1
:从一个样本图像取出目标图像，并按照一定比例取得目标图像周围信息进行样本训练，使用最小二乘法来训练分类器，寻找最优w；具体如式(1)，引入核函数将低维线性不可分的函数转换到高维空间实现线性可分，寻找最优α，如式(2)；
[0013][0014]
其中，yi为y中每一个元素的回归，xi为样本矩阵的行向量，λ为正则化参数；
[0015][0016]
其中，k
xx
‘
为核矩阵的第一行元素。
[0017]s2.2
:相似度计算；通过得到的结果做傅里叶逆变换得出响应值，响应值最大的位置最有可能是目标位置，如式(3)；
[0018][0019]
其中，其中：k
xz
为待检测图像z与目标图像x的核相关。
[0020]s2.3
:尺度自适应；将目标分割为4个子块，将kcf的分类器同时应用到每个子块上进行跟踪，更新目标外观模型，同时更新4个子块的中心以及子块模板，用于下一帧图像的跟踪。
[0021]
s3:目标遮挡判断；设定一个阈值用来判断目标是否发生遮挡，在概率最大值的的周围找出所有满足的所有点，并求得对应的位置，然后求所有的点与概率最大值位置之间的欧氏距离：设置另一个阈值为面积因子，结果大于阈值，则判断目标为遮挡；否则目标未受到遮挡；
[0022]
s4:orb特征匹配目标；
[0023]
s5:otb100公开数据集进行测试；通过定性和定量的对比测试结果验证kcf方法的有效性。
[0024]
进一步，步骤s4具体按以下步骤执行：
[0025]s4.1
:orb特征提取，利用fast算法查找模板和待检测图像中的关键点；利用非极大
值抑制的方法取出相邻或相近的一些关键点，排除关键点冗余的现象；获得关键点之后，通过brief算法对关键点进行描述；将所有关键点的特征向量集成在一起得到orb特征描述符；
[0026]s4.2
:使用orb特征进行目标匹配；将模板提取出的orb特征与待检测图像提取的orb特征进行匹配，直到再次得到目标为止。
[0027]
进一步，在步骤s5中，具体按以下步骤执行，选择otb100集包含了50个视频序列，每一个视频序列都包含了关于该视频三个方面的信息，第一是视频的帧序列，以图片的形式存放在img文件夹；第二是groundtruth_rect.txt文件，该文件记录的是每一副图像中目标的中心位置坐标和目标的高和宽；第三个是该视频的基本信息，存储方式一般是mat文件，包括视频总帧数和背景信息。
[0028]
进一步，kcf算法与6组典型的视频序列算法进行分析，6组典型的视频序列算法包括尺度估计的鲁棒性视觉跟踪算法dsst、可靠分块跟踪算法rpt、多尺度检测相关滤波算法samf、长期相关滤波跟踪算法lct、基于循环架构的核检测算法csk和结合神经网络的端到端跟踪算法cfnet进行整体分析与评价；目标既出现了尺度变换和遮挡，还有目标旋转、目标形变以及光照变化的挑战。
[0029]
进一步，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被主控制器执行时实现如上述的任一项所述的方法。
[0030]
与现有技术相比，本发明的有益效果是：
[0031]
1、本发明融合hog特征与cn特征建立特征模型，单一特征对目标的遮挡以及目标发生较大的形变时会导致目标丢失，而二者融合作为特征描述子比单独使用能够增强跟踪器的性能；
[0032]
2、本发明目标尺度自适应，进行分块处理得知目标在垂直与水平方向上的相对变化，可计算跟踪目标在尺度变化后的区域，看出本专利在处理尺度变化时的有效性；
[0033]
3、本发明采用otb特征匹配目标，其目的是对目标进行遮挡判断并继续跟踪，因此在假设范围内的，处理速度依然很好地满足实时性的要求；
[0034]
4、本发明与其他算法相比，本算法精度有所提高成功率达到了最优，目标在出现了尺度变换和遮挡，还有目标旋转、目标形变以及光照变化的时候，本专利达到了最好的跟踪效果。
附图说明
[0035]
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0036]
图1是本发明的尺度自适应与抗遮挡的kcf方法过程示意图；
[0037]
图2是本发明的hog特征与cn特征融合过程；
[0038]
图3是本发明的第t帧目标尺度计算过程；
[0039]
图4是本发明的跟踪过程中尺度计算；
[0040]
图5是本发明的目标遮挡再检测跟踪流程图。
具体实施方式
[0041]
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
[0042]
请参阅图1-5，一种尺度自适应与抗遮挡的kcf方法，步骤s1，参见附图2，读取图像和初始化目标位置，提取目标图像的hog特征和cn特征，对图像梯度进行计算，进行自适应特征融合。本步骤的具体过程描述如下：
[0043]
首先是对图像进行灰度化和伽马校正，计算每一个像素点的梯度大小及方向值；
[0044]
步骤s
1.1
，参见附图2，将8
×
8个像素分为一个单元(cell)，计算每个cell的梯度直方图；再将4
×
4个cell合并为一个块(block)，得到每个block的hog特征，对每一个block进行归一化处理得到最终的hog特征值；
[0045]
步骤s
1.2
，参见附图2，获取图像的rgb值，计算rgb值对应的颜色索引值，在文件中找到rgb值对应的数值，得到图像cn特征；
[0046]
步骤s
1.3
，最后融合hog特征与cn特征，得到图像的特征描述子。
[0047]
本实施例中，步骤s2，参见附图4，利用kcf算法将预测到的目标分为四个子块进行处理，根据子块位置的相对变化来确定最终目标的尺度信息，实现尺度自适应。本步骤的具体过程描述如下：
[0048]
步骤s
2.1
从一个样本图像取出目标图像，并按照一定比例取得目标图像周围信息进行样本训练，使用最小二乘法来训练分类器，寻找最优w；如式(1)；
[0049][0050]
其中：yi为y中每一个元素的回归，xi为样本矩阵的行向量，λ为正则化参数。
[0051]
引入核函数将低维线性不可分的函数转换到高维空间实现线性可分，寻找最优α，如式(2)
[0052][0053]
其中：k
xx
‘
为核矩阵的第一行元素。
[0054]
步骤s
2.2
相似度计算，如式(3)
[0055][0056]
其中：k
xz
为待检测图像z与目标图像x的核相关。
[0057]
通过得到的结果做傅里叶逆变换得出响应值，响应值最大的位置最有可能是目标位置。
[0058]
步骤s
2.3
；目标图像分块处理。我们对目标图像进行分块处理，假设我们将目标分为2个子块，不能体现整体目标的变化，因此至少我们需要分为4个子块，若是6个、8个甚至更多子块时，计算量也会越大，会影响实时跟踪的效果可能因为能确定目标变化比例的子块是包含目标四个角的子块信息。综合上述的分析，最终决定将目标分割为4个子块，每个子块上都会使用分类器分别进行跟踪，更新目标外观模型，同时更新4个子块的中心以及子块模板，用于下一帧图像的跟踪。
[0059]
步骤s
2.4
：尺度自适应。参见附图3，假设上一帧目标中心是p
t-1
，目标尺寸是w
t-1
×ht-1
，以p
t-1
为中心原点坐标，选取大小为βw
t-1
×
βh
t-1
的图像块，计算出最大响应值的位置p
t
为当前帧目标中心位置，然后以p
t
为原点建立坐标系，选取大小为w
t-1
×ht-1
的图像块，将目标分为四个子块，得到每个子块的中心记作p1(t-1)，p2(t-1)，p3(t-1)，p4(t-1)，根据上一帧计算得到的子块中心位置训练得到当前帧的子块中心位置p1(t)，p2(t)，p3(t)，p4(t)，
[0060]
尺度变化比例ξ
t
则是由子块中心位置的相对变化得到公式(4)：
[0061][0062]
计算出当前帧的ξ
t
后，取当前帧与上一帧的尺度变化比例的均值作为当前帧最终的尺度变化比例，则当前帧最终的尺度变化比例ρ
t
为公式(5)：
[0063][0064]
第t帧的尺度为公式(6)：
[0065][0066]
其中，w1和h1是初始帧的目标尺度。
[0067]
参见附图4计算出第t帧目标尺度后再以p
t
为中心，选取大小为βw
t
×
βh
t
的图像块，更新目标外观模型，同时更新4个子块的中心以及子块模板，用于下一帧图像的跟踪。
[0068]
本实施例中，步骤s3，目标遮挡判断。
[0069]
参见附图5，模板与待检测图像之间通过求解相似值计算是否为目标位置的概率f(x)，假设候选区域的坐标为pos(x)，概率最大值是f
max
(x)，此时对应的目标位置是pos
max
(x)，样本的高和宽分别是h和w，设定一个阈值λ1用来判断目标是否发生遮挡，在概率最大值的pos
max
(x)的周围找出所有满足λ1·fmax
(x)的所有点，并求得对应的位置pos
val
(x)，求所有的pos
val
(x)与概率最大值位置pos
max
(x)之间的欧氏距离，如式(7)：
[0070]
resi＝||pos
val
(xi)-pos
max
(x)||
ꢀꢀꢀ
式(7)
[0071]
求得这些点与概率最大值位置的欧氏距离和设置阈值λ2为面积因子，判断是否大于λ2·h·
w，结果大于阈值，则判断目标为遮挡；否则目标未受到遮挡。
[0072]
本实施例中，步骤s4，orb特征匹配目标。本步骤的具体过程描述如下：
[0073]s4.1
：1orb特征提取，利用fast算法查找模板和待检测图像中的关键点，首先选定一个待检测的像素，根据半径为3个像素选择一个圆上的一系列的像素点，那么外围临界圆上可以检查到16个像素点，并与中心像素值作差。对于特征点的确定方法，本文算法采用的是9点分割的方式，即若边上存在至少连续的9个点满足(i(x)-i(p))》threshold或者(i(x)-i(p))《-threshold。(其中i(x)表示边上的像素值，i(p)为中心点像素值，threshold为设定的阈值)则此点作为一个候选角点；利用非极大值抑制的方法取出相邻或相近的一些关键点，排除关键点冗余的现象，首先定义一个角点响应函数v，考虑到分割测试的特征以及计算速度的需要，角点响应函数的定义如下,如式(8)：
[0074][0075]
即一个角点强度值定义为中心点与边上的9个角点像素差值的绝对值累加和。定义角点响应函数后，对v值较低的角点进行排除，获得特征点；获得特征点之后，通过brief算法对关键点进行描述并将所有关键点的特征向量集成在一起得到orb特征描述符，步骤如下：
[0076]
(1)为减少噪声干扰，对图像先进行预处理，一般选择高斯滤波进行去噪。
[0077]
(2)以选中的特征点为中心点，选取周围一个正方形子窗口，正方形的边长设定为s，在选定的窗口中进行随机选择一对像素点x和y，比较像素值的大小，然后进行赋值，如式(9)：
[0078][0079]
其中，p(x)和p(y)分别是随机点x和y的像素值。
[0080]
(3)在窗口内选择256对点对，都按照上述公式进行赋值，将得到的每一个二进制符串联构造一个256位的二进制编码，得到最后的特征向量。
[0081]
步骤s
4.2
:使用orb特征进行目标匹配。将模板提取出的orb特征与待检测图像提取的orb特征进行匹配，匹配的方式是对两个图像的特征向量进行逐个逐位匹配，筛查出最相似的特征点对，本算法采用的是计算二者的汉明距离，汉明指标是统计orb描述符中不同位的个数，在比较训练图像与查找图像时，差异位数最小的被视为最佳匹配对，将两幅图像中的所有关键点都进行比较之后，存储最佳匹配的特征点对，之后对存储的点对做筛选，删除置信度低的匹配项，直到再次得到目标为止。
[0082]
本实施例中，步骤s5，otb100公开数据集进行测试。通过定性和定量的对比测试结果验证本发明方法的有效性。
[0083]
本实施例中，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述
程序被主控制器执行时实现如上述的任一项所述的方法。
[0084]
以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。