一种结合轻量级SSD的改进KCF目标跟踪方法与流程

一种结合轻量级ssd的改进kcf目标跟踪方法
技术领域
1.本发明属于视觉目标跟踪技术领域，特别是一种结合轻量级ssd的改进kcf目标跟踪方法。
技术背景
2.运动目标的检测跟踪是计算机视觉研究领域的重要研究内容，在智能监控、军事侦察、人机交互等民用和军用领域具有重要应用。相关滤波(correlation filtering，cf)跟踪算法是典型的判别式方法，bolem于2010年将信号处理领域的相关性引入计算机视觉领域，提出最小平方误差输出和mosse滤波器，在跟踪速度上达到了惊人的615fps。在此基础上，csk算法扩展了密集采样，并采用核技巧在低维空间实现高维运算，避免了维数灾难。基于核相关滤波的kcf跟踪算法在csk基础上进一步扩展了fhog特征，并利用循环矩阵在频域空间可对角化的特性大大减小了算法运算量，提高了跟踪速度。虽然基于核相关滤波的目标跟踪算法在速度上表现良好，但是直接用来处理无人机视角下拍摄的视频序列效果不尽如人意，特别是当无人机拍摄的图片存在目标尺度变化、形变、遮挡等复杂情况，往往导致传统核相关滤波算法容易跟踪失败。martin提出dsst算法，在二维位置滤波器的基础上引入尺度滤波器，在目标中心位置处采集33种尺度进行相似度对比，选取响应最大值作为目标最佳匹配尺度，但是由于采用的暴力匹配方法，算法运算复杂度较高；其次，由于初始帧目标确定都是靠手工标注，降低了算法运行的实时性。


技术实现要素：

3.本发明的目的在于提供一种结合轻量级ssd的改进kcf目标跟踪方法，该方法首先采用一种轻量级结构的ssd目标检测算法对待跟踪序列中的初始位置目标进行定位；其次，引入了一种尺度二叉树搜索策略，降低了算法运算量；最后采用一种新的模型更新策略，当目标存在遮挡等情况时进行模板更新，改善了跟踪效果。
4.为实现上述目的，本发明采用以下技术方案：
5.一种结合轻量级ssd的改进kcf目标跟踪方法，包括：
6.步骤一，初始化网络参数，设置目标监测网络标签为待跟踪对象，将初始标签输入网络；
7.步骤二，将待跟踪图像序列首帧图片输入至目标检测网络部分，利用深度可分离卷积块对初始帧图片进行特征提取；
8.步骤三，将特征提取后的图片经过预测模块和非极大值抑制模块，与初始标签相比较后输出检测到的目标坐标值，并传递给目标跟踪网络；
9.步骤四，接收步骤三传递的初始值，框选出对应目标位置，初始化kcf滤波器模板，构造循环矩阵，训练位置滤波器；
10.步骤五，构造尺度滤波器，利用尺度二叉树搜索策略在位置滤波器生成的位置附近选择目标的最佳尺度；
11.步骤六，获取最佳尺度下的目标所获得的高斯响应，利用apce判据进行判断，若满足模板更新条件，则进行模板更新，帧数加一并返回步骤五，直到跟踪结束；若不满足模板更新条件，则返回步骤二对目标进行重新检测，直到跟踪结束；
12.第七步，输出跟踪结果，跟踪结束。
13.本发明具有以下优点：
14.1.本发明针对目标跟踪中首帧目标手工标注的问题，采用一种检测网络对初始帧目标进行定位，利用深度可分离卷积结构的运算量较低的特点将其与目标跟踪网络相结合，避免了手工标注的时间损耗。
15.2.本发明针对跟踪过程中尺度变化问题和目标遮挡问题，分别采用二叉树尺度搜索策略和平均峰值能量判据进行改进，使得目标在跟踪过程中出现尺度变化和遮挡等复杂情况时能够进行较为准确的跟踪定位。
16.附图表说明
17.图1为本发明方法的整体框架图
18.图2为深度可分离卷积示意图
19.图3为尺度选择二叉树示意图
20.图4为本发明方法与相关滤波类算法跟踪效果对比
21.图5为本发明方法与相关滤波算法在sre模式下成功率和精确度比较
22.图6为本发明方法与相关滤波算法在遮挡情况下成功率和精确度比较
具体实施方式
23.结合所附图表，对本发明技术方案做具体说明。
24.如图1所示，本发明的一种结合轻量级ssd的改进kcf目标跟踪方法，具体包括以下步骤：
25.步骤1，初始化网络参数，设置目标检测网络标签为待跟踪对象，将初始标签输入网络，每次跟踪前保存对应的标签；
26.步骤2，将待跟踪图像序列首帧图片输入至目标检测网络部分，利用深度可分离卷积块对图片进行特征提取，深度可分离卷积示意图如图2所示，对待处理特征图先用3*3*n的滤波器进行特征提取，其中n表示输入特征图的通道数，再利用1*1*m卷积融合不同通道之间的信息，其中m表示输出特征图的通道数；
27.步骤3，将特征提取后的图片经过预测模块和非极大值抑制模块，在预测过程中，对每个预测框根据其类别置信度确定其类别与置信度，保存与步骤1输入标签相同的对象置信度最高的预测框作为目标坐标初始值，将其传递给目标跟踪网络；
28.步骤4，接收步骤3传递的目标坐标初始值，对目标构造循环矩阵，利用高斯核函数，在核空间对样本进行脊回归操作来求解分类器，具体如下：
29.α＝(k λi)
‑1y
ꢀꢀꢀꢀꢀꢀ
(8)
30.式中，k＝φ(x)φ(x)
t
为核空间的核矩阵，其中，φ(x)为非线性映射函数，y为标签向量，λ为正则化参数。由于k为循环矩阵，利用循环矩阵的性质，将式(8)进行求解可得到：
[0031][0032]
式中，为核矩阵k＝φ(x)φ(x)
t
的第一行数据，即循环矩阵中的基样本。对于下一帧样本z通过特征提取和循环矩阵可得到样本集z，与训练样本集x共同构成核循环矩阵kz，目标最优位置由下式所示：
[0033][0034]
步骤5，构造尺度滤波器，在步骤4得到的最优位置附近，利用二叉树尺度搜索策略为确定最优尺度，二叉树尺度选择示意图如图3所示，每个节点定义三个属性，分别为尺度值、上节点a、下节点b，假设第t
‑
1帧中跟踪目标初始大小为s，由式(10)计算出第t帧目标响应最大值为随后，选取s
i，j
＝σ
i，j
·
s，其中i表示尺度树第i层，j∈{a，b}，分别表示第i层尺度树的上下两个子分支，选择的尺度值满足如下条件：
[0035][0036]
当扩大(缩小)候选区域时，若目标响应值大于原始响应值，选取较大尺度分支；若目标响应值小于原始响应值，则选取较小分支，直至选出最佳尺度；
[0037]
步骤6，获取最佳尺度下的目标所获得的高斯响应，利用apce判据判断目标的跟踪效果，apce反映了跟踪响应图的峰值水平和平均波动程度，具体计算公式为：
[0038][0039]
式中，f
max
、f
min
分别表示响应图上的最大值和最小值，f
w，h
表示位置(w，h)处的响应值，mean[
·
]为取平均值运算。
[0040]
为了提高模板准确性，采用新的模板更新方式，具体为：
[0041][0042]
式中，为上一时刻的滤波器模型，η为模型更新速率，θ为模型更新判别因子，取值如下：
[0043][0044]
式中，表示平均峰值能量比的历史均值，表示响应最大值的历史均值，λ1、λ2为预设的比例系数。
[0045]
若满足模板更新条件，则进行模板更新，帧数加一并返回步骤5，直到跟踪结束，若不满足模板更新条件，则返回步骤2对目标进行重检测；
[0046]
步骤7，输出跟踪结果，跟踪结束。
[0047]
为了验证本发明的可行性和有效性，下面结合实例对本发明做进一步详细的描述。
[0048]
本实验在intel(r)core(tm)i5
‑
9400f cpu@2.9ghz、6gb内存、nvidia geforce gtx 1660台式机上完成，通过pycharm、cuda9.0、cudnn7.0实现，实验从跟踪效果评估、中心位置误差和算法整体跟踪性能三个方面进行验证。
[0049]
图4为本发明方法与相关滤波类算法跟踪效果对比。图中红色框为本发明方法，黑
色框为kcf算法，蓝色框代表samf算法，绿色框为lmcf算法，粉色框为dsst算法。可以看出，在图4(a)carscale序列中，黑色suv轿车由远及近，目标在图像中的尺度逐渐增大，kcf算法由于不包含尺度变化功能，跟踪框大小不变跟踪效果较差，dsst与samf在开始一段能保证尺度更新，跟踪后半程也同样出现了目标尺度预测不精准的问题，而本发明方法能够对尺度变化做出较好的适应；在图4(b)suv图像序列中，目标出现了遮挡现象，由于遮挡时间较短各算法均能跟踪到目标，但是对目标定位有所不同，在900帧左右本发明方法定位范围包括了白色车顶，其余算法未包含，所以本发明方法更为准确；在图4(c)mountainbike图像序列中，目标出现了空中旋转动作，且存在相似背景干扰，可以看出，kcf、lmcf、dsst、samf均出现一定范围内跟踪波动，本发明方法对目标定位包括车轮等细节部位，本发明方法更为精确；在图4(d)car14图像序列中，无人机视角下拍摄的目标占图像整体比例较小，kcf、dsst算法学习到的信息较少，容易出现跟踪失败的情况，本发明方法能够对目标进行较为准确的定位。
[0050]
图5和图6分别为本发明方法与相关滤波算法在sre模式下和遮挡情况下成功率和精确度比较。由图5中可以看出，本发明方法在sre模式下成功率和精确度分别为0.801和0.807，高于第二名lmcf算法7.9％和3％。由图6中可以看出，在遮挡情况下，本发明方法的成功率和精确度分别为0.735和0.732，高于第二名lmcf算法6.8％和7.5％。