一种基于样本差异化学习的相关滤波目标跟踪方法及系统

1.本发明属于计算机视觉技术领域，具体属于一种视觉目标跟踪方法及系统。


背景技术：

2.视频运动目标跟踪作为计算机视觉中的一项重要课题和研究热点，要求跟踪器能对视频中目标的行为进行准确地追踪定位。随着算法的不断更新，目标跟踪理论也越来越完善并受到学术界和工业界的广泛关注，目前应用于体育赛事转播、安防监控和无人机、无人车、机器人等领域。然而在实际的复杂跟踪场景下，帧画面中的运动目标通常会伴随遮挡、光照变化、尺度变化和运动模糊等多种影响因素，这导致不准确的跟踪甚至跟踪失败。
3.经过三十多年的研究和发展，研究学者相继提出大量的目标跟踪理论、方法和对应数据集，始终保持着对该方向深入挖掘的研究活力。近年来，改良的基于相关滤波的跟踪方法和基于深度神经网络的方法在各类视觉任务中展现出的优异性能，使得目标跟踪领域的主要研究手段集中于这两方面。基于相关滤波框架的跟踪理论在传统机器学习方法的基础上引入时频变换理论支持的样本扩充技术，提升了跟踪精度和效率；而深度神经网络则提供了较之传统特征更具鉴别性的特征表示，使得跟踪器更加鲁棒。
4.尽管一些前沿的滤波跟踪算法已经将深度特征融合进了滤波框架并实现了出色的跟踪性能，但这类方法仍不够重视不同帧之间样本的差异。这个问题的产生可以追溯到最早的相关滤波跟踪方法——最小均方误差滤波器(minimum output sum of squared error,mosse)。mosse提出在模型训练过程中，以固定的学习率来学习每一帧的样本。这种更新策略有助于帮助模型在线地学习目标物体的外观变化，但是忽略了客观存在的负样本。但实际上，在跟踪场景中目标可能会遭受完全遮挡、半遮挡、光照变化等影响因素。若此时产生的训练样用于模型训练，则可能导致模型遭到严重的污染，使得跟踪失败。在mosse之后的研究中，大部分的工作聚焦于特征改进、抑制边界效应和尺度自适应。例如，经典方法包括核相关滤波算法(kernel correlation filter,kcf)、判断尺度空间跟踪器(discriminative scale space tracker,dsst)、空间约束相关滤波器(spatially regularized correlation filter,srdcf)、高效卷积操作(efficient convolution operators,eco)等。
5.上述研究内容本质上都是在提升每一个样本的质量，特征改进提升样本的可靠性，边界效应缓解样本中背景信息的干扰，尺度自适应能够提供大小更准确的训练样本。实际场景中存在的负样本带来的模型漂移风险仍没被缓解。在线识别不同样本的可靠度并进行有差异的模型训练仍是一个挑战。
6.经过检索，申请公开号为cn109697727a，一种基于相关滤波和度量学习的目标跟踪方法、系统及存储介质，该目标跟踪方法包括：步骤s1：在跟踪视频的第一帧获取目标的大小和位置；步骤s2：根据得到的目标信息获取目标特征和与目标相似的负样本并训练相关滤波的模板；步骤s3：通过训练得到的模板预测目标的位置，并根据响应图得到此次预测的置信度来判断是否使用度量学习网络来精确定位目标。本发明的有益效果是：本发明针
对目标追踪视频的特点，先使用相关滤波模型来对当前帧进行预测，找出和目标相近的候选区域；针对这些候选区域，使用深度网络来判断其与目标的相似度；对目标追踪来说，其是对相关滤波模型的优化，加入了度量学习算法，提出了使用度量学习来优化相关滤波结果的方法；从而能准确、实时地追踪目标。
7.公开号为cn109697727a的发明利用相关滤波跟踪框架获得初步的跟踪结果。进一步的，可靠的结果将会直接作为跟踪结果，不可靠的跟踪结果将会作为输入供深度网络再次查找目标位置。该技术的核心思想是“双重定位机制”，其巧妙之处在于利用响应图进行可靠度判断，以避免对每一个结果都进行两次定位。类似地，本发明也提到了根据响应图计算可靠度的思路，但本发明和公开号为cn109697727a的发明不同在于两点：
8.(1)可靠度度量方式：公开号为cn109697727a的发明在响应图中，根据峰值的个数和主峰的梯度来判断此次跟踪结果的置信度高低；本发明通过衡量相应图的震荡程度、最大响应值和震荡程度短期变化趋势(即发明提到的指标apce_ga、mrs_ga和rpce)来反映响应图的可靠度。
9.(2)可靠度的用途：公开号为cn109697727a的发明利用可靠度作为是否利用深度网络再次目标定位的依据；本发明利用可靠度来衡量样本的置信度，并对不同可靠度的样本采用不同的模型更新参数以缓解模型漂移提升跟踪器性能。


技术实现要素：

10.本发明旨在解决以上现有技术的问题。提出了一种缓解了相关滤波跟踪器在复杂场景下的模型漂移风险，获得了较好的跟踪表现的基于样本差异化学习的相关滤波目标跟踪方法及系统。本发明的技术方案如下：
11.一种基于样本差异化学习的相关滤波目标跟踪方法及系统，其特征在于，包括以下步骤：
12.在视频初始帧获取目标的位置和大小，通过预处理并训练一个尺度滤波器和定位滤波器模型；
13.获得每一帧输入图像的候选区域与滤波器模型的响应图，并获得跟踪结果；
14.根据响应图计算多个样本可靠度度量指标的值；
15.标签标注器以指标值作依据为训练样本标注可靠度标签；
16.最后选择与可靠度标签匹配的样本学习率来更新滤波器模型。
17.进一步的，所述：在视频初始帧获取目标的位置和大小，通过预处理并训练一个尺度滤波器和定位滤波器模型，具体步骤为：
18.a1、从视频获取初始帧中目标的状态(包括位置和大小)，作为候选区域；
19.a2、根据候选区域进行多尺度裁剪，以获取位置相同大小不同的图像块；
20.a3、对单尺度候选区域提取特征，包括：hog特征(方向梯度直方图)、提取自vgg-16网络的深层特征(即cnn神经网络，very deep convolutional networks for large-scale image recognition)和提取自vgg-m网络的浅层特征(cnn-m神经网络，return of the devil in the details:delving deep into convolutional nets)；
21.a4、对多尺度候选区域提取hog特征；
22.a5、利用单尺度候选区域的特征图训练位置滤波器，利用多尺度候选区域的特征
图训练尺度滤波器。
23.进一步的，所述a5、利用单尺度候选区域的特征图训练位置滤波器，利用多尺度候选区域的特征图训练尺度滤波器，具体的滤波器训练方式为：
24.利用相关滤波跟踪框架中的通用方法，分别训练位置和尺度滤波器，公式为：
[0025][0026]
其中表示在第i帧训练得到的模型，表示在第i-1帧的模型，表示在第i帧的样本，λ表示样本学习率；在视频初始帧，不存在，直接用特征对应的训练样本生成模型。
[0027]
进一步的，所述：获得每一帧输入图像的候选区域与滤波器模型的响应图，并获得跟踪结果，具体步骤为：
[0028]
b1、根据位置响应图最大值，获得跟踪器所预测的目标位置；
[0029]
b2、在多个尺度响应图中，以响应值最大的响应图来预测目标尺度。
[0030]
进一步的，所述：根据响应图计算多个样本可靠度度量指标的值，具体步骤为：
[0031]
c1、根据算法lmcf(large margin object tracking with circulant feature maps)提出的指标，响应图最大值(maximum response score,mrs)和响应图震荡程度(average peak-to-correlation energy,apce)，计算响应图的可靠度；
[0032]
c2、利用mrs和apce计算用于衡量样本可靠度的多个指标，包括：当前apce值与全局apce均值的比值(global average of apce,apce_ga)、当前mrs值与全局mrs均值的比值(global average of mrs,mrs_ga)、当前apce值与近期帧上apce的比值(residual peak-to-correlation energy,rpce)的值；c3、将mrs_ga,apce_ga,rpce的值依次分别表示为：β,α,γ。
[0033]
5、根据权利要求4所述的一种基于样本差异化学习的相关滤波目标跟踪方法及系统，其特征在于，所述c1、c2和c3中的计算公式和值，分别表示为：
[0034]
d1、响应图最大值，mrs：
[0035][0036]
其中，s
i,w,h
表示在第i帧的响应结果中第w列h行对应的响应值，表示在第i帧的响应结果最大值，值越大表示该位置有可能是目标中心位置；
[0037]
d2、响应图震荡程度，apce：
[0038][0039]
其中表示在第i帧的响应结果最小值；apcei用于衡量当前响应结果的震荡程度，值越大表示响应结果越可靠；
[0040]
d3、当前apce值与全局apce均值的比值，apce_ga：
[0041][0042]
其中apce_gai表示在第i帧所求得的apce_ga指标；表示过去i-1帧中全局的apce平均值，α越大样本越可靠；
[0043]
d4、当前mrs值与全局mrs均值的比值，mrs_ga：
[0044][0045]
其中mrs_gai表示在第i帧所求得的mrs_ga指标；表示过去i-1帧中响应结果最大值的全局平均值；
[0046]
d5、当前apce值与近期帧上apce的比值，rpce：
[0047][0048]
其中rpcei表示在第i帧所求得的rpce指标；rsi表示在第i帧的短期apce值，计算公式为：
[0049]
rsi＝(1-η)
·
rs
i-1
η
·
apcei[0050]
(7)
[0051]
其中η表示新加入apce的权重；rsi用于反映短期内apce指标的变化。
[0052]
进一步的，所述：标签标注器以指标值作依据为训练样本标注可靠度标签，具体步骤为：
[0053]
e1、根据位置响应图计算样本可靠度指标值α,β,γ；
[0054]
e2、按照a3所述方式提取位置滤波器的训练样本，按照a4所述方式提取尺度滤波器的训练样本；
[0055]
e3、输入α,β,γ到标签注释器中，并为样本标注可靠度标签，该步骤表示为公式：
[0056]
label＝f(w,x)
ꢀꢀ
(8)
[0057][0058]
其中，f(
·
)表示标签注释器，x表示指标β，α，γ的集合；w表示样本可靠度分类时三组指标的阈值的集合，w＝(α1,α2,β1,β2,γ1,γ2)；label是用于表示训练样本可靠度的标签，label∈{high-reliability,ordinary,low-reliabilityg}，high-reliability,ordinary,low-reliabilityg分别表示样本的质量为：高可靠度、一般、低可靠度。
[0059]
进一步的，所述：最后选择与可靠度标签匹配的样本学习率来更新滤波器模型，具体步骤为：
[0060]
f1、根据样本的可靠度标签匹配e2中样本的学习率，匹配过程可公式化为：
[0061][0062]
其中g(
·
)表示匹配过程，包含三个权重不同的学习率以表示样本被重视的程度；
[0063]
f2、利用模型更新方案、训练位置滤波器的样本和尺度滤波器的样本进行滤波器更新，模型更新过程被表示为公式：
[0064][0065]
公式中表示第i帧中采用e2提取到的训练样本，表示前i-1个训练样本所学习到的滤波器模型；表示指标第i帧时所训练出的新模型。
[0066]
最后，一种基于权利要求1-6任一项方法的跟踪系统，其特征在于，包括：
[0067]
跟踪结果表示模块：用于对每一帧输入图像的候选区域分别提取用于位置估计和尺度估计的特征，并用于利用特征与两组滤波器模型(位置和尺度)的响应图来分别预测目标的位置和大小；
[0068]
样本的可靠度指标计算模块：用于根据响图计算多个样本可靠度的度量指标apce_ga、mrs_ga和rpce的值，它们依次表示：当前apce值与全局apce均值的比值、当前mrs值与全局mrs均值的比值、当前apce值与近期帧上apce的比值；
[0069]
样本标签标注模块：用于构建标签标注器，并依照可靠度指标值为候选区域所对应的样本标注可靠度标签；
[0070]
差异化训练模块：利用与可靠度标签适配的样本学习率对滤波器模型实行差异化训练。
[0071]
本发明的优点及有益效果如下：
[0072]
1.所采用的目标跟踪框架有较好的跟踪表现，能够平衡跟踪器的速度和精度：针对目标状态的预测分别采用了位置滤波器和尺度滤波器；对于重要的目标定位功能采用了多种融合的特征，以保障跟踪器的准确性；对于次重要的尺度估计功能采用了简单的手工特征，以提升跟踪器速度。
[0073]
2.考虑了不同样本在模型训练中的不同贡献度，减轻了不可靠的样本对模型的污染，降低了模型漂移风险，能够提升个跟踪表现：一般的基于相关滤波器的跟踪方法以固定不变的学习率对每一帧的样本进行学习，忽略了目标遭受遮挡或光照变化等情况时产生的样本是不可靠的；本发明提出对不同可靠度的样本分而治之，以不同的学习权重更新不同可靠度的样本；对极端的负样本采用较小的学习权重，缓解了样本对模型的污染。
[0074]
3.提出一种样本可靠度的分类方法，能够利用响应图在线地指导跟踪器，协助实施差异化的样本学习：在计算响应图可靠度过程中，选择了特征性能更佳且更可靠的位置响应图作为计算可靠度指标的依据，提高了样本质量判断的准确度；提出的三个指标能够从短周期(rpce指标)和全局长周期(mrs_ga和apce_ga)的维度来反应样本可靠度，一定程
image recognition)和提取自vgg-m网络的浅层特征(cnn-m神经网络，return of the devil in the details:delving deep into convolutional nets)；
[0088]
4)对多尺度候选区域提取hog特征；
[0089]
5)利用单尺度候选区域的特征图训练位置滤波器，利用多尺度候选区域的特征图训练尺度滤波器。
[0090]
6)滤波器训练方式为：
[0091]
利用相关滤波跟踪框架中的通用方法，分别训练位置和尺度滤波器，公式为：
[0092][0093]
其中表示在第i帧训练得到的模型，表示在第i-1帧的模型，表示在第i帧的样本，λ表示样本学习率；在视频初始帧，不存在，直接用特征对应的训练样本生成模型。
[0094]
2.如附图1(a)基准跟踪器所示，获得每一帧输入图像的候选区域与滤波器模型的响应图，并获得跟踪结果，具体步骤为：
[0095]
1)根据位置响应图最大值，获得跟踪器所预测的目标位置；
[0096]
2)在多个尺度响应图中，以响应值最大的响应图来预测目标尺度。
[0097]
3.如附图1(b)基准跟踪器所示，根据更可靠的位置响应图计算多个样本可靠度度量指标的值，具体步骤为：
[0098]
1)根据算法lmcf(large margin object tracking with circulant feature maps)提出的指标，响应图最大值(maximum response score,mrs)和响应图震荡程度(average peak-to-correlation energy,apce)，计算响应图的可靠度；
[0099]
2)利用mrs和apce计算用于衡量样本可靠度的多个指标，包括：当前apce值与全局apce均值的比值(global average of apce,apce_ga)、当前mrs值与全局mrs均值的比值(global average of mrs,mrs_ga)、当前apce值与近期帧上apce的比值(residual peak-to-correlation energy,rpce)的值；
[0100]
3)将mrs_ga,apce_ga,rpce的值依次分别表示为：β,α,γ。
[0101]
4)响应的指标及其值的计算公式为：
[0102]
(1)响应图最大值，mrs：
[0103][0104]
其中，s
i,w,h
表示在第i帧的响应结果中第w列h行对应的响应值，表示在第i帧的响应结果最大值，值越大表示该位置有可能是目标中心位置；
[0105]
(2)响应图震荡程度，apce：
[0106]
[0107]
其中表示在第i帧的响应结果最小值；apcei用于衡量当前响应结果的震荡程度，值越大表示响应结果越可靠；
[0108]
(3)当前apce值与全局apce均值的比值，apce_ga：
[0109][0110]
其中apce_gai表示在第i帧所求得的apce_ga指标；表示过去i-1帧中全局的apce平均值，α越大样本越可靠；
[0111]
(4)当前mrs值与全局mrs均值的比值，mrs_ga：
[0112][0113]
其中mrs_gai表示在第i帧所求得的mrs_ga指标；表示过去i-1帧中响应结果最大值的全局平均值；
[0114]
(5)当前apce值与近期帧上apce的比值，rpce：
[0115][0116]
其中rpcei表示在第i帧所求得的rpce指标；rsi表示在第i帧的短期apce值，计算公式为：
[0117]
rsi＝(1-η)
·
rs
i-1
η
·
apceiꢀꢀ
(7)
[0118][0119]
其中η表示新加入apce的权重；rsi用于反映短期内apce指标的变化。
[0120]
4.如附图1(c)基准跟踪器所示，标签标注器以指标值作依据为训练样本标注可靠度标签，具体步骤为：
[0121]
1)根据位置响应图计算样本可靠度指标值α,β,γ；
[0122]
2)按照a3所述方式提取位置滤波器的训练样本，按照a4所述方式提取尺度滤波器的训练样本；
[0123]
3)输入α,β,γ到标签注释器中，并为两组样本标注可靠度标签，该步骤表示为公式：
[0124]
label＝f(w,x)
ꢀꢀ
(8)
[0125][0126]
其中，f(
·
)表示标签注释器，x表示指标β，α，γ的集合；w表示样本可靠度分类时三组指标的阈值的集合，w＝(α1,α2,β1,β2,γ1,γ2)；label是用于表示训练样本可靠度的标签，label∈{high-reliability,ordinary,low-reliabilityg}，high-reliability,ordinary,low-reliabilityg分别表示样本的质量为：高可靠度、一般、低可靠度。
[0127]
5.如附图1(c)基准跟踪器所示，最后选择与可靠度标签匹配的样本学习率来更新
滤波器模型，具体步骤为：
[0128]
1)根据样本的可靠度标签匹配e2中样本的学习率，匹配过程可公式化为：
[0129][0130]
其中g(
·
)表示匹配过程，包含三个权重不同的学习率以表示样本被重视的程度；
[0131]
2)利用模型更新方案、训练位置滤波器的样本和尺度滤波器的样本进行滤波器更新，模型更新过程被表示为公式：
[0132][0133]
公式中表示第i帧中采用e2提取到的训练样本，表示前i-1个训练样本所学习到的滤波器模型；表示指标第i帧时所训练出的新模型。
[0134]
一种基于任一项方法的跟踪系统，其特征在于，包括：
[0135]
相应结果计算模块：用于计算视频序列中每一帧输入图像的候选区域与滤波器模型的互相关响应结果；
[0136]
可靠度指标计算模块：用于根据互相关响应结果计算多个可靠度指标apce_ga、mrs_ga和rpce的值；
[0137]
标签标注模块：用于构建标签标注器，并依照可靠度指标值为候选区域所对应的样本标注可靠度标签；
[0138]
差异化训练模块：利用与可靠度标签适配的样本学习率对滤波器模型实行差异化训练。
[0139]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0140]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0141]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的
包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0142]
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。