一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法与流程

1.本发明涉及低空飞行目标跟踪技术领域，具体涉及一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法。


背景技术：

2.近年来，无人机“黑飞”事件时有发生，给民用航空等带来了极大的威胁和挑战。“黑飞”无人机等空中非合作目标往往呈现飞行高度低、飞行速度慢、体积小等特点，还往往受到复杂的树木、楼房、围墙等背景杂波影响，然而，在目标跟踪过程中，当目标对象出现遮挡、尺度变化以及快速运动等问题时，由于传统核相关滤波算法按固定学习率更新的原因，会出现跟踪漂移、目标丢失等问题，无法进行有效跟踪定位。因此，如何实现对低空空域飞行目标进行有效的跟踪定位，成为人们亟待解决的问题。


技术实现要素：

3.本发明针对低空空域飞行目标自身及其所处环境的特点，提供了一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法，利用位置预测、目标重新检测等方法解决对低空空域飞行目标跟踪过程中目标被遮挡和尺度变化的问题。
4.为了实现上述目的，本发明采用如下技术方案：
5.一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法，包括如下步骤：
6.s1：提取跟踪目标的融合特征，建立目标滤波器模板
7.获取低空飞行目标视频，对视频进行分帧处理，第一帧确定跟踪目标，标记目标区域框体，提取目标区域的hog特征和cn特征，并训练目标的滤波器模板x，同时训练用于尺度计算的一维滤波器模板h；
8.s2：获取目标位置
9.使用训练的目标滤波器模板x和当前帧(进行跟踪的视频帧)提取的hog特征和cn特征计算目标响应图得到响应图峰值f和目标位置l；根据目标响应图峰值f和响应图平均值计算平均遮挡距离m
o
；
10.s3：判断目标的遮挡程度
11.根据平均遮挡距离m
o
和上下文遮挡感知因子s判断目标的遮挡情况：如果目标没有被遮挡，学习率η不发生改变，更新滤波器模板x和一维滤波器模板h；如果目标被轻微遮挡，降低学习率η，更新滤波器模板x和一维滤波器模板h；如果目标被严重遮挡，学习率η为0，不更新目标滤波器模板x和一维滤波器模板h；
12.s4：确定目标位置及目标尺度大小
13.根据步骤s3判断目标得遮挡程度，如果目标没有被遮挡或被轻微遮挡，使用步骤s2计算得到的当前帧目标位置l，并通过步骤s1中训练的一维尺度滤波器h计算得到当前帧目标尺度大小；如果目标被严重遮挡，使用位置预测算法和重检测定位目标位置，再通过步骤s1中训练的一维尺度滤波器h计算得到当前帧目标尺度大小；
14.s5：更新滤波器模板
15.根据步骤s4确定的当前帧目标位置l，提取目标区域的hog特征和cn特征，根据步骤s3判断目标遮挡程度选择学习率并更新滤波器模板x和一维滤波器模板h；
16.s6：判断是否为最后一帧图像
17.判断当前帧是否为最后一帧图像，如果是则结束跟踪过程，否则跳转到下一帧，重复步骤s2～步骤s6。
18.优选方案，步骤s1中，提取目标区域的hog特征和cn特征的融合权重分别为0.5和0.5，一维滤波器模板h的构建方式如下：
19.把标记目标区域框体分别放大缩小7～16个不同的倍数，加上标记目标区域框体得到15～33个不同大小的目标区域；分别提取15～33个不同大小的目标区域hog特征和cn特征，得到15～33个不同的用于尺度计算的滤波器模板，形成15～33个矩阵数据，矩阵的每一列首尾相接展成一维向量，得到15～33个用于尺度计算的一维尺度滤波器模板h。
20.优选方案，步骤s2中，平均遮挡距离m
o
的计算方式如下：
21.首先，找出响应图中响应值大于平均响应值并且小于v倍响应图峰值f的点，记其位置集合为a：
[0022][0023]
其中，为当前帧响应图，为响应图平均值，v预设好的参数且f为响应图峰值；
[0024]
平均局遮挡距离度量m
o
为：
[0025][0026]
其中，n为集合a所包含点的个数，(m,n)为响应峰值f所在位置。
[0027]
优选方案，步骤s3中，上下文遮挡感知因子s的计算方式如下：
[0028]
以上一帧的目标位置为中心点提取图像区域记为z0，其上下左右四个方向相同大小的区域记为z1～z4；若目标发生遮挡，z0区域对应的响应峰值与z1～z4对应的响应图峰值应该彼此比较接近，上下文遮挡感知因子s为：
[0029][0030]
其中，y
i
表示区域z
i
对应的响应图，当目标被严重遮挡时，目标区域和背景区域的响应值会非常接近，上下文遮挡感知因子s会非常小。
[0031]
优选方案，步骤s3中，通过平均遮挡距离m
o
和上下文遮挡感知因子s两个判别条件判断目标的遮挡程度：
[0032][0033]
其中，λ1,λ2是设定好的阈值，当m
o
>λ1且s<λ2时，说明目标被严重遮挡；当m
o
>λ1且s>λ2时，说明目标被轻微遮挡；当m
o
<λ1时，说明目标没有被遮挡。
[0034]
如果目标没有被遮挡，学习率η不发生改变，滤波器模板x和一维滤波器模板h正常更新；如果目标被轻微遮挡，此时目标区域含有大部分正确的目标信息和少部分遮挡物信息，学习率η降低，更新滤波器模板x一维滤波器模板h，减少背景对目标模型的影响；如果目标被严重遮挡，学习率η为0，不更新目标滤波器模板x和一维滤波器模板h，遏制遮挡物对目标模型的影响。
[0035]
学习率的选择如公式所示：
[0036][0037]
其中，η为跟踪算法预设好的学习率。
[0038]
优选方案，步骤s4中，当目标被严重遮挡时，使用位置预测和重检测定位目标位置，具体步骤如下：
[0039]
(1)预测目标位置
[0040]
若判断第t帧目标被遮挡，取其前k帧目标所在位置组成位置信息向量d：
[0041]
d＝[l
t
‑
k
,l
t
‑
k 1
,
…
,l
t
‑1]
ꢀꢀꢀ
(6)
[0042]
则帧间目标位置偏移量dl为：
[0043]
dl＝[l
t
‑
k 1
‑
l
t
‑
k
,
…
,l
t
‑1‑
l
t
‑2]
ꢀꢀꢀ
(7)
[0044]
距离第t帧越远的帧，其位置信息与第t帧目标位置的关联就越小，定义权重向量为ω：
[0045]
ω＝[ω1,ω2,
…
,ω
k
‑1]
ꢀꢀꢀ
(8)
[0046]
其中，ω1<ω2<
…
<ω
k
‑1；
[0047]
所以，前k帧的位移总偏移量
△
l为：
[0048]
△
l＝dl
′×
ω
ꢀꢀꢀ
(9)
[0049]
所以，预测第t帧目标位置l
t
为：
[0050]
l
t
＝l
t
‑1
△
l
ꢀꢀꢀ
(10)
[0051]
其中，l
t
‑1为第t
‑
1帧目标位置；
[0052]
(2)确定重检测区域进行重检测
[0053]
以预测位置l
t
为中心标记预测目标区域，将标记预测目标区域放大j倍得到预测目标区域框体，预测目标区域框体与步骤s1中提取用于训练滤波器模板x的特征区域大小相同，以标记预测目标区域为中心、预测目标区域框体9倍大小的区域进行重检测：
[0054]
以l
t
‑
(a,b)为起始点，(a,b)为预测目标区域框体的宽和高，横向步长为s
x
＝0.5a、纵向步长为s
y
＝0.5b向右和向下共提取25个预测目标区域框体样本，对每个预测目标区域框体样本分别计算其响应图，得到每个预测目标区域框体样本的响应图峰值f
i
；侯选样本的跟踪置信度记为c＝[f1,f2,
…
,f
25
]；用p惩罚相邻帧之间位置的剧烈变化，定义为：
[0055][0056]
其中，l
t
‑1为第t
‑
1帧的目标位置，表示第i个样本的目标位置，σ为高斯核；
[0057]
因为相邻帧之间目标的位置不会大范围移动，将p与置信度c乘积作为新的置信
度，用p惩罚距离上一帧目标位置远的样本，降低其成为跟踪目标的可能性：
[0058]
c＝c
·
p
ꢀꢀꢀ
(12)
[0059]
对25个预测目标区域框体样本做完惩罚的响应值进行比较，得到最大响应值f
max
，f
max
所对应的位置即为第t帧的目标位置；
[0060]
(3)遮挡情况判断
[0061]
对得到的目标位置进行步骤s3中遮挡情况判断，若判定目标被完全遮挡，说明目标并未脱离遮挡区域，输出使用位置预测得到的目标位置l
t
；若判定目标未被遮挡或轻微遮挡，输出使用f
max
为目标位置。
[0062]
优选方案，步骤s4中，目标尺度的计算方式为：
[0063]
使用步骤s1创建好的15～33个一维尺度滤波器模板h分别对当前帧的目标进行检测，得到15～33个不同的响应图，对每个响应图的峰值进行比较，得到最大响应值f
max
；f
max
所对应的尺度就为目标最佳的尺度。
[0064]
优选方案，步骤s5中，为了降低目标被遮挡对目标位置和尺度估计的影响，滤波器模板x和一维尺度滤波器模板h根据不同遮挡情况自适应更新：
[0065]
滤波器模板x的模板更新方式为：
[0066]
x＝(1
‑
η)x ηx1ꢀꢀꢀ
(13)
[0067]
其中，x1为当前帧训练的目标滤波器模板；
[0068]
一维尺度滤波器模板h的模板更新方式为：
[0069]
h＝(1
‑
η)h ηh1ꢀꢀꢀ
(14)
[0070]
其中，h1为当前帧训练的一维尺度滤波器。
[0071]
与现有技术相比，本发明的有益效果如下：
[0072]
本发明通过引入遮挡判断机制，采取位置预测和重检测相结合的方式降低了目标被遮挡时对跟踪算法的影响，利用尺度金字塔实现了目标尺度自适应，提高了跟踪算法对于遮挡和尺度变化情况的抵抗力，抑制了跟踪漂移问题，提高了算法精度，满足对低空空域飞行目标进行视觉跟踪的要求。
附图说明
[0073]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0074]
图1为本发明抗遮挡和尺度自适应的低空空域飞行目标跟踪方法的流程图；
[0075]
图2为本发明实施例1中判断目标的遮挡程度过程中上下文遮挡感知因子s计算区域示意图；
[0076]
图3为本发明实施例1中判断目标的遮挡程度过程中目标未被遮挡情况示意图；
[0077]
图4为本发明实施例1中判断目标的遮挡程度过程中目标被轻微遮挡情况示意图；
[0078]
图5为本发明实施例1中判断目标的遮挡程度过程中目标被严重遮挡情况示意图；
[0079]
图6为本发明实施例1目标跟踪方法流程图。
具体实施方式
[0080]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0081]
实施例1
[0082]
如图1所示，一种抗遮挡和尺度自适应的低空空域飞行目标跟踪方法，包括如下步骤：
[0083]
s1：提取跟踪目标的融合特征，建立目标滤波器模板
[0084]
获取低空飞行目标视频，对视频进行分帧处理，第一帧确定跟踪目标，标记目标区域框体，提取目标区域的hog特征和cn特征，并训练目标的滤波器模板x，同时训练用于尺度计算的一维滤波器模板h；
[0085]
其中，提取目标区域的hog特征和cn特征的融合权重分别为0.5和0.5，一维滤波器模板h的构建方式如下：
[0086]
为了得到目标精确的框体大小，把标记目标区域框体分别放大缩小16个不同的倍数，加上标记目标区域框体得到33个不同大小的目标区域；分别提取33个不同大小的目标区域hog特征和cn特征，得到33个不同的滤波器模板，形成33个矩阵数据，矩阵的每一列首尾相接展成一维向量，得到33个一维尺度滤波器模板h。
[0087]
s2：获取目标位置
[0088]
使用训练的目标滤波器模板x和当前帧(进行跟踪的视频帧)提取的hog特征和cn特征计算目标响应图得到响应图峰值f和目标位置l；根据目标响应图峰值f和响应图平均值计算平均遮挡距离m
o
：
[0089]
首先，找出响应图中响应值大于平均响应值并且小于v倍响应图峰值f的点，记其位置集合为a：
[0090][0091]
其中，为当前帧响应图，为响应图平均值，v＝0.8为预设好的参数，f为响应图峰值；
[0092]
平均局遮挡距离度量m
o
为：
[0093][0094]
其中，n为集合a所包含点的个数，(m,n)为响应峰值f所在位置。
[0095]
s3：判断目标的遮挡程度
[0096]
如图2所示，根据平均遮挡距离m
o
的大小判断目标的状态：
[0097]
如果平均遮挡距离m
o
<λ1，说明目标没有被遮挡，学习率不发生改变，滤波器模板x和一维滤波器模板h正常更新；λ1,是设定好的阈值，本实施例中根据遮挡情况的变化，设定
λ1＝12；
[0098]
如果平均遮挡距离m
o
>λ1，说明目标被遮挡，以目标位置l为中心提取目标图像和上下左右四个方向的图像，在所有图像上提取hog特征，得到5个相关响应图，计算上下文遮挡感知因子s，使用上下文遮挡感知因子s判断目标的遮挡程度。
[0099]
上下文遮挡感知因子s的计算方式如下：
[0100]
如图2所示，以上一帧的目标位置为中心点提取图像区域记为z0，其上下左右四个方向相同大小的区域记为z1～z4；若目标发生遮挡，z0区域对应的响应峰值与z1～z4对应的响应图峰值应该彼此比较接近，上下文遮挡感知因子s为：
[0101][0102]
其中，y
i
表示区域z
i
对应的响应图。
[0103]
λ2是设定好的阈值，本实施例中根据遮挡程度的变化，设定λ2＝0.01；如果上下文遮挡感知因子s>λ2,说明目标被轻微遮挡，如果上下文遮挡感知因子s<λ2,说明目标被严重遮挡。当目标被严重遮挡时，目标区域和背景区域的响应值会非常接近，上下文遮挡感知因子s会非常小。
[0104]
通过平均遮挡距离m
o
和上下文遮挡感知因子s两个判别条件可以判断目标的遮挡程度：
[0105][0106]
其中，λ1,λ2是设定好的阈值，其中，λ1＝12，λ2＝0.01；当m
o
>λ1且s<λ2时，说明目标被严重遮挡；当m
o
>λ1且s>λ2时，说明目标被轻微遮挡；当m
o
<λ1时，说明目标没有被遮挡。
[0107]
如图3所示，如果目标没有被遮挡，学习率η不发生改变，滤波器模板x和一维滤波器模板h正常更新；如图4所示，如果目标被轻微遮挡，此时目标区域含有大部分正确的目标信息和少部分遮挡物信息，学习率η降低，更新滤波器模板x一维滤波器模板h，如减少背景对目标模型的影响；如图5所示，如果目标被严重遮挡，学习率η为0，不更新目标滤波器模板x和一维滤波器模板h，遏制遮挡物对目标模型的影响。
[0108]
学习率的选择如公式所示：
[0109][0110]
s4：确定目标位置和目标尺度大小
[0111]
根据步骤s3判断目标的遮挡程度，如果目标如图3所示没有被遮挡或如图4所示的被轻微遮挡，使用步骤s2计算得到的当前帧目标位置l，并通过步骤s1中训练的一维尺度滤波器h计算得到当前帧目标尺度大小；如果目标如图5所示被严重遮挡，使用位置预测算法和重检测定位目标位置，再通过步骤s1中训练的一维尺度滤波器h计算得到当前帧目标尺度大小；
[0112]
具体地，当目标被严重遮挡时，使用位置预测和重检测定位目标位置，其步骤如
下：
[0113]
(1)预测目标位置
[0114]
判断第60帧目标被遮挡，本实施例中取其前15帧(第45帧到第59帧)目标所在位置组成位置信息向量d：
[0115]
d＝[l
t
‑
k
,l
t
‑
k 1
,
…
,l
t
‑1]
ꢀꢀꢀ
(6)
[0116]
则帧间目标位置偏移量dl为：
[0117]
dl＝[l
t
‑
k 1
‑
l
t
‑
k
,
…
,l
t
‑1‑
l
t
‑2]
ꢀꢀꢀ
(7)
[0118]
距离第t帧越远的帧，其位置信息与第t帧目标位置的关联就越小，定义权重向量为ω：
[0119]
ω＝[ω1,ω2,
…
,ω
k
‑1]
ꢀꢀꢀ
(8)
[0120]
其中，ω1<ω2<
…
<ω
k
‑1；
[0121]
所以，前k帧的位移总偏移量
△
l为：
[0122]
△
l＝dl
′×
ω
ꢀꢀꢀ
(9)
[0123]
所以，预测第t帧目标位置l
t
为：
[0124]
l
t
＝l
t
‑1
△
l
ꢀꢀꢀ
(10)
[0125]
其中，l
t
‑1为第t
‑
1帧目标位置；
[0126]
(2)确定重检测区域进行重检测
[0127]
以预测位置l
t
为中心标记预测目标区域，将标记预测目标区域放大j倍得到预测目标区域框体，预测目标区域框体与步骤s1中提取用于训练滤波器模板x的特征区域大小相同，以标记预测目标区域为中心、预测目标区域框体9倍大小的区域进行重检测：
[0128]
以l
t
‑
(a,b)为起始点，(a,b)为预测目标区域框体的宽和高，横向步长为s
x
＝0.5a、纵向步长为s
y
＝0.5b向右和向下共提取25个预测目标区域框体样本，对每个预测目标区域框体样本分别计算其响应图，得到每个预测目标区域框体样本的响应图峰值f
i
；侯选样本的跟踪置信度记为c＝[f1,f2,
…
,f
25
]；用p惩罚相邻帧之间位置的剧烈变化，定义为：
[0129][0130]
其中，l
t
‑1为第t
‑
1帧的目标位置，表示第i个样本的目标位置，σ为高斯核；
[0131]
因为相邻帧之间目标的位置不会大范围移动，将p与置信度c乘积作为新的置信度，用p惩罚距离上一帧目标位置远的样本，降低其成为跟踪目标的可能性：
[0132]
c＝c
·
p
ꢀꢀꢀ
(12)
[0133]
对25个预测目标区域框体样本做完惩罚的响应值进行比较，得到最大响应值f
max
，f
max
所对应的位置即为第t帧的目标位置；
[0134]
(3)遮挡情况判断
[0135]
对得到的目标位置进行步骤s3中遮挡情况判断，若判定目标被完全遮挡，说明目标并未脱离遮挡区域，输出使用位置预测得到的目标位置l
t
；若判定目标未被遮挡或轻微遮挡，输出使用f
max
为目标位置。
[0136]
目标尺度大小的计算方式为：
[0137]
使用步骤s1创建好的33个一维尺度滤波器模板h分别对当前帧的目标进行检测，
得到33个不同的响应图，对每个响应图的峰值进行比较，得到最大响应值f
max
，f
max
所对应的尺度就为目标最佳的尺度。为了降低目标被遮挡对目标尺度估计的影响，一维尺度滤波器模板h根据不同遮挡情况自适应更新。
[0138]
s5：更新滤波器模板
[0139]
根据步骤s4确定的当前帧目标位置l，提取目标区域的hog特征和cn特征，根据步骤s3判断目标遮挡程度选择学习率并更新滤波器模板x和一维滤波器模板h；
[0140]
为了降低目标被遮挡对目标位置和尺度估计的影响，滤波器模板x和一维尺度滤波器模板h根据不同遮挡情况自适应更新：
[0141]
滤波器模板x的模板更新方式为：
[0142]
x＝(1
‑
η)x ηx1(13)
[0143]
其中，x1为当前帧训练的目标滤波器模板；
[0144]
一维尺度滤波器模板h的模板更新方式为：
[0145]
h＝(1
‑
η)h ηh1ꢀꢀꢀ
(14)
[0146]
其中，h1为当前帧训练的一维尺度滤波器。
[0147]
s6：判断是否为最后一帧图像
[0148]
判断当前帧是否为最后一帧图像，如果是则结束跟踪过程，否则跳转到下一帧，重复步骤s2～步骤s6。
[0149]
本发明通过遮挡判断，在目标严重遮挡时，采取位置预测和重检测相结合的方式降低了目标被遮挡时对跟踪算法的影响，利用尺度金字塔实现了目标尺度自适应，提高了跟踪算法对于遮挡和尺度变化情况的抵抗力，抑制了跟踪漂移问题，提高了算法精度，改进了核相关滤波算法，更好的满足对低空空域飞行目标进行视觉跟踪的要求。
[0150]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。