一种低空无人机视频跟踪方法与流程

1.本发明涉及机器学习和深度学习的技术领域，具体涉及一种低空无人机视频跟踪方法。


背景技术：

[0002][0003]
国内针对“低小慢”无人飞行器的监管措施和反制手段研究起步较晚，设备效能有限。目前，发现、跟踪、反制“低小慢”航空器的技术能力有限，仅依靠人工视觉监视、线下海量视频影像筛选的方式，已难以适应军事要地防护中实时、快速、精确捕获“低小慢”目标的迫切需求。此外，“低小慢”航空器具有飞行高度低、运动速度慢、目标弱小的特点，借助单一探测手段已难以有效将该类目标从大视场复杂空域中剥离，难以实现对“低小慢”目标的稳定跟踪及确认。
[0004]
因此，目前亟需一种跟踪方法，能够对“低小慢”的无人机飞行器进行高时效、高精度的检测跟踪。


技术实现要素：

[0005]
有鉴于此，本发明提供了一种低空无人机视频跟踪方法，能够对低空防御中的“低小慢”无人机进行视频跟踪，准确、实时地定位跟踪目标位置。
[0006]
为达成上述发明目的，本发明的技术方案为：
[0007]
一种低空无人机视频跟踪方法，具体步骤包括：
[0008]
步骤一、对视频中的每一帧图像进行增强处理并背景建模，提取跟踪目标的外接矩形框，完成初步筛选；将外接矩形框输入sort算法，与sort算法的预测框进行匈牙利匹配，匹配结果经过卡尔曼滤波，得到跟踪目标每一帧的预测框。
[0009]
步骤二、提取预测框中图像块的hog特征；对图像块稠密采样，得到正负样本。
[0010]
步骤三、将hog特征和正负样本输入岭回归分类器，得到目标的位置信息；同时，将正负样本输入多维筛选模块，得到含有目标的图像块。
[0011]
步骤四、将含有目标的图像块和目标的位置信息进行特征融合，得到跟踪目标的最终位置。
[0012]
进一步的，多维筛选模块包括三维筛选模块、级联决策树模块和最近邻筛选模块。
[0013]
进一步的，将正负样本输入多维筛选模块，得到含有目标的图像块，具体方法为：
[0014]
首先，正负样本中的所有图像块输入三维筛选模块，通过统计特性筛选，去除灰度值方差低于外接矩形框的灰度值方差的50％的图像块；接着，所有图像块输入级联决策树模块进行筛选，得到后验概率的均值大于50％的图像块；最终，将图像块输入最近邻筛选模块与现有模板进行相似度分析，筛选出相似度大于给定阈值的图像块，作为含有目标的图像块。
[0015]
进一步的，步骤四具体为：
[0016]
岭回归分类器与多维筛选模块都能得到跟踪目标的位置信息，并且位置信息重叠度不小于0.6时，则将岭回归分类器得到的跟踪目标位置信息与多维筛选模块得到的跟踪目标位置信息按10:1的权重进行加权平均，得到跟踪目标的最终位置。
[0017]
当岭回归分类器与多维筛选模块得到的位置信息重叠度小于0.6，并且多维筛选模块得到的跟踪目标位置信息更加准确时，则由多维筛选模块的跟踪目标位置信息为准，重新初始化跟踪目标的位置信息，再次提取hog特征输入岭回归分类器与多维筛选模块。
[0018]
当多维筛选模块得到跟踪目标的位置信息时，以岭回归分类器的位置信息作为跟踪目标的最终位置。
[0019]
进一步的，对视频中的每一帧图像进行增强处理并背景建模，提取跟踪目标的外接矩形框，完成初步筛选，具体方法为：
[0020]
将每一帧图像进行设定尺度的缩放，在每个尺度下计算每个像素点及其局部的方差与局部熵，计算方差与局部熵乘积最大与最小值之差，归一化到原始尺度下，构建尺度一致性感知模型，以表征图像中的所有像素，凸显目标区域；将增强处理后的图像进行背景建模，根据运动位移特性进行虚警过滤，得到二值化后的跟踪目标轮廓为外接矩形框。
[0021]
有益效果：
[0022]
1、本发明提供了一种低空无人机视频跟踪方法，能够对低空防御中的“低小慢”无人机进行视频跟踪，准确、实时地定位跟踪目标位置。首先，本发明通过尺度一致性感知模型的实现跟踪目标的显著性，通过sort算法和kcf算法得到无人机(即目标)的位置信息，进行持续跟踪。在kcf算法框架下，采用岭回归分类器和多维筛选模块结合的方法，首先，所有图像块输入三维筛选模块，通过统计特性筛选，去除灰度值方差低于外接矩形框的灰度值方差的50％的图像块；接着，所有图像块输入级联决策树模块进行筛选，得到后验概率的均值大于50％的图像块；最终，将图像块输入最近邻筛选模块与现有模板进行相似度分析，筛选出相似度大于给定阈值的图像块，作为含有目标的图像块。而在同时，岭回归分类器得到目标的位置信息。本发明具有分类筛选和跟踪双重作用，能够使“低小慢”目标捕获过程精准化，解决“低小慢”目标特定部位锁定、辨识及跟踪过程中的关键问题。同时，本发明采用sort算法得到目标下一帧的预测框，为目标位置提供了初始的预测区域，保证定位跟踪的实时性。
[0023]
2、本发明通过尺度一致性感知模型的实现跟踪目标的显著性，将每一帧图像进行设定尺度的缩放，在每个尺度下计算每个像素点及其局部的方差与局部熵，计算方差与局部熵乘积最大与最小值之差，归一化到原始尺度下，构建尺度一致性感知模型，以表征图像中的所有像素，凸显目标区域。
[0024]
3、本发明将增强处理后的图像进行背景建模，根据运动位移特性进行虚警过滤，得到二值化后的跟踪目标轮廓为外接矩形框。本发明基于正警与虚警在运动位移特性上具有明显的差异这一特点，对由背景建模提取的目标进行追踪，根据其运动轨迹进行过滤，有效地减小虚报率。
附图说明
[0025]
图1为本发明的方法流程图。
具体实施方式
[0026]
下面结合附图并举实施例，对本发明进行详细描述。
[0027]
如图1所示，本发明提供了一种低空无人机视频跟踪方法，具体包括如下步骤：
[0028]
步骤一、利用可见光设备，获取跟踪目标的的视频数据，并对视频数据进行拆分。对视频中的每一帧图像进行增强处理并背景建模，提取跟踪目标的外接矩形框，完成初步筛选；将外接矩形框输入sort算法，与sort算法的预测框进行匈牙利匹配，匹配结果经过卡尔曼滤波，得到跟踪目标每一帧的预测框。
[0029]
本发明利用尺度一致性感知模型，对视频中的每一帧图像进行增强处理，即增强跟踪目标的显著性。人类视觉系统通过感知目标与背景之间的灰度、纹理差异将目标从复杂背景中分离出来，但远距离阶段关注目标自身细节特征辨识度较弱。传统的基于特征提取的目标搜索策略难以准确抽离目标特征信息，搜索性能有限；而基于局部对比度的搜索策略严重依赖于目标与其所处的背景之间的差异性关联。基于此，本发明在对大视场目标进行搜索锁定之前，先基于视觉特性增强目标的显著性特征，以提升目标搜索准确性。图像局部熵和局部方差作为图像纹理描述的手段，可以有效地表征图像局部窗口内灰度分布的复杂情况，但是其作用效果与所选择的尺度有关，当尺度较小或较大时都可能无法正确地反映局部区域内灰度分布的变化情况，而且单尺度的局部熵会造成目标区域的扩散，这种扩散随尺度的增大将越发明显，进而会导致错误的结果。
[0030]
因此，本发明拟通过建立一种尺度一致性感知模型的实现更准确的搜索，在分析目标不同尺度下特征差异的基础上，利用已知的尺度一致性原则构建具有局部方差-熵变量表征能力的感知模型对目标特征进行描述，从而在大视场图像中突出空中目标主体部分。
[0031]
本发明使用多尺度方差熵的变化量来突出场景中的目标区域，以多尺度下 (每一帧的图像进行设定尺度的缩放)的方差与局部熵的乘积的最大与最小值之差构建尺度一致性感知模型来表征图像中的所有像素，进而达到凸显空中目标的目的。局部熵的计算如下式所示，式中h(x,r)代表以像素点x为中心的局部区域r内的熵，p(g,x,r)代表以像素点x为中心的局部区域r内灰度g出现的概率。
[0032][0033]
局部方差的计算如下式所示，式中d(x,r)代表以像素点x为中心的局部区域 r内的方差，i,j代表区域r内像素的横纵坐标，g(i,j)代表像素(i,j)的灰度值， sr代表区域r内的像素总数。
[0034][0035]
当局部区域r大小发生变化时，相对平坦的背景而言，其熵和标准差随尺度的变化较小，而显著性的区域在尺度变大时会逐渐将区域外的数据包含进局部区域r内，因此其局部熵和局部方差都会有明显变化。作为目标区域，其局部熵和方差随尺度变化所产生的变化量要明显大于平缓的空中背景。
[0036]
本发明实施例中，选用经典的gmm(高斯建模)方法进行背景建模，提取目标的外接矩形框。由背景建模直接提取到的运动目标通常会包含各种噪声，如树木、光影等，这些正
是误报的主要来源。通常在复杂环境下，出现虚警的概率远大于正警，比例可达数千倍以上。快速有效地排除大部分虚警是初步检测的目标。通过观察大量实例，发现了正警与虚警在运动位移特性上具有明显的差异。基于此，对由背景建模提取的目标进行追踪，根据运动位移特性进行过滤，将图像二值化后得到跟踪目标的轮廓，作为提取目标的外接矩形框，能有效地减小虚报率，完成初步筛选。外接矩形框组成了目标的运动轨迹。
[0037]
为了消除不准确检测产生的噪音，对于每一个新输入的运动轨迹运用卡尔曼滤波方式提炼出对应检测响应的位置与尺寸信息。
[0038]
本发明的追踪工具为sort，sort是一种简单有效的在线追踪算法，主要依赖于目标检测器和卡尔曼滤波框架，将检测框(即外接矩形框)与预测框(sort 算法自己预判的，如根据1,2,3,帧的外接矩形框预测第4帧的外接矩形框，作为预测框)利用匈牙利匹配进行数据关联并清理丢失目标(目标有id，连续两帧找不到就停止追踪)，然后进行模型更新，以此循环往复，直至把所有的图像帧处理完成。将由背景建模提取的物体外接矩形框输入sort算法，经过追踪后，获得其轨迹s
traj
＝{x1,x2,...,xn}，x
t
(t＝1,2,...,n)为t时刻运动状态向量，可由卡尔曼滤波器获得。过滤不满足如下条件的轨迹：
[0039][0040]
其中，box
t
和v
t
分别为t时刻的外接矩形框和速度，可由x
t
获得。pad(x,r)为边界扩充函数，表示将矩形x向四周分别扩充r个像素。
[0041]
iou(x,y)表示计算矩形x与y的交并比。iou
max
为交并比最大值，va为平均运动速率的下限，vb为平均运动速率的上限，r为像素扩充数。式(1)中第一个约束条件即针对运动物的位移特性所制定，表示报警目标当前所在区域与其初始出现的区域的重合度必须小于iou
max
。第二个约束条件则表示目标平均运动速率必须在va和vb之间，这是为了进一步过滤非正常运动的噪声。
[0042]
步骤二、提取预测框中图像块的hog特征；对图像块稠密采样，得到正负样本，具体方法为：
[0043]
提取预测框中图像块的hog特征：首先将图像分成小的连通区域，这些连通区域被叫做细胞单元；然后采集细胞单元中各像素点的梯度的或边缘的方向直方图；最后把这些直方图组合起来，就可以构成图像的特征描述。
[0044]
在步骤三中的kcf跟踪算法中，为了保证跟踪的准确度，引入循环矩阵理论知识，对视频目标区域采取稠密采样的策略，训练的样本是利用基样本的循环移动进行稠密采样。预测框所包含的图像块为基样本，以x＝(x1,x2
…
xn)表示，分别向左右2个方向移动采样的结果，移动后分别为x＝(x2
…
xn,x1)和x ＝(xn,x1
…
xn-1)。如此在水平方向和垂直方向进行循环，则可以以基样本为中心，对其周围的所有可能图像块进行采样，由此得到完备的样本空间。
[0045]
步骤三、将hog特征和正负样本输入岭回归分类器，得到目标的位置信息；同时，将正负样本输入多维筛选模块，得到含有目标的图像块，具体方法为：
[0046]
本发明拟在核相关滤波(kcf)算法框架下实现该操作。为使kcf算法具有更好的特
征感知能力，本发明在训练kcf分类模型时将不同尺度的金字塔hog特征作为输入，分别训练有针对性的岭回归分类器。同时，为有效解决跟踪过程中的遮挡问题，在kcf框架下增加多维筛选模块，结合两者判定结果确认最终目标位置信息，提高位置预测的准确性。
[0047]
岭回归分类器和多维筛选模块的训练方法为：对包含跟踪目标的区域进行稠密采样，获取正负样本，以不同尺度下提取的金字塔hog特征为输入，用所有正负样本对岭回归分类器和多维筛选模块分别进行训练，得到跟踪目标的准确位置。多维筛选模块的设计方法为：多维筛选模块包含三个维度的分类模块，分别对视频数据进行统计特性筛选、级联决策树筛选和最近邻筛选。
[0048]
一、岭回归分类器训练与设计：
[0049]
在训练阶段，利用循环矩阵理论，对包含空中目标的区域进行稠密采样，获取正负样本，以不同尺度下提取的金字塔hog特征为输入，将所有样本对岭回归分类器进行训练。在预测阶段，以视频前一帧目标位置为中心进行稠密采样，将得到的所有样本输入到岭回归分类器，经过岭回归分类器的分类，得到目标的准确位置。
[0050]
1)岭回归分类器
[0051]
对线性岭回归分类器进行训练的目标就是找到一个函数f(x)＝w
t
x，得损失函数最小，即:
[0052][0053]
式中，x＝(x1，x2
…
xn)表示基样本，λ为正则项，防止过拟合，w为所求的参数。由上式求得一个封闭解的模式：
[0054]
w＝(x
t
x λi)-1
x
tyꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0055]
式中，矩阵x为基样本组合的循环矩阵，y为每个样本的标签值的集合。针对那些不能在原始空间进行分类的样本，则需要引入核函数理论，将低维空间中线性不可分的模式通过核函数映射到高维空间实现线性可分，核函数的格式如下：
[0056][0057]
式中，k(x，z)为核函数，和为低维空间到高维空间的映射函数。当使用核函数将样本x映射为时，所求的分类器f(x)＝w
t
x中的系数w转化为对偶空间中的a。由representertheorem(表示定理)可知，系数w是样本 x的线性组合，即:
[0058][0059][0060]
联合以上各式可求得:
[0061]
a＝(k λi)-1yꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0062]
式中，k为映射之后的核矩阵，k
i,j
＝k(xi,xj)。在检测阶段，输入的视频经过岭回归分类器的分类来确定最终的目标位置信息，将得到的目标位置信息继续训练岭回归分类器，如此反复，完成对目标的跟踪。
[0063]
2)多维筛选模块包括三维筛选模块、级联决策树模块和最近邻筛选模块，输入视频帧的样本只有通过这3次筛选才有可能成为目标区域。
[0064]
2-1)统计特性筛选
[0065]
正负样本中的所有图像块输入三维筛选模块，通过统计特性筛选，去除灰度值方差低于外接矩形框的灰度值方差的50％的图像块。在该阶段，要检测的图像块中如果所有像素点的灰度值方差总体小于被跟踪的目标区域中所有像素点整体方差的50％，这个图像块就被方差分类器丢弃掉。图像块p中的所有像素点的灰度值方差可以用式e(p2)-e2(p)来表示，其中利用积分图来获得e(p)。经过方差筛选之后，大约能过滤掉一半与目标无关的图像块。
[0066]
2-2)级联决策树筛选
[0067]
所有图像块输入级联决策树模块进行筛选，得到后验概率的均值大于50％的图像块。在该阶段，由多个串联的决策树对图像块进行筛选。每个决策树i会对输入的图像块中特定位置的像素点进行灰度值检测，将输入图像块的像素点与已知灰度值进行对比，把对比的差值结果来生成一个二进制的编码x。决策树中某个叶子节点的后验概率pi(y|x)用编码x代表，其中y∈(0，1)。由于决策树是相互独立的，因此要计算出各个决策树的后验概率的平均值，如果计算出的后验概率的均值大于50％，则该图像块通过筛选机制。
[0068]
每个决策树是基于初始化时确定的一组像素点对的比较。是在离线的情况下，随机生成像素点对，并且在运行过程中，保持像素点对的稳定性。首先，用高斯卷积对要跟踪的图像进行模糊，从而使图像的鲁棒性有所加强，进而还能对图像噪声有所降低。接着按照预先生成的像素点对，在图像块中比较像素点对的差值，每个像素对比较的差值返回0或1，这些返回值顺序地连接到一起，就完成了对x的编码。
[0069]
该阶段至关重要的条件是各个决策树是相互独立的。所以本发明采取以下的措施：首先把图像块进行归一化然后把像素点的位置进行离散化处理，进而在图像块中生成所有可能的垂直和水平方向的像素点对的比较值。这些像素对的比较值，就是图像块的特征值。接下来，把像素对的比较值合并，并将合并后的像素对比较值分发到决策树中。因此，每一个决策树都可以保证是基于一组不同的特性值组合，并且所有的这些特征值结合在一起唯一地表示一个样本。每一个决策树i维持着一个后验概率y∈(0，1)，总共有2d个后验概率。
[0070]
其中d是像素对比较的个数，通常像素对d取值为13个，因此对于二进制编码x就有可能8192的编码方式，而对于所有的二进制编码x都用其各自的后验概率所代表。
[0071]
2-3)最近邻筛选
[0072]
将图像块输入最近邻筛选模块与现有模板进行相似度分析，筛选出相似度大于给定阈值的图像块，作为含有目标的图像块。在该阶段，将通过方差筛选和级联决策树筛选的图像块与已有的目标模板进行相似度检测。如果一个图像块与已有模板的相关相似度sr(p，m)大于给定阈值θ，即sr(p，m)＞θ，就把这样的图像块分类为目标样本，认为其含有目标。
[0073]
步骤四、将含有目标的图像块和目标的位置信息进行特征融合，得到跟踪目标的最终位置，具体为：
[0074]
当岭回归分类器与多维筛选模块都能得到跟踪目标的位置信息，并且位置信息重
叠度不小于0.6时，则将岭回归分类器得到的跟踪目标位置信息与多维筛选模块得到的跟踪目标位置信息按10:1的权重进行加权平均，得到跟踪目标的最终位置。
[0075]
当岭回归分类器与多维筛选模块得到的位置信息重叠度小于0.6(多维筛选模块得到的跟踪目标位置信息更加准确时)，则由多维筛选模块的跟踪目标位置信息为准，重新初始化跟踪目标的位置信息(提取hog特征，此时按照多维筛选模块的跟踪目标位置信息提取)，再次提取hog特征输入岭回归分类器与多维筛选模块。
[0076]
在本发明的一个实施例中，针对反无人机系统远距离检测跟踪需求，在光电探测系统下分析空中目标识别、锁定、跟踪过程中由远及近、由小到大的多阶段协同作战任务关联，以关注目标的形态、尺度、特性变化为参考，将以特定部位辨识锁定为技术核心的过程划分为三个模态阶段，并在每阶段采取有针对性的智能化处理手段，最终实现对低空防御中弱小目标光电系统下全天候的侦测跟踪。
[0077]
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。