一种监控视频飞行目标判别方法

1.本发明属于目标探测领域，具体涉及一种监控视频飞行目标判别方法。


背景技术：

2.目标探测用于检测数字图像或视频中特定的目标如行人、汽车或飞机等，是计算机视觉领域中的一项重要任务。作为计算机视觉的基础和挑战性问题之一，目标探测应用于许多领域，如视频监控、自主导航、以及高级行为识别等，智能目标探测系统在公共安全管理中也起着重要作用，运动目标的探测作为一项基础工作，是后期目标识别、分类以及行为分析等任务的前提。
3.标探测有多种分类方法，根据处理的数据对象的不同，分为基于背景建模的方法和基于前景建模的方法；近年来，深度学习的快速发展为目标检测带来了广阔的前景，反向传播的深度学习则通过对前一层网络的表征计算用来发现数据的复杂结构，极大地提高了目标检测和许多其他领域的技术水平。
4.运动目标的探测常常与目标跟踪一起讨论，目标跟踪是对动态目标的移动轨迹进行识别，目标的探测、跟踪、识别与分类研究，从源数据类型可以分为红外图像数据、可见光图像数据、雷达数据等，不同的源数据有其特定的目标探测方法，目标探测和跟踪已经得到了深入的研究和评价。
5.飞行目标探测也是目标探测的一种，快速、准确的检测到飞行目标，是机场等环境中对异物入侵目标识别和分类的前提条件；在这样的场合需要随时关注有没有飞行目标的入侵，因为飞行目标可能产生严重的影响，如机场净空区内的无人机会给起降中的飞机带来极大的安全隐患。然而，如前所述，目前针对目标探测相关的研究，主要集中在目标的跟踪、识别、分类等方面，专门针对飞行目标探测的研究较少。


技术实现要素：

6.为解决现有技术的上述不足，本发明提供一种监控视频飞行目标判别方法，具有计算量小、速度快的特点。
7.为了达到上述目的，本发明所采用的技术方案是：一种监控视频飞行目标判别方法，包括以下具体步骤：
8.s1：基于相机成像几何理论，分析地面目标和飞行目标的移动特性，包括以下步骤：
9.s11：分析地面目标的移动特性，提取地面移动目标特性曲线；
10.s12：分析飞行目标的移动特性，提取飞行移动目标特性曲线；
11.s2：采集应用场景中的数据，提取其中的变化信息；
12.通过相机采集应用场景中的数据，提取其中的变化信息，并进行目标跟踪，根据目标跟踪信息分析目标包括尺寸和位置的运动特性；
13.s3：分别对地面目标和飞行目标进行跟踪，提取它们的移动特性曲线，获取目标移
动特性曲线的形状特征值l；
14.s4：根据目标移动特性曲线的形状特征，判断某移动目标是否为飞行目标，包括以下步骤：
15.s41：将步骤1中获得的地面目标移动特性曲线和飞行目标移动特性曲线为参考，取以上两种曲线的形状特征值l
op
和l
of
的中点为阈值l0；
16.s42：将步骤s3中获得的形状特征值l与阈值l0比较；
17.s43：若目标的移动特性曲线的形状特征值l大于阈值l0，则判定其为地面移动目标，否则将其判定为飞行目标。
18.进一步的，所述步骤s11包括以下步骤：
19.a1：设地面平坦，即地面点在相机坐标系中的y坐标不变，则相机坐标系中的地面点映射到成像平面后的y坐标只与相机坐标系中的z轴相关，即成像平面中不同的y坐标值对应相机坐标系中不同的z坐标值；
20.相机镜头中心到地面目标点的距离op为：
[0021][0022]
根据正弦函数和角公式得到：
[0023][0024]
其中β为相机的视场角，f为相机焦距，α为相对地面水平线t的俯仰角，h为相机与地面水平线的高度，δ为地面目标点p到地面水平线的夹角，δ在(0,π/2)范围内，d为地面点p到相机坐标中心的地面距离，y为地面目标点在成像平面的纵坐标，且在成像平面中心y＝0，在平面中心上方取值为正，下方则取值为负；
[0025]
当α为定值时，随着op距离的增加，y坐标值的变化量越来越小，逐渐接近图像中的地平线；
[0026]
a2：通过仿射变换，可以将成像坐标系转换为以像素为单位的像素坐标系，二者之间的转换关系如下：
[0027][0028][0029]
其中，s
x
、sy表示两个方向上的缩放尺度，等于成像尺寸除以该方向上的像素数量，o
x
、oy是偏移量，经过坐标转换，成像坐标系的点(x,y)转换成像素坐标中的点(u,v)；
[0030]
根据以上公式可知，在相机焦距f和相机高度h确定的条件下，给定不同的相机俯仰角α值，俯仰角越大，对应的v坐标的值变化范围越大；
[0031]
a3：提取地面移动目标特性曲线，可得，地面目标的移动特性为：目标在成像坐标系中的y坐标值，或者像素坐标系的v坐标值增加，对应地面目标的成像尺寸减小，而且减小幅度越来越小。
[0032]
进一步的，所述步骤s12包括以下步骤：
[0033]
b1：首先设z方向的移动为0，仅考虑目标在垂直方向上移动，分析成像坐标系的y坐标值与相机中心到点f之间的距离of的关系；
[0034]
b2：f点垂直移动至f'点，过相机中心o的直线垂直于地面点g，飞行目标f点对应的垂直地面点为f0，此时假设飞行目标点f到地面水平线的夹角为δ，则成像坐标系的y坐标值与相机中心到点f之间的距离of：
[0035][0036]
由余弦函数和角公式得到：
[0037][0038]
相机参数与步骤s12中的一样，假设f0与相机垂直地面点g的距离gf0为30m，根据以上公式(6)，给定不同的相机俯仰角α值，得到点f到相机中心的距离of与其在像素坐标系中的v坐标值之间的关系：不同的俯仰角对应的曲线形态近似，斜率都是负值，俯仰角越大，斜率越大，对应的v坐标值的变化范围越小，而相应的目标与相机中心距离范围越大；
[0039]
b3：提取飞行移动目标特性曲线，当α为定值时，飞行目标的移动特性是：目标在成像坐标系中的y坐标值，或者是像素坐标系的v坐标值显著增加，而飞行目标的成像尺寸改变小，成像尺寸的变化幅度远小于其纵坐标的变化幅度。
[0040]
进一步的，所述步骤s3包括以下步骤：
[0041]
s31：利用视频目标跟踪技术，获得以像素为单位的目标位置和尺寸信息，将帧图像中目标尺寸最大值作为标准，对应的距离值规定为1，其他距离值则根据与该标准尺寸的比值得到；
[0042]
s32：量化曲线的形状特征，将曲线进行标准化处理，保持基本形状不变，使数据落在[0,1]之间，然后将曲线等分为n段，对于每一段计算一个斜率ki(i＝1,2,
…
,n)；
[0043]
s33：由第1段的斜率k1开始，依次逐段比较斜率，得到对应的数值li，
[0044]
s34：对所有li值进行平均，得到该曲线的形状特征值l。
[0045]
进一步的，所述步骤s1中涉及到的参数包括相机的焦距、俯仰角和安装高度。
[0046]
与现有技术相比，本发明的有益效果是：
[0047]
本方法通过对地面目标和飞行目标进行跟踪，提取它们的移动特性曲线，根据目标移动特性曲线的形状特征，在相机参数未知的情况下可以快速有效地判断某个移动目标是飞行目标还是地面移动目标；
[0048]
本方法通过分析视频中移动目标的尺寸和位置的关系，判断其是飞行目标还是地面移动目标，计算量小、速度快，而且不需要大量的样本训练，执行文件小，资源需求低，适合部署在目标探测系统的边缘端或嵌入式设备，适用于多个场所。
附图说明
[0049]
图1是本发明相机坐标系的三维到成像坐标系的二维转换图；
[0050]
图2是本发明垂直映射坐标图；
[0051]
图3是本发明分析目标移动特性时y坐标和op距离的关系图；
[0052]
图4是本发明分析目标移动特性时坐标v和op距离的关系图；
[0053]
图5是本发明分析目标移动特性时坐标v和of距离的关系图；
[0054]
图6是本发明分析目标移动特性时距离op和of曲线的区别图；
[0055]
图7是本发明实施例中不同焦距下地面移动目标特征曲线比较图；
[0056]
图8是本发明实施例1中汽车目标跟踪数据图；
[0057]
图9是本发明实施例1中汽车目标移动特征曲线图；
[0058]
图10是本发明实施例1中无人机目标跟踪数据图；
[0059]
图11是本发明实施例1中无人机目标移动特征曲线图；
[0060]
图12是本发明实施例2中飞机目标跟踪数据图；
[0061]
图13是本发明实施例3中机场飞机和行人目标跟踪数据图。
具体实施方式
[0062]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0063]
具体实施方式：
[0064]
一种监控视频飞行目标判别方法，包括以下步骤：
[0065]
s1：基于相机成像几何理论，分析地面目标和飞行目标的移动特性；
[0066]
s11：如图1所示，将相机坐标系的三维到成像坐标系的二维转换，相机坐标系中的点p(x,y,z)到成像坐标系中的点p(x,y,f)的映射关系如下：
[0067]
[0068][0069]
其中相机坐标系z轴为光轴，f是相机焦距。
[0070]
s12：分析地面目标的移动特性，包括以下步骤：
[0071]
a1：如图2所示，假设地面平坦，即地面点在相机坐标系中的y坐标不变，则相机坐标系中的地面点映射到成像平面后的y坐标只与相机坐标系中的z轴相关，即成像平面中不同的y坐标值对应相机坐标系中不同的z坐标值；
[0072]
相机镜头中心到地面目标点的距离op为：
[0073][0074]
根据正弦函数和角公式得到：
[0075][0076]
其中β为相机的视场角，f为相机焦距，α为相对地面水平线t的俯仰角，h为相机与地面水平线的高度，δ为地面目标点p到地面水平线的夹角，δ在(0,π/2)范围内，d为地面点p到相机坐标中心的地面距离，y为地面目标点在成像平面的纵坐标，且在成像平面中心y＝0，在平面中心上方取值为正，下方则取值为负；
[0077]
当α为定值时，随着op距离的增加，y坐标值的变化量越来越小，逐渐接近图像中的地平线；
[0078]
相机高度h为20m，相机为1/3inch逐行扫描cmos图像传感器，靶面为4.8
×
3.6mm，对角线为6.0mm，有效像素400万，镜头为4.0mm，视场角(垂直)为39.6
°
，分辨率为2592
×
1520像素；在俯仰角α的值为0.3情况下，成像坐标系y轴坐标与目标距离op的关系如图3所示。图3中曲线的显著特征是随着op距离的增加，y坐标值的变化量越来越小，逐渐接近地平线。由公式(4)看出，相机高度h是与op成正比例关系，对图3中的关系曲线基本形状没有影响。
[0079]
a2：通过仿射变换，可以将成像坐标系转换为以像素为单位的像素坐标系，成像坐标系的单位是毫米(mm)，属于物理单位，而像素坐标系的单位是像素(pixel)，二者之间的转换关系如下：
[0080][0081]
[0082]
其中，s
x
、sy表示两个方向上的缩放尺度，等于成像尺寸除以该方向上的像素数量，o
x
、oy是偏移量，经过坐标转换，成像坐标系的点(x,y)转换成像素坐标中的点(u,v)；
[0083]
a3：根据以上公式可知，在一定的相机焦距f和相机高度h条件下，给定不同的相机俯仰角α值(-0.2，-0.1，0，0.1，0.2，0.3)，得到像素坐标系中v坐标值和距离op的关系曲线如图4所示不同的俯仰角对应的曲线基本形状非常相似，只是像素坐标系中v坐标值的范围不同；俯仰角越大，对应的v坐标的值变化范围越大，也就是图像中的地平线以下区域的比例增大；
[0084]
由图4看出，不同的俯仰角对应的目标移动特征曲线近似，v坐标值随着距离op的增加而增加，说明地面目标距离相机越远其在像素坐标系中的v坐标值越大，即越靠近图像的顶端；根据成像原理，同一地面移动目标距离相机越远，在成像平面中的尺寸越小，而且越靠近图像上方。
[0085]
地面目标的移动特性为：目标在成像坐标系中的y坐标值，或者是像素坐标系的v坐标值增加，对应地面目标的成像尺寸应该减小，而且减小幅度越来越小。
[0086]
s13：分析飞行目标的移动特性，包括以下步骤：
[0087]
b1：飞行目标的移动包含水平分量和垂直分量，如图2所示中的f点，在三维相机坐标系中x坐标轴与地面平行的情况下，x方向的位移不会引起成像坐标系中的y坐标值变化，所以在图2所示的二维相机坐标系中，仅涉及飞行目标点f的y坐标和z坐标两个分量，则点f的移动轨迹是这两个分量的叠加。首先假设z方向的移动为0，即仅考虑目标在垂直方向上移动，分析成像坐标系的y坐标值与相机中心到点f之间的距离of的关系；
[0088]
由图2看出，f点垂直移动至f'点，相机镜头中心到两点的距离of和of'相差很小，根据成像原理该目标在成像坐标系中的y坐标值虽然有较大变化，但其成像大小却几乎不变。
[0089]
b2：过相机中心o的直线垂直于地面点g，飞行目标f点对应的垂直地面点为f0，此时假设飞行目标点f到地面水平线的夹角为δ，则成像坐标系的y坐标值与相机中心到点f之间的距离of：
[0090][0091]
由余弦函数和角公式得到：
[0092][0093]
相机参数与步骤s12中的一样，假设f0与相机垂直地面点g的距离gf0为30m，根据以上公式(8)，给定不同的相机俯仰角α值，得到点f到相机中心的距离of与其在像素坐标系中的v坐标值之间的关系如图5所示：不同的俯仰角对应的曲线形态近似，斜率都是负值，俯仰
角越大，斜率越大，对应的v坐标值的变化范围越小，而相应的目标与相机中心距离范围越大；
[0094]
图6所示为俯仰角α值为0.3时，地面点移动特性曲线op与飞行目标特性曲线of的对比，图6中左上为of曲线，右下为op曲线，可以看出二者具有明显的区别。
[0095]
b3：当α为0.3时，飞行目标的移动特性是：目标在成像坐标系中的y坐标值，或者是像素坐标系的v坐标值显著增加，对应飞行目标与相机中心的距离变化微小，即其成像尺寸几乎不变。
[0096]
从图6中看出，飞行目标和地面移动目标的轨迹有很大的不同，主要表现在飞行目标的v坐标值的变化大，而其与相机中心之间的距离变化不大，即飞行目标的v坐标值变化大但其尺寸变化小；相反，地面移动目标v坐标值的变化小，尤其是v坐标值在接近地平线附近时，变化更加微小，而其与相机中心之间的距离变化大，即地面移动目标的v坐标值变化小但其尺寸变化大。因此可以通过分析某个目标的移动特性，判断其是飞行目标或者地面移动目标。
[0097]
如果飞行目标既有垂直移动也有水平移动，此时的目标移动特性是上述两种方式的叠加。由于飞行目标移动复杂，而地面目标移动比较简单，此时只需根据地面目标移动特性进行判断，如果不是地面目标，则为飞行目标。因此，以地面移动目标特性曲线作为参考，对待检测目标进行跟踪，得到其移动特性曲线，将其与参考曲线对比分析，判断是否为飞行目标。
[0098]
s2：采集应用场景中的数据，提取其中的变化信息；
[0099]
通过各种相机采集应用场景中的数据，提取其中的变化信息，并进行目标跟踪，根据目标跟踪信息分析目标包括尺寸和位置的运动特性；
[0100]
s3：分别对地面目标和飞行目标进行跟踪，提取它们的移动特性曲线，包括以下步骤：
[0101]
s31：利用视频目标跟踪技术，获得以像素为单位的目标位置和尺寸信息，将帧图像中目标尺寸最大值作为标准，对应的距离值规定为1，其他距离值则根据与该标准尺寸的比值得到；
[0102]
s32：为了量化曲线的形状特征，将曲线进行标准化处理，保持基本形状不变，使数据落在[0,1]之间，然后将曲线等分为n段，对于每一段计算一个斜率ki(i＝1,2,
…
,n)；
[0103]
s33：由第1段的斜率k1开始，依次逐段比较斜率，得到对应的数值li，判断规则如下：
[0104][0105]
s34：对所有li值进行平均，得到该曲线的形状特征值l。
[0106]
s4：根据目标移动特性曲线的形状特征，判断某移动目标是否为飞行目标，包括以下步骤：
[0107]
s41：将步骤1中获得的地面目标移动特性曲线和飞行目标移动特性曲线为参考，取以上两种曲线的形状特征值l
op
和l
of
的中点为阈值l0；
[0108]
s42：将步骤s3中获得的形状特征值l与阈值l0比较；
[0109]
s43：若目标的移动特性曲线的形状特征值l大于阈值l0，则判定其为地面移动目标，否则将其判定为飞行目标。
[0110]
进一步的，所述步骤s1中涉及到的参数包括相机的焦距、俯仰角和安装高度，从图4可以看出，不同的俯仰角具有类似的地面移动特性曲线，即曲线形状近似，因此不同的俯
仰角对曲线判别影响非常小，如果俯仰角未知，可以根据地平线在图像中的位置估计俯仰角；另外，从公式(4)中可以看出，h是因子，改变h的值，不会影响曲线的形状，对判别也就没有影响；相机的焦距变化同样对曲线形状影响较小，如在图3中添加0.002mm和0.008mm焦距对应的曲线如图7所示，不同之处主要在成像平面中的纵坐标变化范围，焦距越大对应的纵坐标范围越大，但不影响地面目标移动特征曲线的基本形状；
[0111]
综上所述，以上参数并不会影响地面目标移动特征曲线的基本形状，因此，可以依据本方法在未知参数情况下进行判别。
[0112]
实施例1：
[0113]
地面移动目标检测实验数据是一段隧道内的交通监控视频，检测目标是汽车。利用视频目标跟踪技术，获得以像素为单位的汽车目标的位置(纵坐标)和尺寸(外接矩形)信息。
[0114]
从实验视频的汽车检测、跟踪过程中均匀选择10帧图像，如图8所示矩形框标记为汽车目标跟踪结果。因为汽车在运动过程中，其与相机之间的距离是未知的，但该距离和目标的成像尺寸成反比例关系，因此根据目标尺寸大小来代替该距离值；将帧图像中目标尺寸最大值(即最小的距离值)作为标准，对应的距离值规定为1，其他距离值则根据与该标准尺寸的比值得到。
[0115]
表1所示为各个帧图像中汽车目标的尺寸和距离信息，op是目标与相机之间的距离，v是帧图像中汽车目标的像素纵坐标值。图9为表1中汽车移动数据对应的移动曲线，可以看出，该曲线与图4中地面移动目标特征曲线具有很强的相似性。
[0116]
表1.汽车目标移动信息
[0117]
帧编号12345678910v(pixel)484707808857887909924936943951size(pixel)2701469673635352434134op1.001.852.813.704.295.095.196.286.597.94
[0118]
飞行目标检测实验数据是一段无人机飞行视频，如图10所示为视频中的飞行无人机目标检测结果，相机俯仰角为0，利用视频目标跟踪技术，得到无人机目标在图像中的纵坐标v和尺寸信息，并根据尺寸信息计算每帧图像中目标的距离信息如表2所示。无人机目标移动特性曲线如图11所示，由于无人机是飞行目标，其移动特性曲线与地面目标移动特性具有明显差别。
[0119]
表2.无人机目标移动信息
[0120][0121][0122]
进行移动特性曲线判别：
[0123]
如图4中不同俯仰角对应的曲线，形状特征值同为2，图5中不同俯仰角对应的曲线
的形状特征值同为0。
[0124]
以图4和图5中理论上得到的目标移动特性曲线为参考，在实际应用中取以上两种曲线的形状特征值2和0的中点即1.0为阈值，如果某目标的移动特性曲线的形状特征值大于1.0，则判定其为地面移动目标，否则将其判定为飞行目标。
[0125]
基于形状特征值计算规则，得到图9中汽车目标的移动特征曲线的形状特征值为1.667，而图11中无人机移动特征曲线的形状特征值为0.571，以1.0为判别阈值，前者为地面移动目标，后者为飞行目标。
[0126]
实施例2：
[0127]
如图12所示为机场飞机目标跟踪结果，计算该目标移动特征曲线的形状特征值为0.9，以1.0为判别阈值，确定其为飞行目标。
[0128]
实施例3：
[0129]
如图13所示机场中的行人和飞机目标跟踪结果，行人和飞机目标的移动特征曲线形状特征值分别为1.571和0，因此可判断前者为地面移动目标，后者为飞行目标。
[0130]
本发明对固定的镜头焦距、固定的镜头高度和俯仰角获取的视频，进行了地面目标和飞行目标移动曲线的分析和实验验证，也对不同的俯仰角、焦距和相机高度条件下的结果也进行了分析比较，可以看出，本发明对不同的参数同样有效。
[0131]
本发明提出的监控视频飞行目标判别方法，基于目标跟踪技术，可快速发现并确定飞行目标，为后续的目标识别和分类做准备。基于地面目标的移动曲线形状特征值，在基本参数未知的情况下，可以判断某移动目标是否为飞行目标。相比于基于深度学习的目标检测技术，本方法可执行文件小，资源需求低，适合部署在目标探测系统的边缘端或嵌入式设备。
[0132]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。