基于机场远程塔台全景视频的实时目标检测方法及装置与流程

1.本发明涉及民航机场场面目标识别技术领域，具体涉及一种基于机场远程塔台全景视频的实时目标检测方法及其系统。


背景技术：

2.随着民航技术的不断创新与发展，新兴的远程塔台系统将会取代许多小机场的传统塔台。远程塔台可实现对无人值守状态下的机场和临时起降点的监视和管制，改变传统目视管制方式，使用摄像头替代人眼，结合计算机视觉技术对机场场面全景视频进行分析和识别。
3.现有定位技术中，场面监视雷达、多点定位(mlat)和广播式自动相关监视(ads
‑
b)是目前大型机场的主要监视手段。场面监视雷达通过价格昂贵的雷达来监视跑道、停机坪上的飞机和车辆活动情况。多点定位系统(mlat)通过多个地面接收站接收的机载应答机信号，实现了对目标的精确测量定位。广播式自动相关监视(ads
‑
b)通过接收航空器的数据报文，获得目标的精确定位信息，可用于航路、终端区、塔台管制空域的目标监视，也可以作为机场场面监视的重要补充。
4.近年来，计算机视觉技术发展迅猛，基于可见光视频的目标定位方法广泛应用于机场场面管理系统，对提高定位精度、提升管制员的情景意识等，都具有重要意义。
5.但是，上述几种主要的大型机场手段都存在一定的缺陷：
6.(1)场面监视雷达的监视方式会受到候机楼和廊桥等障碍物的影响，存在许多监视盲区，遮挡条件下监视效果不理想，且安装和维护成本高；
7.(2)多点定位(mlat)和广播室自动相关监视(ads
‑
b)均需要通过无线通信网络与安装在被监视目标上的收发装置才能实现较高精度的定位与监视；对于许多没有安装收发装置的非协作目标，比如机场运行的许多车辆和工作人员，均无法实现定位与监视；
8.(3)传统图像目标检测方法使用手工特征的方式进行特征提取，鲁棒性不高，且对于背景复杂的场景检测效果不佳；
9.(4)基于深度学习的目标检测方法相比于传统的方法准确率和效率更高，但针对大视场条件下跨尺度目标检测问题，其准确性和稳定型有待进一步提升。


技术实现要素：

10.针对现有技术的不足，本发明实施例的目的在于提供一种基于机场远程塔台全景视频的实时目标检测方法及装置。
11.为实现上述目的，第一方面，本发明实施例提供了一种基于机场远程塔台全景视频的实时目标检测方法，包括：
12.数据集制作步骤：获取机场塔台数据和公开图像数据，对所述机场塔台数据及公开图像数据进行处理，得到训练数据；
13.目标检测算法设计步骤：设计目标检测网络，所述目标检测网络的结构包括依次
连接的主干提取网络、特征融合网络和检测头网络，在所述主干提取网络的前期卷积层和后期卷积层中增加sknet注意力机制；
14.模型训练步骤：采用所述训练数据对所述目标检测网络进行训练，得到目标检测模型；
15.全景图像目标检测步骤：获取待检测数据，采用分割检测策略对所述待检测数据进行处理，得到多个子区域小图，将多个子区域小图输入所述目标检测模型，得到远程塔台大分辨率下的初步检测结果，对所述初步检测结果进行处理，得到目标检测结果；所述待检测数据包括机场远程塔台全景视频。
16.作为本技术的一种具体实施方式，数据集制作步骤具体包括：
17.通过机场摄像头获取机场塔台数据，从所述机场塔台数据中提取关键帧图像，对所述关键帧图像进行标注，得到每张关键帧图像的标签文件，并将其转换成训练的数据格式，得到所述训练数据；
18.通过搜索引擎从网上下载或采用爬虫方式获取公开数据，对所述公开数据进行清洗与筛选，得到所述训练数据。
19.作为本技术的一种具体实施方式，模型训练步骤具体包括：
20.数据增强步骤：采用平移、旋转、拼接、色调变换、尺寸变换和小目标尺度适配方式对所述数据集进行数据增强处理；
21.模型训练步骤：
22.随机初始化所述目标检测网络中各个卷积核的参数；
23.采用冻结训练的方式，首先冻结所述目标检测网络的主干提取网络部分的参数，采用数据增强处理后的训练数据对所述目标检测网络进行500轮训练，再解开冻结，对所述目标检测网络进行500轮训练，得到所述目标检测模型。
24.作为本技术的一种具体实施方式，全景图像目标检测步骤具体包括：
25.数据获取步骤：通过机场摄像头获取待检测数据，对所述待检测数据进行处理，得到机场远程塔台的全景大图；
26.分割步骤：将所述全景大图切割为n个不同的子区域小图；其中，切割所述全景大图时，在每两个相邻的子区域件设置一个重叠区域；
27.检测步骤：将多个子区域小图输入所述目标检测模型，得到远程塔台大分辨率下的初步检测结果；
28.检测结果处理步骤：对所述初步检测结果进行提取及转换处理，得到目标检测结果。
29.作为本技术的一种优选实施方式，执行目标检测步骤之后，所述目标检测结果包括远程塔台场景中的目标类别信息和目标位置信息；所述方法还包括：
30.可视化检测结果步骤：将所述目标位置信息通过目标的中心点与目标的检测框的宽高形式保存，并将检测框实时显示在远程塔台全景视频中。
31.第二方面，本发明实施例提供了一种基于机场远程塔台全景视频的实时目标检测装置，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。
32.实施本发明实施例的方法，可实现对远程塔台全景视频中不同尺度目标的检测识别，且检测结果可满足机场检测的精度。同时，该方法性能优异，易于在工程上实现。
附图说明
33.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
34.图1是本发明实施例提供的基于机场远程塔台全景视频的实时目标检测方法的流程示意图；
35.图2是数据制作流程图；
36.图3是目标检测网络结构图；
37.图4是小目标尺度适配数据增强策略示意图；
38.图5是结合分割检测策略的目标检测流程图；
39.图6是重叠区域设置示意图；
40.图7是本发明实施例提供的基于机场远程塔台全景视频的实时目标检测装置的结构图。
具体实施方式
41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.请参考图1，本发明实施例提供的基于机场远程塔台全景视频的实时目标检测方法，主要包括：
43.s1，数据集制作：获取机场塔台数据和公开图像数据，对所述机场塔台数据及公开图像数据进行处理，得到训练数据。
44.如图2所示，数据集制作步骤包括数据的获取、筛选、清洗处理及标注等。
45.数据的来源包括机场的远程塔台数据和公开数据。机场的远程塔台数据通过机场的摄像头获取，公开数据通过下载网上的公开数据及与爬虫获取。
46.对于公开数据，由于网上的数据中包括许多类别，不仅只有飞机、汽车、卡车三类，所以首先会对数据进行处理，抽取出本发明所需要用的三类数据，然后对数据进行清洗与筛选，剔除数据中质量较差的数据(比如有许多玩具车，玩具飞机等)，仅保存清晰可见的目标。
47.对于机场摄像头获取的塔台数据，它是以视频的形式保存。所以需要将其进行一个提取关键帧处理，获取到关键帧图像，然后对关键帧进行标注，得到每张图片的标签文件并转换成训练格式，其中包括图片中的目标类别、位置等信息，得到可以直接用于模型训练的数据格式。其中机场摄像头获取的远程塔台数据集中有许多远场景、小目标，使用其进行训练可以提升模型对远程塔台全景中目标的尺度鲁棒效果。
48.s2，目标检测算法设计：设计目标检测网络。
49.如图3所示，本实施例设计的目标检测网络的结构包括主干提取网络、特征融合网
络和检测头网络三个部分。
50.主干特征提取网络主要使用ghost卷积(一种参数量为普通卷积一半的卷积方式)来搭建，将提取过程中的三个有效特征层输入给特征融合网络。
51.特征融合网络给予不同尺度特征层不同权重并通过网络自动学习该权重，起到一个特征整合的作用。
52.检测头网络将经过特征整合后的特征作为输入，通过不同个数的1
×
1卷积来调整通道数，最后输出三个尺度下的目标检测结果。
53.其中80
×
80尺度下的结果用来检测图片中的小目标。20
×
20尺度下结果来预测比较大的目标。
54.对于网络结构的优化的工作有：在主干提取网络部分前期卷积层中增加sknet注意力机制、在后期卷积层中增加senet注意力机制。在损失函数中的使用focal loss(解决样本不均衡问题)、给80尺度下的目标检测框损失设置一个比较大的比例因子。
55.s3，模型训练：采用所述训练数据对所述目标检测网络进行训练，得到目标检测模型。
56.在进行模型训练时，主要分为数据增强和训练两部分。
57.一、数据增强
58.使用数据增强策略进行训练可以提升模型的泛化性能。本发明实施例除了使用一些常用的平移、旋转、拼接、色调变换、尺寸变化等方式对数据集进行增强外，为了提升尺度鲁棒性，使用一种小目标尺度适配等数据增强方式。详见图4所示，每次训练的数据集会随机选择四张图片进行尺度缩放、并随机选择一个中心点将4张图片拼接，该数据增强方式可以提升网络对小目标的检测效果。
59.二、模型训练
60.使用pytorch框架搭建检测网络，随机初始化网络的各个卷积核的参数，对标定好的数据集进行训练，得到预训练模型。根据标定的检测框计算出三个分辨率下特征层需要回归的三个先验框尺度。
61.在预训练模型的基础使用冻结训练的方式，首先冻结网络的特征提取部分参数训练500轮，然后再解开后训练500轮，得到最后的检测模型。训练的硬件条件为：两张rtx6000显卡。软件：ubuntu18.04系统，部分参数设置：batch size＝128，使用sgd梯度下降，初始学习率为0.001。该网络输出的结果是三个分辨率下的网络预测结果，他们的维度分别为20
×
20
×
24，40
×
40
×
24，80
×
80
×
24，后续完成实时检测还需对检测结果进行处理才能可视化到实时视频中。
62.s4，全景图像目标检测：获取待检测数据，采用分割检测策略对所述待检测数据进行处理，得到多个子区域小图，将多个子区域小图输入所述目标检测模型，得到远程塔台大分辨率下的初步检测结果，对所述初步检测结果进行处理，得到目标检测结果。
63.全景图像目标检测部分主要分为以下几个子步骤：数据获取、全景图分割、目标检测及检测结果处理，具体可参考如图5所示的流程图。
64.其中，数据获取步骤具体为：通过通过机场摄像头获取待检测数据，对所述待检测数据进行处理，得到机场远程塔台的全景大图。
65.由于机场远程塔台全景视频的分辨率过大，场景中的目标尺度过小。为了提升本
方法的尺度鲁棒性，提升对小目标的检测效果，使用切割检测策略和数据增强策略。切割检测策略把全景大图切割为n个不同区域小图，将小图输入模型进行检测，得到检测结果再返回全景大图，流程图详见图5。
66.为了避免切割时刚好把目标切断，会在每两个区域间设置一个overlap(重叠区域)，详见图6所示。
67.进一步地，使用目标检测模型对待检测数据(实时视频)进行检测，将会得到3个分辨率尺度下的检测结果，对其处理构成大致可分为以下两步：
68.第一步：为了提取效果比较理想的检测结果，设置一个置信度阈值，通过该置信度阈值，可以过滤掉结果中置信度分数较低的检测框，然后再设置一个iou阈值，通过该阈值可以对置信度比较高的同一个目标的重叠框进行过滤，使得每一个目标对应一个检测框。
69.第二步：主要是对检测结果的数据做一个转换处理，首先将三个分辨率下的检测结果给还原到输入网络的640分辨率下，然后将640分辨率下的结果还原到原来的大图分辨率上，由于之前的切割检测策略设置了重叠区域，所以有可能会导致一个目标有两个检测框，可以通过非极大值抑制方法解决该问题，即设置一个iou阈值，通过该阈值可以对置信度比较高的同一个目标的重叠框进行过滤，使得每一个目标对应一个检测框。完成检测。
70.s5，可视化检测结果：对目标检测结果进行可视化处理。
71.上一步处理后的检测结果含有远程塔台场景中的目标类别信息、目标位置信息。其中类别信息按照0、1和2方式保存，飞机为0，汽车为1，卡车为2。目标位置信息通过目标的中心点与目标的检测框的宽高形式保存，可以使用这些信息将检测框实时显示在远程塔台全景视频中。完成对远程塔台目标的实时检测。
72.实施本发明实施例的方法，可实现对远程塔台全景视频中不同尺度目标的检测识别，且检测结果可满足机场检测的精度。同时，该方法性能优异，易于在工程上实现。
73.进一步地，该方法与现有技术相比，有益效果如下：
74.(1)相比于场面监视雷达，本发明成本低，不需要雷达那样昂贵的传感器；
75.(2)相比于多点定位(mlat)和广播式自动相关监视(ads
‑
b)监视技术，本发明可以对未安装接收装置的目标进行检测识别；
76.(3)相比于基于传统图像处理的监视方法，本发明鲁棒性高，泛化能力强；
77.(4)相比于现有深度学习的检测方法，本发明有更高的尺度鲁棒性，特别是对于机场小目标场景检测，效果更好，既能满足机场目标检测的精度，又能满足实时性。
78.基于相同的发明构思，本发明实施例提供了一种基于机场远程塔台全景视频的实时目标检测装置。如图7所示，该数据处理端可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述基于机场远程塔台全景视频的实时目标检测方法实施例部分的方法。
79.应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(central processing unit，cpu)和图形处理单元(graphic processing unit，gpu)。
80.输入设备102可以包括摄像机阵列、键盘、鼠标等，输出设备103可以包括显示器(lcd等)等。
81.该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。
82.具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的基于机场远程塔台全景视频的实时目标检测方法的实施例中所描述的实现方式，在此不再赘述。
83.需要说明的是，本发明实施例中基于机场远程塔台全景视频的实时目标检测装置的具体工作流程及相关细节，请参考前述方法实施例部分，在此不再赘述。
84.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。