基于机场远程塔台全景视频的实时目标检测方法及装置与流程

技术特征：
1.一种基于机场远程塔台全景视频的实时目标检测方法，其特征在于，包括：数据集制作步骤：获取机场塔台数据和公开图像数据，对所述机场塔台数据及公开图像数据进行处理，得到训练数据；目标检测算法设计步骤：设计目标检测网络，所述目标检测网络的结构包括依次连接的主干提取网络、特征融合网络和检测头网络，在所述主干提取网络的前期卷积层和后期卷积层中增加sknet注意力机制；模型训练步骤：采用所述训练数据对所述目标检测网络进行训练，得到目标检测模型；全景图像目标检测步骤：获取待检测数据，采用分割检测策略对所述待检测数据进行处理，得到多个子区域小图，将多个子区域小图输入所述目标检测模型，得到远程塔台大分辨率下的初步检测结果，对所述初步检测结果进行处理，得到目标检测结果；所述待检测数据包括机场远程塔台全景视频。2.如权利要求1所述的实时目标检测方法，其特征在于，数据集制作步骤具体包括：通过机场摄像头获取机场塔台数据，从所述机场塔台数据中提取关键帧图像，对所述关键帧图像进行标注，得到每张关键帧图像的标签文件，并将其转换成训练的数据格式，得到所述训练数据；通过搜索引擎从网上下载或采用爬虫方式获取公开数据，对所述公开数据进行清洗与筛选，得到所述训练数据。3.如权利要求2所述的实时目标检测方法，其特征在于，模型训练步骤具体包括：数据增强步骤：采用平移、旋转、拼接、色调变换、尺寸变换和小目标尺度适配方式对所述数据集进行数据增强处理；模型训练步骤：随机初始化所述目标检测网络中各个卷积核的参数；采用冻结训练的方式，首先冻结所述目标检测网络的主干提取网络部分的参数，采用数据增强处理后的训练数据对所述目标检测网络进行500轮训练，再解开冻结，对所述目标检测网络进行500轮训练，得到所述目标检测模型。4.如权利要求3所述的实时目标检测方法，其特征在于，采用小目标尺度适配方式对所述数据集进行数据增强处理具体为：从所述数据集中随机选择四张图片进行尺度缩放，并随机选择一个中心点将四张图片进行拼接。5.如权利要求3所述的实时目标检测方法，其特征在于，全景图像目标检测步骤具体包括：数据获取步骤：通过机场摄像头获取待检测数据，对所述待检测数据进行处理，得到机场远程塔台的全景大图；分割步骤：将所述全景大图切割为n个不同的子区域小图；其中，切割所述全景大图时，在每两个相邻的子区域件设置一个重叠区域；检测步骤：将多个子区域小图输入所述目标检测模型，得到远程塔台大分辨率下的初步检测结果；检测结果处理步骤：对所述初步检测结果进行提取及转换处理，得到目标检测结果。6.如权利要求5所述的实时目标检测方法，其特征在于，所述初步检测结果包括3个分
辨率尺度下的检测结果；检测结果处理步骤具体包括：第一步：设置一个置信度阈值，通过该置信度阈值过滤所述初步检测结果中置信度分数较低的检测框；设置一个iou阈值，通过该iou阈值对置信度较高的同一个目标的重叠框进行过滤，使得每一个目标对应一个检测框；第二步：将3个分辨率下的检测结果还原输入到目标检测网络的640分辨率下，得到第一结果，将该第一结果还原到切割前的全景大图分辨率上，通过非极大值抑制法对同一个目标的重叠框进行过滤，使得每一个目标对应一个检测框。7.如权利要求1
‑
6任一项所述的实时目标检测方法，其特征在于，执行目标检测步骤之后，所述目标检测结果包括远程塔台场景中的目标类别信息和目标位置信息；所述方法还包括：可视化检测结果步骤：将所述目标位置信息通过目标的中心点与目标的检测框的宽高形式保存，并将检测框实时显示在远程塔台全景视频中。8.一种基于机场远程塔台全景视频的实时目标检测装置，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求7所述的方法。

技术总结
本发明实施例公开了一种基于机场远程塔台全景视频的实时目标检测方法及装置。方法包括：数据集制作，目标检测算法设计、模型训练和全景图像目标检测。目标检测包括：获取待检测数据，采用分割检测策略对待检测数据进行处理，得到多个子区域小图，将多个子区域小图输入目标检测模型，得到远程塔台大分辨率下的初步检测结果，对所述初步检测结果进行处理，得到目标检测结果；所述待检测数据包括机场远程塔台全景视频。实施本发明实施例的方法，可实现对远程塔台全景视频中不同尺度目标的检测识别，且检测结果可满足机场检测的精度。同时，该方法性能优异，易于在工程上实现。易于在工程上实现。易于在工程上实现。


技术研发人员：李靓 朱志强 罗文渊 杨振祠 刘云 孙瑞 吴嘉宇 王建强
受保护的技术使用者：中国民用航空总局第二研究所
技术研发日：2021.08.16
技术公布日：2021/11/17