一种基于深度学习的机场停机位入侵的检测方法与流程

技术特征：
1.一种基于深度学习的机场停机位入侵的检测方法，其特征在于，包括以下步骤：101)从现场摄像头获取视频流；102)在视频的图像中绘制停机位的区域；103)在图像停机位的区域内进行飞机的目标检测，判断停机位是否存在飞机停靠，必要时，进行人和车的目标检测；104)如果没有检测出飞机目标，则启动人体和特种车检测模块，获取图像中工作人员和特种车目标的位置信息，通过目标的位置信息，判断目标是否在停机位范围，如果存在，系统进行入侵告警；105)如果停机位检测出飞机目标，则判断飞机是正在泊位、离位或已经停靠到指定停机线上；106)如果飞机处于泊位状态，则启动人体和特种车检测模块，获取图像中工作人员和特种车目标的位置信息，通过目标的位置信息，判断目标是否在停机位范围，如果目标存在，系统进行入侵告警；107)如果飞机处于离位状态，则启动人体和特种车检测模块，获取图像中工作人员和特种车目标的位置信息，通过目标类别信息和目标位置信息，除离位保障人员和牵引车外，判断是否有其他目标在停机位范围内，如果有其他目标在停机位范围内，系统进行入侵告警；108)如果飞机处于停靠状态，则不作进一步处理。2.根据权利要求1所述的机场停机位入侵的检测方法，其特征在于，步骤103的目标检测包括以下步骤：201)收集停机坪场景下飞机及前轮、工作人员、特种车图像数据，然后对数据进行标注；202)通过k-means聚类算法得到先验框的尺寸，按照不同尺度聚类出9种尺寸的先验框；203)配置yolov4网络模型训练的参数，使用划分的训练集对预训练模型进行迭代训练，通过设置的训练策略，保存训练好的模型；204)通过步骤203训练好的飞机检测模型对视频帧进行飞机目标检测，获取所检测目标的目标框位置信息和置信度信息的多维数组；205)通过步骤204的目标检测，判断停机位上是否存在飞机目标，如果没有检测到飞机目标，就跳转到步骤206，如果已经检测到飞机目标，则跳转到步骤208.206)通过步骤203训练好的模型对画面中工作人员和特种车辆进行目标检测，获取所检测目标的目标框位置信息和置信度信息的多维数组，通过坐标信息计算出目标框的中心点位置；207)根据射线算法判断目标框的中心点是否在设置的停机位区域内，如果停机位范围内发现目标则发出告警，目标已经入侵到停机位；否则，不做处理；208)当检测到停机位中的飞机目标后，根据模型识别的飞机前轮目标坐标信息与停机位区域中设置的停机线坐标信息判断飞机处于泊位，离位还是已经停靠的状态；如果是已经停靠状态，则不做处理；如果判断飞机为泊位状态，则返回执行步骤206和步骤207进行操作；如果飞机为离位状态，则进行步骤209操作；
209)通过特种车检测模型，设置判断逻辑条件，识别停机位内车辆目标，排除牵引车的影响；通过工作人员检测模型，设置判断逻辑条件，排除工作人员的影响；识别停机位工作人员目标，返回目标的坐标信息，根据人员目标坐标信息判断工作人员在停机位中的位置；并确定人员是否为飞机离位保障人员，如确定人员不是飞机离位保障人员，则返回执行步骤206和步骤207进行操作。3.根据权利要求2所述的机场停机位入侵的检测方法，其特征在于，步骤201包括以下步骤：301)使用多个不同角度的固定摄像头在各个停机坪场景下拍摄图像，对每张图像进行人工标注；每张图像中每个飞机、飞机的前轮、操作人员、特种车都有相应的检测框，检测框标记为[(x1,y1),(x2,y2)]，(x1,y1)为检测框的左上角坐标，(x2,y2)为检测框的右下角坐标；标注需要检测的目标类型，包括飞机、飞机前轮、穿反光衣人体、穿普通工作服人体、普通人体和特种车辆；302)使用数据增强方法减少网络的过拟合现象，训练泛化能力更强的网络；数据增强包括对数据样本进行数据合成、随机裁剪、翻转、颜色抖动、加入噪声和/或旋转；303)对图像数据进行二次处理，通过以下操作进行图片增强：转灰度图-二维卷积-图像数组位深转化，使图像中目标的边缘纹理清晰；304)最后形成飞机及前轮、工作人员、特种车辆数据库。4.根据权利要求2所述的机场停机位入侵的检测方法，其特征在于，步骤202包括以下步骤：k-means算法，即k均值聚类算法，其步骤包括，预将数据分为k组，则随机选取k个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心；聚类中心以及分配给它们的对象代表一个聚类，每分配一个样本，聚类的聚类中心根据聚类中现有的对象被重新计算；这个过程将不断重复直到满足设定的终止条件；对于给定的一个包含n个d维数据点的数据集x以及要分得的类别k,选取欧氏距离作为相似度指标，聚类目标是使得各类的聚类平方和最小，即最小化，公式如下：5.根据权利要求2所述的机场停机位入侵的检测方法，其特征在于，步骤203包括以下步骤：501)目标检测模型包括飞机检测模型、工作人员检测模型和特种车辆检测模型，飞机检测模型的目标是飞机和飞机前轮；工作人员检测模型的目标包括反光衣人体、穿普通工作服人体和普通人体；特种车辆检测模型的目标包括机场内的所有车辆类型；502)模型的训练流程包括，首先把图片输入到cspdarknet53主干网络中，进行特征提取，生成不同尺度的特征图，输入格式为：608*608*3，生成多尺度特征图的格式为：76*76*256，38*38*512和19*19*1024；503)通过spp pan结构融合不同尺寸特征图的特征信息；504)把特征信息输入到置信度预测器，获取置信度图信度图的格式为76*76*21，38*38*21和19*19*21；通过置信度图与目标图真实值信息，计算每个尺度特征的类别损失、置信度损失和位置损失；把3个尺度的特征图的3个类型的损失值加起来，得出模型总的损失值；
505)通过总的损失函数信息，利用随机梯度下降的方式，进行反向传播，不断迭代更新模型的网络权重。6.根据权利要求2所述的机场停机位入侵的检测方法，其特征在于，步骤207包括以下步骤：601)在图像中描绘出停机位的形状，获取停机位形状每个像素点的坐标信息，然后利用opencv的cvpolyline函数，在图像中描绘出停机位的位置，将停机位区域的轮廓简化为多边形；602)通过射线法判断目标框的中心点是否在停机位区域内：根据多边形的所有点的集合，筛选出多边形最大的x坐标maxlng、最小的x坐标minlng、最大的y坐标maxlat和最小的y坐标minlat，分别比较中心点的x坐标x与maxlng和minlng的值，分别比较中心点的y坐标y与maxlat和minlat的值，当x>maxlng或者x<minlng或者y>maxlat或者y<minlat的时候，可以判断中心点在区域外，目标在区域外；603)当不满足上述条件，则进一步对中心点位置进行判断，循环判断中心点的的x坐标x和y坐标y与停机位多边形区域的坐标点xi和yi是否存在相同的点，如果有，则判断中心点与多边形的点重合，目标在区域内；604)判断多边形任一线段的两个端点是否分别在射线两侧，以判断所述的线段是否与所述射线所在的直线与存在交点；当设定射线方向是沿着中心点水平向左时，利用以下公式计算射线所在直线与所述线段交点的x坐标：605)如果xeg＝x，判定交点就是中心点位置，认为目标在区域内；如果xseg<x,判断交点在中心点的左侧，交点数累计加1；循环所有多边形的线段做判断，当交点数为奇数，可以判断中心点在区域内，认为目标在停机位范围内；当交点为偶数，则判断中心点不在区域内，认为目标不在停机位范围内。7.根据权利要求2所述的机场停机位入侵的检测方法，其特征在于，步骤208包括以下步骤：701)通过飞机检测模型，识别出飞机目标和飞机前轮目标的坐标信息，飞机目标和飞机前轮目标的目标中心点信息；702)通过对比停机线区域坐标位置与目标中心点信息，计算两点之间的欧氏距离，根据欧氏距离的变化情况，如果距离越来越小，可以判断飞机正在泊位；如果距离越来越大，可以判断飞机正在离位，然后启动工作人员和特种车检测模块，执行后续步骤。

技术总结
本发明公开了一种基于深度学习的机场停机位入侵的检测方法，包括以下步骤：获取视频流，在图像中绘制停机位的区域；在停机位区域内进行飞机目标检测，判断停机位是否存在飞机；如果没有检测出飞机，则启动人体和特种车检测模块，判断工作人员和特种车是否在停机位范围，如果存在，系统进行入侵告警；如果停机位检测出飞机处于泊位或离位状态，则启动人体和特种车检测模块，如泊位状态下有人体和特种车在停机位范围，或离位状态下，有其他目标在停机位范围内，系统进行入侵告警；如果飞机处于停靠状态，则不作进一步处理。本发明充充分考虑到飞机泊位和离位的情况，引入多尺度目标检测，检测的准确度高，泛化能力强，符合实际业务场景的使用要求。场景的使用要求。场景的使用要求。


技术研发人员：杨永胜 樊治国
受保护的技术使用者：青岛高重信息科技有限公司
技术研发日：2022.11.10
技术公布日：2023/2/3