一种基于视频分析的机场跑道大颗粒异物检测方法与流程

1.本发明涉及机场安防监控技术领域，尤其是涉及一种基于视频分析的机场跑道上大颗粒异物检测方法。


背景技术：

2.飞机在跑道上滑行时，跑道上遗留的异物会影响飞机的正确行驶，而其中大颗粒的异物将极有可能造成飞行起飞和降落过程中的安全事故。因此，准确及时地检测并发现跑道上的大颗粒异物，能够有效避免大颗粒异物对飞行安全的影响，保障飞机的正常行驶。
3.目前，机场跑道上的大颗粒异物通常是采用毫米波雷达进行探测，然而毫米波雷达设备价格高、专用性强，不利于在中小型机场推广应用。
4.因此，亟需对现有雷达探测方法进行改进，提出一种满足成本、精度、适用性等需求的新型探测方法。


技术实现要素：

5.针对现有方法的以上缺陷或改进需求，本发明提出了一种机场跑道大颗粒异物的新型检测方法，基于视频分析技术实现异物的快速检测，有效提高了检测的可靠性和准确率，它具有识别率高、适应性强、成本低廉的优点。
6.为实现上述目的，本发明提供了一种基于视频分析的机场跑道大颗粒异物检测方法，所述方法包括如下步骤：
7.1)在视频监控画面上设置机场跑道的检测区域，设置大颗粒异物的初始像素面积阈值c_threshold，周期性提取监控画面作为输入图像；
8.2)计算检测区域像素面积area1；
9.3)利用语义分割算法对跑道区域进行分割，计算隶属于跑道的像素面积area2；
10.4)计算area1与area2的像素面积的差值，得到跑道上异物的像素面积t_area；
11.5)如果t_area大于c_threshold，则跑道中有大颗粒异物；否则跑道中没有大颗粒异物；
12.6)如果有大颗粒异物，将分割出的跑道区域像素值置零，其它区域像素值不变；
13.7)对处理后的图像进行二值化操作，提取大颗粒异物检测框；
14.8)输出检测结果。作为优选的实施方式，所述检测结果包括跑道上是否有大颗粒异物、大颗粒异物轮廓呈现，以及大颗粒异物的位置坐标。
15.进一步的，所述语义分割算法包括编码模块和解码模块，编码模块使用mobilenetv2进行特征提取，将解码模块特征图与mobilenetv2中间信息相融合，编码模块的特征图提供语义信息，mobilenetv2中间下采样提供细节信息，再上采样得到语义分割结果。
16.优选地，所述语义分割算法中空洞卷积的二次rate分别为2和6。
17.其中，所述语义分割算法的网络模型结构包括：采用轻量化网络mobilenetv2作为
主干网络，其具有一输入和两个输出，其中mobilenetv2的一个输出分别被提供给第一1*1卷积模块、空洞卷积模块以及池化模块，mobilenetv2的另一个输出被提供给第二1*1卷积模块，第一1*1卷积模块、空洞卷积模块以及池化模块的输出均被提供给第三1*1卷积模块得到一中间信息，所述中间信息被提供给下采样模块，第二1*1卷积模块和下采样模块的输出分别被提供给concat模块进行信息融合运算，融合信息再通过3*3卷积模块后提供给上采样模块，通过上采样模块输出语义分割结果。
18.更进一步的，上述语义分割网络的训练流程包括如下步骤：
19.a1)采集不同天气、光照、能见度、环境等条件下机场跑道的视频数据，对数据集进行图像预处理和数据标注；
20.a2)将已标注的数据集按6：3：1随机分成训练集、测试集及验证集；
21.a3)用训练集与测试集对上文改进后的语义分割网络进行训练，得到初始的分割模型；
22.a4)通过验证集验证模型是否满足分割效果，采用平均交并比miou来判断模型训练终止，其计算公式如公式1：
[0023][0024]
其中，共分为跑道和背景2个类，p
ij
表示本属于类i但被预测为类j的像素数量，p
ii
表示为真正的量，而p
ij
、p
ji
分别表示为假正和假负的数量。
[0025]
a5)设定交并比满足的阈值iou_threshold，如果miou》iou_threshold，则模型训练停止，输出最优的分割模型；如果不满足停止条件，则进一步改变训练参数、数据集和学习率，利用调整后的参数回到步骤a3)进行二次训练，直到满足停止条件。
[0026]
本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述存储器执行所述程序时实现上述方法。
[0027]
本发明还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述步骤。
[0028]
本发明所述的方案与现有的技术相比，具有如下的有益效果是：1)、本发明只采用机场监控摄像设备进行检测，无需专业设备和特殊设备，极大降低了设备成本；2)本发明还对deep lab v3算法进行改进以实现更优的机场跑道的语义分割，进一步提高了检测精度。本发明相较于现有技术，具有成本低廉、识别率更高、实时性更好、适应性更强的优点。
[0029]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
[0030]
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本技术的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
[0031]
图1是本发明一实施例所提供的机场跑道大颗粒异物的检测流程示意图；
[0032]
图2是本发明一实施例所提供的改进后的语义分割网络的结构示意图；
[0033]
图3是本发明一实施例所提供的语义分割网络训练流程的示意图。
具体实施方式
[0034]
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互任意组合。
[0035]
本发明引入机器视觉用于检测，利用了人工智能技术来保障可靠性和提高准确率。以基于视频分析的异物检测技术为核心，在应用中具有成本低、适用性强的优点。
[0036]
本发明所提出的一种机场跑道大颗粒异物的检测方法的流程示意图如图1所示，所述方法包括如下步骤：
[0037]
9)在视频监控画面上设置机场跑道的检测区域，设置大颗粒异物的初始像素面积阈值c_threshold；而后定期提取监控画面作为输入图像；
[0038]
10)计算检测区域像素面积area1；
[0039]
11)利用语义分割算法对跑道区域进行分割，计算隶属于跑道的像素面积area2；
[0040]
12)计算area1与area2的像素面积的差值，得到跑道上异物的像素面积t_area；
[0041]
13)如果t_area大于c_threshold，则跑道中有大颗粒异物；否则跑道中没有大颗粒异物；
[0042]
14)如果有大颗粒异物，将分割出的跑道区域像素值置零，其它区域像素值不变；
[0043]
15)对处理后的图像进行二值化操作，提取大颗粒异物检测框；
[0044]
16)输出检测结果。作为优选的实施方式，所述检测结果包括跑道上是否有大颗粒异物、大颗粒异物轮廓呈现，以及大颗粒异物的位置坐标。
[0045]
为了提升检测的准确性，本发明还进一步通过对deep lab v3算法进行改进以实现更优的机场跑道的语义分割。deep lab v3是一种使用空间金字塔模块和编解码结构的语义分割算法，通过不同分辨率下的池化操作得到更丰富的上下文信息。本发明对deep lab v3语义分割算法所作出的改进具体如下：
[0046]
1)通过分析数据集样本，考虑计算复杂度对实时性的影响，采用轻量化网络mobilenetv2作为主干网络进行分割模型的训练。编码模块使用mobilenetv2进行特征提取，进而块用于提取融合图像的多尺度信息。将解码模块特征图与mobilenetv2中间信息相融合，编码模块的特征图提供语义信息，mobilenetv2中间下采样提供细节信息，再上采样得到语义分割结果。
[0047]
2)采用二次rate分别为2和6的空洞卷积，比deeplab v3网络减少一层空洞卷积计算，一定程度上扩大感受野，既能保留内部数据结构又能避免下采样导致的特征信息丢失，从而得到信息量更大的特征图。并且，通过深度可分离卷积减少参数量和计算量。
[0048]
结合如图2所示的改进后的语义分割网络结构图，本发明所使用的语义分割模型的网络结构包括：采用轻量化网络mobilenetv2作为主干网络，其具有一输入和两个输出，其中mobilenetv2的一个输出分别被提供给第一1*1卷积模块、空洞卷积模块以及池化模块，mobilenetv2的另一个输出被提供给第二1*1卷积模块，第一1*1卷积模块、空洞卷积模块以及池化模块的输出均被提供给第三1*1卷积模块得到一中间信息，所述中间信息被提
供给下采样模块，第二1*1卷积模块和下采样模块的输出分别被提供给concat模块进行信息融合运算，融合信息再通过3*3卷积模块后提供给上采样模块，通过上采样模块输出语义分割结果。
[0049]
进一步的，本发明语义分割网络的训练流程如图3所示，具体包括如下步骤：
[0050]
a1)采集不同天气、光照、能见度、环境等条件下机场跑道的视频数据，对数据集进行图像预处理和数据标注；
[0051]
a2)将已标注的数据集按6：3：1随机分成训练集、测试集及验证集；
[0052]
a3)用训练集与测试集对上文改进后的语义分割网络进行训练，得到初始的分割模型；
[0053]
a4)通过验证集验证模型是否满足分割效果，采用平均交并比miou来判断模型训练终止，其计算公式如公式1：
[0054][0055]
其中，共分为跑道和背景2个类，p
ij
表示本属于类i但被预测为类j的像素数量，p
ii
表示为真正的量，而p
ij
、p
ji
分别表示为假正和假负的数量。
[0056]
a5)设定交并比满足的阈值iou_threshold，如果miou》iou_threshold，则模型训练停止，输出最优的分割模型；如果不满足停止条件，则进一步改变训练参数、数据集和学习率，利用调整后的参数回到步骤a3)进行二次训练，直到满足停止条件。
[0057]
本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述存储器执行所述程序时实现上述方法。
[0058]
本发明还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述步骤。
[0059]
本发明的技术方案中，利用机场现有监控摄像头采集训练图片和执行异物探测，节约了设备成本；而且由于语义分割网络的改进，所以在检测精度以及目标检测能力上有更出色的表现(约提升了30％)。本发明相较于现有技术，具有成本低廉、识别率更高、实时性更好、适应性更强的优点。
[0060]
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和原则的前提下，可以在实施的形式及细节上进行任何的修改与变化、等同替换等，这些都属于本发明的保护范围。因此，本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。