基于机器视觉的机场路面异常检测方法与流程

1.本发明涉及机器视觉领域，具体涉及一种基于机器视觉的机场路面异常检测方法。


背景技术：

2.机场跑道是指飞机场内用来供应航空飞行器起飞或降落的区域。机场跑道应保持平坦与洁净，保证飞机起飞和降落的安全。
3.目前对于机场跑道，由工作人员每天在凌晨、上午、下午、黄昏检查四次，以确保机场的平坦与洁净。但机场跑道面积大，且凌晨、黄昏光线昏暗，同时受天气影响，人工进行机场跑道检查易忽略较小的坑洼及异物。而机场跑道上一旦存在坑洼或异物，对飞机的安全有着致命影响。
4.针对上述问题，本发明设计了一种基于机器视觉的机场路面异常检测方法。


技术实现要素：

5.本发明提供一种基于机器视觉的机场路面异常检测方法，以解决现有的检测效率低的问题。
6.本发明的一种基于机器视觉的机场路面异常检测方法，采用如下技术方案：
7.s1：获取机场跑道灰度图像，判断机场跑道灰度图像是否清晰；若机场跑道灰度图像清晰，进行s6；若机场跑道灰度图像不清晰，进行s2；
8.s2：获取机场跑道灰度图像的灰度直方图，利用灰度直方图中的所有灰度值以及灰度值频率，采用em算法得到对应的高斯混合模型；
9.s3：通过高斯混合模型中每个子高斯模型的均值、均值频率以及每个子高斯模型的灰度值集合中的最大值和最小值得到每个子高斯模型的标准差扩展权重；
10.s4：建立约束模型，基于该约束模型，利用每个子高斯模型的标准差、标准差扩展权重计算满足约束条件的每个子高斯模型的标准差扩展因子最大值以及对应的均值扩展因子，分别作为最优的标准差扩展因子和均值扩展因子；
11.s5：通过最优的标准差扩展因子、均值扩展因子以及子高斯模型的标准差得到扩展后的高斯混合模型，将扩展后的高斯混合模型曲线作为规定的直方图，通过机场跑道灰度图像和规定的直方图得到清晰的机场跑道灰度图像；
12.s6：建立神经网络，将清晰的机场跑道灰度图像输入该神经网络，得到机场跑道中的异常位置及异常位置尺寸。
13.进一步的，所述的一种基于机器视觉的机场路面异常检测方法，得到最优的标准差扩展因子的方法为：
14.基于约束模型，利用每个子高斯模型的标准差、标准差扩展权重得到满足约束条件的每个子高斯模型的标准差扩展因子系数最大值；
15.通过满足约束条件的每个子高斯模型的标准差扩展因子系数最大值和标准差扩
展权重得到满足约束条件的每个子高斯模型的标准差扩展因子最大值，将其作为最优的标准差扩展因子；
16.所述标准差扩展因子的表达式为：
17.β(i)＝wiβ
18.式中：i表示第i个子高斯模型，β(i)表示第i个子高斯模型的标准差扩展因子，i∈[1,n]，β表示标准差扩展因子系数，wi表示第i个子高斯模型的标准差扩展权重。
[0019]
进一步的，所述的一种基于机器视觉的机场路面异常检测方法，约束模型的表达式为：
[0020][0021]
式中：a(i)表示第i个子高斯模型的均值扩展因子，σi表示第i个子高斯模型的标准差，n表示子高斯模型的个数。
[0022]
进一步的，所述的一种基于机器视觉的机场路面异常检测方法，子高斯模型的标准差扩展权重的表达式为：
[0023][0024]
式中：μi表示第i个子高斯模型的均值，s(μi)表示第i个子高斯模型的均值所对应的频率，di表示第i个子高斯模型的灰度值集合。
[0025]
进一步的，所述的一种基于机器视觉的机场路面异常检测方法，判断机场跑道灰度图像是否清晰的方法为：
[0026]
通过机场跑道灰度图像中像素点的灰度值和每种灰度值对应的频数对所有的像素点进行聚类，得到各个类别；
[0027]
通过各个类别中的最大灰度值和最小灰度值组成的集合以及类别个数得到机场跑道灰度图像的清晰度；
[0028]
机场跑道灰度图像的清晰度的表达式为：
[0029][0030]
式中：h表示机场跑道灰度图像的清晰度，b表示各个类别中的最大灰度值和最小灰度值组成的集合，k表示类别个数。
[0031]
进一步的，所述的一种基于机器视觉的机场路面异常检测方法，利用灰度直方图中的所有灰度值以及灰度值频率，采用em算法得到对应的高斯混合模型之前，还包括：
[0032]
对灰度直方图进行归一化、平滑处理，得到处理后的灰度直方图；
[0033]
获取处理后的灰度直方图中极大值的个数。
[0034]
进一步的，所述的一种基于机器视觉的机场路面异常检测方法，高斯混合模型中子高斯模型的个数为处理后的灰度直方图中极大值的个数。
[0035]
本发明的有益效果是：本发明通过采集的机场跑道图像计算机场跑道图像的清晰度，从而判断是否需要对图像进行增强，若需要进行图像增强，则采用基于多峰的直方图规定化算法得到跑道增强图像，最后识别清晰度高的机场跑道图像中的异常，相对于现有技术，本发明具有更高的检测效率，且能够实现较差天气情况下的机场跑道异常的高精度识别，提高了机场跑道异常识别的精确度。
附图说明
[0036]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0037]
图1为本发明的一种基于机器视觉的机场路面异常检测方法的实施例的流程示意图。
具体实施方式
[0038]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0039]
实施例1
[0040]
本发明的一种基于机器视觉的机场路面异常检测方法的实施例，如图1所示，包括：
[0041]
本发明所针对的具体场景为：为保证飞机的起飞和降落安全，机场跑道需保持平坦与洁净。本方案通过无人机拍摄机场跑道图像，并对图像进行增强，避免光线及天气对图像质量的影响，以便更加准确地识别出机场跑道上的坑洼、异物等异常情况。并及时提醒工作人员对异常进行处理，以确保飞机的起飞和降落安全。
[0042]
s1：获取机场跑道灰度图像，判断机场跑道灰度图像是否清晰；若机场跑道灰度图像清晰，进行s6；若机场跑道灰度图像不清晰，进行s2。
[0043]
机场跑道要求每天定时检测四次，分别在凌晨、上午、下午、黄昏进行检查。通过无人机分别在凌晨、上午、下午、黄昏拍摄机场跑道的图像。
[0044]
凌晨及黄昏受光线影响，拍摄的图像不清晰。上午、下午的图像也可能受天气影响(如大雾天气)而不清晰。本实施例对不清晰的图像进行增强，以便更加准确地识别出机场跑道的异常。因此首先获取图像的清晰度，结合清晰度判断图像是否需要增强。
[0045]
为便于分析，将机场跑道图像转换为灰度图，并绘制灰度直方图。以灰度直方图的灰度值以及频数为数据样本，利用均值漂移聚类对数据样本进行聚类，获得k个类别。获取每个类别灰度值的最大值与最小值，构成集合b。结合集合b以及类别个数k，获取图像的清晰度h：
[0046]
[0047]
式中：min(b)为集合b中灰度值的最小值，即灰度直方图最左侧特征的最小灰度值；max(b)为集合b中灰度值的最大值，即灰度直方图最右侧特征的最大灰度值；采用均值漂移聚类获取min(b)、max(b)可以排除噪声点的干扰，获取更为准确的分布范围；min(k-1,1)表示在k-1和1中取最小值。
[0048]
机场跑道上包含跑道主体、标志线及跑道编号等。跑道主体颜色较深，位于灰度直方图左侧；标志线及跑道编号多为白色或黄色，位于灰度直方图的右侧，清晰的图像直方图中左右两侧均有灰度分布。但若光线较暗，可能会导致直方图中灰度集中分布在直方图左侧，此时清晰度较低。若大雾天气，可能会导致直方图中灰度集中分布在直方图右侧，此时清晰度较低；当类别k为1时，表示机场跑道的多个特征之间对比度非常低，导致均值漂移聚类未将多个特征分开，此时图像需要增强，清晰度为0。
[0049]
至此，完成了机场跑道图像清晰度的获取。结合机场跑道图像清晰度，判断机场跑道图像是否需要增强：
[0050]
若清晰度h≥γ，则机场跑道图像清晰，无需增强。可直接进行机场跑道异常识别；
[0051]
若清晰度h《γ，则机场跑道图像不清晰，需要进行增强。对图像进行增强后再识别机场跑道异常。
[0052]
γ由人工设置，经验值为0.7。
[0053]
通过上述步骤，得到了机场跑道图像的清晰度，由于天气等因素的影响，可能会造成图像不清晰，若图像的清晰度不够高，此时不能很好地识别跑道中的异常，因此需要先对图像清晰度进行判断，若判断跑道图像清晰度够高，则无需对图像进行增强处理；若清晰度不够高，则需要对图像清晰度进行增强，然后通过增强后的图像进行异常识别。
[0054]
s2：获取机场跑道灰度图像的灰度直方图，利用灰度直方图中的所有灰度值以及灰度值频率，采用em算法得到对应的高斯混合模型。
[0055]
对于不清晰的图像，无法直接识别机场跑道异常，因此需要对图像进行增强，获取清晰的机场跑道图像。
[0056]
目前常用的图像增强方法有直方图均衡化、直方图规定化等方法。直方图均衡化算法是一种常用的图像增强算法，直方图均衡化通过拉伸图像灰度级的动态范围，将目标图像直方图变换为均匀分布形式来实现对比度增强。但该算法对数据不加选择，使得相近灰度值合并，容易造成细节信息丢失；直方图规定化图像增强的效果取决于规定化的直方图的好坏，目前有基于单峰高斯函数的直方图规定化算法以及基于多峰高斯函数的直方图规定化算法。基于单峰高斯函数的直方图规定化算法，对于直方图复杂的图像容易造成其部分灰度级合并，使图像丢失层次感。基于多峰高斯函数的直方图规定化算法，图像增强的效果依赖于子高斯模型扩展因子的选择。好的扩展因子可以增强图像的同时，保留微弱的细节。差的扩展因子可能会造成图像不同特征之间的对比度降低，丢失图像边缘信息。
[0057]
本方案结合图像特征，获取最优的子高斯模型扩展因子，使图像增强特征内部细节信息的同时增强不同特征之间的对比度。
[0058]
上述步骤获取了机场跑道图像的灰度直方图。计算灰度直方图中每个灰度值占像素点总数的比例，作为该灰度值的频率，用p表示，如灰度值0的频率为p(0)，对灰度直方图进行归一化。对归一化后的灰度直方图进行平滑处理，获取灰度直方图局部极大值个数。以平滑后灰度直方图中所有灰度值和灰度值频率为样本数据，根据这些样本数据利用em算法
拟合高斯混合模型。所述模型中子高斯模型个数为n，本实施例n为平滑后灰度直方图局部极大值的个数。则高斯混合模型的概率密度函数f(x,n)为：
[0059][0060]
式中：i表示第i个子高斯模型，σi为第i个子高斯模型的标准差；μi为第i个子高斯模型的均值；n为子高斯模型的个数。
[0061]
上述公式即为机场跑道图像对应的高斯混合模型的概率密度函数。
[0062]
s3：通过高斯混合模型中每个子高斯模型的均值、均值频率以及每个子高斯模型的灰度值集合中的最大值和最小值得到每个子高斯模型的标准差扩展权重。
[0063]
机场跑道图像上一个特征灰度分布较为集中，且大体呈现高斯分布的模式，如跑道白色标志线或跑道主体颜色。可以理解为一个子高斯模型对应机场跑道图像上的一个特征。要对一个特征进行增强，则扩展该特征在直方图上对应的子高斯模型，增强该特征内部对比度，使其细节更加明显。
[0064]
对机场跑道图像的每个特征进行增强，即对每个子高斯模型进行扩展。则扩展后的高斯混合模型的概率密度函数f
′
(x,n)为：
[0065][0066]
式中：β(i)为第i个子高斯模型的标准差扩展因子；α(i)为第i个子高斯模型的均值扩展因子。
[0067]
以上扩展方法为公知技术。
[0068]
通常情况下，β(i)和α(i)由人工设置。但若β(i)和α(i)设置不当，会导致多个子高斯模型之间重合度大，即机场跑道图像的多个特征灰度分布部分重合，此时不同特征之间的对比度降低，图像的部分边缘丢失。
[0069]
本方案结合图像特征动态获取最优的扩展因子。以下步骤为获取β(i)和α(i)的具体方法：
[0070]“小概率事件”通常指发生的概率小于5％的事件，对于任意高斯分布随机变量x落在(μ-3σ,μ 3σ)以外的概率小于千分之三，在实际问题中常认为相应的事件不会发生，可以把区间(μ-3σ,μ 3σ)看作是随机变量x实际可能的取值区间。对于机场跑道图像上一个特征，其对应的子高斯模型的标准差扩展因子越大，意味着该子高斯模型扩展的越广，其(μ-3σ,μ 3σ)范围内包含的灰度值越多，则该特征内部对比度越大，细节越明显。
[0071]
若机场跑道图像上每个特征，对应的每个子高斯模型的标准差扩展因子都非常大，则可能存在扩展后的子高斯模型(μ-3σ,μ 3σ)范围内的灰度值溢出[0,255]，或者扩展后的多个子高斯模型高度重合，使得不同的特征无法区分。
[0072]
结合每个子高斯模型的分布，为每个子高斯模型设置扩展权重，第i个子高斯模型的标准差扩展权重wi为：
[0073][0074]
式中：μi为第i个子高斯模型的均值；s(μi)为第i个子高斯模型的均值所对应的频率；用来衡量第i个子高斯模型的高度比例，当第i个子高斯模型的高度越高，该值越大，反之越小；di为第i个子高斯模型的灰度值集合，具体获取方法后述；max(di)-min(di)为第i个子高斯模型的宽度；用来衡量第i个子高斯模型的宽度比例，当第i个子高斯模型越宽，该值越小，反之越大；对于高窄的子高斯模型，其灰度分布更为集中，扩展的必要性越大，对于矮宽的子高斯模型，其灰度分布较为分散，扩展的必要性较小，因此结合给予高窄的子高斯模型更大的扩展权重，给予矮宽的子高斯模型更小的扩展权重； 1是为了保证所有子高斯模型都可扩展。
[0075]di
的获取方法为：根据不同子高斯模型的概率密度函数计算并比较每个灰度值在不同子高斯模型下的概率密度值，若一个灰度值在第i个子高斯模型下的概率密度值最大，则该灰度值属于集合di，若一个灰度值在多个子高斯模型下的概率密度值相等且最大，则该灰度值同时属于多个子高斯模型的灰度值集合。
[0076]
上述方法通过扩展前的第i个子高斯模型的均值、第i个子高斯模型的均值的频率、子高斯模型的个数和第i个子高斯模型的灰度值集合得到第i个子高斯模型的标准差扩展权重wi。
[0077]
同理获取每个子高斯模型的标准差扩展权重。
[0078]
则每个子高斯模型的标准差扩展因子由β(1),
…
,β(i),
…
,β(n)转化为了w1β,
…
,wiβ,
…
,wnβ，使得n个标准差扩展因子的设置问题转换为了一个标准差扩展因子系数β的求解。
[0079]
举例说明，由于β(i)＝wiβ，而第i个子高斯模型的标准差扩展权重wi已由上述标准差扩展权重公式求得，因此只要再获得β，就可以得到第i个子高斯模型的标准差扩展因子β(i)。同理其他子高斯模型的标准差扩展权重也已经获得，同样也只需要求出β就可得到其他子高斯模型的标准差扩展因子。
[0080]
s4：建立约束模型，基于该约束模型，利用每个子高斯模型的标准差、标准差扩展权重计算满足约束条件的每个子高斯模型的标准差扩展因子最大值以及对应的均值扩展因子，分别作为最优的标准差扩展因子和均值扩展因子。
[0081]
对于单个子高斯模型来说，β越大越好。但对于直方图整体来说，β过大可能会导致多个子高斯模型重合或子高斯模型的(μ-3σ,μ 3σ)范围内的灰度值溢出[0,255]。因此需设置约束条件，构建约束模型来保证子高斯模型合理的扩展。
[0082]
约束模型的表达式为：
[0083][0084]
式中，α(i)为第i个子高斯模型的均值扩展因子；wiβ为第i个子高斯模型的标准差扩展因子；σi为第i个子高斯模型的标准差；wiβσi为第i个子高斯模型扩展后的标准差；“小概率事件”通常指发生的概率小于5％的事件，对于任意高斯分布随机变量x落在(μ-3σ,μ 3σ)以外的概率小于千分之三，在实际问题中常认为相应的事件不会发生，可以把区间(μ-3σ,μ 3σ)看作是随机变量x实际可能的取值区间，α(1)-3w1βσ1≥0用于限制第1个子高斯模型灰度值取值范围不会左溢出0；a(n) 3wnβσn≤255用于限制第n个子高斯模型灰度值取值范围不会右溢出255；a(i)-3wiβσi≥a(i-1) 3w
i-1
βσ
i-1
,i∈[1,n]用于限制相邻两个子高斯模型灰度值取值范围不会重合，一定程度上增强了机场跑道图像不同特征之间的对比度；用于限制所有子高斯模型灰度值取值范围不会溢出[0,255]。
[0085]
获取满足以上约束条件的最大标准差扩展因子系数β，以及所有的均值扩展因子α(1),
…
,α(i),
…
,α(n)。
[0086]
则最优的标准差扩展因子为w1β,
…
,wiβ,
…
,wnβ，最优的均值扩展因子为α(1),
…
,α(i),
…
,α(n)。
[0087]
s5：通过最优的标准差扩展因子、均值扩展因子以及子高斯模型的标准差得到扩展后的高斯混合模型，将扩展后的高斯混合模型曲线作为规定的直方图，通过机场跑道灰度图像和规定的直方图得到清晰的机场跑道灰度图像。
[0088]
上述步骤获取了最优的标准差扩展因子，以及均值扩展因子。获取扩展后的高斯混合模型，将扩展后的高斯混合模型作为规定化的直方图，利用直方图规定化方法将原本的高斯混合模型对应的图像中的像素点进行规定化，则可获取最终的机场跑道图像增强的结果。
[0089]
至此，获取了清晰的机场跑道图像。
[0090]
s6：建立神经网络，将清晰的机场跑道灰度图像输入该神经网络，得到机场跑道中的异常位置及异常位置尺寸。
[0091]
对清晰的机场跑道图像中的异常进行识别。
[0092]
本实施例采用dnn神经网络，以encoder-decoder-bbox的结构对机场跑道图像中的异常进行检测。
[0093]
该dnn网络的相关内容如下：
[0094]
1.网络采用encoder-decoder的形式。先对图像进行编码，而后进行解码。网络的输入为机场跑道图像，输出为包围框中心点和回归出的包围框宽高尺寸。
[0095]
2.网络以检测目标存在的图像为输入，先进行解码，即使用卷积和池化操作在对图像进行下采样的过程中，提取图像中的空域特征，解码器的输出为提取到的特征向量。
[0096]
3.解码器的输入为编码器的输出特征向量，解码器经过上采样，回归出图像中目
标对应包围框的中心点和宽高尺寸，解码器的输出为网络的输出。
[0097]
4.网络的训练所使用的数据集为清晰的机场跑道图像数据集。
[0098]
5.图像的标签为跑道坑洼、异物对应的包围框，包括包围框中心点坐标和包围框的宽高尺寸。
[0099]
6.loss函数为均方差损失函数。
[0100]
通过dnn网络对机场跑道上的异常进行识别，获得清晰的机场跑道图像中的跑道坑洼及异物所对应的位置。将识别结果送到机场集中监控系统，并通知相关工作人员及时对机场跑道上的异常进行处理，避免飞机起飞或降落安全事故的发生。
[0101]
本发明通过采集的机场跑道图像计算机场跑道图像的清晰度，从而判断是否需要对图像进行增强，若需要进行图像增强，则采用基于多峰的直方图规定化算法得到跑道增强图像，最后识别清晰度高的机场跑道图像中的异常，相对于现有技术，本发明具有更高的检测效率，且能够实现较差天气情况下的机场跑道异常的高精度识别，提高了机场跑道异常识别的精确度。
[0102]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。