机场道面病害检测的方法、装置、电子设备及存储介质与流程

1.本发明涉及计算机技术领域，具体涉及机场道面病害检测的方法、装置、电子设备及存储介质。


背景技术：

2.机场道面安全检测是民航运行安全的重中之重，而目前对机场道面病害的检测仍是以人工方式为主。
3.目前的病害检测方法中有的基于形态学提出一种二次阈值分割算法，实现了在包含跑道标记的图像中裂缝的分割，有的在多尺度上使用种子生长算法检测裂缝，通过在不同尺度进行裂缝区域的匹配和融合，获得裂缝的分割结果。这些方法大都依赖于人工设计的参数，泛化能力差，无法处理复杂多变的机场道面图片，检测精度受环境影响大。而随着深度学习的兴起，越来越多的基于深度学习的病害检测方法被提出。比如将全卷积网络应用在裂缝分割中，通过输入多种类型的裂缝图片来训练网络对不同尺度的裂缝进行分割预测。但这种方法仅实现了基于矩形框的病害检测，而无法实现更加精细化的像素级分割。此外，不同类别病害的形状无法体现，且位置信息仍有较大偏差。
4.综上，目前亟需一种机场道面病害检测的方法，用于解决上述现有技术存在的问题。


技术实现要素：

5.由于现有方法存在上述问题，本发明提出机场道面病害检测的方法、装置、电子设备及存储介质。
6.第一方面，本发明提供了一种机场道面病害检测的方法，包括：
7.获取待检测机场道面病害图像；
8.将所述待检测机场道面病害图像输入至训练好的病害检测模型，得到所述待检测机场道面病害图像中不同类型病害对应区域的提取结果；
9.其中，所述训练好的病害检测模型为利用不同机场道面病害图像以及不同机场道面病害图像对应的语义分割真值图以及语义边缘真值图进行训练后得到。
10.进一步地，在将所述待检测机场道面病害图像输入至训练好的病害检测模型，得到所述待检测机场道面病害图像中病害对应区域的提取结果之前，还包括：
11.获取病害训练图像、语义分割真值图以及语义边缘真值图；
12.对所述病害训练图像进行小波变换，得到低频特征图；
13.采用残差网络对所述病害训练图像进行图像特征提取，得到语义边缘特征图；
14.基于u-net网络根据所述低频特征图以及所述语义边缘特征图对所述病害训练图像编码，得到第一特征图；
15.根据所述低频特征图以及所述语义边缘特征图对所述第一特征图解码，得到语义分割预测图；
16.根据所述语义分割真值图以及所述语义分割预测图确定第一损失函数；
17.根据所述第一损失函数更新所述病害检测模型的参数，得到训练好的病害检测模型。
18.进一步地，所述获取语义分割真值图以及语义边缘真值图，包括：
19.提取所述病害训练图像中病害的外轮廓，得到图像标注信息；
20.根据所述图像标注信息确定语义分割真值图；
21.基于所述语义分割真值图提取病害区域的语义边缘，得到语义边缘真值图。
22.进一步地，在所述采用残差网络对所述病害训练图像进行图像特征提取，得到语义边缘特征图之后，还包括：
23.采用注意力机制得到所述语义边缘特征图的通道域权重矩阵；
24.根据所述语义边缘特征图以及所述通道域权重矩阵得到语义边缘预测图；
25.根据所述语义边缘真值图以及所述语义边缘预测图确定第二损失函数；
26.根据所述第二损失函数更新所述病害检测模型的参数。
27.进一步地，在所述得到第一特征图之后，所述根据所述低频特征图以及所述语义边缘特征图对所述第一特征图解码之前，还包括：
28.采用注意力机制得到所述第一特征图的空间域权重矩阵；
29.根据所述第一特征图以及所述空间域权重矩阵确定第二特征图。
30.进一步地，所述待检测机场道面病害图像中病害的类别为裂缝、修补、补丁、地灯和板缝。
31.第二方面，本发明提供了一种机场道面病害检测的装置，包括：
32.获取模块，用于获取待检测机场道面病害图像；
33.处理模块，用于将所述待检测机场道面病害图像输入至训练好的病害检测模型，得到所述待检测机场道面病害图像中不同类型病害对应区域的提取结果；其中，所述训练好的病害检测模型为利用不同机场道面病害图像以及不同机场道面病害图像对应的语义分割真值图以及语义边缘真值图进行训练后得到。
34.进一步地，所述处理模块还用于：
35.在将所述待检测机场道面病害图像输入至训练好的病害检测模型，得到所述待检测机场道面病害图像中病害对应区域的提取结果之前，获取病害训练图像、语义分割真值图以及语义边缘真值图；
36.对所述病害训练图像进行小波变换，得到低频特征图；
37.采用残差网络对所述病害训练图像进行图像特征提取，得到语义边缘特征图；
38.基于u-net网络根据所述低频特征图以及所述语义边缘特征图对所述病害训练图像编码，得到第一特征图；
39.根据所述低频特征图以及所述语义边缘特征图对所述第一特征图解码，得到语义分割预测图；
40.根据所述语义分割真值图以及所述语义分割预测图确定第一损失函数；
41.根据所述第一损失函数更新所述病害检测模型的参数，得到训练好的病害检测模型。
42.进一步地，所述处理模块具体用于：
43.提取所述病害训练图像中病害的外轮廓，得到图像标注信息；
44.根据所述图像标注信息确定语义分割真值图；
45.基于所述语义分割真值图提取病害区域的语义边缘，得到语义边缘真值图。
46.进一步地，所述处理模块还用于：
47.采用注意力机制得到所述语义边缘特征图的通道域权重矩阵；
48.根据所述语义边缘特征图以及所述通道域权重矩阵得到语义边缘预测图；
49.根据所述语义边缘真值图以及所述语义边缘预测图确定第二损失函数；
50.根据所述第二损失函数更新所述病害检测模型的参数。
51.进一步地，所述处理模块还用于：
52.在所述得到第一特征图之后，所述根据所述低频特征图以及所述语义边缘特征图对所述第一特征图解码之前，采用注意力机制得到所述第一特征图的空间域权重矩阵；
53.根据所述第一特征图以及所述空间域权重矩阵确定第二特征图。
54.进一步地，所述处理模块具体用于：
55.所述待检测机场道面病害图像中病害的类别为裂缝、修补、补丁、地灯和板缝。
56.第三方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的机场道面病害检测的方法。
57.第四方面，本发明还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的机场道面病害检测的方法。
58.由上述技术方案可知，本发明提供的机场道面病害检测的方法、装置、电子设备及存储介质，通过病害检测模型实现了对机场道面图像中多种病害的像素级分割，提高了分割的精度。
附图说明
59.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
60.图1为本发明提供的机场道面病害检测的方法的系统框架；
61.图2为本发明提供的机场道面病害检测的方法的流程示意图；
62.图3为本发明提供的机场道面病害检测的方法的流程示意图；
63.图4为本发明提供的小波变换示意图；
64.图5为本发明提供的残差网络示意图；
65.图6为本发明提供的残差网络示意图；
66.图7为本发明提供的u-net网络示意图；
67.图8为本发明提供的u-net网络示意图；
68.图9为本发明提供的机场道面病害检测的装置的示意图；
69.图10为本发明提供的电子设备的结构示意图。
具体实施方式
70.下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
71.本发明实施例提供的机场道面病害检测的方法，可以适用于如图1所示的系统架构中，该系统架构包括图像传感器100、病害检测模型200。
72.具体的，图像传感器100用于获取待检测机场道面病害图像。
73.病害检测模型200用于在输入待检测机场道面病害图像后，得到待检测机场道面病害图像中病害对应区域的提取结果。
74.需要说明的是，其中，训练好的病害检测模型为利用不同机场道面病害图像以及不同机场道面病害图像对应的语义分割真值图及语义边缘真值图进行训练后得到。
75.需要说明的是，图1仅是本发明实施例系统架构的一种示例，本发明对此不做具体限定。
76.基于上述所示意的系统架构，图2为本发明实施例提供的一种机场道面病害检测的方法所对应的流程示意图，如图2所示，该方法包括：
77.步骤201，获取待检测机场道面图像。
78.具体的，通过图像传感器比如可见光相机拍摄真实环境下的机场道面病害图像。
79.步骤202，将待检测机场道面病害图像输入至训练好的病害检测模型，得到待检测机场道面病害图像中病害对应区域的提取结果。
80.需要说明的是，其中，训练好的病害检测模型为利用不同机场道面病害图像以及不同机场道面病害图像对应的语义分割真值图和语义边缘真值图进行训练后得到。
81.上述方案，通过病害检测模型实现了对机场道面图像中多种病害的像素级分割，提高了分割的精度。
82.本发明实施例在步骤202之前，步骤流程如图3所示，具体如下：
83.步骤301，获取病害训练图像、语义分割真值图以及语义边缘真值图。
84.具体的，提取病害训练图像中病害的外轮廓，得到图像标注信息；
85.根据图像标注信息确定语义分割真值图；
86.基于语义分割真值图提取病害区域的语义边缘，得到语义边缘真值图。
87.在一种可能的实施方式中，采用labelme对病害训练图像进行人工标注，得到机场道面病害图像的语义分割真值图，然后采用matlab从中提取相应的语义边缘真值图。
88.本发明实施例中，待检测机场道面病害图像中病害的类别为裂缝、修补、补丁、地灯和板缝。
89.上述方案，除了裂缝、修补、补丁三种病害，还考虑了地灯和板缝两个机场道面中常见典型类别来更好地检测机场道面，提供了更加详细的信息。
90.步骤302，对病害训练图像进行小波变换，得到低频特征图。
91.在一种可能的实施方式中，对病害训练图像进行哈尔小波变换。
92.具体的，如图4所示，对输入的病害训练图像进行四级哈尔小波变换，将每一级小波变换生成的低频部分作为有效频域信息，并将其作为下一级小波变换的输入，由此得到了ll1、ll2、ll3、ll4。
93.上述方案，多尺度低频信息的提取降低了病害训练图像复杂背景下的噪声。
94.步骤303，采用残差网络对病害训练图像进行图像特征提取，得到语义边缘特征图。
95.在一种可能的实施方式中，采用残差网络resnet101对病害训练图像进行图像特征提取。
96.进一步地，采用注意力机制得到语义边缘特征图的通道域权重矩阵；
97.根据语义边缘特征图以及通道域权重矩阵得到语义边缘预测图；
98.根据语义边缘真值图以及语义边缘预测图确定第二损失函数；
99.根据第二损失函数更新病害检测模型的参数。
100.如图5所示，残差网络五个部分的输出分别为不同尺度的特征图c1、c2、c3、c4、c5。
101.具体的，第一分支的输出结果是对c5进行卷积操作得到的。第二分支则将c1、c2、c3、c5这四个特征图反卷积为同一尺寸，并拼接在一起，最后通过卷积操作输出粗糙的语义边缘预测结果。
102.在一种可能的实施方式中，将语义边缘预测图与语义边缘真值图比较计算加权交叉熵损失并进行反向传播。
103.本发明实施例中，第二损失函数的具体计算公式如下：
[0104][0105]
其中，m表示类别的数量；wc表示类别c的权重；y
ic
为符号函数；n为样本的数量；如果样本i的真实类别等于c取1，否则取0；p
ic
表示观测样本i属于类别c的预测概率。
[0106]
上述方案可以加速网络的收敛，并使得c1、c2、c3、c4包含的噪声对c5对应的预测分支影响降低。
[0107]
上述方案，缓解了语义边缘细小且数量较少，数据集中前景和背景的占比极度不平衡的问题。
[0108]
进一步地，如图6所示，由于采集的图像病害边缘占比很小且一般只占一个像素，为了提升语义边缘的预测效果，本发明实施例在c5预测分支后加上了一个通道域注意力机制，即通过全局池化层和全连接层得到特征图c5的通道域权重矩阵，c5与权重矩阵相乘后的输出经过卷积得到语义边缘分割结果。
[0109]
上述方案，基于残差网络，对残差网络底层特征进行融合，使得语义分割结果受底层特征噪声影响更小。注意力机制的加入使得网络能更好地捕获到细小的边缘特征，从而得到更加精准的预测结果。
[0110]
步骤304，基于u-net网络根据低频特征图以及语义边缘特征图对病害训练图像编码，得到第一特征图。
[0111]
如图7所示，编码部分是由四个卷积块组成的，图中c1、c2、c3、c5为语义边缘特征图，ll1、ll2、ll3、ll4为低频特征图。
[0112]
需要说明的是，每次卷积操作使得特征图边长减半。
[0113]
举例来说，输入图片尺寸为512*512，四次卷积操作之后的特征图尺寸为32*32。
[0114]
步骤305，根据低频特征图以及语义边缘特征图对第一特征图解码，得到语义分割预测图。
[0115]
进一步地，解码部分包含四个反卷积层，每次反卷积操作使得特征图边长翻倍，比
如输入特征图尺寸为64*64，四次反卷积操作之后的特征图尺寸为512*512。
[0116]
基于此，病害训练图像经过u-net网络后得到相同尺寸的的像素级语义分割预测图。
[0117]
步骤306，根据语义分割真值图以及语义分割预测图确定第一损失函数。
[0118]
在一种可能的实施方式中，计算加权交叉熵损失。
[0119]
步骤307，根据第一损失函数更新病害检测模型的参数，得到训练好的病害检测模型。
[0120]
上述方案，采用小波变换提取图像低频信息经过u-net网络进行融合，有助于噪声的消除，提高了语义分割的精度。基于u-net网络对多尺度频域信息特征、语义边缘特征及图像编码器提取特征进行融合，实现了对机场道面图像中多种病害的高精度像素级分割，提高了语义分割结果的精度以及模型的泛化性能。
[0121]
进一步地，本发明实施例在步骤305之前，采用注意力机制得到第一特征图的空间域权重矩阵；
[0122]
根据第一特征图以及空间域权重矩阵确定第二特征图。
[0123]
具体的，如图8所示，编码部分后紧接着一个空间域注意力机制，利用卷积操作得到第一特征图的空间域权重矩阵，第一特征图与权重矩阵相乘后输出加权后的特征图即第二特征图。
[0124]
上述方案，在编码器和解码器之间加入注意力机制对融合特征进行加权处理，提高了语义分割结果的精度。
[0125]
基于同一发明构思，图9示例性的示出了本发明实施例提供的一种机场道面病害检测的装置，该装置可以为一种机场道面病害检测的方法的流程。
[0126]
所述装置，包括：
[0127]
获取模块901，用于获取待检测机场道面病害图像；
[0128]
处理模块902，用于将所述待检测机场道面病害图像输入至训练好的病害检测模型，得到所述待检测机场道面病害图像中不同类型病害对应区域的提取结果；其中，所述训练好的病害检测模型为利用不同机场道面病害图像以及不同机场道面病害图像对应的语义分割真值图以及语义边缘真值图进行训练后得到。
[0129]
进一步地，所述处理模块902还用于：
[0130]
在将所述待检测机场道面病害图像输入至训练好的病害检测模型，得到所述待检测机场道面病害图像中病害对应区域的提取结果之前，获取病害训练图像、语义分割真值图以及语义边缘真值图；
[0131]
对所述病害训练图像进行小波变换，得到低频特征图；
[0132]
采用残差网络对所述病害训练图像进行图像特征提取，得到语义边缘特征图；
[0133]
基于u-net网络根据所述低频特征图以及所述语义边缘特征图对所述病害训练图像编码，得到第一特征图；
[0134]
根据所述低频特征图以及所述语义边缘特征图对所述第一特征图解码，得到语义分割预测图；
[0135]
根据所述语义分割真值图以及所述语义分割预测图确定第一损失函数；
[0136]
根据所述第一损失函数更新所述病害检测模型的参数，得到训练好的病害检测模
型。
[0137]
进一步地，所述处理模块902具体用于：
[0138]
提取所述病害训练图像中病害的外轮廓，得到图像标注信息；
[0139]
根据所述图像标注信息确定语义分割真值图；
[0140]
基于所述语义分割真值图提取病害区域的语义边缘，得到语义边缘真值图。
[0141]
进一步地，所述处理模块902还用于：
[0142]
在所述采用残差网络对所述病害训练图像进行图像特征提取，得到语义边缘特征图之后，采用注意力机制得到所述语义边缘特征图的通道域权重矩阵；
[0143]
根据所述语义边缘特征图以及所述通道域权重矩阵得到语义边缘预测图；
[0144]
根据所述语义边缘真值图以及所述语义边缘预测图确定第二损失函数；
[0145]
根据所述第二损失函数更新所述病害检测模型的参数。
[0146]
进一步地，所述处理模块902还用于：
[0147]
在所述得到第一特征图之后，所述根据所述低频特征图以及所述语义边缘特征图对所述第一特征图解码之前，采用注意力机制得到所述第一特征图的空间域权重矩阵；
[0148]
根据所述第一特征图以及所述空间域权重矩阵确定第二特征图。
[0149]
进一步地，所述处理模块902具体用于：
[0150]
所述待检测机场道面病害图像中病害的类别为裂缝、修补、补丁、地灯和板缝。
[0151]
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图10，所述电子设备具体包括如下内容：处理器1001、存储器1002、通信接口1003和通信总线1004；
[0152]
其中，所述处理器1001、存储器1002、通信接口1003通过所述通信总线1004完成相互间的通信；所述通信接口1003用于实现各设备之间的信息传输；
[0153]
所述处理器1001用于调用所述存储器1002中的计算机程序，所述处理器执行所述计算机程序时实现上述机场道面病害检测的方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：获取待检测机场道面病害图像；将所述待检测机场道面病害图像输入至训练好的病害检测模型，得到所述待检测机场道面病害图像中病害对应区域的提取结果；其中，所述训练好的病害检测模型为利用不同机场道面病害图像以及不同机场道面病害图像对应的语义分割真值图以及语义边缘真值图进行训练后得到。
[0154]
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述机场道面病害检测的方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：获取待检测机场道面病害图像；将所述待检测机场道面病害图像输入至训练好的病害检测模型，得到所述待检测机场道面病害图像中病害对应区域的提取结果；其中，所述训练好的病害检测模型为利用不同机场道面病害图像以及不同机场道面病害图像对应的语义分割真值图以及语义边缘真值图进行训练后得到。
[0155]
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，机场道面病害检测的装置，或者网络设备等)执行本
发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0156]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0157]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，机场道面病害检测的装置，或者网络设备等)执行各个实施例或者实施例的某些部分所述的机场道面病害检测的方法。
[0158]
此外，在本发明中，诸如“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0159]
此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0160]
此外，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0161]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。