一种三维探地雷达裂缝病害识别方法及系统与流程

1.本发明涉及道路病害检测领域，特别是涉及一种三维探地雷达裂缝病害识别方法及系统。


背景技术：

2.在行车荷载、温度、紫外线等作用下，道路路面结构随着运营时间增长将不可避免出现损害，如裂缝、沉陷、层间脱空等；快速、有效、精准的找到路面结构病害位置、类型及确定其严重程度，并预测病害发育情况，对科学合理确定养护时机与制订养护方案具有重大意义。路面结构各类型病害中，裂缝病害是数量最多的病害，三维探地雷达是探测路面结构内部裂缝损伤的有效手段。然而，在三维探地雷达裂缝病害图像解译方面，目前缺乏自动化识别的手段，主要以人工解译为主。人工解译雷达图像存在较多问题，如：解译过程专业性要求较高，缺少足够的数据解译人员；解译过程具有主观性，相同的雷达图像，由不同人员解译，得到的解译结果往往存在差异；人工解译过程耗时长，工作量巨大，解译效率低。另外，单测道的三维探地雷达图像裂缝病害识别过程中，缺乏辅助判定信息，容易产生误判。且雷达数据是分布不均匀的三维点阵，这容易导致显示的图像是变形的，与实际图像不相符合，从而增加识别的难度。
3.研究人员在雷达图像自动解译方面做了大量的研究。提出了canny边缘检测、hough变换、svm(支持向量机，support vector machine)、压缩感知、卷积神经网络等方法。其中，canny边缘检测可实现裂缝的精确分割，但是由于边缘检测只考虑了图像局部梯度变化，存在大量的误报信号，识别精度较低；hough变换是一种检测、定位直线和解析曲线的有效方法，算法精度受随机噪声和信号不连续影响较小，但是由于裂缝没有固定的信号形态特征，hough变换不适合用于裂缝信号的自动识别；svm需要大量的训练样本进行图像特征选择和模型参数优化，主要用于区域归类，不能实现裂缝病害边界的精确分割。近年来兴起的基于卷积神经网络的分类器可通过学习正确标记的图像，从而完成识别其他未标记图像中相似特征的任务。然而该方法在裂缝病害识别上，精度和误判率指标都大幅低于其他目标物，而且，识别结果为矩形区域，未实现对裂缝病害的精确分割。
4.基于上述问题，亟需一种新的裂缝病害识别方法以提高裂缝识别的精确度。


技术实现要素：

5.本发明的目的是提供一种三维探地雷达裂缝病害识别方法及系统，可提高道路裂缝识别的精确度。
6.为实现上述目的，本发明提供了如下方案：
7.一种三维探地雷达裂缝病害识别方法，包括：
8.获取训练样本集；所述训练样本集包括多张道路样本图像及各道路样本图像中各像素的标签信息；所述标签信息包括0和1；0表示对应的像素不是裂缝，1表示对应的像素是裂缝；
9.基于空间注意力机制、vgg16及unet神经网络，构建裂缝unet神经网络；
10.根据所述训练样本集，对裂缝unet神经网络进行训练，得到裂缝识别模型；
11.通过三维探地雷达扫描待识别道路，得到待识别道路图像；
12.根据所述待识别道路图像，基于所述裂缝识别模型，根据待识别道路图像，确定所述待识别道路中的裂缝。
13.可选地，所述通过三维探地雷达扫描待识别道路，得到待识别道路图像，具体包括：
14.采用三维探地雷达通过多通道天线阵列扫描待识别道路，得到各通道的雷达图像；
15.针对每个通道的雷达图像，采用双线性插值法对所述雷达图像中的像素点进行插值，得到对应通道的插值雷达图像；
16.将各通道的插值雷达图像进行拼接，得到待识别道路图像。
17.可选地，所述裂缝unet神经网络包括编码子网络及解码子网络；所述编码子网络与所述解码子网络连接；
18.所述根据所述训练样本集，对裂缝unet神经网络进行训练，得到裂缝识别模型，具体包括：
19.对所述训练样本集中的道路样本图像进行标准化处理，得到对应的标准化图像及各标准化图像中各像素的标签信息；
20.针对每张标准化图像，通过所述编码子网络对所述标准化图像进行编码，得到编码特征图；
21.通过所述解码子网络对所述编码特征图进行解码，得到解码特征图；
22.基于softmax激活函数对所述解码特征图中的各像素进行分类，确定所述解码特征图中各像素的预测结果；所述预测结果包括0和1；
23.根据解码特征图中各像素的预测结果及所述标准化图像中各像素的标签信息，确定损失函数，并根据损失函数对编码子网络及解码子网络进行迭代训练，直至损失函数收敛，以得到最优的裂缝unet神经网络，最优的裂缝unet神经网络为裂缝识别模型。
24.可选地，所述编码特征图包括第一残差图、第二残差图、第三残差图、第四残差图及最终编码特征图；
25.所述编码子网络包括依次连接的第一编码层、第一最大池化层、第二编码层、第二最大池化层、第三编码层、第三最大池化层、第四编码层、第四最大池化层及第五编码层；所述第一编码层、所述第二编码层、所述第三编码层、所述第四编码层及所述第五编码层还与所述解码子网络连接；
26.所述通过所述编码子网络对所述标准化图像进行编码，得到编码特征图，具体包括：
27.通过第一编码层对所述标准化图像进行编码，得到第一编码特征图；
28.通过第一最大池化层对所述第一编码特征图进行池化操作，得到第一池化特征图；
29.对所述第一编码特征图进行残差压缩，得到第一残差图；
30.通过第二编码层对所述第一池化特征图进行编码，得到第二编码特征图；
31.通过第二最大池化层对所述第二编码特征图进行池化操作，得到第二池化特征图；
32.对所述第二编码特征图进行残差压缩，得到第二残差图；
33.通过第三编码层对所述第二池化特征图进行编码，得到第三编码特征图；
34.通过第三最大池化层对所述第三编码特征图进行池化操作，得到第三池化特征图；
35.对所述第三编码特征图进行残差压缩，得到第三残差图；
36.通过第四编码层对所述第三池化特征图进行编码，得到第四编码特征图；
37.通过第四最大池化层对所述第四编码特征图进行池化操作，得到第四池化特征图；
38.对所述第四编码特征图进行残差压缩，得到第四残差图；
39.通过第五编码层对所述第四池化特征图进行编码，得到最终的编码特征图。
40.可选地，所述解码子网络包括依次连接的第一上采样层、第一解码层、第二上采样层、第二解码层、第三上采样层、第三解码层、第四上采样层及第四解码层；所述第一编码层与所述第四解码层跳跃连接；所述第二编码层与所述第三解码层跳跃连接；所述第三编码层与所述第二解码层跳跃连接；所述第四编码层与所述第一解码层跳跃连接；所述第五编码层与所述第一上采样层连接；
41.所述通过所述解码子网络对所述编码特征图进行解码，得到解码特征图，具体包括：
42.通过第一上采样层对所述编码特征图进行上采样，得到第一上采样特征图；
43.将所述第一上采样特征图与所述第四残差图进行拼接，得到第一拼接图；
44.通过第一解码层对所述第一拼接图进行解码，得到第一解码图；
45.通过第二上采样层对所述第一解码图进行上采样，得到第二上采样特征图；
46.将所述第二上采样特征图与所述第三残差图进行拼接，得到第二拼接图；
47.通过第二解码层对所述第二拼接图进行解码，得到第二解码图；
48.通过第三上采样层对所述第二解码图进行上采样，得到第三上采样特征图；
49.将所述第三上采样特征图与所述第二残差图进行拼接，得到第三拼接图；
50.通过第三解码层对所述第三拼接图进行解码，得到第三解码图；
51.通过第四上采样层对所述第三解码图进行上采样，得到第四上采样特征图；
52.将所述第四上采样特征图与所述第一残差图进行拼接，得到第四拼接图；
53.通过第四解码层对所述第四拼接图进行解码，得到解码特征图。
54.可选地，所述第一编码层包括依次连接的第一卷积-特征选择模块及第一并行多向注意力机制模块；所述第一并行多向注意力机制模块还与所述第一最大池化层及所述解码子网络连接；
55.所述通过第一编码层对所述标准化图像进行编码，得到第一编码特征图，具体包括：
56.通过第一卷积-特征选择模块对所述标准化图像进行特征提取，得到第一特征图；
57.通过第一并行多向注意力机制模块对所述第一特征图中的像素建立关联关系，得到第一编码特征图。
58.可选地，所述第一卷积-特征选择模块包括四个二维卷积核及一个通道注意力模块；四个二维卷积核的核大小分别为3
×
3、3
×
3、2
×
2、2
×
2；
59.所述通过第一卷积-特征选择模块对所述标准化图像进行特征提取，得到第一特征图，具体包括：
60.分别通过四个二维卷积核对所述标准化图像进行卷积操作，得到对应的四个卷积特征图；
61.将四个卷积特征图进行拼接，得到拼接卷积特征图；
62.通过通道注意力模块对所述拼接卷积特征图加权，并进行特征选择，得到第一特征图。
63.可选地，所述第一并行多向注意力机制模块包括2
×
1卷积核、1
×
2卷积核、2
×
2卷积核、1
×
1卷积核；
64.所述通过第一并行多向注意力机制模块对所述第一特征图中的像素建立关联关系，得到第一编码特征图，具体包括：
65.通过2
×
1卷积核对所述第一特征图中每个像素点与其左方的像素点建立关联关系，得到左像素关联图；
66.通过1
×
2卷积核对所述第一特征图中每个像素点与其下方的像素点建立关联关系，得到下像素关联图；
67.通过2
×
2卷积核及1
×
1卷积核对所述第一特征图中每个像素点与其两个对角线上相邻的四个像素点建立关联关系，得到对角像素关联图；
68.将所述左像素关联图、下像素关联图及对角像素关联图连接，得到连接像素关联图；
69.根据所述连接像素关联图及所述第一特征图，确定第一关联特征图。
70.为实现上述目的，本发明还提供了如下方案：
71.一种三维探地雷达裂缝病害识别系统，包括：
72.样本获取单元，用于获取训练样本集；所述训练样本集包括多张道路样本图像及各道路样本图像中各像素的标签信息；所述标签信息包括0和1；0表示对应的像素不是裂缝，1表示对应的像素是裂缝；
73.网络构建单元，用于基于空间注意力机制、vgg16及unet神经网络，构建裂缝unet神经网络；
74.训练单元，分别与所述样本获取单元及所述网络构建单元连接，用于根据所述训练样本集，对裂缝unet神经网络进行训练，得到裂缝识别模型；
75.扫描单元，用于通过三维探地雷达扫描待识别道路，得到待识别道路图像；
76.识别单元，分别与所述训练单元及所述扫描单元连接，用于根据所述待识别道路图像，基于所述裂缝识别模型，根据待识别道路图像，确定所述待识别道路中的裂缝。
77.根据本发明提供的具体实施例，本发明公开了以下技术效果：基于空间注意力机制、vgg16及unet神经网络，构建裂缝unet神经网络，根据训练样本集对其进行训练，得到裂缝识别模型，在实际应用时，根据待识别道路图像，基于裂缝识别模型，通过对图像中每一个像素进行分类，能够精准识别出道路中的裂缝。
附图说明
78.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
79.图1为本发明三维探地雷达裂缝病害识别方法的流程图；
80.图2为裂缝unet神经网络的结构示意图；
81.图3为残差压缩模块的结构示意图；
82.图4为多路卷积-特征选择模块的结构示意图；
83.图5为并行多向注意力机制模块的结构示意图；
84.图6为三维探地雷达全断面覆盖检测示意图；
85.图7为双线性插值示意图；
86.图8(a)为训练集损失下降曲线示意图；
87.图8(b)为验证集损失下降曲线示意图；
88.图9为本发明三维探地雷达裂缝病害识别系统的模块结构示意图。
89.符号说明：
90.样本获取单元-1，网络构建单元-2，训练单元-3，扫描单元-4，识别单元-5。
具体实施方式
91.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
92.本发明的目的是提供一种三维探地雷达裂缝病害识别方法及系统，通过基于空间注意力机制、vgg16及unet神经网络，构建裂缝unet神经网络，通过对图像中每一个像素进行分类，能够精准识别出道路中的裂缝。
93.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
94.如图1所示，本发明三维探地雷达裂缝病害识别方法包括：
95.s1：获取训练样本集。所述训练样本集包括多张道路样本图像及各道路样本图像中各像素的标签信息。所述标签信息包括0和1；0表示对应的像素不是裂缝，1表示对应的像素是裂缝。
96.s2：基于空间注意力机制、vgg16及unet神经网络，构建裂缝unet神经网络。
97.s3：根据所述训练样本集，对裂缝unet神经网络进行训练，得到裂缝识别模型。
98.s4：通过三维探地雷达扫描待识别道路，得到待识别道路图像。
99.s5：根据所述待识别道路图像，基于所述裂缝识别模型，根据待识别道路图像，确定所述待识别道路中的裂缝。
100.进一步地，裂缝unet神经网络包括编码子网络及解码子网络；编码子网络与解码子网络连接。具体地，本发明使用的裂缝unet神经网络(crackunet)是基于vgg16改进的
unet语义分割网络，其网络结构如图2所示，图中的灰色长方形为每一步输出的特征图。
101.步骤s3具体包括：
102.s31：对所述训练样本集中的道路样本图像进行标准化处理，得到对应的标准化图像及各标准化图像中各像素的标签信息。为了使得训练出的模型有更好的泛化能力并提高训练效率，本发明对训练样本集中的道路样本图像进行了标准化处理，将图像通过均值实现中心化。数据中心化后的数据更加符合分布规律。具体地，采用以下公式，对道路样本图像进行标准化处理：
[0103][0104]
其中，x
′
为标准化图像矩阵，x为道路样本图像矩阵，μ为道路样本图像矩阵的均值，σ为道路样本图像矩阵的标准差。
[0105]
s32：针对每张标准化图像，通过所述编码子网络对所述标准化图像进行编码，得到编码特征图。具体地，所述编码特征图包括第一残差图、第二残差图、第三残差图、第四残差图及最终编码特征图。所述编码子网络包括依次连接的第一编码层、第一最大池化层、第二编码层、第二最大池化层、第三编码层、第三最大池化层、第四编码层、第四最大池化层及第五编码层；所述第一编码层、所述第二编码层、所述第三编码层、所述第四编码层及所述第五编码层还与所述解码子网络连接。
[0106]
步骤s32具体包括：通过第一编码层对所述标准化图像进行编码，得到第一编码特征图。通过第一最大池化层对所述第一编码特征图进行池化操作，得到第一池化特征图。对所述第一编码特征图进行残差压缩，得到第一残差图。在本实施例中，标准化图像的图片尺寸为512
×
512，便于倍数为2的下采样，且尽可能的使得尺寸接近原图尺寸，防止图片缩小带来的特征损失。
[0107]
通过第二编码层对所述第一池化特征图进行编码，得到第二编码特征图。通过第二最大池化层对所述第二编码特征图进行池化操作，得到第二池化特征图。对所述第二编码特征图进行残差压缩，得到第二残差图。
[0108]
通过第三编码层对所述第二池化特征图进行编码，得到第三编码特征图。通过第三最大池化层对所述第三编码特征图进行池化操作，得到第三池化特征图。对所述第三编码特征图进行残差压缩，得到第三残差图。
[0109]
通过第四编码层对所述第三池化特征图进行编码，得到第四编码特征图。通过第四最大池化层对所述第四编码特征图进行池化操作，得到第四池化特征图。对所述第四编码特征图进行残差压缩，得到第四残差图。
[0110]
通过第五编码层对所述第四池化特征图进行编码，得到最终的编码特征图。
[0111]
在本实施例中，采用rs(residual squeeze block，残差压缩模块)对各编码特征图进行残差压缩，压缩特征通道，减少网络模型的参数量。由于在裂缝unet神经网络中，解码层会连接对应编码层的特征作为补充，但由于编码层比较解码层属于浅层区域，包含有大量的“粗糙”信息，全部连接这些特征会使得解码层在补充信息时需要重新“细化”这些特征，而且因为并非所有信息都是有效的，这无异于给深层的特征加入大量的噪声。因此只需要对解码层补充适当的信息即可，无需把特征全部连接进解码层中。因此采用rs模块去除多余的通道已到达减少参数量的目的，本发明采用的残差压缩模块的结构非常简单，如图3
所示。特征图进入残差压缩模块后会进行步长为2的最大池化，保留响应最大的特征值，接着使用反池化恢复分辨率，保留空间上最有效的特征用于连接。最后使用2
×
2的普通卷积改变特征通道，本实施例中的压缩率为0.25，即将通道数压缩为原来的1/4。
[0112]
在本实施例中，第一编码层包括依次连接的第一卷积-特征选择模块及第一并行多向注意力机制模块。所述第一并行多向注意力机制模块还与所述第一最大池化层及所述解码子网络连接。通过第一编码层对所述标准化图像进行编码，得到第一编码特征图，具体包括：
[0113]
通过第一卷积-特征选择模块对所述标准化图像进行特征提取，得到第一特征图。具体地，第一卷积-特征选择模块包括四个二维卷积核及一个senet(sequeeze-excitation，通道注意力)模块。四个二维卷积核的核大小分别为3
×
3、3
×
3、2
×
2、2
×
2。分别通过四个二维卷积核对所述标准化图像进行卷积操作，得到对应的四个卷积特征图。将四个卷积特征图进行拼接，得到拼接卷积特征图。通过通道注意力模块对所述拼接卷积特征图加权，并进行特征选择，得到第一特征图。
[0114]
具体地，多路卷积-特征选择模块能够提供多样性的特征，并从通道的维度赋予有效的特征更高的权重。mc-fs(multi convolution-feature selection block，多路卷积-特征选择)模块由并行的卷积、扩张卷积以及通道注意力模块组成。其结构如图4所示，图中的w，h，c分别代表输入特征的宽、高、通道数。输入特征先进行并行的四个卷积，其中两个为3
×
3和2
×
2且扩张率为2的扩张卷积，目的是为了用少量的参数获取更大的感受野，3
×
3和2
×
2标准卷积的加入避免了扩张卷积的棋盘效应，消除了扩张卷积提取特征的不连续性、局部特征丢失的问题。因此对一个输入特征，mc-fs模块生成了4种特征，而且每一种特征的通道数为输出特征的1/4，连接这四路特征后恢复输出通道数。最后加入了通道注意力模块对各通道进行加权，实现特征选择，赋予有效的通道更高的权重。对标准化图像u∈rh×w×c进行压缩操作，通常为全局池化，将特征形状压缩为1
×1×
c，然后进行一次激活操作，通常是普通卷积或全连接层的使用，学习出通道的权重。最后是对特征图u进行加权，得到第一特征图同样的，通道注意力使用前后，不改变特征的形状。扩张卷积和标准卷积的组合同时捕获了较大的感受野和小感受野，避免了棋盘效应同时减少了参数量。四路并行卷积使得提取出的特征组合起来更具有多样性，使用通道注意力模块多样性的特征加权可以使得提取出的特征更加准确有效。
[0115]
通过第一并行多向注意力机制模块对所述第一特征图中的像素建立关联关系，得到第一编码特征图。具体地，所述第一并行多向注意力机制模块包括2
×
1卷积核、1
×
2卷积核、2
×
2卷积核、1
×
1卷积核。通过2
×
1卷积核对所述第一特征图中每个像素点与其左方的像素点建立关联关系，得到左像素关联图。通过1
×
2卷积核对所述第一特征图中每个像素点与其下方的像素点建立关联关系，得到下像素关联图。通过2
×
2卷积核及1
×
1卷积核对所述第一特征图中每个像素点与其两个对角线上相邻的四个像素点建立关联关系，得到对角像素关联图。将所述左像素关联图、下像素关联图及对角像素关联图连接，得到连接像素关联图。根据所述连接像素关联图及所述第一特征图，确定第一关联特征图。
[0116]
注意力机制是提高网络性能的常用的轻量级模块，其原理是对特征的特定维度加权，这种加权是神经网络自学习的，不需要人工介入。本发明采用的pmda(parallel multi-directional attention，并行多向注意力机制)是一种空间注意力机制，其原理是将一个3
×
3的卷积核分解成4个部分，人为地从结构上为一个像素点与其相邻像素点建立起关联关系，其结构如图5所示。
[0117]
pmda可分为四路，由上往下看，对于形状为h
×w×
c的输入特征a，前两路分别使用一个2
×
1和一个1
×
2的卷积核对特征a(第一特征图)中的每个像素点与其左方和下方的像素点建立关联关系，两路卷积分别得到特征b和c。而第三和第四路使用的是一个扩张率为2的2
×
2卷积核和一个1
×
1的卷积核，这两路联合起作用，目的是为了建立每个像素点与其两个对角线上相邻的四个像素点建立关联关系，因此对这两路的结果进行add操作得到融合后的特征d。然后对特征b、c、d的连接结果f再使用一个2
×
2的卷积核合并特征f的通道得到特征g，并使用sigmoid激活函数将其数值转化成(0,1)区间的权重。最后将g与原特征图a相乘，完成特征图中的像素加权得到a
′
(第一关联特征图)。由于使用的卷积核数量只有5个，且卷积核很小，因此注意力模块只增加模型很少的参数且很容易实现。
[0118]
因为裂缝通常是细长且连续的，如果一个像素为裂缝像素，其相邻像素中极有可能存在裂缝像素；若此像素为背景，则其相邻区域也极可能为背景，因此对像素建立起关联关系更有利于裂缝特征提取。本发明的裂缝unet神经网络中编码子网络的每一层都添加了pmda模块以提高编码器的裂缝特征提取能力。
[0119]
进一步地，第二编码层包括依次连接的第二卷积-特征选择模块及第二并行多向注意力机制模块。第二卷积-特征选择模块还与第一最大池化层连接，第二并行多向注意力机制模块还与第二最大池化层及第三解码层连接。通过第二卷积-特征选择模块对第一池化特征图进行特征提取，得到第二特征图。通过第二并行多向注意力机制模块对所述第二特征图中的像素建立关联关系，得到第二编码特征图。
[0120]
第三编码层包括依次连接的第三卷积-特征选择模块、第一二维卷积模块及第三并行多向注意力机制模块。第三卷积-特征选择模块还与第二最大池化层连接。第三并行多向注意力机制模块还与第三最大池化层及第二解码层连接。通过第三卷积-特征选择模块对第二池化特征图进行特征提取，得到第三特征图。通过第一二维卷积模块对第三特征图进行特征提取，得到第一二维特征图。通过第三并行多向注意力机制模块对第一二维特征图中的像素建立关联关系，得到第三编码特征图。
[0121]
第四编码层包括依次连接的第四卷积-特征选择模块、第二二维卷积模块及第四并行多向注意力机制模块。第四卷积-特征选择模块还与第三最大池化层连接。第四并行多向注意力机制模块还与第四最大池化层及第一解码层连接。通过第四卷积-特征选择模块对第三池化特征图进行特征提取，得到第四特征图。通过第二二维卷积模块对第四特征图进行特征提取，得到第二二维特征图。通过第四并行多向注意力机制模块对第二二维特征图中的像素建立关联关系，得到第四编码特征图。
[0122]
第五编码层包括依次连接的第五卷积-特征选择模块、第三二维卷积模块及第五并行多向注意力机制模块。第五卷积-特征选择模块还与第四最大池化层连接。第五并行多向注意力机制模块还与第一上采样层连接。通过第五卷积-特征选择模块对第四池化特征图进行特征提取，得到第五特征图。通过第三二维卷积模块对第五特征图进行特征提取，得到第三二维特征图。通过第五并行多向注意力机制模块对第三二维特征图中的像素建立关联关系，得到最终的编码特征图。
[0123]
其中，第一二维卷积模块、第二二维卷积模块和第三二维卷积模块均为3
×
3的卷
积核。第二卷积-特征选择模块、第三卷积-特征选择模块、第四卷积-特征选择模块和第五卷积-特征选择模块的处理过程与第一卷积-特征选择模块的处理过程相同，第二并行多向注意力机制模块、第三并行多向注意力机制模块、第四并行多向注意力机制模块和第五并行多向注意力机制模块的处理过程与第一并行多向注意力机制模块的处理过程相同，在此不再赘述。
[0124]
网络中的多路卷积-特征选择模块放在每层的第一个位置是为了增加通道数的同时提取出多种特征，然后对这些特征进行选择，确保在后续操作中所输入的特征的有效性从而提高编码子网络的编码能力。网络中选择了使用3
×
3的卷积核进行进一步特征提取，是因为mc-fs模块包含了扩张卷积，已经具有较大的感受野，此时使用小卷积核可以减少模型的整体参数量。接着并行多向注意力机制模块会对特征的像素建立关联关系，从而对裂缝像素进行加权，加强网络都裂缝特征的提取能力。最后输出的特征执行最大池化以降低特征的分辨率。
[0125]
s33：通过所述解码子网络对所述编码特征图进行解码，得到解码特征图。具体地，解码子网络包括依次连接的第一上采样层、第一解码层、第二上采样层、第二解码层、第三上采样层、第三解码层、第四上采样层及第四解码层；所述第一编码层与所述第四解码层跳跃连接；所述第二编码层与所述第三解码层跳跃连接；所述第三编码层与所述第二解码层跳跃连接；所述第四编码层与所述第一解码层跳跃连接；所述第五编码层与所述第一上采样层连接。
[0126]
步骤s33具体包括：通过第一上采样层对所述编码特征图进行上采样，得到第一上采样特征图。将所述第一上采样特征图与所述第四残差图进行拼接，得到第一拼接图。
[0127]
通过第一解码层对所述第一拼接图进行解码，得到第一解码图。通过第二上采样层对所述第一解码图进行上采样，得到第二上采样特征图。将所述第二上采样特征图与所述第三残差图进行拼接，得到第二拼接图。
[0128]
通过第二解码层对所述第二拼接图进行解码，得到第二解码图。通过第三上采样层对所述第二解码图进行上采样，得到第三上采样特征图。将所述第三上采样特征图与所述第二残差图进行拼接，得到第三拼接图。
[0129]
通过第三解码层对所述第三拼接图进行解码，得到第三解码图。通过第四上采样层对所述第三解码图进行上采样，得到第四上采样特征图。将所述第四上采样特征图与所述第一残差图进行拼接，得到第四拼接图。
[0130]
通过第四解码层对所述第四拼接图进行解码，得到解码特征图。
[0131]
编码子网络的最后一层开始进入解码子网络，编码子网络最后一层的输出特征被上采样，分辨率变成原本的两倍形成解码子网络部分的特征，并与对应编码层输出的残差图连接，编码层的特征先进入压缩模块进行通道压缩，去除不必要的浅层特征的同时缩小网络规模后再连接，防止信息丢失，然后进行两次特征提取。上述步骤执行四次后完成解码，解码后特征图的分辨率与原图一致，通道数为类别数，然后对每个像素的所有通道进行softmax激活完成像素级分类。
[0132]
s34：基于softmax激活函数对所述解码特征图中的各像素进行分类，确定所述解码特征图中各像素的预测结果；所述预测结果包括0和1。
[0133]
s35：根据解码特征图中各像素的预测结果及所述标准化图像中各像素的标签信
息，确定损失函数，并根据损失函数对编码子网络及解码子网络进行迭代训练，直至损失函数收敛，以得到最优的裂缝unet神经网络，最优的裂缝unet神经网络为裂缝识别模型。
[0134]
由于裂缝为细长特征，其像素在图像中所占的比例较少，本发明使用dice loss和focal loss作为损失函数：
[0135][0136]
其中，loss为损失函数值，n为标准化图像的像素总数，pi为标准化图像中第i个像素的预测结果，yi为标准化图像中第i个像素的标签信息，γ为常数2，p
t
为模型对预测结果为正样本的预测概率，
[0137]
进一步地，步骤s4具体包括：
[0138]
s41：采用三维探地雷达通过多通道天线阵列扫描待识别道路，得到各通道的雷达图像。多通道天线阵每次扫描宽度为1.5米，通过设置多个检测道，后期结合精确的定位数据将多条数据进行拼接，从而实现对任何道路的全断面覆盖扫描，如图6所示。在进行雷达数据识别处理过程中，将三维的雷达数据以切片的形式转化为二维图片数据，建立xyz三维坐标系，以雷达天线行进方向为x轴，垂直于大地的深度方向为z轴，垂直于xz平面方向为y轴，则可以得到相互垂直的三种切片，分别为xy切片，yz切片及xz切片。
[0139]
s42：针对每个通道的雷达图像，采用双线性插值法对所述雷达图像中的像素点进行插值，得到对应通道的插值雷达图像。
[0140]
具体地，三维雷达采集的数据矩阵横向(y)间距为0.071m，前进方向(x)间距0.025m，深度方向(z)间距约为0.009m，为了使数据矩阵均匀，需要对横向(y)、前进方向(x)进行插值，使间距与深度方向接近，使x、y、z三个维度点间距均为0.009m，插值计算方法如图7所示。对任意相邻的检测数据点p1(x1,y1,f1)、p2(x1,y2,f2)、p3(x2,y2,f3)、p4(x2,y1,f4)，f1、f2、f3、f4为四点的雷达数据值，在四点为角点的矩形区域中任意位置插入一点q(x,y,f)，采用以下公式确定随机点的雷达数据值f：
[0141][0142]
基于上式可计算任意坐标下的雷达数据值。裂缝信号在yz平面和xz平面上并不明显，在xy平面上表现较明显，这与裂缝病害长度较长，但是宽度和高度一般较小有关。因此，主要截取三维雷达数据的xy平面识别裂缝病害。
[0143]
s43：将各通道的插值雷达图像进行拼接，得到待识别道路图像。
[0144]
由于分车道扫描过程中也可能会漏掉部分区域，所以图片可能会留下黑色区域，黑色区域划分出的各个雷达信号区域都对应着一条车道。又因为行车过程中可能会遇到障碍物，因此每个车道的雷达图像有可能是弯曲的，也有可能是会有重合部分，但有效的雷达信息大多数不会受到影响，依然能够实现裂缝的分割。
[0145]
步骤s1中训练样本集的获取方法与待识别道路图像的获取方法相同，在此不再赘述。训练模型使用的数据集由探地雷达xy平面组成。各个测道扫描后需要对各测道图片进行拼接以得到一段完整的道路雷达图片，采用上述方法得到大量道路水平面的雷达图像，并从图像中挑选适当数量的裂缝图像和无病害的图像构成数据集。雷达图像裂缝信号和在
路表上看到的裂缝形状是一样，颜色上表现为与周边差异较大的偏暗或偏亮。挑选时应保证数据集中含有各种常见形状的裂缝，包括横向裂缝、纵向裂缝、交叉裂缝。
[0146]
本发明使用的数据集中包含了4915张图片，每张图片分辨率为604
×
604。完成挑选后使用labelme工具标注图像的裂缝区域。由于雷达图像与常见的rgb图像不同，可能存在较多的干扰信号，或者受不同工况的影响，无法准确确定裂缝的边缘像素。又因为中间的黑色区域为连接时的空缺区域，不属于裂缝部分，因此分成两部分标注。最终3915张图片作为训练集和验证集，两者比例8：2，其中验证集不参与训练，用于对每一轮训练结果的验证。剩余的图片作为测试集，测试集分成两部分，第一部分为裂缝测试集，每张图片都包含裂缝，共500张，用于测试模型对裂缝的分割能力。剩余500张为无裂缝测试集，用于测试模型是否容易产生误判。
[0147]
为了证明本发明提供的crack unet对裂缝的识别精度，以下对不同算法的效果进行对比说明。
[0148]
试验使用的训练配置是图形处理器型号为nvidia 1080ti，显存11gb，操作系统为centeros7的计算平台，深度学习框架使用的是以tensorflow-gpu为后端的keras。在训练过程中使用随机水平翻转，平移，放缩对数据集进行数据增强。优化器选择的是adam，初始学习率设置为10-5，批量设置为3，训练轮次设置为200，并使用了学习率自动降低和提前终止的机制，即监控验证集的损失，在6个轮次内验证损失没有下降，学习率减半，如果持续到10个轮次，训练就终止。训练集损失和验证集损失下降曲线如图8(a)和图8(b)所示，由于设置了自动停止策略，模型在第63次迭代时就收敛了。
[0149]
本发明使用mpa(mean pixel accuracy，平均像素准确率)、miou(mean intersection over union，平均交并比)、flops(floating-point operations，浮点运算次数)和fps(frames per second，每秒传输帧数)来作为对模型的评估指标。其中平均像素准确率是所有像素中被分类正确的个数占所有像素的比例，可用于评估像素级分类的精确度。分割结果中的每一个像素都对应着以下四个类别之一：
[0150]
(1)真正例(true positive，tp)：模型预测为正例，标签也是正例；
[0151]
(2)假正例(false positive，fp)：模型预测为正例，标签是反例；
[0152]
(3)假反例(false negative，fn)：模型预测为反例，标签是正例；
[0153]
(4)真反例(true negative，tn)：模型预测为反例，标签也是反例。
[0154]
则对语义分割中的一个类别，pa(pixel accuracy，像素准确率)为：
[0155][0156]
mpa则是所有类别pa之和的均值，语义分割除了待分割的目标类别之外，还具有背景这个默认存在的类别，因此本发明的分割类别有裂缝和背景两种。iou(intersection over union，交并比)是标签区域与预测区域的交集除以它们的并集，即对于标签区域ta和预测区域ca，iou表示为：
[0157][0158]
miou则是所有类别的iou之和的平均值。iou可以评估分割区域与标签预期的重合程度。flops表示的是神经网络的浮点数运算次数，可用于评估模型的计算量或者复杂度，
单个卷积层的flops计算如下：
[0159]
flops＝(2
×cin
×k2-1)
×h×w×cout
；
[0160]
其中，c
in
为输入通道数，k为卷积核大小，h和w分别为输出特征图的高和宽，c
out
为输出通道数。
[0161]
本发明使用当前主流的模型与crack unet在测试集中进行语义分割指标的对比，测试在裂缝数据集中进行了相关的对比实验，对比的模型包括deeplabv3，pspnet，和unet，本发明所有的测试环境与训练环境相同，对比结果如表1所示：
[0162]
表1 不同模型指标对比
[0163][0164][0165]
可见，本发明所提供的crack unet的mpa和miou都比其他模型要高，其中mpa对比deeplabv3、pspnet、unet分别高出7.35％、2.27％、3.6％，miou分别高出了1.4％、0.99％、2.27％，均为较大提升，且模型的flops也为最低。虽然cracknet的fps仍然较低，分割速度较慢，但也已经达到了实时检测的水平。在道路检测实际工程应用中更加注重对病害的识别能力，因此本发明相比目前的主流算法在雷达图像的裂缝分割任务中有更好的分割能力。
[0166]
为了测试模型在无裂缝工况下的精确度，本发明对所有的模型在无裂缝数据集中都进行了测试，并计算出了各个模型在无裂缝数据集中，在不同误报百分比阈值下的精确度，此处的误报百分比为一张图片中分类错误的像素占总像素的百分比，实验使用了三个阈值，分别为《1％，《0.5％和《0.1％。测试结果如表2所示。
[0167]
表2 各模型在无裂缝测试集中不同误报占比阈值下的分割正确率
[0168]
占比deeplabv3unetpspnetcrack unet《0.1％92.80％53.80％90.80％88.80％《0.5％98.20％80.40％95.80％94.40％《1％99.40％93.40％98.53％97.20％
[0169]
在无裂缝数据集测试试验中，unet在各个阈值的精确度都最低，虽然crack unet的正确率88.80％不是最高的，但与deeplabsv3和pspnet也相差无几。综合两个数据集的精确度，可以看出deeplabv3和unet的表现并不稳定，deeplabv3在裂缝测试集中表现不佳，但在无裂缝测试集中表现最好，因此deeplabv3的分割能力较低。而unet则相反，在裂缝测试集中的表现良好，但在无裂缝测试集中产生较多的误报，因此unet的分割能力较好，但很容易分类错误，鲁棒性不高。pspnet较为稳定，且精确度较高，但pspnet在裂缝测试集的精度较低，虽然crack unet在无裂缝测试集中的表现不是最佳，但与deeplabv3和pspnet差距较小。
[0170]
如图9所示，本发明三维探地雷达裂缝病害识别系统包括：样本获取单元1、网络构建单元2、训练单元3、扫描单元4及识别单元5。
[0171]
其中，所述样本获取单元1用于获取训练样本集。所述训练样本集包括多张道路样本图像及各道路样本图像中各像素的标签信息。所述标签信息包括0和1；0表示对应的像素不是裂缝，1表示对应的像素是裂缝。
[0172]
所述网络构建单元2用于基于空间注意力机制、vgg16及unet神经网络，构建裂缝unet神经网络。
[0173]
所述训练单元3分别与所述样本获取单元1及所述网络构建单元2连接，所述训练单元3用于根据所述训练样本集，对裂缝unet神经网络进行训练，得到裂缝识别模型。
[0174]
所述扫描单元4用于通过三维探地雷达扫描待识别道路，得到待识别道路图像。
[0175]
所述识别单元5分别与所述训练单元3及所述扫描单元4连接，所述识别单元5用于根据所述待识别道路图像，基于所述裂缝识别模型，根据待识别道路图像，确定所述待识别道路中的裂缝。
[0176]
具体地，所述扫描单元4包括：通道扫描模块、插值模块及拼接模块。
[0177]
其中，所述通道扫描模块用于采用三维探地雷达通过多通道天线阵列扫描待识别道路，得到各通道的雷达图像。
[0178]
所述插值模块与所述通道扫描模块连接，所述插值模块用于针对每个通道的雷达图像，采用双线性插值法对所述雷达图像中的像素点进行插值，得到对应通道的插值雷达图像。
[0179]
所述拼接模块与所述插值模块连接，所述拼接模块用于将各通道的插值雷达图像进行拼接，得到待识别道路图像。
[0180]
相对于现有技术，本发明三维探地雷达裂缝病害识别系统与上述三维探地雷达裂缝病害识别方法的有益效果相同，在此不再赘述。
[0181]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0182]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。