一种坝面裂缝语义分割方法

1.本发明涉及道路工程技术检测领域，具体涉及一种坝面裂缝语义分割方法。


背景技术：

2.随着信息、自动化控制以及测绘技术的发展，混凝土大坝结构测量呈现越来越集成化、精细化和标准化。定期的裂缝检测对大坝等水利枢纽基础设施的维护和运行起着至关重要的作用。根据裂缝的形态和位置特征，推断大坝内在损伤和潜在原因，为结构风险评估提供合理指导。由于坝面所含裂缝数量庞大、种类繁多，采用传统的人工巡检对裂缝信息进行采集和记录是相当费时费力且低效的，并且不同的人会产生不同的检测结果，缺乏客观性。
3.目前基于图像处理和深度学习的自动裂缝检测方法已成为主流趋势，且取得了不错的检测效果。就利用图像处理算法检测裂缝而言，尽管能在一定程度上降低检测成本、提升检测效率和精度，但是也存在一些无法避免的问题：(1)导致更频繁的检测周期；(2)需要手动设置阈值，当图像间存在较大差异时，操作相对繁琐，泛化能力不足；(3)性能大都严重依赖于数据的优劣，对噪声十分敏感。而采用深度学习的方式，在检测精度、鲁棒性和泛化能力方面展现出了前所未有的优势，但是依然存在一些不足之处：(1)大都采用成熟的编码网络提取裂缝特征，由于裂缝的分布情况和像素特征与coco、voc等公开数据集的目标对象不尽相同，导致提取的裂缝信息不完整，检测精度受限；(2)缺乏对裂缝数据正负样本不均衡问题的妥善解决。


技术实现要素：

4.针对现有技术中的上述不足，本发明提供的一种坝面裂缝语义分割方法解决了现有技术抗干扰能力差和检测精度受限的问题。
5.为了达到上述发明目的，本发明采用的技术方案为：
6.提供一种坝面裂缝语义分割方法，其包括以下步骤：
7.s1、通过预训练网络模型对智能机器人采集的原始数据进行裂缝筛查和分类，即判断坝面是否存在裂缝，若是则计算得到含有裂缝的数据，并进入步骤s2；否则得到坝面裂缝结果，并结束处理；
8.s2、通过图像预处理方式对含有裂缝的数据进行处理，并通过图像增强算法对含有裂缝的数据进行平滑噪声处理，得到平滑噪声后的数据；
9.s3、通过图像增广算法将平滑噪声后的数据进行裂缝数据量的扩充，得到裂缝数据集；
10.s4、通过像素级标注软件对裂缝数据集进行像素级标注，并按比例将裂缝数据集划分为训练集、验证集和测试集；
11.s5、基于统计学原理对裂缝数据集进行像素分析，得到分析结果；
12.s6、根据分析结果设置卷积神经网络，并利用训练集和验证集对设置的卷积神经
网络进行迭代训练，得到坝面裂缝分割检测模型；
13.s7、通过测试集对坝面裂缝分割检测模型进行测试，得到分割结果；
14.s8、判断分割结果是否正确，若是则进入步骤s9；否则通过专家系统对分割结果进行矫正，并将矫正分割结果送回坝面裂缝分割检测模型进行进一步地训练，并返回步骤s7；
15.s9、利用形态学开闭运算对分割结果进行处理，得到优化后的裂缝预测结果；
16.s10、过单像素宽度算法和中轴算法对经过开闭运算优化后的预测结果进行处理，得到像素级量化结果；
17.s11、结合相机成像原理和相机的参数，将裂缝的像素级量化结果转化为实际物理量化结果，得到坝面裂缝分割结果。
18.进一步地，步骤s2中图像增强算法包括双边滤波和直方图均衡。
19.进一步地，步骤s3中图像增广算法包括定尺寸裁剪、翻转变换和颜色变换。
20.进一步地，步骤s4中的比例为8:1:1。
21.进一步地，步骤s5的具体过程为：
22.s5-1、根据公式：
[0023][0024]
得到r通道像素均值其中n为图像中裂缝像素的数量，(i,j)为像素坐标，为在图像(i,j)处裂缝像素的r通道图像；
[0025]
s5-2、根据公式：
[0026][0027]
得到灰度均值其中为在图像(i,j)处裂缝像素的g通道图像，为在图像(i,j)处裂缝像素的b通道图像；
[0028]
s5-3、基于上述数据对裂缝数据集进行像素分析，得到如下分析结果：
[0029]
分析结果
①
：裂缝像素值低于背景像素值，则将该裂缝所在样本作为正常样本；
[0030]
分析结果
②
：裂缝像素值大于等于背景像素值，则舍弃该裂缝所在的样本。
[0031]
进一步地，步骤s6中根据分析结果设置卷积神经网络的具体方法为：
[0032]
若分析结果为
②
，则不进行后续操作；
[0033]
若分析结果为
①
，则构建包括如下结构的卷积神经网络：
[0034]
九层空洞卷积层、九层卷积层、三层最大池化层、平均池化层、四个上采样模块和四个注意力模块；其中空洞卷积层包括空洞卷积结构、批归一化结构和激活函数结构，卷积层包括卷积结构、批归一化结构和激活函数结构；最大池化层、平均池化层和上采样模块的核尺寸均为2
×
2；空洞卷积层的核尺寸均为3
×
3；
[0035]
第一空洞卷积层的输出端与第二空洞卷积层的输入端相连；第二空洞卷积层的输出端分别与第一最大池化层的输入端和第一注意力模块的第一输入端相连；其中第一空洞
卷积层和第二空洞卷积层的通道数均为64；
[0036]
第一最大池化的输出端与第三空洞卷积层的输入端相连；第三空洞卷积层的输出端与第四空洞卷积层的输入端相连；第四空洞卷积层的输出端分别与第二最大池化层的输入端和第二注意力模块的第一输入端相连；其中第三空洞卷积层和第四空洞卷积层的通道数均为128；
[0037]
第二最大池化层的输出端与第五空洞卷积层的输入端相连；第五空洞卷积层的输出端与第六空洞卷积层的输入端相连；第六空洞卷积层的输出端分别与平均池化层的输入端和第三注意力模块的第一输入端相连；其中第五空洞卷积层和第六空洞卷积层的通道数均为256；
[0038]
平均池化层的输出端与第七空洞卷积层的输入端相连；第七空洞卷积层的输出端与第八空洞卷积层的输入端相连；第八空洞卷积层的输出端分别与第三最大池化层的输入端和第四注意力模块的第一输入端相连；其中第七空洞卷积层和第八空洞卷积层的通道数均为512；
[0039]
第三最大池化层的输出端与第九空洞卷积层的输入端相连；第九空洞卷积层的输出端与第一上采样模块的输入端相连；其中第九空洞卷积层的通道数为1024；
[0040]
第一上采样模块的输出端与第一卷积层的输入端相连；第一卷积层的第一输出端分别与第四注意力模块的第二输入端和第二卷积层的第一输入端相连；第二卷积层的第二输入端与第四注意力模块的输出端相连；第二卷积层的输出端与第二上采样模块的输入端相连；其中第一卷积层和第二卷积层的核尺寸均为3
×
3，通道数均为512；
[0041]
第二上采样模块的输出端与第一卷积层的输入端相连；第三卷积层的第一输出端分别与第三注意力模块的第二输入端和第四卷积层的第一输入端相连；第四卷积层的第二输入端与第三注意力模块的输出端相连；第四卷积层的输出端与第三上采样模块的输入端相连；其中第三卷积层和第四卷积层的核尺寸均为3
×
3，通道数均为256；
[0042]
第三上采样模块的输出端与第一卷积层的输入端相连；第五卷积层的第一输出端分别与第二注意力模块的第二输入端和第六卷积层的第一输入端相连；第六卷积层的第二输入端与第二注意力模块的输出端相连；第六卷积层的输出端与第三上采样模块的输入端相连；其中第五卷积层和第六卷积层的核尺寸均为3
×
3，通道数均为128；
[0043]
第四上采样模块的输出端与第一卷积层的输入端相连；第七卷积层的第一输出端分别与第一注意力模块的第二输入端和第八卷积层的第一输入端相连；第八卷积层的第二输入端与第一注意力模块的输出端相连；第七卷积层的输出端与第四上采样模块的输入端相连；其中第七卷积层和第八卷积层的核尺寸均为3
×
3，通道数均为64；
[0044]
第八卷积层的输出端与第八卷积层的输入端相连；其中第八卷积层的核尺寸为1
×
1，通道数均为2。
[0045]
本发明的有益效果为：
[0046]
1、本发明通过网络的迭代训练，相比于传统的图像处理方法，大大提升了裂缝检测的抗干扰能力。
[0047]
2、本发明通过统计分析裂缝的像素特征设计神经网络，相比已有的机器视觉算法识别裂缝，更具针对性，有效克服裂缝图像存在的类内不均衡问题，对裂缝的分割结果更精确。
[0048]
3、通过形态学后处理和成像技术快速计算出裂缝的物理尺寸，更直观的显示出大坝的受损情况。
附图说明
[0049]
图1为本发明的流程图；
[0050]
图2为本发明坝面裂缝检测网络结构图；
[0051]
图3为本发明坝面裂缝检测网络预测结果图。
具体实施方式
[0052]
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
[0053]
如图1所示，该坝面裂缝语义分割方法，包括以下步骤：
[0054]
s1、通过预训练网络模型对智能机器人采集的原始数据进行裂缝筛查和分类，即判断坝面是否存在裂缝，若是则计算得到含有裂缝的数据，并进入步骤s2；否则得到坝面裂缝结果，并结束处理；
[0055]
s2、通过图像预处理方式对含有裂缝的数据进行处理，并通过图像增强算法对含有裂缝的数据进行平滑噪声处理，得到平滑噪声后的数据；
[0056]
s3、通过图像增广算法将平滑噪声后的数据进行裂缝数据量的扩充，得到裂缝数据集；
[0057]
s4、通过像素级标注软件对裂缝数据集进行像素级标注，并按比例将裂缝数据集划分为训练集、验证集和测试集；
[0058]
s5、基于统计学原理对裂缝数据集进行像素分析，得到分析结果；
[0059]
s6、根据分析结果设置卷积神经网络，并利用训练集和验证集对设置的卷积神经网络进行迭代训练，得到坝面裂缝分割检测模型；
[0060]
s7、通过测试集对坝面裂缝分割检测模型进行测试，得到分割结果；
[0061]
s8、判断分割结果是否正确，若是则进入步骤s9；否则通过专家系统对分割结果进行矫正，并将矫正分割结果送回坝面裂缝分割检测模型进行进一步地训练，并返回步骤s7；
[0062]
s9、利用形态学开闭运算对分割结果进行处理，得到优化后的裂缝预测结果；
[0063]
s10、过单像素宽度算法和中轴算法对经过开闭运算优化后的预测结果进行处理，得到像素级量化结果；
[0064]
s11、结合相机成像原理和相机的参数，将裂缝的像素级量化结果转化为实际物理量化结果，得到坝面裂缝分割结果。
[0065]
步骤s2中图像增强算法包括双边滤波和直方图均衡。
[0066]
步骤s3中图像增广算法包括定尺寸裁剪、翻转变换和颜色变换。
[0067]
步骤s4中的比例为8:1:1。
[0068]
步骤s5的具体过程为：
[0069]
s5-1、根据公式：
[0070][0071]
得到r通道像素均值其中n为图像中裂缝像素的数量，(i,j)为像素坐标，为在图像(i,j)处裂缝像素的r通道图像；
[0072]
s5-2、根据公式：
[0073][0074]
得到灰度均值其中为在图像(i,j)处裂缝像素的g通道图像，为在图像(i,j)处裂缝像素的b通道图像；
[0075]
s5-3、基于上述数据对裂缝数据集进行像素分析，得到如下分析结果：
[0076]
分析结果
①
：裂缝像素值低于背景像素值，则将该裂缝所在样本作为正常样本；
[0077]
分析结果
②
：裂缝像素值大于等于背景像素值，则舍弃该裂缝所在的样本。
[0078]
如图2所示，步骤s6中根据分析结果设置卷积神经网络的具体方法为：
[0079]
若分析结果为
②
，则不进行后续操作；
[0080]
若分析结果为
①
，则构建包括如下结构的卷积神经网络：
[0081]
九层空洞卷积层、九层卷积层、三层最大池化层、平均池化层、四个上采样模块和四个注意力模块；其中空洞卷积层包括空洞卷积结构、批归一化结构和激活函数结构，卷积层包括卷积结构、批归一化结构和激活函数结构；最大池化层、平均池化层和上采样模块的核尺寸均为2
×
2；空洞卷积层的核尺寸均为3
×
3；
[0082]
第一空洞卷积层的输出端与第二空洞卷积层的输入端相连；第二空洞卷积层的输出端分别与第一最大池化层的输入端和第一注意力模块的第一输入端相连；其中第一空洞卷积层和第二空洞卷积层的通道数均为64；
[0083]
第一最大池化的输出端与第三空洞卷积层的输入端相连；第三空洞卷积层的输出端与第四空洞卷积层的输入端相连；第四空洞卷积层的输出端分别与第二最大池化层的输入端和第二注意力模块的第一输入端相连；其中第三空洞卷积层和第四空洞卷积层的通道数均为128；
[0084]
第二最大池化层的输出端与第五空洞卷积层的输入端相连；第五空洞卷积层的输出端与第六空洞卷积层的输入端相连；第六空洞卷积层的输出端分别与平均池化层的输入端和第三注意力模块的第一输入端相连；其中第五空洞卷积层和第六空洞卷积层的通道数均为256；
[0085]
平均池化层的输出端与第七空洞卷积层的输入端相连；第七空洞卷积层的输出端与第八空洞卷积层的输入端相连；第八空洞卷积层的输出端分别与第三最大池化层的输入端和第四注意力模块的第一输入端相连；其中第七空洞卷积层和第八空洞卷积层的通道数均为512；
[0086]
第三最大池化层的输出端与第九空洞卷积层的输入端相连；第九空洞卷积层的输
出端与第一上采样模块的输入端相连；其中第九空洞卷积层的通道数为1024；
[0087]
第一上采样模块的输出端与第一卷积层的输入端相连；第一卷积层的第一输出端分别与第四注意力模块的第二输入端和第二卷积层的第一输入端相连；第二卷积层的第二输入端与第四注意力模块的输出端相连；第二卷积层的输出端与第二上采样模块的输入端相连；其中第一卷积层和第二卷积层的核尺寸均为3
×
3，通道数均为512；
[0088]
第二上采样模块的输出端与第一卷积层的输入端相连；第三卷积层的第一输出端分别与第三注意力模块的第二输入端和第四卷积层的第一输入端相连；第四卷积层的第二输入端与第三注意力模块的输出端相连；第四卷积层的输出端与第三上采样模块的输入端相连；其中第三卷积层和第四卷积层的核尺寸均为3
×
3，通道数均为256；
[0089]
第三上采样模块的输出端与第一卷积层的输入端相连；第五卷积层的第一输出端分别与第二注意力模块的第二输入端和第六卷积层的第一输入端相连；第六卷积层的第二输入端与第二注意力模块的输出端相连；第六卷积层的输出端与第三上采样模块的输入端相连；其中第五卷积层和第六卷积层的核尺寸均为3
×
3，通道数均为128；
[0090]
第四上采样模块的输出端与第一卷积层的输入端相连；第七卷积层的第一输出端分别与第一注意力模块的第二输入端和第八卷积层的第一输入端相连；第八卷积层的第二输入端与第一注意力模块的输出端相连；第七卷积层的输出端与第四上采样模块的输入端相连；其中第七卷积层和第八卷积层的核尺寸均为3
×
3，通道数均为64；
[0091]
第八卷积层的输出端与第八卷积层的输入端相连；其中第八卷积层的核尺寸为1
×
1，通道数均为2。
[0092]
其中d-conv为空洞卷积层，conv为卷积层，max-p为最大池化层，avg-p为平均池化层，upsamping上采样模块，以及a-m为注意力模块。
[0093]
步骤s5的分析结果包括数据集中各样本裂缝像素的像素值之间存在差异，数据集中各样本的背景像素之间存在差异，裂缝像素的像素值小于背景像素的像素值，且占图像比为5％。
[0094]
如图3所示，为本发明对四张图片的裂缝的识别结果。
[0095]
在本发明的一个实施例中，本发明为“编码-解码”型卷积神经网络，其包括卷积模块和池化层，作用是通过指定运算从输入数据中提取高维抽象的特征。具体来说，卷积模块主要由卷积层、批量归一化运算和激活函数构成，通过运算得到更高维度的抽象特征图。卷积层是用预定义的且权重可学习的卷积核与输入数据对应区域进行卷积运算，并且卷积核按照指定步长在输入数据上滑动，每滑动一次都进行一次卷积运算，最终遍历整个输入数据便得到了卷积层的输出。批量归一化运算是为了减少内部协变量移位，补偿网络的非线性表达能力。在批量归一化之后，对特征图应用非线性激活函数进行非线性运算，使得网络能够胜任非线性任务。
[0096]
池化层的主要作用是降低输入数据的分辨率，扩大感受野，进一步抽象图像特征。池化运算主要分为最大池化和平均池化两种方式。最大池化是将输入数据按照预定义的池化核大小保留最大像素值；而平均池化则是将同池化核大小一致的输入数据进行均值运算。两种方式均按照指定的步长进行运算，从而得到池化过后的特征图。通常来说，在目标对象偏向于纹理、轮廓时，选用最大池化较好；而在目标对象偏向于背景或其他信息时，选用平均池化较好。
[0097]
考虑到裂缝信息占比过小的问题，因此本发明在设计编码网络时避免了过大的深度，仅仅只有12层。其中，在卷积模块中采用3
×
3空洞卷积(步长为1，空洞率为2)来代替常规卷积运算，以扩大感受野。非线性激活函数选用relu，由于其导函数简单且梯度总是0和1，在网络训练过程中可以辅助网络更快的收敛。另一方面，图像中裂缝信息的r、g、b三个通道以及对应像素点的灰度值均小于背景信息，若同当前已有的开源网络一样，采用最大池化则必然会损失一定的裂缝信息，而只采用平均池化也会影响裂缝信息的有效提取。因此本网络中在较浅层使用最大池化，用来过滤无用的信息，在较深层使用平均池化，防止丢掉过多高维信息。
[0098]
由于裂缝的独特属性，本发明的特征解码网络主要由上采样模块和注意力模块组成。上采样模块包含上采样运算和一个卷积模块，其中上采样运算是上采样模块的核心部分，它能有效扩大高维特征图的尺寸，而卷积模块的作用则主要对高维特征图进行降维处理。不同于反卷积运算，上采样运算通过插值的方式有效的避免了反卷积运算带来的“棋盘格影响”，更加有效的复原特征图信息。通过多次配合使用上采样运算和卷积模块最终输出与输入同尺寸的特征图。注意力模块则聚合每个解码层和对应编码层的特征信息，加强解码网络和编码网络的相关性。
[0099]
通过统计学分析得到裂纹信息所占图像比例较小，且背景信息较为复杂，仅仅采用编码-解码结构容易造成信息丢失、识别效果不足等问题。本发明在解码网络中引入生物注意力机制对网络模型进行优化。注意力模型的原理是在原始网络结构中增加一个前馈网络，使得解码器能够访问编码器每一层的输出结果，捕捉解码器每一层输出与编码器各层输出的相关性，保证更大程度上的利用原始数据的上下文信息，以此增强整个网络模型的识别能力。
[0100]
本发明通过网络的迭代训练，相比于传统的图像处理方法，大大提升了裂缝检测的抗干扰能力。本发明通过统计分析裂缝的像素特征设计神经网络，相比已有的机器视觉算法识别裂缝，更具针对性，有效克服裂缝图像存在的类内不均衡问题，对裂缝的分割结果更精确。通过形态学后处理和成像技术快速计算出裂缝的物理尺寸，更直观的显示出大坝的受损情况。