一种混凝土桥梁病害并行智能量化方法及装置与流程

1.本发明涉及一种桥梁病害检测量化和图像处理技术领域，特别是一种混凝土桥梁病害并行智能量化方法及装置。


背景技术：

2.在世界已建桥梁中，大部分是混凝土桥梁。在使用过程中需要定期对桥梁进行检测，以方便制定相应的养护维修对策。裂缝是混凝土桥梁的主要病害之一，已成为混凝土桥梁检测和养护的最重要内容。传统的人工检测和量化方法存在成本高、效率低等缺点，已经无法满足信息时效性的需求。近年来，不少学者利用深度学习在图像识别中的优势，使用卷积神经网络进行桥梁病害的定位和分类，且取得了很好的效果。
3.在现有的研究中存在使用深度学习来识别和检测裂缝，还没有单独使用深度学习相关的思路来实现微裂缝（裂缝宽度小于1mm）的量化任务，并且图像中的微裂缝（宽度小于1mm）准确量化和可视化也有待提高，量化裂缝在实际的工程应用中是非常重要的。


技术实现要素：

4.本发明的目的在于：针对现有技术存在目前欠缺单独使用深度学习相关的思路对微裂缝进行量化、以及存在微裂缝量化准确度的问题，提供一种混凝土桥梁病害并行智能量化方法，采用目标检测网络模型进行裂缝区域的提取，通过深度学习的数字图像处理方式对裂缝进行量化和可视化处理，提高微裂缝量化和可视化的准确度，同时提高了工作效率。
5.为了实现上述目的，本发明采用的技术方案为：一种混凝土桥梁病害并行智能量化方法，包括：步骤s1，从原始图像中识别并裁剪裂缝区域，得到裂缝区域图像；步骤s2，对裂缝区域图像进行灰度化、中值滤波和限制对比度自适应直方图均衡化处理；步骤s3，基于处理后的裂缝区域图像，分成若干个连续区域，以区域内裂缝宽度的最大值与对角线长度的乘积作为裂缝所占像素最多的阈值，在直方图中以该阈值对区域内图像做二值化处理，每个区域二值化处理后得到裂缝区域二值图；步骤s4，去除裂缝区域二值图的涂画标记噪声；步骤s5，将去除涂画标记噪声的裂缝区域二值图转换为连通域图，经过连通域筛选，得到过滤后的连通域图；步骤s6，基于过滤后的连通域图，量化和连接裂缝，得到完整的裂缝二值图；步骤s7，获取完整的裂缝二值图的轮廓坐标，对裂缝进行可视化操作，得到裂缝可视化图；步骤s8，基于裁剪图像在原始图像中的位置信息，将裂缝可视化图还原至原始图像中。
6.作为本发明的优选方案，采用目标检测网络模型yolov5识别裂缝区域。
7.作为本发明的优选方案，步骤s3进一步包括以裂缝区域图像的短边为边长划分若干个连续的正方形区域和非正方形区域。
8.作为本发明的优选方案，步骤s4包括：步骤s41，基于在hsv颜色空间提取蓝色涂画标记信息，得到蓝色涂画标记的掩膜；步骤s42，利用图像形态学开运算对掩膜去噪后、再像素反转处理，得到处理后的掩膜；步骤s43，将裂缝区域二值图和处理后的掩膜相乘。
9.作为本发明的优选方案，步骤s5中，通过连通域标记算法将去除涂画标记噪声的裂缝区域二值图转换为连通域图，筛选出宽长比为前60%，同时面积大于20个像素的连通域。
10.作为本发明的优选方案，步骤s6中，量化包括裂缝长度量化，公式如下：其中，为连通域总数，，为第个连通域的面积，第 个连通域的长度，为 轴方向上每个像素点代表的实际距离，为 轴方向上每个像素点代表的实际距离。
11.作为本发明的优选方案，步骤s6中，量化包括裂缝宽度量化，公式如下：其中， 为连通域总数，，为第 个连通域的面积，第个连通域的长度，为轴方向上每个像素点代表的实际距离，为轴方向上每个像素点代表的实际距离。
12.作为本发明的优选方案，步骤s7中，采用opencv库的中findcontours函数获取裂缝二值图的轮廓坐标，再根据轮廓坐标通过drawcontours函数绘制轮廓。
13.一种混凝土桥梁病害并行智能量化装置，包括存储器和处理器，存储器用于存储至少一个程序，处理器用于加载至少一个程序以执行混凝土桥梁病害并行智能量化方法。
14.综上所述，由于采用了上述技术方案，本发明的有益效果是：本方法具有较强的适应性和鲁棒性，可以混凝土结构表面的裂缝图片有效地去除噪声；同时，通过局部阈值分割可以提取到更多像素级别的裂缝信息；其次，结合检测网络定位裂缝位置，通过数字图像处理方式可实现图像中的微裂缝准确量化和可视化；最后，实现多张图像同时进行量化和可视化，提高了微裂缝量化和可视化的效率。
附图说明
15.图1是本发明的方法流程示意图。
16.图2是本发明基于每个步骤的结果图。
具体实施方式
17.下面结合附图，对本发明作详细的说明。
18.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
19.实施例1一种混凝土桥梁病害并行智能量化装置包括存储器和处理器，存储器用于存储至少一个程序，处理器用于加载至少一个程序以执行混凝土桥梁病害并行智能量化方法。
20.如图1所示流程图，一种混凝土桥梁病害并行智能量化方法，包括以下步骤：步骤s1，从原始图像中识别并裁剪裂缝区域，得到裂缝区域图像；原始图像分辨率大小是8688
×
4888，通过在本数据集中训练好的基于深度学习的目标检测网络模型，如yolov5模型，得到裂缝的检测框bounding box，bounding box的左上顶点坐标为（1500,97）、右下顶点坐标为（3325,8080），如图2（a）所示。在原始图像上根据检测框将裂缝区域图像裁剪出来，得到保留有裂缝的区域图像，如图2（b）所示。
21.步骤s2，对裂缝区域图像进行灰度化、中值滤波和限制对比度自适应直方图均衡化处理；具体的，对裂缝区域图像进行图像预处理，包含灰度化、中值滤波和限制对比度自适应直方图均衡化（clahe）。裁剪得到的裂缝区域图像是包含三通道的彩色图像，这些三通道的信息对于接下来的裂缝量化操作来说是冗余的，只会徒增计算量，所以先通过公式(1)将三通道图像转化为单通道灰度图像。
22.gray=0.30r 0.59g 0.11b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）经过灰度化处理的图像仍然是包含许多噪声的，因为混凝土桥梁表面本身就不是光滑的，充满了各种各样的起伏，这些起伏在光照下拍摄会出现阴影，椒盐噪声等。所以先使用中值滤波对灰度化之后的图像先做一个滤波处理。本实施例1设定滤波的核尺寸为5
×
5，遍历图像上的每一个像素，核就会在整张图像上移动，以25个像素点的中值作为该像素点的值。灰度化和中值滤波后的图像如图2（c）所示。然后对中值滤波后的图像使用opencv库中的限制对比度自适应直方图均衡化函数处理，在抑制噪声同时增强图像对比度。其结果如图2（d）所示。
23.步骤s3，基于处理后的裂缝区域图像，分成若干个连续区域，以区域内裂缝宽度的最大值与对角线长度的乘积作为裂缝所占像素最多的阈值，在直方图中以该阈值对区域内图像做二值化处理，每个区域二值化处理后得到裂缝区域二值图，具体包括：步骤s31，如图2（d）所示，处理后的裂缝区域图像大小为7983
×
1825。以图像的短边为边长将图像从上到下划分为多个正方形区域和剩余的非正方形区域。
24.步骤s32，统计每一块正方形区域内所有像素的灰度分布，正方形区域边长为1825，在我们数据集中，裂缝宽度所占的像素个数最多为12个像素，所以在每个正方形区域中，理论上沿着正方形对角线分布的裂缝所占像素个数最多，其值为；进一步的，非正方形区域内像素个数单独进行计算。
25.步骤s33，统计每一个正方形区域的灰度直方图，在每个区域的灰度直方图中以 对应的灰度值作为阈值，进行图像二值化处理；同样的，非正方形区域单独进行图像二值化处理。
26.步骤s34，将所有正方形区域和非正方形区域进行拼接，得到包含有裂缝像素的完整裂缝区域二值图，其结果如图2（e）所示。
27.步骤s4，去除裂缝区域二值图的涂画标记噪声，具体包括：步骤s41，基于在hsv颜色空间提取蓝色涂画标记信息，得到蓝色涂画标记的掩膜；步骤s42，由于提取到的蓝色涂画标记的掩膜中还包含其余斑点噪声，这些噪声比涂画标记的面积要小很多，因此，利用图像形态学开运算对掩膜去噪，即先图像腐蚀后图像膨胀，留下只有涂画标记的部分，再进行像素反转处理，得到处理后的掩膜；步骤s43，将裂缝区域二值图和处理后的掩膜相乘，即可实现去除掉这些涂画标记噪声，结果如图2（f）所示。
28.步骤s5，将去除涂画标记噪声的裂缝区域二值图转换为连通域图，经过连通域筛选，得到过滤后的连通域图；具体的，从涂画标记噪声的裂缝区域二值图可以看出，此时图像中还存在许多非裂缝噪声。为了更好的处理这些非裂缝噪声，首先，采用连通域标记算法将裂缝二值图转换为相应的连通域图，连通域图是对二值图前景中的连通区域按照从上到下、从左到右的顺序，从1开始编号形成的一幅标记图像；其次，对标记图像进行连通域过滤，包括如下步骤：步骤s51，统计每个连通域内所含有的像素个数，计算每一个连通域的面积；由于属于裂缝的连通域近似线状，所以先将点状连通域，也就是面积小于20个像素点的连通域去除掉。
29.步骤s52，通过对连通域进行骨架提取，计算每一个连通域的长度；步骤s53，通过计算连通域面积和连通域长度的比值，得到每一个连通域的宽度，进一步得到每个连通域的长度和宽度的比值，即宽长比；步骤s54，从裂缝的形态来看，属于裂缝连通域的长度一般远远大于宽度，所以短边和长边比值较小的连通域，更可能是属于裂缝的连通域。在裂缝连通域图中，按照连通域宽长比对所有连通域从小到大排序，取其中前60%的连通域来代替裂缝。筛选后的连通域能够维持裂缝形态的特征，使用这些连通域对裂缝进行量化和可视化都是最大程度保证准确的选择。
30.步骤s6，基于过滤后的连通域图，量化和连接裂缝，得到完整的裂缝二值图；具体的，裂缝量化是指计算裂缝的长度和平均宽度。在我们的数据集中，图像分辨率大小是8688
×
4688，相机拍摄图像的焦距是35mm，拍摄距离是50cm。以图像短边所在的方向为x轴，以图像长边所在的方向为y轴，可以得到，图像y轴方向上每个像素点代表的实际距离，图像x轴方向上每个像素点代表的实际距离。本示例图像中的筛选后的连通域总数为n=968，设第个连通域的面积为、长度为。
31.（1）裂缝长度量化公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)将筛选后的968个连通域长度进行累加得到所有连通域的总长度，然后与图像竖直方向上每个像素点代表的实际距离相乘得到裂缝实际长度。
32.（2）裂缝宽度量化公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)由于筛选后的连通域形状近似线段，所以每个微小连通域的宽度就近似等于连通域的面积与连通域长度的比值。
33.裂缝连通域的平均宽度为，裂缝实际平均宽度等于整个连通域的平均宽度乘以图像水平方向上每个像素点代表的实际距离，即。
34.进一步的，裂缝连通域连接：过滤后的连通域图像中是一些断断续续的连通域片段，为了对裂缝进行可视化需要对这些连通域进行连接处理。从过滤后的连通域中选择一个最长的连通域，从这个连通域开始根据距离最近原则不断向上连接和向下连接，直接连接到最上面一个连通域和最下面一个连通域。连接完毕后，得到裂缝连续的完整二值图，结果如图2（h）所示。
35.步骤s7，获取完整的裂缝二值图的轮廓坐标，对裂缝进行可视化操作，得到裂缝可视化图；具体的，根据opencv库的中findcontours()函数获取裂缝二值图的轮廓坐标，再根据得到的轮廓坐标通过drawcontours()函数在裂缝区域图像中将轮廓绘制出来，实现将裁剪图像中的裂缝可视化，结果如图2（i）所示。
36.步骤s8，基于裁剪图像在原始图像中的位置信息，将裂缝可视化图还原至原始图像中，结果如图2（j）所示。
37.综上所述，本发明先通过裁剪图像、图像预处理和图像二值化得到含有裂缝像素的二值图，然后通过掩膜过滤法和连通域过滤法分别去除掉涂画标记、非裂缝的噪声，得到过滤后的连通域，实现最大程度地维持裂缝形态；基于过滤后的连通域，对裂缝进行量化得到裂缝的平均宽度和长度。最后进行裂缝连通域连接和可视化、还原到原图；实现图像中的微裂缝的准确量化和可视化，同时可以多张图像同时进行量化和可视化，提高效率，其结果可以让我门更加直观地观察到裂缝损伤情况和损伤数据。
38.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。