一种桥梁裂缝检测数据集预筛选与标定方法与流程

1.本发明属于机器学习技术领域，具体涉及一种桥梁裂缝检测方法。


背景技术：

2.截至2018年底，我国业已建成大跨度桥梁9万余座，特大跨度桥梁5千余座，主跨度超过400米的特大跨度桥梁超过100座。大多数桥梁均处于交通要道，一旦发生垮塌事故，不仅会造成极大的经济损失，而且还会造成无辜者的伤亡，因此桥梁安全问题事关国计民生。近年来，由于交通流量的快速增长，给桥梁的运营安全造成巨大的压力。此外，由于桥梁建成时间久、设计性能差、自然环境恶劣等原因，近年来桥梁垮塌事件频发，造成极大的损失。现有研究表明，绝大多数混凝土桥梁损坏与桥梁裂缝有关，因此，对混凝土桥梁裂缝的检测对于桥梁养护工作至关重要。
3.长期以来，针对桥梁的裂缝检测多采用以超声波、红外检测为主的局部无损伤检测方法和整体检测方法。基于图像检测方式则多以人工读取图像检测为主，这种方法受到检测者经验制约，受到其主观影响大，且耗时耗力。
4.由于计算机硬件技术的更新迭代和图像处理技术的快速发展，采用图像处理技术进行裂缝检测与分割目前正受到国内外学术界、工程界的广泛关注与探索。从传统的图像处理技术再到如今机器学习、深度学习技术在图像处理中的应用，国内外优秀学者不断将新的计算方法融入到裂缝检测技术之中，优秀的研究成果逐年增加。
5.尽管基于机器学习、深度学习进行裂缝的检测能够有效提高检测裂缝的精度，但是这种方法也存在其局限性，如：需要大量含有裂缝有效信息的数据进行神经网络的训练，然而目前并没有成规模的裂缝数据集；训练时间长、训练参数多，容易出现过拟合现象。对于桥梁检测任务，有大量图片并不含有裂缝目标，对其检测将会剧烈增大时间成本及空间成本。而单纯依赖传统的边缘检测算法与深度学习算法相比较，虽然计算速度更快，但是却很难达到和深度学习算法相近的精度。
6.在桥梁的实际检测过程中，首先应该对桥梁表面进行快速初检，为进一步的详细检测确定待检部位，从而规避无用检测，提高整体检测效率。如果直接采用深度学习框架对所获取的图像进行标定、训练、检测，则势必会对每一张图片都进行一次计算。而由于初检是对整个桥梁进行初步检测，确定待检部位。因此，在所获得的图像集中必然包含有大量不含有裂缝信息的图像，对这种不含裂缝信息图像进行遍历处理无疑是对计算机存储空间和计算时间的巨大浪费。此外，由于目前针对桥梁裂缝，尚未有开源的成熟的数据集，因此需要自行制备。若直接对原始数据集进行标定，存在以下两个问题：一是图像集所包含图像经常达到一万幅图片以上，因此，在这大量图片里靠人工来寻找得到包含有裂缝信息的有效图像不仅耗时耗力，而且会有很大的错检概率；二是对于何种样式的图像裂缝进行标定，依赖于标定者的主观性，容易引入误差。


技术实现要素：

7.为了克服现有技术的不足，本发明提供了一种桥梁裂缝检测数据集预筛选与标定方法，旨在减少人工筛选上万张图像数据并对符合要求图像进行标注这一繁复过程的工作量，并在筛选过程中有效减少筛选者的主观因素影响。首先获取桥梁图像，对获取到的桥梁图像进行基于传统算法的边缘检测与阈值分割，提取轮廓特征特征，通过制定筛选规则，对非裂缝图像进行初步判断并舍弃。接着，通过人工进一步进行精筛选工作，对粗筛选的结果作以修正，最后得到桥梁裂缝检测数据集。本发明能够节省人力和计算时间，降低解决相应裂缝检测等建筑问题的检测成本。
8.本发明解决其技术问题所采用的技术方案包括如下步骤：
9.步骤1：获取多幅桥梁表面、底部和桥墩部位原始图像；
10.步骤2：对获得到的原始图像进行预处理和粗筛选，具体方法如下：
11.步骤2-1：将每幅原始图像重新设置尺寸为n1*n2，图像像素位置用(x,y)表示；
12.步骤2-2：将步骤2-1得到的所有图像进行灰度化处理，得到灰度图像；
13.步骤2-3：对步骤2-2得到的灰度图像进行图像增强处理，增大图像的对比度；
14.步骤2-4：继续对增强处理后的图像进行图像滤波，滤除图像噪声；
15.步骤2-5：对滤除噪声之后的图像进行边缘检测，并进行全局阈值分割，得到二值图像；
16.步骤2-6：对二值图像进行连接操作，将未闭合图像轮廓进行连接，得到多个封闭区域；
17.步骤2-7：对步骤2-6获得的图像进行轮廓提取，计算每个封闭区域的图像轮廓像素周长c和图像轮廓包围像素面积大小a；
18.步骤2-8：对图像进行粗筛选，具体筛选方法如下：
19.步骤2-8-1：定义参数f：利用clique聚类算法，用周长c、面积a和参数f三个维度对图像轮廓进行聚类，得到阈值t1、t2、t3；
20.步骤2-8-2：若图像中任一封闭区域的周长c小于阈值t1，则判断该封闭区域为非裂缝像素，将该封闭区域像素置为背景像素；若图像中任一封闭区域的周长c大于等于阈值t1，则进行下一步；
21.步骤2-8-3：若图像中非背景像素的任一封闭区域的面积a小于阈值t2，则判断该封闭区域为非裂缝像素，将该封闭区域像素置为背景像素；若图像中非背景像素的任一封闭区域的面积a大于等于阈值t2，则进行下一步；
22.步骤2-8-4：若图像中非背景像素的任一封闭区域的参数f大于阈值t3，则判断该封闭区域为非裂缝像素，将该封闭区域像素置为背景像素；若图像中非背景像素的任一封闭区域的参数f小于等于阈值t3，则判断该封闭区域的像素为裂缝像素；
23.步骤2-8-5：包含裂缝像素的图像称为裂缝图像；若整幅图像中都不含有裂缝像素，判断该图像为不含有裂缝图像，排除出数据集之外；
24.步骤3：对步骤2得到的裂缝图像进行进一步精筛选，具体步骤如下：
25.步骤3-1：将裂缝图像和该裂缝图像所对应的原始图像进行人工比对，并进行标注，具体步骤如下：
26.步骤3-1-1：对于裂缝图像中的任一裂缝像素所在的封闭区域，若该裂缝图像所对应的原始图像中同一位置区域是裂缝，则在裂缝图像中将该封闭区域标记为标签区域；
27.步骤3-1-2：对于裂缝图像中的任一裂缝像素所在的封闭区域，若该裂缝图像所对应的原始图像中同一位置区域不是裂缝，则在裂缝图像中将该封闭区域像素置为背景像素；
28.步骤3-1-3：对于原始图像中为裂缝但在对应的裂缝图像中误标记为背景像素的区域，则对裂缝图像中与原始图像裂缝相同位置区域进行手工标记为裂缝像素，裂缝像素所在封闭区域标记为标签区域；
29.步骤3-1-4：将包含标签区域的图像标记为标签图像，所有标签图像组成标签图像集；标签图像对应的原始图像构成裂缝图像集；
30.步骤3-2：对裂缝图像集和对应的标签图像进行扩增，包括几何变换、滤波操作、添加噪声、线性变换；再将裂缝图像集和对应的标签图像按比例分为训练集和测试集，构成最终的裂缝检测数据集。
31.优选地，所述n1＝640，n2＝640。
32.优选地，所述图像进行灰度化处理，计算公式如下：
33.l(x,y)＝299r(x,y)/1000 587g(x,y)/1000 114b(x,y)/1000其中，r(x,y)、g(x,y)、b(x,y)分别代表rgb三个通道在像素(x,y)处的灰度值，l(x,y)为灰度图像在像素(x,y)处的灰度值。
34.优选地，所述图像增强处理的方法为直方图正规化方法：
35.假设输入图像为i，设(x,y)处灰度值为i(x,y)，将i中出现的最小灰度级记为i
min
，最大灰度级记为i
max
，即i(x,y)∈[i
min
,i
max
]，为使得输出图像o的灰度级范围为[o
min
,o
max
]，对输入图像像素灰度作如下映射变换：
[0036][0037]
优选地，所述图像滤波采用采取双边滤波算法，其中，中心到周围像素距离取为3，高斯核中颜色值标准方差取为10，高斯核中空间的标准方差取为25。
[0038]
优选地，所述边缘检测采用canny边缘检测。
[0039]
优选地，所述计算每个封闭区域的图像轮廓像素周长c和图像轮廓包围像素面积大小a的方法为格林公式。
[0040]
优选地，所述按比例分为训练集和测试集的比例为7：3。
[0041]
本发明的有益效果如下：
[0042]
相较于人工检测与标定，本发明受人的主观影响小，时间和经济成本小。在现实检测过程中，经常存在图像数据数量巨大但含有效信息的图像数量少的情况，本发明针对此种情况进行技术改进，通过基于边缘检测的方法对图像中是否含有有效的裂缝信息进行判断，相较于直接进行人工标注，此种方法更加快速。通过传统边缘检测算法与阈值分割可以获得一部分标注好的图像集，对这一部分数据集进一步筛选分析，相较于人工直接在上万张图片中寻找含有裂缝目标图像，并进一步进行手动标注，节省大量工作量。此外，针对筛选后数据量不足的问题，本发明还进行了数据集扩增操作，能够有效弥补数据量不足的问题。
附图说明
[0043]
图1是本发明方法流程图。
[0044]
图2是本发明方法预处理流程图。
[0045]
图3是本发明粗筛选包含裂缝图像过程示意图。
[0046]
图4是本发明粗筛选各步骤处理结果示例图，其中，图(a)是原图像，图(b)是增强后图像，图(c)是滤波后图像，图(d)是边缘检测所得图像，图(e)是阈值分割后所得图像，图(f)是在阈值分割后原始图像提取轮廓特征结果，图(g)是进行粗筛选后原始图像所提取特征。
[0047]
图5是本发明方法精筛选流程图。
[0048]
图6是本发明进行数据集扩增示例图，其中，图(a)是旋转变换后所得图像，图(b)是线性变换后所得的图像，图(c)是添加噪声后所得图像，图(d)是双边滤波后所得的图像。
具体实施方式
[0049]
下面结合附图和实施例对本发明进一步说明。
[0050]
本发明旨在提出一种基于裂缝边缘检测的方法，利用其不需先验数据的特性进行数据集的预筛选与标定，以达到减少人工标注工作量、减少主观性影响的目的。
[0051]
如图1所示，一种桥梁裂缝检测数据集预筛选与标定方法，包括如下步骤：
[0052]
步骤1：获取多幅桥梁表面、底部和桥墩部位原始图像；
[0053]
步骤2：如图2所示，对获得到的原始图像进行预处理和粗筛选，具体方法如下：
[0054]
步骤2-1：将每幅原始图像重新设置尺寸为640*640，图像像素位置用(x,y)表示；
[0055]
步骤2-2：将步骤2-1得到的所有图像进行灰度化处理，得到灰度图像；计算公式如下：
[0056]
l(x,y)＝299r(x,y)/1000 587g(x,y)/1000 114b(x,y)/1000其中，r(x,y)、g(x,y)、b(x,y)分别代表rgb三个通道在像素(x,y)处的灰度值，l(x,y)为灰度图像在像素(x,y)处的灰度值。
[0057]
步骤2-3：对步骤2-2得到的灰度图像进行图像增强处理，增大图像的对比度；图像增强处理的方法为直方图正规化方法：
[0058]
假设输入图像为i，设(x,y)处灰度值为i(x,y)，将i中出现的最小灰度级记为i
min
，最大灰度级记为i
max
，即i(x,y)∈[i
min
,i
max
]，为使得输出图像o的灰度级范围为[o
min
,o
max
]，对输入图像像素灰度作如下映射变换：
[0059][0060]
步骤2-4：继续对增强处理后的图像进行图像滤波，滤除图像噪声；图像滤波采用采取双边滤波算法，其中，中心到周围像素距离取为3，高斯核中颜色值标准方差取为10，高斯核中空间的标准方差取为25。
[0061]
步骤2-5：对滤除噪声之后的图像进行canny边缘检测，并进行全局阈值分割，得到二值图像；
[0062]
步骤2-6：对二值图像进行连接操作，将未闭合图像轮廓进行连接，得到多个封闭区域；
[0063]
步骤2-7：对步骤2-6获得的图像进行轮廓提取，用格林公式计算每个封闭区域的图像轮廓像素周长c和图像轮廓包围像素面积大小a；
[0064]
步骤2-8：如图3所示，对图像进行粗筛选，具体筛选方法如下：
[0065]
步骤2-8-1：定义参数f：利用clique聚类算法，用周长c、面积a和参数f三个维度对图像进行聚类，得到阈值t1、t2、t3；
[0066]
步骤2-8-2：若图像中任一封闭区域的周长c小于阈值t1，则判断该封闭区域为非裂缝像素，将该封闭区域像素置为背景像素；若图像中任一封闭区域的周长c大于等于阈值t1，则进行下一步；
[0067]
步骤2-8-3：若图像中非背景像素的任一封闭区域的面积a小于阈值t2，则判断该封闭区域为非裂缝像素，将该封闭区域像素置为背景像素；若图像中非背景像素的任一封闭区域的面积a大于等于阈值t2，则进行下一步；
[0068]
步骤2-8-4：若图像中非背景像素的任一封闭区域的参数f大于阈值t3，则判断该封闭区域为非裂缝像素，将该封闭区域像素置为背景像素；若图像中非背景像素的任一封闭区域的参数f小于等于阈值t3，则判断该封闭区域的像素为裂缝像素；
[0069]
步骤2-8-5：包含裂缝像素的图像称为裂缝图像；若整幅图像中都不含有裂缝像素，判断该图像为不含有裂缝图像，排除出数据集之外；
[0070]
如图4为原始图像经过预处理和粗筛选之后的结果；
[0071]
步骤3：如图5所示，对步骤2得到的裂缝图像进行进一步精筛选，具体步骤如下：
[0072]
步骤3-1：将裂缝图像和该裂缝图像所对应的原始图像进行人工比对，并进行标注，具体步骤如下：
[0073]
步骤3-1-1：对于裂缝图像中的任一裂缝像素所在的封闭区域，若该裂缝图像所对应的原始图像中同一位置区域是裂缝，则在裂缝图像中将该封闭区域标记为标签区域；
[0074]
步骤3-1-2：对于裂缝图像中的任一裂缝像素所在的封闭区域，若该裂缝图像所对应的原始图像中同一位置区域不是裂缝，则在裂缝图像中将该封闭区域像素置为背景像素；
[0075]
步骤3-1-3：对于原始图像中为裂缝但在对应的裂缝图像中误标记为背景像素的区域，则对裂缝图像中与原始图像裂缝相同位置区域进行手工标记为裂缝像素，裂缝像素所在封闭区域标记为标签区域；
[0076]
步骤3-1-4：将包含标签区域的图像标记为标签图像，所有标签图像组成标签图像集；标签图像对应的原始图像构成裂缝图像集；
[0077]
步骤3-2：如图6所示，对裂缝图像集和对应的标签图像进行扩增，包括几何变换、滤波操作、添加噪声、线性变换；再将裂缝图像集和对应的标签图像按7：3比例分为训练集和测试集，构成最终的裂缝检测数据集。
[0078]
本发明通过无人机所搭载相机拍摄图像，获得输入图像后，首先对大量原图像进行初步的粗筛选，排除掉明显没有裂缝的图像，接着对含有裂缝的图像进一步精筛选、张量化后进一步修改标注形成数据集。通过上述操作，可快速建立桥梁裂缝数据集，从而将传统算法计算速度快、无需训练的优点与深度学习精度高的优点相结合，更好解决桥梁裂缝检测问题。