基于深度和灰度信息的鱼道裂缝智能检测方法

1.本发明涉及工程检测技术领域，特别涉及一种基于深度和灰度信息的鱼道裂缝智能检测方法。


背景技术：

2.混凝土是一种被广泛应用于大坝、桥梁和道路等工程的建筑材料。但是受各种复杂环境的影响，混凝土结构表面会出现裂缝等病害，如鱼道上的裂缝病害。裂缝的出现会极大影响鱼道的安全，因此需要对鱼道裂缝进行精确的识别与量化，为鱼道结构监测和养护提供支持。传统的混凝土裂缝检测方法是让检测人员通过目视或借助裂缝检测尺进行检测。这种方法主观性强，检测效率低，检测精度难以保证。随着数字图像处理技术的发展，基于二维影像灰度的裂缝检测方法成为研究热点。例如cn114839192a公开的一种混凝土桥梁裂缝检测系统，通过图像进行雷文识别，但是由于二维影像容易受污渍、阴影等因素的影像，故而检测精度不高。因此，亟需一种能够智能识别裂缝、自动测量裂缝长宽的高精度裂缝检测方法。


技术实现要素：

3.本发明所要解决的技术问题是提供一种基于深度和灰度信息的鱼道裂缝智能检测方法，能够更加准确和高效的定量化检测裂缝。
4.为解决上述技术问题，本发明所采用的技术方案是：一种基于深度和灰度信息的鱼道裂缝智能检测方法，包括如下步骤：
5.步骤一、数据预处理：分别采集二维影像和三维点云数据，并对两种数据进行预处理进而获取高质量的二维灰度影像和深度图像；
6.步骤二、裂缝粗提取：利用改进的最大熵方法，分别提取二维灰度影像和深度图像中的裂缝；
7.步骤三、图像配准与融合判断：基于特征点进行图像配准，对步骤二中提取的裂缝像素进行判断，当且仅当该像素点在二维灰度影像和深度图像中同时为裂缝时，判断为真裂缝点，保留该像素点，否则为背景点，删除该裂缝像素点；
8.步骤四、裂缝精提取：首先利用连通域分析法去除较大的裂缝噪点，然后利用形态学处理方法去除裂缝的毛刺和连接断裂的裂缝；
9.步骤五、裂缝分类与定量计算：利用最小外接矩形法对裂缝进行分类，然后对裂缝的长度和宽度进行定量计算。
10.优选的方案中，所述步骤一中，对采集的二维影像进行预处理包括图像灰度化、图像去噪和图像增强，图像灰度化包括分量法或最大值法或平均值法或加权平均值法，图像去噪包括均值滤波或中值滤波或自适应中值滤波，所述图像增强包括直方图均衡法。
11.优选的方案中，所述步骤一中，对采集的三维点云数据进行预处理包括点云去噪、点云坐标变换和深度图像获取，点云去噪包括利用点云处理软件滤除漂移点、离群点和冗
余点。
12.优选的方案中，所述点云坐标变换，首先通过深度阈值去除裂缝点云，然后用剩下的非裂缝点云进行平面拟合，将点云从原坐标系转换到以混凝土非裂缝点的拟合平面为xoy面的新坐标系下，通过对点云进行平面拟合并求解旋转变换矩阵，进而实现点云坐标变换。
13.优选的方案中，所述深度图像获取包括建立栅格图像、图像栅格赋值和图像归一化；
14.所述建立栅格图像的尺寸为m
×
n，图像像素的边长为ps，图像尺寸与像素边长的关系如下式所示，
[0015][0016][0017]
其中，ps的取值参照点云的平均点间；y
max
为深度图像y坐标最大值，y
min
为深度图像y坐标最小值，为深度图像x坐标最大值，为深度图像x坐标最小值；
[0018]
所述图像栅格赋值为计算落入栅格的点的数量，取落入栅格的点的z坐标值的平均值作为深度值，如下式所示，
[0019][0020]
其中，z
i,j
是图像i行j列栅格的深度值，n为落入该栅格的点的数量，为图像i行j列栅格的深度平均值；
[0021]
所述图像归一化为将深度值归一化到0到1，并输出为深度图像，如下式所示，
[0022][0023]
其中，为图像i行j列栅格的深度平均值，为图像中最大平均深度值，为图像中最小平均深度值，g
i,j
表示深度值，范围是0-1。
[0024]
优选的方案中，所述步骤二中，首先将融合图像进行分块，然后引入多个约束条件对图像子块进行类别判断，约束条件为与图像子块有关的局部约束条件和与整幅图像有关的全局约束条件，局部约束条件包括像素比例p(r,c)、局部灰度均值μ(r,c)、灰度均值差d(r,c)、灰度均值差，全局约束条件包括全局灰度均值μ和全局灰度标准差σ，将符合约束条件的判定为裂缝子块，执行最大熵阈值分割，否则判定为背景子块，直接将像素值设为0,最后合并所有分割后的子块图像，完成二维影像和深度图像的裂缝初步提取。
[0025]
优选的方案中，当像素比例p(r,c)＜0.1时，为裂缝子块；当同时满足0.3＜p(r,c)≤0.4，μ(r,c)＜μ σ/2，d(r,c)≥2σ，为裂缝子块；当同时满足0.4＜p(r,c)≤0.5，μ(r,c)＜μ-σ/，d(r,c)≥3σ，为裂缝子块；当同时满足0.5＜p(r,c)≤0.6，μ(r,c)＜μ σ，d(r,c)≥4σ，为裂缝子块；否则为背景子块，将像素值设为0。
[0026]
优选的方案中，所述步骤三中，所述图像配准首先需要读取二维灰度影像和深度
图像，然后通过标靶计算配准点坐标，标靶为预先放置在混凝土表面的高反射率贴片，接着利用配准点计算仿射变换参数，最后执行变换完成两幅图像的配准并输出图像。
[0027]
优选的方案中，所述步骤五中，所述裂缝分类将裂缝分为横向裂缝、纵向裂缝和倾斜裂缝，通过计算裂缝最小外接矩形的斜率，当斜率小于0.5时，为横向裂缝，当斜率为0.5-4时，为倾斜裂缝，当斜率为大于4时，为纵向裂缝。
[0028]
优选的方案中，所述步骤五中，裂缝定量计算，首先需要进行像素标定，即解算单个像素对应的裂缝真实尺寸，然后提取裂缝骨架，最后进行裂缝长宽定量计算；裂缝长宽定量计算首先对裂缝骨架的像素点求和，该值即为裂缝的像素长度，再乘以通过像素标定求解的单位像素对应的裂缝真实长度，即可求出裂缝的真实长度；裂缝宽度定量计算为裂缝像素的面积除以裂缝像素长度即可求出裂缝的像素宽度，最后乘以标定后得出的单个像素对应的裂缝真实宽度，即可求出裂缝的真实宽度。
[0029]
本发明提供的一种基于深度和灰度信息的鱼道裂缝智能检测方法，提出了融合二维灰度和三维深度信息的裂缝检测方法，当灰度影像表面有污渍而产生的伪裂缝时，由于三维点云的深度信息不受该因素的影响，故而利用其深度信息可以排除污渍等的影响，提高裂缝检测精度。
附图说明
[0030]
下面结合附图和实施例对本发明作进一步说明：
[0031]
图1是基于深度和灰度信息的鱼道裂缝智能检测技术路线图；
[0032]
图2是混凝土裂缝灰度影像数据及标靶示意图；
[0033]
图3是混凝土裂缝三维点云数据及标靶示意图；
[0034]
图4是点云转深度图像技术路线图；
[0035]
图5是点云栅格图像示意图；
[0036]
图6是图像分开示意图；
[0037]
图7是改进最大熵裂缝检测方法技术路线图；
[0038]
图8是图像子块的判别与分割示意图；
[0039]
图9是图像配准示意图
[0040]
图10是融合判断裂缝示意图；
[0041]
图11是连通域分析法去噪前示意图；
[0042]
图12是连通域分析法去噪后示意图；
[0043]
图13是形态学处理去噪和连接裂缝处理前的示意图；
[0044]
图14是形态学处理去噪和连接裂缝示意图；
[0045]
图15是基于最小外接矩形法的裂缝分类示意图；
[0046]
图16是裂缝骨架提取示意图；
[0047]
图17是裂缝毛刺去除示意图；
具体实施方式
[0048]
如图1所示，一种基于深度和灰度信息的鱼道裂缝智能检测方法，包括如下步骤：
[0049]
步骤一、数据预处理：利用相机和三维激光扫描仪采集混凝土结构的灰度影像和
三维点云数据，相机和三维激光扫描仪可以集成在一个装置上，也可以分开。为了保证数据获取的质量，三相机和三维激光需要尽可能的垂直与混凝土表面。为了方便后期图像和点云的配准以及像素标定，需要在非裂缝区域布置三个及以上数量的标靶且三个标靶不能在一条直线，如图2和图3所示。
[0050]
对两种数据进行预处理进而获取高质量的二维灰度影像和深度图像。对于采集到的影像和点云数据，通过人机交互裁剪感兴趣的区域。
[0051]
采集的二维影像进行预处理，包括图像灰度化、图像去噪和图像增强，图像灰度化包括分量法或最大值法或平均值法或加权平均值法，图像去噪包括均值滤波或中值滤波或自适应中值滤波，所述图像增强包括直方图均衡法。
[0052]
在本实施例中，对二维灰度影像进行加权平均值灰度化、自适应中值滤波去噪和直方图均衡化处理，进而获取噪声点较少的影像数据。
[0053]
对采集的三维点云数据进行预处理包括点云去噪、点云坐标变换和深度图像获取，点云去噪包括利用点云处理软件滤除漂移点、离群点和冗余点。
[0054]
如图4所示，所述点云坐标变换，首先通过深度阈值去除裂缝点云，然后用剩下的非裂缝点云进行平面拟合，将点云从原坐标系转换到以混凝土非裂缝点的拟合平面为xoy面的新坐标系下，通过对点云进行平面拟合并求解旋转变换矩阵，进而实现点云坐标变换。将点云转到以裂缝点云深度方向为z方向的坐标系下。
[0055]
所述深度图像获取包括建立栅格图像、图像栅格赋值和图像归一化。
[0056]
所述建立栅格图像是基于点云坐标变换获取的数据，利用cloudcompare软件，通过设置图像的尺寸、z坐标的插值方法等参数，就可获取。
[0057]
所述建立栅格图像的尺寸为m
×
n，图像像素的边长为ps，图像尺寸与像素边长的关系如下式所示，
[0058][0059][0060]
其中，ps的取值参照点云的平均点间；y
max
为深度图像y坐标最大值，y
min
为深度图像y坐标最小值，为深度图像x坐标最大值，为深度图像x坐标最小值。
[0061]
所述图像栅格赋值为计算落入栅格的点的数量，取落入栅格的点的z坐标值的平均值作为深度值，如下式所示，
[0062][0063]
其中，z
i,j
是图像i行j列栅格的深度值，n为落入该栅格的点的数量，为图像i行j列栅格的深度平均值；
[0064]
所述图像归一化为将深度值归一化到0到1，并输出为深度图像，如下式所示，
[0065]
[0066]
其中，为图像i行j列栅格的深度平均值，为图像中最大平均深度值，为图像中最小平均深度值，g
i,j
表示深度值，范围是0-1。
[0067]
最后将深度图像进行归一化转化成灰度图像，如图5所示。
[0068]
步骤二、裂缝粗提取：利用改进的最大熵方法，分别提取二维灰度影像和深度图像中的裂缝。
[0069]
所述步骤二中，如图6所示，首先将融合图像进行分块，如图7所示，计算所有图像子块的最大熵阈值，并进行初步分割，分割后的图像子块包括裂缝子块和背景子块。如图8所示，引入多个约束条件对图像子块进行类别判断，约束条件为与图像子块有关的局部约束条件和与整幅图像有关的全局约束条件，局部约束条件包括像素比例p(r,c)、局部灰度均值μ(r,c)、灰度均值差d(r,c)、灰度均值差，全局约束条件包括全局灰度均值μ和全局灰度标准差σ，当像素比例p(r,c)＜0.1时，为裂缝子块；当同时满足0.3＜p(r,c)≤0.4，μ(r,c)＜μ σ/2，d(r,c)≥2σ，为裂缝子块；当同时满足0.4＜p(r,c)≤0.5，μ(r,c)＜μ-σ/，d(r,c)≥3σ，为裂缝子块；当同时满足0.5＜p(r,c)≤0.6，μ(r,c)＜μ σ，d(r,c)≥4σ，为裂缝子块；否则为背景子块，将像素值设为0，合并所有分割后的子块图像，完成二维影像和深度图像的裂缝初步提取。
[0070]
步骤三、图像配准与融合判断：基于特征点进行图像配准，二维灰度影像和深度图像的配准是通过预先布置在混凝土表面的标靶来进行配准的，标靶为预先放置在混凝土表面的高反射率贴片。首先需要读取二维灰度影像和深度图像，然后通过标靶计算配准点坐标，接着利用配准点计算仿射变换参数，最后执行变换完成两幅图像的配准并输出图像。
[0071]
通过计算机可以获取标靶对应在灰度影像和深度图像上的坐标，利用这些计算出的坐标即可通过算法实现两个图像的配准。接着采用人机交互的方式对配准后的图像裁剪出完全重叠的区域，即获得了坐标完全对应的不同数据源的图像，如图9所示。
[0072]
为了消除灰度影像污渍等因素的影像，同时利用影像数据的高精度和高分辨率的优点，对步骤二中提取的二维灰度影像以及深度图像的裂缝像素进行判断，灰度信息融合判断当且仅当该像素点在二维灰度影像和深度图像中同时为裂缝时，判断为真裂缝点，保留该像素点，否则为背景点，删除该裂缝像素点，如图10所示。
[0073]
步骤四、裂缝精提取：首先利用连通域分析法去除较大的裂缝噪点，然后利用形态学处理方法去除裂缝的毛刺和连接断裂的裂缝。
[0074]
通过改进最大熵和深度、灰度信息融合判断检测出的裂缝可能会存在毛刺和断裂，这会影像裂缝检测的精度。因此需要通过连通域分析和形态学处理去除毛刺并连接断裂的裂缝。在连通于分析中，通过设置合理的噪点面积和噪点最小外接矩形的长宽比，可以有效的去除斑点状噪声，如图11和图12所示。
[0075]
而形态学处理的开运算和闭运算则可以很好的去除裂缝毛刺并修补裂缝，如图13和图14所示。
[0076]
步骤五、裂缝分类与定量计算：利用最小外接矩形法对裂缝进行分类，然后对裂缝的长度和宽度进行定量计算。
[0077]
所述裂缝分类将裂缝分为横向裂缝、纵向裂缝和倾斜裂缝，通过计算裂缝最小外接矩形的斜率，当斜率小于0.5时，为横向裂缝，当斜率为0.5-4时，为倾斜裂缝，当斜率大于4时，为纵向裂缝。
[0078]
裂缝定量计算是通过像素标定和裂缝骨架提取完成的。首先需要进行像素标定，即解算单个像素对应的裂缝真实尺寸，然后提取裂缝骨架，最后进行裂缝长宽定量计算。
[0079]
通过zhang细化算法或hilditch细化算法，可以将一条宽裂缝细化成只有一个像素宽度的裂缝，即裂缝骨架，该骨架的长度就是裂缝的长度。裂缝骨架的毛刺点的存在会影响裂缝长度的精度，因此需要利用毛刺去除算法予以去除。通过统计骨架点的总和即可求出裂缝的像素长度，再乘以标定后得出的单个像素对应的裂缝真实长度，即可求出裂缝的真实长度，如图16和图17所示。
[0080]
裂缝长宽定量计算首先对裂缝骨架的像素点求和，该值即为裂缝的像素长度，然后乘以像素标定求解的单位像素对应的裂缝真实长度，即可求出裂缝的真实长度。裂缝宽度定量计算为裂缝像素的面积除以裂缝像素长度即可求出裂缝的像素宽度，在本实施例中，裂缝像素的面积即为所有裂缝像素点相加，最后乘以标定后得出的单个像素对应的裂缝真实宽度，即可求出裂缝的真实宽度。