基于深度学习的混凝土裂缝识别系统及方法

1.本发明属于土木工程中非接触检测应用领域，尤其是一种用于复杂环境下的基于深度学习的混凝土裂缝识别系统及方法。


背景技术：

2.在建设和运营过程中由于诸多因素而产生的各种裂缝作为桥梁或道路表面最普遍的病害，也是危害极大的病害之一。如果不及时进行监测及养护，则可能会进一步衍生出次生病害，对裂缝进行及时、准确的监测是路面及桥梁养护工作中最为关键的一环。单纯依靠检测人员在借助检测设备的帮助下对混凝土结构进行检测，工作强度大且效率低，还可能使检测人员的安全受到威胁。利用计算机视觉处理图像，外在环境会对该方法造成严重的影响导致检测结果不正确，并且在对图像进行处理的步骤中会出现许多噪音。而基于深度学习的检测算法能够在很好地处理图像的同时，也能很精确地识别出目标，但是由于图像噪声无法完全消除，以及环境噪声的干扰，无法对复杂环境下的裂缝进行检测识别。目前，对于复杂环境下的裂缝识别效果并不理想，需要进一步改善。


技术实现要素：

3.本发明目的是提供一种用于复杂环境下的基于深度学习的混凝土裂缝识别系统及方法，以解决以上问题。
4.一种基于深度学习的混凝土裂缝识别系统，包括：
5.裂缝图像数据采集模块，用于采集获取混凝土表面裂缝图像并输出；
6.图像数据处理模块，连接所述裂缝图像数据采集模块，根据所拍摄的混凝土表面裂缝图像，对获取的图像进行识别预处理；
7.裂缝识别模块，利用基于剪枝先验框的改进ssd算法模型对裂缝的图像进行识别，对裂缝进行标识，并将结果进行储存。
8.进一步的，所述裂缝图像数据采集模块，包括：拍摄平台、高速sd存储卡、服务器和数据库。在确定检测目标后，即可通过拍摄平台对目标区域进行图像采集，通过提前设置好预处理和识别系统的图像提取路径，实现对上传到电脑的图像进行实时识别并将图像自动传输至服务器。
9.进一步的，所述拍摄平台可采用无人机系统或普通智能手机或单反相机为载体，可根据设备条件和其他方面的要求进行选择，采集到的图像可通过本系统编写的程序的自动传输至服务器，实现数据的实时传输。
10.进一步的，所述图像数据处理模块，通过图像灰度化及修正，图像滤波处理和裂缝标记定位，对获取的图像数据进行预处理，以加快识别的收敛速度。
11.进一步的，所述图像灰度化及修正中将图像像素的r、g、b分量采用分量法规则转化为三者相等的形式，进行图像灰度化；通过对灰度化的图像进行直方图均衡化可以对灰度进行再分配，使灰度值均匀地分布于灰度区间内，通过线性和非线性拉伸的灰度变换对
图像进行拉伸处理，对图像进行灰度化修正。
12.进一步的，所述图像滤波处理采用中值滤波方法，选取该像素点邻近所有像素点灰度值的中值作为该点滤波处理后的像素值，从而消除在图像中孤立的噪点。
13.进一步的，所述裂缝标记定位，采用labelimg工具进行标记，先在图像中标记出目标位置，后转换为xml格式的文件，再传输到裂缝数据识别模块的算法模型中进行识别。
14.所述裂缝数据识别模块，采用基于剪枝先验框的改进ssd算法建立的混凝土裂缝识别模型，通过将图像传输到服务器后，即可利用训练好的模型进行识别，并将识别出的裂缝及其分析内容回传至智能端，同时将信息传输入数据库进行备份。其可对复杂环境下的混凝土裂缝照片进行有效识别。
15.本发明可适用的复杂环境，包括图像本身的的光照强度和明暗变化、图像噪声以及环境噪声的干扰，复杂环境下比如雨、雪、雾天气下的混凝土裂缝检测工况。
16.一种基于深度学习的混凝土裂缝识别方法，包括如下步骤：
17.s1、采集裂缝图像；
18.s2、对s1采集的裂缝图像进行预处理；
19.s3、采用基于剪枝先验框的改进ssd算法建立的混凝土裂缝识别模型，对图像进行识别检测后，得到所述裂缝的识别结果。
20.进一步的，s2的具体步骤如下：
21.s21、图像灰度化，采用分量法将彩色图像r、g、b这三种分量里的任何一个视作此类照片的灰度值；
22.gray1(i,j)＝r(i,j)
ꢀꢀ
(1)
23.gray2(i,j)＝g(i,j)
ꢀꢀ
(2)
24.gray3(i,j)＝b(i,j)
ꢀꢀ
(3)
25.其中，grayk(i,j)＝b(i,j)(k＝1,2,3)，为转变后的灰度图像在(i,j)处的灰度值；
26.s22、图像灰度修正，通过对灰度化的图像进行直方图均衡化对灰度进行再分配，使灰度值均匀地分布于灰度区间内；通过灰度变换对图像进行拉伸处理；
27.s23、图像滤波处理，采用中值滤波对像素点进行滤波处理；
28.g(x,y)＝med{f(xi,yj)}
ꢀꢀ
(4)
29.其中，g(x,y)为经过中值滤波处理后的像素值，f(xi,yj)即为滤波处理前的像素值；
30.s24、裂缝标记定位，通过python编写的labelimg工具进行标记，在图像中标记出裂缝位置，后转换为xml格式的文件，再传输到深度学习算法框架中进行训练。
31.进一步的，s3中的识别模型通过基于剪枝先验框的改进ssd算法建立；基于剪枝先验框的改进ssd算法模型的建立，是在原始ssd算法上，对原始的ssd算法进行统计测试，经过对多尺度多方向的候选框进行统计及分析后，得出正确预测出来的目标位置来源的候选框分类的数量统计，得到数量占比最大即最优的分辨率，通过对多尺度分辨率的候选框的数量分配进行重新优化，减少小尺度的候选框数目而增加中、大尺度的候选框的数量，对各分辨率的先验框数目进行调整，并通过nms(非极大值抑制，non-maximum suppression)进行筛选，从而最终得到最优的目标框，使得识别精度和识别速度与原始ssd算法相比有很明
显的提升，同时能够满足实际工程中的复杂环境下的裂缝识别。
32.本发明的有益效果是：
33.通过裂缝图像数据采集系统实时获取裂缝图像数据；通过图像数据处理系统对采集的裂缝图像进行预处理；通过基于剪枝先验框的改进ssd算法建立裂缝识别系统。
34.使得工程中对混凝土裂缝检测识别过程更加容易可操作，另一方面也提高了检测的识别精度和速率，尤其是在识别复杂环境的裂缝图片时，表现出了很高的抗干扰能力。
附图说明
35.图1为本发明系统结构示意图；
36.图2为本发明方法的步骤示意图；
37.图3为本发明一个较佳实施例的步骤图示意图；
38.图4为本发明一个较佳实施例的结果的示意图。
具体实施方式
39.下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
40.如图1-4所示，一种基于深度学习的混凝土裂缝识别系统，包括：
41.裂缝图像数据采集模块，用于采集获取混凝土表面裂缝图像并输出；
42.图像数据处理模块，连接所述裂缝图像数据采集模块，根据所拍摄的混凝土表面裂缝图像，对获取的图像进行识别预处理；
43.裂缝识别模块，利用基于剪枝先验框的改进ssd算法模型对裂缝的图像进行识别，对裂缝进行标识，并将结果进行储存。
44.进一步的，所述裂缝图像数据采集系统，包括：拍摄平台、高速sd存储卡、服务器和数据库。在确定检测目标后，即可通过拍摄平台对目标区域进行图像采集，通过提前设置好预处理和识别系统的图像提取路径，实现对上传到电脑的图像进行实时识别并将图像自动传输至服务器。
45.进一步的，所述拍摄平台可采用无人机系统或普通智能手机或单反相机为载体，可根据设备条件和其他方面的要求进行选择，采集到的图像可通过本系统编写的程序的自动传输至服务器，实现数据的实时传输。
46.进一步的，所述图像数据处理模块，通过图像灰度化及修正，图像滤波处理和裂缝标记定位，对获取的图像数据进行预处理，以加快识别的收敛速度。
47.进一步的，所述图像灰度化及修正中将图像像素的rgb分量采用分量法规则转化为三者相等的形式，进行图像灰度化；通过对灰度化的图像进行直方图均衡化可以对灰度进行再分配，使灰度值均匀地分布于灰度区间内，通过线性和非线性拉伸的灰度变换对图像进行拉伸处理，对图像进行灰度化修正。
48.进一步的，所述图像滤波处理采用中值滤波方法，选取该像素点邻近所有像素点灰度值的中值作为该点滤波处理后的像素值，从而消除在图像中孤立的噪点。
49.进一步的，所述裂缝标记定位，采用labelimg工具进行标记，先在图像中标记出目标位置，后转换为xml格式的文件，再传输到深度学习算法框架中进行识别。
50.所述裂缝数据识别模块，采用基于剪枝先验框的改进ssd算法建立的混凝土裂缝
识别模型，通过将图像传输到服务器后，即可利用训练好的模型进行识别，并将识别出的裂缝及其分析内容回传至智能端，同时将信息传输入数据库进行备份。其可对复杂环境下的混凝土裂缝照片进行有效识别。
51.本发明可适用的复杂环境，包括图像本身的的光照强度和明暗变化、图像噪声以及环境噪声的干扰，复杂环境下比如雨、雪、雾天气下的混凝土裂缝检测工况。
52.一种基于深度学习的混凝土裂缝识别方法，包括如下步骤：
53.s1、采集裂缝图像；
54.s2、对s1采集的裂缝图像进行预处理；
55.s3、采用基于剪枝先验框的改进ssd算法建立的混凝土裂缝识别模型，对图像进行识别检测后，得到所述裂缝的识别结果。
56.进一步的，s2的具体步骤如下：
57.s21、图像灰度化，采用分量法将彩色图像r、g、b这三种分量里的任何一个视作此类照片的灰度值；
58.gray1(i,j)＝r(i,j)
ꢀꢀ
(1)
59.gray2(i,j)＝g(i,j)
ꢀꢀ
(2)
60.gray3(i,j)＝b(i,j)
ꢀꢀ
(3)
61.其中，grayk(i,j)＝b(i,j)(k＝1,2,3)，为转变后的灰度图像在(i,j)处的灰度值；
62.s22、图像灰度修正，通过对灰度化的图像进行直方图均衡化对灰度进行再分配，使灰度值均匀地分布于灰度区间内；通过灰度变换对图像进行拉伸处理；
63.s23、图像滤波处理，采用中值滤波对像素点进行滤波处理；
64.g(x,y)＝med{f(xi,yj)}
ꢀꢀ
(4)
65.其中，g(x,y)为经过中值滤波处理后的像素值，f(xi,yj)即为滤波处理前的像素值；
66.s24、裂缝标记定位，通过python编写的labelimg工具进行标记，在图像中标记出裂缝位置，后转换为xml格式的文件，再传输到深度学习算法框架中进行训练。
67.进一步的，s3中的识别模型通过基于剪枝先验框的改进ssd算法建立；基于剪枝先验框的改进ssd算法模型的建立，是在原始ssd算法上，对原始的ssd算法进行统计测试，经过对多尺度多方向的候选框进行统计及分析后，得出正确预测出来的目标位置来源的候选框分类的数量统计，得到数量占比最大即最优的分辨率，通过对多尺度分辨率的候选框的数量分配进行重新优化，减少小尺度的候选框数目而增加中、大尺度的候选框的数量，对各分辨率的先验框数目进行调整，并通过nms(非极大值抑制，non-maximum suppression)进行筛选，从而最终得到最优的目标框，使得识别精度和识别速度与原始ssd算法相比有很明显的提升，同时能够满足实际工程中的复杂环境下的裂缝识别。
68.如图3和4所示，本实例结合实际试验进行，针对打印混凝土板进行加载过程进行裂缝实时采集检测,此次针对的复杂环境为存在环境噪声干扰和图片光线较暗。
69.s1、选定检测目标后，本实例采用普通智能手机对固定位置进行图像实时采集的工作；
70.s2、针对手机采集方式,在服务器电脑上下载适用于windows系统的icloud控制面
板。并设置上传和下载文件夹路径，将其改为识别算法所在文件夹将采集到的图像自动传输同步至服务器，并汇总至裂缝数据库中；
71.s3、通过提前设置好改进算法的图像提取路径，在下载文件中出现手机智能端拍摄的图片时，即可通过图像数据处理系统对上传到电脑的图像进行实现实时处理；
72.s4、在识别路径中出现预处理后的手机拍摄图片时服务器即可利用裂缝识别系统进行识别并分析。
73.s5、将识别分析后的图片保存到上传文件夹和数据库中，即可查看结果。
74.以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。