一种在役混凝土结构表面病害分类识别方法

1.本发明涉及工程结构安全评估技术领域，特别涉及一种在役混凝土结构表面病害分类识别方法。


背景技术：

2.随着服役年限的增长，氯盐环境下混凝土桥梁结构腐蚀劣化问题逐渐显现。腐蚀会导致钢筋截面积减少、钢筋屈服强度降低和粘结性能退化，极易造成混凝土开裂。混凝土保护层开裂后，外界环境中的腐蚀物质会迅速通过混凝土裂缝侵蚀钢筋，进一步加剧钢筋腐蚀，显著降低结构承载力。近年来，国内外已发生多起腐蚀诱发的结构安全事故。因此，采用先进传感技术对混凝土桥梁结构进行实时监控，基于人工智能算法对腐蚀损伤病害进行精确诊断，将有助于服役桥梁安全风险防范。
3.传统混凝土桥梁外部病害检测主要以人工为主，不仅人力物力耗费高、工作效率低、且检测精度难以保障。近年来，敲击回声法、超声检测法和基于动力测试的检测方法被广泛应用于结构损伤检测，但其存在仪器昂贵、测量范围小、难以完全实现非接触测量等不足。现有数字图像处理技术主要基于阈值分割和边缘检测等算法，但其容易受图像的光照强度、图像扭曲和噪声等影响，检测精度难以保障。与数字图像处理技术相比，基于深度学习的目标检测算法主要通过卷积网络自动从数据中提取特征，其不受外界环境干扰，识别精度更高且具有更强的泛化能力和鲁棒性。
4.目标检测算法主要包括one-stage和two-stage算法。以r-cnn为典型的two-stage算法需要预先生成包含待检测物的预选框，然后进行细粒度的物体检测。虽然其精度较高，但运行速度有待提升。yolo网络作为一种典型one-stage算法，可一步完成候选框对象分类及位置预测。yolov3在前两代基础上对损失函数和聚类算法进行改进，并采用darknet-53网络进行特征提取，使得小目标物体的检测速度和精度达到最佳。然而，由于其固有的数据饥饿特性，从头训练不仅耗时，且无足够容量的训练集作为支撑，会引起严重过拟合。


技术实现要素：

5.发明的目的在于提供一种在役混凝土结构表面病害分类识别方法，解决了如何准确且快速的对损伤病害进行精确判断并输出结果的问题。
6.本发明是这样实现的，一种在役混凝土结构表面病害分类识别方法，所述方法包括以下步骤：
7.步骤一：损伤图片数据集：采集混凝土结构病害损伤图片，对图片进行预处理，再对数据集进行扩充，并对图像进行标记和分类；
8.步骤二：深度学习模型训练：建立基于yolov3的混凝土病害损伤诊断架构，采用损失函数、聚类算法对模型进行优化，并将多阶段迁移学习引入改进算法进行离线训练；
9.步骤三：结构损伤在线识别：新采集的混凝土外部损伤图片输入到训练好的改进yolov3模型中，可输出所述新采集的混凝土外部损伤图片中混凝土结构损伤位置和类别，
从而实现结构外部病害智能诊断。
10.优选方案之一，所述多阶段迁移学习包括预冻结层数选取、迁移学习第一阶段和第二阶段。
11.具体的，所述预冻结层数选取为加载yolov3在coco数据集上的训练权重，选择多个预冻结的卷积层，通过卷积可视化技术分别对其卷积核进行可视化分析，确定多个代表性层数进行迁移效果对比。
12.具体的，所述迁移学习第一阶段采用冻结操作，冻结选中层数使之不参与训练，对冻结层数之后的所有参数进行训练。
13.具体的，所述迁移学习第二阶段采用微调操作，解除冻结层的参数限制，使得网络所有参数进行训练。
14.优选方案之一，所述损失函数为采用focal loss与均衡交叉熵函数替代原算法损失函数中的交叉熵函数，从而解决数据集的复杂度不平衡与类别不均衡现象。
15.优选方案之一，所述聚类算法为使用模糊c均值算法替代原算法中的k-means算法，从而筛选出更为合适的锚选框初始尺寸。
16.优选方案之一，步骤一中通过智能手机或无人机采集混凝土结构外部病害图片，采用图像优化算法对图片进行预处理，通过镜像翻转、高斯模糊、椒盐噪声对数据集进行扩充，并使用labeling工具对图像进行标记和分类。
17.优选方案之一，所述混凝土结构外部病害包括钢筋混凝土和预应力钢筋混凝土开裂、保护层剥落、钢筋裸露及钢筋屈服四类典型损伤。
18.优选方案之一，所述图像优化算法主要采用双边滤波对retinex算法进行改进，从而对不良天气下采集的清晰度较差的图像进行去噪与增亮。
19.优选方案之一，所述镜像翻转处理包括以水平方向或者垂直方向为对称轴对原图像作翻转操作。其中水平镜像为以图像的中间列像素为基础列，将图像的左右列像素分别进行置换，直到中间列。
20.优选方案之一，所述高斯模糊使用高斯分布作为卷积核，通过对图像中指定像素及其周围的像素进行加权平均来完成图像的模糊化操作，采用适用于图像二维形态的高斯函数计算出卷积核对应权重矩阵的每个成员值。
21.优选方案之一，所述椒盐噪声为椒噪声和盐噪声，椒噪声为黑色噪声，属于低灰度噪声，像素值为0；盐噪声为白色噪声，属于高灰度噪声，像素值达255。
22.优选方案之一，所述labeling可视化图像标注工具进行标注的步骤为：
23.(1)路径选择，通过opendir操作选定待标注图像所在文件夹路径，确保标注过程中通过鼠标快捷键切换图片；
24.(2)方框标记，通过“w”快捷键进入标记模式，使用鼠标确定方框对角点，用方框框选所要标记的对象；
25.(3)对象归类，完成对象的方框选取后，弹出新的归类窗口，新建对象类别或直接归类为预设类别，完成单个对象的标记，重复上述步骤，完成图像中所有对象的标记。
26.本发明的进一步改进：所述步骤三：建立基于yolov3的混凝土外部病害诊断架构，采用损失函数、聚类算法对模型进行优化，并将多阶段迁移学习引入改进算法进行离线训练，通过学习率的减小与梯度下降的不断优化，使得网络模型损失函数变化趋于稳定。
27.优选方案之一，所述yolov3算法包括特征提取和多尺度预测，特征提取主要采用darknet-53网络结构，多尺度预测主要借鉴特征金字塔构造实现3个不同尺度上的目标检测。
28.优选方案之一，所述损失函数为包括预测框位置、尺寸、种类、置信度等信息的复合型函数。
29.本发明的有益效果：本发明基于人工智能算法对腐蚀损伤病害进行精确诊断，将有助于服役桥梁安全风险防范；
30.采用focal loss与均衡交叉熵函数替代原有交叉熵函数，从而解决数据集的复杂度不平衡与类别不均衡现象；
31.使用模糊c均值算法替代原算法中的k-means算法，从而筛选出更为合适的锚选框初始尺寸；
32.将本发明中的多阶段迁移学习应用到改进yolov3算法中进行离线训练，解决yolov3固有的数据饥饿特性，从头训练不仅耗时，且无足够容量的训练集作为支撑，会引起严重过拟合的问题，最终实现从图像输入到损伤位置和类别的在线输出；
33.本发明包括外部病害离线训练模式和在线识别模式，基于多重改进深度学习对外部病害进行在线识别，识别方法合理、推广性强、识别性能优良且可广泛适用于工程结构智能运维。
附图说明
34.图1为本发明提供的一种在役混凝土结构表面病害分类识别方法的损伤识别框架图；
35.图2为本发明提供的数据集标注示意图；
36.图3为本发明提供的yolov3模型；
37.图4为本发明提供的多阶段迁移学习的框架图；
38.图5为本发明实施例中表面裂缝识别结果图。
具体实施方式
39.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
40.作为优选的实施例，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
41.如图1-5：本实施例提供一种在役混凝土结构表面病害分类识别方法，包括以下步
骤：
42.步骤一：损伤图片数据获取。通过智能手机或无人机采集混凝土结构外部病害图片，采用图像优化算法对图片进行预处理，通过镜像翻转、高斯模糊、椒盐噪声对数据集进行扩充，并使用labeling工具对图像进行标记和分类；
43.步骤二：深度学习模型训练。建立基于yolov3的混凝土外部病害诊断架构，采用损失函数、聚类算法对模型进行优化，并将多阶段迁移学习引入改进算法进行离线训练，通过学习率的减小与梯度下降的不断优化，使得网络模型损失函数变化趋于稳定；
44.步骤三：结构损伤在线识别。在移动端部署算法，将智能传感设备采集的混凝土外部病害图片输入到训练好的改进yolov3模型中，可输出混凝土结构损伤位置和类别，从而实现结构外部病害智能诊断。
45.在上述实施例中，作为优选的实施例，本例所述混凝土结构外部病害包括钢筋混凝土和预应力钢筋混凝土锈胀裂缝典型损伤。
46.作为优选的实施例，所述图像优化算法包括双边滤波对retinex算法进行改进，从而对不良天气下采集的清晰度较差的图像进行去噪与增亮。
47.作为优选的实施例，所述镜像翻转处理包括以水平方向或者垂直方向为对称轴对原图像作翻转操作。其中水平镜像为以图像的中间列像素为基础列，将图像的左右列像素分别进行置换，直到中间列，其变化矩阵可表示为：
[0048][0049]
式中，x0、y0为图像的原始列像素值；x1、y1为镜像翻转后的列像素值；w为原始图像的列宽。
[0050]
作为优选的实施例，所述高斯模糊使用高斯分布作为卷积核，通过对图像中指定像素及其周围的像素进行加权平均来完成图像的模糊化操作，采用适用于图像二维形态的高斯函数计算出卷积核对应权重矩阵的每个成员值，公式为：
[0051][0052]
式中，σ为方差。
[0053]
作为优选的实施例，所述椒盐噪声为椒噪声和盐噪声，椒噪声为黑色噪声，属于低灰度噪声，像素值为0；盐噪声为白色噪声，属于高灰度噪声，像素值达255。
[0054]
作为优选的实施例，所述labeling可视化图像标注工具进行标注的步骤为：
[0055]
(1)路径选择，通过opendir操作选定待标注图像所在文件夹路径，确保标注过程中通过鼠标快捷键切换图片；
[0056]
(2)方框标记，通过“w”快捷键进入标记模式，使用鼠标确定方框对角点，用方框框选所要标记的对象；
[0057]
(3)对象归类，完成对象的方框选取后，弹出新的归类窗口，新建对象类别或直接归类为预设类别，完成单个对象的标记，重复上述步骤，完成图像中所有对象的标记。
[0058]
作为优选的实施例，所述yolov3算法包括特征提取和多尺度预测，特征提取主要采用darknet-53网络结构，多尺度预测主要借鉴特征金字塔构造实现3个不同尺度上的目
标检测。
[0059]
作为优选的实施例，所述损失函数为包括预测框位置、尺寸、种类、置信度等信息的复合型函数，可表示为：
[0060][0061]
式中，
[0062]
为预测框位置损失，
[0063]
为预测框尺寸损失，
[0064]
为预测类别损失，
[0065]
为置信度损失；
[0066]
其中；s2代表图像被分割的网格的总个数；b代表候选框的个数；λ
coord
为坐标预测权重，取5；λ
noobj
为置信惩罚参数，取0.5；用于判断第i个网格的第j个预测方框中存在目标的概率，其值取1和0；用于判断第i个网格的第j个预测方框中不存在目标的概率，其值取1和0；用于判断第i个网格中是否有目标中心存在，其值取1和0；xi，yi分别代表目标的实际坐标，分别代表目标的预测坐标；wi，hi分别代表目标的实际宽高尺寸；分别代表目标的预测宽高尺寸；c为类别；ci是置信度得分。
[0067]
作为优选的实施例，所述损失函数为采用focal loss与均衡交叉熵函数替代原算法损失函数中的交叉熵函数，从而解决数据集的复杂度不平衡与类别不均衡现象。
[0068]
作为优选的实施例，所述聚类算法为使用模糊c均值算法替代原算法中的k-means算法，从而筛选出更为合适的锚选框初始尺寸。
[0069]
作为优选的实施例，所述多阶段迁移学习包括预冻结层数选取，迁移学习第一阶段和第二阶段。
[0070]
作为优选的实施例，预冻结层数选取为加载yolov3在coco数据集上的训练权重，选择多个预冻结的卷积层，通过卷积可视化技术分别对其卷积核进行可视化分析，确定多个代表性层数进行迁移效果对比。
[0071]
第一阶段迁移学习主要采用冻结操作，冻结选中层数使之不参与训练，对冻结层
数之后的所有参数进行训练，训练过程中学习率可设置为0.001。
[0072]
第二阶段迁移学习主要采用微调操作，解除冻结层的参数限制，使得网络所有参数进行训练，训练过程中学习率可设置为0.0001。
[0073]
本实施例区别于现有技术路线为：多因素作用下服役混凝土桥梁锈蚀病害频发，精准识别结构外部病害，是智能时代结构安全风险防范的必然要求。本发明基于先进传感备获取服役混凝土和预应力钢筋混凝土开裂、保护层剥落、钢筋裸露及钢筋屈服四类典型损伤图片，构建结构外部病害数据集；其次，采用增强retinex算法对图像进行优化处理，通过镜像翻转、高斯模糊、椒盐噪声对数据集进行扩充，并使用labeling工具对图像进行标记和分类；然后，建立基于yolov3的混凝土外部病害诊断架构，采用focal loss与均衡交叉熵函数替代原有交叉熵函数，采用模糊c均值算法对锚选框的尺寸进行优化；最后，将多阶段迁移学习应用到改进yolov3算法中进行离线训练，将训练好的算法通过边缘计算部署到移动设备终端，最终实现从图像输入到损伤位置和类别的在线输出。本发明基于多重改进深度学习对外部病害进行在线预测，预测方法合理，推广性强，预测性能优良，可广泛适用于工程结构智能运维。
[0074]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。