一种基于视频监测的桥梁缆索表面缺陷识别方法

1.本发明属于桥梁缆索检测技术领域，特别是涉及一种基于视频监测的桥梁缆索表面缺陷识别方法。


背景技术：

2.对于桥梁缆索的检测和防护包括有内部钢丝结构检测和外部防护层的检测。对桥梁缆索外部保护套的检测，主要针对是简单的表面基本缺陷的分析，传统的损伤识别方法是每次都需要计算特征向量作对比，同时现存的桥梁健康监测系统普遍存在数据量过大无法高效分析，图像精确度低，噪声大等等。
3.目前虽然开发出功能多样的爬索机器人，现有技术难以高效的对数据进行分析，同时图像的降噪，测试网络识别的准确率，缆索表面缺陷的检测技术仍需进一步改进，已成为困扰世界范围桥梁工作者的巨大难题；无法有效实现缺陷识别和定位，定位精准度差，且识别精准度差。


技术实现要素：

4.为了解决上述问题，本发明提出了一种基于视频监测的桥梁缆索表面缺陷识别方法，可准确的分析与识别缆索外表面的缺陷。
5.为达到上述目的，本发明采用的技术方案是：一种基于视频监测的桥梁缆索表面缺陷识别方法，包括步骤：
6.s10,将视频监测装置放置在桥梁缆索上，检测端布置在桥梁缆索外围；
7.s20,通过控制终端发送指令控制视频监测装置在桥梁缆索上运行；
8.s30,通过视频监测装置中环绕在桥梁缆索的摄像头收集图像数据；
9.s40,通过小波变换算法对收集到的通过图像去噪，利用图像缺陷识别模型对收集到的图像信号进行分析，进而识别出桥梁缆索表面的缺陷。
10.进一步的是，所述的步骤s30中，通过视频监测装置中环绕在桥梁缆索的摄像头收集图像数据，包括步骤：
11.s301,视频监测装置的攀爬机构定位在桥梁缆索一点位上，通过视频监测装置的视频监测机构中环绕在桥梁缆索的摄像头获取该点位的图像数据；
12.s302,待该点的视频图像数据反馈完毕后，通过攀爬机构带动视频监测机构进入下一个监测区域，并反馈下一区域的图像数据；
13.s303,通过重复步骤s301和s302，完成整根桥梁缆索的视频监测，获取整根桥梁缆索表面的图像数据。
14.进一步的是，所述图像数据的获取过程包括步骤：通过控制终端无线连接视频监测装置，视频监测装置的摄像头对穿过装置中心的桥梁缆索进行360
°
的全方位监测；同时通过攀爬机构的运行，视频监测机构完成对整个桥梁缆索的图像数据的获取；再通过无线连接将图像数据传递反馈给控制终端终端，对桥梁缆索表面的缺陷进行分析和识别。
15.进一步的是，所述的步骤s40中，通过图像去噪方法和图像缺陷识别模型对收集到的图像信号进行分析，进而识别出缆索表面的缺陷，包括步骤：
16.s401，对采集的图像数据通过图像降噪算法消除噪声；
17.s402，利用基于深度学习的图像轻量级神经网络模型构建图像缺陷识别模型，实现缺陷的识别。
18.进一步的是，所述数据降噪算法是采用基于形态学的权重自适应图像降噪算法消除噪声；
19.通过基本的形态学变换，消除图像中的脉冲噪声；通过开运算先腐蚀后膨胀，过滤图像中的正脉冲噪声；通过闭运算先膨胀后腐蚀过滤图像中的负脉冲噪声；由形态开闭构成的级联滤波器同时消除图像中正负脉冲信号的影响。
20.进一步的是，基于深度学习的图像轻量级神经网络模型构建图像缺陷识别模型包括第一卷积层，8个特征处理模块、第一最大池化层、第二最大池化层、第三最大池化层、第二卷积层、平均池化层和分类器；输入图像经过第一卷积层和第一最大池化层后，再通过3个特征处理模块提取特征；然后经过第二最大池化层后，再通过4个特征处理模块提取特征；最后经过第三最大池化层后，再通过1个特征处理模块提取特征，再经过第二卷积层和平均池化层，由softmax分类器进行输出。
21.进一步的是，所述特征处理模块包括轻量级神经网络层、扩展层和融合层；输入特征图通过轻量级神经网络层降低特征的维度，使特征图压缩；在经过扩展层，通过并行不同大小的卷积核以获得不同大小感受野，使特征图扩展；最后进入融合层，将得到的并行输出的特征图的通道进行拼接。
22.进一步的是，所述视频监测装置包括支撑主体、攀爬机构、摄像头、控制器和无线网络通信电路，在所述支撑主体为柱形结构，在所述支撑主体两端环绕设置有攀爬机构，在所述支撑主体中段上环绕设置有视频监测机构；所述支撑主体采用可开合的柱形结构，待检测的桥梁缆索穿过支撑主体的中心轴；所述攀爬机构包括多个攀爬子单元相互对应并桥梁缆索锁紧在其中，沿桥梁缆索移动；采用四个摄像头设置在支撑主体的上端四角，成正方形对称排列，对缆索进行360
°
视觉监测；所述攀爬机构、摄像头与控制器电连接，所述控制器通过无线网络通信电路与控制终端进行信息交互。
23.采用本技术方案的有益效果：
24.本发明通过调节爬升结构将装置沿桥梁缆索进行攀爬，同时通过视频监测结构的环绕的摄像头获取图像数据；通过调节爬升结构将装置能够精确为视频监测桥梁缆索外表面缺陷装置提供检测条件，能够提供精准的检测高度、位置以及检测，利用基于形态学的权重自适应图像降噪算法对收集到的缆索外表面数据进行处理，并利用基于深度学习的图像轻量级神经网络模型构建图像缺陷识别模型识别缆索表面的缺陷，进而完成缺陷识别。
附图说明
25.图1为本发明的一种基于视频监测的桥梁缆索表面缺陷识别方法流程示意图；
26.图2为本发明实施例中视频监测装置的结构示意图；
27.图3为本发明实施例中裂纹和划痕示意图；
28.图4为本发明实施例中串联滤波器的结构示意图；
29.图5为本发明实施例中基于深度学习的图像轻量级神经网络模型构建图像缺陷识别模型的结构示意图；
30.图6为本发明实施例中特征处理模块的结构示意图。
具体实施方式
31.为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。
32.在本实施例中，参见图1所示，本发明提出了一种基于视频监测的桥梁缆索表面缺陷识别方法，包括步骤：
33.s10,将视频监测装置放置在桥梁缆索上，检测端布置在桥梁缆索外围；
34.s20,通过控制终端发送指令控制视频监测装置在桥梁缆索上运行；
35.s30,通过视频监测装置中环绕在桥梁缆索的摄像头收集图像数据；
36.s40,通过小波变换算法对收集到的通过图像去噪，利用图像缺陷识别模型对收集到的图像信号进行分析，进而识别出桥梁缆索表面的缺陷。
37.其中，如图2所示，所述视频监测装置包括支撑主体1、攀爬机构2、摄像头3、控制器和无线网络通信电路，在所述支撑主体1为柱形结构，在所述支撑主体1两端环绕设置有攀爬机构2，在所述支撑主体1中段上环绕设置有视频监测机构3；所述支撑主体采用可开合的柱形结构，待检测的桥梁缆索4穿过支撑主体1的中心轴；所述攀爬机构2包括多个攀爬子单元相互对应并桥梁缆索锁紧在其中，沿桥梁缆索移动；采用四个摄像头设置在支撑主体的上端四角，成正方形对称排列，对缆索进行360
°
视觉监测；所述攀爬机构2、摄像头3与控制器电连接，所述控制器通过无线网络通信电路与控制终端进行信息交互。
38.作为上述实施例的优化方案，所述的步骤s30中，通过视频监测装置中环绕在桥梁缆索的摄像头收集图像数据，包括步骤：
39.s301,视频监测装置的攀爬机构定位在桥梁缆索一点位上，通过视频监测装置的视频监测机构中环绕在桥梁缆索的摄像头获取该点位的图像数据；
40.s302,待该点的视频图像数据反馈完毕后，通过攀爬机构带动视频监测机构进入下一个监测区域，并反馈下一区域的图像数据；
41.s303,通过重复步骤s301和s302，完成整根桥梁缆索的视频监测，获取整根桥梁缆索表面的图像数据。
42.所述图像数据的获取过程包括步骤：通过控制终端无线连接视频监测装置，视频监测装置的摄像头对穿过装置中心的桥梁缆索进行360
°
的全方位监测；同时通过攀爬机构的运行，视频监测机构完成对整个桥梁缆索的图像数据的获取；再通过5gwifi无线连接将图像数据传递反馈给控制终端终端，对桥梁缆索表面的缺陷进行分析和识别。
43.作为上述实施例的优化方案，所述的步骤s40中，通过图像去噪方法和图像缺陷识别模型对收集到的图像信号进行分析，进而识别出缆索表面的缺陷，包括步骤：
44.s401，由于环境和元件的影响，在图像采集传输过程中会产生噪声，对采集的图像数据通过图像降噪算法消除噪声；
45.s402，利用基于深度学习的图像轻量级神经网络模型构建图像缺陷识别模型，实现缺陷的识别。依据现有的行业规范，筛选出具有明显缺陷及特征的数据，缆索表面缺陷数
据将其分为凹陷、剥落、划痕、裂纹四类。然而，划痕和裂纹及裂纹的走向对缆索的性能都不同程度的影响。
46.因此，根据缆索表面缺陷的深度划分裂纹与划痕，图像中裂纹显示的是内部黑色聚乙烯护套或钢丝，而划痕则显示的是聚乙烯护套表面颜色，如图3所示。缆索表面裂纹的走向变化会改变内部高强钢丝的腐蚀面积。因此，根据收集到的缺陷数据将其分为纵向裂纹、横向裂纹和环向裂纹。由于环向裂纹所占的比例非常小，因此本发明中忽略了它的影响。
47.优选的，由于环境和电子元件的影响，在图像的采集和传输过程中会产生噪声，这将导致图像质量下降，通过数据降噪算法是采用基于形态学的权重自适应图像降噪算法消除噪声。
48.采用基于形态学的加权自适应图像去噪方法来消除原始图像的噪声。然后，去除原始图像中不相关的区域(如天空和河流)。最后，将所有图像被压缩到227
×
227的标准尺寸，并按照8:1:1的比例设置训练集、测试集和验证集。
49.通过基本的形态学变换，消除图像中的脉冲噪声；通过开运算先腐蚀后膨胀，过滤图像中的正脉冲噪声；通过闭运算先膨胀后腐蚀过滤图像中的负脉冲噪声；由形态开闭构成的级联滤波器同时消除图像中正负脉冲信号的影响。
50.形态学开-闭(oc)和形态学闭-开(co)级联滤波器的定义是：
[0051][0052][0053]
由选定的同一形状结构元素组成的串联滤波器如图4所示。
[0054]
优选的，如图5所示，基于深度学习的图像轻量级神经网络模型构建图像缺陷识别模型包括第一卷积层(conv1)，8个特征处理模块(m1-m8)、第一最大池化层(maxingpool1)、第二最大池化层(maxingpool2)、第三最大池化层(maxingpool3)、第二卷积层(conv2)、平均池化层(average polling)和分类器；输入图像经过第一卷积层和第一最大池化层后，再通过3个特征处理模块提取特征；然后经过第二最大池化层后，再通过4个特征处理模块提取特征；最后经过第三最大池化层后，再通过1个特征处理模块提取特征，再经过第二卷积层和平均池化层，由softmax分类器进行输出。
[0055]
本发明建立的基于深度学习的图像轻量级神经网络模型构建图像缺陷识别模型能够提取更多有效信息，从而提高网络分类的准确性。
[0056]
优选的，如图6所示，所述特征处理模块包括轻量级神经网络层、扩展层和融合层；输入特征图通过轻量级神经网络层降低特征的维度，使特征图压缩；在经过扩展层，通过并行不同大小的卷积核以获得不同大小感受野，使特征图扩展；最后进入融合层，将得到的并行输出的特征图的通道进行拼接。
[0057]
轻量级神经网络层使用1
×
1的卷积核以降低特征的维度，使特征图压缩；扩展层由1
×
1和3
×
3的卷积核并行放置以获得不同大小感受野，使特征图扩展；融合层将得到的两个特征图的通道进行拼接，这样有利于减少模型中的参数，从而提高模型的性能。
[0058]
优选的，对于基于深度学习的图像轻量级神经网络模型构建图像缺陷识别模型，通过小批量梯度下降和误差反向传播对模型进行优化(小批量大小为128，动量为0.9)，其
中adam作为优化算法。
[0059]
为了避免过度拟合，在输出后，随机丢弃了一些节点(丢弃比为50％)，初始学习率被设定为0.0001。
[0060]
将预训练的权重进行微调和迁移，并将分类器的1000个类别替换为n个类别。
[0061]
手动设置学习率、迭代次数和其他参数。在每次迭代中，不断地调整参数向量，以使模型更好地识别出不同类别的缺陷。
[0062]
当损失函数达到最小值时，此时模型权重参数接近于最优值，停止迭代，并用验证集的准确性来确定模型是否收敛。
[0063]
根据实际数据的真实类别和网络预测类别可以将数据样本划分为四种情况，即：真正例(tp)、假正例(fp)、真反例(tn)及假反例(fn)，并根据准确率(accuracy)、查准率(p)、召回率(r)和f1-score对该模型的泛化性能进行评估，判定模型的性能，其计算公式如下：
[0064][0065][0066][0067][0068]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。