一种用于钢丝串接螺栓松动的检测方法与流程

1.本发明涉及一种钢丝串接防松方式失效检测方法，特别是涉及一种基于二维图像和点云数据的钢丝串接螺栓防松失效检测方法，属于机器视觉检测技术领域。


背景技术：

2.钢丝串接防松是一种机械防松方式，是指用低碳钢丝穿入各螺钉头部的孔内，将各螺钉串联起来，使其相互制约。该防松方法主要适用于螺栓组联接，防松可靠，通常应用在关键区域的连接处，也是在日常巡检中重点关注的检测项点。随着智能化检修的发展，以非接触式的二维图像和三维点云进行缺陷检测的方法以其简便高效的特点越来越多的应用在各种场景中，但是不同于通过标记线对普通螺栓进行检测，钢丝串接防松的失效形式除了断裂和缺失外，也存在预紧力消失的中间状态。因此通过二维图像检测很难获得钢丝的空间形态变化，本发明提出一种基于二维图像数据和点云数据的钢丝串接螺栓防松失效检测方法，可以实现对串接钢丝的定位和状态检测，保证检测的准确率，从而更好的辅助实现智能化日常检修作业。


技术实现要素：

3.针对现有检测技术的上述不足，本发明提供的螺栓组钢丝串连防松方式失效检测方法解决了现有的检测方法中不能对钢丝预紧力消失进行检测的问题，本发明通过以下技术方案加以实现：所述的一种用于钢丝串接螺栓松动的检测方法，基于二维图像数据和点云数据的融合，具体包括以下步骤：1）通过3d彩色相机获得具有颜色信息的三维深度图像；2）利用训练好的神经网络对二维彩色图像进行目标检测，识别串接钢丝螺栓组位置；3）在步骤2）识别到的螺栓组区域中进行直线检测及条件筛选：若存在对应直线则表示钢丝位置，进入步骤4）；若未识别到直线，则表示钢丝出现缺失、断裂或弯折情况，说明防松方式失效；4）获取步骤3）检测到的钢丝对应位置中的点云数据，对其进行深度方向降维；5）对步骤4）得到的钢丝深度曲线，计算其深度曲率，通过设定一定阈值，判定钢丝是否在深度方向出现弯曲，即表现为松弛，从而判断是否失效。
4.进一步地，步骤2）中利用训练好的神经网络对二维彩色图像中的串接钢丝螺栓组进行目标检测的具体步骤为：2.1）对钢丝串接螺栓组区域进行目标数据集标注，得到网络训练数据集；2.2）利用yolov5网络模型进行目标检测训练；2.3）将包含钢丝串接螺栓组的待检测图片输入至步骤2.2）训练好的神经网络中，得到钢丝串接螺栓组区域的坐标定位输出。
5.进一步地，步骤3）中，对识别到的螺栓组区域中进行直线检测及筛选，具体包括如下步骤：3.1）对步骤2）中获得的钢丝串接螺栓组区域图像进行中值滤波处理；3.2）对步骤3.1）中获得的处理结果进行canny算子计算边缘；3.3）对步骤3.2）中获得的边缘图像进行霍夫直线检测处理，通过设置最小直线距离和间隔，得到钢丝两端点位置坐标。
6.进一步地，步骤4）中，获取螺丝对应位置的点云数据后，对其进行深度方向降维，具体包括如下步骤：4.1）由步骤3）中的直线检测结果获取钢丝两端位置坐标，将二维区域坐标转换至点云数据中的坐标信息；4.2）在点云数据中，通过计算两端点分别沿x, y方向的距离，以距离大的方向为基准方向进行单位为一的采样，另一方向上的坐标取值按照最近原则取距离直线最近的点云数据；4.3）将深度数据按照单位距离进行依次排列，通过中值滤波去除数据中的奇异点；4.4）通过上述步骤获得降维后沿各条钢丝所在直线的深度值，计算沿最长基准方向的平均值变化数据。
7.进一步地，步骤5）中，计算钢丝深度曲率，通过设定一定阈值，判定钢丝是否在深度方向出现松弛，具体包括如下步骤：5.1）利用最小二乘法计算拟合曲线圆心及半径；5.2）计算曲率和预先设定的阈值对钢丝是否弯曲进行判断。
8.本发明针对日常关键部件智能巡检过程中，通过非接触式方式无法准确检测钢丝串接螺栓松动状态的问题，即钢丝串接螺栓多种失效形式，包括缺失、断裂、松弛等，利用二维图像和点云数据融合，解决了关键区域的钢丝串接螺栓状态无法识别或识别率低的问题。采用本发明的方法，不仅可以节省人工检测的时间和经济成本，提升自动化水平，而且帮助实现一种更安全可靠的智能化场景检修方案。
附图说明
9.图1为本发明方法的流程示意图；图2为3d彩色相机拍摄的钢丝串接螺栓组彩色深度图；图3为目标区域检测分割后钢丝位置检测结果图；图4为钢丝位置沿深度方向降维后的深度信息图。
具体实施方式
10.为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。
11.如图1所示，本发明基于二维数据和电源数据的融合，对于钢丝串接螺栓松动检测方法，具体包括以下步骤流程：步骤1，通过3d彩色相机获得具有颜色信息的三维深度图像，获取的三维深度图像
如图2所示；步骤2，利用训练好的神经网络对二维彩色图像进行目标检测，识别串接钢丝螺栓组位置；具体步骤为，2.1）在二维彩色图像中，对钢丝串接螺栓组区域进行目标数据集标注，根据训练集和测试集为7:3比例进行网络训练数据集随机划分；2.2） 利用yolov5网络模型进行目标检测训练，获得网络参数权重；2.3） 将包含钢丝串接螺栓组的待检测图片输入至步骤2.2）中训练好的神经网络中，得到钢丝串接螺栓组区域的坐标输出，剪裁得到相应区域图片。
12.步骤3，在步骤2得到的螺栓组区域中进行直线检测，进行条件筛选，如图3所示，若存在对应直线则表示钢丝位置，进入步骤4，若未识别到直线，则表示钢丝出现缺失、断裂或弯折情况，说明防松方式失效；具体地，步骤3.1,对钢丝串接螺栓组区域图像进行算子的中值滤波处理；步骤3.2,对步骤3.1中获得的处理结果进行canny算子计算边缘；步骤3.3,对步骤3.2中获得的边缘图像进行霍夫直线检测处理，设置最小直线距离和间隔，通过检测角度范围限定进行筛选，得到钢丝两端点位置坐标。
13.步骤4，获取步骤3检测到的钢丝对应位置中的点云数据，对其进行深度方向降维。
14.具体的，步骤4.1, 由步骤3中的直线检测结果获取钢丝两端位置坐标，将二维区域坐标转换至点云数据中的坐标信息；步骤4.2, 在点云数据中，通过计算两端点分别沿x, y方向的距离，以距离大的方向为基准方向进行单位为一的采样，另一方向上的坐标取值按照最近原则取距离直线最近的点云数据，得到钢丝位置上n个单位的点云数据；步骤4.3, 将该n个深度数据按照单位距离进行依次排列，通过中值滤波去除数据中的奇异点；步骤4.4,通过上述步骤获得降维后沿各条钢丝所在直线的深度值，如图4所示，得到沿最长基准方向的深度变化数据。
15.步骤5，对步骤4得到的钢丝深度曲线，计算其深度曲率，通过设定一定阈值，判定钢丝是否在深度方向出现弯曲，即表现为松弛，从而判断是否失效。
16.具体地，步骤5.1 ，利用最小二乘法计算拟合曲线圆心o及半径r；步骤5.2 ，计算曲率，设定阈值,如果则判断钢丝发生弯曲，如果则判断钢丝没有发生弯曲。
17.进一步，在步骤5.1 中利用最小二乘法计算拟合曲线圆心及半径包括如下步骤：
步骤5.1.1， 计算沿直线上的点云数据的质心位置；步骤5.1.2 ，根据公式计算残余函数；步骤5.1.3 ，通过最小二乘法进行优化，确定圆心；步骤5.1.4 ，计算半径，即圆心s到各点的距离平均值。