一种用于钢丝串接螺栓松动的检测方法与流程

技术特征：
1.一种用于钢丝串接螺栓松动的检测方法，其特征在于，该检测方法基于二维图像数据和点云数据的融合，具体包括以下步骤：1）通过3d彩色相机获得具有颜色信息的三维深度图像；2）利用训练好的神经网络对二维彩色图像进行目标检测，识别串接钢丝螺栓组位置；3）在步骤2）识别到的螺栓组区域中进行直线检测及条件筛选：若存在对应直线则表示钢丝位置，进入步骤4）；若未识别到直线，则表示钢丝出现缺失、断裂或弯折情况，说明防松方式失效；4）获取步骤3）检测到的钢丝对应位置中的点云数据，对其进行深度方向降维；5）对步骤4）得到的钢丝深度曲线，计算其深度曲率，通过设定一定阈值，判定钢丝是否在深度方向出现弯曲，即表现为松弛，从而判断是否失效。2.如权利要求1所述的一种用于钢丝串接螺栓松动的检测方法，其特征在于，步骤2）中利用训练好的神经网络对二维彩色图像中的串接钢丝螺栓组进行目标检测的具体步骤为：2.1）对钢丝串接螺栓组区域进行目标数据集标注，得到网络训练数据集；2.2）利用yolov5网络模型进行目标检测训练；2.3）将包含钢丝串接螺栓组的待检测图片输入至步骤2.2）训练好的神经网络中，得到钢丝串接螺栓组区域的坐标定位输出。3.如权利要求1所述的一种用于钢丝串接螺栓松动的检测方法，其特征在于，步骤3）中，对识别到的螺栓组区域中进行直线检测及筛选，具体包括如下步骤：3.1）对步骤2）中获得的钢丝串接螺栓组区域图像进行中值滤波处理；3.2）对步骤3.1）中获得的处理结果进行canny算子计算边缘；3.3）对步骤3.2）中获得的边缘图像进行霍夫直线检测处理，通过设置最小直线距离和间隔，得到钢丝两端点位置坐标。4.如权利要求1所述的一种用于钢丝串接螺栓松动的检测方法，其特征在于，步骤4）中，获取螺丝对应位置的点云数据后，对其进行深度方向降维，具体包括如下步骤：4.1）由步骤3）中的直线检测结果获取钢丝两端位置坐标，将二维区域坐标转换至点云数据中的坐标信息；4.2）在点云数据中，通过计算两端点分别沿x, y方向的距离，以距离大的方向为基准方向进行单位为一的采样，另一方向上的坐标取值按照最近原则取距离直线最近的点云数据；4.3）将深度数据按照单位距离进行依次排列，通过中值滤波去除数据中的奇异点；4.4）通过上述步骤获得降维后沿各条钢丝所在直线的深度值，计算沿最长基准方向的平均值变化数据。5.如权利要求1所述的一种用于钢丝串接螺栓松动的检测方法，其特征在于，步骤5）中，计算钢丝深度曲率，通过设定一定阈值，判定钢丝是否在深度方向出现松弛，具体包括如下步骤：5.1）利用最小二乘法计算拟合曲线圆心及半径；5.2）计算曲率和预先设定的阈值对钢丝是否弯曲进行判断。

技术总结
本发明公开了用于钢丝串接螺栓松动的检测方法，属于机器视觉检测技术领域，通过3D相机获取待检测串接钢丝螺栓组的二维彩色数据和三维点云数据，利用神经网络对串接钢丝螺栓组进行目标检测；通过对检测区域进行直线检测得到待检测钢丝位置，提取对应区域的点云数据；对点云数据进行深度方向降维；得到钢丝深度方向形态，计算钢丝深度变化曲率，实现钢丝连接状态的检测。本发明通过二维图像定位钢丝位置，并判断其断裂或缺失失效形式，并进一步的结合三维点云数据判断钢丝的深度变化曲率进行松弛度检测，可以有效提高检测准确率，辅助智能化日常检修作业。助智能化日常检修作业。助智能化日常检修作业。


技术研发人员：杨轩 林贤煊 周思杭 杜强 陈嘉星 戚芳榕
受保护的技术使用者：中数智科（杭州）科技有限公司
技术研发日：2021.12.23
技术公布日：2022/5/17