一种机器人自主识别与精确定位焊缝的方法

1.本发明涉及焊接技术领域，尤其涉及一种机器人自主识别与精确定位焊缝的方法。


背景技术：

2.焊接自动化是提高焊接质量和效率、节省人工成本的重要手段。焊缝跟踪是实现焊接自动化的必要技术之一，已经广泛运用于高端装备制造领域。但目前的焊缝跟踪技术主要解决的是焊缝示教位置与实际位置存在偏差的问题，仍不能解决焊缝初始点定位的问题。焊接初始点的定位以及焊缝路径的规划仍然需要依靠离线编程或者手动示教实现，无法做到全流程自动化及机器人的自主焊接。
3.传统的机器视觉进行焊缝定位的方法，只能实现平面焊缝的焊接，对于复杂焊缝、多焊缝的建模无法实现。专利申请号为201910266401.4的发明专利申请公开了一种应用于金属结构的智能焊接系统，其也可以实现无需示教的自动离线编程，但是该系统需要先手动为待焊工件进行建模，依靠数字模型为机器人提供焊缝位置，焊接精度受限于建模精度及加工精度，且对于无法直接建模的复杂曲面，不能进行焊接路径的编程。


技术实现要素：

4.为了解决现有技术中存在的问题，本技术提出了一种机器人自主识别与精确定位焊缝的方法，以便可以在无人干预的情况下实现多个且可以是类型不同的焊缝的识别、焊缝起点终点的定位、焊缝三维形貌的扫描、待焊点的精确定位、焊接路径的自动规划，最终实现机器人的全自主焊接。
5.为了实现上述目的，本技术提出了一种机器人自主识别与精确定位焊缝的方法，包括以下步骤：
6.步骤1、使用机器人所搭载的相机拍摄待焊工件的照片，记录拍摄照片时相机的位姿信息，使用预先训练好的神经网络分析照片，获取照片中的焊缝数量以及每一条焊缝的边界及两个端点在图像坐标系中的坐标，结合拍摄照片时相机的位姿信息计算出每一条焊缝的边界及两个端点对应的在世界坐标系中的坐标；
7.步骤2、打开激光结构光发生器，将结构光投影在待焊工件上，针对识别出的第一条焊缝，借助步骤1计算出的它的两个端点在世界坐标系中的坐标，控制机器人距待焊工件预设高度沿焊缝的起点向终点运动，在运动的过程中同时拍摄结构光的照片，并记录每一张照片拍摄时机器人末端相机的位姿信息；
8.步骤3、对步骤2中拍摄到的每一张结构光照片进行图像处理，得到各个结构光条纹中心线在图像坐标系中的坐标，再结合与结构光照片对应的机器人末端相机的位姿信息计算出结构光条纹中心线在世界坐标系中所对应的坐标，将所有结构光条纹中心线在世界坐标系中所对应的坐标组合成一组点云数据；
9.步骤4、结合步骤1中确定的焊缝边界，剔除落在焊缝边界以外的点云数据以减少
数据量，通过分析剔除后剩余的点云数据获取机器人上的焊枪的位姿信息；
10.步骤5、重复步骤2至步骤4，直至获取所有焊缝对应的焊枪位姿信息；
11.步骤6、控制机器人按照焊枪位姿信息对各焊缝依次执行焊接操作，焊接过程中，打开激光结构光发生器，将结构光投影在待焊工件上，拍摄结构光的照片，通过分析结构光的照片得出焊缝的精确坐标，同时，监控焊枪末端当前位置与焊缝精确坐标的偏差，控制机器人朝着降低偏差的方向移动。
12.在一些实施例中，在所述步骤1中，使用预先训练好的神经网络分析照片，获取照片中的焊缝数量以及每一条焊缝的边界及两个端点在图像坐标系中的坐标的具体做法如下：
13.步骤11、构建数据集，数据集包括平面焊缝、曲面焊缝、直线焊缝、曲线焊缝、单一焊缝、多个焊缝、交叉焊缝的照片；
14.步骤12、对步骤11中构建的数据集中的每一张照片进行标注，逐一确认照片中的像素点属于焊缝或属于待焊工件或属于背景，属于焊缝的像素点标记为1，属于待焊工件的像素点标记为2，属于背景的像素点标记为0；
15.步骤13、构建语义分割神经网络，然后使用步骤12中标注过的数据集训练该语义分割神经网络，得到训练好的神经网络；
16.步骤14、将待焊工件的照片输入步骤13中训练好的神经网络，神经网络会输出照片中每个像素所属的类别标记，选择所有标记为1的属于焊缝的像素点，在其组成的区域内，面积大于预设值的每一个连通域均对应输入照片中的一条焊缝，面积大于预设值的连通域的数量，即为照片中焊缝的数量，面积大于预设值的连通域的边界的像素坐标即为焊缝的边界在图像坐标系中的坐标，面积大于预设值的连通域的端点的像素坐标即为焊缝的端点在图像坐标系中的坐标。
17.在一些实施例中，在所述步骤3中，图像处理过程为对结构光照片依次进行滤波、降噪、形态学运算、边缘检测、结构光条纹中心线的提取。
18.在一些实施例中，在所述步骤4中，通过分析剔除后剩余的点云数据获取机器人上的焊枪的位姿信息的具体做法如下：
19.步骤41、对点云数据进行平面或曲面拟合，位于拟合面上的点属于待焊工件表面，位于拟合面之外的点属于焊缝；
20.步骤42、对属于待焊工件表面的点组成的点云数据，沿焊缝分为两部分，分别记为第一组待焊工件表面点云数据和第二组待焊工件表面点云数据；
21.步骤43、对属于焊缝的点组成的点云数据，沿焊缝延伸方向分成若干组分别进行质心点提取；
22.步骤44、对提取到的任一质心点，该质心点的坐标即为该质心点对应的焊枪位姿信息中焊枪的位置，该质心点前后两个质心点的连线的方向即为该质心点对应的焊枪位姿信息中焊枪姿态的x方向；在第一组待焊工件表面点云数据中提取与该质心点的距离小于k的所有点形成一组新的点云数据，在第二组待焊工件表面点云数据中提取与该质心点的距离小于k的所有点形成一组新的点云数据，k为预设值，分别求取两组新的点云数据构成的平面或者近似平面的法向量，得到第一法向量和第二法向量，第一法向量和第二法向量求和后得到第三法向量，第三法向量所指的方向即为该质心点对应的焊枪位姿信息中焊枪姿
态的z方向，当x方向和z方向确定后，通过右手定则能得到该质心点对应的焊枪位姿信息中焊枪姿态的y方向。
23.在一些实施例中，在所述步骤6中，分析结构光的照片所采用的步骤依次是滤波、降噪、形态学运算、边缘检测、提取结构光条纹中心线、提取中心线上焊缝的特征点、计算焊缝的精确坐标。
24.本技术的该方案的有益效果在于上述机器人自主识别与精确定位焊缝的方法，可以在无人干预的情况下实现多个且可以是类型不同的焊缝的识别、焊缝起点终点的定位、焊缝三维形貌的扫描、待焊点的精确定位、焊接路径的自动规划，最终实现机器人的全自主焊接；本技术的该方案的核心思想在于，使用强大的神经网络技术对待焊工件照片进行分析从而获取焊缝的位置及走向信息，从而为后续对待焊工件进行三维扫描提供指导，此方案可以降低三维扫描的工作量及扫描后数据处理的复杂度，可以显著提高算法的执行速度；另外本技术所涉及的方法对相机进行了复用，使其在焊缝位置识别与焊缝三维扫描中均发挥了作用，降低了成本。本技术提出的焊缝的全自主识别与定位技术可以为实现广泛的智能制造提供支持。
附图说明
25.图1示出了实施例中机器人自主识别与精确定位焊缝的方法的流程图。
26.图2示出了实施例中直线型焊缝及其边界的示意图，其中(a)为俯视示意图，(b)为主视示意图。
27.图3示出了实施例中s型焊缝及其边界的示意图，其中(a)为俯视示意图，(b)为主视示意图。
28.图4示出了步骤二中拍摄到的某一张结构光照片以及步骤三中分析该张结构光照片的过程图，其中(a)为原图，(b)为滤波处理后的图，(c)为边缘检测处理后的图，(d)为中心线提取后的图。
29.图5示出了步骤三中生成的点云数据的可视化图。
30.图6示出了步骤四中属于焊缝的点组成的点云数据的可视化图。
31.图7示出了步骤六中获得的焊缝精确坐标与焊枪末端当前位置的偏差图。
具体实施方式
32.下面结合附图对本技术的具体实施方式作进一步的说明。
33.如图1所示，本技术所涉及的机器人自主识别与精确定位焊缝的方法包括以下步骤：
34.步骤1、使用机器人所搭载的相机拍摄待焊工件的照片，记录拍摄照片时相机的位姿信息，使用预先训练好的神经网络分析照片，获取照片中的焊缝数量(例如n条)以及每一条焊缝的边界及两个端点在图像坐标系中的坐标，结合拍摄照片时相机的位姿信息计算出每一条焊缝的边界及两个端点对应的在世界坐标系中的坐标。
35.在本实施例中，所使用的机器人采用fanuc m-20ib/25，相机采用the imaging source dfk23gm021(德国映美精工业相机)。具体的，机器人所搭载的相机是标定过的，机器人与相机是经手眼标定过的。在本步骤中涉及到的神经网络可采用yolov5神经网络，其
具有识别速度快的优势，可以提高焊缝的识别效率。在本实施例中，所使用的待焊工件为开v形坡口的直线型或者s型对接焊缝，如图2-3所示，图中1表示待焊工件，2表示焊缝。
36.在本步骤中，使用预先训练好的神经网络分析照片，获取照片中的焊缝数量以及每一条焊缝的边界及两个端点在图像坐标系中的坐标的具体做法如下：
37.步骤11、构建数据集，数据集包括平面焊缝、曲面焊缝、直线焊缝、曲线焊缝、单一焊缝、多个焊缝、交叉焊缝的照片。
38.步骤12、对步骤11中构建的数据集中的每一张照片进行标注，逐一确认照片中的像素点属于焊缝或属于待焊工件或属于背景，属于焊缝的像素点标记为1，属于待焊工件的像素点标记为2，属于背景的像素点标记为0。
39.步骤13、构建语义分割神经网络，然后使用步骤12中标注过的数据集训练该语义分割神经网络，得到训练好的神经网络。在本步骤中，语义分割神经网络采用u-net的变种，可选地，语义分割神经网络还可以采用segnet、pspnet等神经网络或其变种。
40.步骤14、将待焊工件的照片输入步骤13中训练好的神经网络，神经网络会输出照片中每个像素所属的类别标记，选择所有标记为1的属于焊缝的像素点，在其组成的区域内，面积大于预设值的每一个连通域均对应输入照片中的一条焊缝，面积大于预设值的连通域的数量，即为照片中焊缝的数量，面积大于预设值的连通域的边界的像素坐标即为焊缝的边界在图像坐标系中的坐标，面积大于预设值的连通域的端点的像素坐标即为焊缝的端点在图像坐标系中的坐标。
41.步骤2、打开激光结构光发生器，将结构光投影在待焊工件上，针对识别出的第一条焊缝，借助步骤1计算出的它的两个端点在世界坐标系中的坐标，控制机器人距待焊工件预设高度沿焊缝的起点(其中一个端点)向终点(另一个端点)运动，在运动的过程中同时拍摄结构光的照片，并记录每一张照片拍摄时机器人末端相机的位姿信息。
42.在本实施例中，所述激光结构光发生器采用波长为450nm的蓝光一字型激光器。
43.步骤3、对步骤2中拍摄到的每一张结构光照片进行图像处理，得到各个结构光条纹中心线在图像坐标系中的坐标，再结合与结构光照片对应的机器人末端相机的位姿信息计算出结构光条纹中心线在世界坐标系中所对应的坐标，将所有结构光条纹中心线在世界坐标系中所对应的坐标组合成一组点云数据，如图5所示。
44.在本步骤中，具体的，图像处理过程可以是对结构光照片依次进行滤波、降噪、形态学运算、边缘检测、结构光条纹中心线的提取，如图4所示。
45.步骤4、结合步骤1中确定的焊缝边界，剔除落在焊缝边界以外的点云数据以减少数据量，通过分析剔除后剩余的点云数据获取机器人上的焊枪的位姿信息。
46.在本步骤中，通过分析剔除后剩余的点云数据获取机器人上的焊枪的位姿信息的具体做法如下：
47.步骤41、对点云数据进行平面或曲面拟合，位于拟合面上的点属于待焊工件表面，位于拟合面之外的点属于焊缝。
48.步骤42、对属于待焊工件表面的点组成的点云数据，沿焊缝分为两部分，分别记为第一组待焊工件表面点云数据和第二组待焊工件表面点云数据。
49.步骤43、对属于焊缝的点组成的点云数据，沿焊缝延伸方向分成若干组分别进行质心点提取。
50.步骤44、对提取到的任一质心点，该质心点的坐标即为该质心点对应的焊枪位姿信息中焊枪的位置，该质心点前后两个质心点的连线的方向即为该质心点对应的焊枪位姿信息中焊枪姿态的x方向；在第一组待焊工件表面点云数据中提取与该质心点的距离小于k的所有点形成一组新的点云数据，在第二组待焊工件表面点云数据中提取与该质心点的距离小于k的所有点形成一组新的点云数据，k为预设值，根据实际需要进行设定，分别求取两组新的点云数据构成的平面或者近似平面的法向量，得到第一法向量和第二法向量，第一法向量和第二法向量求和后得到第三法向量，第三法向量所指的方向即为该质心点对应的焊枪位姿信息中焊枪姿态的z方向，当x方向和z方向确定后，通过右手定则能得到该质心点对应的焊枪位姿信息中焊枪姿态的y方向。
51.步骤5、重复步骤2至步骤4，直至获取所有焊缝对应的焊枪位姿信息。
52.步骤6、控制机器人按照焊枪位姿信息对各焊缝依次执行焊接操作，焊接过程中，打开激光结构光发生器，将结构光投影在待焊工件上，拍摄结构光的照片，通过分析结构光的照片得出焊缝的精确坐标，同时，监控焊枪末端当前位置与焊缝精确坐标的偏差，控制机器人朝着降低偏差的方向移动，如图7所示。
53.在本步骤中，分析结构光的照片所采用的步骤依次是滤波、降噪、形态学运算、边缘检测、提取结构光条纹中心线、提取中心线上焊缝的特征点、计算焊缝的精确坐标。
54.本技术所涉及的机器人自主识别与精确定位焊缝的方法能够解决以下问题：
55.1)通过步骤1能够解决多焊缝同步识别及焊缝初始点自主定位问题。
56.2)通过步骤2-4能够解决复杂曲面焊缝的焊接路径自动规划问题。
57.3)通过步骤6能够解决焊接变形导致的预先设定的焊枪位姿与焊缝实际位置不符的问题。
58.本技术所涉及的机器人自主识别与精确定位焊缝的方法，可以在无人干预的情况下实现多个且可以是类型不同的焊缝的识别、焊缝起点终点的定位、焊缝三维形貌的扫描、待焊点的精确定位、焊接路径的自动规划，最终实现机器人的全自主焊接。本技术的该方案的核心思想在于，使用强大的神经网络技术对待焊工件照片进行分析从而获取焊缝的位置及走向信息，从而为后续对待焊工件进行三维扫描提供指导，此方案可以降低三维扫描的工作量及扫描后数据处理的复杂度，可以显著提高算法的执行速度；另外本技术所涉及的方法对相机进行了复用，使其在焊缝位置识别与焊缝三维扫描中均发挥了作用，降低了成本。本技术提出的焊缝的全自主识别与定位技术可以为实现广泛的智能制造提供支持。
59.以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，根据本技术的技术方案及其构思加以等同替换或改变，都应涵盖在本技术的保护范围之内。