复杂空间曲线焊缝的焊接位姿调整方法及装置与流程

1.本技术涉及焊接技术领域，具体涉及一种复杂空间曲线焊缝的焊接位姿调整方法及装置。


背景技术：

2.随着计算机视觉、自动控制理论和人工智能技术的发展，机器人焊接得到了迅猛的发展。其中，基于结构光传感器的机器人焊接利用结构光视觉传感器获取焊缝图像后，首先需要通过图像处理算法完成对焊缝的识别与焊缝特征点的提取，然后基于焊缝特征点的坐标信息设计控制算法从而实现焊缝的自动跟踪。
3.由于激光条纹超前焊枪一段距离，对于空间曲线焊缝的焊缝跟踪，如何克服视觉超前并准确的获取焊接过程中实时的焊接偏差是一个亟需解决的问题。同时，焊接姿态也是影响焊缝成形和焊接质量的一个重要因素，为了保证焊接质量，在复杂空间曲线焊缝的焊接过程中，对焊接机器人焊接姿态的实时调整非常有必要。


技术实现要素：

4.由于现有方法存在上述问题，本技术实施例提供一种复杂空间曲线焊缝的焊接位姿调整方法及装置。
5.具体的，本技术实施例提供了以下技术方案：
6.第一方面，本技术实施例提供了一种复杂空间曲线焊缝的焊接位姿调整方法，包括：
7.步骤101，通过激光焊缝跟踪传感器采集复杂空间曲线焊缝的图像；
8.步骤102，基于自更新模板匹配算法，提取复杂空间曲线焊缝图像的焊缝特征点坐标；
9.步骤103，根据所述焊缝特征点坐标，计算当前期望的焊接点坐标，并根据所述当前期望的焊接点坐标，计算复杂空间曲线焊缝跟踪过程中的焊缝偏差，以使根据所述焊缝偏差对焊接位置进行实时调整；
10.步骤104，根据所述焊缝特征点坐标，建立复杂空间曲线焊缝的离散姿态模型，以使根据所述离散姿态模型对焊接姿态进行实时调整。
11.可选的，基于自更新模板匹配算法，提取复杂空间曲线焊缝图像的焊缝特征点坐标，包括：
12.步骤201，对复杂空间曲线焊缝图像进行像素灰度值计算，确定所述焊缝图像的感兴趣区域；
13.步骤202，根据所述焊缝图像的特征，生成所述焊缝图像对应的匹配模板，并基于模板匹配算法，提取所述焊缝图像的焊缝特征点坐标；
14.步骤203，根据当前提取的焊缝特征点坐标，对所述匹配模板进行更新，以及确定下一帧焊缝图像的感兴趣区域，以使根据更新后的匹配模板，提取下一焊缝特征点坐标；
15.步骤204，重复执行步骤203，实现整个复杂空间曲线焊缝图像的焊缝特征点坐标提取。
16.可选的，在提取复杂空间曲线焊缝图像的焊缝特征点坐标后，还包括：
17.根据激光焊缝跟踪传感器坐标系与焊接机器人基坐标系之间的坐标变化关系，将每一个焊缝特征点在所述激光焊缝跟踪传感器坐标系下的二维坐标转化到所述焊接机器人基坐标系下的三维坐标；
18.根据所述复杂空间曲线焊缝图像中激光条纹形态的变化，获取所述复杂空间曲线焊缝图像中的焊缝初始点坐标，并将所述焊缝初始点坐标转换到焊接机器人基坐标系下；
19.将焊接机器人基坐标系下的焊缝初始点坐标与由焊缝特征点坐标形成的示教轨迹中的初始点坐标进行对比，得到焊缝初始点坐标偏差；
20.根据所述焊缝初始点坐标偏差，调整焊枪中心点位置，从而实现焊枪与焊缝初始点的自动对准。
21.可选的，根据所述焊缝特征点坐标，计算当前期望的焊接点坐标，并根据所述当前期望的焊接点坐标，计算复杂空间曲线焊缝跟踪过程中的焊缝偏差，以使根据所述焊缝偏差对焊接位置进行实时调整，包括：
22.基于滑动队列法，获取当前队列中包含的焊缝特征点的三维坐标数据；
23.基于预设次数b样条拟合法，将所述当前队列中包含的焊缝特征点的三维坐标数据拟合成一条光滑曲线；
24.获取当前焊枪中心点在焊接机器人基坐标系下的坐标，以及，光滑曲线上的焊缝特征点的三维坐标；
25.根据当前焊枪中心点在焊接机器人基坐标系下的坐标，以及，光滑曲线上的焊缝特征点的三维坐标，计算当前期望的焊接点坐标；
26.根据所述当前期望的焊接点坐标，计算复杂空间曲线焊缝跟踪过程中的焊缝偏差，以使根据所述焊缝偏差对焊枪中心点位置进行实时调整。
27.可选的，根据所述焊缝特征点坐标，建立复杂空间曲线焊缝的离散姿态模型，以使根据所述离散姿态模型对所述焊枪姿态进行调整，包括：
28.获取各个焊缝特征点处的方向向量、接近向量和法向量，并根据所述各个焊缝特征点处的方向向量、接近向量和法向量，建立复杂空间曲线焊缝的离散姿态模型；
29.根据所述复杂空间曲线焊缝的离散姿态模型，计算焊接机器人当前的焊接姿态偏差，以使根据所述焊接机器人当前的焊接姿态偏差，对所述焊接机器人的当前焊接姿态进行实时调整。
30.可选的，所述激光焊缝跟踪传感器坐标系与焊接机器人基坐标系之间的坐标变化关系为：
31.p
′b＝t6tmp
′c32.其中，p
′b为焊缝特征点在焊接机器人基坐标系下的三维坐标的齐次形式，t6为机器人位姿变换矩阵，tm为摄像机坐标系和机器人工具坐标系之间的旋转和平移关系矩阵，p
′c为焊缝特征点在摄像机坐标系下的三维坐标的齐次形式。
33.可选的，所述基于模板匹配算法，提取所述复杂空间曲线焊缝图像的焊缝特征点坐标，包括：
34.根据下面公式，计算匹配模板与感兴趣区域之间的灰度平方差之和，将偏差最小处匹配模板图像的中心点作为复杂空间曲线焊缝的特征点；所述公式为：
[0035][0036]
其中，t(x
′
,y
′
)表示匹配模板上(x
′
,y
′
)坐标的像素灰度值，i(x,y)表示感兴趣区域中(x,y)坐标的像素灰度值，r(x,y)表示在感兴趣区域(x,y)坐标处的匹配模板与感兴趣区域像素之间的灰度值平方差之和，r(x,y)的值越小，匹配程度越高。
[0037]
第二方面，本技术实施例提供了一种复杂空间曲线焊缝的焊接位姿调整装置，包括：
[0038]
采集模块，用于通过激光焊缝跟踪传感器采集复杂空间曲线焊缝的图像；
[0039]
提取模块，用于基于自更新模板匹配算法，提取复杂空间曲线焊缝图像的焊缝特征点坐标；
[0040]
第一处理模块，用于根据所述焊缝特征点坐标，计算当前期望的焊接点坐标，并根据所述当前期望的焊接点坐标，计算复杂空间曲线焊缝跟踪过程中的焊缝偏差，以使根据所述焊缝偏差对焊接位置进行实时调整；
[0041]
第二处理模块，用于根据所述焊缝特征点坐标，建立复杂空间曲线焊缝的离散姿态模型，以使根据所述离散姿态模型对焊接姿态进行实时调整。
[0042]
第三方面，本技术实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所述复杂空间曲线焊缝的焊接位姿调整方法的步骤。
[0043]
第四方面，本技术实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述复杂空间曲线焊缝的焊接位姿调整方法的步骤。
[0044]
由上面技术方案可知，本技术实施例首先采集复杂空间曲线焊缝的图像，使用自更新模板匹配算法提取焊缝图像的焊缝特征点坐标。在进行焊接位置调整时：根据焊缝特征点坐标，计算当前期望的焊接点坐标，并根据当前期望的焊接点坐标，计算复杂空间曲线焊缝跟踪过程中的焊缝偏差，以使根据焊缝偏差对焊接位置进行实时调整。在进行焊接姿态调整时：根据焊缝特征点坐标，建立复杂空间曲线焊缝的离散姿态模型，以使根据离散姿态模型对焊接姿态进行实时调整。由此可知，本技术实施例可以实现复杂空间曲线焊缝的焊接位置和姿态的实时调整，保证了焊接质量和焊接稳定性。
附图说明
[0045]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
[0046]
图1是本技术实施例提供的复杂空间曲线焊缝的焊接位姿调整方法的步骤流程图；
[0047]
图2是本技术实施例提供的基于自更新模板匹配的焊缝特征点提取方法的步骤流
程图；
[0048]
图3是本技术实施例提供的激光焊缝跟踪传感器的结构示意图；
[0049]
图4是本技术实施例提供的激光焊缝跟踪传感器采集的复杂空间曲线焊缝图像；
[0050]
图5是本技术实施例提供的激光焊缝跟踪传感器视觉模型示意图；
[0051]
图6是本技术实施例提供的获取第一个焊缝图像特征点的流程图；
[0052]
图7是本技术实施例提供的获取焊缝图像特征点坐标的流程图；
[0053]
图8是本技术实施例提供的焊缝初始点检测的流程图；
[0054]
图9是本技术实施例提供的v型焊缝初始点检测流程图；
[0055]
图10是本技术实施例提供的搭接焊缝初始点检测流程图；
[0056]
图11是本技术实施例提供的角接焊缝初始点检测流程图；
[0057]
图12是本技术实施例提供的滑动数据队列算法示意图；
[0058]
图13是本技术实施例提供的复杂空间曲线焊缝焊接误差示意图；
[0059]
图14是本技术实施例提供的v型焊缝特征点与特征向量示意图；
[0060]
图15是本技术实施例提供的复杂空间曲线焊缝位姿模型示意图；
[0061]
图16是本技术实施例提供的复杂空间曲线实时焊缝跟踪和焊接姿态调整系统框图；
[0062]
图17是本技术实施例提供的复杂空间曲线焊缝的焊接位姿调整装置的结构示意图；
[0063]
图18是本技术实施例的电子设备的结构示意图。
具体实施方式
[0064]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
[0065]
如图1所示，本技术实施例提供的复杂空间曲线焊缝的焊接位姿调整方法，包括：
[0066]
步骤101，通过激光焊缝跟踪传感器采集复杂空间曲线焊缝的图像；
[0067]
步骤102，基于自更新模板匹配算法，提取复杂空间曲线焊缝图像的焊缝特征点坐标；
[0068]
在本步骤中，需要说明的是，常见的特征点提取方法有两种，一种是基于激光条纹几何特征的焊缝特征点获取，另外一种是基于模板匹配的焊缝特征点获取。对于基于几何特征的特征点提取方法，存在以下缺点：首先，适应性不强。对于不同类型的焊缝，需要特定的图像处理算法，因此算法没有通用性。其次，参数无动态调整。在同种焊缝类型的图像处理中，由于焊缝沟槽尺寸、角度的不同，处理算法中的参数也需要手动调整。还有其鲁棒性相对较差。在使用熔化极气体保护焊(gmaw)的过程中，存在着大量的弧光和飞溅干扰，在某些情况下基于几何特征的焊缝特征点提取容易受到焊接噪声的干扰，无法准确的获取焊缝特征点。综上，基于几何特征点的焊缝特征点提取方法存在灵活性和鲁棒性差等缺点。基于模板匹配的焊缝特征点获取方法是拿已知的模板和原图像中同样大小的一块区域去比对。从左上角开始，逐渐平移到下一个像素，下一行像素，直到所有的位置都对比完，差别最小
的那块就是要找的位置。计算匹配模板和原图像之间的误差通常使用平方差匹配法，公式如下：
[0069][0070]
其中t(x
′
,y
′
)表示模板上(x
′
,y
′
)坐标的像素灰度值，i(x,y)表示原始图像上(x,y)坐标的像素灰度值，r(x,y)表示在原始图像(x,y)坐标处的模板与原始图像像素之间的灰度值平方差之和，r(x,y)的值越小，说明匹配程度越高。
[0071]
然而该方法存在以下缺点：首先，模板匹配的计算量大。模板匹配几乎要将原始图像上的每个像素都要进行计算，中间涉及到大量的乘法和加法，用时较多，影响系统的实时性能。其次，模板匹配对于图像的旋转变形适应性不强。对于复杂空间焊缝，同一个焊缝的不同位置的图像差别较大，有相对的旋转性，使用一套模板提取特征点可能存在误差较大或提取不准的情况。因此，针对现有焊缝特征点提取方法存在的一些缺点，本技术实施例提供一种基于感兴趣区域的自更新模板匹配算法，如图2所示，该方法对复杂空间曲线焊缝特征点的提取具有更强的鲁棒性和更好的实时性。基于感兴趣区域的自更新模板匹配算法分为两个步骤，第一步是使用基于感兴趣区域(roi)的模板匹配算法查找第一个焊缝特征点，第二步使用基于自更新模板匹配算法获取下一帧焊缝图像的焊缝特征点并不断重复步骤二。在进行第一幅图像处理时，使用基于roi的模板匹配法查找焊缝特征点的流程如图6所示，其中以v型焊缝特征点提取为例进行说明的具体流程如下：首先计算原始图像的感兴趣区域。由于对整幅图像进行模板匹配计算量较大，而在感兴趣区域内进行模板匹配可以大大减少计算量。由采集到的原始图像图6(1)可以看出，激光条纹大致平行于图像的横轴，而且激光条纹处像素的灰度值明显高于图像中其他像素的灰度值，因此图像的感兴趣区域可以通过对每行像素灰度值进行求和得到。每行像素灰度值求和公式如下：
[0072][0073]
式中，jv(i)是图像第i行像素灰度值之和，w和h分别是图像的宽度和高度。
[0074]
如图6(2)所示，图像的感兴趣区域可以通过下式得到：
[0075][0076]
式中，[x
min
,x
max
]是感兴趣区域在原始图像中的最小列和最大列，[y
min
,y
max
]是感兴趣区域在原始图像中的最小行和最大行，vc是式(6)中jv(i)的最大值对应的行数，[δyh,δy
l
]分别是向上和向下扩充的行数，δyh δy
l
是感兴趣区域的行数。
[0077]
在本步骤中，如图3所示，本技术实施例提供的激光焊缝跟踪传感器，主要包括工业相机、传感器保护外壳、滤光镜片、线阵激光器等。其中：线阵激光器产生的激光平面投射到工件上形成激光条纹，工业相机和滤光镜片同轴安置于传感器外壳内壁来采集焊缝图像，减光镜片位于抽屉式结构从而保证在非焊接过程中，通过将其抽出实现对工业相机的标定，系统保护外壳保护传感器免受飞溅和高温的干扰，并通过安装支架与机器人第六轴进行连接。使用本发明实施例所述的激光焊缝跟踪传感器，采集的对称v型焊缝、搭接焊缝、角接焊缝图像如图4所示，其中焊缝图像中白色线条为激光条纹和飞溅光，经过滤光镜片的作用，除激光条纹和飞溅光之外都是黑色。
[0078]
在本步骤中，首先根据v型焊缝的特征，生成v型焊缝的匹配模板，v型焊缝的特征点位于模板中心位置，模板由两条交叉于中心点的亮点直线组成，模板其余位置全为黑。生成的v型焊缝模板如图6(3)所示。然后在感兴趣区域内进行模板匹配求取焊缝特征点。根据公式(5)，以图6(3)作为v型焊缝的模板，以图6(2)作为被搜索图像进行模板匹配，求取模板与搜索图像之间的灰度平方差之和。如图6(4)所示，将偏差最小处模板图像的中心点作为v形焊缝的特征点。通过基于感兴趣区域的模板匹配，可以求得v型焊缝的第一个特征点f
p1
(x1,y1)。
[0079]
在本步骤中，需要说明的是，对于复杂空间曲线焊缝，焊缝在不同的位置会有一定程度的变化，包括尺度的变化和角度的变化。若采用相同的v型模板，容易造成匹配精度低甚至是匹配错误，因此在基于感兴趣区域模板匹配的基础上，本技术提供一种自更新模板的匹配算法，该算法的原理如图7所示，自更新模板匹配算法对v型焊缝的特征点提取流程如下：
[0080]
如图7(2)所示，由基于roi的模板匹配法，通过生成的v型焊缝模板在感兴趣区域内提取v型焊缝特征点f
p1
(x1,y1)。然后在原始图像上，以坐标(x1,y1)为中心划取边长为tw像素的方形图像作为新模板。如图7(3)所示，对裁剪得到的新模板进行滤波、二值化，随后提取其激光条纹中心轮廓的图像用于下一帧图像的模板匹配。为了加快模板匹配的速度，需要使用更小的被搜索图像。由于相机的采集帧速在20hz以上，每两幅焊缝图像之间的差别较小，在同一条焊缝轨迹上，焊缝特征点在图像中的位置不会相差太多。因此在新采集的图像上以上一帧提取到的焊缝特征点f
p1
(x1,y1)为中心，提取宽度为sw像素、高度为sh像素的区域作为新的被搜索图像如图7(5)所示。
[0081]
然后，以上述获取的图像作为新的匹配模板，使新的匹配模板图像遍历被搜索图像，将模板图像中心轮廓上的点和与其对应的被搜索图像上的点进行形状匹配，得到匹配程度最高的位置，模板图像的中心点为获取的焊缝特征点坐标如图7(6)所示。
[0082]
在本步骤中，重复动态更新模板和被搜索图像，不断获取v型焊缝的底部特征点以及两个边缘特征点，从而实现对复杂空间曲线焊缝图像的焊缝特征点提取。
[0083]
步骤103，根据所述焊缝特征点坐标，计算当前期望的焊接点坐标，并根据所述当前期望的焊接点坐标，计算复杂空间曲线焊缝跟踪过程中的焊缝偏差，以使根据所述焊缝偏差对焊接位置进行实时调整；
[0084]
在本步骤中，首先基于预设次数b样条拟合法，将所述当前队列中包含的焊缝特征点的三维坐标数据拟合成一条光滑曲线；然后获取当前焊枪中心点在焊接机器人基坐标系下的坐标，以及，光滑曲线上的焊缝特征点的三维坐标；最后根据当前焊枪中心点在焊接机器人基坐标系下的坐标，以及，光滑曲线上的焊缝特征点的三维坐标，计算当前期望的焊接点坐标，并根据所述当前期望的焊接点坐标，计算复杂空间曲线焊缝跟踪过程中的焊缝偏差，以使根据所述焊缝偏差对焊枪中心点位置进行实时调整。
[0085]
步骤104：根据所述焊缝特征点坐标，建立复杂空间曲线焊缝的离散姿态模型，以使根据所述离散姿态模型对焊接姿态进行实时调整。
[0086]
在本步骤中，首先获取各个焊缝特征点处的方向向量、接近向量和法向量，并根据所述各个焊缝特征点处的方向向量、接近向量和法向量，建立复杂空间曲线焊缝的离散姿态模型；然后根据所述复杂空间曲线焊缝的离散姿态模型，计算焊接机器人当前的焊接姿
态偏差，以使根据所述焊接机器人当前的焊接姿态偏差，对所述焊接机器人的当前焊接姿态进行实时调整。
[0087]
由上面技术方案可知，本技术实施例首先采集复杂空间曲线焊缝的图像，使用自更新模板匹配算法提取焊缝图像的焊缝特征点坐标。在进行焊接位置调整时：根据焊缝特征点坐标，计算当前期望的焊接点坐标，并根据当前期望的焊接点坐标，计算复杂空间曲线焊缝跟踪过程中的焊缝偏差，以使根据焊缝偏差对焊接位置进行实时调整。在进行焊接姿态调整时：根据焊缝特征点坐标，建立复杂空间曲线焊缝的离散姿态模型，以使根据离散姿态模型对焊接姿态进行实时调整。由此可知，本技术实施例可以实现复杂空间曲线焊缝的焊接位置和姿态的实时调整，保证了焊接质量和焊接稳定性。
[0088]
基于上述实施例的内容，在本实施例中，基于自更新模板匹配算法，提取复杂空间曲线焊缝图像的焊缝特征点坐标，包括：
[0089]
步骤201，对复杂空间曲线焊缝图像进行像素灰度值计算，确定所述焊缝图像的感兴趣区域；
[0090]
步骤202，根据所述焊缝图像的特征，生成所述焊缝图像对应的匹配模板，并基于模板匹配算法，提取所述焊缝图像的焊缝特征点坐标；
[0091]
步骤203，根据当前提取的焊缝特征点坐标，对所述匹配模板进行更新，以及确定下一帧焊缝图像的感兴趣区域，以使根据更新后的匹配模板，提取下一焊缝特征点坐标；
[0092]
步骤204，重复执行步骤203，实现整个复杂空间曲线焊缝图像的焊缝特征点坐标提取。
[0093]
基于上述实施例的内容，在本实施例中，在提取复杂空间曲线焊缝图像的焊缝特征点坐标后，还包括：
[0094]
根据激光焊缝跟踪传感器坐标系与焊接机器人基坐标系之间的坐标变化关系，将每一个焊缝特征点在所述激光焊缝跟踪传感器坐标系下的二维坐标转化到所述焊接机器人基坐标系下的三维坐标；
[0095]
根据所述复杂空间曲线焊缝图像中激光条纹形态的变化，获取所述复杂空间曲线焊缝图像中的焊缝初始点坐标，并将所述焊缝初始点坐标转换到焊接机器人基坐标系下；
[0096]
将焊接机器人基坐标系下的焊缝初始点坐标与由焊缝特征点坐标形成的示教轨迹中的初始点坐标进行对比，得到焊缝初始点坐标偏差；
[0097]
根据所述焊缝初始点坐标偏差，调整焊枪中心点位置，从而实现焊枪与焊缝初始点的自动对准。
[0098]
在本实施例中，需要说明的是，结构光视觉投影成像模型如图5所示，其中∏1、π2、π3分别是相机成像平面、工件曲面、激光平面。为了简化模型，本技术不考虑镜头的畸变，将相机的成像模型简化为小孔成像模型，焊缝特征点的图像坐标pf与其在摄像机坐标系下的三维坐标pc之间的关系可表示为：
[0099][0100]
式中，(u,v)是焊缝特征点的图像坐标，(u0,v0)是光轴中心的图像坐标，(k
x
,ky)是横轴和纵轴方向的放大系数，(xc,yc,zc)是焊缝特征点在摄像机坐标系下的三维坐标，mc是
摄像机内参数矩阵。
[0101]
假设结构光平面在摄像机坐标系下的方程为：
[0102]
zc＝axc byc c
ꢀꢀ
(2)
[0103]
式中，a,b,c是系数，可以通过对结构光平面的标定获取。
[0104]
由于激光条纹特征点pc位于激光平面上，所以pc点坐标(xc,yc,zc)符合方程(2)。结合摄像机成像模型(1)和激光器相对于摄像机的位置关系模型(2)，由激光条纹特征点图像坐标就可以获得其在摄像机坐标系下的三维坐标，如公式(3)所示：
[0105][0106]
在焊缝跟踪系统中，激光焊缝跟踪传感器一般位于机器人手上，构成手眼系统。通过手眼标定，可以获得摄像机坐标系和机器人工具坐标系之间的旋转和平移关系矩阵tm。通过与机器人控制器进行网络通信，读取机器人工具中心点的位姿坐标(x
t
,y
t
,z
t
,rx
t
,ry
t
,rz
t
)，进一步计算得到机器人位姿变换矩阵t6，根据公式(3)以及计算得到的tm,t6矩阵，焊缝特征点在机器人基坐标系下的三维坐标的齐次形式p
′b可以由下式获得：
[0107]
p
′b＝t6tmp
′cꢀꢀ
(4)
[0108]
式中，t6可以从机器人控制器实时读取并计算，tm可以由手眼标定获取，p
′c是摄像机坐标系下的三维坐标pc的齐次形式。
[0109]
至此，根据结构光视觉模型，通过相机的内参数求取、结构光平面参数标定、机器人tcp标定、机器人与激光器的手眼标定，可以获取焊缝特征点在机器人基坐标系下的三维坐标，该坐标可用于焊缝的初始点导引与焊缝跟踪、焊枪姿态的自动调整等。
[0110]
在本实施例中，需要说明的是，在机器人焊接过程中，很难保证工件位置的一致性，因此机器人对焊缝的初始点的识别和导引非常重要，这也是进行自动焊缝跟踪的前提。焊缝初始点检测流程如图8所示，机械手持激光焊缝跟踪传感器逐渐向焊缝初始点位置移动，激光条纹的位置依次经过激光线1、激光线2、激光线3和激光线4。当激光条纹位于激光线1时，开始进行焊缝初始点的检测，当激光条纹接近焊缝初始点前，激光条纹的形状是一条直线，当激光条纹到达焊缝初始点时后，激光条纹变成了焊缝轮廓的形状，根据激光条纹形态的变化，获取焊缝初始点的坐标。接下来介绍本技术提供的对v型坡口焊缝、搭接焊缝以及角接焊缝的初始点检测算法。
[0111]
一、v型焊缝初始点检测。如图9所示，v型焊缝初始点检测分为三个阶段，分别是初始阶段、接近阶段、到达阶段。如图9(1)所示，在初始阶段，只有一条激光线穿过焊缝图像感兴趣区域。如图9(2)所示，当机械手持激光焊缝跟踪传感器向v型工件移动时，激光线变为三部分，包括工件上的激光线1和激光线2以及变位机上的激光线3。机械手持激光焊缝跟踪传感器继续向前移动，如图9(3)所示，所有的激光线都位于工件上。v型坡口焊缝初始点的检测如算法1和公式(8)所示，其中mr被定义为激光条纹亮度最高的那一行。
[0112]
[0113]
算法1：
[0114][0115]
二、搭接焊缝初始点检测。如图10所示，搭接焊缝初始点检测分为三个阶段，分别是初始阶段、接近阶段、到达阶段。在图10(1)中，只有一条激光线穿过焊缝图像感兴趣区域。在图10(2)中，当机械手持激光焊缝跟踪传感器向搭接工件移动时，激光线变成两部分，工件上的激光线1和变位机上的激光线2。如图10(3)所示，机械手持激光焊缝跟踪传感器继续向前移动，两条激光线都位于工件上。
[0116]
搭接焊缝起始点的检测如算法2和公式(9)所示。
[0117][0118]
其中，(p
x1
，p
y1
)和(p
x2
,p
y2
)分别是点p1和点p2的像素点坐标，h
th1
，h
th2
和h
th3
是误差判别阈值。
[0119]
算法2：
[0120][0121]
三、角接焊缝初始点检测，如图11所示，角接焊缝初始点检测分为三个阶段，分别是初始阶段、接近阶段、到达阶段。在图11(1)中，在焊缝图像roi区域只有一条激光线。在图11(2)中，当机械手持激光焊缝跟踪传感器向角接工件移动时，激光线变成三部分，工件上的激光线1和激光线2，变位机上的激光线3。如图11(3)所示，当机械手持激光焊缝跟踪传感器继续向前移动时，底部激光线3的高亮点数量逐渐减少，两条倾斜线1和2的高亮点数量不断增加。最后，激光线3消失，激光线1和激光线2连接在一起。本技术简要描述角焊缝起始点的检测如算法3以及公式(10)所示。其中t
fi
定义为二阶差分值的阈值，d
l
和dr分别为从激光线中心轮廓左右两侧计算的二阶差分值。
[0122][0123]
算法3：
[0124][0125]
其中，(p
x1
，p
y1
)和(p
x2
，p
y2
)分别是跳变点p1和跳变点p2的像素点坐标，n
x
和ny分别是点p1和点p2在横坐标和纵坐标方向上的误差判别阈值。
[0126]
在本实施例中，通过本技术提供的焊缝初始点检测算法，可以获取多种焊缝类型的初始点图像坐标。由公式(3)和公式(4)可以获取焊缝特征点在机器人基坐标系中的三维坐标。获取焊缝初始点在机器人基坐标系下的三维坐标后，将该坐标与示教轨迹中焊缝初始点坐标对比，获取两者偏差即为焊缝初始点偏差。上位机通过以太网将起始点偏差发送给机器人控制器，机器人控制器接收到该偏差后，控制机器人在基坐标系下对焊缝初始点偏差进行补偿，实现焊枪与焊缝初始点的自动对准。在实际应用中，有时初始点位置的偏差过大，一次性修正偏差会导致机器人剧烈抖动或超过最大速度。因此，本技术对焊缝初始点偏差进行多次补偿。可选的，本技术的焊缝初始点偏差补偿周期为40ms，每次补偿起始偏差的1/10，焊缝初始点自动对准总的时间消耗为400ms。
[0127]
基于上述实施例的内容，在本实施例中，根据所述焊缝特征点坐标，计算当前期望的焊接点坐标，并根据所述当前期望的焊接点坐标，计算复杂空间曲线焊缝跟踪过程中的焊缝偏差，以使根据所述焊缝偏差对焊接位置进行实时调整，包括：
[0128]
基于滑动队列法，获取当前队列中包含的焊缝特征点的三维坐标数据；
[0129]
基于预设次数b样条拟合法，将所述当前队列中包含的焊缝特征点的三维坐标数据拟合成一条光滑曲线；
[0130]
获取当前焊枪中心点在焊接机器人基坐标系下的坐标，以及，光滑曲线上的焊缝特征点的三维坐标；
[0131]
根据当前焊枪中心点在焊接机器人基坐标系下的坐标，以及，光滑曲线上的焊缝特征点的三维坐标，计算当前期望的焊接点坐标；
[0132]
根据所述当前期望的焊接点坐标，计算复杂空间曲线焊缝跟踪过程中的焊缝偏差，以使根据所述焊缝偏差对焊枪中心点位置进行实时调整。
[0133]
在本实施例中，需要说明的是，在完成焊枪与焊缝初始点的自动对准后，开始进行焊缝跟踪。由于空间曲线焊缝存在较大的曲率，而且焊缝跟踪传感器和焊枪之间总有一段超前距离，如何根据采集到的焊缝数据计算出准确的焊接误差并进行实时纠偏是一个重要的问题。本技术实施例提供一种基于三次b样条拟合的滑动数据队列方法，该方法能有效地计算出空间曲线焊缝跟踪过程中的焊接偏差。具体的，滑动数据队列算法原理图如图12所示。焊接过程中，fp1～fpn为焊缝特征点，其中fp1为焊缝起始点，fpn为焊缝结束点。在焊缝跟踪过程中，当焊枪对准起始焊缝点时，激光条纹投射到点fpk上。k可以由以下公式确定：
[0134]
k＝l*fc/v
ꢀꢀ
(11)
[0135]
其中，l为焊枪到达焊缝起始点前扫描的焊缝距离，fc为焊缝特征点采集频率，v为机器人焊接速度。
[0136]
在本实施例中，假设焊枪在t1时刻与焊缝初始点对齐，将k个焊缝特征点坐标保存在fp中，称为准备队列。如果下一个焊缝特征点提取失败或偏差过大，则不会更新fp和准备队列中的数据。如果成功提取下一个焊缝特征点，则将该点保存到fp中，准备队列中的数据将在fp上向前滑动。重复上述过程，在fp上连续滑动准备队列，计算并实时纠正焊缝偏差。在t
n-k 1
时刻，检测到焊缝结束点，此时fp和准备队列的焊缝数据不再更新。通过滑动数据队列方法，自动更新准备队列中的焊缝位置数据。只处理准备队列中的焊缝数据，提高焊缝跟踪过程中的焊接偏差的计算效率。
[0137]
在本实施例中，需要对准备队列的数据进行三次b样条拟合。由于准备队列中的焊缝位置数据是离散点，为了提高跟踪系统的焊接误差计算精度，采用三次b样条对焊缝位置数据点进行拟合。用四个离散点确定一条三次b样条曲线，假设四个焊缝点分别为p1(x1，y1,z1),p2(x2,y2,z2)、p3(x3,y3,z3)、p4(x4,y4,z4)，则三次b样条曲线的参数表达式为：
[0138][0139]
其中，0≤t≤1，三次b样条的分量形式为如式(13)所示:
[0140][0141]
其中：
[0142][0143][0144][0145]
对于准备队列中的k个焊缝数据，采用三次b样条进行拟合。首先，在焊缝数据的两端各添加一个数据点，即对k 2个数据进行拟合。此时，共有k 2个离散点，记为pi(i＝1,2，
…
,k 2)，由点p1、p2、p3和p4拟合第一条三次b样条曲线，由点p2、p3、p4和p5拟合第二条三次b样条曲线，以此类推，第k-1条三次b样条曲线由p
k-1
、pk、p
k 1
和p
k 2
拟合。最后，位置准备队列中离散的焊缝点被拟合成一条光滑曲线。
[0146]
从图13可以看出，p
t
(t
x
，ty，tz)为工具中心点(tcp)在机器人基坐标系中的坐标，pi(xi，yi，zi)为激光焊缝跟踪传感器获取焊缝特征点在机器人基坐标系下的坐标。pe(p
x
，py，pz)是期望的焊接点坐标。焊接偏差e(e
x
，ey，ez)为p
t
与pe之间的焊接误差。假设机器人沿y轴方向焊接，焊接偏差来自x轴和z轴方向。首先，计算准备队列中的数据点在y方向上的偏差，找到离tcp的y轴坐标ty最近的yi。由三次b样条拟合得到点pi的系数a0、a1、a2、a3、b0、b1、b2、b3以及c0、c1、c2、c3。将点pi的y轴坐标yi代入y(t)＝b0 b1t b2t2 b3t3，可以得到参数t(0≤t≤1)，进而计算出期望的焊接点位置如下：
[0147]
p
x
＝x(t)＝a0 a1t a2t2 a3t3ꢀꢀ
(17)
[0148]
pz＝z(t)＝c0 c1t c2t2 c3t3ꢀꢀ
(18)
[0149]
因此，在x轴方向上的焊接偏差为：
[0150]
δ
x
＝p
x-t
x
ꢀꢀ
(19)
[0151]
在z轴方向上的焊接偏差为：
[0152]
δz＝p
z-tzꢀꢀ
(20)
[0153]
同理，若机器人沿x轴焊接，在z方向的焊接偏差与式(20)相同，而y轴方向的焊接偏差为：
[0154]
δy＝p
y-tyꢀꢀ
(21)
[0155]
最后，工业计算机通过以太网将焊接偏差发送给机器人控制器，机器人控制器控制焊枪在机器人坐标系下的x轴、y轴以及z轴方向上进行偏移，从而实现实时的焊缝跟踪。
[0156]
基于上述实施例的内容，在本实施例中，根据所述焊缝特征点坐标，建立复杂空间曲线焊缝的离散姿态模型，以使根据所述离散姿态模型对所述焊枪姿态进行调整，包括：
[0157]
获取各个焊缝特征点处的方向向量、接近向量和法向量，并根据所述各个焊缝特
征点处的方向向量、接近向量和法向量，建立复杂空间曲线焊缝的离散姿态模型；
[0158]
根据所述复杂空间曲线焊缝的离散姿态模型，计算焊接机器人当前的焊接姿态偏差，以使根据所述焊接机器人当前的焊接姿态偏差，对所述焊接机器人的当前焊接姿态进行实时调整。
[0159]
在本实施例中，需要说明的是，由于复杂空间曲线焊缝的形态、角度、尺寸一直在变化，因此焊枪姿态也是影响焊缝成形和焊接质量的一个重要因素，为了保证焊接质量，在对复杂空间曲线焊缝的焊接过程中，对焊接机器人焊接姿态的实时调整非常有必要。如图14所示，v型坡口的空间曲线焊缝特征点包括两侧边缘点p1、p3以及底部中心点p2。根据空间曲线焊缝的焊缝特征点采样数据，建立空间曲线焊缝的离散姿态模型，用于对焊枪局部姿态进行实时控制。焊缝的离散模型是焊缝特征点在机器人坐标系下的一系列离散坐标点，如图15所示，焊缝姿态模型的建立流程如下：
[0160]
1、获取焊缝特征点处的方向向量o(i)：o(i)表示空间曲线焊缝在第i个采样点处的切线方向，可通过求取焊缝曲线在第i个采样点处的一阶导数得到：
[0161][0162]
式中，i，j，k分别为机器人基坐标系下的x轴、y轴以及z轴的单位向量。
[0163]
2、获取接近向量a(i)：a(i)表示空间曲线焊缝在第i个采样点处垂直于焊缝的法矢量，可由下式计算得到：
[0164][0165]
式中，符号
·
表示两个向量的点乘运算符，向量b(i)为空间曲线焊缝在第i个采样点处向量v1与向量v3平分线的单位向量，如图13所示，向量v1为特征点p1与p2确定的方向向量；向量v3为特征点p2与p3确定的方向向量，b(i)的表达式如下：
[0166][0167]
3、获取法向向量n(i)：可由方向向量o(i)与接近向量a(i)做向量积运算得到：
[0168]
n(i)＝o(i)
×
a(i)
ꢀꢀ
(25)
[0169]
因此，通过上述1、2、3可以获取焊缝特征点处的方向向量、接近向量以及法向量，焊缝的期望位姿的旋转矩阵r可用以上三个向量来表示：
[0170][0171]
通过旋转矩阵r，可以计算出在机器人基坐标系下的期望x轴、y轴、z轴方向的欧拉角，计算流程如算法4所示。
[0172]
算法4：
[0173][0174][0175]
在本实施例中，可以理解的是，通过算法4可以将旋转矩阵r转化为x、y、z三个方向的欧拉角θ，φ。获取焊缝位姿模型后，将焊枪的姿态与焊缝的期望位姿重合即可实现最优姿态焊接。从机器人控制器可以读取机器人的当前位姿(x,y,z,r
x
,ry,rz)，其中r
x
，ry，rz分别为机器人在x轴、y轴、z轴方向的欧拉角。因此，在x轴方向、y轴方向、z轴方向实时的焊接姿态偏差为：
[0176][0177]
δry＝r
y-θ
ꢀꢀ
(28)
[0178]
δrz＝r
z-φ
ꢀꢀ
(29)
[0179]
根据公式(27)，(28)，(29)计算出焊接姿态调整量后，通过网络通信，将姿态偏差发送给机器人控制器进行实时的焊接姿态调整，实现机器人保持最优的焊接姿态完成焊接工作，从而保证焊接质量。
[0180]
如图16所示，本技术实施例针对复杂空间曲线焊缝的实时焊缝跟踪与焊接姿态调整方法所用的设备主要包括激光视觉传感器、焊接机器人、工业计算机和焊接设备，其中工业机器人为motoman-ma1440六自由度焊接机器人，重复定位精度为
±
0.08mm。dx200控制器控制机器人的运动，并通过以太网与工业计算机进行交互。基于8gb ram、主频2.3ghz的工控主机，提取出复杂空间曲线焊缝的特征点，获取并完成焊接偏差的自动纠偏以及焊接姿态的自动调整。焊接设备主要包括氩气/二氧化碳保护气体、motoweld-rd500焊机和自动送丝机。作为一个实时系统，自更新模板匹配算法的处理周期为9ms，工控机每30ms向机器人控制器发送一次位姿调整值，机器人控制周期为40ms。
[0181]
基于相同的发明构思，本发明另一实施例提供了一种复杂空间曲线焊缝的焊接位姿调整装置，如图17所示，所述装置包括：
[0182]
采集模块1，用于通过激光焊缝跟踪传感器采集复杂空间曲线焊缝的图像；
[0183]
提取模块2，用于基于自更新模板匹配算法，提取复杂空间曲线焊缝图像的焊缝特征点坐标；
[0184]
第一处理模块3，用于根据所述焊缝特征点坐标，计算当前期望的焊接点坐标，并根据所述当前期望的焊接点坐标，计算复杂空间曲线焊缝跟踪过程中的焊缝偏差，以使根据所述焊缝偏差对焊接位置进行实时调整；
[0185]
第二处理模块4，用于根据所述焊缝特征点坐标，建立复杂空间曲线焊缝的离散姿态模型，以使根据所述离散姿态模型对焊接姿态进行实时调整。
[0186]
本实施例所述的复杂空间曲线焊缝的焊接位姿调整装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图18所述电子设备的结构示意图，具体包括如下内容：处理器1801、存储器1802、通信接口1803和通信总线1804；
[0187]
其中，所述处理器1801、存储器1802、通信接口1803通过所述通信总线1804完成相互间的通信；所述通信接口1803用于实现各设备之间的信息传输；
[0188]
所述处理器1801用于调用所述存储器1802中的计算机程序，所述处理器执行所述计算机程序时实现上述一种复杂空间曲线焊缝的焊接位姿调整方法的全部步骤。
[0189]
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述一种复杂空间曲线焊缝的焊接位姿调整方法的全部步骤。
[0190]
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得
一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0191]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0192]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的复杂空间曲线焊缝的焊接位姿调整方法。
[0193]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。