一种激光视觉引导下的焊缝轨迹自动跟踪方法及系统

技术特征：
1.一种激光视觉引导的焊接轨迹自动跟踪系统，其特征在于，包括具有图像处理功能的嵌入式工控机(8)、工件夹持工作台(3)、激光视觉传感器(5)、焊接机器人(2)及配套焊接设备(1)；待焊接的工件(6)固定在工作台(3)上，激光视觉传感器(5)在焊接方向上超前平行安装于焊枪(4)上，焊枪(4)安装在焊接机器人(2)末端的法兰盘上，配套焊接设备(1)为焊接提供能量、材料以及保护气，嵌入式工控机(8)在电路上与焊接机器人的控制器(7)和激光视觉传感器(5)进行连接，在获取激光视觉传感器(5)采集的图像、对图像中跟踪对象进行准确定位后，将得到的位置偏差传输给焊接机器人的控制柜(7)，实现焊枪(4)轨迹的实时修正。2.一种激光视觉引导的焊接轨迹自动跟踪方法，其特征在于，包括以下步骤：s1、调整焊接机器人机械臂的位置和姿态；焊接开始前，激光视觉传感器中的工业相机采集初始焊接图像并发送到嵌入式工业控制机，对采集的图像进行初始化处理，提取到初始焊缝特征点及其所在的邻近区域，并将得到的初始焊缝特征点像素坐标值转换成工业相机坐标系下的三维坐标值作为基准三维坐标值；以初始焊缝特征点像素坐标值为中心裁剪图像块，保存作为配准网络所需要使用的基准图像；s2、在工业相机持续采集图像过程中，对于每一张新采集的焊缝激光图像，经过焊缝特征点预测，均能得到其对应的焊缝特征点坐标；每次得到当前新采集的焊缝激光图像的焊缝特征点坐标后，将焊缝特征点坐标转化为焊接机器人控制指令，发送至焊接机器人控制柜，机器人控制柜控制焊枪运动，使焊枪始终对准焊缝，完成焊接轨迹自动跟踪。3.根据权利要求2所述的一种激光视觉引导的焊接轨迹自动跟踪方法，其特征在于：步骤s1中，调整焊接机器人机械臂的位置和姿态，使得焊枪末端位于待焊工件焊缝起始位置的正上方且焊枪垂直于工件表面，并使得固定在焊枪上的激光视觉传感器处于最佳工作位置，即在焊接过程中既能捕捉到清晰的焊接图像，又不会和待焊工件发生干涉。4.根据权利要求2所述的一种激光视觉引导的焊接轨迹自动跟踪方法，其特征在于：步骤s2中，对于每一张新采集的焊缝激光图像，焊缝特征点预测包括以下步骤：s2.1、在焊接过程中，以上一张焊缝激光图像中检测到的焊接点像素坐标(x，y)为中心，在相机新采集的焊缝激光图像上裁剪一部分图像块，输入到定位精度判别网络(localization accuracy estimation net，简称为lae网络)中；若定位精度判别网络的返回值大于阈值，判断当前新采集的图像块的中心位置与焊接点位置足够接近，则将基准图像更新为新采集的图像块；若小于阈值，则不更新基准图像；s2.2、若新采集的图像块被更新为基准图像，则当前新采集图像的焊缝特征点可以确定为新采集的图像块的中心点；若新采集的图像块未被更新为基准图像，则将新采集的图像块与基准图像合并，作为双通道图像输入到配准网络中，根据配准网络的网络返回值(x，y)，对上一张焊缝激光图像的焊缝特征点的坐标检测结果进行微调，得到当前新采集的焊缝激光图像的焊缝特征点的预测值；网络返回值(x，y)即配准网络预测当前新采集的图像块与基准图像之间的焊缝特征点二维像素差值。5.根据权利要求4所述的一种激光视觉引导的焊接轨迹自动跟踪方法，其特征在于：步骤s2.1中，预测输入图像块定位精度的过程具体包括：s2.1.1、构建定位精度判别网络；
s2.1.2、对定位精度判别网络进行训练，并保存训练完成之后的定位精度判别网络参数文件；s2.1.3、使用经过训练完成之后的定位精度判别网络对输入图像进行定位精度预测，当预测值高于阈值时更新基准图像。6.根据权利要求5所述的一种激光视觉引导的焊接轨迹自动跟踪方法，其特征在于：步骤s2.1.1中，所述定位精度判别网络包括特征提取部分与预测部分；在特征提取部分，定位精度判别网络使用神经网络resnet18，神经网络resnet18使用残差学习，将输入与输出的差值作为下一残差块的输入；由于神经网络resnet18仅用于提取图像的特征，直接使用resnet18的预训练权重；神经网络resnet18包括一个卷积层、一个最大池化层和四个残差块，每个残差块包括四个卷积层与两处残差连接结构；将新采集的图像块输入神经网络resnet18后，取第一个残差块与第二个残差块的输出；将第一个残差块与第二个残差块的输出分别经过三个卷积层和一个全连接层，每一层过后都要经过批归一化处理和relu激活函数，然后得到两组中间数据，将两组中间数据拼接，在经过一个全连接层，最后输出对新采集图像块定位精度预测值。7.根据权利要求6所述的一种激光视觉引导的焊接轨迹自动跟踪方法，其特征在于：步骤s2.1.2中，对定位精度判别网络训练的过程具体如下：在无引弧状态下采集多张无噪声干扰的焊缝激光图像作为定位精度判别网络训练的训练集，并记录每张无噪声干扰的焊缝激光图像中焊缝位置对应像素值，作为训练集标签；为了使定位精度判别网络能够准确预估待测图像与理想图像之间的位置偏差，采用用交并比作为定位精度判别网络的预测结果；图像交并比即两张图像取交集部分面积与取并集面积之比，其计算公式为：iou＝a∩b/a∪b其中，a∩b表示图像a与图像b取交集部分面积，a∪ b表示图像a与图像b取并集部分面积；图像交并比越大，则说明两张图像的重合度越高，焊缝激光图像的中心点坐标越接近图像坐标真值；选取图像之后，在焊缝特征点真实坐标数据上添加一个高斯噪声，得到偏移后的焊缝特征点坐标，以偏移后的焊缝特征点坐标为中心截取图像块作为定位精度判别网络的输入，由焊缝特征点真实坐标与偏移后的焊缝特征点坐标计算输入图像与理想图像的并交比；获取训练样本，对定位精度判别网络进行训练。8.根据权利要求4所述的一种激光视觉引导的焊接轨迹自动跟踪方法，其特征在于：步骤s2.2中，对焊缝激光图像的焊缝特征点坐标检测结果进行微调的过程具体包括：s2.2.1、根据深度强化学习方法构建配准网络和用于协助训练的状态值近似网络；s2.2.2、对配准网络与状态值近似网络进行训练，并保存训练完成后的配准网络参数文件；s2.2.3、将新采集的图像块与基准图像块合并，作为双通道图像输入到训练完成后的配准网络中，根据训练完成后的配准网络的输出值(x，y)添加至上一张特征条纹图像的焊
缝特征点坐标上，修改后的坐标即为新采集图像的焊缝特征点坐标。9.根据权利要求8所述的一种激光视觉引导的焊接轨迹自动跟踪方法，其特征在于：步骤s2.2.1中，所述配准网络包括四个卷积层和四个全连接层，配准网络最终输出一个二维向量(x，y)；所述状态值近似网络包括四个卷积层和五个全连接层，状态值近似网络的输出为状态值；配准网络和状态值近似网络的卷积层后均连接有bn层即批归一化处理层，对网络收敛起加速作用。10.根据权利要求2～9任一项所述的一种激光视觉引导的焊接轨迹自动跟踪方法，其特征在于：步骤s2.2.2中，对配准网络与状态值近似网络进行训练过程具体为：s2.2.2.1、采用深度强化学习方法中的随机性策略梯度方法对状态值近似网络进行训练，构建状态值近似网络v(s|θ
v
)，动作执行网络π(s|θ
π
)；其中动作执行网络即配准网络，状态值近似网络对配准网络的训练起协助作用；训练过程中，状态值s表示作为状态值近似网络输入的双通道焊缝图像，动作a表示新采集的图像块中心点位置调整值(x，y)，奖励值r表示在执行动作a前后，输入图像中心点与基准图像中心点之间距离缩短程度；而在执行动作a之后，以新的图像中心点为中心在原图像上裁剪图像块；此图像块与基准图像结合，可以得到新的双通道焊缝图像作为输入；s2.2.2.2、将双通道焊缝图像s
t
输入动作执行网络，得到动作a
t
，观察奖励r
t
和更新后的双通道焊缝图像s
t 1
，将(s
t
，a
t
，r
t
，s
t 1
)作为一个样本储存在样本池中；当样本数量到达阈值后，调用样本对状态值近似网络和动作执行网络进行优化，优化目标函数为：其中，e
t
表示期望，θ表示状态值近似网络和动作执行网络的网络参数，π
old
(a|s)和π
θ
(a|s)表示基于当前参数更新前后的输出概率分布，r
t
(θ)＝π
θ
(a|s)/π
old
(a|s)表示重要性采样比例，∈为一个可以调整的p超参数，取值范围为0～1；优势函数表示采取动作a之后的期望累计奖励与当前状态的累计奖励的差值，优势函数大于0就表示当前动作应该被鼓励，反之则表示当前动作应该被抑制；clip(r
t
(θ)，1-∈，1 ∈)操作将r
t
(θ)限制在[1-∈，1 ∈]；通过以上操作可以将更新幅度较大的样本舍弃，保证了更新的稳定性；在配准网络和的状态值近似网络的参数更新完成后，清空样本池，重新采集样本、更新，直到网络训练结束，保存最后一次更新后的配准网络和的状态值近似网络的权重文件。

技术总结
本发明公开了一种激光视觉引导下的焊缝轨迹自动跟踪方法及系统。所述方法和系统在焊缝轨迹跟踪过程中能够从受大量噪声干扰的焊缝图像中准确提取焊缝特征点的跟踪方法及系统，可以解决焊接机器人“手动示教-记忆再现”式焊接效率低、灵活性低的问题，实现精确的自动化焊接。本发明可以有效抵抗由于焊枪与激光传感器距离过近而导致特征图像存在大量弧光、飞溅等噪声的干扰，提高自动焊接精度。提高自动焊接精度。提高自动焊接精度。


技术研发人员：邹焱飚 周恒昌
受保护的技术使用者：华南理工大学
技术研发日：2022.08.12
技术公布日：2022/11/25