一种激光视觉引导下的焊缝轨迹自动跟踪方法及系统

1.本发明涉及焊接轨迹自动跟踪领域，特别涉及一种激光视觉引导的焊接轨迹自动跟踪方法及系统。


背景技术：

2.近年来，在机器人技术、智能传感技术及信息技术的协同驱动下，弊端众多的手工焊接作业方式逐渐被淘汰，取而代之的是以焊接机器人为主体的自动化焊接加工系统[1]。在汽车制造、轨道交通装备等产业中的应用尤为显著，从而弥补了手工焊接加工的自动化程度低下、工作效率欠佳等众多缺点。现阶段，受限于机器人的智能化水平，焊接机器人在实施焊接时仍需要大量的人工辅助工作，大多数通过“手动示教-记忆再现”这一固定模式完成焊接任务。但在非结构化焊接环境中，当受诸如强烈的加工误差、装夹精度、和工件热变形等因素的影响，焊缝轨迹往往偏离于示教轨迹，从而造成工件的质量下降甚至失效。因此开发出具备环境信息感知功能的智能焊接加工系统是解决上述问题最为有效的途径。
[0003]
智能焊接机器人，即基于先进的轨迹规划技术、传感技术、控制技术等来实现焊接机器人对焊接环境的智能感知和决策，从而实现焊接智能化、高效化。智能焊接机器人的核心在于开发能实时检测焊缝的焊缝跟踪系统，利用实时检测的焊缝信息来调整焊接路径从而保证焊接质量，其核心技术主要包括焊接机器人传感技术和焊缝跟踪技术。焊接机器人传感技术利用传感器实时获取焊缝信息，而焊缝跟踪技术则针对传感器获取的焊缝信息进行处理从而提取出焊缝特征点坐标用于指导焊接机器人完成焊接。在众多的传感技术中，激光视觉传感器因为其测量精度高、获取目标信息丰富、能实现无接触测量等优点而备受研究者的青睐，如李湘文等人提出的一种基于线激光结构光视觉传感的焊缝跟踪提取方法中运用了这种方法进行焊缝跟踪。但是，焊接过程中的弧光、飞溅会在激光视觉传感器所采集的焊缝图像中诱发较为强烈的噪声，从而影响焊缝特征点的获取。所以在基于激光视觉的焊缝跟踪系统中，必须设计精确性高、抗干扰性强的焊缝实时检测算法来应对噪声的干扰。


技术实现要素：

[0004]
本发明目的是提出一种在焊缝轨迹跟踪过程中能够从受大量噪声干扰的焊缝图像中准确提取焊缝特征点的跟踪方法及系统，可以解决焊接机器人“手动示教-记忆再现”式焊接效率低、灵活性低的问题，运用深度强化学习方法设计并训练焊缝图像配准网络，对焊缝特征点位置进行实时精调，实现在弧光、飞溅等强噪声干扰下焊缝特征点的精确定位。
[0005]
本发明的目的至少通过如下技术方案之一实现。
[0006]
一种激光视觉引导的焊接轨迹自动跟踪系统，包括具有图像处理功能的嵌入式工控机、工件夹持工作台、激光视觉传感器、焊接机器人及配套焊接设备；
[0007]
待焊接的工件固定在工作台上，激光视觉传感器在焊接方向上超前平行安装于焊枪上，焊枪安装在焊接机器人末端的法兰盘上，配套焊接设备为焊接提供能量、材料以及保
护气，嵌入式工控机在电路上与焊接机器人的控制器和激光视觉传感器进行连接，在获取激光视觉传感器采集的图像、对图像中跟踪对象进行准确定位后，将得到的位置偏差传输给焊接机器人的控制柜，实现焊枪轨迹的实时修正。
[0008]
一种激光视觉引导的焊接轨迹自动跟踪方法，包括以下步骤：
[0009]
s1、调整焊接机器人机械臂的位置和姿态，使得焊枪末端位于待焊工件焊缝起始位置的正上方且焊枪垂直于工件表面，并使得固定在焊枪上的激光视觉传感器处于最佳工作位置，即在焊接过程中既能捕捉到清晰的焊接图像，又不会和待焊工件发生干涉；焊接开始前，激光视觉传感器中的工业相机采集初始焊接图像并发送到嵌入式工业控制机，对采集的图像进行初始化处理，提取到初始焊缝特征点及其所在的邻近区域，并将得到的初始焊缝特征点像素坐标值转换成工业相机坐标系下的三维坐标值作为基准三维坐标值；以初始焊缝特征点像素坐标值为中心裁剪图像块，保存作为配准网络所需要使用的基准图像；
[0010]
s2、在工业相机持续采集图像过程中，对于每一张新采集的焊缝激光图像，经过焊缝特征点预测，均能得到其对应的焊缝特征点坐标；每次得到当前新采集的焊缝激光图像的焊缝特征点坐标后，将焊缝特征点坐标转化为焊接机器人控制指令，发送至焊接机器人控制柜，机器人控制柜控制焊枪运动，使焊枪始终对准焊缝，完成焊接轨迹自动跟踪。
[0011]
进一步地，步骤s2中，对于每一张新采集的焊缝激光图像，焊缝特征点预测包括以下步骤：
[0012]
s2.1、在焊接过程中，以上一张焊缝激光图像中检测到的焊接点像素坐标(x，y)为中心，在相机新采集的焊缝激光图像上裁剪一部分图像块，输入到定位精度判别网络(localization accuracy estimation net，简称为lae网络)中；若定位精度判别网络的返回值大于阈值，判断当前新采集的图像块的中心位置与焊接点位置足够接近，则将基准图像更新为新采集的图像块；若小于阈值，则不更新基准图像；
[0013]
s2.2、若新采集的图像块被更新为基准图像，则当前新采集图像的焊缝特征点可以确定为新采集的图像块的中心点；若新采集的图像块未被更新为基准图像，则将新采集的图像块与基准图像合并，作为双通道图像输入到配准网络中，根据配准网络的网络返回值(x，y)，对上一张焊缝激光图像的焊缝特征点的坐标检测结果进行微调，得到当前新采集的焊缝激光图像的焊缝特征点的预测值；网络返回值(x，y)即配准网络预测当前新采集的图像块与基准图像之间的焊缝特征点二维像素差值。
[0014]
进一步地，步骤s2.1中，预测输入图像块定位精度的过程具体包括：
[0015]
s2.1.1、构建定位精度判别网络；
[0016]
s2.1.2、对定位精度判别网络进行训练，并保存训练完成之后的定位精度判别网络参数文件；
[0017]
s2.1.3、使用经过训练完成之后的定位精度判别网络对输入图像进行定位精度预测，当预测值高于阈值时更新基准图像。
[0018]
进一步地，步骤s2.1.1中，所述定位精度判别网络包括特征提取部分与预测部分；
[0019]
在特征提取部分，定位精度判别网络使用神经网络resnet18，神经网络resnet18使用残差学习，将输入与输出的差值作为下一残差块的输入，有效增加了网络的深度与性能；
[0020]
由于神经网络resnet18仅用于提取图像的特征，因此可以直接使用resnet18的预
训练权重；
[0021]
神经网络resnet18包括一个卷积层、一个最大池化层和四个残差块，每个残差块包括四个卷积层与两处残差连接结构；
[0022]
将新采集的图像块输入神经网络resnet18后，取第一个残差块与第二个残差块的输出；
[0023]
将第一个残差块与第二个残差块的输出分别经过三个卷积层和一个全连接层，每一层过后都要经过批归一化处理和relu激活函数，然后得到两组中间数据，将两组中间数据拼接，在经过一个全连接层，最后输出对新采集图像块定位精度预测值。
[0024]
进一步地，步骤s2.1.2中，对定位精度判别网络训练的过程具体如下：
[0025]
在无引弧状态下采集多张无噪声干扰的焊缝激光图像作为定位精度判别网络训练的训练集，并记录每张无噪声干扰的焊缝激光图像中焊缝位置对应像素值，作为训练集标签；
[0026]
为了使定位精度判别网络能够准确预估待测图像与理想图像之间的位置偏差，采用用交并比作为定位精度判别网络的预测结果；图像交并比即两张图像取交集部分面积与取并集面积之比，其计算公式为：
[0027]
iou＝a∩b/a∪b
[0028]
其中，a∩b表示图像a与图像b取交集部分面积，a∪b表示图像a与图像b取并集部分面积；
[0029]
图像交并比越大，则说明两张图像的重合度越高，焊缝激光图像的中心点坐标越接近图像坐标真值；选取图像之后，在焊缝特征点真实坐标数据上添加一个高斯噪声，得到偏移后的焊缝特征点坐标，以偏移后的焊缝特征点坐标为中心截取图像块作为定位精度判别网络的输入，由焊缝特征点真实坐标与偏移后的焊缝特征点坐标计算输入图像与理想图像的并交比；
[0030]
获取训练样本，对定位精度判别网络进行训练；
[0031]
在积累了一定数量的训练样本，就能对定位精度判别网络进行训练。
[0032]
进一步地，步骤s2.2中，对焊缝激光图像的焊缝特征点坐标检测结果进行微调的过程具体包括：
[0033]
s2.2.1、根据深度强化学习方法构建配准网络和用于协助训练的状态值近似网络；
[0034]
s2.2.2、对配准网络与状态值近似网络进行训练，并保存训练完成后的配准网络参数文件；
[0035]
s2.2.3、将新采集的图像块与基准图像块合并，作为双通道图像输入到训练完成后的配准网络中，根据训练完成后的配准网络的输出值(x，y)添加至上一张特征条纹图像的焊缝特征点坐标上，修改后的坐标即为新采集图像的焊缝特征点坐标。
[0036]
进一步地，步骤s2.2.1中，所述配准网络包括四个卷积层和四个全连接层，配准网络最终输出一个二维向量(x，y)；
[0037]
所述状态值近似网络包括四个卷积层和五个全连接层，状态值近似网络的输出为状态值；
[0038]
配准网络和状态值近似网络的卷积层后均连接有bn层即批归一化处理层，对网络
收敛起加速作用。
[0039]
进一步地，步骤s2.2.2中，对配准网络与状态值近似网络进行训练过程具体为：
[0040]
s2.2.2.1、采用深度强化学习方法中的随机性策略梯度方法对状态值近似网络进行训练，构建状态值近似网络v(s|θv)，动作执行网络π(s|θ
π
)；其中动作执行网络即配准网络，状态值近似网络对配准网络的训练起协助作用；训练过程中，状态值s表示作为状态值近似网络输入的双通道焊缝图像，动作a表示新采集的图像块中心点位置调整值(x，y)，奖励值r表示在执行动作a前后，输入图像中心点与基准图像中心点之间距离缩短程度；而在执行动作a之后，以新的图像中心点为中心在原图像上裁剪图像块；此图像块与基准图像结合，可以得到新的双通道焊缝图像作为输入；
[0041]
s2.2.2.2、将双通道焊缝图像s
t
输入动作执行网络，得到动作a
t
，观察奖励r
t
和更新后的双通道焊缝图像s
t 1
，将(s
t
，a
t
，r
t
，s
t 1
)作为一个样本储存在样本池中；当样本数量到达阈值后，调用样本对状态值近似网络和动作执行网络进行优化，优化目标函数为：
[0042][0043]
其中，e
t
表示期望，θ表示状态值近似网络和动作执行网络的网络参数，π
old
(a|s)和π
θ
(a|s)表示基于当前参数更新前后的输出概率分布，r
t
(θ)＝π
θ
(a|s)/π
old
(a|s)表示重要性采样比例，∈为一个可以调整的p超参数，取值范围为0～1；优势函数表示采取动作a之后的期望累计奖励与当前状态的累计奖励的差值，优势函数大于0就表示当前动作应该被鼓励，反之则表示当前动作应该被抑制；clip(r
t
(θ)，1-∈，1 ∈)操作将r
t
(θ)限制在[1-∈，1 ∈]；通过以上操作可以将更新幅度较大的样本舍弃，保证了更新的稳定性；在配准网络和的状态值近似网络的参数更新完成后，清空样本池，重新采集样本、更新，直到网络训练结束，保存最后一次更新后的配准网络和的状态值近似网络的权重文件。
[0044]
本发明相对于现有技术具有如下的优点及效果：
[0045]
(1)本发明通过激光视觉传感器实时检测焊缝位置，引导焊接机器人工作，焊接效率高，灵活性强；
[0046]
(2)基于深度强化学习的焊缝跟踪方法，可以准确地在受到强噪声干扰的焊缝图像中对焊缝特征点进行定位，具有很强的抗干扰、自适应能力。
附图说明
[0047]
图1是本发明实施例的基于激光视觉的焊缝跟踪系统总体结构示意图。
[0048]
图2是本发明实施例焊缝跟踪系统中激光视觉传感器的结构示意图。
[0049]
图3是本发明实施例的焊接轨迹自动跟踪方法的工作流程图。
[0050]
图4是本发明实施例的配准网络与状态值函数近似网络的结构示意图。
具体实施方式
[0051]
下面结合实施例及附图对本发明作进一步的详细描述，但本发明的实施方式不限于此。
[0052]
实施例1：
[0053]
一种激光视觉引导的焊接轨迹自动跟踪方法，如图1、图2所示，跟踪系统包括具有图像处理功能的嵌入式工控机8、工件夹持工作台3、激光视觉传感器5、焊接机器人2及配套焊接设备1；
[0054]
待焊接的工件6固定在工作台3上，激光视觉传感器5在焊接方向上超前平行安装于焊枪4上，焊枪4安装在焊接机器人2末端的法兰盘上，配套焊接设备1为焊接提供能量、材料以及保护气，嵌入式工控机8在电路上与焊接机器人的控制器7和激光视觉传感器5进行连接，在获取激光视觉传感器5采集的图像、对图像中跟踪对象进行准确定位后，将得到的位置偏差传输给焊接机器人的控制柜7，实现焊枪4轨迹的实时修正。
[0055]
本实施例中，待焊接的工件6为c曲线拼接型工件，配套焊接设备1包括焊机和保护气瓶。焊机型号为安川的motoweld-rd350，可实现送丝和退丝功能。所用的保护气瓶内气体成分包括二氧化碳(20％)与氮气(80％)；焊机通过电缆线与焊接电源相连接。
[0056]
嵌入式工控机8通过以太网与激光视觉传感器5进行通信，嵌入式工控机8通过以太网线与焊接机器人控制柜7相连；焊接机器人控制柜7和焊接机器人2、配套焊接设备1通过电缆线相连；
[0057]
所述激光视觉传感器5包括氧化处理的传感器外壳51、工业相机52、透光性隔板53、激光发生器54；所述工业相机52和激光发生器54固定在传感器外壳51内；所述透光性隔板53固定在传感器外壳51上且位于所述工业相机52和激光发生器54前端；
[0058]
所述工作台3上配有g型夹具，所述工件6通过两个以上g型夹具固定于工作台3上。
[0059]
一种激光视觉引导的焊接轨迹自动跟踪方法，如图3所示，包括以下步骤：
[0060]
s1、调整焊接机器人机械臂的位置和姿态，使得焊枪末端位于待焊工件焊缝起始位置的正上方且焊枪垂直于工件表面，并使得固定在焊枪上的激光视觉传感器处于最佳工作位置，即在焊接过程中既能捕捉到清晰的焊接图像，又不会和待焊工件发生干涉；焊接开始前，激光视觉传感器中的工业相机采集初始焊接图像并发送到嵌入式工业控制机，对采集的图像进行初始化处理，提取到初始焊缝特征点及其所在的邻近区域，并将得到的初始焊缝特征点像素坐标值转换成工业相机坐标系下的三维坐标值作为基准三维坐标值；以初始焊缝特征点像素坐标值为中心裁剪256*256大小的图像块，保存作为配准网络所需要使用的基准图像；
[0061]
本实施例中，在焊接开始前，使用激光视觉传感器5中的工业相机52采集初始焊接图像，通过以太网发送到嵌入式工控机8，经过初始化处理，提取到初始焊缝激光图像中焊缝特征点及其所在的邻近区域，并将得到的初始焊缝特征点像素坐标值转换成工业相机坐标系下的三维坐标值作为基准三维坐标值；具体而言，包括以下步骤：
[0062]
s1.1、调整焊接机器人2的姿态和空间位置，使得焊枪4末端位于待焊工件焊缝起始位置的正上方且垂直于工件表面，并使激光视觉传感器5处于最佳工作位置，既能捕捉到清晰的焊接图像(能够准确拍摄到激光发生器在工件上形成的激光条纹)，且不与待焊接工件发生干涉；
[0063]
s1.2、激光视觉传感器5中的工业相机52获取图像并发送到嵌入式工控机8，嵌入式工控机8通过调用halcon软件对图像进行阈值处理、形态学修正的初始化处理，得到初始的焊缝特征点及其邻近区域；
[0064]
s1.3、嵌入式工控机8将得到的焊接前初始焊缝特征点的像素坐标值转换成基于
工业相机坐标系的基准三维坐标值。
[0065]
s2、在工业相机持续采集图像过程中，对于每一张新采集的焊缝激光图像，经过焊缝特征点预测，均能得到其对应的焊缝特征点坐标，包括以下步骤：
[0066]
s2.1、在焊接过程中，以上一张焊缝激光图像中检测到的焊接点像素坐标(x，y)为中心，在相机新采集的焊缝激光图像上裁剪256*256大小的图像块，输入到定位精度判别网络(localization accuracy estimation net，简称为lae网络)中；若定位精度判别网络的返回值大于阈值，判断当前新采集的图像块的中心位置与焊接点位置足够接近，则将基准图像更新为新采集的图像块；若小于阈值，则不更新基准图像；
[0067]
预测输入图像块定位精度的过程具体包括：
[0068]
s2.1.1、构建定位精度判别网络；
[0069]
所述定位精度判别网络包括特征提取部分与预测部分；
[0070]
在特征提取部分，定位精度判别网络使用神经网络resnet18，神经网络resnet18使用残差学习，将输入与输出的差值作为下一残差块的输入，有效增加了网络的深度与性能；
[0071]
由于神经网络resnet18仅用于提取图像的特征，因此可以直接使用resnet18的预训练权重；
[0072]
神经网络resnet18包括一个卷积层、一个最大池化层和四个残差块，每个残差块包括四个卷积层与两处残差连接结构；
[0073]
将新采集的图像块输入神经网络resnet18后，取第一个残差块与第二个残差块的输出；
[0074]
将第一个残差块与第二个残差块的输出分别经过三个卷积层和一个全连接层，每一层过后都要经过批归一化处理和relu激活函数，然后得到两组中间数据，将两组中间数据拼接，在经过一个全连接层，最后输出对新采集图像块定位精度预测值。
[0075]
s2.1.2、对定位精度判别网络进行训练，具体如下：
[0076]
在无引弧状态下采集多张无噪声干扰的焊缝激光图像作为定位精度判别网络训练的训练集，并记录每张无噪声干扰的焊缝激光图像中焊缝位置对应像素值，作为训练集标签；
[0077]
为了使定位精度判别网络能够准确预估待测图像与理想图像之间的位置偏差，采用用交并比作为定位精度判别网络的预测结果；图像交并比即两张图像取交集部分面积与取并集面积之比，其计算公式为：
[0078]
iou＝a∩b/a∪b
[0079]
其中，a∩b表示图像a与图像b取交集部分面积，a∪b表示图像a与图像b取并集部分面积；
[0080]
图像交并比越大，则说明两张图像的重合度越高，焊缝激光图像的中心点坐标越接近图像坐标真值；选取图像之后，在焊缝特征点真实坐标数据上添加一个高斯噪声，得到偏移后的焊缝特征点坐标，以偏移后的焊缝特征点坐标为中心截取256*256大小的图像块作为定位精度判别网络的输入，由焊缝特征点真实坐标与偏移后的焊缝特征点坐标计算输入图像与理想图像的并交比；在积累了一定数量的训练样本，就能对定位精度判别网络进行训练。
[0081]
并保存训练完成之后的定位精度判别网络参数文件；
[0082]
s2.1.3、使用经过训练完成之后的定位精度判别网络对输入图像进行定位精度预测，当预测值高于阈值时更新基准图像。
[0083]
s2.2、若新采集的图像块被更新为基准图像，则当前新采集图像的焊缝特征点可以确定为新采集的图像块的中心点；若新采集的图像块未被更新为基准图像，则将新采集的图像块与基准图像合并，作为双通道图像输入到配准网络中，根据配准网络的网络返回值(x，y)，对上一张焊缝激光图像的焊缝特征点的坐标检测结果进行微调，得到当前新采集的焊缝激光图像的焊缝特征点的预测值，具体包括：
[0084]
s2.2.1、根据深度强化学习方法构建配准网络和用于协助训练的状态值近似网络；
[0085]
所述配准网络包括四个卷积层和四个全连接层，配准网络最终输出一个二维向量(x，y)；
[0086]
所述状态值近似网络包括四个卷积层和五个全连接层，状态值近似网络的输出为状态值；
[0087]
配准网络与状态值近似网络的卷积层与全连接层的具体结构如图4所示
[0088]
配准网络和状态值近似网络的卷积层后均连接有bn层即批归一化处理层，对网络收敛起加速作用。
[0089]
s2.2.2、对配准网络与状态值近似网络进行训练，具体为：
[0090]
s2.2.2.1、采用深度强化学习方法中的随机性策略梯度方法对状态值近似网络进行训练，构建状态值近似网络v(s|θv)，动作执行网络π(s|θ
π
)；其中动作执行网络即配准网络，状态值近似网络对配准网络的训练起协助作用；训练过程中，状态值s表示作为状态值近似网络输入的双通道焊缝图像，动作a表示新采集的图像块中心点位置调整值(x，y)，奖励值r表示在执行动作a前后，输入图像中心点与基准图像中心点之间距离缩短程度；而在执行动作a之后，以新的图像中心点为中心在原图像上裁剪图像块。此图像块与基准图像结合，可以得到新的双通道焊缝图像作为输入。
[0091]
s2.2.2.2、将双通道焊缝图像s
t
输入动作执行网络，得到动作a
t
，观察奖励r
t
和更新后的双通道焊缝图像s
t 1
，将(s
t
，a
t
，r
t
，s
t 1
)作为一个样本储存在样本池中；当样本数量到达阈值后，调用样本对状态值近似网络和动作执行网络进行优化，优化目标函数为：
[0092][0093]
其中，e
t
表示期望，θ表示状态值近似网络和动作执行网络的网络参数，π
old
(a|s)和π
θ
(a|s)表示基于当前参数更新前后的输出概率分布，r
t
(θ)＝π
θ
(a|s)/π
old
(a|s)表示重要性采样比例，∈为一个可以调整的p超参数，取值范围为0～1；优势函数表示采取动作a之后的期望累计奖励与当前状态的累计奖励的差值，优势函数大于0就表示当前动作应该被鼓励，反之则表示当前动作应该被抑制；clip(r
t
(θ)，1-∈，1 ∈)操作将r
t
(θ)限制在[1-∈，1 ∈]；通过以上操作可以将更新幅度较大的样本舍弃，保证了更新的稳定性；在配准网络和的状态值近似网络的参数更新完成后，清空样本池，重新采集样本、更新，直到网络训练结束，保存最后一次更新后的配准网络和的状态值近似网络的权重文件。
[0094]
并保存训练完成后的配准网络参数文件；
[0095]
s2.2.3、将新采集的图像块与基准图像块合并，作为双通道图像输入到训练完成后的配准网络中，根据训练完成后的配准网络的输出值(x，y)添加至上一张特征条纹图像的焊缝特征点坐标上，修改后的坐标即为新采集图像的焊缝特征点坐标。
[0096]
网络返回值(x，y)即配准网络预测当前新采集的图像块与基准图像之间的焊缝特征点二维像素差值。
[0097]
每次得到当前新采集图像的焊缝特征点坐标后，将焊缝特征点坐标转化为焊接机器人2控制指令，发送至焊接机器人控制柜7，机器人控制柜7控制焊枪4运动，以保证焊枪4始终对准焊缝，完成焊接轨迹自动跟踪。
[0098]
实施例2：
[0099]
本实施例中，待焊接的工件6包括c曲线拼接型工件，s曲线拼接型工件和s曲线搭接型工件。
[0100]
实施例3：
[0101]
本实施例中，焊接开始前，激光视觉传感器中的工业相机采集初始焊接图像并发送到嵌入式工业控制机，由人工确定初始焊接图像焊缝特征点位置，并将得到的初始焊缝特征点像素坐标值转换成工业相机坐标系下的三维坐标值作为基准三维坐标值；以初始焊缝特征点像素坐标值为中心裁剪256*256大小的图像块，保存作为配准网络所需要使用的基准图像。
[0102]
上述实施例为本发明较佳的实施方式，但本方明的实施方式并不受上述实施例的限制，其他的任何背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。