一种用于焊接过程的智能运行控制系统与方法与流程

1.本发明属于智能焊接领域，更具体的，涉及一种用于焊接过程的智能运行控制系统与方法。


背景技术：

2.传统焊接的特点是工艺因素复杂，劳动强度大，其品质深度依赖于技工的技能与经验。随着近些年科技的进步，以焊接为主的高温制造不断向着智能化、自动化的方向发展。
3.近些年，激光视觉传感器凭借高精度、抗干扰、结构简单、体积小巧等特点，成为智能化焊接控制领域的理想选择。激光视觉传感器通过采集焊接图像，并通过分析焊接图像以确定待焊接点的实际位置，从而操控机器人手臂移至正确的位置上进行焊接操作。
4.由于焊接过程中存在飞溅、弧光和烟尘的干扰，会导致分析焊接图像的结果并不准确，同时，焊接轨迹的形状变化可能会导致多个点的坡向突变，也会影响拟合结果。上述缺陷尤其体现在对三维图像的深度信息的干扰，究其原因在于飞溅与弧光等因素会极大的干扰图像的深度信息。


技术实现要素：

5.为解决现有技术中存在的不足，本发明的目的在于克服上述缺陷，进而提出一种用于焊接过程的智能运行控制系统与方法。
6.本发明采用如下的技术方案：一种用于焊接过程的智能运行控制方法，包括步骤s1-s4；步骤s1，重复执行步骤t1-t4，以获取多组训练样本；每一组训练样本包括：多个属性以及真实目标值；其中，真实目标值为，其中，为机器人控制模块控制焊接机器人后，焊头实际指向位置的z轴的坐标值；是待焊接点的理想位置；步骤t1，根据相机与线激光器，获取线结构光标定图像；步骤t2，图像处理模块根据线结构光标定图像，计算出待焊接点的世界坐标；步骤t3，根据待焊接点的世界坐标，机器人控制模块控制焊接机器人的焊头指向待焊接点实际的位置；步骤t4，提取出待焊接点处的多个属性，包括：线结构光标定图像的灰度值、线结构光标定图像的畸变值以及压力传感装置中的压力值；步骤s2，将多组试验样本作为输入特征代入到深度神经网络算法中，建立焊接预测模型；步骤s3，在当前待焊接的母板下，执行步骤t1~t4，以获取多个属性，利用焊接预测模型进行预测，输出多个属性对应的当前待焊接的母板下的真实目标值；步骤s4，根据当前待焊接的母板下的真实目标值，调整焊接机器人的实际高度。
7.本发明的有益效果在于，与现有技术相比，本发明具有以下优点：
在飞溅、弧光和烟尘的干扰下，整个图像的灰度信息受到严重的干扰，这导致焊头在准确定位时，其垂直方向的位置偏差要比平面方向上的位置偏差要大得多。为了尽可能消除不同方向上的位置偏差（即缩小垂直方向的位置偏差），进而使得对焊接点的定位更加准确。本公开创造性的引入压力传感装置，用于对待焊接点处的垂直位置进行纠正式的判断，确保待焊接点处的垂直位置不会出现较大的偏差。
附图说明
8.图1是本公开实施例的一种用于焊接过程的智能运行控制系统的示意图。
9.图2是本公开实施例的激光视觉装置的示意图。
10.图3是本公开实施例的一种用于焊接过程的智能运行控制方法的流程图。
11.图中：1、母板；21、机械臂；22、焊头；31、相机；32、线激光器；4、压力传感装置。
具体实施方式
12.下面结合附图对本技术作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本技术的保护范围。
13.近些年随着激光视觉技术的发展，其技术早已融入到各行各业中。其中，在智能焊接领域中，可以通过相机对待焊接点进行摄像，并根据摄像后的图像获取待焊接点的实际位置，进而操控焊接机器人将焊头锁定在待焊接点处。
14.然而，由于存在飞溅、弧光和烟尘的干扰，常常会对图像的信息造成极大的干扰。以焊头的垂直方向为z轴，以母板待切割的方向为y轴，建立三维直角坐标系。由于摄像后的图像最直接的反馈就是焊头在x与y平面下的位置，因此，锁定待焊接点的平面坐标（即）并不困难。但是，在飞溅、弧光和烟尘的干扰下，整个图像的灰度信息受到严重的干扰，这导致准确的获取待焊接点处的垂直位置（即）要困难的多（相比于待焊接点的平面坐标）。从上述描述可以得知，利用激光视觉技术对于焊接点的准确定位在不同的方向（x轴方向、y轴方向与z轴方向）上的误差是不一样的。为了尽可能消除不同方向上的误差，进而使得对焊接点的定位更加准确。因此，亟需一种简单快捷的判断方法，对待焊接点处的垂直位置进行判断，确保待焊接点处的垂直位置不会出现较大的偏差。
15.基于上述问题，如图1与图2所示，本技术首先公开了一种用于焊接过程的智能运行控制系统与方法包括：焊接机器人、激光视觉装置、图像处理模块、机器人控制模块、压力传感装置（例如，图2中的压力传感装置4）与深度神经网络模块；焊接机器人包括：焊头与机械臂（例如，图2中的焊头22与机械臂21），焊头用于焊接母板（例如，图2中的母板1）；机器人控制模块连接焊接机器人用于控制焊接机器人；焊头与机械臂柔性连接；激光视觉装置用于产生包含待焊接点信息的线结构光标定图像，包括：相机与线激光器（例如，图2中的相机31与线激光器32）；其中，线激光器用于发射线结构光投射到母板产生光条轮廓；具体的，相机可以是ccd摄像机。
16.激光视觉装置与焊接机器人连接，并且相机的摄像方向垂直于焊头的焊接方向；
在一些实施例中，线激光器的方向与相机的摄像方向呈30~60度角，优选的，线激光器的方向与相机的摄像方向呈45度角。
17.激光视觉装置连接图像处理模块，激光视觉装置用于产生线结构光标定图像，并传给图像处理模块；图像处理模块分别连接机器人控制模块与深度神经网络模块；图像处理模块用于实现焊缝跟踪与焊接路径的纠偏；压力传感装置安装在焊头与机械臂的柔性连接处，用于获取焊头的焊接的压力值；压力传感装置连接深度神经网络模块，用于将该压力值传给神经网络模块；深度神经网络模块连接机器人控制模块。
18.为了进一步说明一种基于机器人的智能焊接过程运行控制系统的作用，本发明对应的公开了一种基于机器人的智能焊接过程运行控制方法，如图3所示，包括步骤s1-s4。
19.步骤t1，根据相机与线激光器，获取线结构光标定图像；具体包括：首先利用线激光器发射激光，在母板上产生结构光条纹；然后将相机分别选取高曝光时间和低曝光时间2种模式，对同一位置处，在2种模式下分别进行拍摄；将高曝光时间模式下拍摄的第一图像与低曝光时间模式下拍摄的第二图像进行拼接，作为最终的线结构光标定图像；更进一步的，第一图像与第二图像需要进行预处理，包括：图像去噪、阈值分割等。
20.具体的，高曝光时间可以是3000us，低曝光时间可以是1000us。
21.步骤t2，图像处理模块根据线结构光标定图像，计算出待焊接点的世界坐标；首先，建立像素坐标系内坐标（或像点）与世界坐标系内坐标的理想关系式：其中，为旋转矩阵，为平移矩阵；为相机的焦距；分别是像素坐标系下的原点的坐标值，分别表示单个像素在x轴与y轴上的实际物理尺寸；为像素坐标系下x轴与y轴之间的夹角，理想情况下可以认为；可以理解的是，像素坐标系即为线结构光标定图像中的坐标系，世界坐标系即为待焊接点在实际三维空间中的坐标系。
22.需要进一步说明的是，为平移矩阵，与像素坐标系的原点以及世界坐标系的原点的选择有关，；如下式所示：
其中，、、分别代表相机与世界坐标系x、y、z轴对应的旋转角。
23.其次，考虑线结构光标定图像的畸变效应，建立像素坐标系内（理想的）像点与畸变后像点之间的联系。
24.其中，畸变包括径向畸变与切向畸变，径向畸变指的是沿着（相机内）透镜半径方向分布的畸变，产生的原因是光纤在远离透镜中心处比靠近透镜中心处更加弯曲。切向畸变通常是由于透镜本身与相机传感平面或图像平面不平行产生的，可以理解为相机与焊接机器人的空间上的安装误差。
25.像素坐标系内（理想的）像点与畸变后像点的关系如下所示：其中，是空间三维极坐标下的距离，分别是世界坐标系下x，y，z轴上的径向畸变系数，是图像坐标系下的x，y方向上的切向畸变系数。
26.综上所述，步骤t2具体可以包括：步骤t21，根据图像处理模块，获取待焊接点在像素坐标系内的坐标；步骤t22，考虑线结构光标定图像的畸变效应，根据像素坐标系内（理想的）像点与畸变后像点之间的联系，修正实际坐标为理想坐标；步骤t23，根据像素坐标系内坐标（或像点）与世界坐标系内坐标的理想关系式，修正理想坐标为待焊接点的世界坐标。
27.步骤t3，根据待焊接点的世界坐标，机器人控制模块控制焊接机器人的焊头指向待焊接点实际的位置；步骤t4，提取出待焊接点处的多个属性，包括：线结构光标定图像的灰度值、线结构光标定图像的畸变值以及压力传感装置中的压力值；在一些实施例中，线结构光标定图像的畸变值可以是世界坐标系下z轴上的径向畸变系数。
28.步骤s1，重复执行步骤t1-t4，以获取多组训练样本；每一组训练样本包括：多个属性以及真实目标值；其中，真实目标值为，其中，为机器人控制模块控制焊接机器人后，焊头实际指向位置的z轴的坐标值；可以理解的是，是待焊接点的理想位置（即待焊接点需要指向的位置），而为待焊接点实际指向的位置，因此，真实目标值的含
义即代表垂直方向的焊接误差。
29.步骤s2，将多组试验样本作为输入特征代入到深度神经网络算法中，建立焊接预测模型；在一些实施例中，深度神经网络算法是一种基于多任务学习的深度神经网络算法。多任务学习是基于共享表示把多个相关的任务放在一起学习的一种机器学习方法。简而言之，多任务学习通过把多个相关的任务放在一起，并且多个任务之间互相分享，互相补充学习到的领域相关的信息，互相促进学习，提升泛化的效果。
30.深度神经网络包括：特征抽取子网络与属性预测子网络。
31.特征抽取子网络包括：多个卷积层、多个池化层、多个非线性层和多个全连接层。其中，卷积层通过线性变换从输入数据中抽取新特征；池化层可以将多个数值映射成一个数值，缩小特征空间；非线性层利用了生物神经元的激活机制，是深度神经网络算法的核心所在；全连接层用于关联协助上述的多个卷积层、多个池化层与多个非线性层。
32.具体的，特征抽取子网络可以是alexnet和googlenet等特征抽取网络。
33.属性预测子网络可以通过下面的公式进行描述：其中，为多个属性的数量，是多组训练样本的数量，是属性预测函数；表示第个训练样本在模型参数下的第个属性的预测值，是第个训练样本的真实目标值，是第个属性的属性预测损失函数，是第个属性的预测误差的权重。
34.可以理解的是，属性预测函数关联母板的材质, 焊缝的深度等因素，取决于实际焊接中对焊接精度。
35.需要说明的是，深度神经网络算法中的属性分为有序属性和无序属性，所有属性都可以转化为无序属性，但是有些属性不能转化为有序属性；例如，假如将颜色作为属性，将“红”、“黄”、“蓝”、“绿”分别以“1”，“2”，“3”，“4”这四个具体数值进行替代作为输入特征，则此时颜色就是无序属性；但是，将上述颜色的rgb值（长度为3的向量）进行替代作为输入特征，由于rgb值的大小从0~255，且rgb值与颜色的关系线性相关，因此此时颜色就是有序属性。可以理解的是，步骤s1中的属性均为有序属性。
36.进一步的，为了更快（即减少多组试验样本的数量）更准确的建立焊接预测模型，需要步骤s1中的属性进行处理，包括：对任一有序属性进行归一化，以及确保多组有序属性之间的同步化。
37.设第个训练样本的第个属性为，其中，；。则归一化后的第个训练样本的第个属性如下式所示：
紧接着，同步化后的第个训练样本的第个属性如下式所示：其中，、分别为属性、属性的归一化系数，为第个训练样本的真实目标值，即：；为第个属性的平均值。通过归一化和同步化（即用代替），建立了属性之间的关系，进而引导深度神经网络模块加快学习速率。
38.步骤s3，对当前待焊接的母板执行步骤t1-t4，以获取多个属性，利用焊接预测模型进行预测，输出多个属性对应的当前待焊接的母板下的真实目标值（即）；需要说明的是，由于工业加工具备高度重复性，因此，本发明的母板包括：样本母板与当前待焊接的母板。通常在工业加工时需要对成千上万块母板进行焊接，可以将最先焊接的一些母板作为样本母板（每一个样本母板对应步骤s1中的一组样本数据），获取它们的参数信息（即步骤s1中的多个属性以及真实目标值），从而对后续的母板（即步骤s3中当前待焊接的母板）起到指导作用（即执行步骤s3-s4）。
39.步骤s4，根据当前待焊接的母板下的真实目标值，调整焊接机器人的实际高度。
40.步骤s4具体包括：步骤s41，预先设置当前母板的垂直方向的焊接误差范围；步骤s42，根据预设的焊接误差范围，利用焊头进行预测试，以获得焊接误差范围对应的压力误差范围；步骤s43，判断真实目标值是否在压力误差范围内，若在压力误差范围内，表明焊头的实际位置符合要求；若不在压力误差范围内，调整焊头的垂直距离，使得真实目标值在压力误差范围内。
41.本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。