焊接机器人自主作业方法、装置、电子设备及存储介质与流程

1.本发明涉及自动控制技术领域，尤其涉及一种焊接机器人自主作业方法、装置、电子设备及存储介质。


背景技术：

2.焊接在工业生产中有着广泛的应用，尤其在汽车制造、建筑、航天等领域。当前焊接机器人的主要工作模式为“示教-再现”和离线编程两种。首先，示教再现和离线编程生成的程序只能用在一种工件上，通过人工编程方式效率低，不能满足当下小批量、多品种的焊接需求。其次，焊接对操作人员要求较高，不仅需要了解焊接机器人操作、还要熟知焊接工艺，且一般情况下工作环境艰苦，还对人体健康有害，工厂很难招到合适的焊接机器人工程师。因此，对于焊接机器人自主作业的需求越来越强烈。


技术实现要素：

3.本发明提供一种焊接机器人自主作业方法、装置、电子设备及存储介质，用以实现焊接机器人的自主作业，提高焊接机器人的焊接效率。
4.本发明提供一种焊接机器人自主作业方法，包括：
5.采集焊接工件图像，并基于所述焊接工件图像，得到焊接工件位置及焊缝类型；
6.基于所述焊接工件位置，在所述焊接工件位置的目标区域采集第一焊缝图像，并基于所述第一焊缝图像，得到焊缝位置；
7.基于所述焊缝位置，在所述焊缝位置的目标区域采集第二焊缝图像，并基于所述第二焊缝图像，得到焊缝位姿；
8.基于所述焊缝类型、所述焊缝位姿以及预设的焊接工艺参数，对焊接机器人进行参数设置，以控制所述焊接机器人进行作业。
9.根据本发明提供的焊接机器人设置方法，还包括：
10.获取焊接过程对应的第三焊缝图像，并基于所述第三焊缝图像，提取焊缝特征点坐标；
11.基于所述焊缝特征点坐标，对所述焊缝进行跟踪。
12.根据本发明提供的焊接机器人设置方法，所述基于所述焊接工件图像，得到焊接工件位置及焊缝类型，包括：
13.基于所述焊接工件图像，得到有效特征层；
14.对所述有效特征层进行热力图预测、焊接工件中心点预测以及焊接工件宽高预测，得到所述焊接工件位置以及所述焊缝类型。
15.根据本发明提供的焊接机器人设置方法，所述第一焊缝图像为基于双目视觉传感器采集得到；
16.所述基于所述第一焊缝图像，得到焊缝位置，包括：
17.对所述双目视觉传感器进行标定；
18.基于图像匹配，获取所述第一焊缝图像中的匹配点对；
19.基于所述双目视觉传感器的标定结果，确定所述匹配点对在双目视觉传感器坐标系下的坐标；
20.基于所述匹配点对在双目视觉传感器坐标系下的坐标，以及焊接机器人与所述双目视觉传感器对应的手眼标定结果，得到所述焊缝在焊接机器人坐标系下的坐标。
21.根据本发明提供的焊接机器人设置方法，所述基于所述第二焊缝图像，得到焊缝位姿，包括：
22.对所述第二焊缝图像进行格雷编码以及相移编码，得到格雷码和相移码相结合的编码图案；
23.对所述编码图案进行解码，得到所述编码图案的绝对相位值；
24.基于所述绝对相位值，得到焊缝对应的三维点云信息；
25.对所述三维点云信息进行滤波及点云特征提取，得到焊缝路径点；
26.基于所述焊缝路径点，得到所述焊缝位姿。
27.根据本发明提供的焊接机器人设置方法，所述基于所述第三焊缝图像，提取焊缝特征点坐标，包括：
28.将所述第三焊缝图像输入至焊缝特征识别模型，得到所述焊缝特征点坐标；
29.其中，所述焊缝特征识别模型为，以预设的焊缝图像为样本，以预设的焊缝图像对应的焊缝特征点坐标为样本标签，在yolo网络模型中训练得到。
30.根据本发明提供的焊接机器人设置方法，所述基于所述焊缝特征点坐标，对所述焊缝进行跟踪，包括：
31.获取焊枪工具中心点坐标以及期望焊接点坐标；
32.基于所述焊缝特征点坐标、所述焊枪工具中心点坐标以及所述期望焊接点坐标，得到焊接偏差；
33.基于所述焊接偏差，对所述焊缝进行跟踪。
34.本发明还提供一种焊接机器人自主作业装置，包括：
35.第一处理模块，用于采集焊接工件图像，并基于所述焊接工件图像，得到焊接工件位置及焊缝类型；
36.第二处理模块，用于基于所述焊接工件位置，在所述焊接工件位置的目标区域采集第一焊缝图像，并基于所述第一焊缝图像，得到焊缝位置；
37.第三处理模块，用于基于所述焊缝位置，在所述焊缝位置的目标区域采集第二焊缝图像，并基于所述第二焊缝图像，得到焊缝位姿；
38.设置与跟踪模块，用于基于所述焊缝类型、所述焊缝位姿以及预设的焊接工艺参数，对焊接机器人进行参数设置，以控制所述焊接机器人进行作业。
39.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述焊接机器人自主作业方法的步骤。
40.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述焊接机器人自主作业方法的步骤。
41.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器
执行时实现如上述任一种所述焊接机器人自主作业方法的步骤。
42.本发明提供的焊接机器人自主作业方法、装置、电子设备及存储介质，通过对焊接工件图像进行识别，自动获取焊接工件位置和焊缝类型，进而在焊接工件的区域采集第一焊缝图像，对第一焊缝图像进行识别，得到焊缝位置，再进一步靠近焊缝，采集第二焊缝图像，识别焊缝位姿，进而通过焊缝类型、焊缝位姿以及焊接工艺参数，对焊接机器人进行自动编程，并实现焊接机器人的焊缝跟踪，提高焊接机器人的自主作业能力和焊接效率，解决了现有焊接机器人智能化程度低、焊接效率低、难以满足现代柔性定制化生产需求等问题。
附图说明
43.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1是本发明提供的焊接机器人自主作业的流程示意图之一；
45.图2是本发明提供的焊接机器人自主作业系统的结构示意图；
46.图3是本发明提供的双目视觉传感器的原理框图；
47.图4是本发明提供的焊接向量表示示意图之一；
48.图5是本发明提供的焊接向量表示示意图之二；
49.图6是本发明提供的焊接向量表示示意图之三；
50.图7是本发明提供的焊缝位姿模型示意图；
51.图8是本发明提供的yolo网络特征结构图；
52.图9是本发明提供的焊接偏差计算示意图；
53.图10是本发明提供的焊接机器人自主作业的流程示意图之二；
54.图11是本发明提供的焊接机器人自主作业装置的结构示意图；
55.图12是本发明提供的电子设备的结构示意图。
56.附图标记：
57.201：工控机；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
202：焊机；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
203：送丝机；
58.204：双目视觉传感器；
ꢀꢀ
205：编码结构光传感器； 206：线结构光传感器；
59.207：焊枪；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
208：焊接工件；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
209：变位机；
60.210：机器人；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
211：保护气瓶；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
212：机器人控制器；
61.1100：焊接机器人自主作业装置；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1110：第一移动模块；
62.1120：第二移动模块；
ꢀꢀꢀ
1130：位姿计算模块； 1140：设置与跟踪模块；
63.1210：处理器；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1220：通信接口；
ꢀꢀꢀꢀꢀꢀ
1230：存储器；
64.1240：通信总线。
具体实施方式
65.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳
动前提下所获得的所有其他实施例，都属于本发明保护的范围。
66.下面结合图1-图12描述本发明的焊接机器人自主作业方法、装置、电子设备及存储介质。
67.本发明提供的焊接机器人自主作业方法应用于焊接机器人，如图1所示，焊接机器人自主作业方法包括：
68.步骤110、采集焊接工件图像，并基于焊接工件图像，得到焊接工件位置及焊缝类型。
69.可以理解的是，可以基于双目视觉传感器采集焊接工件图像，再基于训练好的神经网络模型，对焊接工件图像识别，可以初步获取焊接工件的位置和焊缝类型。
70.焊接工件图像是焊接工件的深度图像，基于该图像的深度信息即可获取焊接工件的位置及焊缝位置。
71.步骤120、基于焊接工件位置，在焊接工件位置的目标区域采集第一焊缝图像，并基于第一焊缝图像，得到焊缝位置。
72.可以理解的是，焊接工件位置的目标区域，可以是焊接工件位置附近的区域，以焊接工件位置为圆心，以预设值为半径所形成的区域，即为焊接工件位置对应的区域。
73.控制焊接机器人移动至所述焊接工件位置对应的区域，有助于更清楚的采集焊接工件的图像。
74.基于焊接工件位置，控制焊接机器人移动至焊接工件位置的目标区域。
75.第一焊缝图像可以是基于双目视觉传感器采集的，第一焊缝图像也是深度图像。双目视觉传感器通过立体匹配，可以获取目标的深度。
76.步骤130、基于焊缝位置，在焊缝位置的目标区域采集第二焊缝图像，并基于第二焊缝图像，得到焊缝位姿。
77.可以理解的是，第二焊缝图像可以是基于编码结构光视觉传感器采集。基于焊缝位置，可以控制焊接机器人身上的编码结构光视觉传感器运动至焊缝位置的目标区域，以便采集第二焊缝图像。
78.焊缝位置的目标区域，可以是焊缝位置附近的区域，以焊缝位置为圆心，以预设值为半径所形成的区域，即为焊缝位置附近的区域。
79.在获取了焊缝位姿之后，焊接机器人可以基于焊缝位姿进行针对性的焊接。
80.步骤140、基于焊缝类型、焊缝位姿以及预设的焊接工艺参数，对焊接机器人进行参数设置，以控制所述焊接机器人进行作业。
81.可以理解的是，可以通过对焊接机器人自动编程，完成对焊接机器人的焊接参数设置。
82.焊接机器人自动编程模块根据焊缝位姿以及焊接工件的材质等信息，通过专家系统自动设置焊接工艺参数，实现焊接机器人的自动编程，具体包括如下步骤：
83.分段编号：根据获取的焊缝位姿对焊缝进行分段编号，并存储每一段焊缝的焊缝类型、焊缝宽度、焊缝深度以及焊接工件的厚度等信息。
84.焊接工艺参数设置：融合专家经验，包括相关的焊接规则、焊接模型、焊接知识库等信息，建立作业工艺专家数据库。依据专家数据库，根据编码结构光传感器获取的焊接工件信息以及用户输入的工件材料、焊接方法、承压条件、腐蚀条件、焊丝直径、焊材种类等参
数，推断出每一段焊缝需要采用的焊接速度、焊接电压、焊接电流、保护气流量等工艺参数，完成焊接工艺参数设置。
85.焊接程序生成：本发明采用2016年发布实施的国家标准《gb/t 32197-2015机器人控制器开放式通信规范》为依据生成指令代码。gb/t 32197-2015定义了获取工业机器人的基本属性及控制其运行模式一组通信接口协议。可读取的机器人基本属性包括关节位置、速度、加速度以及di/ai状态值等；可控制的运行模式包括伺服运动模式、伺服周期、do/ao输出等。本发明实施例根据焊缝位姿提取模块获取的焊缝位姿模型生成机器人坐标序列，插入专家系统决策出的工艺参数指令，生成机器人焊接程序，实现焊接机器人的自动编程以及焊缝跟踪。
86.本发明提供的焊接机器人自主作业方法，应用于如图2所示的焊接机器人系统，包括：工控机201、焊机202、送丝机203、双目视觉传感器204、编码结构光传感器205、线结构光传感器206、焊枪207、焊接工件208、变位机209、机器人210、保护气瓶211、机器人控制器212，机器人210上装设有焊枪207、双目视觉传感器204、编码结构光传感器205、线结构光传感器206。
87.其中，双目视觉传感器204用于焊接工件的识别与焊缝类型的检测、编码结构光传感器205用于焊接工件的三维重建及焊缝位姿提取、线结构光传感器206用于焊缝特征点提取与焊缝跟踪，机器人控制器212控制机器人210运动；双目视觉传感器204、编码结构光传感器205、线结构光传感器206三种传感器与工控机201连接，工控机201做图像和点云处理；机器人控制器212、焊机211、变位机209、送丝机203均与工控机201连接。
88.在一些实施例中，基于焊接工件图像，得到焊接工件位置及焊缝类型，包括：
89.基于焊接工件图像，得到有效特征层；
90.对有效特征层进行热力图预测、焊接工件中心点预测以及焊接工件宽高预测，得到焊接工件位置以及焊缝类型。
91.可以理解的是，焊接机器人自主作业系统首先进行焊接目标的自动识别。本发明实施例中焊接工件识别模块采用centernet网络识别焊接目标，centernet网络检测器采用关键点估计找到中心点，并回归到其他目标属性，焊接目标识别包括如下步骤：
92.采集工件图像：centernet网络需要大量的样本数据进行训练，因此需要用双目视觉传感器中的工业相机采集焊接工件图像，为了提高图像数据集的采集效率，本发明实施例采用一种自动图像采集方法，即通过编写脚本，以一定步长为预设步长，控制机器人的位姿变动，同时工业相机不断采集焊接工件图像，获取焊接工件图像数据集。
93.数据集增强：为了提高深度学习网络训练的鲁棒性，防止过拟合，本发明实施例采用图像翻转处理、添加高斯噪声和椒盐噪声、改变图像亮度和对比度、仿射变换等方法对焊接工件图像数据集进行数据增强。
94.数据集标注：对增强后的焊接工件图像数据集进行标注，标注出焊缝在图像中的方框以及焊缝类型，为了提高数据标注速度，本发明实施例采用一种自动标注方法，即先采用少量工件图像样本进行预训练，获取基本权值，通过预训练模型对数据集进行自动标注，随后结合人工检查，修正有误的数据，提高焊接工件数据集的标注效率和准确性。
95.数据集训练：采用centernet网络对焊接工件图像数据集进行训练，centernet网络采用resnet为主干特征提取网络，得到初步特征层的大小为16
×
16
×
2048，接着利用三
次反卷积进行上采样，获得128
×
128
×
64的有效特征层；对有效特征层进行热力图预测，获取是否有焊接工件以及焊缝类型。对有效特征层进行中心点预测，获取焊接工件中心距离热力点偏移的情况。对有效特征层进行宽高预测，获取焊接工件的像素宽度和像素高度。
96.模型部署：将上述数据集训练获取的权值部署到工控机端，工业相机采集焊接工件图像，工控机读取焊接工件图像并识别出工件位置以及焊缝类型。
97.需要说明的是，本发明实施例采用centernet网络对焊接工件进行识别，该网络也可以是ssd网络、faster rcnn网络、retinanet网络、mobilenet网络、efficientdet网络等，本发明实施例对此不作具体限定。
98.在一些实施例中，第一焊缝图像为基于双目视觉传感器采集得到。基于第一焊缝图像，得到焊缝位置，包括：
99.对双目视觉传感器进行标定；
100.基于图像匹配，获取第一焊缝图像中的匹配点对；
101.基于双目视觉传感器的标定结果，确定匹配点对在双目视觉传感器坐标系下的坐标；
102.基于匹配点对在双目视觉传感器坐标系下的坐标，以及焊接机器人与双目视觉传感器对应的手眼标定结果，得到焊缝在焊接机器人坐标系下的坐标。
103.可以理解的是，对焊接工件进行三维重建需将编码结构光传感器移动至工件附近，因此需要对焊缝位置进行检测和定位。如图3所示，本发明实施例焊缝检测与定位模块采用双目视觉传感器，识别焊缝并获取焊缝在机器人基坐标系下的三维坐标，具体包括如下步骤：
104.双目立体视觉标定：选择张正友标定算法完成，获取左右相机的相对外参平移矩阵t和旋转矩阵r。
105.双目立体视觉三维测量：利用图像匹配获取左右两相机采集图像的匹配点对坐标，并结合双目立体标定结果获取匹配点在摄像机坐标系下的三维坐标。本发明实施例中并不限定特征点提取算法包括harris、fast、sift、suft、orb等，也不限定特征匹配算法包括平均绝对差算法(mad)、误差平方和算法(ssd)、hadamard变换算法(satd)等。
106.手眼标定：获取双目视觉传感器的相机坐标系与机器人工具坐标系之间的旋转平移关系，通过机器人不同位姿下拍摄焊接工件，获得相机和机械臂末端关系的经典方程ax＝xb，求解x得到手眼标定矩阵。
107.焊缝检测与定位：通过焊接工件识别模块可以框出焊缝在图像中的位置，结合双目视觉传感器的标定结果以及手眼标定结果，获取焊缝在机器人基坐标系下的三维坐标，机器人控制器控制机械臂末端移动至焊缝位置附近，保证焊缝位于单目编码结构光视觉传感器的检测范围内，便于下一步的焊缝位姿提取。
108.在一些实施例中，基于第二焊缝图像，得到焊缝位姿，包括：
109.对第二焊缝图像进行格雷编码和相移编码，得到格雷码和相移码相结合的编码图案；
110.对格雷码和相移码相结合的编码图案进行解码，得到编码图案的绝对相位值；
111.基于绝对相位值，得到焊缝对应的三维点云信息；
112.对三维点云信息进行滤波及点云特征提取，得到焊缝路径点；
113.基于焊缝路径点，得到焊缝位姿。
114.可以理解的是，由于焊接工件背景单一、纹理简单，本发明实施例中焊缝位姿提取模块采用单目编码结构光传感器进行焊缝位姿的提取。其中编码图案的生成是焊缝位姿提取的基础，合理的编码方式可以提高位姿提取的效率和精度。
115.相移编码通过多幅具有固定相位差的正弦光栅图案完成三维测量，在相位求解的精度方面具有突出优势，具有全分辨率结果，但是该方法难以得到绝对的相位值。
116.格雷编码具有编码简单、抗干扰能力强、鲁棒性好的优点，同时能得到绝对的相位，但是其测量分辨率不足，而通过增加编码结构光图案数目增加测量分辨率的方法又会增大计算量同时使条纹节距变小易受噪声干扰。因此，本发明实施例结合两种编码方案形成优势互补，实现焊缝位姿的准确提取，具体包括如下步骤：
117.图像编码：格雷编码光栅的目的是为了给光栅条纹定级，从而对图像中像素点进行编码。向被测物体表面投射n幅格雷码光栅图案，则可将测量视野划分为2n个条纹区域，每个条纹区域具有相同的码值。为了提高三维测量的精度，结合相移编码，在格雷码划分的最小条纹区域内，利用相移光栅进行编码。
118.图像解码：对于采集到的格雷码图案，解码过程主要包括两步：首先对采集到的格雷码图案进行二值化，则每个像素点对应的图案序列中的0或1编码即为该像素的格雷码值。其次，将格雷码转换为二进制码，进而转换为对应的十进制数。相移法图像解码是通过采集多帧有一定相移的条纹图案来计算相位主值，用于细分具有相同格雷码值的区域。要对包裹的相位主值进行相位展开得到绝对相位值。
119.焊接工件三维信息获取：对焊接工件上的一点p进行解码获取该点的绝对相位值，计算该点对应的投影仪图像平面上的一条直线坐标，然后结合立体标定结果，即可求得焊接目标上点p的三维坐标。由于焊接目标上任意一点的三维坐标均可确定，所以可以得到焊接目标的三维点云信息。
120.点云滤波：基于编码结构光方法可以获得焊接目标的三维点云信息，但由于视觉测量系统的噪声、焊接表面纹理和缺陷等因素的影响，焊接目标的三维点云信息中会存在一些噪声点，会对焊缝路径点的提取产生影响。因此，本发明实施例采用双边滤波算法，通过取邻近采样点的加权平均来修正当前采样点的位置，从而达到滤波的效果。同时也会选择剔除部分与当前采样点差异太大的相邻采样点，从而达到保持原特征的目的。
121.焊缝点云提取：通过特征提取从三维点云中提取出感兴趣的焊缝路径点。如图4、图5及图6所示，分别是v型焊缝、角接焊缝、搭接焊缝的模型图，针对v型焊缝的焊缝路径点提取，本发明实施例采用ransac算法拟合工件平面，计算离平面距离最远的一批点作为焊缝路径点；针对角接焊缝的焊缝路径提取，本发明实施例采用ransac算法拟合两个工件平面，以两平面交点作为焊缝路径点；针对搭接焊缝路径提取，本发明实施例同样采用ransac算法拟合两个平面，将两平面距离较近的下边缘作为焊缝路径点。
122.焊缝路径点拟合：本发明实施例采用平滑三次b样条函数对焊缝路径点进行拟合，获取平顺、光滑的焊缝路径曲线，需要说明的是，本发明实施例采用三次b样条函数进行拟合，也不限定曲线拟合算法包括nurbs曲线拟合、贝塞尔曲线拟合等。
123.焊缝位姿模型建立：根据焊缝的位置模型可以规划出焊接过程中焊枪的焊接路径，焊缝的姿态模型用于保证焊枪的焊接姿态，如图7所示，建立焊缝的位姿模型包括：方向
向量oi：表示焊缝曲线在第i个采样点处的切线方向，可通过求取焊缝曲线在第i个采样点处的一阶导数得到。接近向量ai：表示空间焊缝曲线在第i个采样点处垂直于焊缝的法矢量。法向向量ni：可由方向向量oi与接近向量ni做向量积运算得到。
124.在一些实施例中，焊接机器人自主作业方法还包括：
125.获取焊接过程对应的第三焊缝图像，并基于第三焊缝图像，提取焊缝特征点坐标；
126.基于焊缝特征点坐标，对焊缝进行跟踪。
127.需要说明的是，可以通过线结构光传感器采集焊接过程中的焊缝图像。
128.在一些实施例中，基于第三焊缝图像，提取焊缝特征点坐标，包括：
129.将第三焊缝图像输入至焊缝特征识别模型，得到焊缝特征点坐标。
130.其中，焊缝特征识别模型为，以预设的焊缝图像为样本，以预设的焊缝图像对应的焊缝特征点坐标为样本标签，在yolo(you only look once，即：基于神经网络的目标检测系统)网络模型中训练得到。进一步，yolo网络模型可以是yolov4网络模型。
131.机器人焊接过程中，会产生强弧光、飞溅等噪声对采集图像产生干扰，传统的基于几何特征的图像处理方法难以准确鲁棒的提取强噪声环境下的焊缝特征点。而深度神经网络通过训练能够提取图像深层特征，因此本发明实施例焊缝特征点提取采用yolo网络对焊缝特征点进行提取，具体包括如下步骤：
132.焊缝图像采集：在焊接过程中采集带有弧光和飞溅噪声的焊缝图像构成训练集，即焊缝图像数据集，对图像数据集进行统一编号。
133.焊缝图像数据集增强：对焊缝图像数据集进行扩充，采用包括但不限于图像旋转、更改图像大小、添加图像噪声、更改图像明暗度、图像滤波、仿射变换等方法，快速增加焊缝图像数量，降低采集图像成本，提高神经网络训练的鲁棒性。在对数据集进行扩充后，在对数据集增强：为了提高深度学习网络训练的鲁棒性，防止过拟合，本发明实施例采用图像翻转处理、添加高斯噪声和椒盐噪声、改变图像亮度和对比度、仿射变换等方法对焊接工件图像数据集进行数据增强。
134.焊缝图像数据集标注：本发明实施例对于焊缝图像的标注首先确定焊缝特征点坐标，以该坐标为中心，绘制边长一定的方形区域作为焊缝特征点的目标框，该方法标注的目标框位置准确，大小一致。
135.深度学习训练：本发明实施例采用yolo网络对焊缝图像数据集进行训练，如图8所示，yolo网络采用cspdarknet53为主干特征提取网络，使用mish激活函数，mish函数的公式为mish＝x
×
tanh(ln(1 e
x
))，在特征金字塔部分使用spp(即：空间金字塔池化)网络结构和panet网络结构。spp结构掺杂在cspdarknet53的最后一个特征层的卷积里，在对cspdarknet53的最后一个特征层进行三次darknetconv2d卷积后，分别利用四个不同尺度的最大池化进行处理，最大池化的池化核大小分别为13x13、9x9、5x5、1x1。
136.panet是一种实例分割算法，算法对特征进行反复提取，该算法在三个有效特征层上使用。
137.模型部署：将深度学习训练获取的权值部署到工控机端，使用激光焊缝跟踪传感器采集焊缝图像，工控机读取焊缝图像并准确获取焊缝特征点坐标。
138.需要说明的是，本发明实施例采用yolo网络对焊缝特征点进行提取，该网络也可以是ssd(single shot multibox detector，单次多框检测器)网络、faster rcnn网络、
retinanet网络、mobilenet网络、efficientdet网络等，本发明实施例对此不作具体限定。
139.在一些实施例中，基于焊缝特征点坐标，对焊缝进行跟踪，包括：
140.获取焊枪工具中心点坐标以及期望焊接点坐标；
141.基于焊缝特征点坐标、焊枪工具中心点坐标以及期望焊接点坐标，得到焊接偏差；
142.基于焊接偏差，对焊缝进行跟踪。
143.可以理解的是，由于机器人自主编程依赖编码结构光传感器的扫描信息以及工业机器人的绝对定位精度，以上两者都会存在部分偏差。此外，在焊接过程中焊接工件也会存在受热变形的问题，因此需要在焊接过程中对机器人自动编程轨迹进行实时的纠偏。本发明的实施例采用自主研发的线结构光传感器获取焊缝特征点坐标，引导焊接机器人在焊接过程中实现焊缝实时跟踪。
144.需要说明的是，焊缝特征点的准确采集是焊缝跟踪的基础，本发明实施例采用最近邻算法获取实时焊接偏差，实现准确鲁棒的焊缝跟踪，具体包括如下步骤：
145.焊缝特征点存储：由于焊接飞溅和弧光的干扰，线结构光传感器的激光线会超前当前焊接位置一段距离，由于视觉超前的问题，对于焊缝跟踪中的偏差计算需要从焊缝的一段数据获取，因此需要对线结构光传感器采集的焊缝特征点进行存储。
146.特征点计算：由于线结构光传感器采集焊缝特征点频率较高，如果使用所有的焊缝特征点数据计算焊接偏差，会增大计算量，因此本发明实施例限制特征点计算数量，固定使用超前距离内采集特征点个数的两倍来计算焊接偏差，当新数据到来时，将特征点存储器最先采集的焊缝特征点数据删除，维持特征点个数不变。
147.焊接偏差计算：本发明实施例通过最近邻算法准确计算焊接偏差。如图9所示，焊缝特征点为pi(xi,yi,zi)、焊枪工具中心点为p
t
(x
t
,y
t
,z
t
)、期望焊接点为pe(xe,ye,ze)。基于最近邻算法，计算焊接机器人当前tcp坐标p
t
(x
t
,y
t
,z
t
)与特征点存储器中焊缝扫描点最近的点pe(xe,ye,ze)的距离，得到机器人基坐标系下x、y、z三个方向的焊接误差，通过机器人控制器进行实时的焊缝纠偏，实现对复杂空间焊缝的准确鲁棒的焊缝跟踪，保证焊接质量。
148.在另一些实施例中，焊接机器人自主作业方法如图10所示，包括焊接工件识别、焊接机器人自动编程以及复杂焊缝跟踪三部分。
149.综上所述，本发明提供的焊接机器人自主作业方法，先采集焊接工件图像，并基于焊接工件图像，得到焊接工件位置及焊缝类型；基于焊接工件位置，在焊接工件位置的目标区域采集第一焊缝图像，并基于第一焊缝图像，得到焊缝位置；基于焊缝位置，在焊缝位置的目标区域采集第二焊缝图像，并基于第二焊缝图像，得到焊缝位姿；基于焊缝类型、焊缝位姿以及预设的焊接工艺参数，对焊接机器人进行参数设置，以控制焊接机器人进行作业。
150.本发明提供的焊接机器人自主作业方法，可以通过对焊接工件图像进行识别，自动获取焊接工件位置和焊缝类型，进而在焊接工件的区域采集第一焊缝图像，对第一焊缝图像进行识别，得到焊缝位置，再进一步靠近焊缝，采集第二焊缝图像，识别焊缝位姿，进而通过焊缝类型、焊缝位姿以及焊接工艺参数，对焊接机器人完成自动编程，实现焊接机器人的焊缝跟踪，提高焊接机器人的自主作业能力和焊接效率，解决了现有焊接机器人智能化程度低、焊接效率低、难以满足现代柔性定制化生产需求等问题。
151.下面对本发明提供的焊接机器人自主作业装置进行描述，下文描述的焊接机器人自主作业装置与上文描述的焊接机器人自主作业方法可相互对应参照。
152.如图11所示，本发明提供的焊接机器人自主作业装置1100包括：第一处理模块1110、第二处理模块1120、第三处理模块1130和设置与跟踪模块1140。
153.第一处理模块1110用于采集焊接工件图像，并基于所述焊接工件图像，得到焊接工件位置及焊缝类型。
154.第二处理模块1120用于基于焊接工件位置，在焊接工件位置的目标区域采集第一焊缝图像，并基于第一焊缝图像，得到焊缝位置。
155.第三处理模块1130用于基于焊缝位置，在焊缝位置的目标区域采集第二焊缝图像，并基于第二焊缝图像，得到焊缝位姿。
156.设置与跟踪模块1140用于基于焊缝类型、焊缝位姿以及预设的焊接工艺参数，对焊接机器人进行参数设置，以控制焊接机器人进行作业。
157.在一些实施例中，第一处理模块1110包括：特征层提取单元和工件位置计算单元。
158.特征层提取单元用于基于焊接工件图像，得到有效特征层。
159.工件位置计算单元用于对有效特征层进行热力图预测、焊接工件中心点预测以及焊接工件宽高预测，得到焊接工件位置以及焊缝类型。
160.在一些实施例中，第一焊缝图像为基于双目视觉传感器采集得到；第二处理模块1120包括：标定单元、匹配单元、第一坐标计算单元和第二坐标计算单元。
161.标定单元用于对双目视觉传感器进行标定。
162.匹配单元用于基于图像匹配，获取第一焊缝图像中的匹配点对。
163.第一坐标计算单元用于基于双目视觉传感器的标定结果，确定匹配点对在双目视觉传感器坐标系下的坐标。
164.第二坐标计算单元用于基于匹配点对在双目视觉传感器坐标系下的坐标，以及焊接机器人与双目视觉传感器对应的手眼标定结果，得到焊缝在焊接机器人坐标系下的坐标。
165.在一些实施例中，第三处理模块1130包括：编码单元、解码单元、点云计算单元、点云特征提取单元和位姿计算单元。
166.编码单元用于对第二焊缝图像进行格雷编码和相移编码，得到格雷码和相移码相结合的编码图案。
167.解码单元用于对格雷码和相移码相结合的编码图案进行解码，得到编码图案的绝对相位值。
168.点云计算单元用于基于绝对相位值，得到焊缝对应的三维点云信息。
169.点云特征提取单元用于对三维点云信息进行滤波及点云特征提取，得到焊缝路径点。
170.位姿计算单元用于基于焊缝路径点，得到焊缝位姿。
171.在一些实施例中，设置与跟踪模块1140包括：特征提取模块和焊缝跟踪模块。
172.特征提取模块用于获取焊接过程对应的第三焊缝图像，并基于第三焊缝图像，提取焊缝特征点坐标。
173.焊缝跟踪模块用于基于焊缝特征点坐标，对焊缝进行跟踪。
174.在一些实施例中，特征提取模块进一步用于将第三焊缝图像输入至焊缝特征识别模型，得到焊缝特征点坐标。
175.其中，焊缝特征识别模型为，以预设的焊缝图像为样本，以预设的焊缝图像对应的焊缝特征点坐标为样本标签，在yolo网络模型中训练得到。
176.在一些实施例中，焊缝跟踪模块包括：获取单元、偏差计算单元和焊缝跟踪单元。
177.获取单元用于获取焊枪工具中心点坐标以及期望焊接点坐标。
178.偏差计算单元用于基于焊缝特征点坐标、焊枪工具中心点坐标以及期望焊接点坐标，得到焊接偏差。
179.焊缝跟踪单元用于基于焊接偏差，对焊缝进行跟踪。
180.下面对本发明提供的电子设备及存储介质进行描述，下文描述的电子设备及存储介质与上文描述的焊接机器人设置方法可相互对应参照。
181.图12示例了一种电子设备的实体结构示意图，如图12所示，该电子设备可以包括：处理器(processor)1210、通信接口(communications interface)1220、存储器(memory)1230和通信总线1240，其中，处理器1210，通信接口1220，存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令，以执行焊接机器人自主作业方法，该方法包括：
182.步骤110、采集焊接工件图像，并基于焊接工件图像，得到焊接工件位置及焊缝类型；
183.步骤120、基于焊接工件位置，在焊接工件位置的目标区域采集第一焊缝图像，并基于第一焊缝图像，得到焊缝位置；
184.步骤130、基于焊缝位置，在焊缝位置的目标区域采集第二焊缝图像，并基于第二焊缝图像，得到焊缝位姿；
185.步骤140、基于焊缝类型、焊缝位姿以及预设的焊接工艺参数，对焊接机器人进行参数设置，以控制焊接机器人进行作业。
186.此外，上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
187.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的焊接机器人自主作业方法，该方法包括：
188.步骤110、采集焊接工件图像，并基于焊接工件图像，得到焊接工件位置及焊缝类型；
189.步骤120、基于焊接工件位置，在焊接工件位置的目标区域采集第一焊缝图像，并基于第一焊缝图像，得到焊缝位置；
190.步骤130、基于焊缝位置，在焊缝位置的目标区域采集第二焊缝图像，并基于第二焊缝图像，得到焊缝位姿；
191.步骤140、基于焊缝类型、焊缝位姿以及预设的焊接工艺参数，对焊接机器人进行参数设置，以控制焊接机器人进行作业。
192.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的焊接机器人自主作业方法，该方法包括：
193.步骤110、采集焊接工件图像，并基于焊接工件图像，得到焊接工件位置及焊缝类型；
194.步骤120、基于焊接工件位置，在焊接工件位置的目标区域采集第一焊缝图像，并基于第一焊缝图像，得到焊缝位置；
195.步骤130、基于焊缝位置，在焊缝位置的目标区域采集第二焊缝图像，并基于第二焊缝图像，得到焊缝位姿；
196.步骤140、基于焊缝类型、焊缝位姿以及预设的焊接工艺参数，对焊接机器人进行参数设置，以控制焊接机器人进行作业。
197.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
198.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
199.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。