基于视觉SLAM的塑胚本体热板焊接熔融厚度的调整方法与流程

基于视觉slam的塑胚本体热板焊接熔融厚度的调整方法
技术领域
1.本发明涉及机器视觉slam领域，特别涉及基于视觉slam的塑胚本体热板焊接熔融厚度的调整方法。


背景技术：

2.对于金属本体的热板焊接龙超祥等人设计出一款固定夹具及具有该固定夹具的油箱打孔焊接设备(发明专利授权号：cn209453043u)，该装置通过固定夹具夹持塑胚本体，具有加持稳固，取料方便等优点。但该装置并没有实现自动化生产，且仅适用于单一结构的塑胚本体热板。
3.目前塑胚本体通常分为6层，从内到外分为：新料层、粘接层、阻隔层、粘接层、回料层、新料层。具有轻量化、耐冲击、耐腐蚀、设计自由度大等优点。通常采用一次吹塑成型的方式，可以成型出形状复杂的异形产品。因此，塑胚本体热板焊接一般采用机器人智能柔性生产线。
4.2018年，裴瑞英等人提出一种适用于机器人上下料柔性生产线的上下料及定位装置(发明专利授权号：cn109366242b)，该装置实现机器人自动上下料抓取，能适应工件的多样性；但是该装置采用位置传感器和读码器实现定位，并不适用于形状各异的塑胚本体，对于焊接深度只能设定固定值。
5.slam(simultaneous localization and mapping)技术是指机器人通过自身的传感器进行感知来构建3d环境地图，并且同时确定自身在地图中所处的位置。按照传感器的不同，slam分为视觉slam和激光slam，但是该方法对于复杂的室内环境会导致结果精度不够准确。2017年，龙超祥等人提出一种基于机器人3d视觉的汽车油箱焊接定位方法及系统(发明专利公开号：cn 109421043a)，该方法通过3d相机把位姿偏差值发送给机器人，修正机器人的焊接位姿。该方法通过微调机器人末端的焊接装置有效提高塑胚本体热板的焊接质量，但是对于焊接深度仍然需要传感器来确定。
6.2020年，郭亨凯等人提出一种单目slam初始化方法、装置及电子设备(发明专利公开号：cn 113129366 a)，该方法将原有的矩阵分解求相机位姿和平面法向量的方法替换为变量优化，提高了单目slam初始化的效率。但该方法未剔除错误匹配图像的情况，可能会导致结果不收敛。2020年，li等人提出一种增强语义分割的移动机器人视觉s lam系统(f li,et al.amobile robot visual slam system with enhanced semantics segmentation[j].ieee access,2020,pp(99):1-1.)。通过使用图像处理算法来增强语义分割效果，融合rgb-d摄像机和编码器的信息，进行定位并创建一个没有动态对象的密集彩色八叉树地图，该方法提高了系统的定位精度。但是该方法通过图像下采样方法牺牲了提取目标的精度，不适用于对焊接点有精确要求的塑胚本体热板。
[0007]
综上所述，现有的塑胚本体热板焊接装置不适用于形状复杂、焊接精度要求高的塑胚本体热板，对于塑胚本体热板的焊接深度普遍依据于多传感器控制，普遍存在焊接深度不准确、适用场景有限的问题。


技术实现要素：

[0008]
本发明的目的是克服现有技术缺陷，提供一种基于视觉slam的塑胚本体热板焊接熔融厚度的调整方法，该方法基于焊接平面校正的机器人旋转位姿和基于焊接点到焊接头距离的校正机器人平移位姿方法较好的解决了焊接塑胚本体热板深度的影响。
[0009]
本发明的目的是这样实现的：一种基于视觉slam的塑胚本体热板焊接熔融厚度的调整方法，包括以下步骤：
[0010]
步骤1)相机获取图像关键帧；
[0011]
步骤2)视觉slam系统构建；
[0012]
步骤3)基于平面几何进行自适应焊接位姿校正方法；
[0013]
步骤4)机器人工作位姿输出。
[0014]
作为本发明的进一步限定，所述步骤2)包括：
[0015]
步骤2.1)机器人焊接初始位姿；
[0016]
步骤2.2)帧间orb特征点匹对；
[0017]
步骤2.3)基于p3p的焊接机器人位姿估计；
[0018]
步骤2.4)基于全局的slam后端优化；
[0019]
步骤2.5)机器人场景地图融合。
[0020]
作为本发明的进一步限定，所述步骤3)包括：
[0021]
步骤3.1)基于遗传方法路径规划；
[0022]
步骤3.2)基于焊接平面校正的机器人旋转位姿；
[0023]
步骤3.3)基于焊接点到焊接头的校正机器人平移位姿；
[0024]
步骤3.4)焊接工装平面是否与塑胚本体热板焊接平面干涉；判断为干涉，返回步骤3.1)；否则继续执行步骤4)。
[0025]
作为本发明的进一步限定，所述步骤2.1)包括
[0026]
步骤2.1.1)基于fast方法提取角点；
[0027]
步骤2.1.2)采用brief特征描述子对特征点进行描述；
[0028]
作为本发明的进一步限定，所述步骤2.1.1)具体方法流程为：
[0029]
(1)在图像中选择一点设为像素p0，设该像素的灰度值为
[0030]
(2)设置灰度阈值记为
[0031]
(3)取以像素p0为中心，半径为三个像素的bresenham离散圆上的16个像素，记为p
1-p
16
；
[0032]
(4)在选取的p
1-p
16
这16个像素中，如果存在连续n0个像素的灰度值与之差的绝对值大于则像素点p0就是角点。取n0＝12。
[0033][0034]
(5)对图像中所有像素点重复以上步骤(1)-(4)。
[0035]
作为本发明的进一步限定，所述步骤2.1.2)具体方法流程为：
[0036]
(1)以像素p0为中心，取s
×
s的图像块作为邻域；
[0037]
(2)在邻域内按照高斯分布模式选取n0个点对，取n0＝128；
[0038]
(3)对于每一对像素点对(x,y)，l(x)表示位于图像x＝(u,v)
t
处的像素亮度，(u,v)为像素坐标，τ表示为对像素亮度比较的结果：
[0039][0040]
(4)brief描述子即可表示为一个n0维的二进制码串：
[0041][0042]
其中，为n0个点对二进制码串函数，l为图像在第j个点对(xj,yj)处的像素亮度，τ为第j个点对(xj,yj)像素亮度比较的结果。
[0043]
作为本发明的进一步限定，所述步骤3.2)包括对焊接机器人和相机等硬件进行初始化操作；初始化完成后，相机检测待焊接平面ω，法向量为调整相机位姿，使得相机光心o与焊接点w的连线ow表示的向量得到此时相机变换矩阵r1，设相机相对于焊接机器人的变换矩阵为r2，则机器人相对于焊接平面的旋转矩阵为r3；其中r3＝r1r2。
[0044]
作为本发明的进一步限定，所述步骤3.3)包括依据深度信息，已知相机镜头o到焊接点w距离为d1，相机镜头o到焊接头u距离为d2，相机镜头o到焊接平面wh的距离为d3，则焊接点w到焊接头u距离d
δ
可通过几何关系表示为：
[0045][0046]
因此，基于焊接点到焊接头距离的校正机器人平移量为：d
δ
，记录当时的位姿(x
11
,x
21
,x
31
)。
[0047]
作为本发明的进一步限定，所述步骤3.4)包括运动轨迹规划中，设焊接工装平面记为α表示为a0x b0y c0z d0＝0，面积为s1，塑胚本体热板焊接平面记为β表示为面积为s2，其中平面α的法线向量为d0≠0表示平面α为空间内的一般位置平面，平面β的法线向量为h0≠0表示平面β为空间内的一般位置平面；
[0048]
联立求得直线方程为a1x b1y c1＝0；若该直线满足同时在焊接工装平面α和塑胚本体热板焊接平面β上，则判定为干涉，满足和a0x b0y c0z d0＝0的解在s1内且a1x b1y c1＝0和e0x f0y g0z h0＝0的解在s2内，则重新规划路径，返回步骤3.1)。
[0049]
本发明采用以上技术方案，与现有技术相比，有益效果为：1)本发明方法通过基于视觉slam对塑胚本体热板焊接机器人位姿校正，有效校正塑胚本体热板的焊接深度；并以此设计的适应度函数，采用基于遗传方法提高了方法运行的效率和收敛性；2)通过基于焊接平面校正的焊接机器人的旋转位姿和基于焊接点到焊接头距离的校正机器人平移位姿方法，较好的解决了塑胚本体因尺寸差而导致焊接不同深度的影响，通过基于焊接平面校正的机器人旋转位姿，基于焊接点到焊接头距离校正的机器人平移位姿的方法自适应确定塑胚本体热板焊接熔融的位姿，从而确定焊接深度，有效提高了塑胚本体的焊接质量。
附图说明
[0050]
图1为本发明的流程图。
[0051]
图2为本发明中fast角点和brief描述子示意图。
[0052]
图3为本发明中基于p3p(perspective-3-point)估计相机位姿示意图。
[0053]
图4为本发明中基于全局的位姿图优化模型示意图。
[0054]
图5为本发明中基于遗传方法路径规划流程图。
[0055]
图6为本发明中基于焊接点到焊接头距离的校正机器人平移位姿示意图。
具体实施方式
[0056]
如图1所示的基于视觉slam的塑胚本体热板焊接熔融厚度的调整方法，包括以下步骤：
[0057]
步骤1)相机获取图像关键帧；
[0058]
采用rgb-d相机采集n帧彩色图像记为i1,i2,...,in。
[0059]
步骤2)视觉slam(simultaneous localization and mapping)系统构建；
[0060]
步骤2.1)机器人焊接初始位姿；
[0061]
如图2(a)所示为fast角点示意图；orb特征由fast角点和brief描述子构成，具有旋转和尺度不变的特性。
[0062]
步骤2.1.1)基于fast方法(features from accelerated segment test)提取角点；该方法通过判断一个像素与邻域像素的亮度差别来定义是否是角点。
[0063]
具体方法流程如下：
[0064]
(1)在图像中选择一点设为像素p0，设该像素的灰度值为
[0065]
(2)设置灰度阈值记为
[0066]
(3)取以像素p0为中心，半径为三个像素的bresenham离散圆上的16个像素，记为p
1-p
16
；
[0067]
(4)在选取的p
1-p
16
这16个像素中，如果存在连续n0个像素的灰度值与之差的绝对值大于则像素点p0就是角点。取n0＝12。
[0068][0069]
(5)对图像中所有像素点重复以上步骤(1)-(4)。
[0070]
步骤2.1.2)采用brief特征描述子(binary robust independent element feature)对特征点进行描述；如图2(b)为brief描述子示意图，brief描述子利用关键点周围的一些点对描述一个特征。算法流程为：
[0071]
(1)以像素p0为中心，取s
×
s的图像块作为邻域；
[0072]
(2)在邻域内按照高斯分布模式选取n0个点对，取n0＝128；
[0073]
(3)对于每一对像素点对(x,y)，l(x)表示位于图像x＝(u,v)
t
处的像素亮度，(u,v)为像素坐标，τ表示为对像素亮度比较的结果：
[0074]
[0075]
(4)brief描述子即可表示为一个n0维的二进制码串：
[0076][0077]
其中，为n0个点对二进制码串函数，l为图像在第j个点对(xj,yj)处的像素亮度，τ为第j个点对(xj,yj)像素亮度比较的结果。
[0078]
步骤2.2)帧间orb(oriented fast and rotated brief)特征点匹对；
[0079]
如图3所示，p3p(perspective-3-point)依据3个3d空间点及其投影(2d)时如何估计相机位姿。设已知3对匹配点a-a，b-b，c-c，a,b,c为世界坐标系下的点，a,b,c为a,b,c在图像坐标系下的投影，o为相机光心，根据δoab和δoab的余弦定理，有：
[0080][0081]
将上式方程令e＝oa/oc,g＝ob/oc,m0＝ab2/oc2,m1m0＝bc2/oc2,m2m0＝ac2/oc2，可以化简为：
[0082][0083]
经过相机标定的cos《a,b》,cos《b,c》,cos《a,c》均是已知量。当已知三个点的世界坐标，则可以通过消元法进行计算可得到相机相对于世界坐标系的坐标。记录机器人初始焊接点(x1,x2,x3)，旋转矩阵记为m0，平移向量记为t0。
[0084]
步骤2.3)基于p3p的焊接机器人位姿估计；
[0085]
如图4所示，基于全局的位姿图优化模型；设xi为机器人位姿，t
ij
为机器人在i位置和j位置之间的转移矩阵。在理想情况下，t
ij
和xi，xj关系为：xj＝t
ij
xi；
[0086]
但是由于外部噪声会存在一个误差项e
ij
：e
ij
＝x
j-t
ij
xi，误差项二范数之和为：利用高斯牛顿法求解，进而可找到令该误差项最小的解。
[0087]
优选地，该方法能有效减小各个节点的位姿将与之前估计的位姿间的误差，达到提高精度的目的。
[0088]
步骤2.4)基于全局的slam后端优化；
[0089]
步骤2.5)机器人场景地图融合。
[0090]
步骤3)基于平面几何进行自适应焊接位姿校正方法；
[0091]
步骤3.1)基于遗传方法路径规划；
[0092]
如图5所示，在步骤2.4)建立地图后，采用栅格法建立移动机器人的行走空间模型，并计算适应度函数进行优化结果判别。
[0093]
步骤3.1.1初始化种群；
[0094]
初始化种群可以随机产生多条可行路径，可行路径需要先产生一条间断路径，然后将间断的路径连接为连续路径。初始化时先按顺序在每一行随机取出一个无障碍栅格，形成一条间断的路径，然后将间断的路径连接为连续路径时，首先从第一个栅格开始判断
相邻的两个栅格是否为连续栅格，栅格是否连续的判断方法为：
[0095]dmax
＝max{abs(x
ω 1-x
ω
),abs(y
ω 1-y
ω
)}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0096]
若d
max
＝1则说明相邻两个栅格连续，d
max
≠1则相邻两个栅格不连续。对于不连续的栅格取两个栅格的中点栅格，中点栅格(x
mid
,y
mid
)的坐标计算为：如果新的栅格为无障碍栅格且不在路径中则插入路径中；若新栅格为无障碍物栅格，则插入两个不连续栅格中间。继续判断新插入的栅格和新插入的栅格的前一个栅格是否连续，若不连续则循环以上步骤，直到两个栅格连续。
[0097]
步骤3.1.2适应度函数；
[0098]
将适应度函数作为个体或路径的评价标准，其中自适应函数ψ为：
[0099][0100]
d表示个体中每两个相邻基因的距离之和，1/n
1-1表示惩罚元素，n1表示个体的网格数，d/n
1-1表示平均系数。
[0101]
优选地，栅格面积越小，空间中的环境信息表示越精确，但该方法的搜索时间就会加大。栅格面积越大，则空间中的环境信息不能准确表示出来，容易出现碰撞问题。
[0102]
步骤3.2)基于焊接平面校正的机器人旋转位姿；
[0103]
本发明中，对焊接机器人和相机等硬件进行初始化操作；初始化完成后，相机检测待焊接平面ω，法向量为调整相机位姿，使得相机光心o与焊接点w的连线ow表示的向量得到此时相机变换矩阵r1，设相机相对于焊接机器人的变换矩阵为r2，则机器人相对于焊接平面的旋转矩阵为r3；其中r3＝r1r2。
[0104]
步骤3.3)基于焊接点到焊接头的校正机器人平移位姿；
[0105]
如图6所示，依据深度信息，已知相机镜头o到焊接点w距离为d1，相机镜头o到焊接头u距离为d2，相机镜头o到焊接平面wh的距离为d3，则焊接点w到焊接头u距离d
δ
可通过几何关系表示为：
[0106][0107]
因此，基于焊接点到焊接头距离的校正机器人平移量为：d
δ
，记录当时的位姿(x
11
,x
21
,x
31
)。
[0108]
步骤3.4)焊接工装平面是否与塑胚本体热板焊接平面干涉；判断为干涉，返回步骤3.1)；否则继续执行步骤4)。
[0109]
运动轨迹规划中，设焊接工装平面记为α表示为a0x b0y c0z d0＝0，面积为s1，塑胚本体热板焊接平面记为β表示为e0x f0y g0z h0＝0，面积为s2，其中平面α的法线向量为d0≠0表示平面α为空间内的一般位置平面，平面β的法线向量为h0≠0表示平面β为空间内的一般位置平面；
[0110]
联立求得直线方程为a1x b1y c1＝0；若该直线满足同时在焊接工装平面α和塑胚本体热板焊接平面β上，则判定为干涉，满足a1x b1y 1c＝0和a0x b0y c0z d0＝0的解在s1内且a1x b1y c1＝0和e0x f0y g0z h0＝0的解在s2内，则重新规划路径，返回步骤3.1)。
[0111]
步骤4)机器人焊接工作位姿输出；
[0112]
多次迭代后，得到焊接机器人复杂度最低，距离最短的路径规划。记录机器人焊接点旋转矩阵记为m
*
，平移向量记为t
*
。
[0113]
本发明方法本通过基于焊接平面校正的焊接机器人的旋转位姿和基于焊接点到焊接头距离的校正机器人平移位姿方法，较好的解决了塑胚本体因尺寸差而导致焊接不同深度的影响，通过基于焊接平面校正的机器人旋转位姿，基于焊接点到焊接头距离校正的机器人平移位姿的方法自适应确定塑胚本体热板焊接熔融的位姿，从而确定焊接深度，有效提高了塑胚本体的焊接质量。
[0114]
本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。