一种机器人涂胶动态相移三维融合检测方法及系统与流程

摘要: 本发明属于汽车制造与视觉检测,具体涉及一种机器人涂胶动态相移三维融合检测方法及系统。背景技术:1、在汽车车身焊装、零部件装配以及电池托盘密封等生产过程中,机器人...
一种机器人涂胶动态相移三维融合检测方法及系统与流程

本发明属于汽车制造与视觉检测,具体涉及一种机器人涂胶动态相移三维融合检测方法及系统。

背景技术:

1、在汽车车身焊装、零部件装配以及电池托盘密封等生产过程中,机器人自动涂胶被广泛用于结构粘接、折边连接、密封和防腐。胶路的连续性、位置、宽度、高度及单位长度胶量会直接影响后续焊接、装配以及密封效果,因此需要在机器人涂胶过程中或者涂胶完成后及时检测漏胶、断胶、胶路偏移、涂胶过量、涂胶不足和涂胶不均等缺陷。

2、现有胶路视觉检测方案中,普通二维机器视觉通常根据胶体与基材之间的颜色、灰度或者边缘差异确定胶路轮廓,能够对胶路位置和宽度进行一定程度的检测,但难以直接获得胶路高度、截面积及体积等三维几何参数。当胶体透明、半透明或者与基材颜色接近时,二维边界还容易受反光和环境亮度变化影响。

3、为获得胶路三维信息,可以采用激光轮廓、结构光或者相移条纹三维测量。相移条纹测量通常向被测表面连续投射多幅具有预定相位差的周期条纹,根据同一空间点在不同相移状态下的光强变化计算包裹相位,再通过绝对相位恢复和空间标定得到三维位置。该方法在静态测量中具有较高的空间分辨率。

4、然而,在机器人在线涂胶检测场景中,检测相机和条纹投射装置通常安装于机器人末端并随涂胶枪持续运动。一个相移周期内机器人已经发生空间位移,使同一工件空间点在不同相移图像中的像素位置发生变化;同时,条纹投射装置自身也随机器人移动,同一固定空间点相对于投射装置的几何位置发生改变,其实际经历的条纹相位变化除了包含投射控制器主动施加的相移量外,还叠加由投射几何关系变化造成的附加相位。若仍按照静态条件下的等间隔相移关系直接解析相位,容易产生运动相位误差。

5、此外,相移算法直接获得的是包裹相位,对于连续周期条纹,不同相位级次可能对应不同三维位置。在机器人连续运动条件下,如果仅依靠单一视角或者仅沿用上一检测周期的相位级次,局部反光、遮挡或历史误差可能造成相位级次误判,并使错误沿连续检测周期传播。

6、另一方面,胶体与金属基材交界处既是二维轮廓检测的关键位置,也是胶路宽度、截面积和体积计算的边界基准。高反光金属表面可能使三维相位数据在边缘处出现异常,而二维纹理边缘也可能因透明胶、反光或者颜色接近发生偏移。现有方案中二维信息和三维信息往往用于并列判断,缺少利用二维边界约束三维区域、再利用三维高度反向修正二维边界并重新确定基材参考面的闭环校准过程。

7、因此,需要一种适用于机器人连续运动工况的在线涂胶检测方案,改善上述问题。

技术实现思路

1、鉴于现有技术中存在上述问题,本发明的目的是提供一种机器人涂胶动态相移三维融合检测方法。

2、一种机器人涂胶动态相移三维融合检测方法,包括如下步骤:

3、s1、在机器人末端设置具有重叠检测视场的多个相机以及相移条纹投射单元,建立所述多个相机、相移条纹投射单元与机器人末端之间的空间标定关系;在机器人沿涂胶轨迹运动过程中,由所述相移条纹投射单元依次投射具有不同设定相移量的多幅相移条纹,由所述多个相机同步采集对应的相移图像,并获取各相移图像曝光时刻对应的机器人末端位姿;

4、s2、根据各相移图像曝光时刻的机器人末端位姿以及由预存工件三维参考信息和前一检测周期三维胶路数据中的至少一种确定的预测三维表面,将同一相移周期内的多幅相移图像配准至参考曝光时刻;根据各曝光时刻相移条纹投射单元的空间位姿,确定同一空间位置相对于所述参考曝光时刻的投射几何相位变化,并将所述投射几何相位变化与相应相移条纹的设定相移量组合得到有效相移量;

5、s3、根据所述有效相移量对经配准的多幅相移图像进行动态相位解析,获得参考曝光状态下的包裹相位及与相移状态无关的公共灰度分量,并根据所述公共灰度分量形成胶路检测区域的二维纹理图像;

6、s4、根据预存工件三维参考信息和历史三维胶路数据中的至少一种建立所述包裹相位的相位级次预测约束,据此生成候选相位级次;根据各候选相位级次恢复候选三维点,将所述候选三维点投影至至少一个其他相机,并根据候选三维点对应的预测包裹相位与所述其他相机对应投影位置的实测包裹相位之间的周期相位残差确定目标相位级次,以获得胶路检测区域的三维胶路数据;

7、s5、根据所述二维纹理图像获得初始胶路边界,在所述初始胶路边界的邻域内结合二维纹理梯度和所述三维胶路数据的三维高度梯度修正胶路边界,根据修正后的胶路边界重新确定胶路区域和基材区域,并利用所述基材区域的三维数据构建局部基材参考面,以所述局部基材参考面为基准确定胶路三维截面参数;

8、s6、根据机器人涂胶轨迹、修正后的胶路边界及所述胶路三维截面参数确定胶路位置和胶路几何参数,并根据所述胶路位置和胶路几何参数与预设胶路参数之间的差异确定胶路缺陷信息。

9、优选的,所述多个相机包括三个全局快门面阵相机,三个所述全局快门面阵相机沿机器人末端的检测组件周向间隔设置,并朝向位于涂胶枪运动方向后方的胶路检测区域;

10、预先标定各全局快门面阵相机的内部参数及镜头畸变参数、各全局快门面阵相机相对于机器人末端的位姿关系以及相移条纹投射单元相对于机器人末端的位姿关系;

11、将机器人控制器输出的机器人末端位姿数据与所述相移图像按照统一时间基准进行对应,并在机器人末端位姿数据的采样时刻与相移图像的曝光时刻不一致时,根据相邻采样时刻的机器人末端位姿进行位姿插值。

12、优选的,在步骤s2中:

13、将所述预测三维表面上的同一空间点按照各相移图像曝光时刻对应的相机空间位姿分别投影至各相移图像,确定该空间点相对于参考曝光时刻的像素位移,并根据所述像素位移对相移图像进行重映射;

14、将所述空间点按照各曝光时刻相移条纹投射单元的空间位姿转换至相应投射坐标系,根据其投射坐标确定投射基础相位,并以参考曝光时刻的投射基础相位为基准获得所述投射几何相位变化;

15、当当前检测周期获得的三维胶路数据与所述预测三维表面之间的空间偏差超过预设重建偏差阈值时,以当前三维胶路数据更新所述预测三维表面,并重新确定所述像素位移和有效相移量。

16、优选的,在步骤s3中:

17、对于同一条纹方向对应的第n幅经配准的相移图像,同一参考像素的灰度值满足:;

18、其中,a为与相移状态无关的公共灰度分量,为第n幅相移图像对应的有效相移量,c和s为与参考曝光状态下的包裹相位及条纹调制幅值相关的待求参数;

19、根据至少三幅具有不同有效相移量的相移图像求解a、c、s,并确定包裹相位:;条纹调制度m:;

20、根据所述条纹调制度和相位拟合残差确定基础相位质量,并根据像素饱和状态对所述基础相位质量进行修正。

21、优选的,在步骤s4中:

22、在起始检测周期,根据所述预存工件三维参考信息及胶路允许高度范围确定候选三维空间范围,并根据所述候选三维空间范围确定候选相位级次;

23、在后续检测周期,将前一检测周期获得的可靠三维胶路数据存储于机器人基座坐标系或工件坐标系,根据当前参考曝光时刻相移条纹投射单元的空间位姿确定所述可靠三维胶路数据对应的预测绝对相位,并根据所述预测绝对相位与当前包裹相位确定预测相位级次,以所述预测相位级次及其相邻相位级次形成候选级次集合;

24、针对各候选相位级次恢复候选三维点,根据候选三维点与参考曝光时刻相移条纹投射单元之间的空间关系确定预测包裹相位,并将候选三维点投影至其他相机以读取对应位置的实测包裹相位,根据所述预测包裹相位与实测包裹相位之间的周期相位残差确定目标相位级次。

25、优选的,在步骤s4中:

26、针对不同相机获得的三维胶路数据,根据条纹调制度和多视角周期相位一致性确定基础可靠度,并根据像素饱和状态、相位拟合残差、三维位置与历史三维预测数据之间的偏差以及相邻空间点之间的相位连续性中的一种或多种对所述基础可靠度进行修正;

27、当同一空间区域由不同相机获得的三维数据之间的空间偏差不超过预设一致性阈值时,根据对应可靠度对所述三维数据进行加权融合;当所述空间偏差超过预设一致性阈值时,保留可靠度较高的三维数据。

28、优选的,在步骤s5中:

29、沿所述初始胶路边界向胶路内侧和胶路外侧扩展形成边缘搜索区域,沿初始胶路边界的局部法线方向在所述边缘搜索区域内确定多个候选边界位置;

30、根据各候选边界位置的二维纹理梯度、三维高度梯度、三维数据可靠度及边界轮廓连续性确定修正边界位置,并形成修正后的胶路边界;

31、根据所述修正后的胶路边界重新划分胶路区域和基材区域,利用基材区域中的可靠三维点拟合所述局部基材参考面,根据胶路区域中的三维点相对于所述局部基材参考面的法向距离重新确定胶路高度,并根据重新确定的胶路高度再次修正胶路边界,直至相邻两次获得的胶路边界之间的位置变化量满足预设收敛条件。

32、优选的,在步骤s6中:

33、以机器人涂胶轨迹的延伸方向作为胶路纵向方向,以所述局部基材参考面的法向作为胶路高度方向,并根据所述胶路纵向方向和胶路高度方向确定胶路横向方向;

34、沿胶路纵向方向建立多个胶路截面,根据修正后的胶路边界确定胶路宽度,根据胶路表面相对于局部基材参考面的法向距离确定胶路高度,根据胶路沿横向方向的高度分布确定胶路截面积,并根据连续胶路截面积确定对应胶段的涂胶体积;

35、根据胶路截面的缺失状态及缺失长度确定漏胶或断胶,根据实际胶路中心轨迹与预设胶路中心轨迹之间的位置偏差确定胶路偏移,根据胶路高度、胶路截面积和/或涂胶体积与相应预设参数之间的差异确定涂胶过量或涂胶不足,并根据相邻胶路截面之间的宽度、高度和/或截面积变化确定涂胶不均。

36、本发明的第二个目的在于,提出一种机器人涂胶动态相移三维融合检测系统,包括检测组件、机器人位姿获取单元、嵌入式处理单元、历史状态存储单元及缺陷输出单元;

37、所述检测组件设置于机器人末端,包括具有重叠检测视场的多个相机以及相移条纹投射单元,用于在机器人沿涂胶轨迹运动过程中投射具有不同设定相移量的相移条纹并同步采集相应的相移图像;

38、所述机器人位姿获取单元用于获取各相移图像曝光时刻对应的机器人末端位姿;

39、所述嵌入式处理单元用于根据机器人末端位姿及预测三维表面对同一相移周期的相移图像进行空间配准,根据相移条纹投射单元在各曝光时刻的空间位姿确定投射几何相位变化及有效相移量,并根据所述有效相移量解析包裹相位和二维纹理图像;还用于根据预存工件三维参考信息和/或所述历史状态存储单元中的历史三维胶路数据生成候选相位级次,通过候选三维点在其他相机中的周期相位一致性确定目标相位级次和三维胶路数据,并根据二维纹理图像与所述三维胶路数据进行胶路边界及局部基材参考面的闭环校准;

40、所述历史状态存储单元用于存储连续检测过程中获得的可靠三维胶路数据;

41、所述缺陷输出单元用于根据闭环校准后的胶路边界及三维胶路数据确定并输出胶路缺陷信息。

42、优选的,所述多个相机包括三个全局快门面阵相机;

43、所述嵌入式处理单元包括arm处理单元和fpga处理单元,所述arm处理单元用于根据机器人末端位姿、预测三维表面及空间标定关系确定图像重映射参数和有效相移量参数,并执行候选相位级次生成、多视角周期相位一致性校验、三维数据融合、2d-3d闭环校准及胶路缺陷判定;

44、所述fpga处理单元用于对所述多个相机进行同步触发及相移图像缓存,根据所述图像重映射参数对相移图像进行重映射,并根据所述有效相移量参数执行动态相位解析,以获得包裹相位、公共灰度分量及相位质量数据;

45、所述历史状态存储单元还用于存储绝对相位、修正后的胶路边界及对应机器人轨迹信息。

46、本发明的有益效果是:

47、本发明针对机器人末端在相移周期内持续运动的实际工况,不仅根据机器人位姿对不同相移图像进行空间重映射,而且根据相移条纹投射单元在各曝光时刻的空间位姿计算同一工件空间点的投射几何相位变化,将其与主动设定相移量共同形成有效相移量,从而使动态相位解析建立在机器人实际运动几何关系上。

48、本发明利用历史三维状态或工件三维参考信息形成候选相位级次,再通过候选三维点在其他相机中的投影位置读取当前实测包裹相位,并与候选三维点对应的理论投射相位比较,由此形成时间预测与当前多视角实测相位相结合的级次校验机制,可以减少相位周期误判。

49、本发明在动态相位解析时同步获得公共灰度分量,使二维纹理信息与三维相位数据来自同一相机、同一检测区域和同一运动补偿过程;二维初始边界约束三维区域,三维高度梯度反向修正二维边界,修正后的边界又用于重新建立基材参考面和胶路高度,能够降低边界误差向胶宽、胶高、截面积和体积计算传播。

50、本发明适合采用arm与fpga构成的嵌入式异构平台实施,能够将图像级流水运算与机器人位姿、空间几何和跨周期状态计算分工处理,有利于在机器人连续运动工况下实现在线检测。