基于3D视觉的多场景自适应复合机器人抓取方法与流程

摘要: 本发明涉及机器人控制,具体而言,涉及一种基于3d视觉的多场景自适应复合机器人抓取方法。背景技术:1、随着工业自动化技术的发展,机器人被广泛应用于物料搬运、上下料...
基于3D视觉的多场景自适应复合机器人抓取方法与流程

本发明涉及机器人控制,具体而言,涉及一种基于3d视觉的多场景自适应复合机器人抓取方法。

背景技术:

1、随着工业自动化技术的发展,机器人被广泛应用于物料搬运、上下料、分拣及装配等作业场景。为了使机器人能够对目标物体进行准确抓取,通常需要获取目标物体在工作场景中的位置和姿态,并据此确定机械臂的运动路径,以控制机械臂带动末端执行机构完成相应的抓取作业。

2、现有机器人抓取系统通常根据具体工作场景建立目标物体的定位关系。例如,可以针对不同工位分别设置定位标识、进行场景标定或者预先示教目标物体的抓取位置;在采用视觉定位的情况下,也可以采集当前工作场景中的视觉信息,对目标物体进行识别和定位,并根据定位结果控制机械臂执行抓取。当机器人需要在多个不同工作场景之间执行作业时,通常需要针对不同工作场景分别完成相应的定位配置或示教。

3、然而,在同一类型的目标物体需要由机器人在多个不同工作场景中进行抓取的情况下,由于目标物体所在工位、周围环境以及相对于机器人的位置可能发生变化,现有方式往往需要针对不同工作场景重复进行定位配置、标定或抓取位置示教,增加了机器人在不同工作场景之间切换时的部署和调试工作量。因此,如何降低同一类型目标物体在多个不同工作场景中进行机器人抓取时的重复定位配置和示教工作量,是目前需要解决的技术问题。

技术实现思路

1、基于此,有必要针对上述问题,本发明提供一种基于3d视觉的多场景自适应复合机器人抓取方法,通过一次建模并在多个工作场景中共享三维特征模板,实现目标物体的跨场景定位和抓取,降低重复定位配置和示教的工作量。

2、第一方面,本发明提供一种基于3d视觉的多场景自适应复合机器人抓取方法,所述方法包括:获取目标物体对应的三维特征模板;所述三维特征模板为预先通过对所述目标物体进行一次三维扫描,根据扫描得到的目标物体三维数据提取三维几何特征而构建,并由多个不同工作场景共享;在机器人进入所述多个不同工作场景中的任一当前工作场景后,通过3d相机获取所述当前工作场景的场景三维点云数据;以所述三维特征模板作为所述当前工作场景中的目标物体匹配基准,根据所述场景三维点云数据与所述三维特征模板之间的三维几何特征一致性进行配准,确定所述目标物体在相机坐标系下的目标位姿;将所述目标位姿转换至机器人基坐标系,根据转换后的目标位姿规划机械臂末端的运动轨迹,并控制所述机械臂按照所述运动轨迹驱动夹爪抓取所述目标物体。

3、可选的,根据末端受力信息调整机械臂末端的位置和/或姿态,包括:根据抓取位姿确定机械臂末端的允许位姿修正范围;根据末端受力信息确定机械臂末端的位置修正方向和/或姿态修正方向;按照位置修正方向和/或姿态修正方向,在允许位姿修正范围内调整机械臂末端的位置和/或姿态;在末端受力信息满足预设对准条件时,控制机械臂末端移动至抓取位姿;在机械臂末端的位姿调整达到允许位姿修正范围的边界且末端受力信息未满足预设对准条件时,停止机械臂末端的位姿调整,并对目标物体进行重新定位。

4、在上述实现过程中,根据抓取位姿限定机械臂末端的允许位姿修正范围,并依据末端受力信息确定位置修正方向和/或姿态修正方向,使机械臂末端能够围绕当前抓取目标进行受控调整。末端受力信息满足预设对准条件时,机械臂继续移动至抓取位姿;当位姿调整达到所述允许位姿修正范围的边界仍未满足所述预设对准条件时,则停止当前调整并转入重新定位。这样既能够利用力反馈修正局部位姿偏差,又能够避免在当前定位结果偏差较大时持续进行无效调整,并为力反馈调整与重新定位之间建立明确的切换条件。

5、可选的,对目标物体进行重新定位,包括:控制机械臂末端退出接触位置;通过3d相机重新获取当前工作场景的场景三维点云数据;以三维特征模板作为目标物体的匹配基准,根据重新获取的场景三维点云数据与三维特征模板之间的三维几何特征一致性进行配准,重新确定目标物体在相机坐标系下的目标位姿;将重新确定的目标位姿转换至机器人基坐标系,得到重新定位后的目标物体在机器人基坐标系下的位姿;根据重新定位后的目标物体在机器人基坐标系下的位姿和相对位姿关系,重新确定抓取位姿,根据重新确定的抓取位姿重新规划机械臂末端的运动轨迹,并控制机械臂重新执行目标物体的抓取。

6、在上述实现过程中,当重新定位被触发后,机械臂末端首先退出当前接触位置,3d相机重新采集当前工作场景的场景三维点云数据,并利用所述三维特征模板重新确定目标物体的当前目标位姿。随后,将重新确定的目标位姿转换至机器人基坐标系,结合所述相对位姿关系重新获得抓取位姿,并据此更新机械臂末端的运动轨迹。由于后续抓取建立在重新获取的目标物体实际位置和姿态基础上,因此可以避免继续沿用已经发生偏差的抓取位姿和运动轨迹,使机器人能够在目标物体位置或姿态发生变化后重新完成抓取定位并继续执行抓取作业。

7、第二方面,本发明实施方式还提供一种电子设备,所述电子设备包括存储器和处理器,所述存储器中存储有程序指令,所述处理器读取并运行所述程序指令时,执行上述任一实现方式中的步骤。

8、第三方面,本发明实施方式还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序指令,所述计算机程序指令被处理器执行时,使所述处理器执行如上所述方法中的步骤。

9、本发明通过预先对目标物体进行一次三维建模并形成由多个不同工作场景共享的三维特征模板,使机器人进入不同工作场景后能够直接以所述三维特征模板作为目标物体的匹配基准;进一步通过将当前工作场景的场景三维点云数据与所述三维特征模板基于三维几何特征一致性进行配准,确定目标物体在当前工作场景中的目标位姿,并将所述目标位姿转换至机器人基坐标系后用于机械臂运动轨迹规划和抓取控制。由于不同工作场景复用同一目标物体的三维特征模板,并根据各当前工作场景中实时获取的三维点云数据重新确定目标物体的实际位姿,因此能够适应目标物体所在工位及相对位置发生变化的情况,减少针对不同工作场景重复进行目标物体定位配置、标定或抓取位置示教的需求,从而降低机器人在多工作场景之间切换时的部署和调试工作量。

1.一种基于3d视觉的多场景自适应复合机器人抓取方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述以所述三维特征模板作为所述当前工作场景中的目标物体匹配基准,根据所述场景三维点云数据与所述三维特征模板之间的三维几何特征一致性进行配准,确定所述目标物体在相机坐标系下的目标位姿,包括:

3.根据权利要求1所述的方法,其特征在于,所述三维特征模板关联有目标物体坐标系以及抓取位姿相对于所述目标物体坐标系的相对位姿关系;

4.根据权利要求3所述的方法,其特征在于,所述根据所述抓取位姿规划所述机械臂末端的运动轨迹,并控制所述机械臂按照所述运动轨迹驱动所述夹爪抓取所述目标物体,包括:

5.根据权利要求4所述的方法,其特征在于,所述控制所述机械臂末端沿所述运动轨迹移动至所述预接触位姿,并由所述预接触位姿向所述抓取位姿移动,包括:

6.根据权利要求5所述的方法,其特征在于,所述根据所述末端受力信息调整所述机械臂末端的位置和/或姿态,包括:

7.根据权利要求6所述的方法,其特征在于,所述对所述目标物体进行重新定位,包括:

8.根据权利要求5至7中任一项所述的方法,其特征在于,在所述获取六维力传感器采集的末端受力信息之后,所述方法还包括:

9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器中存储有程序指令,所述处理器运行所述程序指令时,执行权利要求1-8中任一项所述方法中的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序指令,所述计算机程序指令被处理器执行时,使所述处理器执行权利要求1-8中任一项所述方法中的步骤。