一种乱序堆叠物体压盖约束安全抓取方法、系统及介质

摘要: 本发明涉及三维机器视觉,尤其涉及一种乱序堆叠物体压盖约束安全抓取方法、系统及介质。背景技术:1、在工业机器人乱序抓取场景中,三维视觉通常用于获取堆叠物体的深度或...
一种乱序堆叠物体压盖约束安全抓取方法、系统及介质

本发明涉及三维机器视觉,尤其涉及一种乱序堆叠物体压盖约束安全抓取方法、系统及介质。

背景技术:

1、在工业机器人乱序抓取场景中,三维视觉通常用于获取堆叠物体的深度或点云信息,并通过目标识别、位姿估计及碰撞检测确定待抓取对象和抓取顺序。现有技术如cn113500017a利用视觉信息评价随机摆放物体的抓取风险并规划抓取顺序,cn112464410a则依据工件点云的高低位置结合抓取机构碰撞检测确定待抓取工件。

2、然而,现有方案主要围绕单个物体的高度、抓取风险或局部碰撞可行性进行决策,难以将物体之间的投影交叠、高度层次以及抓取接近或取出空间受阻等多维空间关系统一转化为具有抓取先后方向的整体约束关系,因而在复杂乱序堆叠状态下难以准确确定与实际压盖状态相匹配的连续抓取顺序。

3、公开于该背景技术部分的信息仅仅旨在加深对本公开总体背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成本领域技术人员所公知的现有技术。

技术实现思路

1、本发明提供了一种乱序堆叠物体压盖约束安全抓取方法、系统及介质,可有效解决背景技术中的问题。

2、为了达到上述目的,本发明所采用的技术方案是:

3、一种乱序堆叠物体压盖约束安全抓取方法,所述方法包括:

4、获取乱序堆叠物体的三维点云,并对所述三维点云进行实例分割,得到多个物体实例;

5、基于任意两个所述物体实例的投影交叠关系和高度层次关系确定第一压盖关系,并基于其中一个所述物体实例对另一个所述物体实例的抓取接近通道或取出通道的占用关系确定第二压盖关系;

6、根据所述第一压盖关系和所述第二压盖关系中的至少一种建立具有抓取先后方向的压盖约束,并以各所述物体实例为节点、以所述压盖约束为有向边构建压盖约束图;

7、根据所述压盖约束图确定未受其他所述物体实例压盖约束的候选抓取对象,并根据移除各所述候选抓取对象后解除的所述压盖约束确定对应的约束解除贡献;

8、根据所述约束解除贡献从所述候选抓取对象中确定目标抓取对象并生成抓取顺序,并在所述目标抓取对象被移出后基于更新的所述三维点云更新所述压盖约束图及所述抓取顺序。

9、进一步地,所述三维点云由设置于待抓取区域外部的三维视觉设备获取,并基于所述三维视觉设备与机器人基坐标系之间的外参关系将所述三维点云转换至所述机器人基坐标系。

10、进一步地,基于任意两个所述物体实例的投影交叠关系和高度层次关系确定第一压盖关系,包括:

11、将第一物体实例和第二物体实例投影至预设投影分析平面,得到第一投影区域和第二投影区域;

12、在所述第一投影区域与所述第二投影区域存在交叠的情况下,比较所述第一物体实例与所述第二物体实例在交叠区域内的高度分布;

13、根据所述高度分布确定所述第一物体实例与所述第二物体实例之间的上下层次关系,并基于所述上下层次关系确定所述第一压盖关系。

14、进一步地,基于其中一个所述物体实例对另一个所述物体实例的抓取接近通道或取出通道的占用关系确定第二压盖关系,包括:

15、根据待抓取的所述物体实例对应的抓取接近方向和取出方向确定所述抓取接近通道和所述取出通道;

16、在其他所述物体实例占用所述抓取接近通道或所述取出通道时,将所述其他物体实例与待抓取的所述物体实例之间的关系确定为所述第二压盖关系。

17、进一步地,根据所述物体实例之间的投影交叠程度、高度层次关系、接触或近接程度、边缘搭接程度以及抓取通道干涉程度中的至少两项确定压盖强度,并根据所述压盖强度确定对应的所述压盖约束。

18、进一步地,所述根据所述压盖约束图确定候选抓取对象,包括根据各所述节点对应的入边状态确定未受到其他所述物体实例压盖约束的所述候选抓取对象。

19、进一步地,根据所述约束解除贡献从所述候选抓取对象中确定目标抓取对象,包括:

20、根据移除各所述候选抓取对象后解除的所述压盖约束确定对应的所述约束解除贡献;

21、根据所述约束解除贡献以及所述候选抓取对象对应的可抓取性、暴露程度、取出通道状态和抓取风险中的至少一项确定抓取优先级;

22、根据所述抓取优先级确定所述目标抓取对象。

23、进一步地,更新所述压盖约束图及所述抓取顺序,包括:

24、在所述目标抓取对象被移出后重新获取或局部更新所述三维点云;

25、基于更新后的所述三维点云重新确定剩余所述物体实例之间的所述压盖约束,并更新所述压盖约束图;

26、根据更新后的所述压盖约束图重新确定所述候选抓取对象及所述抓取顺序。

27、一种乱序堆叠物体压盖约束安全抓取系统,所述系统包括:

28、三维点云分割模块,获取乱序堆叠物体的三维点云,并对三维点云进行实例分割,得到多个物体实例;

29、压盖关系判定模块,基于任意两个物体实例的投影交叠关系和高度层次关系确定第一压盖关系,并基于其中一个物体实例对另一个物体实例的抓取接近通道或取出通道的占用关系确定第二压盖关系;

30、压盖约束构图模块,根据第一压盖关系和第二压盖关系中的至少一种建立具有抓取先后方向的压盖约束,并以各物体实例为节点、以压盖约束为有向边构建压盖约束图;

31、候选贡献评估模块,根据压盖约束图确定未受其他物体实例压盖约束的候选抓取对象,并根据移除各候选抓取对象后解除的压盖约束确定对应的约束解除贡献;

32、抓取顺序更新模块,根据约束解除贡献从候选抓取对象中确定目标抓取对象并生成抓取顺序,并在目标抓取对象被移出后基于更新的三维点云更新压盖约束图及抓取顺序。

33、一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时可实现所述的乱序堆叠物体压盖约束安全抓取方法。

34、通过本发明的技术方案,可实现以下技术效果:

35、以乱序堆叠物体三维点云为基础,经实例分割获取物体实例,通过投影交叠、高度层次及抓取通道占用关系建立具有抓取先后方向的压盖约束并构建压盖约束图,再结合约束解除贡献确定目标抓取对象及抓取顺序,并在抓取后基于更新点云动态更新压盖约束图和后续抓取顺序,有效解决了现有技术难以依据乱序堆叠物体之间的多维空间压盖约束准确确定整体抓取先后关系,从而导致抓取顺序决策与实际堆叠状态不匹配的问题。

36、上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。

1.一种乱序堆叠物体压盖约束安全抓取方法,其特征在于,所述方法包括:

2.根据权利要求1所述的乱序堆叠物体压盖约束安全抓取方法,其特征在于,所述三维点云由设置于待抓取区域外部的三维视觉设备获取,并基于所述三维视觉设备与机器人基坐标系之间的外参关系将所述三维点云转换至所述机器人基坐标系。

3.根据权利要求1所述的乱序堆叠物体压盖约束安全抓取方法,其特征在于,基于任意两个所述物体实例的投影交叠关系和高度层次关系确定第一压盖关系,包括:

4.根据权利要求1所述的乱序堆叠物体压盖约束安全抓取方法,其特征在于,基于其中一个所述物体实例对另一个所述物体实例的抓取接近通道或取出通道的占用关系确定第二压盖关系,包括:

5.根据权利要求1所述的乱序堆叠物体压盖约束安全抓取方法,其特征在于,根据所述物体实例之间的投影交叠程度、高度层次关系、接触或近接程度、边缘搭接程度以及抓取通道干涉程度中的至少两项确定压盖强度,并根据所述压盖强度确定对应的所述压盖约束。

6.根据权利要求1所述的乱序堆叠物体压盖约束安全抓取方法,其特征在于,所述根据所述压盖约束图确定候选抓取对象,包括根据各所述节点对应的入边状态确定未受到其他所述物体实例压盖约束的所述候选抓取对象。

7.根据权利要求1所述的乱序堆叠物体压盖约束安全抓取方法,其特征在于,根据所述约束解除贡献从所述候选抓取对象中确定目标抓取对象,包括:

8.根据权利要求1所述的乱序堆叠物体压盖约束安全抓取方法,其特征在于,更新所述压盖约束图及所述抓取顺序,包括:

9.一种乱序堆叠物体压盖约束安全抓取系统,其特征在于,所述系统包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时可实现如权利要求1-8中任一项所述的乱序堆叠物体压盖约束安全抓取方法。