一种基于几何-语义推理的杂乱场景机器人全过程抓取系统及方法

摘要: 本发明涉及机器人抓取、计算机视觉及智能决策,尤其涉及一种基于几何-语义推理的杂乱场景机器人全过程抓取系统及方法。背景技术:1、机器人抓取是机器人自主操作的重要基...
一种基于几何-语义推理的杂乱场景机器人全过程抓取系统及方法

本发明涉及机器人抓取、计算机视觉及智能决策,尤其涉及一种基于几何-语义推理的杂乱场景机器人全过程抓取系统及方法。

背景技术:

1、机器人抓取是机器人自主操作的重要基础能力,广泛应用于工业生产、仓储物流、家庭服务及其他需要机器人与物体进行交互、搬移或操作的场景。随着机器人应用环境由结构化场景逐渐向非结构化场景扩展,待抓取物体可能呈现相互堆叠、遮挡、密集分布或者与周围物体距离较小等情况,使机器人对目标物体的感知、抓取位置选择及后续运动控制面临更高要求。

2、现有的一类机器人抓取技术主要基于三维几何信息生成抓取位姿。例如,基于rgb-d图像、点云或者三维体积信息获得目标物体及场景的三维观测数据,在目标物体表面生成多个抓取候选,并根据抓取区域的表面法向、接触面积、力闭合特性或者通过数据驱动模型获得的抓取质量评分,从多个抓取候选中选择用于机器人执行的抓取位姿。graspnet-1billion、anygrasp、graspness、giga等相关技术均涉及基于三维观测生成六自由度抓取候选及评价抓取质量的技术路线。

3、上述基于局部几何信息评价抓取候选的技术能够对抓取位置本身的几何稳定性进行判断,但在物体密集分布的杂乱场景中,抓取位姿的局部几何质量与机器人实际完成抓取操作的成功率并不完全一致。例如,一些局部接触条件较好的抓取位姿可能受到周围物体限制,使机器人在到达该抓取位姿的过程中发生干涉;机器人完成夹持后,在移动被抓取物体时也可能与周围物体发生碰撞。此外,多个高质量抓取候选还可能集中分布于目标物体的同一局部区域,造成候选之间存在较高冗余度。

4、现有的另一类技术利用大语言模型或者视觉语言模型辅助机器人进行抓取决策。该类技术可以利用图像、语言指令或者场景关系等信息识别目标物体,分析物体之间的空间关系、物理属性或者可供性,并进行目标选择、障碍物处理、抓取候选排序或者任务级操作规划。相较于仅利用局部几何信息进行抓取评价的方式,该类技术能够利用更丰富的场景语义信息辅助机器人决策。

5、然而,现有基于大语言模型或者视觉语言模型的抓取技术通常更加关注目标识别、任务理解、抓取对象选择或者任务级规划,对于单次抓取过程中机器人接近目标、与目标建立抓取接触以及抓取完成后移动目标物体等细粒度操作过程,其处理通常依赖后续运动规划或者预设执行策略。同时,在复杂杂乱场景下,直接利用整幅图像及自然语言信息进行抓取判断时,不同抓取候选周围的局部几何环境以及候选所在物体区域等信息难以被充分、稳定地利用,模型输出结果可能受到输入表达方式及场景复杂程度的影响。

6、此外,还有一些基于基础模型的机器人操作技术通过任务分解、技能调用、三维价值图或者关系关键点约束等方式实施机器人任务规划。该类技术适用于具有多个操作阶段的复杂任务,但通常需要预先建立技能、约束或者中间任务表示,系统实现过程相对复杂。对于物体数量较多、相互遮挡或者局部操作空间较为狭窄的杂乱场景,如何准确处理单次抓取过程中与目标物体及周围环境相关的细粒度空间关系,仍存在一定困难。

7、另一方面,在杂乱场景中,目标物体还可能受到不同程度的遮挡,使视觉系统只能获得目标物体的部分表面信息。当目标物体具有空心、细长、不规则、带把手或者其他复杂结构时,仅根据局部可见几何信息可能难以准确判断不同抓取位置所对应的物体部位及其抓取适宜程度,也会增加抓取决策的不确定性。

8、因此,在杂乱场景下,现有机器人抓取技术在抓取候选评价、复杂环境下的实际可执行性、局部几何信息与语义信息的有效利用以及抓取过程不同阶段之间的协调等方面仍存在进一步改进的空间。

9、需要说明的是,在上述背景技术部分公开的信息仅用于对本技术的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明所要解决的技术问题是:“如何提高杂乱场景下机器人从接近目标、实施抓取到抓取后提取目标物体的全过程抓取可执行性和成功率”。

2、本技术解决上述技术问题所采用的技术方案如下。

3、本发明提供一种基于几何-语义推理的杂乱场景机器人全过程抓取系统,包括场景状态获取模块、候选抓取位姿生成模块、候选执行上下文构建模块、全过程动作生成模块和机器人控制模块;

4、场景状态获取模块用于取得包括目标物体和周围环境的空间信息;

5、候选抓取位姿生成模块与场景状态获取模块连接,用于根据空间信息生成目标物体的多个候选接触抓取位姿;

6、候选执行上下文构建模块与场景状态获取模块及候选抓取位姿生成模块连接,用于针对不同候选接触抓取位姿分别建立相应的候选执行上下文,候选执行上下文包括与相应候选接触抓取位姿对应的接近空间状态和提取空间状态,接近空间状态用于表征机器人由接触前位置运动至相应候选接触抓取位姿的空间可执行条件,提取空间状态用于表征机器人在相应候选接触抓取位姿下抓取目标物体后将目标物体从周围环境中提取的空间可执行条件;

7、全过程动作生成模块与候选抓取位姿生成模块及候选执行上下文构建模块连接,用于根据不同候选接触抓取位姿以及分别与各候选接触抓取位姿对应的接近空间状态和提取空间状态,确定目标接触抓取位姿,并确定与目标接触抓取位姿相匹配的接触前动作和抓后动作;

8、机器人控制模块与全过程动作生成模块连接,用于根据接触前动作、目标接触抓取位姿及抓后动作控制机器人依次完成目标物体的接近、抓取和提取。

9、在一些实施例中,场景状态获取模块包括三维视觉感知单元和场景数据处理单元,三维视觉感知单元用于获取包括彩色信息和深度信息的场景观测,场景数据处理单元用于根据场景观测建立场景点云,并从场景点云中获得目标物体点云和周围杂物体点云;候选抓取位姿生成模块用于根据场景点云生成多个多自由度的候选接触抓取位姿以及分别与各候选接触抓取位姿对应的质量评分。

10、在一些实施例中,还包括候选过滤模块,候选过滤模块分别与候选抓取位姿生成模块和候选执行上下文构建模块连接,用于根据目标物体点云确定目标物体的物理尺度,根据物理尺度对不同候选接触抓取位姿之间的抓取中心距离进行归一化,并结合不同候选接触抓取位姿之间的接近方向差异确定冗余候选,根据各候选接触抓取位姿对应的质量评分从冗余候选中保留候选接触抓取位姿。

11、在一些实施例中,候选执行上下文构建模块包括几何证据提取单元,几何证据提取单元用于针对不同候选接触抓取位姿,从相应候选接触抓取位姿附近的目标物体点云和周围杂物体点云中提取局部几何信息,局部几何信息包括表面法向、局部曲率和空间密度中的至少一种,其中,表面法向用于表征相应候选接触抓取位姿对应区域的表面朝向,局部曲率用于表征相应候选接触抓取位姿对应区域的接触稳定性,空间密度用于表征相应候选接触抓取位姿周围的空间占用程度。

12、在一些实施例中,候选执行上下文构建模块包括语义证据提取单元,语义证据提取单元用于根据目标物体的可见观测信息获得目标物体的形状先验,并根据形状先验确定不同候选接触抓取位姿对应于目标物体的语义区域,根据语义区域形成表征相应候选接触抓取位姿对应的目标物体部位及目标物体部位的局部可抓取性的语义信息;形状先验通过目标物体的可见观测信息与预存的完整物体形状信息进行匹配,或者通过三维形状补全获得。

13、在一些实施例中,候选执行上下文构建模块针对不同候选接触抓取位姿分别在相应接近区域划分多个接近空间区域,根据各接近空间区域中的场景点分布形成表征局部自由空间和周围物体干扰情况的空间占用分布,并根据空间占用分布形成接近空间状态;

14、候选执行上下文构建模块还将目标物体周围空间划分为多个提取区域,各提取区域分别对应一个可能的抓后移动方向,并根据各提取区域内的周围杂物体点云确定相应提取区域的环境空间信息,根据各提取区域对应的环境空间信息形成提取空间状态,环境空间信息包括空间密度、环境表面法向分布和环境局部曲率中的至少一种。

15、在一些实施例中,全过程动作生成模块包括视觉语言推理单元,用于将不同候选接触抓取位姿对应的质量评分、局部几何信息、接近空间状态、提取空间状态和语义信息按照预设数据结构分别组织为与各候选接触抓取位姿对应的结构化决策信息,并将结构化决策信息输入视觉语言推理单元,以从多个候选接触抓取位姿中确定目标接触抓取位姿;

16、全过程动作生成模块还用于根据目标接触抓取位姿对应的接近空间状态和语义信息确定预抓取位姿,并以预抓取位姿为接近起点、以目标接触抓取位姿为接近终点确定接触前动作;以及根据提取空间状态和目标物体的形状先验,从多个抓后移动方向中确定目标物体的提取方向,并确定提取过程中目标物体的姿态调整方式,以形成抓后动作。

17、在一些实施例中,还包括决策正则化与后处理校验模块;

18、决策正则化与后处理校验模块用于将接触前动作和抓后动作分别限定在预设的离散动作空间内,并限定视觉语言推理单元从离散动作空间对应的预设可选值中确定接触前动作和抓后动作;

19、决策正则化与后处理校验模块还用于对视觉语言推理单元确定的目标接触抓取位姿、接触前动作和抓后动作进行几何可执行性校验、运动学可行性校验和碰撞校验中的至少一种;

20、当目标接触抓取位姿、接触前动作或抓后动作中的至少一项未通过相应校验时,决策正则化与后处理校验模块还用于确定未通过校验的目标接触抓取位姿、接触前动作或抓后动作以及相应的未通过校验原因,并将未通过校验原因输入视觉语言推理单元;视觉语言推理单元用于在目标接触抓取位姿未通过校验时,从多个候选接触抓取位姿中重新确定目标接触抓取位姿,在接触前动作或抓后动作未通过校验时,在离散动作空间内重新确定相应的接触前动作或抓后动作,并保留已经通过校验的其他项。

21、在一些实施例中,还包括接触抓取细化模块,接触抓取细化模块分别与全过程动作生成模块和机器人控制模块连接,用于在目标接触抓取位姿对应的接触区域附近获得多个候选接触点对,分别确定各候选接触点对形成的抓取方向与相应接触区域的表面法向之间的方向一致性,根据方向一致性确定目标接触点对,并根据目标接触点对对目标接触抓取位姿进行细化。

22、在一些实施例中,还提供一种基于几何-语义推理的杂乱场景机器人全过程抓取方法,包括:

23、获取包括目标物体和周围环境的空间信息;

24、根据空间信息生成目标物体的多个候选接触抓取位姿;

25、针对不同候选接触抓取位姿分别建立相应的候选执行上下文,候选执行上下文包括与相应候选接触抓取位姿对应的接近空间状态和提取空间状态,接近空间状态用于表征机器人由接触前位置运动至相应候选接触抓取位姿的空间可执行条件,提取空间状态用于表征机器人在相应候选接触抓取位姿下抓取目标物体后将目标物体从周围环境中提取的空间可执行条件;

26、根据不同候选接触抓取位姿以及分别与各候选接触抓取位姿对应的接近空间状态和提取空间状态,确定目标接触抓取位姿,并确定与目标接触抓取位姿相匹配的接触前动作和抓后动作;

27、根据接触前动作、目标接触抓取位姿及抓后动作控制机器人依次完成目标物体的接近、抓取和提取。

28、本发明具有如下有益效果:

29、本发明中,场景状态获取模块取得包括目标物体和周围环境的空间信息,使后续抓取决策能够以目标物体及其周围环境的空间关系为基础,而不是仅依据目标物体自身的信息进行判断;候选抓取位姿生成模块根据空间信息生成目标物体的多个候选接触抓取位姿,由此为后续选择提供多个具有不同空间位置和姿态的抓取可能,避免抓取过程受限于单一接触位置;候选执行上下文构建模块针对不同候选接触抓取位姿分别建立相应的候选执行上下文,并通过其中的接近空间状态表征机器人由接触前位置运动至相应候选接触抓取位姿的空间可执行条件,通过其中的提取空间状态表征机器人在相应候选接触抓取位姿下抓取目标物体后将目标物体从周围环境中提取的空间可执行条件,使对不同候选接触抓取位姿的判断由接触位置本身进一步覆盖接触前和抓取后的实际空间可执行条件,从而降低选出的候选接触抓取位姿虽然能够实现接触、但实际难以接近或者抓取后难以提取的可能;全过程动作生成模块根据不同候选接触抓取位姿以及分别与各候选接触抓取位姿对应的接近空间状态和提取空间状态确定目标接触抓取位姿,并确定与目标接触抓取位姿相匹配的接触前动作和抓后动作,使目标接触抓取位姿的选择与接触前和抓取后的实际动作相互匹配,减少各阶段分别确定而造成的动作衔接不协调;机器人控制模块根据接触前动作、目标接触抓取位姿及抓后动作控制机器人依次完成目标物体的接近、抓取和提取,从而将前述空间可执行条件及全过程动作决策转化为连续的机器人抓取操作。

30、综上,本发明并非仅优化单一接触位置的抓取质量,而是通过上述技术特征的协同配合,在确定目标接触抓取位姿时,同时综合评估其接触前的接近可行性和抓取后的提取可行性,从而确保了接触、抓取与提取过程的整体协调性,进而显著提升了杂乱场景下机器人从接近、抓取到提取这一全过程的可执行性与成功率。

31、本发明的其他有益效果将在下文中进一步述及。