一种任务导向的机器人抓握物体有效部位提取方法和系统

本发明属于信息科学技术与机器人领域，具体涉及一种结合多层次语义信息与大语言模型推理的、面向任务导向的机器人抓握物体有效部位提取方法和系统。

背景技术：

1、随着机器人技术在家庭服务、工业装配、灾难救援及医疗护理等非结构化场景中的应用日益广泛，机器人不仅需要具备稳定的物体抓取能力，更需要具备理解任务语义并据此执行精细操作的能力。在传统的机器人操作中，抓取检测往往侧重于几何稳定性，即寻找物体表面最易于夹持的部位，而忽略了操作任务本身的语义需求。然而，对于同一个物体“水杯”，如果机器人的任务是倒水，则应该抓取杯把以避开杯口；如果任务是挪动位置，则抓取杯口或杯身更为稳健。因此，如何使机器人理解任务与物体部位之间的关联，并在三维空间中精确定位这些部位，是实现智能化操作的关键之一。

2、现有的机器人抓取检测方法主要分为两类：一类是基于几何信息的抓取检测，通过分析物体点云的几何特征生成抓取位姿，这类方法往往忽略了物体的语义信息，无法区分物体的功能性部位，导致抓取姿态可能不符合后续操作任务的需求；另一类是基于语义分割的抓取方法，尝试引入语义标签来指导抓取。

3、然而，现有的结合语义的三维重建与提取方法仍存在以下问题：

4、首先，存在点云语义歧义问题。传统的语义分割通常为每个点分配单一标签，但在复杂结构中，某一点可能同时属于多个语义层级。例如，泰迪熊鼻子处的一点可能同时属于“鼻子”（细粒度）、“头部”（中层级）或“玩偶整体”（粗粒度）。这种层级关系的缺失导致语义场构建不准确，限制了机器人根据不同粒度的任务指令进行识别的能力。

5、其次，三维重建效率与精度难以兼顾。基于隐式神经辐射场（neural radiancefields , nerf）的方法虽然能重建精细模型，但其渲染依赖像素级射线积分，推理速度慢，难以满足机器人实时交互的需求。相比之下，三维高斯泼溅（3d gaussian splatting ,3dgs）虽然渲染速度快，但原始方法缺乏语义信息。

6、最后，物体部位提取不完整。现有方法在直接进行开放词汇查询时，常因跨类别物体边界模糊或分割碎片化，导致无法完整提取目标部位，或者无法有效将目标物体与机械臂、背景分离，导致后续抓取规划失败。

7、因此，亟需一种能够解决多层级语义歧义、具备快速实时推理能力，且能根据自然语言任务指令精确提取物体完整有效部位的方法，以提升机器人在复杂环境下的任务执行能力。

技术实现思路

1、本发明提出一种基于多层次语义3d高斯场的任务导向型机器人操作部位提取方法。该方法通过构建包含子部位、完整物体、前后景的多层次语义结构，结合3dgs的高效重建与大语言模型的推理能力，解决了语义歧义与提取不完整的问题。

2、为实现上述目的，本发明采用如下技术方案：

3、一种任务导向的机器人抓握物体有效部位提取方法，包括以下步骤：

4、获取目标物体的多视角图像；

5、根据多视角图像构建包含物体子部位层、完整物体层及前后景层的多层次语义信息；

6、利用多层次语义信息，通过三维高斯泼溅重建三维场景模型；

7、将目标物体的名称和待执行的任务输入大语言模型，通过大语言模型将任务转化为目标物体有效部位的文本描述；

8、基于目标物体有效部位的文本描述和三维场景模型，提取目标物体有效部位的三维点云。

9、进一步地，所述获取目标物体的多视角图像，包括：通过机器人末端搭载的手眼相机或外部固定相机，获取目标物体在不同视角下的rgb图像。

10、进一步地，所述根据多视角图像构建包含物体子部位层、完整物体层及前后景层的多层次语义信息，包括：

11、利用图像分割模型对图像进行多尺度网格提示分割，通过设置网格化的提示点生成不同粒度的掩膜集合，包含物体子部位层、完整物体层及前后景层三个语义层级；

12、利用对比视觉-语言预训练模型提取各掩膜区域的语义特征，得到三个语义层级的嵌入特征向量。

13、进一步地，所述利用多层次语义信息，通过三维高斯泼溅重建三维场景模型，包括：

14、构建包含几何信息和语义信息的三维高斯场，每个三维高斯点包含几何属性以及三个语义层级的嵌入特征向量；

15、通过可微光栅化渲染技术将三维高斯点的语义特征投影至二维图像平面，通过计算渲染特征与语义特征之间的损失，利用梯度下降算法联合优化三维高斯点的几何参数与语义参数，得到具备多层次语义理解能力的三维场景模型。

16、进一步地，所述通过大语言模型将任务转化为目标物体有效部位的文本描述，包括：构建结构化的提示词模板，利用提示词模板将抽象任务转化为具体的目标物体有效部位的文本描述。

17、进一步地，所述提取目标物体有效部位的三维点云采用两阶段语义相关性查询机制，其中第一阶段为机械臂-操作物体分离，第二阶段为物体有效部位精细提取。

18、进一步地，所述第一阶段利用完整物体层的语义相关性将目标物体从背景及机械臂中分离；所述第二阶段在第一阶段获得的完整物体掩膜范围内，利用物体子部位层的语义与任务描述的相似度定位并提取有效部位的三维点云。

19、一种任务导向的机器人抓握物体有效部位提取系统，其包括：

20、多视角图像获取模块，用于获取目标物体的多视角图像；

21、多层次语义信息构建模块，用于根据多视角图像构建包含物体子部位层、完整物体层及前后景层的多层次语义信息；

22、三维高斯泼溅重建模块，用于利用多层次语义信息，通过三维高斯泼溅重建三维场景模型；

23、任务语义推理模块，用于将目标物体的名称和待执行的任务输入大语言模型，通过大语言模型将任务转化为目标物体有效部位的文本描述；

24、有效部位提取模块，用于基于目标物体有效部位的文本描述和三维场景模型，提取目标物体有效部位的三维点云。

25、本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上述方法的指令。

26、本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现上述的方法。

27、本发明与现有技术相比，有益效果在于：

28、本发明通过构建三层语义结构，使三维空间中的每个点具备层级化语义表达，避免了单一标签带来的混淆；提出的两阶段提取机制有效解决了直接查询导致的分割破碎问题，能够从机械臂遮挡中精确剥离出完整的目标部位；基于3dgs技术，相比nerf方法具备更快的训练和渲染速度。

1.一种任务导向的机器人抓握物体有效部位提取方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述获取目标物体的多视角图像，包括：通过机器人末端搭载的手眼相机或外部固定相机，获取目标物体在不同视角下的rgb图像。

3.根据权利要求1所述的方法，其特征在于，所述根据多视角图像构建包含物体子部位层、完整物体层及前后景层的多层次语义信息，包括：

4.根据权利要求3所述的方法，其特征在于，所述利用多层次语义信息，通过三维高斯泼溅重建三维场景模型，包括：

5.根据权利要求1所述的方法，其特征在于，所述通过大语言模型将任务转化为目标物体有效部位的文本描述，包括：构建结构化的提示词模板，利用提示词模板将抽象任务转化为具体的目标物体有效部位的文本描述。

6.根据权利要求1所述的方法，其特征在于，所述提取目标物体有效部位的三维点云采用两阶段语义相关性查询机制，其中第一阶段为机械臂-操作物体分离，第二阶段为物体有效部位精细提取。

7.根据权利要求6所述的方法，其特征在于，所述第一阶段利用完整物体层的语义相关性将目标物体从背景及机械臂中分离；所述第二阶段在第一阶段获得的完整物体掩膜范围内，利用物体子部位层的语义与任务描述的相似度定位并提取有效部位的三维点云。

8.一种任务导向的机器人抓握物体有效部位提取系统，其特征在于，包括：

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1~7中任一项所述方法的指令。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1~7中任一项所述的方法。