一种基于三维高斯状态与语义纠偏的机器人操作决策方法及系统

本发明属于机器人具身智能，具体涉及一种基于三维高斯状态与语义纠偏的机器人操作决策方法及系统。

背景技术：

1、随着服务机器人、工业机器人以及具身智能技术的发展，机器人在非结构化环境中完成抓取、放置、开关抽屉、堆叠物体等操作任务的需求不断增加。相较于传统固定工位中的单一抓取任务，真实场景下的机器人操作通常面临多目标、多视角遮挡、物体状态连续变化以及自然语言任务约束等问题。因此，机器人不仅需要识别目标物体，还需要理解目标在三维空间中的位置、姿态、局部结构及其与周围物体之间的关系，并据此生成稳定可靠的抓取或操作动作。

2、现有机器人抓取算法通常基于二维图像、深度图、点云或体素特征进行感知与决策。其中，二维视觉方法计算效率较高，但难以充分表达物体的三维几何结构和遮挡关系；点云和体素方法可以提供一定的空间信息，但在稀疏观测、复杂纹理、细粒度部件定位和多视角融合场景下，仍存在特征表达不连续、语义信息不足或计算开销较大等问题。近年来，视觉语言动作模型、语言条件行为克隆模型以及基于神经场的机器人操作方法被用于提升多任务泛化能力，相关方法通过三维特征或神经场表示增强了机器人对场景结构和任务语义的理解能力，但其仍主要依赖当前观测或静态场景表示，难以充分刻画机器人动作引起的短时状态演化。

3、三维高斯泼溅（3d gaussian splatting）因其显式三维基元表达和较高渲染效率，逐渐被引入机器人场景表示和操作决策中。已有基于三维高斯的机器人操作研究将动态三维高斯表示用于多任务机器人操作，通过未来场景重建挖掘场景时空动态，为动作预测提供了更丰富的三维状态依据。相比传统点云或隐式神经辐射场，三维高斯表示能够以多个具有位置、尺度、旋转、不透明度及外观特征的高斯基元描述场景，在多视角观测融合、局部结构保持和实时渲染方面具有优势，适合用于机器人抓取前的空间状态建模。

4、然而，现有基于三维高斯表示的机器人抓取或操作方法仍存在若干不足。首先，三维高斯基元数量通常较多，直接将全部高斯特征输入动作决策模型会带来较高的计算负担，并可能引入大量与当前任务无关的背景信息。其次，部分方法虽然能够表达场景几何和短时动态，但对语言任务条件、目标类别、局部部件和属性修饰词的利用仍不充分，难以在“红色方块”“左侧抽屉把手”“绿色盘子中的目标物”等开放词汇语义约束下准确定位目标操作对象。再次，在多目标相似、物体局部遮挡或目标名称与视觉外观存在域偏差时，基础动作模型容易出现语义混淆，导致抓取位置偏移、选择错误目标或对非目标区域执行动作。

5、另一方面，开放词汇检测、开放词汇分割和视觉语言定位模型能够根据自然语言短语输出候选目标框或语义掩码，为机器人理解开放类别目标提供了新的技术路径。已有语言高斯场相关研究表明，将语言特征嵌入三维高斯表示能够支持三维空间中的开放词汇查询。但是，现有开放词汇视觉模型多工作在二维图像域，其输出结果若不能可靠映射到机器人可执行的三维状态空间，就难以直接用于抓取动作修正；同时，开放词汇模型计算开销较大，若在每一帧或每一次动作决策中无差别调用，会影响在线控制的实时性和稳定性。

6、因此，本发明提出一种能够同时兼顾三维几何表达、动态状态预测、语言任务理解以及开放词汇语义纠偏的高斯抓取方法。尤其是在多目标、多步操作和语义约束复杂的场景中，本发明方法能够基于多视角观测构建动态三维高斯状态表示，并通过体素令牌化和语义引导压缩保留与任务相关的三维状态信息；能够结合动作条件的短时未来状态预测，提高动作选择的稳定性；还能够在动作不确定性较高或存在语义混淆风险时，有选择地调用开放词汇语义增强模块生成目标语义约束，并通过三维语义索引映射模块将所述目标语义约束映射为三维语义索引约束，进而由动作纠偏与回退模块对候选抓取动作或动作分布进行纠偏，降低多目标相似场景下的语义混淆风险，提高机器人在复杂真实场景中的抓取成功率和多步操作稳定性。

技术实现思路

1、针对现有机器人抓取或操作方法难以同时兼顾三维几何表达、动态状态预测、语言任务理解以及开放词汇语义纠偏的问题，本发明提供一种基于三维高斯状态与语义纠偏的机器人操作决策方法及系统。本发明通过动态三维高斯状态表示对多视角观测进行结构化表达，通过体素令牌化和语义引导压缩降低状态输入规模，并在动作决策不确定或存在语义混淆风险时调用开放词汇语义增强模块生成目标语义约束，再通过三维语义索引映射模块将所述目标语义约束映射为三维语义索引约束，并由动作纠偏与回退模块基于所述三维语义索引约束对候选动作或动作分布进行纠偏。

2、为实现上述目的，本发明采用如下技术方案：一种基于三维高斯状态与语义纠偏的机器人操作决策方法，该方法包括：

3、（1）获取包含多视角观测数据、机器人状态信息以及语言任务条件的机器人操作任务数据并进行预处理；

4、（2）基于多视角观测数据构建动态三维高斯状态表示，并通过体素令牌化和语义引导压缩将所述动态三维高斯状态表示结合语言任务条件组织为结构化状态表示；

5、（3）基于结构化状态表示生成基础动作分布或候选动作集合，基于当前动态三维高斯状态表示、候选动作和语言任务条件，预测未来动态三维高斯状态或高斯状态增量，并根据预测结果，对候选动作进行评价；

6、（4）根据评价结果得到初步动作决策状态，并计算动作不确定性，判断是否需要进行语义纠偏，若需要则基于语言任务条件生成目标语义约束，并映射为三维语义索引约束，当所述三维语义索引约束有效时，基于所述三维语义索引约束对所述基础动作分布或候选动作进行纠偏，得到最终执行动作；当不需要进行语义纠偏或所述三维语义索引约束无效时，基于所述初步动作决策状态得到最终执行动作。

7、（5）基于所述最终执行动作生成机器人控制指令，驱动机器人执行对应的物理操作。

8、进一步地，所述预处理包括时间同步、手眼标定、坐标转换和数据格式转换中的至少一种，以使不同相机、机器人本体以及任务指令之间的数据处于统一的时间基准和空间坐标系下。

9、进一步地，所述机器人操作决策方法包括训练阶段、模型部署阶段和在线决策阶段；

10、所述训练阶段用于训练动作决策模型、动作条件动态高斯传播模型以及开放词汇语义增强模块的适配参数；所述动作决策模型用于基于当前结构化状态表示生成基础动作分布或候选动作集合；所述动作条件动态高斯传播模型用于基于当前动态三维高斯状态表示、候选动作和语言任务条件，预测短时未来动态三维高斯状态或高斯状态增量；所述开放词汇语义增强模块用于以基于语言任务条件构造的查询短语集合和当前二维图像为输入，生成目标语义约束；所述三维语义索引映射模块用于将所述目标语义约束映射为三维语义索引约束；所述动作纠偏与回退模块用于判断所述三维语义索引约束的有效性，并在所述三维语义索引约束有效时进行动作纠偏，在无效时回退至初步动作决策状态；

11、所述模型部署阶段用于将训练或适配后的动作决策模型、动作条件动态高斯传播模型以及开放词汇语义增强模块部署至机器人控制端、边缘计算端或服务器端；根据实际算力条件，动作决策模型和动作条件动态高斯传播模型可以部署在机器人控制端或边缘计算端，开放词汇语义增强模块可以部署在边缘计算端或服务器端，并通过预设接口返回语义检测、语义分割或视觉语言定位结果。

12、所述在线决策阶段用于获取当前时刻的多视角观测、机器人状态信息和语言任务条件，并构建当前动态三维高斯状态表示，调用部署后的动作决策模型、动作条件动态高斯传播模型以及开放词汇语义增强模块执行步骤（1）~步骤（4）。

13、进一步地，所述动作条件动态高斯传播模型训练时基于短时未来动态三维高斯状态渲染或重建下一时刻预测观测，并根据所述下一时刻预测观测与下一时刻真实观测之间的图像重建误差，和/或预测高斯状态与真实或估计高斯状态之间的状态传播一致性误差进行监督。

14、进一步地，开放词汇语义增强模块需要进行领域适配训练，所述领域适配训练包括通过lora方式对开放词汇语义增强模块的模型中的groundingdino文本编码器进行领域适配，所述模型包括开放词汇二维检测模型、开放词汇二维分割模型、视觉语言定位模型中的一种或其组合。

15、进一步地，所述动态三维高斯状态表示包括多个显式三维高斯基元，每个三维高斯基元包括中心位置、尺度、旋转、不透明度、外观特征、语义特征或任务相关特征嵌入中的至少一种；所述体素令牌化通过将三维高斯基元映射至规则体素空间、聚合同一体素单元或局部体素块中的基元特征并形成体素令牌得到；所述语义引导压缩根据语言任务条件或语义类别映射结果优先保留任务相关体素令牌，并保留裁剪索引用于映射回原三维高斯状态空间。

16、进一步地，基于所述当前结构化状态表示生成基础动作分布或候选动作。在需要短时未来状态评估时，利用训练后的动作条件动态高斯传播模型，根据当前动态三维高斯状态表示、候选动作和语言任务条件预测短时未来动态三维高斯状态或高斯状态增量，并根据所述预测结果对应的状态一致性、任务相关区域变化、预测不确定性或预设评价指标中的至少一种，对所述基础动作分布或候选动作进行更新，得到初步动作决策状态。

17、进一步地，判断是否需要进行语义纠偏的具体过程为：根据所述初步动作决策状态的动作不确定性、开放词汇语义增强的调用预算以及冷却条件，判断是否触发语义纠偏；所述动作不确定性根据基础动作分布中最高概率动作与次高概率动作之间的分类间隔、基础动作分布的熵、候选动作评分差异、连续动作分布方差、短时未来状态预测不确定性中的至少一种确定；所述调用预算用于限制单位时间、单个任务或单次操作序列中语义纠偏的触发次数；所述冷却条件用于限制相邻两次语义纠偏之间的最小时间间隔或最小决策步数。

18、进一步地，当触发语义纠偏时，调用所述开放词汇语义增强模块生成目标语义约束，通过三维语义索引映射模块将所述目标语义约束映射为三维语义索引约束；通过动作纠偏与回退模块判断所述三维语义索引约束是否有效。当所述三维语义索引约束有效时，基于所述三维语义索引约束对所述基础动作分布或候选动作进行纠偏，得到最终执行动作；当未触发语义纠偏或所述三维语义索引约束无效时，基于所述初步动作决策状态得到最终执行动作。基于所述最终执行动作生成机器人控制指令，驱动机器人执行对应的物理操作。

19、进一步地，所述基于语言任务条件生成目标语义约束包括：

20、从语言任务条件中抽取目标对象词、局部部件词、属性词或空间修饰词，以构造查询短语集合；

21、利用开放词汇二维检测模型、开放词汇二维分割模型或视觉语言定位模型，根据所述查询短语集合输出候选框、候选类别、检测置信度和语义掩码中的至少一种；

22、根据语义掩码面积、检测置信度、查询短语特异性和面积惩罚项中的至少一种对候选语义结果进行筛选或排序，得到目标语义约束。

23、进一步地，将目标语义约束映射为三维语义索引约束包括：

24、对目标语义约束对应的语义掩码中的像素，利用对应深度值、相机内参和相机外参反投影为世界坐标系下的三维点；

25、根据体素分辨率、三维空间边界以及三维高斯基元的空间位置，将所述三维点离散化为体素索引、三维高斯基元索引或三维状态索引；

26、对所述索引合并去重，得到三维语义索引约束。

27、进一步地，基于所述三维语义索引约束对所述基础动作分布或候选动作进行纠偏包括：

28、根据所述三维语义索引约束确定目标区域对应的体素令牌、体素单元或三维高斯基元；提高作用于所述目标区域的候选动作评分，降低作用于非目标区域或低于阈值的置信语义区域的候选动作评分，或者基于所述目标区域修正基础动作分布或机器人末端目标位姿；

29、当所述三维语义索引约束为空、对应二维语义结果不满足面积阈值或置信度阈值时，判定所述三维语义索引约束无效。

30、另一方面，本发明还提供了一种基于三维高斯状态与语义纠偏的机器人操作决策系统，该系统包括：

31、数据采集与预处理模块，用于获取多视角观测数据、机器人状态信息和语言任务条件，并进行预处理；

32、动态三维高斯状态表示模块，用于基于多视角观测数据构建动态三维高斯状态表示，并生成体素令牌及进行语义引导压缩，将所述动态三维高斯状态表示结合语言任务条件组织为结构化状态表示；

33、动作决策模型训练模块，用于训练动作决策模型和动作条件动态高斯传播模型；

34、开放词汇语义增强适配模块，用于对开放词汇语义增强模块进行领域适配训练；

35、模型部署模块，用于将训练或适配后的模型部署至机器人控制端、边缘计算端或服务器端；

36、基础动作决策模块，用于根据当前结构化状态表示输入动作决策模型生成基础动作分布或候选动作，并基于动作条件动态高斯传播模型得到短时未来状态预测结果，对候选动作进行评价；

37、语义风险门控模块，用于判断是否调用开放词汇语义增强模块触发语义纠偏；

38、三维语义索引映射模块，用于将开放词汇语义增强模块输出的目标语义约束映射为三维语义索引约束；

39、动作纠偏与回退模块，用于在三维语义索引约束有效时进行动作纠偏，或者在三维语义索引约束无效时回退至初步动作决策状态，得到最终执行动作；

40、机器人控制接口模块，用于将最终执行动作转换为机器人控制指令。

41、与现有技术相比，本发明至少具有如下有益效果：

42、第一，本发明采用动态三维高斯状态表示组织多视角观测数据，能够以显式三维基元表达目标物体和操作场景的几何、外观及任务相关特征，相较于仅基于二维图像、点云或静态场景表示的方法，有利于增强机器人对遮挡关系、局部结构和短时状态变化的理解能力。

43、第二，本发明通过体素令牌化和语义引导压缩将动态三维高斯状态组织为结构化状态表示，能够减少与当前任务无关的背景信息和冗余高斯基元输入，降低动作决策模型的计算负担，并使模型更加关注语言任务条件所指向的目标区域。

44、第三，本发明引入动作条件动态高斯传播模型，在候选动作执行前预测短时未来动态三维高斯状态或状态增量，使动作选择不仅依赖当前观测，还能够参考动作可能引起的短时状态演化，从而提高多步操作和复杂抓取任务中的决策稳定性。

45、第四，本发明通过动作不确定性、调用预算和冷却条件构成语义风险门控机制，仅在需要时触发开放词汇语义增强模块，既能够降低多目标相似或语义约束复杂场景中的目标混淆风险，又能够避免频繁调用大规模开放词汇模型造成在线控制延迟。

46、第五，本发明通过开放词汇语义增强模块生成二维目标语义约束，通过三维语义索引映射模块将其映射为三维语义索引约束，并通过动作纠偏与回退模块基于所述三维语义索引约束对候选动作或动作分布进行纠偏，使开放词汇检测或分割结果能够作用于机器人可执行的三维状态空间，有利于提高机器人在真实场景中的抓取成功率和多步操作稳定性。