面向移动机器人的运动控制方法、系统、设备及介质

摘要: 本申请涉及机器人控制,具体而言,涉及一种面向移动机器人的运动控制方法、系统、设备及介质。背景技术:1、面向移动机器人的视觉-语言-动作系统旨在将自然语言指令转化...
面向移动机器人的运动控制方法、系统、设备及介质

本申请涉及机器人控制,具体而言,涉及一种面向移动机器人的运动控制方法、系统、设备及介质。

背景技术:

1、面向移动机器人的视觉-语言-动作系统旨在将自然语言指令转化为基于感知、推理和可执行控制的具身行为。对于四足机器人而言,这一问题尤为具有挑战性,因为语言引导的决策最终必须在部分可观测性、执行噪声以及长期任务依赖等复杂条件下,转化为连续的运动控制指令。在真实环境中,稳健地弥合这一鸿沟是实现具身智能的核心所在。

2、目前,多模态基础模型的最新进展显著提升了视觉感知和语言理解能力,激发了大量关于将视觉-语言模型扩展至具身决策的研究。然而,现有方法在四足动物视觉-语言-动作场景中仍面临两个实际局限。首先,直接的语言到动作映射往往模糊了高层语义推理与底层运动执行之间的界限,导致长期规划下可解释性较弱且语义锚定不稳定。其次,通过潜在中间表示提升稳定性的方法通常会牺牲透明的推理结构,使得语义逻辑难以检验、故障案例难以诊断,也不利于支持组合式决策。

技术实现思路

1、本申请实施例提供了一种面向移动机器人的运动控制方法、系统、设备及介质,以至少解决相关技术中模型可解释性弱且语义理解不稳定的技术问题。

2、根据本申请实施例的一个方面,提供了一种面向移动机器人的运动控制方法,包括:

3、获取移动机器人的多模态观测数据以及自然语言指令;

4、将所述多模态观测数据以及自然语言指令输入预训练的分层视觉-语言-动作模型,得到结构化思维链推理结果及可执行动作答案;

5、对所述结构化思维链推理结果及可执行动作答案进行解析,生成可执行的连续运动控制指令及离散高层行为;

6、基于所述连续运动控制指令及离散高层行为,在闭环条件下控制所述移动机器人执行相应的具身动作。

7、根据本申请实施例的另一方面,还提供了一种面向移动机器人的运动控制系统,包括:

8、获取模块,用于获取移动机器人的多模态观测数据以及自然语言指令;

9、推理模块,用于将所述多模态观测数据以及自然语言指令输入预训练的分层视觉-语言-动作模型,得到结构化思维链推理结果及可执行动作答案;

10、指令生成模块,用于对所述结构化思维链推理结果及可执行动作答案进行解析,生成可执行的连续运动控制指令及离散高层行为;

11、控制模块,用于基于所述连续运动控制指令及离散高层行为,在闭环条件下控制所述移动机器人执行相应的具身动作。

12、根据本申请实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过上述计算机程序执行上述的面向移动机器人的运动控制方法。

13、根据本申请实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述面向移动机器人的运动控制方法。

14、本申请实施例提供的技术方案可以包括以下有益效果:

15、本申请提出了一种分层的四足机器人视觉-语言-动作框架mobilevla-r1,能够显式地将结构化推理与连续控制对齐。mobilevla-r1不再直接从语言和观测信息中预测运动指令,而是首先基于多模态观测生成一个结构化的思维链推理结果和行动计划,再将该计划转化为可执行的连续控制指令。这种“先推理后执行”的设计提升了模型的可解释性,增强了语言理解的稳定性,并支持更可靠的长期行为表现。

1.一种面向移动机器人的运动控制方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,将所述多模态观测数据以及自然语言指令输入预训练的分层视觉-语言-动作模型之前,还包括训练所述分层视觉-语言-动作模型,训练采用两阶段训练范式,包括:

3.根据权利要求2所述的方法,其特征在于,还包括构建多粒度思维链训练数据集:

4.根据权利要求3所述的方法,其特征在于,在预先构建的多粒度思维链训练数据集上进行监督微调,包括:

5.根据权利要求2所述的方法,其特征在于,采用离线的组相对策略优化算法进行参数优化,包括:

6.根据权利要求1所述的方法,其特征在于,将所述多模态观测数据以及自然语言指令输入预训练的分层视觉-语言-动作模型,得到结构化思维链推理结果及可执行动作答案,包括:

7.根据权利要求1所述的方法,其特征在于,对所述结构化思维链推理结果及可执行动作答案进行解析,生成可执行的连续运动控制指令及离散高层行为,包括:

8.一种面向移动机器人的运动控制系统,其特征在于,包括:

9.一种电子设备,其特征在于,包括处理器和存储有程序指令的存储器,所述处理器被配置为在执行所述程序指令时,执行如权利要求1至7任一项所述的面向移动机器人的运动控制方法。

10.一种计算机存储介质,其特征在于,其上存储有计算机可读指令,所述计算机可读指令被处理器执行以实现如权利要求1至7任一项所述的面向移动机器人的运动控制方法。