一种基于上下文世界建模的机器人控制方法、机器人及设备

摘要: 本发明涉及机器人学与人工智能领域,尤其是涉及一种基于上下文世界建模的机器人控制方法,适用于机器人在摄像头视角变化、场景语义变化及机器人形态学改变等新型系统配置下...
一种基于上下文世界建模的机器人控制方法、机器人及设备

本发明涉及机器人学与人工智能领域,尤其是涉及一种基于上下文世界建模的机器人控制方法,适用于机器人在摄像头视角变化、场景语义变化及机器人形态学改变等新型系统配置下的零样本泛化控制。

背景技术:

1、视觉-语言-动作(vla)模型是具身智能领域的核心技术之一,其以视觉观测和自然语言指令为输入,直接预测机器人控制动作,标准的vla策略形式化为πθ(

a

t|

o

t,

l),其中

o

t为当前观测,

l为语言指令,模型参数

θ在大规模数据集上离线训练得到。然而,现有vla模型在面对训练阶段未出现的系统配置(如新的摄像头视角、安装偏置或机器人形态学属性)时,泛化能力普遍不足。

2、具体而言,标准vla的建模方式隐含地将系统配置ψ(涵盖摄像头视角、安装偏置以及机器人固有的形态学属性等)视为训练阶段固定且已知的常量,训练过程实质上是对数据集中所覆盖的全部配置进行隐式边缘化。当部署阶段实际遇到的系统配置ψ′偏离训练分布时,该边缘化策略缺乏恢复正确观测-动作对应关系的机制,导致性能显著下降。已有真实机器人实验表明,仅改变摄像头视角即可使标准vla模型的任务成功率从约68%骤降至17%左右。

3、为缓解上述问题,现有方案大致可分为两类。第一类是针对特定场景进行专门的微调,该方案需要为每一新部署场景人工采集数据并重新训练,代价高昂且与通用具身智能体按需快速部署的目标相违背。第二类是利用上下文学习(in-context learning)能力,通过在推理时向模型提供专家演示轨迹(来自遥操作或离线缓冲区检索),使模型以下一时刻预测的方式学习执行特定任务,或利用人类操作视频实现跨本体迁移。然而,此类方法本质上将上下文窗口用于行为规范,即指定模型应当执行何种任务,而非用于理解系统本身如何运作,并且仍然要求在测试时提供人工演示,未能解决系统配置缺失所导致的根本问题。

4、此外,已有的世界建模方法通常通过引入专门的网络模块与训练目标,以像素空间或潜空间形式预测未来观测,或通过逆向动力学模型由观测变化推断动作,这些方法均需要引入额外的模型参数和专门的训练流程,难以与现有vla框架的标准训练范式直接兼容。

5、综上,现有技术缺乏一种轻量、参数高效、且能够在测试时仅依靠机器人自主生成的任务无关交互即可完成系统配置隐式辨识的机制。

技术实现思路

1、本发明的目的是为了解决现有vla模型因缺乏对系统配置显式条件化而导致的泛化能力不足的问题,提出一种无需参数更新、仅依靠机器人自主生成的任务无关交互即可在测试时实现系统配置零样本自适应的机器人控制方法。

2、本发明的目的可以通过以下技术方案来实现:

3、作为本发明的第一方面,提供一种基于上下文世界建模的机器人控制方法,步骤包括:

4、在任务执行前,控制机器人在安全工作空间内执行与任务无关的随机探测动作,记录探测前后的起始图像观测、所执行动作及终止图像观测,构成与当前系统配置相关的交互上下文集合;

5、将交互上下文集合输入与视觉-语言-动作策略骨干网络共享全部参数的配置推理函数,由配置推理函数对交互上下文集合进行序列建模,隐式恢复当前系统的潜在配置表示;

6、以潜在配置表示为条件,结合当前任务观测和语言指令,通过视觉-语言-动作策略骨干网络前向推理生成与当前物理部署环境相对齐的任务动作。

7、作为优选技术方案,在主动探测阶段,对于每一步探测动作,在机器人安全工作空间内随机采样一个目标位姿,驱动机器人末端执行器朝该目标位姿运动;其中,所述目标位姿在末端执行器当前位姿的多个空间方向上分散采样;机器人在执行探测动作时无需到达所采样的目标位姿。

8、作为优选技术方案,所述安全工作空间为不与任务相关物体发生接触的区域。

9、作为优选技术方案,所述配置推理函数与视觉-语言-动作策略骨干网络的训练过程如下:

10、从跨越多种不同系统配置与训练轨迹下采集得到的交互片段中随机抽取多条任务无关的交互片段,构成训练样本的交互上下文;

11、将交互上下文前置于任务查询之前,与对应的任务观测、语言指令及目标动作共同构成训练序列;

12、以动作预测负对数似然为目标,对配置推理函数与视觉-语言-动作策略骨干网络进行端到端联合优化。

13、作为本发明的第二方面,提供一种机器人,所述机器人执行如上所述基于上下文世界建模的机器人控制方法,包括:

14、交互上下文获取模块,于任务执行前在安全工作空间内执行与任务无关的随机探测动作,记录探测前后的起始图像观测、所执行动作及终止图像观测,构成与当前系统配置相关的交互上下文集合;

15、潜在配置表示生成模块,将交互上下文集合输入与视觉-语言-动作策略骨干网络共享全部参数的配置推理函数,由配置推理函数对交互上下文集合进行序列建模,隐式恢复当前系统的潜在配置表示;

16、任务执行模块,以潜在配置表示为条件,结合当前任务观测和语言指令,通过视觉-语言-动作策略骨干网络前向推理生成与当前物理部署环境相对齐的任务动作并执行。

17、作为优选技术方案,所述交互上下文获取模块,对于每一步探测动作,在机器人安全工作空间内随机采样一个目标位姿,驱动机器人末端执行器朝该目标位姿运动;其中,所述目标位姿在末端执行器当前位姿的多个空间方向上分散采样;机器人在执行探测动作时无需到达所采样的目标位姿。

18、作为优选技术方案,所述安全工作空间为不与任务相关物体发生接触的区域。

19、作为优选技术方案,所述配置推理函数与视觉-语言-动作策略骨干网络的训练过程如下:

20、从跨越多种不同系统配置与训练轨迹下采集得到的交互片段中随机抽取多条任务无关的交互片段,构成训练样本的交互上下文;

21、将交互上下文前置于任务查询之前,与对应的任务观测、语言指令及目标动作共同构成训练序列;

22、以动作预测负对数似然为目标,对配置推理函数与视觉-语言-动作策略骨干网络进行端到端联合优化。

23、作为本发明的第三方面,提供一种电子设备,包括:

24、一个或多个处理器;

25、存储器,用于存储一个或多个程序;

26、当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上所述基于上下文世界建模的机器人控制方法。

27、作为本发明的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上所述基于上下文世界建模的机器人控制方法的步骤。

28、与现有技术相比,本发明具有以下有益效果:

29、本发明提出的面向机器人控制的上下文世界建模方法,将vla策略从仅以观测和指令为条件的静态映射,扩展为同时以隐式恢复的系统配置表示为条件的自适应推理机制,由于配置推理函数与vla策略骨干网络完全共享参数,将系统辨识由耗时的数据密集型微调问题转化为可在单次前向推理中完成的上下文推理问题。本发明在不引入任何额外的网络参数,将系统配置的隐式建模转化为一种测试时涌现的推理能力,为具身智能体在新系统配置下实现按需、零样本自校准提供了一种参数高效的新路径。