一种用于机器人的语义-时序世界动作模型控制方法、系统及存储介质

摘要: 本发明涉及机器人控制,尤其是涉及一种用于机器人的语义-时序世界动作模型控制方法、系统及存储介质。背景技术:1、机器人模仿学习通常依据示范数据训练视觉控制策略,使...
一种用于机器人的语义-时序世界动作模型控制方法、系统及存储介质

本发明涉及机器人控制,尤其是涉及一种用于机器人的语义-时序世界动作模型控制方法、系统及存储介质。

背景技术:

1、机器人模仿学习通常依据示范数据训练视觉控制策略,使机器人根据当前图像、任务指令和本体状态输出动作。传统视觉-语言-动作模型主要学习从当前观测到动作的直接映射,缺少对未来状态演化的显式约束。当任务需要较长时间依赖、存在遮挡或当前帧线索不充分时,仅依赖当前帧容易造成动作决策不稳定。

2、为引入对未来状态的预测能力,世界动作模型(world action model,wam)通过同时预测未来视觉状态和机器人动作,将视频预训练所获得的时空先验引入机器人控制。该类模型能够利用未来预测任务约束动作专家学习环境动力学,因此在多类操作任务中表现出较强的控制能力。为降低部署开销,一些世界动作模型在训练时使用未来视频监督,而在推理时省略未来视频生成,仅输出动作块。

3、以fast-wam等视频生成式世界动作模型为代表的现有方案,通常采用冻结的vae(variational autoencoder,变分自编码器)对当前观测和未来观测进行编码,以预训练视频扩散transformer(diffusion transformer,dit)作为视觉未来专家,并设置独立的动作专家。训练阶段,视觉未来令牌和动作令牌在混合transformer中联合去噪;推理阶段省略未来视频解码,通过动作专家生成动作块,以此兼顾视频预训练知识和部署效率。

4、然而,此类现有方案存在以下不足:

5、第一,未来监督主要位于vae视觉潜空间,该表示虽然善于保留颜色、纹理和局部运动,但也容易将与任务无关的背景、光照、相机视角等低层视觉因素编码进未来目标。当部署环境出现视觉分布偏移(即部署环境相对于训练环境在背景纹理、光照、相机视角、机器人外观、物体外观、传感器噪声或空间布局等方面发生变化)时,模型预测的未来可能向训练域视觉内容回退,形成训练分布幻觉,进而削弱动作专家对当前真实场景的条件响应。

6、第二,动作专家虽然能够读取当前视觉潜变量,但缺少独立的、对物体类别和任务状态更稳定的未来语义监督,难以区分任务相关状态变化与纯外观变化。虽然部分方案尝试在语义特征、语义掩码或紧凑状态表示中预测未来,或者在动作策略中引入视觉语言模型的当前帧语义,但仅在语义空间预测未来会弱化颜色、接触、局部几何和精细运动等细粒度动力学信息,难以完全替代视觉潜变量空间;仅向动作模型注入当前语义特征,又不能形成对未来任务状态演化的显式监督。

7、第三,现有方案通常未利用当前视觉-语言语义对预定历史时间窗口内的历史进行定向检索。机器人任务的执行状态具有明显时序性,例如抽屉是否已打开、物体是否已抓取、容器是否已经放置到目标区域,往往需要结合若干历史观测来判断。直接拼接历史图像会带来大量冗余视觉信息,而使用无条件可学习查询压缩历史,又可能检索到与当前指令或当前进度无关的内容,导致长时序任务中的阶段判断错误。

8、第四,在训练过程中,若动作令牌能够访问含真实未来信息的目标令牌,会发生未来信息泄漏,使训练指标与实际闭环推理条件不一致,导致模型在真实部署时性能下降。

9、综上,现有技术难以在同时兼顾细粒度视觉动力学、稳定语义状态和任务相关历史证据的条件下,实现视觉分布偏移下的鲁棒机器人控制。

10、需要说明的是,在上述背景技术部分公开的信息仅用于对本技术的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本技术解决的技术问题是:“如何解决视觉分布偏移下,传统世界动作模型因过度依赖易变外观、缺乏语义时序锚定及存在未来信息泄漏,而导致动作决策泛化性差的问题”。

2、本技术解决上述技术问题所采用的技术方案如下。

3、本技术提供一种用于机器人的语义-时序世界动作模型控制方法,包括:

4、s1.获取机器人当前观测、机器人本体状态、任务指令以及历史观测序列;

5、s2.对机器人当前观测进行视觉潜变量编码,生成当前视觉潜变量;

6、s3.对机器人当前观测进行语义视觉编码,生成当前语义特征,并对历史观测序列中的每一观测进行语义视觉编码,生成历史语义特征;

7、s4.对任务指令进行语言编码,生成语言上下文;

8、s5.基于机器人当前观测和任务指令生成当前语义查询,基于当前语义查询从历史语义特征中检索,得到意图令牌;

9、s6.将当前视觉潜变量、当前语义特征、机器人本体状态、语言上下文和意图令牌输入至动作专家网络,生成动作块,动作块包括未来多个时间步的机器人动作序列;

10、s7.将动作块中的至少一部分动作发送至机器人控制接口,以控制机器人执行。

11、在一些实施例中,机器人当前观测包括由至少一个rgb相机、rgb-d相机或事件相机采集的多视角rgb观测,多视角rgb观测按预定布局拼接或分路编码;机器人本体状态包括关节位置、关节速度、末端位姿、夹爪状态中的至少一者;历史观测序列按照预定时间偏移进行采样获得,预定时间偏移包括多个按时间顺序排列的不同历史时刻。

12、在一些实施例中,步骤s5具体包括:

13、将机器人当前观测和任务指令输入冻结的多模态编码器,获得当前多模态隐藏状态;

14、将n个可学习查询经线性投影后,以当前多模态隐藏状态作为键和值进行多头注意力重采样,生成当前语义查询,其中n为正整数;

15、将历史语义特征经线性投影并叠加可学习时间嵌入后,按时间顺序拼接为历史语义令牌序列;

16、以当前语义查询作为查询、以历史语义令牌序列作为键和值,依次经过交叉注意力层和前馈神经网络层构成的网络块进行检索,得到检索后的语义令牌;

17、将检索后的语义令牌映射至动作专家网络的上下文维度,形成意图令牌。

18、在一些实施例中,步骤s6中动作专家网络属于双空间未来专家模块的一部分,双空间未来专家模块还包括视觉未来专家网络和语义未来专家网络,视觉未来专家网络、语义未来专家网络和动作专家网络均采用多层transformer结构;视觉未来专家网络的隐藏维度大于语义未来专家网络和动作专家网络的隐藏维度,且视觉未来专家网络、语义未来专家网络和动作专家网络分别具有独立的输入投影、输出投影、时间条件模块和输出预测头。

19、在一些实施例中,视觉未来专家网络、语义未来专家网络和动作专家网络通过跨分支混合自注意力交换信息,具体包括:

20、视觉未来专家网络、语义未来专家网络和动作专家网络将各自的隐藏状态通过各自的输入投影,映射为具有相同头数和相同头维度的共享注意力空间中的查询、键和值;

21、基于查询、键和值在共享注意力空间中进行注意力计算,得到注意力输出;

22、注意力输出按原段边界拆分后,再通过视觉未来专家网络、语义未来专家网络和动作专家网络各自的输出投影,映射回各专家网络相应的隐藏维度。

23、在一些实施例中,跨分支混合自注意力采用结构化注意力掩码限制信息流;

24、结构化注意力掩码所处理的令牌包括:由机器人当前观测生成的当前视觉令牌和当前语义令牌;由机器人未来观测经加噪生成的带噪未来视觉令牌和带噪未来语义令牌;由动作目标经加噪生成的带噪动作令牌;以及与带噪未来视觉令牌对应的干净视觉未来目标令牌和与带噪未来语义令牌对应的干净语义未来目标令牌;

25、结构化注意力掩码的信息流规则包括:

26、当前视觉令牌和当前语义令牌的读取权限限定于当前视觉令牌和当前语义令牌的相互交互,而不涉及带噪未来视觉令牌、带噪未来语义令牌、带噪动作令牌、干净视觉未来目标令牌和干净语义未来目标令牌;

27、带噪未来视觉令牌和带噪未来语义令牌的读取权限限定于当前视觉令牌、当前语义令牌以及带噪未来视觉令牌和带噪未来语义令牌之间的相互交互,而不涉及带噪动作令牌、干净视觉未来目标令牌和干净语义未来目标令牌;

28、带噪动作令牌的读取权限限定于当前视觉令牌、当前语义令牌以及带噪动作令牌自身,而不涉及带噪未来视觉令牌、带噪未来语义令牌、干净视觉未来目标令牌和干净语义未来目标令牌。

29、在一些实施例中,在训练阶段,对双空间未来专家模块中的视觉未来专家网络、语义未来专家网络和动作专家网络进行联合训练;在推理阶段,省去视觉未来专家网络和语义未来专家网络的生成流,仅通过动作专家网络生成动作块;

30、其中,在联合训练中,采用流匹配方法进行训练,具体包括:

31、在训练样本构造阶段,分别确定干净视觉未来目标令牌、干净语义未来目标令牌以及干净动作目标令牌;其中,干净视觉未来目标令牌与带噪未来视觉令牌对应,干净语义未来目标令牌与带噪未来语义令牌对应;

32、对干净视觉未来目标令牌、干净语义未来目标令牌和干净动作目标令牌分别独立采样噪声并采用线性插值构造带噪输入,其中视觉未来专家网络和语义未来专家网络的流匹配时间步经由相应的时间条件模块保持同步,动作专家网络的流匹配时间步独立采样;

33、流匹配方法还包括采用联合损失函数进行联合训练,联合损失函数包括视觉未来分支损失、语义未来分支损失和动作分支损失的加权和;其中,视觉未来分支损失包括视觉未来专家网络的输出预测头输出的预测速度与目标视觉速度之间的加权平方误差,语义未来分支损失包括语义未来专家网络的输出预测头输出的预测速度与目标语义速度之间的加权平方误差,动作分支损失包括动作专家网络的输出预测头输出的预测速度与目标动作速度之间的加权平方误差。

34、在一些实施例中,动作块的长度为h,h为大于1的正整数;步骤s7中“将动作块中的至少一部分动作发送至机器人控制接口”包括:从动作块的起始位置取出前p个动作发送给机器人控制接口,其中1≤p≤h;在机器人执行完前p个动作后,更新机器人当前观测和历史观测序列,并返回执行步骤s1至步骤s7;

35、机器人控制接口在将接收的动作发送至机器人执行之前,还用于对接收的动作进行安全约束、碰撞检测、工作空间限制或平滑滤波处理。

36、在一些实施例中,还提供一种用于机器人的语义-时序世界动作模型控制系统,包括:

37、观测采集模块,用于获取机器人当前观测;

38、本体状态获取模块,用于获取机器人本体状态;

39、任务指令输入模块,用于获取任务指令;

40、历史缓存模块,用于保存历史观测序列;

41、视觉潜变量编码模块,用于对机器人当前观测进行视觉潜变量编码,生成当前视觉潜变量;

42、语义视觉编码模块,用于对机器人当前观测进行语义视觉编码,生成当前语义特征,并对历史观测序列中的每一观测进行语义视觉编码,生成历史语义特征;

43、语言编码模块,用于对任务指令进行语言编码,生成语言上下文;

44、当前锚定意图检索模块,用于基于机器人当前观测和任务指令生成当前语义查询,并基于当前语义查询从历史语义特征中检索,得到意图令牌;

45、动作块生成模块,用于将当前视觉潜变量、当前语义特征、机器人本体状态、语言上下文和意图令牌输入至动作专家网络,生成动作块,动作块包括未来多个时间步的机器人动作序列;

46、机器人控制接口,用于接收动作块中的至少一部分动作,并控制机器人执行。

47、在一些实施例中,还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,实现本发明的用于机器人的语义-时序世界动作模型控制方法。

48、本发明具有如下有益效果:

49、本发明首先,通过获取机器人当前观测、机器人本体状态、任务指令以及历史观测序列,为后续的决策提供了丰富的上下文环境。通过对机器人当前观测进行视觉潜变量编码,生成当前视觉潜变量,有效保留了场景中纹理、局部形状和接触等细粒度视觉动力学信息,确保动作生成具备充分的视觉细节依据。通过对机器人当前观测进行语义视觉编码,生成当前语义特征,提取了对光照、视角及背景纹理变化保持稳定的物体类别与任务状态特征,克服了低层视觉外观变化对判断的干扰。通过对历史观测序列中的每一观测进行语义视觉编码,生成历史语义特征,将预定历史时间窗口内的历史状态统一映射到稳定的语义空间,为评估任务进度提供了鲁棒的数据基础。通过对任务指令进行语言编码,生成语言上下文,为动作控制注入目标任务意图。通过基于机器人当前观测和任务指令生成当前语义查询,基于当前语义查询从历史语义特征中检索,得到意图令牌,该方法能够锚定当前任务进度,从时序历史中提取与当前指令及阶段高度相关的状态证据,有效解决了状态阶段判断模糊的问题。通过将当前视觉潜变量、当前语义特征、机器人本体状态、语言上下文和意图令牌输入至动作专家网络,使得动作网络在推理时仅依赖当前和历史的有效信息,避免了因读取未来真实目标而造成的信息泄漏,保证了训练条件与部署条件的一致性。最后,通过动作专家网络生成动作块,动作块包括未来多个时间步的机器人动作序列,并将动作块中的至少一部分动作发送至机器人控制接口,以控制机器人执行,实现了高效、平滑且具备闭环特性的机器人控制。

50、综合而言,本发明通过以上所有特征环环相扣,使得整套方案在面临未知视觉分布偏移时,依然能够准确判断任务所处阶段并输出与当前物理环境高度吻合的高频动作,实现了控制鲁棒性与部署实时性的系统性跨越,从而针对性地解决了传统世界动作模型因过度依赖易变外观、缺乏语义时序锚定及存在未来信息泄漏,而导致动作决策泛化性差的问题。

51、本发明的其他有益效果将在下文中进一步述及。