视觉-语言-动作模型的后训练方法、装置及电子设备与流程

摘要: 本发明涉及人工智能,尤其涉及一种视觉-语言-动作模型的后训练方法、装置及电子设备。背景技术:1、视觉-语言-动作(vision-language-action,...
视觉-语言-动作模型的后训练方法、装置及电子设备与流程

本发明涉及人工智能,尤其涉及一种视觉-语言-动作模型的后训练方法、装置及电子设备。

背景技术:

1、视觉-语言-动作(vision-language-action,vla)模型通过融合视觉感知、语言理解与动作生成能力,为机器人通用操作提供了一种重要的技术路线。视觉-语言-动作模型通常基于大规模预训练获得跨模态的通用表征能力,但在部署到特定机器人平台、具体操作任务或目标物理环境后,其策略输出往往难以直接满足实际场景对精度、鲁棒性和安全性的要求,因此通常需要进行后训练,以提升模型对具体操作环境和任务分布的适应能力。

2、现有后训练方案主要包括模仿学习和强化学习。其中,模仿学习通常依赖大量高质量的机器人示范数据,而示范数据的采集往往需要专业人员操作、精细标注以及多轮调试,数据采集成本高、覆盖场景有限,且难以充分反映真实任务中的长尾情况。强化学习则依赖机器人在真实环境中的反复交互与试错,不仅交互效率较低,而且在探索过程中可能引发碰撞、硬件磨损、环境破坏或安全风险,导致其在实际系统中的部署成本较高。

3、因此,如何高效、低成本地对视觉-语言-动作模型进行后训练,在减少对大规模示范数据和高风险真实交互依赖的同时,提升模型在特定机器人、任务和物理环境中的适应能力,是亟待解决的技术问题。

技术实现思路

1、本发明提供一种视觉-语言-动作模型的后训练方法、装置及电子设备,用以解决现有技术中的上述缺陷,高效、低成本地对视觉-语言-动作模型进行后训练,在减少对大规模示范数据和高风险真实交互依赖的同时,提升模型在特定机器人、任务和物理环境中的适应能力。

2、本发明提供一种视觉-语言-动作模型的后训练方法,包括如下步骤。

3、在目标时间步,获取具身智能体的视觉观测信息,所述具身智能体由视觉-语言-动作模型驱动以执行目标任务;基于所述视觉观测信息、所述具身智能体的状态信息以及所述目标任务的指令信息,通过所述视觉-语言-动作模型生成多个候选动作块;基于所述视觉观测信息,确定所述多个候选动作块的想象相关度分值;在所述想象相关度分值大于预设分数阈值的情况下,基于所述多个候选动作块,对所述视觉-语言-动作模型的策略进行优化。

4、根据本发明提供的一种视觉-语言-动作模型的后训练方法,所述基于所述多个候选动作块,对所述视觉-语言-动作模型的策略进行优化,包括:

5、针对所述多个候选动作块,执行多轮世界模型推演,得到多组推演结果;其中,每组推演结果包括在对应世界模型推演下,每个候选动作块的反事实轨迹;所述世界模型推演是以各候选动作块为条件输入,通过动作条件世界模型执行多次世界模型想象,为各候选动作块分别生成对应的反事实轨迹的过程;确定每组推演结果中各候选动作块的反事实轨迹的综合评价值;其中,所述综合评价值是用于衡量反事实轨迹对应的候选动作块执行预期效果优劣的量化指标;基于各组推演结果中每个候选动作块的反事实轨迹的综合评价值,对所述多个候选动作块进行可靠性筛选;在所述多个候选动作块通过所述可靠性筛选的情况下,根据所述多个候选动作块,得到训练动作组;基于所述训练动作组内各候选动作块的反事实轨迹的综合评价值,对所述视觉-语言-动作模型的策略进行优化。

6、根据本发明提供的一种视觉-语言-动作模型的后训练方法,所述世界模型推演,包括:

7、针对每个候选动作块,在多个预测时刻的每个预测时刻,执行如下操作:通过所述动作条件世界模型,基于上一预测时刻的视觉观测信息、所述具身智能体的状态信息、候选动作块,以及所述目标任务的指令信息,生成下一预测时刻的视觉观测信息和所述具身智能体的状态信息;通过所述视觉-语言-动作模型,基于所述下一预测时刻的视觉观测信息、所述具身智能体的状态信息、候选动作块,以及所述目标任务的指令信息,生成下一预测时刻的候选动作块;根据各预测时刻生成的视觉观测信息、所述具身智能体的状态信息和候选动作块,得到所述候选动作块的反事实轨迹。

8、根据本发明提供的一种视觉-语言-动作模型的后训练方法,所述确定每组推演结果中各候选动作块的反事实轨迹的综合评价值,包括:

9、针对每个候选动作块,根据所述候选动作块的反事实轨迹中各预测时刻的视觉观测信息,得到所述反事实轨迹在各预测时刻的任务进度评估指标,所述任务进度评估指标包括任务进度估计值和所述任务进度估计值的置信度,以及以下中的至少一种:任务完成状态判断结果、任务终止或完成概率;针对每个候选动作块,根据所述反事实轨迹在各预测时刻的任务进度评估指标,得到所述反事实轨迹在各预测时刻的轨迹评价值;其中,所述轨迹评价值是根据以下奖励中的至少一项确定的:反映目标任务的进度增量的正向进度奖励、反映目标任务的进度回退的回退惩罚和反映目标任务的进度达到终点的任务完成奖励;针对每个候选动作块,根据所述反事实轨迹在各预测时刻的轨迹评价值,得到所述反事实轨迹的综合评价值。

10、根据本发明提供的一种视觉-语言-动作模型的后训练方法,所述基于各组推演结果中各候选动作块的反事实轨迹的综合评价值,对所述多个候选动作块进行可靠性筛选,包括:

11、根据各组推演结果中每个候选动作块的多个反事实轨迹的综合评价值,确定所述多个候选动作块的可靠性筛选指标;其中,所述可靠性筛选指标包括以下中的至少一种:每个候选动作块在各组推演结果中的反事实轨迹的综合评价值的波动程度、多个排序结果以及多个差值;其中,所述多个排序结果是基于各组推演结果中每个候选动作块的反事实轨迹的综合评价值,对各候选动作块进行排序得到的;所述多个差值中的每个差值是根据每组推演结果中各候选动作块的反事实轨迹的综合评价值中最大值和最小值之间的差值得到的;根据所述多个候选动作块的可靠性筛选指标,对所述多个候选动作块进行可靠性筛选。

12、根据本发明提供的一种视觉-语言-动作模型的后训练方法,所述根据所述多个候选动作块的可靠性筛选指标,对所述多个候选动作块进行可靠性筛选,包括:

13、在所述可靠性筛选指标满足可靠性筛选条件的情况下,确定所述多个候选动作块通过所述可靠性筛选;其中,所述可靠性筛选条件包括以下条件中的至少一种:每个候选动作块在各组推演结果中的反事实轨迹的综合评价值的波动程度均小于预设波动阈值、所述多个排序结果一致、或所述多个差值均大于预设差值阈值。

14、根据本发明提供的一种视觉-语言-动作模型的后训练方法,所述基于所述训练动作组内各候选动作块的反事实轨迹的综合评价值,对所述视觉-语言-动作模型的策略进行优化,包括:

15、根据所述训练动作组中各候选动作块的反事实轨迹的综合评价值,确定所述训练动作组的平均评价值;针对所述训练动作组中的每个候选动作块,根据所述候选动作块的反事实轨迹的综合评价值和所述平均评价值,确定所述训练动作组中各候选动作块的组相对优势值;基于各候选动作块的组相对优势值,对所述视觉-语言-动作模型的动作生成损失进行加权更新。

16、本发明还提供一种视觉-语言-动作模型的后训练装置,包括:

17、获取模块,用于在目标时间步,获取具身智能体的视觉观测信息,所述具身智能体由视觉-语言-动作模型驱动以执行目标任务;生成模块,用于基于所述视觉观测信息、所述具身智能体的状态信息以及所述目标任务的指令信息,通过所述视觉-语言-动作模型生成多个候选动作块;确定模块,用于基于所述视觉观测信息,确定所述多个候选动作块的想象相关度分值;优化模块,用于在所述想象相关度分值大于预设分数阈值的情况下,基于所述多个候选动作块,对所述视觉-语言-动作模型的策略进行优化。

18、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述视觉-语言-动作模型的后训练方法。

19、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述视觉-语言-动作模型的后训练方法。

20、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述视觉-语言-动作模型的后训练方法。

21、本发明提供的视觉-语言-动作模型的后训练方法、装置及电子设备,在目标时间步,获取具身智能体的视觉观测信息,具身智能体由视觉-语言-动作模型驱动以执行目标任务;基于视觉观测信息、具身智能体的状态信息以及目标任务的指令信息,通过视觉-语言-动作模型生成多个候选动作块;基于视觉观测信息,确定多个候选动作块的想象相关度分值;在想象相关度分值大于预设分数阈值的情况下,基于多个候选动作块,对视觉-语言-动作模型的策略进行优化。通过想象相关度分值,仅在具有较高策略优化价值的具身智能体交互状态下对视觉-语言-动作模型进行策略优化,避免在整个具身智能体的执行轨迹上持续进行高成本的未来预测,从而将动作条件世界模型的前向推理次数降低约80%,同时明显降低gpu计算时间。从而高效、低成本地对视觉-语言-动作模型进行后训练,在减少对大规模示范数据和高风险真实交互依赖的同时,提升视觉-语言-动作模型在特定机器人、目标任务和物理环境中的适应能力。