一种自进化具身世界模型构建方法及装置
本申请属于人工智能,具体涉及一种自进化具身世界模型构建方法及装置。
背景技术:
1、具身智能作为人工智能领域的核心研究方向,旨在使智能体能够自主感知、理解并与物理世界进行交互。
2、相关技术中,视觉 - 语言 - 动作(vision-language-action,vla)模型与世界模型(world model,wm)相融合的范式为解决长时域具身任务的主流路径。基于该范式所构建的具身世界模型能够兼具 vla 模型统一感知、语言与动作信息的能力,以及世界模型预测未来状态、建模环境动力学的优势。
3、然而,该范式在长视频生成任务中面临根本性瓶颈:世界模型在训练阶段以真实观测帧为输入,在推理阶段却必须依赖自身前序预测结果作为条件,这种训练与推理的分布不匹配会引发严重的曝光偏差(exposure bias),造成生成质量急剧下降与语义漂移,以致具身世界模型的长时域预测质量与任务执行能力受限。
技术实现思路
1、本申请实施例的目的是提供一种自进化具身世界模型构建方法及装置,能够解决相关技术中因世界模型训练与推理的分布不匹配而引发的曝光偏差问题。
2、为了解决上述技术问题,本申请是这样实现的:
3、第一方面,本申请实施例提供了一种自进化具身世界模型构建方法,该方法包括:
4、基于目标模型基座与目标具身环境持续进行在线交互,所述目标模型基座包含共享视觉编码器、vla决策分支与世界模型分支,且所述目标模型基座在所述在线交互过程的每次前向传播中仅执行单步计算;
5、在所述在线交互过程中,将所述目标模型基座在当前时间步所选的动作与所生成的预测帧,以及相应在所述目标具身环境中获取到的真实观测帧与环境真实反馈帧,以元组形式存入经验回放池;
6、在所述在线交互过程中,利用所述经验回放池在当前时间步已存储的不同时间步下的元组构建训练轨迹样本,并依据所述训练轨迹样本的时域复杂度与动作复杂度,确定所述训练轨迹样本的难度等级;
7、在所述在线交互过程中,基于所述经验回放池所关联的所有训练轨迹样本的平均预测质量,确定所述目标模型基座的模型实时能力,并根据所述模型实时能力,动态调整对各难度等级的训练轨迹样本的采样概率以及训练轨迹样本中预测帧作为输入的比例,以在多轮交互中基于能力驱动的课程调度采样机制对所述目标模型基座进行训练;
8、将训练完成的目标模型基座作为具身世界模型,所述具身世界模型用于在所述目标具身环境中执行迭代滚动预测,每次迭代生成固定数量帧的预测结果,并以最后一帧预测结果作为下一轮输入,直至达到任务时域长度。
9、第二方面,本申请实施例提供了一种自进化具身世界模型构建装置,所述装置包括:
10、在线交互模块,用于基于目标模型基座与目标具身环境持续进行在线交互,所述目标模型基座包含共享视觉编码器、vla决策分支与世界模型分支,且所述目标模型基座在所述在线交互过程的每次前向传播中仅执行单步计算;以及在所述在线交互过程中,将所述目标模型基座在当前时间步所选的动作与所生成的预测帧,以及相应在所述目标具身环境中获取到的真实观测帧与环境真实反馈帧,以元组形式存入经验回放池;以及在所述在线交互过程中,利用所述经验回放池在当前时间步已存储的不同时间步下的元组构建训练轨迹样本,并依据所述训练轨迹样本的时域复杂度与动作复杂度,确定所述训练轨迹样本的难度等级;以及在所述在线交互过程中,基于所述经验回放池所关联的所有训练轨迹样本的平均预测质量,确定所述目标模型基座的模型实时能力,并根据所述模型实时能力,动态调整对各难度等级的训练轨迹样本的采样概率以及训练轨迹样本中预测帧作为输入的比例,以在多轮交互中基于能力驱动的课程调度采样机制对所述目标模型基座进行训练;
11、模型构建模块,用于将训练完成的目标模型基座作为具身世界模型,所述具身世界模型用于在所述目标具身环境中执行迭代滚动预测,每次迭代生成固定数量帧的预测结果,并以最后一帧预测结果作为下一轮输入,直至达到任务时域长度。
12、第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的自进化具身世界模型构建方法的步骤。
13、第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的自进化具身世界模型构建方法的步骤。
14、第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的自进化具身世界模型构建方法。
15、在本申请实施例中,基于目标模型基座与目标具身环境持续进行在线交互,以使目标模型基座边生成预测边执行动作,并收集环境真实反馈,进而以元组形式存入经验回放池,实现训练数据的在线动态采集,由此打破了对离线专家数据集的依赖,使得目标模型基座能够在自身预测输出的分布中学习正确的环境动力学,从数据根源缩小训练与推理的分布差距,为后续曝光偏差治理提供数据基础;在此基础上,根据模型实时能力动态调整对各难度等级的训练轨迹样本的采样概率以及训练轨迹样本中预测帧作为输入的比例,以在多轮交互中基于能力驱动的课程调度采样机制对所述目标模型基座进行训练,由此通过主动探索动态生成数据,使训练分布随模型能力同步演进以实现自进化,如此可以系统性缓解自回归生成中的曝光偏差,避免出现生成质量急剧下降与语义漂移的情况,从而提升所构建具身世界模型的长时域预测质量与任务执行能力。
1.一种自进化具身世界模型构建方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
3.根据权利要求1所述的方法,其特征在于,所述各难度等级的训练轨迹样本的采样概率以及训练轨迹样本中预测帧作为输入的比例通过如下公式进行动态调整:
4.根据权利要求1所述的方法,其特征在于,所述训练轨迹样本的难度等级是基于难度得分确定的,所述难度得分通过如下公式计算:
5.根据权利要求1所述的方法,其特征在于,所述模型实时能力使用能力进度值进行表征,所述能力进度值通过如下公式计算:
6.根据权利要求1-5任一所述的方法,其特征在于,所述方法还包括:
7.根据权利要求6所述的方法,其特征在于,所述多步逆动力学损失通过如下公式确定:
8.根据权利要求6所述的方法,其特征在于,所述目标模型基座在训练时所采用的训练轨迹样本包括正样本和负样本;所述轨迹级对比损失通过如下公式确定:
9.根据权利要求8所述的方法,其特征在于,所述利用所述经验回放池在当前时间步已存储的不同时间步下的元组构建训练轨迹样本,包括:
10.一种自进化具身世界模型构建装置,其特征在于,所述装置包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com