一种基于对象条件注意力校准的视频世界模型训练方法和装置与流程

本技术涉及人工智能领域，尤其涉及一种基于对象条件注意力校准的视频世界模型训练方法和装置。

背景技术：

1、在具身智能控制场景中，通常需要通过视频世界模型预测下一时刻空间内的各个对象的状态变化，以指导具身智能做出准确的决策和控制。视频世界模型常用来生成预测视频信息，为具身智能的仿真、规划、策略学习和策略评估提供素材支撑。视频世界模型能够根据初始观测、语言任务和动作控制等条件预测环境未来的视觉状态，随着大规模预训练视频生成模型的发展，以视频扩散模型为代表的视频世界模型已能够生成具有较高视觉清晰度和一定时序连贯性的视频。然而，由于具身智能会在空间中与被操作对象进行抓取、接触、推动、堆叠、插入等局部交互，具身应用场景下，视频世界模型预测得到的视频不仅要求画面整体自然，还要求具身智能的动作过程和被操作对象的变化状态符合动作条件和物理关系。

2、现有技术对视频扩散模型进行训练时，通常对全部时空潜在位置的预测误差进行均匀平均。该训练方式使一个区域对参数优化的贡献主要取决于该区域所占面积，而非该区域对任务是否重要。然而，在具身操作视频中，桌面、墙面和静止物体等非操作对象通常占据大部分画面，动作条件变化区域，例如被操纵对象、末端执行器及其接触区域，则仅占据较小范围。因此，采样上述预测误差的计算方式使得模型通过学习大面积非操作对象内容降低了全局损失，稀疏的动作条件变化区域内容仍可能未得到充分训练，训练过程的监督在时空位置上的分配与交互任务的重要程度不匹配，进而出现预测得到的模型对象形变、运动不连续、动作耦合弱、接触关系不一致等问题。

3、为加强模型对动作条件变化区域内容的学习，现有技术通常在训练或生成过程中引入光流、点轨迹、深度图、表面法向、三维重建结果、手部网格或人工分割标注等时空稠密表示，提高动作条件变化区域内容特征的信息量和特征的占比。但这些时空稠密表示的生成通常依赖额外估计模型、几何处理流程或人工核验。随着训练视频数量和视频时长增加，上述训练过程中引入的表示导致预处理开销、存储开销以及误差传播风险相应增加，不利于在大规模异构训练数据上扩展。此外，外部表示的获取方式往往与特定对象类别、摄像机配置或控制形式相对应，在机器人手臂和人体手部等不同交互场景之间，时空稠密表示的获取难以复用。

技术实现思路

1、有鉴于此，本技术提供一种基于对象条件注意力校准的视频世界模型训练方法和装置，用以解决如何在不依赖外部稠密表示且不改变视频世界模型推理架构的前提下，引导视频世界模型关注被操作对象相关区域，以提高模型对具身智能体相关动作视频预测的准确度的问题。

2、具体地，本技术是通过如下技术方案实现的：

3、本技术第一方面提供一种基于对象条件注意力校准的视频世界模型训练方法，所述方法包括：

4、获取视频样本和条件序列样本输入至视频世界模型，所述条件序列样本至少包括任务文本指令，所述任务文本指令至少描述具身智能在空间内的被操作对象；

5、所述视频世界模型基于所述视频样本生成带噪视频潜变量，基于所述带噪视频潜变量与干净潜变量生成速度目标函数；

6、基于所述任务文本指令提取被操作对象的关联词元；

7、计算初始跨注意力矩阵，基于所述关联词元修正所述初始跨注意力矩阵，生成对象条件注意力分布，所述对象条件注意力分布与所述初始跨注意力矩阵相比，所述被操作对象的注意力分数提高，所述空间内除所述被操作对象以外的对象注意力分数降低；

8、根据所述对象条件注意力分布生成交互图；

9、基于所述交互图计算所述空间中各个位置的监督权重，基于所述监督权重对所述速度目标函数进行加权，得到监督函数；

10、基于所述监督函数进行多次反向传播，每次反向传播更新的参数范围不同，所有反向传播更新的参数集合为所述视频世界模型的所有参数。

11、在本技术的较佳实施方式中，所述初始跨注意力矩阵至少包括多个注意力头、多个图块的注意力；所述计算初始跨注意力矩阵，基于所述关联词元修正所述初始跨注意力矩阵，生成对象条件注意力分布，包括：

12、以视频位置为查询，所述任务文本指令对应词元为键值，计算单头、单块原始跨注意力分布，得到初始跨注意力矩阵；

13、根据所述关联词元从所述初始跨注意力矩阵中筛选所述关联词元对应的目标注意力概率；

14、聚合所述目标注意力概率，生成所述对象条件注意力分布。

15、在本技术的另一较佳实施方式中，所述基于所述任务文本指令提取被操作对象的关联词元，包括：

16、将所述任务文本指令输入参数冻结的大语言模型；

17、所述大语言模型从所述任务文本指令中定位所述被操作对象的关联文本；

18、将所述关联文本与所述任务文本指令对齐，基于对齐后的索引确定关联词元，所述关联词元中仅包含与所述被操作对象相关的文本信息。

19、在本技术的另一较佳实施方式中，所述根据所述对象条件注意力分布生成交互图，包括：

20、对所述对象条件注意力分布停止梯度，计算对数几率；在粗时空网格计算平滑扰动，基于所述平滑扰动和所述对数几率生成候选响应；

21、基于覆盖比例从所述候选响应中生成多个候选区域；

22、以所述多个候选区域内停止梯度误差的候选区域的均值确定候选权重；

23、基于所述候选权重与多个候选区域计算交互图。

24、在本技术的另一较佳实施方式中，所述基于所述交互图计算所述空间中各个位置的监督权重，包括：

25、遍历所述空间中的每个时空位置，根据当前时空位置在所述交互图中的第一信息计算第一权重，基于所述第一权重与增强倍数的乘积计算当前时空位置的监督权重，所述被操作对象所在时空位置的监督权重大于1，所述空间中除所述被操作对象以外的所有时空位置的监督权重小于1。

26、在本技术的另一较佳实施方式中，所述基于所述监督权重对所述速度目标函数进行加权，得到监督函数，包括：

27、使用所述监督权重计算所述速度目标函数中每个时空位置函数值的加权和；

28、基于所述监督权重的和值对所述加权和归一化，得到监督函数。

29、在本技术的另一较佳实施方式中，所述反向传播至少包括更新跨注意力参数的反向传播，基于所述监督函数进行多次反向传播，包括：

30、保留跨注意力参数对应的全局目标梯度；

31、抑制除所述跨注意力参数以外的所述视频世界模型的参数梯度；

32、根据所述全局目标梯度执行所述反向传播，更新跨注意力参数。

33、在本技术的另一较佳实施方式中，所述反向传播至少包括更新除跨注意力参数以外的模型参数的反向传播，基于所述监督函数进行多次反向传播，包括：

34、保留除跨注意力参数以外的模型参数的交互加权梯度；

35、抑制跨注意力参数对应的参数梯度；

36、基于所述交互加权梯度执行所述反向传播，更新所述视频世界模型中跨注意力参数以外的模型参数。

37、在本技术的另一较佳实施方式中，所述视频世界模型完成训练之后，所述方法还包括：

38、输入任务指令文本、参考观测、控制信号至训练后的所述视频世界模型；

39、所述视频世界模型生成所述任务指令文本的全信息编码和初始视频潜变量；

40、基于所述全信息编码和所述初始视频潜变量计算跨注意力，生成去噪后视频潜变量；

41、解码所述去噪后视频潜变量生成预测视频。

42、本技术第二方面提供一种基于条件注意力校准的视频世界模型训练装置，所述装置包括：

43、获取模块，用于获取视频样本和条件序列样本输入至视频世界模型，所述条件序列样本至少包括任务文本指令，所述任务文本指令至少描述具身智能在空间内的被操作对象；

44、生成模块，用于所述视频世界模型基于所述视频样本生成带噪视频潜变量，基于所述带噪视频潜变量与干净潜变量生成速度目标函数；

45、提取模块，用于基于所述任务文本指令提取被操作对象的关联词元；

46、计算模块，用于计算初始跨注意力矩阵，基于所述关联词元修正所述初始跨注意力矩阵，生成对象条件注意力分布，所述对象条件注意力分布与所述初始跨注意力矩阵相比，所述被操作对象的注意力分数提高，所述空间内除所述被操作对象以外的对象注意力分数降低；

47、生成模块，用于根据所述对象条件注意力分布生成交互图；

48、生成模块，用于基于所述交互图计算所述空间中各个位置的监督权重，基于所述监督权重对所述速度目标函数进行加权，得到监督函数；

49、更新模块，用于基于所述监督函数进行多次反向传播，每次反向传播更新的参数范围不同，所有反向传播更新的参数集合为所述视频世界模型的所有参数。

50、本技术提供的一种基于对象条件注意力校准的视频世界模型训练方法和装置，仅在视频世界模型的训练过程中，通过复用模型自身产生的初始跨注意力矩阵生成关注被操作对象的条件注意力，进而以交互图的形式表征条件注意力信息，同时还复用了模型自身训练过程中的速度目标函数，生成了包括交互图和监督函数两方面的视频世界模型训练的监督引导信息，使视频世界模型主要学习被操作对象相关的内容，降低对大面积静止区域等非被操作对象的学习，在不调整视频世界模型的推理结构，无需新引入复杂算法计算任何外部稠密表示的情况下，使其仍然能够与现有视频世界模型保持对接，同时提高视频世界模型预测被操作对象变化的精准性，提高视频世界模型视频预测能力与具身智能应用场景的适配度，并且整个过程并未重新计算注意力矩阵，完全复用视频世界模型自身产生的初始跨注意力矩阵，大幅度降低了视频世界模型大规模训练的时间消耗。