一种具身智能世界模型的构建方法及系统与流程

本发明涉及具身智能，更具体地说，是涉及一种具身智能世界模型的构建方法及系统。

背景技术：

1、具身智能旨在赋予智能体在物理环境中感知、理解与行动的能力，是人工智能走向现实应用的关键路径。世界模型作为具身智能系统的核心组件，通过在智能体内部构建环境的动力学模型，使智能体能够在不直接接触物理世界的情况下进行前向推演与行为规划，从而提升决策效率与安全性，已成为机器人认知、自动驾驶与通用具身智能体等领域的核心研究范式。

2、世界模型的核心任务是从高维视觉观测中学习环境动力学规律并预测未来状态。dreamer系列通过循环状态空间模型将视觉输入编码为潜在状态并学习环境动力学，在多项任务中取得优异表现，但其将整个场景编码为统一潜在向量的方式无法区分不同物体及其相互关系，缺乏对物体间物理交互的精细化建模。spartan等研究开始关注物体级因果结构学习，通过基于transformer的对象分解与稀疏正则化建模实体间局部因果关系，初步验证了因果建模对提升泛化能力的价值，但transformer架构的注意力计算复杂度随序列长度呈二次方增长，在处理长序列时面临效率瓶颈。基于状态空间模型的mamba架构被引入世界模型以实现线性复杂度的长序列建模，但现有工作主要聚焦于全局序列预测，未对物体间因果交互进行显式建模。此外，现有模型将环境物理规则与物体状态耦合在同一表征空间中，环境变化时需重新训练，难以实现快速域适应。

3、综上，现有具身智能世界模型在物体级因果交互建模、长序列计算效率与环境自适应能力方面存在明显不足。因此，亟需提供一种方案解决上述问题。

技术实现思路

1、为了克服现有具身智能世界模型难以在同一框架下兼顾物体级因果交互建模、长序列高效推演与环境自适应能力，本发明提供一种具身智能世界模型的构建方法及系统。

2、本发明技术方案如下所述：

3、一种具身智能世界模型的构建方法，包括以下步骤：

4、获取机器人工作场景的输入视频帧，对输入视频帧进行对象提取，得到场景内各物体对应的对象表征，基于输入视频的连续多帧观测生成环境查询向量，将环境查询向量与离散环境码本做相似度匹配检索，得到全局环境表征；

5、将所述对象表征、所述全局环境表征输入多层稀疏因果状态空间模型，每层所述稀疏因果状态空间模型包含独立演化层与因果交互层，基于所述独立演化层与因果交互层输出当前层融合状态表征，并生成当前层的单层因果邻接矩阵，将所述融合状态表征作为下一层稀疏因果状态空间模型的输入，并逐层完成层级推演；

6、将每一层的所述单层因果邻接矩阵叠加单位矩阵后逐层连乘，生成累积多层因果传递路径的全局因果矩阵，构建包含视频重构损失、稀疏正则损失的联合损失函数，基于所述联合损失函数训练稀疏因果状态空间模型以及图像解码器；

7、将稀疏因果状态空间模型最终输出的所述融合状态表征输入图像解码器，解码生成场景未来视频预测帧，并基于所述全局因果矩阵输出物体与环境之间的显式因果结构图。

8、优选的，对输入视频帧进行对象提取，得到场景内各物体对应的对象表征的过程中，包括：

9、预训练实例分割网络或无监督物体发现模块，基于所述实例分割网络或无监督物体发现模块获取各物体的图像区域，基于变分自编码器将所述图像区域编码为物体对应的对象表征。

10、优选的，所述环境查询向量基于所述连续多帧序列中各物体的运动轨迹特征编码得到。

11、优选的，基于所述独立演化层与因果交互层输出当前层融合状态表征的过程中，包括：

12、所述独立演化层基于状态空间模型对所述对象表征、所述全局环境表征进行并行时序推演，得到各物体及全局环境对应的独立演化状态；所述因果交互层基于全部所述独立演化状态计算各物体间的关联权重，生成单层因果邻接矩阵，基于所述单层因果邻接矩阵对各所述独立演化状态加权聚合，输出当前层融合状态表征。

13、优选的，所述因果交互层基于全部所述独立演化状态计算各物体间的关联权重，生成单层因果邻接矩阵的过程中，包括：

14、通过线性投影将全部所述独立演化状态映射为查询向量、键向量和值向量，计算任意两个独立演化状态之间的注意力分数作为关联权重，得到单层因果邻接矩阵，所述计算公式为：

15、；

16、其中，表示从物体到物体的因果影响强度，为sigmoid激活函数，用于将注意力分数映射至[0，1]区间以表征因果影响强度；为第个独立演化状态对应的查询向量，为第个独立演化状态对应的键向量，为向量维度。

17、优选的，基于所述单层因果邻接矩阵对各所述独立演化状态加权聚合，输出当前层融合状态表征的过程中，第个独立演化状态经加权聚合后的更新状态表示为：

18、；

19、其中，为第个物体在时刻的表征向量，为所述独立演化层输出的第个物体的独立演化状态，为所述单层因果邻接矩阵中从物体到物体的因果影响强度，为第个独立演化状态对应的值向量，为多层感知机，用于对值向量进行非线性变换，求和项表示所有对物体具有因果影响的邻居物体对其产生的加权影响总和。

20、优选的，所述全局因果矩阵的计算表达式为：

21、；

22、其中，矩阵中的元素表示从物体到物体存在的因果路径总数，为所述稀疏因果状态空间模型的总层数，为第层的单层因果邻接矩阵，为单位矩阵，表示在第层中引入自环以保留各物体自身状态信息。

23、优选的，所述联合损失函数的表达式为：

24、；

25、其中，是解码器根据预测槽生成的图像，为真实的下一时刻视频帧，是稀疏正则化权重，用于平衡重构损失与稀疏正则损失的相对重要性，为矩阵的l1范数，用于约束全局因果矩阵的稀疏性。

26、优选的，基于所述联合损失函数训练稀疏因果状态空间模型以及图像解码器的过程中，动态调整稀疏正则化权重，具体包括：

27、训练早期设置较小的稀疏正则化权重值，使模型优先通过重构损失学习基础运动规律；

28、基于训练轮次增加，根据重构误差的下降趋势逐步增大所述稀疏正则化权重值，以增强稀疏约束强度，使模型逐步剔除冗余的因果连接，自动发现真实物理交互结构。

29、本发明的第二方面还提供了一种具身智能世界模型的构建系统，包括表征提取模块、表征融合模块、模型优化模块及预测输出模块，其中：

30、表征提取模块，用于获取机器人工作场景的输入视频帧，对输入视频帧进行对象提取，得到场景内各物体对应的对象表征，基于输入视频的连续多帧观测生成环境查询向量，将环境查询向量与离散环境码本做相似度匹配检索，得到全局环境表征；

31、表征融合模块，用于将所述对象表征、所述全局环境表征输入多层稀疏因果状态空间模型，每层所述稀疏因果状态空间模型包含独立演化层与因果交互层，基于所述独立演化层与因果交互层输出当前层融合状态表征，将所述融合状态表征作为下一层稀疏因果状态空间模型的输入，并逐层完成层级推演；

32、模型优化模块，用于将每一层的所述单层因果邻接矩阵叠加单位矩阵后逐层连乘，生成累积多层因果传递路径的全局因果矩阵，构建包含视频重构损失、稀疏正则损失的联合损失函数，基于所述联合损失函数训练稀疏因果状态空间模型以及图像解码器；

33、预测输出模块，用于将稀疏因果状态空间模型最终输出的所述融合状态表征输入图像解码器，解码生成场景未来视频预测帧，并基于所述全局因果矩阵输出物体与环境之间的显式因果结构图。

34、根据上述方案的本发明，其有益效果在于：

35、1、本发明通过对象提取与离散环境码本检索，构建了场景内各物体对应的对象表征及全局环境表征，并在多层稀疏因果状态空间模型中设置因果交互层，以稀疏注意力机制计算物体间的关联权重生成单层因果邻接矩阵，进而将各层矩阵叠加单位矩阵后逐层连乘，构建累积多层因果传递路径的全局因果矩阵，最终输出物体与环境之间的显式因果结构图，使模型具备可解释的因果推理能力，为机器人在分布外场景中的行为决策提供了因果层面的可追溯依据；

36、2、本发明以状态空间模型作为核心时序推演单元，结合稀疏注意力机制与多层级联结构，在保持线性计算复杂度的同时实现物体级因果交互的精细化建模，兼顾长序列预测效率与物体级交互建模能力；

37、3、本发明通过离散环境码本的相似度匹配检索机制构建全局环境表征，将环境物理规则从物体状态中解耦并参与全流程时序推演与因果交互，实现无需重新训练的环境域适应，具备零样本或少样本的环境自适应能力。