一种基于梯度隔离的具身世界模型控制模态持续扩展方法及相关设备与流程

本发明涉及具身智能与视频生成，尤其涉及一种基于梯度隔离的具身世界模型控制模态持续扩展方法及相关设备。

背景技术：

1、已有的具身世界模型以扩散变换器为主干，将前馈网络替换为控制感知的稀疏混合专家层，该层由共享专家、若干对应不同控制模态的专用专家以及稀疏路由器构成。当需要扩展新控制模态时，现有技术是新增一个专用专家，将新模态数据与已有模态数据按固定比例混合，并对共享部分施加较小学习率进行训练。

2、然而，现有技术中稀疏路由结构已在结构层面天然保证了各模态专用专家之间的梯度隔离，已有模态专用专家的参数在扩展过程中本就不会收到来自其他模态的梯度，对其施加冻结或整体小学习率并无实质意义。已有模态控制性能退化的真实路径在于：共享专家、扩散变换器主干以及路由器前置trunk等跨模态共用参数，在新模态梯度的单向驱动下发生位移，导致依赖这些共享参数的已有模态控制跟随能力随之下降。现有技术将学习率整体等比例缩小，在抑制共享参数位移的同时等比例抑制了新模态在共享表征上必需的适配，构成无法调和的稳定性与可塑性两难；固定比例混合无法适配各模态数据规模与收敛速度的差异，新模态训练初期梯度范数天然占优，合成梯度方向仍被新模态主导；且整个过程缺乏对已有模态是否发生退化的在线观测机制，发现问题只能重新训练，代价高昂。

技术实现思路

1、本发明提供一种基于梯度隔离的具身世界模型控制模态持续扩展方法及相关设备，本发明解决了现有技术对专用专家施加冻结或小学习率这一无实质意义操作所带来的稳定性与可塑性的技术问题，使整个扩展过程无需人工干预即可在新模态学习与已有模态保持之间维持受控均衡。

2、第一方面，本技术实施例提供了一种基于梯度隔离的具身世界模型控制模态持续扩展方法，包括：

3、将第一具身世界模型中的模型参数划分为跨模态共享参数与各模态专用参数，并分别对全部已有控制模态执行控制跟随误差评估，得到各已有控制模态的第一控制跟随误差；

4、将新增专用专家与新增控制通路接入所述第一具身世界模型并基于所述第一控制跟随误差生成第二具身世界模型；

5、基于所述第二具身世界模型，对新控制模态梯度向量中与各已有控制模态梯度向量执行投影消解并更新所述跨模态共享参数，得到当前训练步的共享参数更新结果；

6、基于所述共享参数更新结果，计算各控制模态的相对退化率并生成下一评估周期的采样配比与损失权重。

7、可选的，在本发明第一方面的第一种实现方式中，所述将第一具身世界模型中的模型参数划分为跨模态共享参数与各模态专用参数，并分别对全部已有控制模态执行控制跟随误差评估，得到各已有控制模态的第一控制跟随误差，包括：

8、将第一具身世界模型中的模型参数划分为跨模态共享参数与各模态专用参数；

9、基于所述跨模态共享参数与所述各模态专用参数，构建固定探针集，并对所述固定探针集中全部已有控制模态统一使用指数移动平均权重执行确定性推理，得到各已有控制模态的第一生成视频；

10、分别将所述各已有控制模态的第一生成视频输入对应的控制跟随误差计算流程，得到各已有控制模态的第一控制跟随误差。

11、可选的，在本发明第一方面的第二种实现方式中，所述基于所述第一控制跟随误差，将新增专用专家与新增控制通路接入所述第一具身世界模型，得到第二具身世界模型，包括：

12、基于扩展前基线快照中共享专家两层全连接网络的权重矩阵，计算新增专用专家的输入投影权重矩阵与输出投影权重矩阵，并将所述输出投影权重矩阵的全部元素置零、在所述新增专用专家的残差支路串接初值为零的标量门控参数，以使所述新增专用专家完成热启动初始化；

13、将新增控制通路的末层线性层权重与偏置执行零初始化，将所述新增专用专家与所述新增控制通路接入所述第一具身世界模型，对全部已有控制模态执行确定性推理并结合所述第一控制跟随误差构建第二具身世界模型。

14、可选的，在本发明第一方面的第三种实现方式中，所述基于所述第二具身世界模型，对新控制模态梯度向量中与各已有控制模态梯度向量执行投影消解并更新所述跨模态共享参数，得到当前训练步的共享参数更新结果，包括：

15、基于当前采样配比，在每个计算节点内部对全部控制模态执行分层采样并输入所述第二具身世界模型的moe层，得到所述moe层的分组前向计算结果；

16、分别获取所述新控制模态梯度向量与各已有控制模态梯度向量作用于所述跨模态共享参数的原始梯度，统计各控制模态梯度向量的二范数滑动平均值，并以全部控制模态梯度二范数滑动平均值的中位数作为统一参考尺度，对各控制模态梯度向量分别进行缩放，得到范数均衡后的新控制模态梯度向量与范数均衡后的所述各已有控制模态梯度向量；基于所述moe层的分组前向计算结果，对所述范数均衡后的新控制模态梯度向量执行投影消解操作，得到冲突消解后的新控制模态梯度向量；

17、根据所述冲突消解后的新控制模态梯度向量与范数均衡后的所述各已有控制模态梯度向量，对所述跨模态共享参数执行梯度裁剪与优化器步更新，得到当前训练步的共享参数更新结果。

18、可选的，在本发明第一方面的第四种实现方式中，所述基于当前采样配比，在每个计算节点内部对全部控制模态执行分层采样并输入所述第二具身世界模型的moe层，得到所述moe层的分组前向计算结果，包括：

19、基于当前采样配比，在每个计算节点内部对全部控制模态的独立数据加载器分别执行分层采样，得到携带控制模态标识符的全局批次；

20、将所述全局批次输入所述第二具身世界模型的扩散变换器主干，得到各控制模态的token隐藏状态分组；

21、将所述各控制模态的token隐藏状态分组分别输入路由器，路由器对每条token的隐藏状态向量执行均值池化后经前置trunk映射，得到所述moe层的分组前向计算结果。

22、可选的，在本发明第一方面的第五种实现方式中，所述基于所述共享参数更新结果，计算各控制模态的相对退化率并生成下一评估周期的采样配比与损失权重，包括：

23、基于所述共享参数更新结果，对全部已有控制模态及新控制模态分别执行确定性推理，得到各控制模态的第三生成视频，并将各控制模态的第三生成视频分别输入对应的控制跟随误差计算流程，得到各控制模态的第二控制跟随误差；其中，各已有控制模态的第二控制跟随误差以扩展前固化的所述第一控制跟随误差作为比较基线，所述新控制模态在其生成视频满足预设有效生成条件后的首次评估周期中固化得到新控制模态的第一控制跟随误差，并在此后各评估周期中均以该固化结果作为比较基线；

24、计算所述各控制模态的第二控制跟随误差与所述第一控制跟随误差的相对退化率，并根据所述相对退化率确定各控制模态的退化趋势；

25、基于各控制模态的所述退化趋势及其相对退化率，计算下一评估周期的采样配比以及损失权重。

26、第二方面，本技术实施例提供了一种基于梯度隔离的具身世界模型控制模态持续扩展装置，包括：

27、误差评估模块，用于将第一具身世界模型中的模型参数划分为跨模态共享参数与各模态专用参数，并分别对全部已有控制模态执行控制跟随误差评估，得到各已有控制模态的第一控制跟随误差；

28、接入模块，用于将新增专用专家与新增控制通路接入所述第一具身世界模型并基于所述第一控制跟随误差生成第二具身世界模型；

29、参数更新模块，用于基于所述第二具身世界模型，对新控制模态梯度向量中与各已有控制模态梯度向量执行投影消解并更新所述跨模态共享参数，得到当前训练步的共享参数更新结果；

30、计算模块，用于基于所述共享参数更新结果，计算各控制模态的相对退化率并生成下一评估周期的采样配比与损失权重。

31、第三方面，本技术实施例提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于梯度隔离的具身世界模型控制模态持续扩展方法的步骤。

32、第四方面，本技术实施例提供了一种可读存储介质，该可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述基于梯度隔离的具身世界模型控制模态持续扩展方法的步骤。

33、第五方面，本技术实施例提供了一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序在被处理器执行时实现上述基于梯度隔离的具身世界模型控制模态持续扩展方法的步骤。

34、上述基于梯度隔离的具身世界模型控制模态持续扩展方法及相关设备所提供的一个方案中，通过将模型全部参数精确划分为跨模态共享参数与各模态专用参数，将已有模态控制性能退化源于跨模态共享参数在新模态梯度单向驱动下的位移，而非专用专家参数自身被改写。这一精确定位使本发明的全部干预手段得以集中作用于共享参数的梯度合成过程，解决了现有技术对专用专家施加冻结或小学习率这一无实质意义操作所带来的稳定性与可塑性的技术问题。通过对新增专用专家输出投影、新增控制通路末层、共享patch-embed层新增通道权重以及路由器输出头新增行执行系统性零初始化，并结合残差支路标量门控参数的线性warmup机制，保证扩展起始时刻对全部已有控制模态样本的推理输出与扩展前比特级一致，消除结构接入瞬间对已有模态的函数扰动。同时，路由器资格集合softmax归一化仅在对应模态的资格集合上执行，新增专用专家的输出logit不进入已有控制模态样本的softmax分母，从数学上严格保证已有控制模态的路由分布在扩展前后不变，消除了现有技术中路由器trunk被新模态梯度隐式改写而间接扰动已有模态路由分布这一结构性隐患。通过在每个训练步内对全部控制模态的真实数据执行联合采样与分组前向计算，并对各控制模态子批在跨模态共享参数上的梯度向量分别执行二范数滑动平均统计、以统一参考尺度执行逐模态范数均衡，消除了新模态训练初期梯度范数天然占优所造成的方向支配问题；对新控制模态梯度向量中与各已有控制模态梯度向量方向余弦值为负的分量依次执行顺序投影消解，使新控制模态梯度向量相对于各已有控制模态梯度方向的负向余弦分量在逐一消解后被清除或显著降低，从而降低共享参数的合成更新方向与已有模态梯度方向发生冲突的概率，使共享参数的每一步更新均同时承载全部已有模态的真实梯度约束，区别于弹性权重固化、知识蒸馏与生成式回放等使用近似量替代真实梯度的现有持续学习手段。通过以各模态专属的控制跟随误差探针（相机轨迹模态的绝对轨迹误差与相对位姿误差、机器人操作模态的分项归一化动作l2距离、人手动作图模态的归一化二维关节位置误差与关节预测命中率）替代对控制能力退化极不敏感的扩散重构损失作为反馈信号，并对滑动窗口内的相对退化率序列执行最小二乘线性拟合取斜率以抑制单点噪声干扰，将退化趋势的判定由训练结束后评测提前至训练过程中的周期性在线观测；本发明通过采样配比与损失权重两个相互独立的调节旋钮分别干预各模态在共享参数上产生真实梯度的频次与各模态专用专家的有效更新步数，构成对已有模态退化的闭环纠偏机制，将静态先验配比替换为以控制保真度为信号的动态自适应调节，使整个扩展过程无需人工干预即可在新模态学习与已有模态保持之间维持受控均衡。