用于智能体连续控制系统的多任务AI世界模型训练方法及系统

本发明涉及人工智能及世界模型，尤其涉及用于智能体连续控制系统的多任务ai世界模型训练方法及系统。

背景技术：

1、智能体连续控制系统是指，基于人工智能对由旋转关节或移动关节构成的物理被控对象（包括但不限于关节型腿足式机器人、多自由度串联/并联机械臂、关节式倒立摆系统、多指灵巧手等）的连续状态（包括关节角度、关节角速度、物理被控对象姿态、接触状态、末端位姿或目标物体位姿等）进行实时感知与动作输出的系统；其动作输出为作用于关节的执行器控制量，包括电机力矩、目标关节位置或关节角速度，以实现多任务连续控制。多任务包括行走、跳跃、站立、摆杆平衡、手指旋转中至少两类。ai世界模型能够将高维观测状态压缩为潜在状态，并在潜在空间中学习潜在状态转移规律，是智能体连续控制系统的重要技术路线。ai是artificial intelligence缩写，表示人工智能。

2、在智能体连续控制系统的多任务控制场景中，单一共享ai世界模型，需要同时适配不同任务目标、不同接触模式、不同惯性属性、不同摩擦条件以及不同执行器约束等物理差异。若直接训练一个单体ai世界模型吸收全部任务差异，来自不同物理机制的梯度容易在共享动力学参数上发生冲突，从而导致负迁移、训练不稳定、复杂任务欠拟合以及简单任务过拟合。

3、为解决上述问题，现有技术在冻结的ai世界模型骨干基础上增加普通多层感知机残差模块或通用低秩适配残差模块，利用可学习的残差模块拟合真实值与骨干预测值的差距，但这类非结构化残差模块容易拟合回放轨迹片段数据中的高频噪声，在质量、摩擦、接触条件等物理参数扰动下鲁棒性不足。

4、在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

5、用于多任务控制场景的单一ai世界模型在训练中，采用非结构化残差拟合真实值与骨干预测值的差距时，容易拟合回放轨迹片段数据中的高频噪声，存在鲁棒性不足。

技术实现思路

1、本发明的目的在于提供用于智能体连续控制系统的多任务ai世界模型训练方法及系统，以解决现有技术中存在的用于多任务控制场景的单一ai世界模型在训练中，采用非结构化残差拟合真实值与骨干预测值的差距时，容易拟合回放数据中的高频噪声，存在鲁棒性不足的技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。

2、为实现上述目的，本发明提供了以下技术方案：

3、本发明提供的用于智能体连续控制系统的多任务ai世界模型训练方法，在每个训练迭代步中执行：获取多个轨迹片段，每个所述轨迹片段包括多个连续时间步的观测状态、动作和任务嵌入；所述观测状态包括关节角度、关节角速度、物理被控对象姿态、接触状态、目标物体位姿、环境参数中至少两者；所述动作包括电机力矩指令、关节位置指令、关节角速度指令中至少一者；任务包括行走、跳跃、站立、摆杆平衡、手指旋转中至少两者；将每个时间步的所述观测状态、所述动作和所述任务嵌入输入ai世界模型，所述ai世界模型包括：预训练的编码器，将每个时间步的所述观测状态和所述任务嵌入编码为潜在状态；预训练的基础潜在动力学模块，根据每个时间步的所述潜在状态、所述动作和所述任务嵌入生成归一化前基础转移先验；结构化残差模块，基于每个时间步的所述潜在状态、所述动作和所述任务嵌入获得残差特征，利用结构化基专家组处理所述残差特征，基于所述结构化基专家组的输出特征获得结构化残差，融合所述结构化残差和所述归一化前基础转移先验，获得下一修正潜在状态；预测头组，基于所述下一修正潜在状态获得该时间步的多个预测结果；基于所述多个预测结果计算损失，基于所述损失更新所述结构化残差模块和所述预测头组的可学习参数。

4、优选的，所述结构化残差模块包括：残差特征投影层，将每个时间步的所述潜在状态、所述动作和所述任务嵌入映射为残差特征；所述结构化基专家组，包括至少一个结构化基专家，分别处理所述残差特征；专家路由器，根据所述残差特征、所述任务嵌入和所述动作计算每个所述结构化基专家的混合权重；第一融合单元，利用所述混合权重融合至少一个所述结构化基专家的输出特征，获得中间残差表示；门控单元，利用任务调制系数对所述中间残差表示进行门控处理，获得结构化残差；融合归一单元，融合所述结构化残差和所述归一化前基础转移先验，获得融合特征，归一化所述融合特征获得下一修正潜在状态。

5、优选的，在所述融合归一单元中，对所述结构化残差和所述归一化前基础转移先验进行元素级相加，获得融合特征。

6、优选的，所述结构化基专家组包括线性基专家、二次基专家、三次基专家、随机傅里叶特征专家中至少一者。

7、优选的，所述线性基专家的输出特征为：；所述二次基专家的输出特征为：；所述三次基专家的输出特征为：；所述随机傅里叶特征专家的输出特征为：；其中，表示时间步的残差特征；表示所述线性基专家的可学习权重矩阵；、分别表示所述二次基专家的第一可学习权重矩阵、第二可学习权重矩阵；表示逐元素乘法；、分别表示所述三次基专家的可学习权重矩阵、可学习偏置矩阵；、分别表示随机频率矩阵、随机相位向量；表示余弦函数；表示正弦函数；表示所述随机傅里叶特征专家的线性映射层。

8、优选的，所述专家路由器包括：路由器线性层，将每个时间步的所述残差特征、所述任务嵌入和所述动作映射为权重中间特征；第一归一化层，对所述权重中间特征进行归一化处理，获得每个所述结构化基专家的混合权重。

9、优选的，所述结构化残差模块还包括基于每个时间步的所述任务嵌入获得所述任务调制系数的任务调制支路。

10、优选的，所述任务调制支路包括依次连接的第一多层感知机、第二多层感知机和第二归一化层。

11、优选的，所述预测头组包括奖励预测头、值函数预测头和策略先验头；每个时间步的多个预测结果包括所述奖励预测头输出的奖励分桶概率分布、所述值函数预测头输出的值分桶概率分布、所述策略先验头输出的策略；所述损失包括潜在一致性损失项、奖励预测损失项和值函数预测损失项；所述一致性损失项基于状态偏差获得，所述状态偏差为下一修正潜在状态与所述编码器根据下一时间步的所述观测状态和所述任务嵌入生成的潜在状态的偏差。

12、本发明还提供了智能体连续控制系统，所述系统包括：状态感知模块，用于获取当前时间步的观测状态、任务嵌入和动作；处理器，部署有ai世界模型，利用所述ai世界模型处理当前时间步的所述观测状态、所述任务嵌入和所述动作，获得当前时间步的策略，基于所述策略进行采样获得动作指令；其中，所述ai世界模型包括：预训练的编码器，用于将每个时间步的所述观测状态和所述任务嵌入编码为潜在状态；预训练的基础潜在动力学模块，用于根据每个时间步的所述潜在状态、所述动作和所述任务嵌入生成归一化前基础转移先验；结构化残差模块，基于每个时间步的所述潜在状态、所述动作和所述任务嵌入获得残差特征，利用结构化基专家组处理所述残差特征，基于所述结构化基专家组的输出特征获得结构化残差，融合所述结构化残差和所述归一化前基础转移先验，获得下一修正潜在状态；以及，预测头组，基于所述下一修正潜在状态获得该时间步的多个预测结果；或者，所述ai世界模型按照本发明提供的用于智能体连续控制系统的多任务ai世界模型训练方法获得。

13、实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：

14、在ai世界模型中引入结构化残差模块，结构化残差模块基于每个时间步的潜在状态、动作和任务嵌入获得残差特征，利用结构化基专家组处理残差特征，通过结构化基专家限制残差函数类，降低对回放轨迹片段中高频噪声和随机波动的拟合自由度，提高了鲁棒性，并且将任务嵌入作为一个输入条件，使结构化残差模块仅学习由任务变化引起的结构化残差（即结构化的潜在状态偏差），再将结构化残差和基础潜在动力学模块输出的归一化前基础转移先验融合，获得更准确的下一修正潜在状态，预测头基于下一修正潜在状态获得精度更高的预测结果；在训练中冻结编码器和基础潜在动力学模块，仅更新结构化残差模块和预测头组的可学习参数，保持不同任务共享ai世界模型骨干稳定的同时隔离任务特异动力学变化，避免异构任务梯度直接破坏共享潜在动力学，减少多任务梯度干扰，提升ai世界模型的参数优化效率和跨物理参数扰动的鲁棒性，在较小可训练参数预算下提升多任务平均性能和对跨质量、摩擦等物理参数扰动的稳定性。