基于世界模型的机器人运动控制方法、装置、设备及介质与流程

本技术涉及但不限于机器人运动控制，尤其涉及一种基于世界模型的机器人运动控制方法、装置、设备及介质。

背景技术：

1、在基于模型的强化学习框架下，潜空间世界模型作为强化学习算法内部的环境模拟器，能够在强化学习更新过程中预测下一时刻潜变量、奖励或价值，从而辅助动作预测模型进行策略更新和动作评估。

2、现有应用在强化学习的潜空间世界模型，先在仿真环境中训练得到，再部署到真实机器人上。但是，真实机器人与仿真环境之间存在多维度的差异，包括动力学差异、控制延迟、关节执行误差、摩擦和接触模型偏差、相机时序差异等，导致仿真训练得到的潜空间世界模型在真实环境中预测结果的准确性欠佳，进而影响强化学习所训练的动作预测模型的准确性。

技术实现思路

1、本技术实施例提供了一种基于世界模型的机器人运动控制方法、装置、设备及介质，能够提升潜空间世界模型在真机环境中预测结果的准确性。

2、第一方面，本技术实施例提供了一种基于世界模型的机器人运动控制方法，包括：

3、获取真实交互数据 ，其中，所述真实交互数据包括从真实物理环境中采集到的机器人当前的观测信息、当前的第一动作参数和下一状态的观测信息，任一的观测信息包括同一时刻采集到的机器人本体的状态信息和机器人的观测图像；

4、通过第一世界模型的编码器将所述当前的观测信息编码为第一参考潜变量，其中，所述第一世界模型在仿真环境中训练得到；

5、通过所述编码器将所述下一状态的观测信息编码为第二参考潜变量；

6、将所述第一参考潜变量和所述当前的第一动作参数输入至所述第一世界模型的潜空间动力学模型，预测得到下一状态的第三参考潜变量；

7、基于所述第二参考潜变量与所述第三参考潜变量之间的状态偏差校准所述第一世界模型，得到第二世界模型；

8、将所述第二世界模型部署在所述机器人上，以使所述机器人基于所述第二世界模型确定第二动作参数，基于所述第二动作参数控制所述机器人运动。

9、在一些实施例中，基于所述第二参考潜变量与所述第三参考潜变量之间的状态偏差校准所述第一世界模型，得到第二世界模型，包括：

10、计算所述第二参考潜变量与所述第三参考潜变量之间的第一一致性误差；

11、当所述第一一致性误差小于第一阈值，且所述第一一致性误差与仿真验证误差之间的差值小于第二阈值，基于所述第一一致性误差更新所述第一世界模型，得到所述第二世界模型，其中，所述仿真验证误差为世界模型在仿真环境中，基于历史仿真数据计算得到的下一状态的潜变量与仿真环境给出的真实下一状态的潜变量之间的误差值。

12、在一些实施例中，基于所述一致性误差更新所述第一世界模型，得到所述第二世界模型，包括：

13、保持所述第一世界模型中除了所述潜空间动力学模型以外，剩余的模块的模型参数固定不变；

14、基于所述第一一致性误差更新所述第一世界模型中所述潜空间动力学模型的模型参数，得到所述第二世界模型。

15、在一些实施例中，基于所述第二参考潜变量与所述第三参考潜变量之间的状态偏差校准所述第一世界模型，得到第二世界模型，包括：

16、当所述第一一致性误差大于或等于所述第一阈值，或者所述第一一致性误差与仿真验证误差之间的差值大于或等于所述第二阈值，在所述编码器的输入端或输出端配置差异修正模块，其中，所述差异修正模块的第一模型参数量与所述编码器的第二模型参数量之间的差值大于第三阈值，所述第一模型参数量小于所述第二模型参数量，所述差异修正模块用于修正机器人当前的真实观测信息与仿真观测信息之间的分布差异；

17、获取第一目标潜变量，其中，所述第一目标潜变量满足以下任一条件：当所述差异修正模块配置于所述编码器的输入端，所述第一目标潜变量为所述编码器基于所述差异修正模块对所述当前的观测信息进行修正处理后的数据编码得到；当所述差异修正模块配置于所述编码器的输出端，所述第一目标潜变量为所述差异修正模块基于所述编码器对所述当前的观测信息进行编码后的潜变量进行修正处理得到；

18、获取第二目标潜变量，其中，所述第二目标潜变量满足以下任一条件：当所述差异修正模块配置于所述编码器的输入端，所述第二目标潜变量为所述编码器基于所述差异修正模块对所述下一状态的观测信息进行修正处理后的数据编码得到；当所述差异修正模块配置于所述编码器的输出端，所述第二目标潜变量为所述差异修正模块基于所述编码器对所述下一状态的观测信息进行编码后的潜变量进行修正处理得到；

19、将所述第一目标潜变量和所述当前的第一动作参数输入至所述潜空间动力学模型，预测得到下一状态的第一中间潜变量；

20、计算所述第一中间潜变量与所述第二目标潜变量之间的第二一致性误差；

21、基于所述第一目标潜变量与所述第一参考潜变量构建第一潜空间锚定约束项，基于所述第二一致性误差与第一潜空间锚定约束项计算第一目标损失值，其中，所述第一潜空间锚定约束项用于约束所述第一目标潜变量与所述第一参考潜变量之间的差异；

22、基于所述第一目标损失值更新所述第一世界模型中所述差异修正模块的模型参数、所述编码器的模型参数和所述潜空间动力学模型的模型参数，得到所述第二世界模型。

23、在一些实施例中，所述编码器包括多个依次连接的编码层，多个所述编码层包括第一编码层至第n编码层，n为大于1的正整数，基于所述第二参考潜变量与所述第三参考潜变量之间的状态偏差校准所述第一世界模型，得到第二世界模型，包括：

24、当所述第一一致性误差大于或等于所述第一阈值，或者所述第一一致性误差与仿真验证误差之间的差值大于或等于所述第二阈值，采用目标学习率更新所述编码器中第m编码层至所述第n编码层的参数，得到新的编码器，其中，m为大于1且小于n的正整数；

25、通过所述新的编码器将所述当前的观测信息编码为第三目标潜变量；

26、通过所述新的编码器将所述下一状态的观测信息编码为第四目标潜变量；

27、将所述第三目标潜变量和所述当前的第一动作参数输入至所述潜空间动力学模型，预测得到下一状态的第二中间潜变量；

28、计算所述第二中间潜变量与所述第四目标潜变量之间的第三一致性误差；

29、基于所述第三目标潜变量与所述第一参考潜变量构建第二潜空间锚定约束项，基于所述第三一致性误差与所述第二潜空间锚定约束项计算第二目标损失值，其中，所述第二潜空间锚定约束项用于约束所述第三目标潜变量与所述第一参考潜变量之间的差异；

30、基于所述第二目标损失值更新所述第一世界模型中所述新的编码器的模型参数和所述潜空间动力学模型的模型参数，得到所述第二世界模型。

31、在一些实施例中，基于所述第一目标潜变量与所述第一参考潜变量构建第一潜空间锚定约束项，基于所述第二一致性误差与第一潜空间锚定约束项计算第一目标损失值，包括：

32、计算所述第一目标潜变量与所述第一参考潜变量之间的第一欧几里得距离，将所述第一欧几里得距离的平方确定为所述第一潜空间锚定约束项；

33、对所述第二一致性误差与所述第一潜空间锚定约束项进行加权求和，得到所述第一目标损失值。

34、在一些实施例中，基于所述第三目标潜变量与所述第一参考潜变量构建第二潜空间锚定约束项，基于所述第三一致性误差与所述第二潜空间锚定约束项计算第二目标损失值，包括：

35、计算所述第三目标潜变量与所述第一参考潜变量之间的第二欧几里得距离，将所述第二欧几里得距离的平方确定为所述第二潜空间锚定约束项；

36、对所述第三一致性误差与所述第二潜空间锚定约束项进行加权求和，得到所述第二目标损失值。

37、第二方面，本技术实施例提供了一种控制装置，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如第一方面所述的基于世界模型的机器人运动控制方法。

38、第三方面，本技术实施例还提供了一种电子设备，包括第二方面的控制装置。

39、第四方面，本技术实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的基于世界模型的机器人运动控制方法。

40、本技术实施例提供了一种基于世界模型的机器人运动控制方法、装置、设备及介质，方法包括：获取真实交互数据，其中，所述真实交互数据包括从真实物理环境中采集到的机器人当前的观测信息、当前的第一动作参数和下一状态的观测信息，任一的观测信息包括同一时刻采集到的机器人本体的状态信息和机器人的观测图像；通过第一世界模型的编码器将所述当前的观测信息编码为第一参考潜变量，其中，所述第一世界模型在仿真环境中训练得到；通过所述编码器将所述下一状态的观测信息编码为第二参考潜变量；将所述第一参考潜变量和所述当前的第一动作参数输入至所述第一世界模型的潜空间动力学模型，预测得到下一状态的第三参考潜变量；基于所述第二参考潜变量与所述第三参考潜变量之间的状态偏差校准所述第一世界模型，得到第二世界模型；将所述第二世界模型部署在所述机器人上，以使所述机器人基于所述第二世界模型确定第二动作参数，基于所述第二动作参数控制所述机器人运动。根据本技术实施例提供的方案，基于机器人的真机状态数据，计算机器人当前的真实潜变量与仿真训练得到的世界模型预测的潜变量之间的状态偏差，基于状态偏差校准世界模型，相较于现有应用仅基于仿真训练的世界模型的方案，能够提升世界模型在真机环境中预测结果的准确性，进而提升世界模型所训练的目标动作预测模型的准确性。