用于人形机器人的模型训练方法、运动控制方法、设备及机器人与流程

本技术涉及机器人控制，具体而言，涉及一种用于人形机器人的模型训练方法、运动控制方法、设备及机器人。

背景技术：

1、目前主流的人形机器人全身移动控制策略，通常采用视觉语言动作模型或世界动作模型，前者将视觉观测、任务指令和机器人本体状态输入策略网络，直接生成机器人动作；后者在动作生成之外增加未来图像或视觉特征预测，使模型学习外部场景随动作产生的变化。

2、但这两种模型在数据利用层面存在显著缺陷：互联网人体教学视频、人体动作捕捉、异构仿真机器人轨迹等源本体运动数据具备规模大、获取成本极低的优势，但这些数据与目标人形机器人之间存在骨架拓扑、关节自由度、机械结构的固有差异，缺少统一兼容的运动表征方案，无法在不附带目标机器人电机动作标签的前提下，从海量源本体运动数据中提炼通用全身肢体协同先验。

3、也即，上述两种模型仅能依托目标人形机器人真实数据完成训练，完整真机数据需要同步采集机器人视觉画面、本体状态和控制指令，人力、硬件、时间采集成本高昂，海量低成本的互联网运动数据无法得到有效复用，模型训练对真机示教样本需求量大，落地部署门槛高。

技术实现思路

1、本技术针对上述现有技术中的不足，提供一种用于人形机器人的模型训练方法、运动控制方法、设备及机器人，以便解决现有技术中存在的问题。

2、本技术实施例采用的技术方案如下：

3、第一方面，本技术实施例提供了一种用于人形机器人的模型训练方法，所述方法包括：

4、获取源本体的运动数据以及目标人形机器人的训练数据，其中，所述源本体的运动数据包括：全身运动序列和对应的源本体任务条件，所述目标人形机器人的训练数据包括：机器人任务条件、机器人运动序列；

5、根据所述全身运动序列中的第一历史运动序列、第一未来运动序列和所述源本体任务条件，对初始运动网络进行预训练，得到预训练运动网络；

6、采用所述预训练运动网络，根据所述机器人运动序列中的第二历史运动序列和所述机器人任务条件进行运动预测，得到未来预测运动序列；

7、根据所述机器人运动序列中的第二未来运动序列和所述未来预测运动序列，对所述预训练运动网络进行优化，得到包括目标运动网络的机器人控制网络。

8、在一实施例中，所述根据所述全身运动序列中的第一历史运动序列、第一未来运动序列和所述源本体任务条件进行预训练，得到预训练运动网络之前，所述方法还包括：

9、将所述全身运动序列转换至所述目标人形机器人对应运动模型的时序表示，得到所述源本体的转换后运动序列；

10、从所述转换后运动序列中获取所述第一历史运动序列、所述第一未来运动序列。

11、在一实施例中，所述目标人形机器人的训练数据还包括：视觉观测图像序列、本体状态序列以及对应的机器人动作序列；

12、所述方法还包括：

13、采用初始视觉网络，根据所述视觉观测图像序列中的历史视觉观测图像进行视觉预测，得到未来视觉预测图像；

14、采用初始动作网络，根据所述未来视觉预测图像、所述未来预测运动序列以及所述本体状态序列中对应时间步的本体状态进行动作生成，得到未来预测动作序列；

15、所述根据所述机器人运动序列中的第二未来运动序列和所述未来预测运动序列，对所述预训练运动网络进行优化，得到包括目标运动网络的机器人控制网络，包括：

16、根据所述第二未来运动序列、所述未来预测动作序列、所述视觉观测图像序列中的未来视觉观测图像、所述未来视觉预测图像、所述机器人动作序列中对应的未来动作序列以及所述未来预测动作序列，对所述预训练运动网络、所述初始视觉网络和所述初始动作网络进行联合优化，得到包括目标运动网络、目标视觉网络以及目标动作网络的机器人控制网络。

17、在一实施例中，所述根据所述第二未来运动序列、所述未来预测运动序列、所述视觉观测图像序列中的未来视觉观测图像、所述未来视觉预测图像、所述机器人动作序列中对应的未来动作序列以及所述未来预测动作序列，对所述预训练运动网络、所述初始视觉网络和所述初始动作网络进行联合优化，得到包括目标运动网络、目标视觉网络以及目标动作网络的机器人控制网络，包括：

18、根据所述第二未来运动序列、所述未来预测运动序列，计算所述预训练运动网络的运动预测损失；

19、根据所述未来视觉观测图像和所述未来视觉预测图像，计算所述初始视觉网络的视觉预测损失；

20、根据所述未来动作序列以及所述未来预测动作序列，计算所述初始动作网络的动作生成损失；

21、根据所述运动预测损失、所述视觉预测损失和所述动作生成损失，对所述预训练运动网络、所述初始视觉网络和所述初始动作网络进行联合优化，得到包括所述目标运动网络、所述目标视觉网络以及所述目标动作网络的机器人控制网络。

22、在一实施例中，所述根据所述运动预测损失、所述视觉预测损失和所述动作生成损失，对所述预训练运动网络、所述初始视觉网络和所述初始动作网络进行联合优化，得到包括所述目标运动网络、所述目标视觉网络以及所述目标动作网络的机器人控制网络，包括：

23、根据所述运动预测损失、所述视觉预测损失和所述动作生成损失，计算联合优化损失；

24、根据所述联合优化损失，对所述预训练运动网络、所述初始视觉网络和所述初始动作网络进行联合优化，得到包括所述目标运动网络、所述目标视觉网络以及所述目标动作网络的机器人控制网络。

25、第二方面，本技术实施例提供了一种人形机器人的运动控制方法，所述方法包括：

26、获取目标人形机器人在当前时间之前的历史运动序列以及机器人任务条件；

27、采用机器人控制网络中的目标运动网络，根据所述历史运动序列和所述机器人任务条件进行运动预测，得到所述当前时间之后的未来时间步的未来预测动作序列；

28、在所述未来时间步，根据所述未来预测动作序列，对所述目标人形机器人进行运动控制。

29、在一实施例中，若所述机器人控制网络包括：目标视觉网络和目标动作网络；所述方法还包括：

30、获取目标人形机器人在所述当前时间的观测图像以及本体状态；

31、采用所述机器人控制网络中的目标视觉网络，根据所述当前时间的观测图像进行视觉预测，得到所述未来时间步的未来视觉预测图像；

32、所述在所述未来时间步，根据所述未来预测动作序列，对所述目标人形机器人进行运动控制，包括：

33、采用所述机器人控制网络中的目标动作网络，根据所述未来时间步的未来预测动作序列、所述未来预测动作序列以及所述当前时间的本体状态进行动作预测，得到所述未来时间步的未来预测动作；

34、在所述未来时间步，根据所述未来预测动作，对所述目标人形机器人进行运动控制。

35、第三方面，本技术实施例提供了一种计算机设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当计算机设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以实现上述任一实施例所述的用于人形机器人的模型训练方法。

36、第四方面，本技术实施例提供了一种控制设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当控制设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以实现上述任一实施例所述的人形机器人的运动控制方法。

37、第五方面，本技术实施例提供了一种人形机器人，包括：人形机器人本体和控制设备，所述控制设备用于执行上述任一实施例所述的人形机器人的运动控制方法。

38、本技术的有益效果是：提供了一种用于人形机器人的模型训练方法，仅使用低成本的源本体运动数据独立训练得到预训练运动网络，以提取通用肢体协同先验，再将预训练运动网络迁移至目标人形机器人，并结合真实机器人运动序列对预训练运动网络进行适配优化，解决了现有模型缺少跨本体兼容运动表征、无法复用海量低成本源本体运动数据、训练高度依赖高成本真实机器人数据的缺陷。