机器人动作生成方法、模型训练方法及相关设备与流程

摘要: 本申请实施例涉及人工智能,尤其涉及机器人动作生成方法、模型训练方法及相关设备。背景技术:1、随着机器人技术和人工智能技术的发展,机器人可以基于视觉信息、语言信息...
机器人动作生成方法、模型训练方法及相关设备与流程

本申请实施例涉及人工智能,尤其涉及机器人动作生成方法、模型训练方法及相关设备。

背景技术:

1、随着机器人技术和人工智能技术的发展,机器人可以基于视觉信息、语言信息以及机器人自身状态信息进行动作生成,以实现自主运动和人机交互。然而,现有机器人动作生成方法在生成一段连续动作时,动作生成效率较低,难以满足机器人实时动作生成需求。

2、基于此,本申请实施例提供了机器人动作生成方法、模型训练方法及相关设备,以改进相关技术。

技术实现思路

1、本申请实施例的目的在于提供机器人动作生成方法、模型训练方法及相关设备,以提高机器人动作生成效率。

2、第一方面,本申请实施例提供了一种机器人动作生成方法,包括:接收机器人动作生成任务对应的任务输入信息;基于所述任务输入信息生成条件信息;基于所述条件信息,利用动作扩散模型生成运动潜在特征信息,所述运动潜在特征信息用于表征与所述机器人动作生成任务相关的运动语义;基于所述运动潜在特征信息,利用动作自回归模型生成连续动作词元序列,在所述连续动作词元序列中,除第1个连续动作词元外,其余待生成的连续动作词元均是基于所述运动潜在特征信息以及已生成的至少部分连续动作词元生成,各所述连续动作词元分别对应由多个时序连续的机器人姿态数据构成的连续动作片段;对所述连续动作词元序列中的连续动作词元进行解码,得到对应连续动作片段的机器人动作信息。

3、第二方面,本申请实施例提供了一种机器人动作生成模型训练方法,所述机器人动作生成模型包括动作扩散模型和动作自回归模型,所述机器人动作生成模型训练方法包括:接收第一训练数据集中的第一训练样本,所述第一训练样本包括第一训练输入信息和第一训练监督信息;基于所述第一训练输入信息生成第一训练条件信息,将所述第一训练条件信息、训练无条件信息和训练扩散时间步信息输入所述动作扩散模型,利用所述动作扩散模型进行推理,得到第一训练运动潜在特征信息;基于所述第一训练运动潜在特征信息生成第一训练预测信息,并基于所述第一训练预测信息和所述第一训练监督信息确定第一训练损失,基于所述第一训练损失训练所述动作扩散模型;接收第二训练数据集中的第二训练样本,所述第二训练样本包括第二训练输入信息以及与所述第二训练输入信息对应的训练连续动作词元序列,各所述训练连续动作词元分别对应由多个时序连续的机器人姿态数据构成的连续动作片段;基于所述第二训练输入信息生成第二训练条件信息,将所述第二训练条件信息、训练无条件信息和训练扩散时间步信息输入所述动作扩散模型,利用所述动作扩散模型进行推理,得到第二训练运动潜在特征信息;基于所述第二训练运动潜在特征信息,利用所述动作自回归模型生成预测的连续动作词元序列;基于预测的连续动作词元序列和所述训练连续动作词元序列确定第二训练损失,并基于所述第二训练损失训练所述动作扩散模型和所述动作自回归模型;其中,在基于所述第二训练损失进行训练的过程中,所述动作扩散模型的模型参数按照第一学习率调度策略更新,所述动作自回归模型的模型参数按照第二学习率调度策略更新,其中,所述动作扩散模型对应的最大学习率小于所述动作自回归模型对应的最大学习率。

4、第三方面,本申请实施例提供了一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项方法的步骤。

5、第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项方法的步骤。

6、第五方面,本申请实施例提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现上述任一项方法的步骤。

1.一种机器人动作生成方法,其特征在于,包括:

2.根据权利要求1所述的机器人动作生成方法,其特征在于,所述任务输入信息包括机器人姿态信息、视觉信息和任务指令信息,其中,视觉信息包括机器人采集的图像信息和/或视频信息;

3.根据权利要求2所述的机器人动作生成方法,其特征在于,所述分别对所述机器人姿态信息、所述视觉信息和所述任务指令信息进行编码,得到机器人姿态编码信息、视觉编码信息和任务指令编码信息,包括:

4.根据权利要求1所述的机器人动作生成方法,其特征在于,所述基于所述条件信息,利用动作扩散模型生成运动潜在特征信息,包括:

5.根据权利要求1所述的机器人动作生成方法,其特征在于,所述基于所述运动潜在特征信息,利用动作自回归模型生成连续动作词元序列,以及所述对所述连续动作词元序列中的连续动作词元进行解码,得到对应连续动作片段的机器人动作信息,包括:

6.根据权利要求1所述的机器人动作生成方法,其特征在于,所述动作自回归模型的词元输出空间由连续动作词元词本限定;

7.根据权利要求6所述的机器人动作生成方法,其特征在于,所述连续动作词元词本通过以下方式构建:

8.根据权利要求7所述的机器人动作生成方法,其特征在于,所述对所述候选基本连续动作词元执行消除合并,得到基本连续动作词元,包括:

9.根据权利要求8所述的机器人动作生成方法,其特征在于,所述对至少部分所述基本连续动作词元执行拼接合并,得到复合连续动作词元,包括:

10.根据权利要求8所述的机器人动作生成方法,其特征在于,所述对至少部分所述基本连续动作词元执行拼接合并,得到复合连续动作词元,包括:

11.一种机器人动作生成模型训练方法,其特征在于,所述机器人动作生成模型包括动作扩散模型和动作自回归模型,所述机器人动作生成模型训练方法包括:

12.根据权利要求11所述的机器人动作生成模型训练方法,其特征在于,所述第一训练数据集包括多条第一训练样本,其中,至少部分第一训练样本中的第一训练输入信息包括人体动作图像信息和/或人体动作视频信息,且所述至少部分第一训练样本在所述第一训练数据集中的占比大于或等于设定比例。

13.根据权利要求11所述的机器人动作生成模型训练方法,其特征在于,所述动作自回归模型包括低秩适配参数;

14.根据权利要求13所述的机器人动作生成模型训练方法,其特征在于,所述基于连续动作词元词本,将所述目标后训练动作对应的机器人姿态数据转换为后训练连续动作词元序列,包括:

15.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至14中任一项所述方法的步骤。

16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至14中任一项所述方法的步骤。

17.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现权利要求1至14中任一项所述方法的步骤。