视觉语言动作模型训练方法及装置、设备、介质、产品与流程

摘要: 本申请实施例涉及机器人和模型训练,尤其涉及视觉语言动作模型训练方法及装置、设备、介质、产品。背景技术:1、随着人工智能技术和机器人技术的发展,机器人逐渐被应用于...
视觉语言动作模型训练方法及装置、设备、介质、产品与流程

本申请实施例涉及机器人和模型训练,尤其涉及视觉语言动作模型训练方法及装置、设备、介质、产品。

背景技术:

1、随着人工智能技术和机器人技术的发展,机器人逐渐被应用于工业制造、仓储物流、家庭服务、医疗辅助、商业服务、教育陪伴等多种场景。视觉语言动作模型可以根据输入信息生成相应动作信息,使机器人能够执行操作任务。当前,视觉语言动作模型在跨场景、跨任务和跨动作执行主体场景中的泛化能力不足,难以满足实际应用需求。

2、基于此,本申请实施例提供了视觉语言动作模型训练方法及装置、设备、介质、产品,以改进相关技术。

技术实现思路

1、本申请实施例的目的在于提供视觉语言动作模型训练方法及装置、设备、介质、产品,提升视觉语言动作模型在跨场景、跨任务和跨动作执行主体场景中的泛化能力。

2、第一方面,本申请实施例提供了一种视觉语言动作模型训练方法,视觉语言动作模型包括语义网络和连续动作网络,所述方法包括:接收多源训练数据,所述多源训练数据包括第一训练数据、第二训练数据和视觉语言训练数据,所述第一训练数据为第一视角人类操作数据,所述第二训练数据为动作执行主体不同于人类操作者的操作数据,所述第一训练数据和所述第二训练数据分别包括视觉观测信息、任务指令信息和动作轨迹信息;基于所述第一训练数据和所述第二训练数据中的动作轨迹信息,生成对应的离散动作语义信息,并基于所述离散动作语义信息以及所述视觉语言训练数据,对所述语义网络进行训练;基于所述第一训练数据,确定用于训练所述连续动作网络的连续动作监督信息;基于所述语义网络输出的条件动作语义信息和所述连续动作监督信息,对所述连续动作网络进行训练,得到训练后的视觉语言动作模型。

3、第二方面,本申请实施例提供了一种视觉语言动作模型训练装置,视觉语言动作模型包括语义网络和连续动作网络,所述装置包括:数据接收模块,用于接收多源训练数据,所述多源训练数据包括第一训练数据、第二训练数据和视觉语言训练数据,所述第一训练数据为第一视角人类操作数据,所述第二训练数据为动作执行主体不同于人类操作者的操作数据,所述第一训练数据和所述第二训练数据分别包括视觉观测信息、任务指令信息和动作轨迹信息;第一训练模块,用于基于所述第一训练数据和所述第二训练数据中的动作轨迹信息,生成对应的离散动作语义信息,并基于所述离散动作语义信息以及所述视觉语言训练数据,对所述语义网络进行训练;监督配置模块,用于基于所述第一训练数据,确定用于训练所述连续动作网络的连续动作监督信息;第二训练模块,用于基于所述语义网络输出的条件动作语义信息和所述连续动作监督信息,对所述连续动作网络进行训练,得到训练后的视觉语言动作模型。

4、第三方面,本申请实施例提供了一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项方法的步骤。

5、第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项方法的步骤。

6、第五方面,本申请实施例提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现上述任一项方法的步骤。

7、本申请实施例提供了视觉语言动作模型训练方法及装置、设备、介质、产品,采用语义网络统一学习离散动作语义且连续动作网络由第一视角人类操作数据主导训练的构思,从而提升视觉语言动作模型在跨场景、跨任务和跨动作执行主体场景中的泛化能力。

1.一种视觉语言动作模型训练方法,其特征在于,视觉语言动作模型包括语义网络和连续动作网络,所述方法包括:

2.根据权利要求1所述的视觉语言动作模型训练方法,其特征在于,所述接收多源训练数据之后,所述方法还包括:

3.根据权利要求1所述的视觉语言动作模型训练方法,其特征在于,所述基于所述第一训练数据和所述第二训练数据中的动作轨迹信息,生成对应的离散动作语义信息,包括:

4.根据权利要求1所述的视觉语言动作模型训练方法,其特征在于,所述基于所述离散动作语义信息以及所述视觉语言训练数据,对所述语义网络进行训练,包括:

5.根据权利要求4所述的视觉语言动作模型训练方法,其特征在于,所述基于所述动作语义损失信息以及所述视觉语言训练数据,对所述语义网络进行训练,包括:

6.根据权利要求1至5中任一项所述的视觉语言动作模型训练方法,其特征在于,所述基于所述第一训练数据,确定用于训练所述连续动作网络的连续动作监督信息,包括:

7.根据权利要求6所述的视觉语言动作模型训练方法,其特征在于,所述基于所述语义网络输出的条件动作语义信息和所述连续动作监督信息,对所述连续动作网络进行训练,包括:

8.根据权利要求7所述的视觉语言动作模型训练方法,其特征在于,所述基于所述条件动作语义信息,通过所述连续动作网络生成预测连续动作信息,包括:

9.一种视觉语言动作模型训练装置,其特征在于,视觉语言动作模型包括语义网络和连续动作网络,所述装置包括:

10.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。

12.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。