一种模型训练方法和相关设备与流程

摘要: 本申请涉及模型训练,尤其涉及一种模型训练方法和相关设备。背景技术:1、具身智能是人工智能领域的重要分支,其核心思想是智能体通过与物理环境的交互来学习和进化。与传...
一种模型训练方法和相关设备与流程

本申请涉及模型训练,尤其涉及一种模型训练方法和相关设备。

背景技术:

1、具身智能是人工智能领域的重要分支,其核心思想是智能体通过与物理环境的交互来学习和进化。与传统的基于符号推理或纯数据驱动的ai方法不同,具身智能强调智能体需要具备物体实体(如机器人),以通过感知-决策-执行的闭环交互来实现任务目标。为了实现该任务目标,需要对机器人进行定期的训练更新。

2、示例性技术中,人类训练师观察机器人的行为并提供实时的奖励反馈,使得机器人通过监督学习建模人类的奖励函数,并选择预测能够获得最高奖励的动作,从而实现对机器人的训练更新。

3、但上述训练方式仅支持数值型的奖励,也即需要将用户对机器人的行为的反馈转换为数值型的奖励,而用户的偏好难以转换为数值型奖励,使得机器人难以学习到用户的偏好,导致机器人做出的决策难以符合用户意图。

技术实现思路

1、基于上述技术现状,本申请提供一种模型训练方法和相关设备,用于解决机器人做出的决策难以符合用户意图的问题。

2、为了达到上述技术目的,本申请具体提出如下技术方案:

3、第一方面,本申请提供了一种模型训练方法,包括:

4、获取对机器人进行控制的各个自然语言指令,并将每个所述自然语言指令转换为对应的用户对机器人控制偏好的表示向量;

5、根据每个所述自然语言指令的表示向量以及所述机器人的执行轨迹,构建每个所述自然语言指令对应的训练样本,所述执行轨迹包括所述机器人执行所述自然语言指令的状态以及动作;

6、根据各个所述训练样本对所述机器人中的价值模型进行更新;

7、根据更新后的价值模型以及各个所述训练样本,对所述机器人中的策略模型进行更新,其中,更新后的所述策略模型用于确定所述机器人的决策。

8、在一些实施方式中,所述根据更新后的价值模型以及各个所述训练样本,对所述机器人中的策略模型进行更新,包括:

9、根据更新后的所述价值模型,确定每个所述训练样本中执行轨迹对应的目标价值;

10、根据各个所述目标价值,确定优势函数;

11、根据所述优势函数确定目标函数,并根据所述目标函数对所述机器人中的策略模型进行更新。

12、在一些实施方式中,所述根据所述优势函数确定目标函数,包括:

13、获取预设的kl散度惩罚项;

14、根据所述优势函数以及所述kl散度惩罚项确定目标函数。

15、在一些实施方式中,所述将每个所述自然语言指令转换为对应的用户对机器人控制偏好的表示向量,包括:

16、对所述自然语言指令进行意图识别,得到控制意图;

17、在所述自然语言指令对应的文本中提取多个关键实体,各个所述关键实体包括所述机器人待操作的物体、所述物体的部位、操作所述物体所需的动作以及所述机器人操作所述物体的属性中的至少一种;

18、根据所述控制意图以及各个所述关键实体之间的关系,构建所述自然语言指令对应的用户对机器人控制偏好的表示向量。

19、在一些实施方式中,所述根据每个所述自然语言指令的表示向量以及所述机器人的执行轨迹,构建每个所述自然语言指令对应的训练样本,包括:

20、获取所述机器人执行所述自然语言指令的第一用户反馈信息;

21、根据所述第一用户反馈信息确定用户偏好概率;

22、根据每个所述自然语言指令对应的表示向量、用户偏好概率以及执行轨迹,构建每个所述自然语言指令对应的训练样本。

23、在一些实施方式中,所述获取对机器人进行控制的各个自然语言指令,包括:

24、确定所述机器人收集的第二用户反馈信息,所述第二用户反馈信息用于指示所述机器人执行指令后的用户反馈,各个所述第二用户反馈信息包含所述第一用户反馈信息;

25、在所述第二用户反馈信息的数量达到预设数量的情况下,获取每个所述第二用户反馈信息对应的自然语言指令。

26、在一些实施方式中,所述根据更新后的价值模型以及各个所述训练样本,对所述机器人中的策略模型进行更新之后,还包括:

27、获取目标任务的描述信息,根据所述描述信息对更新后的价值模型以及更新后的策略模型的网络中间层进行调制,得到初始策略模型以及初始价值模型;

28、根据各个所述表示向量以及所述目标任务,对所述初始策略模型以及初始价值模型进行更新,得到适应所述目标任务的目标策略模型以及目标价值模型。

29、第二方面,本申请提供了一种模型训练装置,包括存储器和处理器,其中,

30、所述存储器与所述处理器连接,用于存储程序;

31、所述处理器用于通过运行所述存储器中的程序,实现如第一方面或者第一方面任一实现方式所述的模型训练方法。

32、第三方面,本申请提供了一种计算机程序产品,包括计算机指令,所述计算机指令在被处理器执行时,实现如第一方面或者第一方面任一实现方式所述的模型训练方法。

33、第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时,实现如第一方面或者第一方面任一实现方式所述的模型训练方法。

34、本申请实施例提供的一种模型训练方法和相关设备,获取对机器人进行控制的各个自然语言指令,并将每个自然语言指令转换为对应的用户对机器人控制偏好的表示向量,基于表示向量以及机器人执行自然语言指令的状态、动作,构建自然语言指令对应的训练样本,并根据各个训练样本对机器人中的价值模型进行更新,从而基于更新后的价值模型以及各个训练样本,对机器人中的策略模型进行更新,使得更新后的策略模型确定机器人的决策。本申请中,通过将用户的自然语言指令转换为用户对机器人的控制偏好的表示向量,使得机器人中的价值模型以及策略模型得以学习用户的控制偏好,从而使得机器人中的策略模输出的决策符合用户的偏好,也即使得机器人做出的决策匹配用户意图。

1.一种模型训练方法,其特征在于,包括:

2.根据权利要求1所述的模型训练方法,其特征在于,所述根据更新后的价值模型以及各个所述训练样本,对所述机器人中的策略模型进行更新,包括:

3.根据权利要求2所述的模型训练方法,其特征在于,所述根据所述优势函数确定目标函数,包括:

4.根据权利要求1所述的模型训练方法,其特征在于,所述将每个所述自然语言指令转换为对应的用户对机器人控制偏好的表示向量,包括:

5.根据权利要求1所述的模型训练方法,其特征在于,所述根据每个所述自然语言指令的表示向量以及所述机器人的执行轨迹,构建每个所述自然语言指令对应的训练样本,包括:

6.根据权利要求1所述的模型训练方法,其特征在于,所述获取对机器人进行控制的各个自然语言指令,包括:

7.根据权利要求1-6中任一项所述的模型训练方法,其特征在于,所述根据更新后的价值模型以及各个所述训练样本,对所述机器人中的策略模型进行更新之后,还包括:

8.一种模型训练装置,其特征在于,包括存储器和处理器,其中,

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时,实现如权利要求1-7中任一项所述的模型训练方法。

10.一种计算机程序产品,其特征在于,包括计算机指令,所述计算机指令在被处理器执行时,实现如权利要求1-7中任一项所述的模型训练方法。