面向智能体的行为思维模型训练方法、推理方法及装置

本发明涉及人工智能与自然语言处理，尤其涉及面向智能体的行为思维模型训练方法、推理方法及装置。

背景技术：

1、在智能体（agent）的训练和应用中，高质量的思维推理（reasoning）内容对提升agent的行为能力具有非常积极的作用，在执行复杂决策或长程任务时尤为明显。

2、现有的面向智能体的行为思维模型训练方法涉及高质量、大批次的推理内容，通常采用人工标注和大模型直接合成。前者需要耗费大量的时间成本和人力成本，且标注质量很大程度上受限于标注人员的个体积淀和水平差异，导致最终确定的推理内容质量不稳定、一致性差；而后者在处理包含噪声动作（noisy actions）和长程任务（long-horizontasks）的行为轨迹时，采用的传统大模型难以保持推理的连贯性和准确性，导致最终确定的推理内容难以获取且质量偏低。

3、因此，如何自动生成高质量的、连贯的、具有长程指导意义的推理内容，从而有效提升智能体在复杂任务中的行为决策能力，成为亟需解决的问题。

技术实现思路

1、本发明提供面向智能体的行为思维模型训练方法、推理方法及装置，用以解决现有技术中无法自动生成高质量的、连贯的、具有长程指导意义的推理内容的缺陷，实现通过输入纯动作序列（即行为轨迹数据），让初始行为思维模型逆向补全高质量的推理内容，具体通过引入动作推理和记忆推理的分层处理，得到训练后的行为思维模型，能够自动生成高质量的、连贯的、具有长程指导意义的推理内容，从而有效提升agent在复杂任务中的行为决策能力。

2、第一方面，本发明提供一种面向智能体的行为思维模型训练方法，包括如下步骤：

3、获取智能体执行任务指令所需的行为轨迹数据，所述行为轨迹数据包括多个时间步各自对应的状态和真实动作；

4、针对所述多个时间步中的第个时间步，将所述第个时间步对应的当前状态和当前真实动作输入至初始行为思维模型；通过所述初始行为思维模型，根据所述当前状态和所述当前真实动作，生成所述第个时间步对应的动作推理并自适应地决定是否生成记忆推理；根据所述动作推理、所述当前状态和所述当前真实动作，生成所述第个时间步对应的动作推理奖励；

5、在执行完所述行为轨迹数据的情况下，根据已生成的至少一个记忆推理，生成轨迹级别奖励；

6、根据所述轨迹级别奖励和多个动作推理奖励，更新所述初始行为思维模型的模型参数，得到训练后的行为思维模型。

7、根据本发明提供的一种面向智能体的行为思维模型训练方法，所述根据所述动作推理、所述当前状态和所述当前真实动作，生成所述第个时间步对应的动作推理奖励，包括：获取所述第个时间步对应的动作推理之前的第一历史信息，及所述行为轨迹数据中所述第个时间步之前的第二历史信息；根据所述第一历史信息、所述动作推理、所述当前状态和所述当前真实动作，生成第一奖励；根据所述第二历史信息、所述当前状态和所述当前真实动作，生成第二奖励；将所述第一奖励与所述第二奖励之间的差值作为所述第个时间步对应的动作推理奖励。

8、根据本发明提供的一种面向智能体的行为思维模型训练方法，所述自适应地决定是否生成记忆推理，包括：若通过所述初始行为思维模型确定所述第个时间步为检查点，则生成记忆推理；若通过所述初始行为思维模型确定所述第个时间步不为检查点，则不生成所述记忆推理；其中，所述行为轨迹数据中最后一个时间步始终被视为检查点。

9、根据本发明提供的一种面向智能体的行为思维模型训练方法，所述根据已生成的至少一个记忆推理，生成轨迹级别奖励，包括：获取所述已生成的至少一个记忆推理，所述至少一个记忆推理与所述行为轨迹数据中的至少一个检查点一一对应；针对所述至少一个检查点中的各检查点，获取所述检查点对应的下一动作片段，并计算所述下一动作片段对应的片段总结奖励；根据所述行为轨迹数据中除最后一个检查点外的所有检查点各自对应的记忆推理，计算进度追踪奖励；将所述进度追踪奖励和所有片段总结奖励之间的和值作为所述轨迹级别奖励。

10、根据本发明提供的一种面向智能体的行为思维模型训练方法，所述根据所述第一历史信息、所述动作推理、所述当前状态和所述当前真实动作，生成第一奖励，包括：将所述第一历史信息、所述动作推理和所述当前状态作为条件输入，并将所述条件下所述当前真实动作对应的对数概率作为所述第一奖励；其中，所述第一历史信息包括：所述行为轨迹数据中第0至第-1个时间步各自对应的状态、真实动作和动作推理，以及第0至第-1个时间步中已生成的所有记忆推理。

11、根据本发明提供的一种面向智能体的行为思维模型训练方法，所述计算所述下一动作片段对应的片段总结奖励，包括：获取所述检查点对应的折叠上下文和完整上下文，所述折叠上下文包括所述检查点之前及所述检查点本身各自对应的记忆推理，所述完整上下文包括从所述行为轨迹数据的起点到所述检查点之间的所有动作推理；将所述检查点到下一相邻检查点之间的所有真实动作作为所述检查点对应的下一动作片段；针对所述下一动作片段中的各真实动作，根据所述折叠上下文，预测所述真实动作对应的第一对数概率，并根据所述完整上下文，预测所述真实动作对应的第二对数概率；确定所述第一对数概率与所述第二对数概率之间的差值，所述差值与所述真实动作对应；将所述下一动作片段中所有真实动作各自对应差值的和值作为所述下一动作片段对应的片段总结奖励。

12、根据本发明提供的一种面向智能体的行为思维模型训练方法，所述根据所述行为轨迹数据中除最后一个检查点外的所有检查点各自对应的记忆推理，计算进度追踪奖励，包括：将所述行为轨迹数据中除最后一个检查点外的所有检查点各自对应的记忆推理，作为前置记忆序列；将所述最后一个检查点对应的记忆推理作为最终记忆推理；将给定所述前置记忆序列的条件下生成所述最终记忆推理的对数概率作为所述进度追踪奖励。

13、第二方面，本发明提供一种面向智能体的行为思维模型推理方法，包括如下步骤：

14、获取智能体执行目标任务指令所需的目标行为轨迹数据；

15、将所述目标行为轨迹数据输入至行为思维模型中，得到所述行为思维模型输出的目标推理内容，所述目标推理内容包括与所述目标行为轨迹数据中每一时间步对应的目标动作推理，及自适应生成的目标记忆推理；

16、其中，所述行为思维模型是基于上述第一方面所述面向智能体的行为思维模型训练方法进行训练后得到的。

17、第三发明，本发明还提供一种面向智能体的行为思维模型训练装置，包括如下模块：

18、第一获取模块，用于获取智能体执行任务指令所需的行为轨迹数据，所述行为轨迹数据包括多个时间步各自对应的状态和真实动作；

19、奖励生成模块，用于针对所述多个时间步中的第个时间步，将所述第个时间步对应的当前状态和当前真实动作输入至初始行为思维模型；通过所述初始行为思维模型，根据所述当前状态和所述当前真实动作，生成所述第个时间步对应的动作推理，并自适应地决定是否生成记忆推理；根据所述动作推理和所述当前真实动作，生成所述第个时间步对应的动作推理奖励；在执行完所述行为轨迹数据的情况下，根据已生成的至少一个记忆推理，生成轨迹级别奖励；

20、参数更新模块，用于根据所述轨迹级别奖励和多个动作推理奖励，更新所述初始行为思维模型的模型参数，得到训练后的行为思维模型。

21、第四发明，本发明还提供一种面向智能体的行为思维模型推理装置，包括如下模块：

22、第二获取模块，用于获取智能体执行目标任务指令所需的目标行为轨迹数据；

23、模型推理模块，用于将所述目标行为轨迹数据输入至行为思维模型中，得到所述行为思维模型输出的目标推理内容，所述目标推理内容包括与所述目标行为轨迹数据中每一时间步对应的目标动作推理，及自适应生成的目标记忆推理；

24、其中，所述行为思维模型是基于上述第一方面所述面向智能体的行为思维模型训练方法进行训练后得到的。

25、第五方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述面向智能体的行为思维模型训练方法，或如上述第二方面所述面向智能体的行为思维模型推理方法。

26、第六方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述面向智能体的行为思维模型训练方法，或如上述第二方面所述面向智能体的行为思维模型推理方法。

27、第七方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述面向智能体的行为思维模型训练方法，或如上述第二方面所述面向智能体的行为思维模型推理方法。

28、本发明提供的面向智能体的行为思维模型训练方法、推理方法及装置，训练方法通过获取智能体执行任务指令所需的行为轨迹数据，所述行为轨迹数据包括多个时间步各自对应的状态和真实动作；针对所述多个时间步中的第个时间步，将所述第个时间步对应的当前状态和当前真实动作输入至初始行为思维模型；通过所述初始行为思维模型，根据所述当前状态和所述当前真实动作，生成所述第个时间步对应的动作推理并自适应地决定是否生成记忆推理；根据所述动作推理、所述当前状态和所述当前真实动作，生成所述第个时间步对应的动作推理奖励；在执行完所述行为轨迹数据的情况下，根据已生成的至少一个记忆推理，生成轨迹级别奖励；根据所述轨迹级别奖励和多个动作推理奖励，更新所述初始行为思维模型的模型参数，得到训练后的行为思维模型。该方法通过输入纯动作序列（即行为轨迹数据），让初始行为思维模型逆向补全高质量的推理内容，具体通过引入动作推理和记忆推理的分层处理，得到训练后的行为思维模型，能够自动生成高质量的、连贯的、具有长程指导意义的推理内容，从而有效提升agent在复杂任务中的行为决策能力。