一种长时序智能体的记忆策略优化方法、设备、介质和程序产品与流程

本发明属于智能体训练的，特别涉及一种长时序智能体的记忆策略优化方法、设备、介质和程序产品。

背景技术：

1、随着大语言模型（large language model, llm）及智能体（agent）技术的发展，长时序智能体（long-horizon agent）在网页搜索、多跳问答、具身规划与工具增强推理等复杂任务中表现突出。这类智能体通过多轮交错的"推理-工具调用-环境反馈"过程逐步完成任务，但若完整保留全部交互历史，提示词上下文长度将随交互轮数线性增长，从而显著增加推理 token 成本、超出固定上下文窗口长度上限，并降低长上下文条件下的模型表现。因此，记忆压缩（memory compression）成为了长时序智能体高效训练与推理的关键能力。

2、然而现有技术在端到端记忆压缩训练时，存在记忆信用与工具、观测、推理错误因果纠缠，导致记忆压缩环节被误奖误罚的问题。

技术实现思路

1、本申请通过一种长时序智能体的记忆策略优化方法、设备、介质和程序产品，解决了现有技术在端到端记忆压缩训练时，存在记忆信用与工具、观测、推理错误因果纠缠，导致记忆压缩环节被误奖误罚的问题，实现了对每次记忆写入的细粒度、低纠缠信用分配，在保持压缩上下文高效率的同时大幅改善信用分配质量，且额外计算开销极小。

2、为解决上述技术问题，本申请提出了四个方面。

3、第一方面，本申请提出了一种长时序智能体的记忆策略优化方法，包括：在目标智能体针对目标问题进行回答的过程中，针对每一条尝试路径中的每一步写入记忆动作执行如下操作：计算当前记忆与历史记忆之间的局部反事实得分，其中所述当前记忆为当前尝试路径中当前步生成的记忆，所述历史记忆为所述当前步的上一步写入的；计算所述当前记忆与兄弟记忆之间的当前对数似然差值，其中所述兄弟记忆为其他尝试路径中生成的与所述当前步步数对应的记忆；根据所述局部反事实得分和所述当前对数似然差值确定所述当前步的原始记忆得分；根据完结路径中各步的所述原始记忆得分对所述目标智能体的记忆策略进行优化，其中所述完结路径为结束对所述目标问题的回答任务的尝试路径，各步的原始记忆得分为各步写入记忆动作的原始记忆得分。

4、在一些实施例中，所述计算当前记忆与历史记忆之间的局部反事实得分，包括：获取所述当前尝试路径中当前步的当前前置状态、所述当前记忆、所述历史记忆以及所述目标问题的正确答案；根据所述当前前置状态、所述当前记忆和所述正确答案计算当前答出得分，其中所述当前答出得分用于表征所述目标智能体根据所述当前记忆得到所述正确答案的概率；根据所述当前前置状态、所述历史记忆和所述正确答案计算历史答出得分，其中所述历史答出得分用于表征所述目标智能体根据所述历史记忆得到所述正确答案的概率；根据所述当前答出得分和所述历史答出得分确定所述局部反事实得分，其中所述局部反事实得分用于表征所述当前记忆相比所述历史记忆与所述正确答案的接近程度。

5、在一些实施例中，所述计算所述当前记忆与兄弟记忆之间的当前对数似然差值，包括：根据所述当前前置状态、所述当前记忆和所述正确答案确定所述当前记忆的当前对数似然值，其中所述当前对数似然值为所述当前记忆中各词元的平均对数似然值；获取各平行路径中所述兄弟记忆的兄弟对数似然平均值，其中所述平行路径为与所述当前尝试路径处于同一分组内的其他尝试路径；根据所述当前对数似然值和所述兄弟对数似然平均值确定所述当前对数似然差值。

6、在一些实施例中，所述根据所述局部反事实得分和所述当前对数似然差值确定所述当前步的原始记忆得分，包括：根据所有的对数似然差值确定门控的自适应锐度，其中所有的对数似然差值为所述目标智能体在当前批次的训练过程中产生的所有对数似然差值；根据所述自适应锐度、所述当前对数似然差值和所述局部反事实得分确定所述门控的门控开度；根据所述门控开度和局部反事实得分确定所述原始记忆得分。

7、在一些实施例中，所述根据完结路径中各步写入记忆动作的所述原始记忆得分对所述目标智能体的记忆策略进行优化，包括：对成功路径中各步的所述原始记忆得分进行更新，得到完结记忆得分，其中将小于零的所述原始记忆得分更新为零，所述完结路径包括成功路径和失败路径，所述成功路径为得到所述目标问题的正确答案的尝试路径；将各所述完结路径中最后一步的完结记忆得分作为平滑记忆得分；根据下一步的平滑记忆得分和当前步的完结记忆得分确定所述当前步的平滑记忆得分；根据各所述完结路径中各步的所述平滑记忆得分对所述记忆策略进行优化。

8、在一些实施例中，所述根据各所述完结路径中各写入记忆操作的所述平滑记忆得分对所述记忆策略进行优化，包括：获取针对所述完结路径的终局奖惩；根据所述终局奖惩和各步的所述平滑记忆得分确定各记忆词元的轨迹级得分；根据各记忆词元的所述轨迹级得分对所述记忆策略进行优化。

9、在一些实施例中，所述根据各记忆词元的所述轨迹级得分对所述记忆策略进行优化，包括：根据各记忆词元的所述轨迹级得分确定候选记忆策略；根据所述候选记忆策略和旧记忆策略确定对所述候选记忆策略的裁剪策略；根据所述裁剪策略对所述候选记忆策略进行裁剪后，得到优化后的记忆策略。

10、第二方面，本申请提出了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现第一方面中任一项所述方法的步骤。

11、第三方面，本申请提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现第一方面中任一项所述方法的步骤。

12、第四方面，本申请提出了一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现第一方面中任一项所述方法的步骤。

13、本申请通过一种长时序智能体的记忆策略优化方法，包括：在目标智能体针对目标问题进行回答的过程中，针对每一条尝试路径中的每一步写入记忆动作执行如下操作：计算当前记忆与历史记忆之间的局部反事实得分，其中所述当前记忆为当前尝试路径中当前步生成的记忆，所述历史记忆为所述当前步的上一步写入的；计算所述当前记忆与兄弟记忆之间的当前对数似然差值，其中所述兄弟记忆为其他尝试路径中生成的与所述当前步步数对应的记忆；根据所述局部反事实得分和所述当前对数似然差值确定所述当前步的原始记忆得分；根据完结路径中各步的所述原始记忆得分对所述目标智能体的记忆策略进行优化，其中所述完结路径为结束对所述目标问题的回答任务的尝试路径，各步的原始记忆得分为各步写入记忆动作的原始记忆得分。解决了现有技术在端到端记忆压缩训练时，存在记忆信用与工具、观测、推理错误因果纠缠，导致记忆压缩环节被误奖误罚的问题，实现了对每次记忆写入的细粒度、低纠缠信用分配，在保持压缩上下文高效率的同时大幅改善信用分配质量，且额外计算开销极小。

1.一种长时序智能体的记忆策略优化方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述计算当前记忆与历史记忆之间的局部反事实得分，包括：

3.根据权利要求2所述的方法，其特征在于，所述计算所述当前记忆与兄弟记忆之间的当前对数似然差值，包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述局部反事实得分和所述当前对数似然差值确定所述当前步的原始记忆得分，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据完结路径中各步写入记忆动作的所述原始记忆得分对所述目标智能体的记忆策略进行优化，包括：

6.根据权利要求5所述的方法，其特征在于，所述根据各所述完结路径中各步的所述平滑记忆得分对所述记忆策略进行优化，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据各记忆词元的所述轨迹级得分对所述记忆策略进行优化，包括：

8.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现权利要求1至7任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。