一种基于自我反思的大模型工具使用方法

本发明涉及神经网络领域，具体来说涉及大模型智能体和工具学习，更具体地说，涉及一种基于自我反思的大模型工具使用方法。

背景技术：

1、随着大语言模型的持续发展，基于其构建的智能体逐渐成为实现复杂任务自动化的重要技术范式。原生大模型主要依赖内部的参数化知识进行推理与生成，其能力在一定程度上受限于训练数据时效性、模型计算能力以及上下文窗口长度等因素。通过引入外部工具，智能体能够在任务求解过程中实时获取信息、执行计算操作、处理异构数据等，从而突破模型内部知识与能力的边界，使其在复杂、开放的真实场景中更具应用价值。

2、在工具学习任务中，系统的目标是根据用户输入的自然语言任务指令，自动选择并调用合适的外部工具，以完成复杂任务求解。该任务可以形式化为：给定任务指令以及工具集合，系统需要在多步交互过程中，逐步生成工具调用序列及其参数，并最终输出满足任务需求的结果。

3、具体而言，该过程可划分为两个关键子任务：工具检索与工具使用。首先，在工具检索阶段，系统需要基于任务指令，从大规模工具集合中召回与当前任务语义相关的候选工具集合，从而缩小后续决策空间。该过程本质上是一个从任务语义到工具功能的匹配问题，其效果直接影响候选工具集合的覆盖性与准确性。在此基础上，进入工具使用阶段。系统需要结合任务目标、当前执行状态以及候选工具信息，进行多步推理与决策，逐步生成工具调用序列，包括工具选择、参数构造以及调用顺序编排等操作。在每一步工具调用后，系统根据执行反馈更新当前任务状态，并据此调整后续决策过程，直至完成整体任务。

4、因此，工具学习任务本质上是一个由“检索—决策—执行—反馈”构成的闭环过程。其中，工具检索阶段直接决定了后续推理环节可用工具的范围与质量，而工具使用阶段则影响多步调用链路能否稳定执行并得到正确结果。二者相互耦合，共同决定了智能体系统的整体性能，对任务成功率和系统可用性具有关键影响。

5、现有工具检索方法通常基于单一检索机制，例如：基于词项匹配的稀疏检索、基于向量匹配的密集检索或者基于标识符预测的生成式检索。稀疏检索方法通常依赖tf-idf、bm25等基于关键词统计的机制，具有计算效率高、实现简单等优点，但由于其依赖显式词项匹配，难以刻画用户指令与工具功能描述之间的深层语义关联。密集检索方法通过编码器将查询与工具文档映射至同一向量空间，并基于余弦相似度等度量进行匹配，在词项不完全一致以及未见工具场景下表现出更好的泛化能力。然而，在面对包含多子意图、隐式约束或组合需求的复杂指令时，仍可能出现语义对齐不足的问题。生成式检索方法则将工具选择过程建模为从用户指令到工具标识符或语义索引的生成过程，能够利用大模型的语义理解能力直接预测目标工具，但在工具集合动态扩展、新工具缺乏历史训练数据或索引空间规模持续增大时，存在泛化能力和扩展性不足的问题。

6、现有工具使用方法多基于react（reasoning and acting，即推理与行动）范式，通过引导模型交替生成中间推理、工具调用动作以及环境反馈，使其能够逐步完成复杂任务求解。然而，标准react推理过程通常沿单一路径线性展开，在收到工具执行结果后，模型将反馈信息拼接至上下文继续生成下一步动作，缺乏对当前执行状态的显式评估与调整机制。当早期步骤出现工具选择错误、参数设置不当、工具调用失败或工具返回结果与任务目标不一致等情况时，模型往往难以及时识别并纠正错误，导致错误会沿后续推理链路持续传播并逐步累积，最终导致任务求解失败。

7、此外，现有工具使用方法在训练过程中大多依赖专家标注的调用轨迹进行有监督学习。该类方法虽然能够使模型快速掌握工具调用的基本模式，但其优化目标主要集中在对参考轨迹的拟合，而非直接针对任务完成质量进行优化。在实际应用中，同一任务往往存在多种可行的调用路径，仅依赖单一轨迹进行训练会限制模型的决策空间。同时，监督学习难以充分利用工具执行过程中产生的中间反馈信息，使模型在复杂多步决策场景下缺乏稳定性。另一方面，若仅基于最终任务结果构建强化学习信号，则由于奖励稀疏，难以为中间步骤提供有效指导，进而影响模型在长链路工具调用过程中的优化效果。

8、针对上述问题，当前工具学习方法主要面临以下两个方面的挑战：

9、其一，在工具检索阶段，如何在大规模且持续变化的工具集合中实现高质量候选工具召回。该问题的核心在于同时兼顾复杂任务指令的语义理解能力与对未见工具的泛化能力。现有方法往往侧重于单一检索机制，难以在复杂意图建模与工具功能匹配之间取得平衡，从而导致候选工具集合覆盖不足或引入无关工具，影响后续决策过程。

10、其二，在工具使用阶段，如何在多步工具调用过程中有效抑制错误传播并提升决策稳定性。一方面，模型需要基于工具执行反馈对当前状态进行显式评估，并在必要时对已有决策进行修正；另一方面，在训练过程中需要同时利用中间推理信息与最终执行结果，构建更有效的优化目标，从而在保证调用格式与推理过程一致性的同时，提升工具选择、参数生成及决策调整的整体质量。

11、需要说明的是：本背景技术仅用于介绍本发明的相关信息，以便于帮助理解本发明的技术方案，但并不意味着相关信息必然是现有技术。相关信息与本发明方案一同提交和公开，在没有证据表明相关信息已在本发明的申请日以前公开的情况下，相关信息不应被视为现有技术。

技术实现思路

1、因此，本发明的目的在于克服上述现有技术的缺陷，提供一种基于自我反思的大模型工具使用方法。

2、本发明的目的是通过以下技术方案实现的：

3、根据本发明的第一方面，提供一种基于自我反思的大模型工具使用方法，包括步骤：s1、获取工具池中各工具对应的工具文档和用户输入的自然语言形式的任务指令；s2、根据任务指令和工具文档，采用融合多种检索知识的混合增强检索机制，从工具池中召回与当前任务相关的候选工具集合；s3、将任务指令、候选工具集合对应的候选工具文档和当前任务状态输入大模型，引导大模型在候选工具集合的约束下构建用于工具调用决策的上下文表示；s4、执行多步工具调用决策，每步包括：引导大模型根据当前上下文表示生成工具调用动作，获取外部环境执行工具调用动作后返回的工具调用结果，由大模型根据工具调用结果生成自我反思内容，并根据反思内容调整后续工具调用策略；s5、当达到停止决策条件时，整合多步工具调用结果，生成任务对应的最终答案。该方案至少能够实现以下有益技术效果：通过获取工具文档和任务指令，采用混合增强检索机制召回候选工具，引导大模型在候选工具约束下构建上下文表示，执行多步工具调用决策并生成自我反思内容调整后续动作，最终整合多步结果生成答案，实现大模型对工具的有效调用和任务完成。

4、可选的，混合增强检索机制基于密集检索分支和生成式检索分支实现，其中：所述密集检索分支包括工具编码器和查询编码器，且被配置为：预先利用工具编码器对各工具文档进行离线编码得到工具向量并建立近似最近邻索引；在线推理时，利用查询编码器对用户指令编码得到查询向量，基于所述查询向量与所述工具向量的余弦相似度，从所述近似最近邻索引中召回前k个工具作为候选工具集合；所述生成式检索分支包括残差量化变分自编码器和生成式模型，且被配置为：在训练时，利用变分自编码器将工具文档经编码得到的语义向量离散化为固定长度的码字序列作为真实工具语义索引，生成式模型利用密集检索分支输出的查询向量预测工具语义索引，确定预测的工具语义索引和真实工具语义索引间的生成式检索损失，并与所述密集检索分支中基于查询-工具对相似度的密集检索对比损失加权融合，利用融合得到的联合损失通过反向传播同时更新变分自编码器、生成式模型、查询编码器和工具编码器的参数；在线推理时生成式检索分支不参与候选工具召回。该方案至少能够实现以下有益技术效果：通过密集检索分支实现高效向量相似度召回，通过生成式检索分支在训练阶段辅助优化语义表示，在线推理时仅启用密集检索分支保证效率，实现检索速度与语义理解能力的平衡。

5、可选的，联合损失按照以下方式确定：

6、

7、

8、

9、其中,表示联合损失，表示密集检索对比损失，表示生成式检索损失，表示加权系数，表示当前批次中的样本数量，表示自然对数，表示指数函数，表示余弦相似度函数，表示第个查询样本或子问题经过查询编码器得到的全局表示， 表示与第个查询样本或子问题匹配的正样本工具的全局表示，表示温度系数，表示当前批次中用于与第个查询样本或子问题对比的第个候选工具向量,表示生成式模型自回归预测第个码字的条件概率， 表示已生成的历史码字序列。该方案至少能够实现以下有益技术效果：通过联合损失融合密集检索对比损失和生成式检索损失，使生成式分支的结构化语义信息迁移至密集检索分支的向量表示空间，提升密集检索的语义理解能力。

10、可选的，步骤s3包括：获取各候选工具文档，并将其工具名称、功能描述、输入参数、参数类型、必填标识、返回值说明、调用限制和调用示例整理为统一格式的候选工具描述；对任务指令进行语义解析，提取包含任务目标、任务对象、约束条件、期望输出形式和可能涉及的子任务的语义解析结果；维护历史执行轨迹，其包括已生成的中间推理内容、已选择的工具、已生成的调用参数、工具返回的工具调用结果和模型生成的反思内容；根据所述候选工具描述、语义解析结果和历史执行轨迹，构建当前任务状态；将用户任务指令、候选工具文档和当前任务状态输入大模型，利用上下文模板构建上下文表示，上下文表示包括如下字段：用户任务、当前任务目标、候选工具列表、候选工具参数说明、历史工具调用步骤、工具返回结果摘要、当前待解决子目标、可使用的中间变量、输出格式要求和终止判断条件。该方案至少能够实现以下有益技术效果：通过将候选工具文档整理为统一格式，对任务指令进行语义解析提取多维度信息，构建包含多个字段的上下文表示，为大模型提供结构化的决策依据，提升工具调用的准确性。

11、可选的，步骤s3还包括：在每次工具调用执行完成后，根据工具调用结果和模型反思内容更新当前任务状态，将更新后的任务状态作为下一步工具调用决策的输入，直至任务完成或达到终止条件。该方案至少能够实现以下有益技术效果：通过根据工具调用结果和反思内容更新任务状态，并将更新后的状态作为下一步输入，实现任务状态的动态维护和多步决策的连贯性。

12、可选的，步骤s4包括：根据任务指令、候选工具集合、候选工具文档、历史执行轨迹、上下文表示和输出格式约束，引导大模型构建用于本轮工具调用决策的推理输入，所述推理输入包括当前子目标、可用候选工具、已获得信息、待补全信息、历史工具调用结果和错误状态信息；引导大模型基于所述推理输入生成中间推理内容，所述中间推理内容包括当前任务目标理解、已有信息分析、缺失信息判断、候选工具适配性分析和下一步操作意图；引导大模型基于所述中间推理内容生成工具调用动作，所述工具调用动作包括目标工具名称、调用参数和参数取值；获取外部环境执行所述工具调用动作后返回的工具调用结果；引导大模型根据任务目标、当前任务状态、历史执行轨迹、当前工具调用动作和工具调用结果，生成自我反思内容；根据自我反思内容，引导大模型确定后续策略调整结果；判断是否达到停止决策条件，若是，则转入步骤s5，若否，则将自我反思内容、策略调整结果和工具调用结果写入历史执行轨迹，并循环执行上述步骤。该方案至少能够实现以下有益技术效果：通过引导大模型构建包含当前子目标、可用候选工具、已获得信息等多维度的推理输入，生成中间推理内容和工具调用动作，获取外部执行结果后生成自我反思内容并确定策略调整，循环执行直至满足停止条件，实现多步工具调用的动态规划和错误修正。

13、可选的，所述方法还包括：所述大模型是预先通过强化学习训练优化得到的，在大模型训练阶段，结合推理过程反馈与结果反馈构建奖励信号，根据奖励信号对大模型的工具选择、参数生成、反思修正和答案生成能力进行优化。该方案至少能够实现以下有益技术效果：通过强化学习训练优化，结合推理过程反馈与结果反馈构建奖励信号，对大模型的工具选择、参数生成、反思修正和答案生成能力进行优化，提升模型在工具使用任务中的决策质量。

14、可选的，奖励信号包括过程反馈奖励和结果反馈奖励，其中，过程反馈奖励，用于评价大模型多步推理过程中的中间推理内容的格式合规性、工具选择匹配度、参数正确性和反思合理性；结果反馈奖励，用于评价最终答案完整性、正确性和工具调用结果支持度，奖励值随评价的匹配程度递增。该方案至少能够实现以下有益技术效果：通过分层奖励机制，对中间执行结果的格式合规、工具匹配、参数正确和反思合理进行过程评价，对最终答案的完整、正确和结果支持进行结果评价，且奖励值与匹配程度正相关，实现训练过程中过程质量与结果质量的双重优化。

15、根据本发明的第二方面，提供一种计算机程序产品，其包括计算机程序/指令，该计算机程序/指令被处理器执行时实现第一方面所述方法的步骤。

16、根据本发明的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序/指令，所述计算机程序/指令被处理器执行以实现第一方面所述方法的步骤。

17、与现有技术相比，本发明的优点在于：

18、在工具检索阶段，本发明通过引入多机制融合的检索机制，使系统能够同时建模任务语义与工具功能之间的复杂关系，从而在大规模工具集合中实现更高质量的候选工具召回，有效提升工具检索的准确性及对未见工具的适应能力。

19、在工具使用阶段，本发明通过引入基于执行反馈的自我反思机制，使模型能够对多步推理过程中的中间执行结果进行显式评估与动态修正，从而避免传统方法中错误逐步累积的问题，从而显著提升复杂任务执行过程的稳定性与鲁棒性。

20、另外，本发明在训练阶段引入结合过程信息与结果信息的强化学习机制，使模型能够在多步工具调用过程中获得更加丰富和有效的优化信号，从而提升工具选择、参数生成及决策调整的整体质量，进一步提高复杂任务场景下的任务成功率和系统实用性。