一种动态双阶段指令切换的代理并行质量评估方法及系统与流程

摘要: 本发明涉及代理并行质量评估,特别是涉及一种动态双阶段指令切换的代理并行质量评估方法及系统。背景技术:1、在基于大语言模型的智能代理系统中,用户提出查询后通常需要...
一种动态双阶段指令切换的代理并行质量评估方法及系统与流程

本发明涉及代理并行质量评估,特别是涉及一种动态双阶段指令切换的代理并行质量评估方法及系统。

背景技术:

1、在基于大语言模型的智能代理系统中,用户提出查询后通常需要先执行检索任务,再对检索结果的质量进行评估,以决定是否需要进行补充检索。目前常见的评估系统多采用串行架构,即严格按照“检索、等待完成、评估、决策、补充检索”的顺序执行,总响应时间为各阶段时间之和,导致用户等待时间过长。同时,固定规则式的评估逻辑无法适应复杂多变的查询场景,对追问类查询、关键词覆盖不全以及深度内容需求等情况缺乏灵活的判断能力。在检索执行阶段,评估模块往往处于空闲等待状态,无法利用这部分时间进行有价值的预判,使得原本可以提前识别的补充检索需求被延后处理。此外,多轮评估过程中缺乏有效的检索去重机制,容易对相同或相似的关键词重复发起检索,既浪费计算资源又进一步增加了响应延迟,现有技术中缺少一种能够在保证评估准确性的同时有效降低响应延迟的并行质量评估方法。

技术实现思路

1、针对上述技术问题,本发明采用的技术方案为:

2、根据本申请的第一方面,提供了一种动态双阶段指令切换的代理并行质量评估方法,包括:

3、对用户查询进行意图分析,得到意图分析结果;

4、根据所述意图分析结果,并行启动预检索代理和质量评估循环代理;其中,所述预检索代理用于执行多源并行检索任务,所述质量评估循环代理用于对检索结果进行质量评估;

5、在所述质量评估循环代理中,在每次调用大语言模型llm之前,从共享状态中读取预检索完成状态标志;

6、当所述预检索完成状态标志为第一状态值时,构建阶段一评估指令,并将所述阶段一评估指令发送至llm;

7、当所述预检索完成状态标志为第二状态值时,构建阶段二评估指令,并将所述阶段二评估指令发送至llm;

8、根据所述llm返回的决策结果执行对应的操作;其中,所述预检索完成状态标志的第二状态值表示所述预检索代理的已调度检索任务全部进入终态且检索结果合并完成。

9、根据本申请的另一方面,还提供了一种动态双阶段指令切换的代理并行质量评估系统,所述系统包括:

10、意图分析模块,用于对用户查询进行意图分析,得到意图分析结果;

11、代理模块,用于根据所述意图分析结果,并行启动预检索代理和质量评估循环代理;其中,所述预检索代理用于执行多源并行检索任务,所述质量评估循环代理用于对检索结果进行质量评估;

12、状态标志获取模块,用于在所述质量评估循环代理中,在每次调用大语言模型llm之前,从共享状态中读取预检索完成状态标志;

13、第一构建模块,用于当所述预检索完成状态标志为第一状态值时,构建阶段一评估指令,并将所述阶段一评估指令发送至llm;

14、第二构建模块,用于当所述预检索完成状态标志为第二状态值时,构建阶段二评估指令,并将所述阶段二评估指令发送至llm;

15、操作执行模块,用于根据所述llm返回的决策结果执行对应的操作;其中,所述预检索完成状态标志的第二状态值表示所述预检索代理的已调度检索任务全部进入终态且检索结果合并完成。

16、本发明至少具有以下有益效果:

17、本发明的动态双阶段指令切换的代理并行质量评估方法,通过并行启动预检索代理和质量评估循环代理,使质量评估与预检索同时执行,将总响应时间从原有的“检索时间加评估时间”缩减为两者的最大值,显著缩短了用户等待时间。同时,通过读取预检索完成状态标志并据此构建不同的评估指令,实现了动态双阶段指令切换:在预检索未完成时,依据意图分析结果和对话上下文指导大语言模型进行预判式评估,提前识别追问场景、关键词覆盖盲区以及需要补充检索的特定类型内容,充分利用了预检索的等待时间,使决策前置;在预检索完成且已调度任务全部进入终态后,基于合并完成的检索结果生成包含预检索摘要、已检索关键词列表及质量评估维度的评估指令,指导模型进行准确的质量评估,有效解决了固定规则无法适应复杂场景的问题。此外,阶段二指令中明确提供已检索关键词列表,能够提示大语言模型避免重复发起相同目的的检索,结合预检索完成状态标志的约束,从整体上减少了无效计算消耗,提高了系统的响应效率,同时保证了最终的检索质量和回答准确性。

1.一种动态双阶段指令切换的代理并行质量评估方法,其特征在于,包括:

2.根据权利要求1所述的动态双阶段指令切换的代理并行质量评估方法,其特征在于,所述意图分析结果包括提取的关键词、识别的领域、时间范围以及查询类型;

3.根据权利要求1所述的动态双阶段指令切换的代理并行质量评估方法,其特征在于,所述预检索完成状态标志的第二状态值,通过以下步骤设定:

4.根据权利要求1所述的动态双阶段指令切换的代理并行质量评估方法,其特征在于,所述阶段一评估指令与所述阶段二评估指令在每次llm调用前的指令生成时刻进行切换,包括:

5.根据权利要求3所述的动态双阶段指令切换的代理并行质量评估方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的动态双阶段指令切换的代理并行质量评估方法,其特征在于,所述工具调用历史记录的生成与追踪,包括:

7.根据权利要求1所述的动态双阶段指令切换的代理并行质量评估方法,其特征在于,所述方法还包括:

8.根据权利要求1所述的动态双阶段指令切换的代理并行质量评估方法,其特征在于,所述方法还包括:

9.根据权利要求3所述的动态双阶段指令切换的代理并行质量评估方法,其特征在于,所述质量评估循环代理在与所述预检索代理并行执行时,通过以下方式保证状态一致性:

10.一种动态双阶段指令切换的代理并行质量评估系统,其特征在于,所述系统包括: