多智能体协作判别瓶颈诊断方法及装置与流程

摘要: 本发明涉及人工智能,尤其涉及一种多智能体协作判别瓶颈诊断方法及装置。背景技术:1、随着大语言模型在问答、数学推理、代码生成和专业咨询等场景中的广泛应用,单个模型...
多智能体协作判别瓶颈诊断方法及装置与流程

本发明涉及人工智能,尤其涉及一种多智能体协作判别瓶颈诊断方法及装置。

背景技术:

1、随着大语言模型在问答、数学推理、代码生成和专业咨询等场景中的广泛应用,单个模型输出的不稳定性,即同一模型对同一问题的多次作答可能给出互不一致或错误的结果,成为影响实际部署的重要问题。针对该问题,一类重要的技术路线是以冗余作答和相互审阅换取回答可靠性,即由同一模型的多个实例或多个不同模型分别对同一问题独立作答,最后汇总出团队答案(本文中统称为多智能体协作推理)。需要说明的是,该路线与目前已在工业界大量部署的多智能体编排方案并不相同:后者将一个复杂任务拆分为若干子任务并分派给承担不同分工的智能体依次执行,其多个智能体处理的是不同的子问题;而前者的多个智能体针对同一个问题重复作答,其目的在于以成倍的计算成本换取单一答案的可靠性。本发明所针对的是前者。

2、采用该路线的开发人员普遍面临一个无法回答的问题:投入了数倍的计算成本让多个智能体互相讨论,这些讨论究竟在哪个环节起了作用、在哪个环节起了反作用,当前系统距离其能力上限还有多远,缺乏可量化的诊断手段。

3、现有的相关技术方案可以归纳为以下三类:

4、(1)基于端到端准确率的评估与调优方案。 此类方案是目前应用最广泛的评估路径,其核心是在一批测试问题上分别运行不同的协作配置,比较各配置的最终准确率,据此选择协作方案。该方案实施简单、结果直观,但该方案存在三个固有缺陷:

5、缺乏环节级的解释能力,端到端准确率只能说明某一配置整体上更好或更差,无法说明差异究竟来自哪个环节,即无法区分是“智能体根本没有产生正确答案”,还是“正确答案已经产生但团队没有采纳”。这两种情况所需要的改进措施完全相反,前者需要提升单个智能体的能力,后者需要改进团队的汇总规则,而端到端准确率无法为开发人员指出应当改进哪一侧。

6、改进空间不可知,开发人员无法从端到端准确率得知当前系统距离其能力上限还有多远,因而无法判断继续投入优化是否值得,只能反复试错。

7、条件不可比导致结论失真,不同协作配置在独立作答阶段由于随机采样的差异,所面对的问题难度分布本身就不相同。直接比较各配置的总准确率,会把初始条件的差异误判为协作机制的优劣,得出不可靠甚至方向相反的结论。

8、(2)基于智能体间信息交换机制改进的方案。 此类方案着眼于改进智能体之间交换的信息内容或汇总规则,例如引入第三方评判智能体、动态调整通信拓扑、加入反从众提示以抑制盲目附和、或采用免共识的加权计分规则。该方案在部分任务上能够提升准确率,但该方案存在三个固有缺陷:

9、作用机理未经充分分离,此类方案默认“其他智能体的消息之所以有用,是因为消息里的内容携带了有价值的推理信息”,但该前提长期未经受控验证。原因在于,当一个智能体收到其他智能体的理由时,有三件事同时发生了改变,即它获得的语义信息、它的提示词结构、以及它对其他智能体的行为倾向,常规实验设计无法把这三者分开,因而无法判断增益究竟来自哪一个。

10、改进方向可能作用在错误的环节上,此类方案主要致力于让智能体之间交换更丰富的信息,但如果系统的真实瓶颈在于团队无法从已有候选答案中识别出正确的那一个,那么无论把消息做得多丰富,都不能改善这一环节。

11、改进效果无法预先判断,由于缺少对瓶颈位置的定位手段,开发人员在投入改造之前无法估计该项改造最多能带来多少收益,投入产出关系不可预测。

12、(3)基于消融对照的机理分析方案。此类方案不直接提出新的协作规则,而是通过设置对照条件来分析协作为何有效或失效,例如把其他智能体的消息替换为无实质内容的文本、替换为来自其他问题的内容,或者改变其他智能体消息的呈现形式,据以判断协作增益来自消息的哪一部分。该方案能够揭示部分作用机理,但该方案存在三个固有缺陷:

13、对照条件只作用于接收一侧,此类方案设置的各种对照,改变的都是智能体所接收到的信息,而智能体自身是否需要发布结构化的自我描述这一条件始终不变。由于在常规协作协议中,发布自身认知状态与接收其他智能体的认知状态相互耦合,仅改变接收一侧无法把发布动作的效应单独测量出来。

14、样本条件不匹配,此类方案在比较不同对照条件时,直接使用各条件各自运行所得的全部样本,而不同条件在独立作答阶段所面对的问题难度分布并不相同。由此得到的差异中混入了初始条件的差异,无法归因于对照条件本身。

15、缺少跨随机采样的稳定性约束,此类方案通常在单次随机采样下报告对照结果,未要求同一比较在多个随机种子上符号一致。由于协作过程本身带有采样随机性,单次比较得到的差异可能在重复实验中反向,据此得出的机理结论不稳定。

16、因此,现有技术中无法准确定位多智能体协作推理中的瓶颈所在,无法量化改进空间,无法为多智能体系统的部署与优化提供从记录、分离、归因到决策支持的全面技术支撑。

技术实现思路

1、本发明实施例提供一种多智能体协作判别瓶颈诊断方法,用以提升多智能体协作诊断的高效、精准、可信性,提供量化改进空间,该方法包括:

2、依据预先构建的每个协作配置,调度多个智能体对问题集中每一问题进行多轮的协作推理,并在最终轮后汇总所有智能体答案生成每一问题的团队答案;所述协作配置包括是否发布、是否注入;所述发布表示在每轮推理后各智能体发布认知状态,所述注入表示在每轮推理前向各智能体注入提示内容;所述认知状态包括反映推理可解释性与推理质量的数据;

3、获取各智能体在各轮推理中的逐题记录,形成各协作配置下的全过程记录;

4、利用所述全过程记录计算判别缺口、判别上限,根据判别缺口与判别上限的比值确定各协作配置下的瓶颈所在;所述瓶颈包括团队答案汇总环节、团队答案汇总环节之前的生成环节;所述判别上限通过各智能体针对每一问题在首轮回答正确的情况确定,所述判别缺口为所述判别上限与团队答案准确率之差;

5、通过比较分析不同协作配置下的全过程记录,得到不同协作配置对团队答案准确率影响;

6、根据各协作配置下的全过程记录、瓶颈所在和所述不同协作配置对团队答案准确率影响,输出诊断报告。

7、本发明实施例还提供一种多智能体协作判别瓶颈诊断装置,用以提升多智能体协作诊断的高效、精准、可信性,提供量化改进空间,该装置包括:

8、协作协议执行模块用于:依据预先构建的每个协作配置,调度多个智能体对问题集中每一问题进行多轮的协作推理,并在最终轮后汇总所有智能体答案生成每一问题的团队答案;所述协作配置包括是否发布、是否注入;所述发布表示在每轮推理后各智能体发布认知状态,所述注入表示在每轮推理前向各智能体注入提示内容;所述认知状态包括反映推理可解释性与推理质量的数据;

9、全过程记录模块用于:获取各智能体在各轮推理中的逐题记录,形成各协作配置下的全过程记录;

10、轮次分层归因模块用于:利用所述全过程记录计算判别缺口、判别上限,根据判别缺口与判别上限的比值确定各协作配置下的瓶颈所在;所述瓶颈包括团队答案汇总环节、团队答案汇总环节之前的生成环节;所述判别上限通过各智能体针对每一问题在首轮回答正确的情况确定,所述判别缺口为所述判别上限与团队答案准确率之差;

11、匹配状态对照模块用于:通过比较分析不同协作配置下的全过程记录,得到不同协作配置对团队答案准确率影响;

12、诊断报告模块用于:根据各协作配置下的全过程记录、瓶颈所在和所述不同协作配置对团队答案准确率影响,输出诊断报告。

13、本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述多智能体协作判别瓶颈诊断方法。

14、本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述多智能体协作判别瓶颈诊断方法。

15、本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现上述多智能体协作判别瓶颈诊断方法。

16、本发明实施例中预先构建协作配置,协作配置包括是否发布、是否注入;所述发布表示在每轮推理后各智能体发布认知状态,所述注入表示在每轮推理前向各智能体注入提示内容;本发明实施例构造了在常规协议中不存在的配置,使发布动作本身的效应首次能够被单独测量。同时,本发明实施例将各智能体在各轮推理中的逐题记录完整记录,将协作过程的观测点从单一的最终结果扩展到分阶段的多个观测点,便于后于进行判别缺口、判别上限的判断,以及根据判别缺口与判别上限的比值确定各协作配置下的瓶颈所在,瓶颈包括团队答案汇总环节、团队答案汇总环节之前的生成环节,能够量化改进空间,使得开发人员能够明确得知瓶颈位于哪一侧;本发明实施例中进一步通过比较分析不同协作配置下的全过程记录,得到不同协作配置对团队答案准确率影响,了解配置之间差异的影响,最后输出可审计、可追溯的诊断报告,总体上提升了多智能体协作诊断的高效、精准、可信性。