一种智能体评测方法及相关装置、设备与流程

摘要: 本公开总体上涉及人工智能,尤其涉及一种智能体评测方法及相关装置、设备。背景技术:1、智能体(agent)是一种结合大语言模型(largelanguagemode...
一种智能体评测方法及相关装置、设备与流程

本公开总体上涉及人工智能,尤其涉及一种智能体评测方法及相关装置、设备。

背景技术:

1、智能体(agent)是一种结合大语言模型(large language model,llm)、外部工具及知识库等资源,能够感知环境信息、理解用户任务、自主进行任务规划并完成目标任务的智能系统。随着大语言模型和智能体技术的快速发展,智能体已广泛应用于多种复杂任务场景。为了评估智能体的任务执行能力、工具调用能力及运行稳定性,通常需要构建评测数据集,驱动智能体执行评测任务,并根据执行结果对智能体性能进行评价。

2、现有的智能体评测方法通常采用预先构建的评测数据集进行一次性或周期性评测,然而,仅用静态的评测数据集对智能体进行评测难以准确、全面地反映被测智能体的性能。因此,现有的智能体评测方法的完备性有待改进。

技术实现思路

1、为解决上述问题,本公开提供一种智能体评测方法及相关装置、设备。

2、本公开实施例提供一种智能体评测方法,包括:获取目标智能体的能力覆盖图谱,所述能力覆盖图谱至少包括多个能力节点;获取评测需求信息,基于所述能力覆盖图谱和所述评测需求信息生成评测用例集,所述评测用例集包括多个评测用例,每个评测用例与至少一个能力节点关联;通过所述目标智能体执行所述评测用例集中的评测用例,得到评测结果;基于所述能力覆盖图谱和所述评测结果得到能力覆盖信息,所述能力覆盖信息指示所述能力节点被所述评测用例集覆盖的情况;基于所述能力覆盖信息将未达到目标覆盖阈值的能力节点确定为目标能力节点;基于目标能力节点生成补充评测用例,并将所述补充评测用例加入所述评测用例集,以更新所述评测用例集。

3、在一些实施方式中,在更新所述评测用例集后,则返回执行所述获取目标智能体的能力覆盖图谱的步骤;在基于所述能力覆盖信息将未达到目标覆盖阈值的能力节点确定为目标能力节点的步骤中,若判定全部能力节点均满足目标覆盖阈值,则终止流程,完成对目标智能体的评测。

4、在一些实施方式中,所述能力覆盖图谱基于所述目标智能体的能力信息构建,所述能力信息用于表示所述目标智能体在业务场景下的任务处理能力和约束条件。

5、在一些实施方式中,所述评测用例与所述补充评测用例的结构均为评测任务契约,所述评测任务契约至少包括覆盖标签,所述覆盖标签指示所述评测任务契约与所述能力节点的关联关系。

6、在一些实施方式中,所述评测任务契约还包括:用户问题、预期场景、预期意图、预期执行能力、必须调用能力、禁止调用能力、参数断言、结果断言、安全断言、覆盖标签和风险等级中的一个或多个。

7、在一些实施方式中,每个所述能力节点对应有目标覆盖数量;所述能力覆盖信息包括能力节点的当前覆盖数量、有效覆盖数量和稳定覆盖数量;其中,对于任一能力节点,所述当前覆盖数量为关联于该能力节点的评测用例数量,所述有效覆盖数量为关联于该能力节点且评测结果为通过的评测用例的数量;所述稳定覆盖数量为关联于该能力节点且评测结果为稳定通过的评测用例的数量。

8、在一些实施方式中,所述通过所述目标智能体执行所述评测用例集中的评测用例,得到评测结果包括:通过所述目标智能体执行所述评测用例集中的评测用例,并记录执行轨迹和执行结果;判断所述执行轨迹和执行结果是否满足预设评测条件,得到评测结果。

9、在一些实施方式中,所述预设评测条件包括路由条件、执行过程条件和综合结果条件;所述判断所述执行轨迹和执行结果是否满足预设评测条件包括:判断所述执行轨迹是否满足路由条件;判断所述执行轨迹是否满足执行过程条件;判断所述执行轨迹和执行结果是否满足综合结果条件。

10、在一些实施方式中,在所述判断所述执行轨迹和执行结果是否满足预设评测条件中,依次判断所述执行轨迹是否满足路由条件、所述执行轨迹是否满足执行过程条件和判断所述执行轨迹和执行结果是否满足综合结果条件,在任一次判断结果为不满足时,则确定所述执行轨迹和执行结果不满足预设评测条件,不再执行后续判断。

11、本公开实施例还提供一种智能体评测装置,包括:能力覆盖图谱处理模块,用于获取目标智能体的能力覆盖图谱,所述能力覆盖图谱至少包括多个能力节点;评测用例处理模块,用于获取评测需求信息,基于所述能力覆盖图谱和所述评测需求信息生成评测用例集,所述评测用例集包括多个评测用例,每个评测用例与至少一个能力节点关联;评测执行模块,用于通过所述目标智能体执行所述评测用例集中的评测用例,得到评测结果;评测结果处理模块,用于基于所述能力覆盖图谱和所述评测结果得到能力覆盖信息,所述能力覆盖信息指示所述能力节点被所述评测用例集覆盖的情况,以及,基于所述能力覆盖信息将未达到目标覆盖阈值的能力节点确定为目标能力节点;所述评测用例处理模块还用于基于目标能力节点生成补充评测用例,并将所述补充评测用例加入所述评测用例集,以更新所述评测用例集。

12、本公开实施例还提供一种电子设备,包括处理器和存储器,所述存储器用于存储可执行数据指令,所述处理器用于在执行所述存储器中存储的可执行数据指令时,实现如前述实施例任一项所述的智能体评测方法。

13、本公开实施例还提供一种计算机可读存储介质,用于存储计算机程序/指令,所述计算机程序/指令被处理器执行时实现如前述实施例任一项所述的智能体评测方法。

14、本公开实施例还提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现如前述实施例任一项所述的智能体评测方法。

15、本公开提供的一种智能体评测方法,首先获取目标智能体的能力覆盖图谱,所述能力覆盖图谱至少包括多个能力节点;然后获取评测需求信息,基于所述能力覆盖图谱和所述评测需求信息生成评测用例集,所述评测用例集包括多个评测用例,每个评测用例与至少一个能力节点关联,通过将评测用例与能力节点关联的方式,便于后续统计能力节点被所述评测用例集覆盖的情况;接着通过所述目标智能体执行所述评测用例集中的评测用例,得到评测结果;基于所述能力覆盖图谱和所述评测结果得到能力覆盖信息,所述能力覆盖信息指示所述能力节点被所述评测用例集覆盖的情况;再基于所述能力覆盖信息将未达到目标覆盖阈值的能力节点确定为目标能力节点,也就是确定未达到预期覆盖情况的能力节点;基于目标能力节点生成补充评测用例,并将所述补充评测用例加入所述评测用例集,以更新所述评测用例集,即基于能力节点的覆盖缺口,生成用于覆盖现有评测用例集未能覆盖到的能力节点的评测用例。

16、也就是说,本公开提供的智能体评测方法,通过将评测用例与能力覆盖图谱包括的能力节点关联的方式,基于目标智能体执行评测用例得到的评测结果以及能力覆盖图谱得到能力覆盖信息,再基于所述能力覆盖信息将未达到目标覆盖阈值的能力节点确定为目标能力节点,并基于能力节点的覆盖缺口,生成用于覆盖现有评测用例集未能覆盖到的能力节点的评测用例,针对性地对所述评测用例集进行更新,进而可以利用更新后的评测用例集继续对目标智能体进行评测,实现对评测用例集的自动化闭环更新,以提高智能体评测方法的完备性。