智能体评估方法及装置与流程

本公开涉及智能体评估，特别涉及一种智能体评估方法及装置。

背景技术：

1、随着人工智能技术的飞速发展，大模型（如大语言模型、多模态生成模型等）在各个领域的应用日益广泛，基于大模型构建的智能体（agent）被广泛应用于商业数据分析、内容洞察、投放辅助、智能语音客服等应用场景。

2、区别于大模型的直接应用，智能体作为一种基于大模型构建的、能够自主调用各类工具执行需求任务的应用程序或复杂系统，其在应用过程中并不局限了单纯的“输入→输出”问答过程，而是能够自主规划多个任务执行步骤轨迹、调用多个外部工具（例如数据库查询、检索、计算等），并经由多轮交互产出最终的智能体输出结果。因此，相较于传统的大模型评估，智能体评估过程所需要考虑的维度和因素更多，评估过程的落地和实现相对更为复杂，亟需一种专门应用于智能体的评估方法和系统协助用户对智能体的优化过程进行针对性的评估测试。

技术实现思路

1、本公开的目的在于提供一种智能体评估方法及装置，能够在智能体评估的过程中，根据智能体的多个待评估配置组别，异步并发地执行基于测试用例的评估测试任务，从而对每个配置组别的评估测试情况进行多维度分析。

2、具体的，本公开的第一方面提供了一种智能体评估方法，具体可以包括如下步骤：获取智能体的至少两个配置组别以及评估测试任务池；对于智能体的每个配置组别，分别基于评估测试任务池并发执行多个轮次的评估测试任务，并获取每个轮次的评估测试结果；基于每个配置组别的多个轮次的评估测试结果，确定配置组别对应的配置评估结果；基于多个配置组别的配置评估结果，确定智能体的对照评估结果。

3、在一些实施例中，对于智能体的每个配置组别，分别基于评估测试任务池并发执行多个轮次的评估测试任务，并获取每个轮次的评估测试结果，包括：基于配置组别，创建对应的评估测试数据空间；在全部评估测试数据空间创建完成的情况下，基于并发信号量，控制每个配置组别分别独立自评估测试任务池中选取评估测试任务；以及控制每个配置组别并发执行评估测试任务；其中，评估测试任务包括至少一个预设的测试用例以及测试用例对应的重复执行轮次。

4、在一些实施例中，评估测试任务包括测试用例执行阶段以及测试结果评估阶段；控制每个配置组别并发执行评估测试任务，包括：基于预设的第一并发信号量，调用智能体基于配置组别，执行测试用例执行阶段；基于预设的第二并发信号量，调用预设的评估器基于测试用例执行结果和/或测试用例执行过程，执行测试结果评估阶段；其中，第一并发信号量与第二并发信号量相互独立。

5、在一些实施例中，调用智能体基于配置组别，执行测试用例执行阶段，包括：创建测试用例执行子任务以及超时哨兵子任务；在测试用例执行子任务先于超时哨兵子任务执行完成的情况下，输出测试用例执行结果和/或测试用例执行过程：在超时哨兵子任务先于测试用例执行子任务执行完成的情况下，判断测试用例执行子任务存在执行超时情况，并放弃测试用例执行子任务。

6、在一些实施例中，评估器包括工具正确性维度评估器、规则维度评估器、效率维度评估器、成本维度评估器、词元维度评估器、延迟维度评估器以及大语言模型评估器中的一种或任意多种的组合：调用预设的评估器基于测试用例执行结果和/或测试用例执行过程，执行测试结果评估阶段，包括：调用评估器基于测试用例执行结果和/或测试用例执行过程，获取一个或多个评估器的维度评估结果，并基于全部维度评估结果确定评估测试结果。

7、在一些实施例中，基于每个配置组别的多个轮次的评估测试结果，确定配置组别对应的配置评估结果，包括：获取多个轮次的评估测试结果的统计结果；基于历史评估测试基线以及统计结果，获取配置组别的随机波动参数以及效应量参数，并基于随机波动参数以及效应量参数确定配置组别对应的配置评估结果。

8、在一些实施例中，本公开提供的智能体评估方法还可以包括：基于统计结果，确定执行失败的评估测试任务，并获取执行失败的评估测试任务对应的失败测试用例；基于失败测试用例与历史失败测试用例集合的相似程度，选取相似程度低于预设阈值的失败测试用例更新历史失败测试用例集合。

9、在一些实施例中，本公开提供的智能体评估方法还可以包括：对于智能体的每个配置组别，可视化呈现每个轮次的评估测试结果和/或多个轮次的评估测试任务执行过程；以及基于多个配置组别的配置评估结果，可视化智能体的对照评估结果。

10、在一些实施例中，本公开提供的智能体评估方法还可以包括：获取每个轮次的评估测试结果，并同步写入第一数据空间以及第二数据空间；其中，第一数据空间独立于第二数据空间；第一数据空间用于提供评估测试结果进行配置评估结果和/或对照评估结果的确定；第二数据空间用于提供评估测试结果进行可视化呈现。

11、在一些实施例中，本公开提供的智能体评估方法还可以包括：响应于自然语言指令，确定智能体的评估模式；基于智能体的评估模式，确定智能体的配置组别以及评估意图表单；响应于评估意图表单的确认指令，确定评估测试任务池以及评估测试结果对应的评估维度信息。

12、在一些实施例中，智能体的评估模式包括调参评估模式、脚本评估模式以及代码评估模式；其中，调参评估模式包括智能体在不同调用模型、和/或不同推理参数、和/或不同提示词版本下的生成结果对照；脚本评估模式包括智能体在不同迭代版本下的生成结果对照；代码评估模式包括智能体在不同代码微调场景下的生成结果对照。

13、本公开的第二方面提供了一种智能体评估装置，该种装置具体可以包括：获取单元，用于获取智能体的至少两个配置组别以及评估测试任务池；测试单元，用于对于智能体的每个配置组别，分别基于评估测试任务池并发执行多个轮次的评估测试任务，并获取每个轮次的评估测试结果；组别评估单元，用于基于每个配置组别的多个轮次的评估测试结果，确定配置组别对应的配置评估结果；对照评估单元，用于基于多个配置组别的配置评估结果，确定智能体的对照评估结果。

14、本公开的第三方面提供了一种电子设备，具体可以包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述第一方面提供的智能体评估方法。

15、本公开的第四方面提供了一种计算机可读存储介质，存储计算机程序，其中计算机程序被处理器执行时实现前述第一方面提供的智能体评估方法。

16、本公开的第五方面提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实施前述第一方面提供的智能体评估方法。

17、本公开可能带来的有益效果包括但不限于：能够在智能体评估的过程中，根据智能体的多个待评估配置组别，异步并发地执行基于测试用例的评估测试任务，从而对每个配置组别的评估测试情况进行多个智能体专用维度的评估分析，并能够实现不同配置组别之间的对照评估，使得用户能够准确地获取不同配置组别下智能体的真实应用能力。进一步的，本公开提供的技术方案能够在评估测试任务的具体执行过程中，采用并发信号量隔离的设置，在测试用例执行阶段和测试结果评估阶段采用相互独立的并发信号量，实现测试用例执行阶段与测试结果评估阶段在并发信号量上的解耦，能够有效避免产生死锁冻结等异常情况。进一步的，本公开提供的技术方案还支持在评估测试任务执行过程中提供超时竞速机制，通过设置超时哨兵任务避免处理进程出现超时锁死的异常情况。进一步的，本公开提供的技术方案还支持评估测试过程以及对照评估结果的全程可视化呈现，能够使得用户直观地获取智能体在不同配置组别下的评估测试结果；同时支持用户通过自然语言指令进行配置组别信息以及评估意图表单的确认，降低了用户的智能体评估所需执行的配置操作，提升了用户的智能体评估使用体验。

18、需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。