智能体全面评估方法、设备、存储介质和产品与流程

本申请涉及智能体评估与优化，尤其涉及智能体全面评估方法、设备、存储介质和产品。

背景技术：

1、随着企业级智能体应用从单轮问答走向长流程规划、多工具调用和跨系统协同，传统评估方式已经难以支撑正式质量治理，因此，需要一种新的智能体评估方法对智能体进行评估。

2、目前智能体评估方法通常为人工抽查、单一提示词打分或临时脚本评估，只能判断最终回答是否合格，而复杂智能体的质量问题往往发生在中间步骤或判断链路中。因此，目前的智能体评估方法无法对智能体进行全面评估，使得测试和研发团队只能对智能体的中间过程逐条复核，导致目前智能体评估的效率较低。

技术实现思路

1、本申请的主要目的在于提供一种智能体全面评估方法、设备、存储介质和产品，旨在解决目前智能体评估的效率较低的技术问题。

2、为实现上述目的，本申请提出一种智能体全面评估方法，所述的方法包括：

3、获取评估任务配置；

4、基于所述任务配置获取智能体的待评估样本和目标评估算子，其中，所述待评估样本包括所述智能体的运行过程数据，所述目标评估算子是基于智能体的所述运行过程数据、业务文档和评分项调试优化得到的；

5、基于所述目标评估算子、预设的智能体驾驭工具和所述待评估样本，对所述智能体进行评估，得到结构化评估结果，其中，所述结构化评估结果包括对各所述运行过程数据的评估结果。

6、在一实施例中，所述基于所述任务配置获取智能体的待评估样本和目标评估算子的步骤之前，还包括：

7、获取智能体的运行过程样本、业务文档样本和评分项样本；

8、基于所述运行过程样本、所述业务文档样本和所述评分项样本，生成训练集和验证集；

9、在所述智能体驾驭工具的算子创建约束下，创建包括评估说明、参考资料、工具能力、输出协议和运行追溯信息的初始算子；

10、基于所述训练集、所述验证集和所述智能体驾驭工具，对所述初始算子进行调试优化，得到所述目标评估算子。

11、在一实施例中，所述基于所述训练集、所述验证集和所述智能体驾驭工具，对所述初始算子进行调试优化，得到所述目标评估算子的步骤包括：

12、将所述初始算子作为当前待优化算子，获取针对所述待优化算子的调试任务；

13、基于所述智能体驾驭工具、所述调试任务和所述训练集，对所述待优化算子进行优化，得到优化算子；

14、基于所述验证集，对所述优化算子进行验证，基于得到的验证结果，判断所述优化算子是否满足发布条件；

15、若未满足发布条件，则将所述优化算子作为新的待优化算子，返回获取针对所述待优化算子的调试任务的步骤，直至所述优化算子满足发布条件，得到所述目标评估算子。

16、在一实施例中，所述基于所述智能体驾驭工具、所述调试任务和所述训练集，对所述待优化算子进行优化，得到优化算子的步骤包括：

17、基于所述智能体驾驭工具执行所述调试任务，对所述训练集中的所述运行过程样本进行评估，得到样本评估结果；

18、基于所述样本评估结果和所述训练集中的真实结果，确定所述待优化算子的问题来源；

19、基于所述问题来源，对所述待优化算子进行相应的定向优化，得到所述优化算子。

20、在一实施例中，所述样本评估结果包括调试结果、失败样本、样本评分和预期标签，所述真实结果包括真实评分和真实标签，所述基于所述样本评估结果和所述训练集中的真实结果，确定所述待优化算子的问题来源的步骤包括：

21、基于所述样本评分和所述真实评分，确定所述待优化算子和真实结果的评分一致性；

22、基于所述调试结果、所述失败样本、所述预期标签和所述真实标签，确定所述待优化算子的问题来源，其中，所述问题来源包括评分规则表达不清、参考资料不足、轨迹字段解析错误、输出协议不稳定和错误分类过粗中至少一项。

23、在一实施例中，所述基于所述目标评估算子、预设的智能体驾驭工具和所述待评估样本，对所述智能体进行评估，得到结构化评估结果的步骤包括：

24、基于所述智能体驾驭工具，确定与所述目标评估算子绑定的参考资料；

25、基于所述智能体驾驭工具，将所述参考资料、所述待评估样本中的所述运行过程数据和所述目标评估算子的版本，组合为标准上下文；

26、基于所述目标评估算子和所述标准上下文，对所述智能体进行评估，得到对应的多个所述评估结果，其中，所述评估结果包括样本分数、通过标签、判断理由、证据引用、错误分类、运行耗时和异常状态；

27、基于所述智能体驾驭工具，将所述评估结果组合为所述结构化评估结果。

28、在一实施例中，所述基于所述目标评估算子、预设的智能体驾驭工具和所述待评估样本，对所述智能体进行评估，得到结构化评估结果的步骤之后，还包括：

29、获取目标评估算子正式运行过程中产生的新低分样本、人工校准结果和准确率报告；

30、创建与所述目标评估算子相同的备份算子；

31、基于所述新低分样本、人工校准结果和准确率报告对所述备份算子进行优化，得到优化后的新评估算子。

32、此外，为实现上述目的，本申请还提出一种智能体全面评估设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的智能体全面评估方法的步骤。

33、此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的智能体全面评估方法的步骤。

34、此外，为实现上述目的，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的智能体全面评估方法的步骤。

35、本申请提出的一个或多个技术方案，至少具有以下技术效果：

36、目前智能体评估方法只能判断最终回答是否合格，无法对智能体进行全面评估，使得测试和研发团队只能对智能体的中间过程逐条复核，导致目前智能体评估的效率较低。因此，本申请获取评估任务配置，基于所述任务配置获取智能体的待评估样本和目标评估算子，基于所述目标评估算子、预设的智能体驾驭工具和所述待评估样本，对所述智能体进行评估，得到结构化评估结果。由于本申请待评估样本包括所述智能体的运行过程数据，且用于进行评估的目标评估算子是基于运行过程数据、业务文档和评分项调试优化得到的，使得本申请可以通过评估算子对包含中间数据和判断链路的运行过程数据进行全面评估。

37、由于本申请是通过评估算子实现对智能体的整个运行过程进行评估的，

38、且输出的是包含对各所述运行过程数据评估的结构化评估结果，使得本申请无需对智能体的中间过程逐条复核就能得到全面的评估结果，从而可以提升智能体评估的效率。

1.一种智能体全面评估方法，其特征在于，所述的方法包括：

2.如权利要求1所述的方法，其特征在于，所述基于所述任务配置获取智能体的待评估样本和目标评估算子的步骤之前，还包括：

3.如权利要求2所述的方法，其特征在于，所述基于所述训练集、所述验证集和所述智能体驾驭工具，对所述初始算子进行调试优化，得到所述目标评估算子的步骤包括：

4.如权利要求3所述的方法，其特征在于，所述基于所述智能体驾驭工具、所述调试任务和所述训练集，对所述待优化算子进行优化，得到优化算子的步骤包括：

5.如权利要求4所述的方法，其特征在于，所述样本评估结果包括调试结果、失败样本、样本评分和预期标签，所述真实结果包括真实评分和真实标签，所述基于所述样本评估结果和所述训练集中的真实结果，确定所述待优化算子的问题来源的步骤包括：

6.如权利要求1所述的方法，其特征在于，所述基于所述目标评估算子、预设的智能体驾驭工具和所述待评估样本，对所述智能体进行评估，得到结构化评估结果的步骤包括：

7.如权利要求1所述的方法，其特征在于，所述基于所述目标评估算子、预设的智能体驾驭工具和所述待评估样本，对所述智能体进行评估，得到结构化评估结果的步骤之后，还包括：

8.一种智能体全面评估设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至7中任一项所述的智能体全面评估方法的步骤。

9.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的智能体全面评估方法的步骤。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的智能体全面评估方法的步骤。