一种数据处理方法及电子设备与流程

本申请涉及计算机，尤其涉及一种数据处理方法及电子设备。

背景技术：

1、随着大模型与智能体框架快速发展，可供用户选择的大模型和智能体框架种类日益增多。实际部署时，用户通常需要将某一大模型与某一智能体框架组合使用，形成完整的智能体系统。而不同“模型—框架”组合在任务完成效果上存在显著差异，用户难以预先判断何种组合适配自身任务。然而，现有测试方法通常仅针对大模型单体进行能力测试，或仅绑定某个默认模型对智能体框架进行示例性演示，未能实现对“模型+框架”这一组合进行自动测试。

技术实现思路

1、本申请提供的技术方案如下：

2、本申请第一方面提供一种数据处理方法，包括：

3、通过第一待测模型组合处理第一任务，得到第一处理结果；所述第一待测模型组合包括待测模型和待测智能体框架；

4、如果所述第一处理结果满足测试条件，基于所述待测模型、所述待测智能体框架、基准模型、基准智能体框架，生成多个第二待测模型组合；

5、通过多个所述第二待测模型组合分别处理第二任务，得到多个第二处理结果；

6、基于多个所述第二处理结果，确定所述第一待测模型组合的测试结果。

7、在一种可能的实现中，所述通过第一待测模型组合处理第一任务，得到第一处理结果，包括：

8、获取目标任务执行链路，所述目标任务执行链路包括多个具有顺序依赖的处理节点；

9、通过所述第一待测模型组合，基于所述目标任务执行链路处理所述第一任务，得到与各个所述处理节点对应的适配数据；所述适配数据表征所述待测模型和所述待测智能体框架在对应处理节点上的适配程度；

10、基于多个所述处理节点对应的适配数据，确定第一处理结果。

11、在一种可能的实现中，所述数据处理方法还包括：

12、如果基于所述第一处理结果确定各个处理节点对应的所述适配数据均满足适配条件，确定所述第一处理结果满足测试条件。

13、在一种可能的实现中，所述数据处理方法还包括：

14、如果存在至少一个所述处理节点对应的适配数据不满足适配条件，基于不满足所述适配条件的所述处理节点对应的适配数据，生成第一提示信息；所述第一提示信息用于指示适配异常类型和异常位置。

15、在一种可能的实现中，所述基于所述待测模型、所述待测智能体框架、基准模型、基准智能体框架，生成多个第二待测模型组合，包括：

16、对所述待测模型、所述待测智能体框架、基准模型、基准智能体框架进行两两组合，得到多个第二待测模型组合；

17、通过多个所述第二待测模型组合分别处理第二任务，得到多个第二处理结果，包括：

18、在同一任务场景与同一工具配置下，通过多个所述第二待测模型组合分别处理第二任务，得到多个第二处理结果。

19、在一种可能的实现中，所述第二任务包括第一类任务和第二类任务；

20、所述通过多个所述第二待测模型组合分别处理第二任务，得到多个第二处理结果，包括：

21、通过全部所述第二待测模型组合分别处理所述第一类任务，得到各个所述第二待测模型组合对应的第一类处理结果，所述第一类处理结果用于不同第二待测模型组合之间的性能比较；

22、从多个所述第二待测模型组合中确定具备指定能力的第二待测模型组合；

23、通过所述具备指定能力的第二待测模型组合处理所述第二类任务，得到第二类处理结果，所述第二类处理结果用于确定所述具备指定能力的第二待测模型组合在所述指定能力上的性能。

24、在一种可能的实现中，各个所述第二处理结果包括：各个所述第二待测模型组合对应的处理结果质量信息；所述处理结果质量信息表征所述第二待测模型组合对所述第二任务的完成质量；

25、所述基于多个所述第二处理结果，确定所述第一待测模型组合的测试结果，包括：

26、基于各个所述第二待测模型组合对应的处理结果质量信息，确定第一适配差异信息、第二适配差异信息和第三适配差异信息；

27、基于所述第一适配差异信息、所述第二适配差异信息和所述第三适配差异信息，确定所述第一待测模型组合的所述测试结果；

28、其中，所述第一适配差异信息表示所述待测模型所引起的处理结果质量信息的变化；所述第二适配差异信息表示所述待测智能体框架所引起的处理结果质量信息的变化；所述第三适配差异信息表示所述待测模型与所述待测智能体框架组合交互所引起的处理结果质量信息的变化。

29、在一种可能的实现中，所述数据处理方法还包括：

30、如果所述第三适配差异信息超过目标差异范围，基于所述第一待测模型组合与各个所述处理节点对应的适配数据，确定所述待测模型和所述待测智能体框架之间在处理所述第二任务中产生交互差异的处理节点；

31、基于所述产生交互差异的处理节点，生成第二提示信息。

32、在一种可能的实现中，所述数据处理方法还包括：

33、获取处理所述第二任务过程中采集的辅助信息，所述辅助信息包括任务完成情况、工具调用情况、执行步骤、耗时、资源消耗和错误信息中的至少一种；

34、基于所述第一适配差异信息、所述第二适配差异信息、所述第三适配差异信息、所述辅助信息以及所述第一待测模型组合与各个所述处理节点对应的适配数据，输出差异定位结果；

35、所述差异定位结果用于指示所述待测模型与所述待测智能体框架之间的适配差异来源于以下至少之一：

36、所述待测模型的回答能力；

37、所述待测智能体框架的调度能力；

38、工具调用链路；

39、所述待测模型与所述待测智能体框架之间的配合适配。

40、本申请另一方面提供一种电子设备，包括：

41、存储器用于存储计算机程序；

42、处理器用于执行所述计算机程序，以使所述电子设备能够实现以下方法步骤：

43、通过第一待测模型组合处理第一任务，得到第一处理结果；所述第一待测模型组合包括待测模型和待测智能体框架；

44、如果所述第一处理结果满足测试条件，基于所述待测模型、所述待测智能体框架、基准模型、基准智能体框架，生成多个第二待测模型组合；

45、通过多个所述第二待测模型组合分别处理第二任务，得到多个第二处理结果；

46、基于多个所述第二处理结果，确定所述第一待测模型组合的测试结果。

1.一种数据处理方法，包括：

2.根据权利要求1所述的数据处理方法，所述通过第一待测模型组合处理第一任务，得到第一处理结果，包括：

3.根据权利要求2所述的数据处理方法，所述数据处理方法还包括：

4.根据权利要求2所述的数据处理方法，所述数据处理方法还包括：

5.根据权利要求1或2所述的数据处理方法，所述基于所述待测模型、所述待测智能体框架、基准模型、基准智能体框架，生成多个第二待测模型组合，包括：

6.根据权利要求5所述的数据处理方法，所述第二任务包括第一类任务和第二类任务；

7.根据权利要求5所述的数据处理方法，各个所述第二处理结果包括：各个所述第二待测模型组合对应的处理结果质量信息；所述处理结果质量信息表征所述第二待测模型组合对所述第二任务的完成质量；

8.根据权利要求7所述的数据处理方法，所述数据处理方法还包括：

9.根据权利要求7所述的数据处理方法，所述数据处理方法还包括：

10.一种电子设备，包括：