一种智能体分析方法及相关设备与流程

本技术涉及人工智能，尤其涉及一种智能体分析方法及相关设备。

背景技术：

1、在当前人工智能技术浪潮中，基于大语言模型驱动的智能体已成为生成各类文本报告（如市场分析、内容摘要、评测报告）的重要工具。随着相关模型与产品的激增，如何科学、高效地评估智能体生成报告的质量，已成为制约技术迭代、产品选型和商业化应用的关键瓶颈。

2、目前，相关技术通常是基于自动化指标评估法（如bleu、rouge）对智能体生成的文本报告进行分析以实现智能体分析，该种方式难以衡量报告的逻辑性、事实准确性与创造性等深层质量维度，与人类真实感知严重脱节，从而使得智能体分析的可信度不尽人意。

3、综上，相关技术中存在的技术问题有待得到改善。

技术实现思路

1、本发明的目的在于至少一定程度上解决相关技术中存在的技术问题之一。

2、本技术实施例的主要目的在于提出一种智能体分析方法及相关设备，其中，该方法可以有效提高智能体分析的可信度。

3、为实现上述目的，本技术实施例的一方面提出了一种智能体分析方法，所述方法包括：

4、获取若干个分析指标和若干个待评估智能体生成的文本报告；

5、根据所有所述文本报告，得到若干个第一报告对；每个所述文本报告出现在所述第一报告对中的左侧位置与右侧位置的概率相同；

6、对所有所述第一报告对进行多轮指标分析，得到每个所述文本报告在所有所述分析指标下的若干个指标分析信息；

7、对每个所述文本报告的所有指标分析信息进行信息聚合，得到每个所述待评估智能体的分析结果。

8、在一些实施例中，所述指标分析信息包括每个所述分析指标下的若干个专家分析子信息；所述根据所有所述分析指标，对所有所述第一报告对进行多轮指标分析，得到每个所述文本报告在所有分析指标下的若干个指标分析信息，包括：

9、根据所有所述分析指标，获取若干个分析专家，每个所述分析专家对应一个所述分析指标；

10、根据所有所述第一报告对，获取若干个第二报告对；所有所述第二报告对包含目标报告；所述目标报告为所有所述文本报告中的任意一个文本报告；

11、根据所有所述分析专家，对所有所述第二报告对进行专家分析，得到所述目标报告在每个所述分析指标下的若干个专家分析子信息。

12、在一些实施例中，所述根据所有所述分析专家，对所有所述第二报告对进行专家分析，得到所述目标报告在每个所述分析指标下的若干个专家分析子信息，包括：

13、根据所述分析专家，对所述第二报告对的左侧报告和右侧报告进行并排比对，得到并排比对结果；所述左侧报告为非目标报告或所述目标报告；所述右侧报告为所述非目标报告和所述目标报告中除所述左侧报告之外的报告；所述非目标报告为所有文本报告中除所述目标报告之外的任意一个文本报告；

14、若所述并排比对结果为所述目标报告优于所述非目标报告，则为所述目标报告生成表征优势分的专家分析子信息；或者，若所述并排比对结果为所述目标报告与所述非目标报告的表现相当，则为所述目标报告生成表征均势分的专家分析子信息；或者，若所述并排比对结果为所述非目标报告优于所述目标报告，则为所述目标报告生成表征劣势分的专家分析子信息。

15、在一些实施例中，所述对每个所述文本报告的所有指标分析信息进行信息聚合，得到每个所述待评估智能体的分析结果，包括：

16、对所有所述指标分析信息进行优势分提取，得到所有所述指标分析信息在每个所述分析指标下的若干个优势分信息；

17、对所有所述优势分信息进行总体分析，得到所述待评估智能体的分析结果。

18、在一些实施例中，所述方法还包括：

19、根据所有所述指标分析信息，获取若干个目标分析子信息；所述目标分析子信息为不同分析专家对目标报告在目标指标下的专家分析子信息，所述目标指标为所有所述分析指标中的任意一个分析指标；

20、对每个所述分析专家的所有目标分析子信息进行逆序率分析，得到若干个逆序率，每个所述逆序率用于表征对应两个所述分析专家对所述目标报告的分析一致性程度；

21、根据所有所述逆序率，对每个所述分析专家的所有目标分析子信息进行信息纠偏，得到若干个纠偏后的目标分析子信息。

22、在一些实施例中，所述根据所有所述逆序率，对每个所述分析专家的所有目标分析子信息进行信息纠偏，得到若干个纠偏后的目标分析子信息，包括：

23、获取逆序阈值；

24、根据所述逆序阈值，对所述逆序率进行阈值比较，得到阈值比较结果；

25、若所述阈值比较结果为所述逆序率大于或等于所述逆序阈值，则对所述逆序率对应的若干个目标分析子信息进行加评纠偏，得到若干个所述纠偏后的目标分析子信息。

26、在一些实施例中，所述对所述逆序率对应的若干个目标分析子信息进行加评纠偏，得到若干个所述纠偏后的目标分析子信息，包括：

27、获取若干个加评专家；

28、根据所有所述加评专家，对所述目标分析子信息对应的第二报告对进行指标分析，得到若干个加评分析子信息；

29、根据所有所述加评分析子信息，进行多数纠偏处理，得到中间纠偏信息；

30、若所述中间纠偏信息满足纠偏条件，则将所述中间纠偏信息确定为所述纠偏后的目标分析子信息；或者，若所述中间纠偏信息不满足所述纠偏条件，则返回执行获取纠偏条件和若干个加评专家的步骤。

31、为实现上述目的，本技术实施例的另一方面提出了一种智能体分析系统，包括：

32、获取单元，用于获取若干个分析指标和若干个待评估智能体生成的文本报告；

33、处理单元，用于根据所有所述文本报告，得到若干个第一报告对；每个所述文本报告出现在所述第一报告对中的左侧位置与右侧位置的概率相同；

34、分析单元，用于对所有所述第一报告对进行多轮指标分析，得到每个所述文本报告在所有所述分析指标下的若干个指标分析信息；

35、聚合单元，用于对每个所述文本报告的所有指标分析信息进行信息聚合，得到每个所述待评估智能体的分析结果。

36、为实现上述目的，本技术实施例的另一方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现前面所述的方法。

37、为实现上述目的，本技术实施例的另一方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前面所述的方法。

38、另一方面，本技术实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存介质中，电子设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该电子设备执行实现前面所述的方法。

39、本技术实施例至少包括以下有益效果：

40、本技术提供一种智能体分析方法及相关设备，其中，该方法获取若干个分析指标和若干个待评估智能体生成的文本报告；根据所有所述文本报告，得到若干个第一报告对；每个所述文本报告出现在所述第一报告对中的左侧位置与右侧位置的概率相同；对所有所述第一报告对进行多轮指标分析，得到每个所述文本报告在所有所述分析指标下的若干个指标分析信息；对每个所述文本报告的所有指标分析信息进行信息聚合，得到每个所述待评估智能体的分析结果。该方法通过对第一报告对进行多轮指标分析以得到每轮指标分析与所有分析指标对应的指标分析信息，其可以充分考虑报告的逻辑性、事实准确性与创造性等深层质量维度，有利于提高智能体分析的可信度。