文本的质量评价方法及装置与流程

本公开涉及网络，特别涉及一种文本的质量评价方法及装置。

背景技术：

1、随着越来越多地通过llm（‌large language model‌，大语言模型）生成文本，比如小说，在对文本进行推荐时，文本的质量分数通常是重要的参考，所以，获取文本的质量分数至关重要。

2、相关技术中，通常采用llm对基于文本和评价标准，对文本进行评价，llm一次性输出质量分数，上述评价过程中，llm倾向于维持逻辑自洽，进而潜意识‌调和评价过程中发现的矛盾观点‌，使得质量分数倾向于折中，导致了中间的质量分数塌陷的问题，也即是质量分数的准确性较低，因此，如何提高文本的质量分数的准确性，是一个研究的重要方向。

技术实现思路

1、本公开提供一种文本的质量评价方法及装置，提高了文本的质量分数的准确性。

2、根据本公开实施例的一方面，提供了一种文本的质量评价方法，所述方法包括：通过第一智能体基于待评价的文本和识别提示词，识别所述文本中的候选问题项，所述识别提示词包括多个质量评价维度的评价说明，所述候选问题项包括所述文本中的文本段、所述文本段的质量评价维度和所述文本段与对应质量评价维度的评价说明之间的第一偏离程度；通过第二智能体对所述候选问题项执行第一校验和第二校验，所述第一校验是指校验所述候选问题项中文本段是否存在于所述文本中，所述第二校验是指校验所述候选问题项中文本段的质量评价维度是否正确；基于目标问题项和分数规则，获取所述文本的质量分数，所述目标问题项为所述第一校验和所述第二校验均通过的候选问题项，所述分数规则指示目标问题项在不同偏离程度下的分数。

3、根据本公开实施例的另一方面，提供了一种文本的质量评价装置，所述装置包括：

4、识别模块，被配置为通过第一智能体基于待评价的文本和识别提示词，识别所述文本中的候选问题项，所述识别提示词包括多个质量评价维度的评价说明，所述候选问题项包括所述文本中的文本段、所述文本段的质量评价维度和所述文本段与对应质量评价维度的评价说明之间的第一偏离程度；

5、第一校验模块，被配置为通过第二智能体对所述候选问题项执行第一校验和第二校验，所述第一校验是指校验所述候选问题项中文本段是否存在于所述文本中，所述第二校验是指校验所述候选问题项中文本段的质量评价维度是否正确；

6、第一获取模块，被配置为基于目标问题项和分数规则，获取所述文本的质量分数，所述目标问题项为所述第一校验和所述第二校验均通过的候选问题项，所述分数规则指示目标问题项在不同偏离程度下的分数。

7、在一些实施例中，所述识别模块，被配置为通过目标智能体在第一会话中基于所述文本和所述识别提示词，识别所述文本中的候选问题项；所述第一校验模块，被配置为通过所述目标智能体在第二会话中基于所述文本和所述候选问题项，对所述候选问题项执行所述第一校验；通过所述目标智能体在第三会话中基于所述多个质量评价维度的评价说明和所述候选问题项，对所述候选问题项执行所述第二校验。

8、在一些实施例中，所述识别模块，被配置为通过目标智能体在每次会话中，分别基于所述文本和一个维度识别提示词，获取所述文本在每个质量评价维度下的问题项，每个维度识别提示词包括一个质量评价维度所对应多个子维度的评价说明；所述第一校验模块，被配置为通过所述目标智能体在每次会话中，分别基于所述文本和所述文本在每个质量评价维度下的候选问题项，对所述文本在每个质量评价维度下的候选问题项执行所述第一校验；通过所述目标智能体在每次会话中，分别基于每个质量评价维度的评价说明和所述文本在每个质量评价维度下的候选问题项，对所述文本在每个质量评价维度下的候选问题项执行所述第二校验。

9、在一些实施例中，所述质量评价维度包括设定维度、叙事维度和文笔维度中至少两项，所述设定维度指示所述文本的底层逻辑和基础信息，所述叙事维度指示所述文本的情节和节奏，所述文笔维度指示所述文本的表达；其中，设定维度对应的子维度包括文本的设定逻辑性、设定完整性和设定创新性中至少一项，叙事维度对应的子维度包括文本的叙事连贯性、叙事节奏感、情节一致性和情节吸引力中至少一项，文笔视角对应的子维度包括文本的语言表达流畅度、人物塑造立体度、氛围营造契合度、情感共鸣传递力和黄金三章吸引力中至少一项。

10、在一些实施例中，所述第一校验模块，被配置为通过第一校验智能体基于所述文本和所述候选问题项，对所述候选问题项执行所述第一校验；通过第二校验智能体基于所述多个质量评价维度的评价说明和所述候选问题项，对所述候选问题项执行所述第二校验。

11、在一些实施例中，所述识别模块，被配置为通过多个识别智能体在会话中，分别基于所述文本和一个维度识别提示词，获取所述文本在每个质量评价维度下的候选问题项，每个第一智能体用于识别一个质量评价维度下所述文本的候选问题项。

12、在一些实施例中，所述识别提示词包括至少两个思维链文本，不同的思维链文本指示对所述文本中问题项的不同识别逻辑；所述识别模块，被配置为通过所述第一智能体根据每个思维链文本对所述文本进行识别，得到在每个思维链文本下所述文本的思维链问题项；通过所述第一智能体基于至少两个思维链文本所对应所述文本的思维链问题项进行共识投票，得到所述文本的候选问题项。

13、在一些实施例中，所述装置还包括添加模块；所述添加模块，被配置为基于每个历史评价文本的文本类别，从所述多个历史评价文本中获取多个代表文本，所述历史评价文本指示经过质量评价的文本，所述多个代表文本包括每个文本类别下的至少一个历史评价文本；将每个代表文本的文本类别、第一目标问题项和所述第一目标问题项基于所述分数规则的分数作为示例添加到所述识别提示词中，所述第一目标问题项为所述多个代表文本在质量评价时得到的目标问题项。

14、在一些实施例中，所述候选问题项还包括所述文本段在所述文本中的位置和所述文本段不符合所对应评价说明的原因中至少一项。

15、在一些实施例中，第一获取模块，被配置为基于所述分数规则和所述目标问题项中文本段与对应质量评价维度的评价说明之间的第一偏离程度，获取所述目标问题项的问题项分数；基于所述分数规则、所述目标问题项的子维度和所述目标问题项的问题项分数，获取所述文本在每个子维度的子维度分数；基于所述分数规则和所述文本的每个子维度分数，获取所述文本在每个质量评价维度的分数；基于所述分数规则和所述文本在每个质量评价维度的分数，获取所述文本的质量分数。

16、在一些实施例中，所述装置还包括第二获取模块、评价模块、第三获取模块、输出模块和第一调整模块；

17、所述第二获取模块，被配置为获取第一基准集，所述第一基准集包括多个第一样本文本，每个第一样本文本具有标注，所述标注包括所述第一样本文本的标注质量分数；

18、所述评价模块，被配置为基于第一样本识别提示词对所述多个第一样本文本进行质量评价，得到每个第一样本文本的第一质量分数；

19、所述第三获取模块，被配置为获取每个第一样本文本的第一质量分数和标注质量分数之间的第一相关系数；

20、所述输出模块，被配置为若所述第一相关系数大于预设相关系数，将所述第一样本识别提示词输出为所述识别提示词；

21、所述第一调整模块，被配置为若所述第一相关系数小于或等于预设相关系数，对所述第一样本识别提示词进行调整，直到调整后的相关系数大于预设相关系数，将所述调整后的相关系数输出为所述识别提示词。

22、在一些实施例中，所述第一调整模块，被配置为第一获取子模块、第二获取子模块和修改子模块；

23、所述第一获取子模块，被配置为基于每个第一样本文本的质量评价结果和所述标注，获取偏差点，每个偏差点为所述质量评价结果与所述标注之间不同点的说明，所述质量评价结果指示基于所述第一样本识别提示词对所述多个第一样本文本进行质量评价所获得的结果；

24、所述第二获取子模块，被配置为通过分析智能体基于所述偏差点，获取导致所述偏差点的原因；

25、所述修改子模块，被配置为基于导致所述偏差点的原因，修改所述样本识别提示词。

26、在一些实施例中，所述第二获取子模块，被配置为通过所述分析智能体基于所述偏差点进行归因分析，得到导致所述偏差点的原因。

27、在一些实施例中，所述第二获取模块，被配置为获取多个第一文本，所述第一文本为质量分数为满分的文本；通过生成智能体基于多个质量评价维度的评价说明，对所述多个第一文本进行改写，得到多个第二文本；将所述多个第一文本、所述多个第二文本以及对应的标注，存储至所述第一基准集。

28、在一些实施例中，所述第一相关系数包括斯皮尔曼相关系数、皮尔逊相关系数和肯德尔相关系数中至少一项。

29、在一些实施例中，所述装置还包括第二调整模块；所述第二调整模块，被配置为获取第二基准集，所述第二基准集包括多个第二样本文本，所述第二样本文本为已发布的文本，所述多个第二样本文本的标注排名与每个第二样本文本的评论相关；获取所述多个第二样本文本的质量分数，基于每个第二样本文本的质量分数，得到所述多个第二样本文本的第一评价排名；获取所述第一评价排名和所述第二样本文本的标注排名之间的第三相关系数；若所述第三相关系数小于或等于预设相关系数，对所述识别提示词进行调整。

30、在一些实施例中，在一些实施例中，所述装置还包括第二调整模块；所述第二调整模块，被配置为获取第三基准集，所述第二基准集包括多个第三样本文本，所述第三样本文本为已发布的文本，所述多个第三样本文本的标注排名与每个第二样本文本的投放效果指标相关；获取所述多个第三样本文本的质量分数，基于每个第三样本文本的质量分数，得到所述多个第三样本文本的第二评价排名；获取所述第二评价排名和所述多个第三样本文本的标注排名之间的第四相关系数；若所述第四相关系数小于或等于预设相关系数，对所述识别提示词进行调整。

31、在一些实施例中，所述装置还包括第二校验模块；所述第二校验模块，被配置为通过所述第二智能体基于所述多个质量评价维度的评价说明和所述候选问题项，获取所述候选问题项中文本段与对应质量评价维度的评价说明之间的第二偏离程度；通过所述第二智能体对所述候选问题项执行第三校验，所述第三校验是指校验所述候选问题项的所述第二偏离程度与所述第一偏离程度之间的偏离度；其中，所述目标问题项的所述第二偏离程度与所述第一偏离程度之间的偏离度小于或等于预设偏离度。

32、根据本公开实施例的另一方面，提供了一种电子设备，所述电子设备包括：一个或多个处理器；用于存储所述处理器可执行程序代码的存储器；其中，所述处理器被配置为执行所述程序代码，以实现如上述的文本的质量评价方法。

33、根据本公开实施例的另一方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述的质量评价方法。

34、根据本公开实施例的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述的文本的质量评价方法。

35、本公开实施例提供的技术方案中，将对待评价的文本进行适量评价的问题，转化为了识别候选问题项、校验和获取质量分数的三步确定性的步骤，其中，在识别文本中的候选问题项时，从多个质量评价维度进行识别，并强制输出文本中的文本段，避免了第一智能体进行笼统综合地判断，并进一步进行第一校验和第二校验，降低了第一智能体的幻觉和理解偏差等问题，进一步地，在获取文本的质量分数时未采用智能体，而是根据分数规则和经过校验得到的目标问题项来获取，偏离程度不再是智能体自由解读的模糊文字概念，而是对应固定分数的标签；基于上述步骤的配合，提高了文本的质量分数的准确性。

36、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。