评分标尺调整方法、装置、存储介质及电子设备与流程

本公开涉及人工智能，具体涉及一种评分标尺调整方法、装置、存储介质及电子设备。

背景技术：

1、将大语言模型（llm）作为评分主体（即“llm-as-rater”或“llm-as-judge”范式），对文本、图像、多媒体内容以及结构化对象（如职业、产品）等进行多维度评估，已成为该领域的前沿研究热点。已有技术中，通常依赖人工构建的“评分标尺（rubric）”引导 llm 输出结构化的评分结果；此类标尺一般涵盖各评估维度的操作性定义、分级评定条件，以及用于校准的正例与反例锚定样本。

技术实现思路

1、有鉴于此，本公开实施例提供一种评分标尺调整方法、装置、存储介质及电子设备。

2、第一方面，本公开实施例提供了一种评分标尺调整方法，包括以下步骤：

3、获取目标评分标尺；

4、构建多份样本数据，每份所述样本数据包括样本对象对应的文本提示以及所述目标评分标尺；

5、将同一份所述样本数据分别输入到至少两个大语言模型，获得至少两组多维评价结果；所述多维评价结果包括对应于至少两个评估维度的评估信息；

6、基于多份所述样本数据对应的所述至少两组多维评价结果，确定所述至少两个大语言模型的跨模型差异度量值，以及高分歧样本对象集合；所述高分歧样本对象集合包括在至少一个评估维度上的评估信息之差大于设定范围的样本对象；

7、基于所述跨模型差异度量值以及所述高分歧样本对象集合，调整所述目标评分标尺；

8、跳转至所述构建样本数据的步骤重复执行，直至满足所述目标评分标尺的调整停止条件为止。

9、进一步地，所述至少两个大语言模型为预训练数据组成和/或基于人类反馈的强化学习训练谱系不同的相互独立的大语言模型。

10、进一步地，所述跨模型差异度量值包括用于衡量评分趋势同频程度的相关性指标，和/或用于衡量评分数值偏离程度的数值偏差指标。

11、进一步地，所述相关性指标包括 pearson 相关系数和/或 spearman 秩相关系数；所述数值偏差指标包括平均绝对差和/或跨模型偏差。

12、进一步地，所述目标评分标尺包括每一评估维度对应的级别描述；所述基于所述跨模型差异度量值以及所述高分歧样本对象集合，调整所述目标评分标尺，包括：

13、若至少一个评估维度对应的所述相关性指标低于预设第一阈值，且所述数值偏差指标大于预设第二阈值，则根据所述数值偏差指标的方向调整所述至少一个评估维度的级别描述。

14、进一步地，所述基于所述跨模型差异度量值以及所述高分歧样本对象集合，调整所述目标评分标尺，还包括：

15、若至少一个评估维度对应的所述相关性指标大于或等于所述预设第一阈值，且所述高分歧样本对象集合中的样本对象在预设元属性上呈现共性，则从所述高分歧样本对象集合中抽取至少一部分对象生成新的反例锚定或正例锚定，补充到所述目标评分标尺。

16、进一步地，从所述高分歧样本对象集合中抽取至少一部分对象生成新的反例锚定或正例锚定，补充到所述目标评分标尺，包括：

17、利用辅助大语言模型对所述高分歧样本对象集合中的样本对象进行汇总，生成候选锚定文本；

18、接收对所述候选锚定文本的人工确认或修订指令，将确认或修订后的候选锚定文本补充到所述目标评分标尺中。

19、进一步地，所述调整停止条件包括：

20、所述至少两个大语言模型在各评估维度的平均相关性指标不低于预设第三阈值；或

21、每个评估维度的所述数值偏差指标低于预设第四阈值。

22、进一步地，所述样本对象包括职业、产品和教育作品中的至少一项；所述文本提示包括所述样本对象的分类代码、标题和/或长文本描述。

23、第二方面，本公开实施例提供了一种评分标尺调整装置，包括：

24、标尺获取模块，用于获取目标评分标尺；

25、数据构建模块，用于构建多份样本数据，每份所述样本数据包括样本对象对应的文本提示以及所述目标评分标尺；

26、评价获取模块，用于将同一份所述样本数据分别输入到至少两个大语言模型，获得至少两组多维评价结果；所述多维评价结果包括对应于至少两个评估维度的评估信息；

27、差异确定模块，用于基于多份所述样本数据对应的所述至少两组多维评价结果，确定所述至少两个大语言模型的跨模型差异度量值，以及高分歧样本对象集合；所述高分歧样本对象集合包括在至少一个评估维度上的评估信息之差大于设定范围的样本对象；

28、标尺调整模块，用于基于所述跨模型差异度量值以及所述高分歧样本对象集合，调整所述目标评分标尺；

29、迭代控制模块，用于跳转至所述标尺获取模块重复执行，直至满足所述目标评分标尺的调整停止条件为止。

30、第三方面，本公开实施例提供了一种电子设备，包括存储器、处理器以及存储在存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现上述任一方面所述的方法。

31、第四方面，本公开实施例提供了一种计算机可读存储介质，所述介质存储有计算机程序，其中所述程序被处理器执行时实现上述任一方面所述方法的步骤。

32、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

1.一种评分标尺调整方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述至少两个大语言模型为预训练数据组成和/或基于人类反馈的强化学习训练谱系不同的相互独立的大语言模型。

3.根据权利要求1-2中任一项所述的方法，其特征在于，所述跨模型差异度量值包括用于衡量评分趋势同频程度的相关性指标，和/或用于衡量评分数值偏离程度的数值偏差指标。

4.根据权利要求3所述的方法，其特征在于，所述相关性指标包括pearson相关系数和/或spearman秩相关系数；所述数值偏差指标包括平均绝对差和/或跨模型偏差。

5.根据权利要求3所述的方法，其特征在于，所述目标评分标尺包括每一评估维度对应的级别描述；所述基于所述跨模型差异度量值以及所述高分歧样本对象集合，调整所述目标评分标尺，包括：

6.根据权利要求3所述的方法，其特征在于，所述基于所述跨模型差异度量值以及所述高分歧样本对象集合，调整所述目标评分标尺，还包括：

7.根据权利要求6所述的方法，其特征在于，从所述高分歧样本对象集合中抽取至少一部分对象生成新的反例锚定或正例锚定，补充到所述目标评分标尺，包括：

8.根据权利要求3所述的方法，其特征在于，所述调整停止条件包括：

9.根据权利要求1-2、4-8中任一项所述的方法，其特征在于，所述样本对象包括职业、产品和教育作品中的至少一项；所述文本提示包括所述样本对象的分类代码、标题和/或长文本描述。

10.一种评分标尺调整装置，其特征在于，包括：

11.一种计算机设备，包括存储器和处理器，其特征在于，所述处理器执行所述存储器中的计算机程序时实现权利要求1至9中任一项所述方法的步骤。

12.一种计算机可读存储介质，所述介质存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至9中任一项所述方法的步骤。