大模型伦理主观题评测模型训练方法及装置

本申请属于模型评测，更具体地说，是涉及一种大模型伦理主观题评测模型训练方法及装置。

背景技术：

1、随着大语言模型在智能问答、内容生成、教育辅助等场景中的广泛应用，模型生成内容所隐含的伦理风险、安全风险及价值观风险日益受到关注。现有伦理安全评测方法中，基于单一裁判模型对模型回答进行风险评分是一种常见方案，即仅依赖一个评价模型对回答内容进行打分。然而，由于单一裁判模型自身的价值取向、评分尺度偏好及语境理解能力存在固有局限，其评分结果容易受到模型本身特性的影响，导致评分结果不够稳定。特别是对于涉及价值判断和伦理边界的主观题回答，不同裁判模型可能给出差异较大的评分，难以形成可靠的风险判定基准。因此，如何提高伦理风险评测的准确性和可解释性，已成为当前亟待解决的技术问题。

技术实现思路

1、本申请的目的在于提供一种大模型伦理主观题评测模型训练方法及装置，以提高伦理风险评测的准确性和可解释性。

2、本申请实施例的第一方面，提供了一种大模型伦理主观题评测模型训练方法，包括：

3、获取多源伦理安全数据，并基于多源伦理安全数据生成伦理主观题集合，伦理主观题集合中包含多个主观题；

4、将伦理主观题集合输入至少一个待评测大语言模型，获取待评测大语言模型针对每个主观题生成的回答，并记录对应的主观题文本和伦理风险类别，得到模型回答数据集；

5、基于模型回答数据集中的每个回答，分别通过多个裁判模型进行评分，得到风险评分数据集，风险评分数据集中包括每个裁判模型针对每个回答的风险评分；

6、基于风险评分数据集，筛选出风险评分满足预设条件的目标回答，并通过受控风险增强重写模型对目标回答进行风险增强重写，得到重写后的目标回答，并将重写后的目标回答添加至风险评分数据集，得到扩充后的风险评分数据集，受控风险增强重写模型用于在保持主观题语义一致的前提下，生成风险程度更高的回答样本；

7、对扩充后的风险评分数据集进行样本分布均衡处理，得到训练数据集；

8、基于训练数据集，训练得到评分分类模型和至少一个伦理特征二分类模型，其中，评分分类模型用于输出待评测回答的整体风险评分，伦理特征二分类模型用于输出待评测回答在对应伦理特征类别下的风险概率。

9、本申请实施例的第二方面，提供了一种大模型伦理主观题评测模型训练装置，包括：

10、数据获取模块，用于获取多源伦理安全数据，并基于多源伦理安全数据生成伦理主观题集合，伦理主观题集合中包含多个主观题；

11、回答生成模块，用于将伦理主观题集合输入至少一个待评测大语言模型，获取待评测大语言模型针对每个主观题生成的回答，并记录对应的主观题文本和伦理风险类别，得到模型回答数据集；

12、裁判评分模块，用于基于模型回答数据集中的每个回答，分别通过多个裁判模型进行评分，得到风险评分数据集，风险评分数据集中包括每个裁判模型针对每个回答的风险评分；

13、风险增强模块，用于基于风险评分数据集，筛选出风险评分满足预设条件的目标回答，并通过受控风险增强重写模型对目标回答进行风险增强重写，得到重写后的目标回答，并将重写后的目标回答添加至风险评分数据集，得到扩充后的风险评分数据集；

14、数据处理模块，用于对扩充后的风险评分数据集进行样本分布均衡处理，得到训练数据集；

15、模型训练模块，用于基于训练数据集，训练得到评分分类模型和至少一个伦理特征二分类模型，其中，评分分类模型用于输出待评测回答的整体风险评分，伦理特征二分类模型用于输出待评测回答在对应伦理特征类别下的风险概率。

16、本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的大模型伦理主观题评测模型训练方法的步骤。

17、本申请实施例的第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的大模型伦理主观题评测模型训练方法的步骤。

18、本申请实施例提供的大模型伦理主观题评测模型训练方法及装置的有益效果在于：本申请实施例通过获取多源伦理安全数据并生成开放式主观题集合，使得评测输入更贴近真实交互场景，从而为后续评测奠定了真实性基础；其次，利用多个裁判模型进行评分并生成风险评分数据集，可有效规避单一裁判模型因自身偏好或能力局限所带来的评分偏差，从而提升了评分标签的可靠性；再次，通过受控风险增强重写模型对低风险样本进行定向增强以扩充高风险样本，并结合样本分布均衡处理，有效缓解了训练数据中高风险样本稀缺及类别不均衡的问题，从而降低了模型训练时的标签偏置风险；最后，通过训练评分分类模型与伦理特征二分类模型，使本申请实施例能够从整体风险等级与细粒度伦理特征两个层面进行协同判断。由此，本申请实施例的技术方案能够提高伦理风险评测的准确性和可解释性。

1.一种大模型伦理主观题评测模型训练方法，其特征在于，包括：

2.如权利要求1所述的大模型伦理主观题评测模型训练方法，其特征在于，所述基于多源伦理安全数据生成伦理主观题集合，包括：

3.如权利要求1所述的大模型伦理主观题评测模型训练方法，其特征在于，所述方法还包括：

4.如权利要求1所述的大模型伦理主观题评测模型训练方法，其特征在于，所述基于所述模型回答数据集中的每个回答，分别通过多个裁判模型进行评分，得到风险评分数据集，包括：

5.如权利要求1所述的大模型伦理主观题评测模型训练方法，其特征在于，所述重写后的目标回答满足以下约束条件：

6.如权利要求1所述的大模型伦理主观题评测模型训练方法，其特征在于，所述对所述扩充后的风险评分数据集进行样本分布均衡处理，得到训练数据集，包括：

7.如权利要求1所述的大模型伦理主观题评测模型训练方法，其特征在于，所述基于所述训练数据集，训练得到评分分类模型和至少一个伦理特征二分类模型，包括：

8.一种大模型伦理主观题评测模型训练装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。