多目标域联合蒸馏方法、多目标域评测方法和电子设备与流程

本公开涉及人工智能，具体涉及一种多目标域联合蒸馏方法、多目标域评测方法和电子设备。

背景技术：

1、多任务学习（mtl）的理论与实践已有大量研究，近期的代表性工作包括任务干扰分析和投影冲突梯度下降法。然而，现有的mtl研究大多基于参数量小于10亿的模型，主要探讨加入辅助任务是否有助于主任务，并假设这种关系是单调的。此外，现有的评估指标通常局限于单一指标（如top-1准确率），忽略了模型输出的校准度与排序能力之间的潜在冲突。

2、知识蒸馏（kd）自提出以来，也已发展出重生网络、distil-whisper等多种变体。然而，现有的蒸馏方法通常针对单一目标域，或者简单地将多个任务拼接，缺乏一种利用正交评测目标域的结构化数据对多目标域处理模型进行联合蒸馏的方法。

技术实现思路

1、有鉴于此，本公开实施例提供一种多目标域联合蒸馏方法、多目标域评测方法和电子设备。

2、第一方面，本公开实施例中提供了一种多目标域联合蒸馏方法，包括以下步骤：

3、获取样本对象在至少两种评测目标域下的评测结果，每一评测结果从至少一个大语言模型获得，其中，通过将所述样本对象的样本数据输入至所述大语言模型得到所述评测结果，所述样本数据包括针对所述样本对象的至少两种文本描述，至少两种文本描述分别对应所述至少两种评测目标域；

4、构建嵌套至少两种所述评测目标域的评测结果的结构化数据以及包括输入和输出的训练对，所述输入为所述样本对象的最小上下文信息，所述输出为所述结构化数据；所述最小上下文信息包括样本对象的标识信息；

5、利用所述训练对训练多目标域处理模型，其中，所述多目标域处理模型包括预先配置了低秩适应适配器的语言模块。

6、进一步地，所述至少两种评测目标域的相关性低于相关性阈值；和/或，每种评测目标域对应的所述评测结果为针对所述目标对象的多维度评测数据；和/或，训练完成的所述多目标域处理模型的输出为嵌套至少两个所述评测目标域对应的评测结果的结构化数据。

7、进一步地，所述样本对象包括职业、产品或教育作品；所述评测结果包括职业分类评分、产品评价或教育作品评估。

8、进一步地，所述样本对象为职业，所述至少两种评测目标域包括职业心理学兴趣域和职业心理学能力域，对应的评测结果包括多维兴趣评分和多维能力评分；所述多维兴趣评分和多维能力评分在心理测量构念上的相关性小于相关性阈值。

9、进一步地，所述方法还包括：

10、将所述样本对象的样本数据分别输入至多个大语言模型，得到多个大模型输出结果；

11、将多个所述大模型输出结果进行集成，得到所述评测结果。

12、进一步地，利用所述训练对训练多目标域处理模型，包括：

13、所述多目标域处理模型的训练过程中，采用仅完成部分损失掩码机制反向传播计算交叉熵损失。

14、进一步地，利用所述训练对训练多目标域处理模型，包括：

15、训练过程中，采用adamw优化器配合余弦退火学习率调度策略对多目标域处理模型进行训练。

16、进一步地，所述多目标域处理模型选用纯语言模态模型或者包括语言模态的多模态模型作为基座模型。

17、进一步地，所述多目标域处理模型的参数量级在设定量级范围内。

18、进一步地，所述多目标域处理模型的参数量级大于设定量级范围的上限值时，所述方法还包括：

19、对于所述多目标域处理模型的输出进行温度缩放后处理。

20、第二方面，本公开实施例提供了一种多目标域评测方法，包括以下步骤：

21、获取目标对象的最小上下文信息；所述最小上下文信息包括所述目标对象的标识信息；

22、将所述最小上下文信息输入至多目标域处理模型，得到所述目标对象的结构化数据，所述多目标域处理模型基于第一方面所述的方法训练得到，所述结构化数据包括对应于至少两个评测目标域的评测结果。

23、第三方面，本公开实施例提供了一种电子设备，包括存储器、处理器以及存储在存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现上述任一方面所述的方法。

24、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

1.一种多目标域联合蒸馏方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述至少两种评测目标域的相关性低于相关性阈值；和/或，每种评测目标域对应的所述评测结果为针对所述目标对象的多维度评测数据；和/或，训练完成的所述多目标域处理模型的输出为嵌套至少两个所述评测目标域对应的评测结果的结构化数据。

3.根据权利要求1所述的方法，其特征在于，所述样本对象包括职业、产品或教育作品；所述评测结果包括职业分类评分、产品评价或教育作品评估。

4.根据权利要求3所述的方法，其特征在于，所述样本对象为职业，所述至少两种评测目标域包括职业心理学兴趣域和职业心理学能力域，对应的评测结果包括多维兴趣评分和多维能力评分；所述多维兴趣评分和多维能力评分在心理测量构念上的相关性小于相关性阈值。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1-4中任一项所述的方法，其特征在于，利用所述训练对训练多目标域处理模型，包括：

7.根据权利要求1-4中任一项所述的方法，其特征在于，利用所述训练对训练多目标域处理模型，包括：

8.根据权利要求1-4中任一项所述的方法，其特征在于，所述多目标域处理模型选用纯语言模态模型或者包括语言模态的多模态模型作为基座模型。

9.根据权利要求1-4中任一项所述的方法，其特征在于，所述多目标域处理模型的参数量级在设定量级范围内。

10.根据权利要求1-4中任一项所述的方法，其特征在于，所述多目标域处理模型的参数量级大于设定量级范围的上限值时，所述方法还包括：

11.一种多目标域评测方法，其特征在于，包括以下步骤：

12.一种计算机设备，包括存储器和处理器，其特征在于，所述处理器执行所述存储器中的计算机程序时实现权利要求1-11中任一项所述方法的步骤。