一种模型处理方法及电子设备与流程

本公开涉及计算机，尤其涉及一种模型处理方法及电子设备。

背景技术：

1、随着大语言模型（llms，large language models）的广泛应用，模型规模持续扩大，在智能手机、物联网设备等资源受限终端部署时，面临存储占用大、推理延迟高、运行成本高的问题，因此，知识蒸馏（knowledge distillation）成为兼顾轻量化与性能的主流模型压缩方案。

2、然而，现有的知识蒸馏方案普遍存在知识迁移不充分、训练效率偏低、模型适配性差等问题，难以兼顾知识完整性与部署灵活性，无法自适应任务与场景变化，工程化落地难度较高。

技术实现思路

1、本公开提供了一种模型处理方法及电子设备，以至少解决现有技术中存在的以上技术问题。

2、根据本公开的第一方面，提供了一种模型处理方法，包括：

3、获取教师模型针对训练数据的第一知识合集；所述第一知识合集中包括响应知识、分布知识和特征知识，所述响应知识表征针对所述训练数据的输出结果，所述分布知识表征在生成所述输出结果时词元的概率分布，所述特征知识表征在处理所述训练数据时的网络层特征；

4、确定初始模型与所述教师模型之间的网络层映射关系；所述初始模型的参数量小于所述教师模型的参数量；

5、基于所述训练数据、第一知识合集和网络层映射关系，训练所述初始模型，得到所述教师模型的学生模型。

6、根据本公开的第二方面，提供了一种电子设备，包括：

7、至少一个处理器；以及，

8、与所述至少一个处理器通信连接的存储器；其中，

9、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：

10、获取教师模型针对训练数据的第一知识合集；所述第一知识合集中包括响应知识、分布知识和特征知识，所述响应知识表征针对所述训练数据的输出结果，所述分布知识表征在生成所述输出结果时词元的概率分布，所述特征知识表征在处理所述训练数据时的网络层特征；

11、确定初始模型与所述教师模型之间的网络层映射关系；所述初始模型的参数量小于所述教师模型的参数量；

12、基于所述训练数据、第一知识合集和网络层映射关系，训练所述初始模型，得到所述教师模型的学生模型。

13、根据本公开的第三方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开所述的方法。

14、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种模型处理方法，包括：

2.根据权利要求1所述的方法，所述获取教师模型针对训练数据的第一知识合集，包括：

3.根据权利要求1所述的方法，所述确定初始模型与所述教师模型之间的网络层映射关系，包括：

4.根据权利要求1所述的方法，所述基于所述训练数据、第一知识合集和网络层映射关系，训练所述初始模型，得到所述教师模型的学生模型，包括：

5.根据权利要求4所述的方法，所述确定所述初始模型与教师模型之间的特征知识损失，包括：

6.根据权利要求4所述的方法，所述基于所述响应知识损失、分布知识损失和特征知识损失更新所述初始模型的参数，包括：

7.根据权利要求6所述的方法，所述确定所述响应知识损失、分布知识损失和特征知识损失的权重系数，包括：

8.根据权利要求1所述的方法，还包括：

9.根据权利要求8所述的方法，所述基于所述评估结果对所述学生模型的训练策略进行反馈优化，包括：

10.一种电子设备，包括：