一种基于自适应局部-整体协同的知识蒸馏方法及系统

本发明属于深度学习与模型压缩，具体涉及一种知识蒸馏方法，尤其涉及一种能够根据训练进程自适应调整局部与全局知识权重的蒸馏方法及系统。

背景技术：

1、随着深度学习的发展，神经网络模型在图像分类、目标检测等任务上取得了显著成果。然而，高性能的模型通常伴随着巨大的参数量和计算开销，难以直接部署在移动端或嵌入式设备中。知识蒸馏（knowledge distillation, kd）作为一种经典的模型压缩技术，通过将大型教师模型输出的“软标签”知识迁移到轻量级学生模型中，有效地解决了这一问题。

2、在现有的蒸馏算法中，logit标准化（logit standardization）常被用于消除教师模型与学生模型输出层尺度不一致的问题，通过z-score标准化将logit转换为均值为0、方差为1的分布，从而提供一个稳定的蒸馏基线。此外，局部关系蒸馏（local relationdistillation）也被提出，旨在通过关注学生模型高置信度的类别来提升知识传递的针对性。

3、然而，现有技术存在以下缺陷：

4、静态权重冲突：现有的局部蒸馏与全局蒸馏通常采用固定的权重配比。在训练初期学生模型能力不足，过大的全局损失会导致优化困难；而在训练后期，过大的局部损失会限制模型对整体类别关系的泛化能力。

5、过渡生硬：缺乏从“局部精细学习”到“全局知识整合”的平滑过渡机制，导致模型在不同训练阶段的学习目标不一致，影响最终收敛效果。

6、适配性差：针对解耦知识蒸馏（decoupled knowledge distillation, dkd）等新兴算法，由于缺乏针对性的调度策略，往往无法直接复用传统的蒸馏组件。

7、因此，亟需一种能够动态协同局部与整体知识、且能适配多种蒸馏框架的自适应方法。

技术实现思路

1、本发明旨在解决现有知识蒸馏技术中权重分配僵化、局部与全局知识衔接生硬的技术问题，提供一种基于自适应局部-整体协同的知识蒸馏方法。

2、为实现上述目的，本发明提供如下技术方案：一种基于自适应局部-整体协同的知识蒸馏方法，包括以下步骤：

3、(1) 获取教师模型和学生模型：针对同一输入样本输出的原始 logit 向量 和 ；

4、(2) 全局语义对齐：对  和  进行分布标准化处理以消除量纲差异，基于温度系数计算二者间的全局蒸馏损失 l，约束学生模型整体输出分布逼近教师模型；

5、(3) 局部关系建模：依据学生模型输出的置信度选取 top-k 类别索引，构建师生模型对应索引的局部 logit 子空间，通过计算子空间内类别间相对关系的散度，得到局部关系损失 l，强化关键类别间的区分特征；

6、(4) 动态权重调度：设定总训练轮次 e，依据当前训练进度自适应调整局部损失权重系数 ，使模型在训练前期侧重局部细节拟合，在训练后期侧重全局分布收敛，实现平滑过渡；

7、(5) 损失融合与训练：融合交叉熵损失、全局蒸馏损失及经  加权的局部关系损失得到总损失，更新学生模型参数直至收敛。

8、进一步地，步骤 (2) 中所述全局语义对齐的实现方式为：

9、对  和  分别执行逐样本的 z-score 标准化处理，得到标准化后的 logit向量  和 ，基于温度系数 t计算二者的 kl 散度，得到全局蒸馏损失 l。

10、进一步地，所述 z-score 标准化处理公式为：

11、

12、其中，z为原始 logit 向量，μ为均值，σ为标准差，ε为极小常数。

13、进一步地，步骤 (3) 中所述局部关系损失的计算方式为：在选取的前 k 个类别索引中，遍历所有满足 i

14、进一步地，步骤 (4) 中所述动态权重系数  采用分段自适应机制，随训练进程非线性衰减，所述分段机制至少包含训练前期、训练中期及训练后期三个阶段。

15、进一步地，所述动态权重系数  的具体配置为：

16、在训练前期， 维持较高数值以促进局部特征学习；

17、在训练中期， 由高向低平滑递减；

18、在训练后期， 收敛至较低稳定值以维持全局稳定性。

19、进一步地，所述动态权重系数在不同阶段的阈值及收敛值能根据具体任务难度及师生模型架构差异进行自适应调整。

20、进一步地，所述方法可迁移适配至解耦知识蒸馏 dkd 框架，适配时依据目标框架的特性动态调整所述分段机制中的阶段划分比例及权重收敛值。

21、进一步地，所述教师模型与学生模型支持 resnet、shufflenet、wideresnet 或vision transformer 架构。

22、还提供了一种实现上述方法的系统，该系统包括：

23、数据预处理模块，用于对训练数据进行增强与归一化处理；

24、模型管理模块，用于加载预训练的教师模型并初始化学生模型；

25、前向推理模块，用于获取师生模型的原始 logit 输出；

26、全局蒸馏模块，用于执行 logit 标准化及全局 kl 散度计算；

27、局部蒸馏模块，用于构建局部 logit 子空间并计算局部关系损失；

28、动态调度模块，用于根据训练轮次生成自适应权重系数；

29、优化模块，用于融合多损失函数并更新学生模型参数。

30、与现有技术相比，本发明的有益效果是：

31、1、获取教师模型和学生模型的原始logit向量；通过z-score标准化消除量纲差异，计算全局蒸馏损失以约束整体分布对齐；基于学生模型置信度选取top-k类别构建局部logit子空间，通过遍历子空间内类别对的散度均值计算局部关系损失，强化关键特征区分；设定总训练轮次e，采用分段自适应机制动态调整局部损失权重系数α(epoch)，使训练前期侧重局部拟合、后期侧重全局收敛；融合交叉熵损失、全局损失及加权局部损失更新学生模型。

32、2、本发明依据训练进程平滑过渡学习目标，并通过调整分段比例与收敛值适配解耦知识蒸馏dkd框架。该方法在cifar-100数据集上将resnet-8x4学生模型的准确率提升至77.37％，显著增强了模型收敛稳定性与蒸馏性能。

1.一种基于自适应局部-整体协同的知识蒸馏方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，步骤二中，所述全局语义对齐的实现方式为：

3.根据权利要求2所述的方法，其特征在于：所述z-score标准化处理公式为：

4.根据权利要求1所述的方法，其特征在于，步骤三中，所述局部关系损失的计算方式为：

5.根据权利要求1所述的方法，其特征在于，步骤四中，所述动态权重系数α(epoch)采用分段自适应机制，随训练进程非线性衰减，所述分段机制至少包含训练前期、训练中期及训练后期三个阶段。

6.根据权利要求5所述的方法，其特征在于，所述动态权重系数α(epoch)的具体配置为：

7.根据权利要求6所述的方法，其特征在于，所述动态权重系数在不同阶段的阈值及收敛值能根据具体任务难度及师生模型架构差异进行自适应调整。

8.根据权利要求1所述的方法，其特征在于，所述方法可迁移适配至解耦知识蒸馏dkd框架，适配时依据目标框架的特性动态调整所述分段机制中的阶段划分比例及权重收敛值。

9.根据权利要求1所述的方法，其特征在于，所述教师模型与学生模型支持resnet、shufflenet、wideresnet或vision transformer架构。

10.一种实现权利要求1-9基于自适应局部-整体协同的知识蒸馏方法的系统，其特征在于，该系统包括：