模型自知识蒸馏方法、装置、计算机设备和可读存储介质与流程
本技术涉及深度学习,特别是涉及一种模型自知识蒸馏方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
背景技术:
1、随着深度神经网络(deep neural networks,dnns)在各类任务中取得突破性进展,模型的规模和复杂度也不断增加。尽管大型模型在精度上表现优异,但其高计算资源和高存储需求使其难以部署于边缘设备、移动终端等资源受限环境中。因此,如何在保证模型性能的前提下实现模型的压缩,成为当前深度学习研究的重要方向之一。
2、知识蒸馏(knowledge distillation,kd)作为一种高效的模型压缩技术,通过将大型“教师模型”中所蕴含的知识迁移至小型“学生模型”,在显著减少模型参数量和计算量的同时,尽可能保留原有性能。
3、然而,目前的模型蒸馏方法,存在蒸馏出的模型的泛化能力不足的问题。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够提高模型泛化能力的模型自知识蒸馏方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面,本技术提供了一种模型自知识蒸馏方法,包括:
3、获取预先构建的电气设备的老化状态样本,并根据老化状态样本生成关联老化状态样本;老化状态样本对应有真实老化状态标签,关联老化状态样本表征介于不同老化状态之间的过渡老化状态样本;
4、将老化状态样本输入预先构建的状态分类模型,通过状态分类模型输出老化状态样本的预测老化状态标签和对应的第一预测分布,并对预测老化状态标签进行多温度缩放,得到老化状态样本的多个第一预测老化状态标签;
5、将关联老化状态样本重新输入状态分类模型,通过状态分类模型输出关联老化状态样本的第二预测老化状态标签和对应的第二预测分布;
6、基于真实老化状态标签、预测老化状态标签、关联老化状态样本、多个第一预测老化状态标签、第二预测老化状态标签、第一预测分布和第二预测分布,对状态分类模型进行自知识蒸馏,得到轻量化状态分类模型。
7、在一个实施例中,基于真实老化状态标签、预测老化状态标签、关联老化状态样本、多个第一预测老化状态标签、第二预测老化状态标签、第一预测分布和第二预测分布,对状态分类模型进行自知识蒸馏,得到轻量化状态分类模型,包括:
8、根据真实老化状态标签和预测老化状态标签,得到状态分类模型的分类损失;
9、基于多个第一预测老化状态标签和第二预测老化状态标签,生成状态分类模型的多温度知识蒸馏损失;
10、根据关联老化状态样本、第一预测分布和第二预测分布,得到状态分类模型的关联蒸馏损失;
11、基于分类损失、多温度知识蒸馏损失以及关联蒸馏损失,对状态分类模型的模型参数进行调整,得到轻量化状态分类模型。
12、在其中一个实施例中,基于分类损失、多温度知识蒸馏损失以及关联蒸馏损失,对状态分类模型的模型参数进行调整,得到轻量化状态分类模型,包括:
13、获取分类损失对应的第一权重、多温度知识蒸馏损失对应的第二权重以及关联蒸馏损失对应的第三权重;
14、利用第一权重、第二权重以及第三权重,对分类损失、多温度知识蒸馏损失以及关联蒸馏损失进行加权求和,得到对应的总损失;
15、根据总损失对状态分类模型的模型参数进行调整,并对调整后的状态分类模型进行再调整,直至状态分类模型的模型参数的调整次数达到预设的次数阈值,或者状态分类模型的预测准确率大于预设的准确率阈值,得到轻量化状态分类模型。
16、在一个示例性的实施例中,根据关联老化状态样本、第一预测分布和第二预测分布,得到状态分类模型的关联蒸馏损失,包括:
17、获取关联老化状态样本的样本数量;
18、基于样本数量、第一预测分布和第二预测分布,生成状态分类模型的关联蒸馏损失。
19、在一个实施例中,根据老化状态样本生成关联老化状态样本,包括:
20、从老化状态样本中,获取任意两个老化状态样本;
21、根据预先设置的混合系数对两个老化状态样本进行混合,得到对应的关联老化状态样本。
22、在其中一个实施例中,获取预先构建的电气设备的老化状态样本,包括:
23、采集电气设备在不同老化状态下的三相电流、三相电压以及机壳温度;
24、将不同老化状态下的三相电流、三相电压以及机壳温度通过预设的固定步长的滑动窗口,得到电气设备的老化状态样本。
25、第二方面,本技术还提供了一种模型自知识蒸馏装置,包括:
26、获取模块,用于获取预先构建的电气设备的老化状态样本,并根据老化状态样本生成关联老化状态样本;老化状态样本对应有真实老化状态标签,关联老化状态样本表征介于不同老化状态之间的过渡老化状态样本;
27、第一输入模块,用于将老化状态样本输入预先构建的状态分类模型,通过状态分类模型输出老化状态样本的预测老化状态标签和对应的第一预测分布,并对预测老化状态标签进行多温度缩放,得到老化状态样本的多个第一预测老化状态标签;
28、第二输入模块,用于将关联老化状态样本重新输入状态分类模型,通过状态分类模型输出关联老化状态样本的第二预测老化状态标签和对应的第二预测分布;
29、蒸馏模块,用于基于真实老化状态标签、预测老化状态标签、关联老化状态样本、多个第一预测老化状态标签、第二预测老化状态标签、第一预测分布和第二预测分布,对状态分类模型进行自知识蒸馏,得到轻量化状态分类模型。
30、第三方面,本技术还提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:
31、获取预先构建的电气设备的老化状态样本,并根据老化状态样本生成关联老化状态样本;老化状态样本对应有真实老化状态标签,关联老化状态样本表征介于不同老化状态之间的过渡老化状态样本;
32、将老化状态样本输入预先构建的状态分类模型,通过状态分类模型输出老化状态样本的预测老化状态标签和对应的第一预测分布,并对预测老化状态标签进行多温度缩放,得到老化状态样本的多个第一预测老化状态标签;
33、将关联老化状态样本重新输入状态分类模型,通过状态分类模型输出关联老化状态样本的第二预测老化状态标签和对应的第二预测分布;
34、基于真实老化状态标签、预测老化状态标签、关联老化状态样本、多个第一预测老化状态标签、第二预测老化状态标签、第一预测分布和第二预测分布,对状态分类模型进行自知识蒸馏,得到轻量化状态分类模型。
35、第四方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
36、获取预先构建的电气设备的老化状态样本,并根据老化状态样本生成关联老化状态样本;老化状态样本对应有真实老化状态标签,关联老化状态样本表征介于不同老化状态之间的过渡老化状态样本;
37、将老化状态样本输入预先构建的状态分类模型,通过状态分类模型输出老化状态样本的预测老化状态标签和对应的第一预测分布,并对预测老化状态标签进行多温度缩放,得到老化状态样本的多个第一预测老化状态标签;
38、将关联老化状态样本重新输入状态分类模型,通过状态分类模型输出关联老化状态样本的第二预测老化状态标签和对应的第二预测分布;
39、基于真实老化状态标签、预测老化状态标签、关联老化状态样本、多个第一预测老化状态标签、第二预测老化状态标签、第一预测分布和第二预测分布,对状态分类模型进行自知识蒸馏,得到轻量化状态分类模型。
40、第五方面,本技术还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
41、获取预先构建的电气设备的老化状态样本,并根据老化状态样本生成关联老化状态样本;老化状态样本对应有真实老化状态标签,关联老化状态样本表征介于不同老化状态之间的过渡老化状态样本;
42、将老化状态样本输入预先构建的状态分类模型,通过状态分类模型输出老化状态样本的预测老化状态标签和对应的第一预测分布,并对预测老化状态标签进行多温度缩放,得到老化状态样本的多个第一预测老化状态标签;
43、将关联老化状态样本重新输入状态分类模型,通过状态分类模型输出关联老化状态样本的第二预测老化状态标签和对应的第二预测分布;
44、基于真实老化状态标签、预测老化状态标签、关联老化状态样本、多个第一预测老化状态标签、第二预测老化状态标签、第一预测分布和第二预测分布,对状态分类模型进行自知识蒸馏,得到轻量化状态分类模型。
45、上述模型自知识蒸馏方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,通过获取预先构建的电气设备的老化状态样本,并根据老化状态样本生成关联老化状态样本;老化状态样本对应有真实老化状态标签,关联老化状态样本表征介于不同老化状态之间的过渡老化状态样本,而后将老化状态样本输入预先构建的状态分类模型,通过状态分类模型输出老化状态样本的预测老化状态标签和对应的第一预测分布,并对预测老化状态标签进行多温度缩放,得到老化状态样本的多个第一预测老化状态标签,随后将关联老化状态样本重新输入状态分类模型,通过状态分类模型输出关联老化状态样本的第二预测老化状态标签和对应的第二预测分布,最后基于真实老化状态标签、预测老化状态标签、关联老化状态样本、多个第一预测老化状态标签、第二预测老化状态标签、第一预测分布和第二预测分布,对状态分类模型进行自知识蒸馏,得到轻量化状态分类模型。通过多温度扩展输出来预测增强知识多样性,利用关联样本显式建模类别转移关系,使得网络可以学习类与类之间的关系.解决了传统自蒸馏中知识单一和类别关系缺失的问题;同时引入目标融合的关联蒸馏机制,在保证语义一致性的前提下增强模型对细粒度特征的判别能力,显著提升轻量化模型的泛化性能。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com