数据分类方法、装置、设备、介质及程序产品
本技术涉及数据处理领域,尤其涉及一种数据分类方法、装置、设备、介质及程序产品。
背景技术:
1、脑电信号癫痫筛查、旋转机械故障诊断、多源传感异常检测等边缘智能分类任务,是辅助医疗诊断、工业生产运维、环境监测预警等领域的核心技术环节。该类场景普遍存在信号信噪比低、标注样本稀缺、类别边界模糊、数据分布易漂移的特点,分类识别准确率、结果可解释性与部署轻量化程度,直接影响基层诊疗效率、生产运维可靠性与边缘系统的实时响应能力。
2、目前,针对上述场景通常采用模糊分类器实现分类推理,一般通过直接将深度学习模型的隐藏知识迁移至模糊分类器,依靠固定蒸馏温度的单链路知识传递完成模型优化,从而导致师生模型性能差距较大时,分类精度较差,限制了模糊分类器在复杂场景下的应用效果。
技术实现思路
1、为克服相关技术中存在的问题,本公开提供一种数据分类方法、装置、设备、介质及程序产品。
2、第一方面,本技术提供一种数据分类方法,包括:
3、响应于接收到数据分类请求,获取目标模糊分类器和待分类的目标特征数据;所述目标模糊分类器为预训练的分类器;
4、采用所述目标模糊分类器对所述待分类的目标特征数据进行分类操作,以获得目标分类分值向量;所述目标模糊分类器是由多个预设教师模型和预设教师助理模型进行两级知识蒸馏训练得到的;
5、将所述目标分类分值向量中的最大值对应的类别确定为所述目标特征数据对应的目标类别,并发送给客户端。
6、在一种可能的设计中,所述响应于接收到数据分类请求,获取目标模糊分类器之前,包括:
7、获取训练样本集、多个预设教师模型、预设教师助理模型和初始模糊分类器;所述初始模糊分类器为未进行训练的分类器;所述训练样本集中包括多个样本数据;各样本数据中包括对应的预设类别标签;所述预设类别标签用于标注所述样本数据的所属类别;
8、将训练样本集输入各所述预设教师模型,以输出各所述预设教师模型对应的初始类别特征数据;
9、基于各所述预设教师模型输出的初始类别特征数据确定出目标类别特征数据;
10、基于所述目标类别特征数据对所述预设教师助理模型进行知识蒸馏训练,以获得训练后的预设教师助理模型;
11、采用所述训练后的预设教师助理模型对所述初始模糊分类器进行知识蒸馏训练,以获得目标模糊分类器。
12、在一种可能的设计中,所述基于各所述预设教师模型输出的初始类别特征数据确定出目标类别特征数据,包括:
13、基于各所述预设教师模型的初始类别特征数据和各所述样本数据对应的预设类别标签确定出各所述预设教师模型对应的目标损失值;
14、对所述目标损失值进行归一化计算,以得到各所述预设教师模型对应的目标教师权重;
15、基于所述目标教师权重和各所述预设教师模型输出的初始类别特征数据进行加权求和计算,以获得目标类别特征数据。
16、在一种可能的设计中,所述基于所述目标类别特征数据对所述预设教师助理模型进行蒸馏训练,以获得训练后的预设教师助理模型,包括:
17、将所述训练样本集输入所述预设教师助理模型,以获得目标类别概率;
18、采用预设温度函数并基于所述目标类别特征数据和所述目标类别概率确定出所述预设教师模型对应的教师软标签和所述预设教师助理模型对应的第一教师助理软标签;
19、基于所述教师软标签和所述第一教师助理软标签构建第一蒸馏损失函数;
20、基于所述目标类别概率和所述预设类别标签构建第一硬损失函数;
21、对所述第一蒸馏损失函数和所述第一硬损失函数进行加权求和,以获得第一总损失函数;
22、采用梯度下降算法迭代更新教师助理模型的网络参数,直至所述第一总损失函数收敛,得到所述训练后的预设教师助理模型。
23、在一种可能的设计中,所述采用所述训练后的预设教师助理模型对所述初始模糊分类器进行知识蒸馏训练,以获得目标模糊分类器,包括:
24、将所述训练样本集输入所述训练后的预设教师助理模型,以获得目标教师助理类别特征数据;
25、将所述训练样本集输入所述初始模糊分类器,以获得目标学生类别特征数据;
26、获取预设教师蒸馏温度和预设学生蒸馏温度;
27、采用预设温度函数并基于所述预设教师蒸馏温度和所述目标教师助理类别特征数据确定出所述训练后的预设教师助理模型对应的第二教师助理软标签;
28、采用预设温度函数并基于所述预设学生蒸馏温度和所述目标学生类别特征数据确定出所述初始模糊分类器对应的学生软标签;
29、基于所述第二教师助理软标签和所述学生软标签构建第二蒸馏损失函数;
30、基于所述目标学生类别特征数据和所述预设类别标签构建第二硬损失函数;
31、对所述第二蒸馏损失函数和所述第二硬损失函数进行加权求和,以获得第二总损失函数;
32、采用梯度下降算法迭代更新所述初始模糊分类器的预设参数,直至所述第二总损失函数收敛,得到所述目标模糊分类器。
33、在一种可能的设计中,所述获取预设教师蒸馏温度和预设学生蒸馏温度,包括:
34、对所述目标教师助理类别特征数据进行标准差计算,以获得第一标准差;
35、对所述目标学生类别特征数据进行标准差计算,以获得第二标准差;
36、将所述第一标准差确定为所述预设教师蒸馏温度;
37、将所述第二标准差确定为所述预设学生蒸馏温度。
38、第二方面,本技术提供一种数据分类装置,包括:
39、获取模块,用于响应于接收到数据分类请求,获取目标模糊分类器和待分类的目标特征数据;所述目标模糊分类器为预训练的分类器;
40、分类模块,用于采用所述目标模糊分类器对所述待分类的目标特征数据进行分类操作,以获得目标分类分值向量;所述目标模糊分类器是由多个预设教师模型和预设教师助理模型进行两级知识蒸馏训练得到的;
41、确定模块,用于将所述目标分类分值向量中的最大值对应的类别确定为所述目标特征数据对应的目标类别,并发送给客户端。
42、第三方面,本技术提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器及收发器;
43、所述存储器存储计算机执行指令;所述收发器,用于收发数据;
44、所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面任一项所述的方法。
45、第四方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述的方法。
46、第五方面,本技术提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的方法。
47、本技术提供的数据分类方法、装置、设备、介质及程序产品,通过响应于接收到数据分类请求,获取目标模糊分类器和待分类的目标特征数据,并采用多教师模型与教师助理模型两级蒸馏训练得到的目标模糊分类器执行分类操作,以获得目标分类分值向量。进而将目标分类分值向量中的最大值对应的类别确定为目标特征数据对应的目标类别。通过引入了教师助理模型,可解决教师模型与学生模型性能相差较大不利于传递知识的问题,从而能够借助教师助理的知识中继作用消解师生性能鸿沟,使模糊分类器充分吸收多源深度学习知识,将教师助理作为中间桥梁辅助蒸馏,缩小学生与教师的性能差距,进而提升了分类结果的精准度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com