模型蒸馏方法、装置及电子设备与流程

技术特征：
1.一种模型蒸馏方法，其特征在于，所述方法包括：对第i个未标记数据进行第一泛化处理后，分别输入到至少两个教师网络模型中，获取一组第一识别结果；根据一组所述第一识别结果，获取第二识别结果，其中第二识别结果包括第i个所述未标记数据的至少一个备选标签，以及每一个所述备选标签对应的预测概率；当至少一个所述备选标签中第一备选标签的预测概率大于或者等于预设概率阈值时，将所述第一备选标签设定为所述未标记数据的伪标签，其中，所述第一备选标签为至少一个所述备选标签中概率最大的标签；对第i个所述未标记数据进行第二泛化处理后，输入到学生网络模型中，获取第三识别结果；根据所述第二识别结果、所述第三识别结果，以及所述伪标签，对所述学生网络模型进行优化，直至所述学生网络模型符合预设标准时结束，其中，i为正整数。2.根据权利要求1所述的方法，其特征在于，对第i个未标记数据进行第一泛化处理后，分别输入到至少两个教师网络模型中，获取一组第一识别结果，具体包括：分别对第i个所述未标记数据执行不同类型的弱增广处理；将经过不同类型的弱增广处理后的未标记数据，对应输入到不同的教师网络模型中，获取一组所述第一识别结果。3.根据权利要求1或2所述的方法，其特征在于，所述第一识别结果包括与第i个所述未标记数据对应的至少一个备选标签，以及每一个所述备选标签对应的第一候选概率；所述根据一组所述第一识别结果，获取第二识别结果，具体包括：分别获取一组所述第一识别结果中相同备选标签对应的第一候选概率的第一概率平均值；所述第一识别结果中的至少一个备选标签，以及每一个备选标签对应的第一概率平均值构成所述第二识别结果，其中每一个备选标签对应的第一概率平均值，即为所述第二识别结果中与所述备选标签对应的预测概率。4.根据权利要求1所述的方法，其特征在于，所述对第i个所述未标记数据进行第二泛化处理后，输入到学生网络模型中，获取第三识别结果，具体包括：分别对第i个所述未标记数据进行强增广处理；将经过强增广处理后的未标记数据，输入到所述学生网络模型中，获取所述第三识别结果。5.根据权利要求1、2或4任一项所述的方法，其特征在于，所述第三识别结果中包括：第i个所述未标记数据的至少一个备选标签中每一个备选标签对应的第二候选概率，与第i个所述未标记数据对应的目标标签；所述根据所述第二识别结果、所述第三识别结果，以及所述伪标签，对所述学生网络模型进行优化，具体包括：根据所述第二识别结果中每一个备选标签对应的第一概率平均值，以及所述第三识别结果中每一个备选标签对应的第二候选概率，确定第一损失函数；根据所述伪标签以及所述目标标签，确定第二损失函数；根据所述第一损失函数和所述第二损失函数，对所述学生网络模型进行优化。
6.一种多模型蒸馏装置，其特征在于，所述装置包括：处理模块，用于对第i个未标记数据进行第一泛化处理后，分别输入到至少两个教师网络模型中，获取一组第一识别结果；根据一组所述第一识别结果，获取第二识别结果，其中第二识别结果包括第i个所述未标记数据的至少一个备选标签，以及每一个所述备选标签对应的预测概率；设定模块，用于当至少一个所述备选标签中第一备选标签的预测概率大于或者等于预设概率阈值时，将所述第一备选标签设定为所述未标记数据的伪标签，其中，所述第一备选标签为至少一个所述备选标签中概率最大的标签；所述处理模块，还用于对第i个所述未标记数据进行第二泛化处理后，输入到学生网络模型中，获取第三识别结果；优化模块，根据所述第二识别结果、所述第三识别结果，以及所述伪标签，对所述学生网络模型进行优化，直至所述学生网络模型符合预设标准时结束，其中，i为正整数。7.根据权利要求6所述的装置，其特征在于，所述处理模块，具体用于：分别对第i个所述未标记数据执行不同类型的弱增广处理；将经过不同类型的弱增广处理后的未标记数据，对应输入到不同的教师网络模型中，获取一组所述第一识别结果。8.根据权利要求6或7所述的装置，其特征在于，所述第一识别结果包括与第i个所述未标记数据对应的至少一个备选标签，以及每一个所述备选标签对应的第一候选概率；所述处理模块，具体用于：分别获取一组所述第一识别结果中相同备选标签对应的第一候选概率的第一概率平均值；所述第一识别结果中的至少一个备选标签，以及每一个备选标签对应的第一概率平均值构成所述第二识别结果，其中每一个备选标签对应的第一概率平均值，即为所述第二识别结果中与所述备选标签对应的预测概率。9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一项所述的模型蒸馏方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的模型蒸馏方法的步骤。

技术总结
本发明实施例涉及一种模型蒸馏方法、装置及电子设备，该方法包括：对第i个未标记数据进行第一泛化处理后，分别输入到至少两个教师网络模型中，获取一组第一识别结果；根据一组第一识别结果，获取第二识别结果；当至少一个备选标签中第一备选标签的预测概率大于或者等于预设概率阈值时，将第一备选标签设定为未标记数据的伪标签；对第i个未标记数据进行第二泛化处理后，输入到学生网络模型中，获取第三识别结果；根据第二识别结果、第三识别结果，以及伪标签，对学生网络模型进行优化，直至学生网络模型符合预设标准时结束。通过该方式，大大降低人力标记的成本。大降低人力标记的成本。大降低人力标记的成本。


技术研发人员：袁瑾 肖嵘 王孝宇
受保护的技术使用者：深圳云天励飞技术股份有限公司
技术研发日：2021.12.30
技术公布日：2022/5/20