模型漂移适应样本筛选方法、装置、设备及介质
本公开实施例涉及样本筛选的,更具体地,涉及一种模型漂移适应样本筛选方法、装置、设备及介质。
背景技术:
1、在基于深度学习的网络流量检测或数据分类任务中,模型在长期部署过程中常面临概念漂移现象,即测试数据的统计分布随时间推移而发生变化,导致原有模型的预测性能持续下降。为了以极低的人工标注成本使模型适应新的数据分布,现有的主动学习框架通常挑选少量具有代表性的测试样本集进行人工标注,并利用标签传播算法,基于样本间的特征相似性将标签推断、扩散到海量未标注的测试样本集中。然而,在动态网络环境中,经常出现测试样本集与历史训练数据特征高度相似、但底层真实标签已发生翻转的隐蔽漂移现象。由于此类隐蔽标签翻转漂移样本的真实特征-标签映射关系相较于历史数据已经改变,深度学习模型在预测时同样会产生非常高的损失。传统的去噪方法无法区分真正的错误传播噪声与高价值的隐蔽漂移样本,会将高价值的漂移样本作为噪声错误地过滤掉,破坏测试流量的整体分布形态,严重削弱了模型后续对新数据分布的增量适应能力。
技术实现思路
1、本公开实施例的一个目的是提供一种模型漂移适应样本筛选的技术方案。
2、根据本公开的第一方面,提供了一种模型漂移适应样本筛选方法,所述方法包括:
3、将测试样本集输出至同架构的第n次更新的各测试模型中,得到所述第n次更新的各测试模型输出的第n参数组,所述第n参数组中质量估计参数低于设定质量值的第n参数子集作为第n更新条件;其中,n大于或者等于0且为整数;
4、基于所述第n更新条件,对所述各测试模型中非输出关系的测试模型进行模型更新,得到第n+1次更新的各测试模型;
5、将所述测试样本集输出至所述第n+1次更新的各测试模型中,得到所述第n+1次更新的各测试模型输出的第n+1参数组;
6、筛选第一参数组至所述第n+1参数组中符合设定条件的测试样本,作为模型偏移样本。
7、可选地,任意参数组的质量估计参数包括损失参数和置信度参数;所述任务参数组包括第n参数组和第n+1参数组;所述将测试样本集输出至同架构的第n次更新的各测试模型中,得到所述第n次更新的各测试模型输出的第n参数组之后,所述方法还包括:
8、提取所述第n参数组中的损失参数和置信度参数所对应的样本质量估计参数;
9、确定所述样本指令估计参数低于设定质量值的第n参数子集,将所述第n参数子集的所述损失参数作为第n更新条件。
10、可选地,所述损失参数是根据所述第n次更新的各测试模型中对应的测试模型对所述测试样本集处理产生的交叉熵损失值和模糊度损失值线性线性叠加得到的。
11、可选地,所述置信度参数是根据所述第n次更新的各测试模型中对应的测试模型对所述测试样本集处理产生的预测概率筛选出的最大概率值。
12、可选地,所述样本质量估计参数是在第一平衡因子下的归一化所述损失参数和在第二平衡因子下的归一化所述置信度参数线性叠加得到的;其中,所述第一平衡因子和所述第二平衡因子之和恒为常数。
13、可选地,所述第n参数子集所包含集合元素通过预置的过滤比值过滤为设定数量以内。
14、可选地,所述设定条件包括所述第一参数组至所述第n+1参数组中出现次数大于或者等于设定阈值的测试样本;所述设定阈值与所述各测试模型的更新次数正相关。
15、根据本公开的第二方面,还提供了一种模型漂移适应样本筛选装置,包括:
16、输出模块,用于将测试样本集输出至同架构的第n次更新的各测试模型中,得到所述第n次更新的各测试模型输出的第n参数组,所述第n参数组中质量估计参数低于设定质量值的第n参数子集作为第n更新条件;其中,n大于或者等于0且为整数;
17、第一得到模块,用于基于所述第n更新条件,对所述各测试模型中非输出关系的测试模型进行模型更新,得到第n+1次更新的各测试模型;
18、第二得到模块,用于将所述测试样本集输出至所述第n+1次更新的各测试模型中,得到所述第n+1次更新的各测试模型输出的第n+1参数组;
19、筛选模块,用于筛选第一参数组至所述第n+1参数组中符合设定条件的测试样本,作为模型偏移样本。
20、根据本公开实施例的第三方面,还提供了一种电子设备,包括存储器和处理器,所述存储器用于存储计算机程序;所述处理器用于执行所述计算机程序,以实现根据本公开第一方面所述的方法。
21、根据本公开实施例的第四方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序在被处理器执行时实现根据本公开第一方面所述的方法。
22、本公开实施例通过构建样本质量估计参数,并借助测试模型交叉互学机制,在过滤错误传播标签噪声的同时精准保留隐蔽标签翻转漂移样本,显著提高了下游自适应更新的数据纯净度,使增量训练阶段的数据质量大为改观,下游检测器的长期部署性能得以显著提升。
23、通过以下参照附图对本公开的示例性实施例的详细描述,本公开实施例的其它特征及其优点将会变得清楚。
1.一种模型漂移适应样本筛选方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,任意参数组的质量估计参数包括损失参数和置信度参数;所述任务参数组包括第n参数组和第n+1参数组;所述将测试样本集输出至同架构的第n次更新的各测试模型中,得到所述第n次更新的各测试模型输出的第n参数组之后,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述损失参数是根据所述第n次更新的各测试模型中对应的测试模型对所述测试样本集处理产生的交叉熵损失值和模糊度损失值线性线性叠加得到的。
4.根据权利要求1所述的方法,其特征在于,所述置信度参数是根据所述第n次更新的各测试模型中对应的测试模型对所述测试样本集处理产生的预测概率筛选出的最大概率值。
5.根据权利要求1所述的方法,其特征在于,所述样本质量估计参数是在第一平衡因子下的归一化所述损失参数和在第二平衡因子下的归一化所述置信度参数线性叠加得到的;其中,所述第一平衡因子和所述第二平衡因子之和恒为常数。
6.根据权利要求1所述的方法,其特征在于,所述第n参数子集所包含集合元素通过预置的过滤比值过滤为设定数量以内。
7.根据权利要求1所述的方法,其特征在于,所述设定条件包括所述第一参数组至所述第n+1参数组中出现次数大于或者等于设定阈值的测试样本;所述设定阈值与所述各测试模型的更新次数正相关。
8.一种模型漂移适应样本筛选装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括存储器和处理器,所述存储器用于存储计算机程序;所述处理器用于执行所述计算机程序,以实现根据权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com