分类模型处理方法、装置、设备、存储介质和程序产品与流程
本文涉及信息处理,尤其涉及一种分类模型处理方法、装置、设备、存储介质和程序产品。
背景技术:
1、随着模型技术的快速发展,在内容合规校验、对话诉求识别、多模态内容分类等应用场景中,需要分类模型持续适配不断变化的业务需求。为了降低算力开销,缩短分类模型的迭代周期,出现了提示信息驱动的分类模型的迭代方案。该方案先由人工标注数据,再利用标注数据迭代优化分类模型的提示信息。相关技术中的分类模型迭代方案,依赖于标注数据的数量和质量,在分类模型的质量和迭代效率等方面存在不足。
技术实现思路
1、为了解决上述技术问题,本文提供了一种分类模型处理方法、装置、设备、存储介质和程序产品。
2、第一方面,本文提供了一种分类模型处理方法,该方法包括:
3、获取第一数据集合和第一提示信息;其中,所述第一数据集合包括多个第一数据;所述第一数据关联第一类别;
4、基于所述第一提示信息,利用分类模型,对所述第一数据进行分类处理,获得第二类别;
5、基于所述第二类别和所述第一类别,利用第一智能系统进行差异分析,获得差异成因;其中,所述差异成因包括模型偏差成因;
6、基于多个所述第一数据和所述第一数据对应的所述差异成因,利用第二智能系统进行归纳处理,获得归纳结果;其中,所述归纳结果包括第二数据集合和偏差模式;所述第二数据集合为所述第一数据集合的子集;所述第二数据集合包括多个第二数据;所述第二数据关联所述模型偏差成因;所述偏差模式表征所述分类模型产生分类偏差的共性特征;
7、基于所述第二数据集合和所述偏差模式,更新所述第一提示信息,获得第二提示信息。
8、第二方面,本文还提供了一种分类模型处理装置,该装置包括:
9、数据获取模块,用于获取第一数据集合和第一提示信息;其中,所述第一数据集合包括多个第一数据;所述第一数据关联第一类别;
10、分类模块,用于基于所述第一提示信息,利用分类模型,对所述第一数据进行分类处理,获得第二类别;
11、差异分析模块,用于基于所述第二类别和所述第一类别,利用第一智能系统进行差异分析,获得差异成因;其中,所述差异成因包括模型偏差成因;
12、归纳处理模块,用于基于多个所述第一数据和所述第一数据对应的所述差异成因,利用第二智能系统进行归纳处理,获得归纳结果;其中,所述归纳结果包括第二数据集合和偏差模式;所述第二数据集合为所述第一数据集合的子集;所述第二数据集合包括多个第二数据;所述第二数据关联所述模型偏差成因;所述偏差模式表征所述分类模型产生分类偏差的共性特征;
13、提示信息更新模块,用于基于所述第二数据集合和所述偏差模式,更新所述第一提示信息,获得第二提示信息。
14、第三方面,本文还提供了一种电子设备,该电子设备包括:
15、存储装置,其上存储有计算机程序;
16、处理装置,用于执行所述存储装置中的所述计算机程序,以实现本文任意实施例所说明的分类模型处理方法。
17、第四方面,本文还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,当处理器执行计算机程序时,实现本文任意实施例所说明的分类模型处理方法。
18、第五方面,本文还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,处理器执行所述计算机程序或所述指令时,实现本文任意实施例所说明的分类模型处理方法。
19、本文的分类模型处理方法、装置、设备、存储介质和程序产品,获取包括多个第一数据及对应第一类别的第一数据集合和第一提示信息;基于第一提示信息,利用分类模型,对第一数据进行分类处理,获得第二类别;基于第二类别和第一类别,利用第一智能系统进行差异分析,获得包括模型偏差成因的差异成因;基于多个第一数据和第一数据对应的差异成因,利用第二智能系统进行归纳处理,获得归纳结果;归纳结果包括第二数据集合和偏差模式;第二数据集合为第一数据集合的子集;第二数据集合包括多个第二数据;第二数据关联模型偏差成因;偏差模式表征分类模型产生分类偏差的共性特征;基于第二数据集合和偏差模式,更新第一提示信息,获得第二提示信息。实现了对分类模型预测的第二类别及其参考的第一类别进行差异分析,并对差异成因进行归纳处理,以从第一数据集合中筛选出模型偏差成因对应的第二数据集合,并利用第二数据集合及汇总得到的偏差模式更新提示信息,得到第二提示信息。如此,优化提示信息过程中可以自动滤除第一数据集合中的标注错误数据(即脏数据),既无需人工预先对脏数据进行识别与相关处理,也减少脏数据参与提示信息迭代的可能性,从而降低了对第一数据集合的质量要求,减少了人工参与环节,提升了提示信息及分类模型的迭代效率,进而提升分类模型的分类准确性。
20、需要说明的是,本文所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
1.一种分类模型处理方法,包括:
2.根据权利要求1所述的方法,所述差异成因还包括标注偏差成因;
3.根据权利要求2所述的方法,所述方法还包括:
4.根据权利要求1所述的方法,所述归纳结果还包括第四数据集合;其中,所述第四数据集合为所述第一数据集合的子集;所述第四数据集合包括多个第四数据;所述第四数据不存在对应的第三类别;至少一个所述第四数据传输至核验节点。
5.根据权利要求4所述的方法,所述方法还包括:
6.根据权利要求3或5所述的方法,所述方法还包括:
7.根据权利要求1所述的方法,所述方法还包括:
8.根据权利要求1所述的方法,所述方法还包括:
9.一种分类模型处理装置,包括:
10.一种电子设备,包括:
11.一种计算机可读存储介质,所述存储介质存储有计算机程序,处理器执行所述计算机程序时实现权利要求1-8中任一项所述分类模型处理方法。
12.一种计算机程序产品,包括计算机程序或指令,处理器执行所述计算机程序或所述指令时实现权利要求1-8中任一项所述分类模型处理方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com