多源数据的分类方法、设备及存储介质与流程
本发明涉及数据分类领域,尤其涉及一种多源数据的分类方法、设备及存储介质。
背景技术:
1、随着大数据和云计算技术的快速发展,企业和机构积累的数据量呈指数级增长。数据分类分级是数据安全治理的基础环节,旨在根据数据内容、敏感程度等属性对数据进行自动标注和分级管理。
2、传统的数据分类分级方法主要依赖以下技术:
3、基于规则的方法,主要是通过正则表达式、关键词匹配等方式识别如身份证号、银行卡号等敏感数据。这类方法准确率较高但覆盖率低,难以应对变体数据和上下文依赖的复杂场景。
4、基于传统机器学习和深度学习模型方法。如朴素贝叶斯、支持向量机等,需要大量人工标注的特征工程,泛化能力有限。如bert、lstm等,虽然能够捕捉语义信息,但在如医疗、金融的专业领域样本稀缺的情况下容易过拟合,且缺乏对领域规则的有效利用。
5、现有数据分类分级技术中,单纯依赖规则匹配时无法处理上下文语义、字段组合和变体表达,导致漏报。单纯依赖神经网络和机器学习方案时容易受到样本稀缺、类别不均衡和高敏感误判成本的影响,导致误报和低可信输出。因此,针对现有技术中的数据分类方案无法同时兼顾语义变化和识别精度的技术问题,需要一种新的技术来解决当前的技术问题。
技术实现思路
1、本发明的主要目的在于解决现有技术中的数据分类方案无法同时兼顾语义变化和识别精度的技术问题。
2、本发明第一方面提供了一种多源数据的分类方法,所述多源数据的分类方法包括:
3、获取待分类的多源数据,并对所述多源数据进行预处理,得到标准化数据;
4、根据预设分类规则库,对所述标准化数据进行规则匹配处理,得到规则识别结果、所述规则识别结果对应的规则置信信息;
5、将所述标准化数据输入预设联合判定模型进行分类识别处理,得到模型识别结果、所述模型识别结果对应的模型置信信息;
6、根据预设融合分析算法,对所述规则识别结果、所述规则置信信息、所述模型识别结果、所述模型置信信息进行融合判定处理,得到分类结果;
7、基于所述分类结果,确定所述多源数据中的复核样本,并对所述复核样本进行复核处理,生成复核结果;
8、基于所述复核结果,对所述分类规则库和/或所述联合判定模型进行参数更新,以用于提高后续对多源数据的分类精度。
9、可选的,在本发明第一方面的第一种实现方式中,所述对所述多源数据进行预处理,得到标准化数据的步骤包括:
10、对所述多源数据提取内容语义特征、字符片段特征、结构特征和上下文特征,并将提取数据按照统一格式拼接构建,生成标准化数据,所述标准化数据包括:
11、x=[ec;eg;es;ex];
12、其中,ec表示内容语义特征,eg表示字符片段特征,es表示结构特征,ex表示上下文特征。
13、可选的,在本发明第一方面的第二种实现方式中,所述根据预设分类规则库,对所述标准化数据进行规则匹配处理,得到规则识别结果、所述规则识别结果对应的规则置信信息的步骤包括:
14、基于预设分类规则库的第j条规则rj,对所述标准化数据进行匹配,得到命中函数值;
15、基于预设得分公式,计算第j条规则rj对应的规则得分,其中,所述得分公式包括:
16、sj=α*mj+β*cj+γ*pj;
17、其中,mj表示模式匹配强度,cj表示上下文匹配强度,pj表示规则优先级,α、β、γ为权重系数;
18、基于所述规则得分和所述命中函数值,生成规则识别结果、规则识别结果对应的规则置信信息。
19、可选的,在本发明第一方面的第三种实现方式中,所述将所述标准化数据输入预设联合判定模型进行分类识别处理,得到模型识别结果、所述模型识别结果对应的模型置信信息的步骤包括:
20、将所述标准化数据输入预设编码器,得到隐藏表示矩阵h,其中,所述隐藏表示矩阵h包括:
21、h=encoder(x)={h1,h2,...,hm},hi表示第i个输入位置对应的上下文向量;
22、基于所述隐藏表示矩阵h进行注意力聚合,得到全局表示向量z,其中,所述隐藏表示矩阵h对应注意力权重αi满足:
23、,w为可训练参数,m为上下文向量的总数;
24、所述全局表示向量z包括:;
25、根据预设多任务分类公式,对所述全局表示向量z进行类别预测处理,得到模型识别结果、所述模型识别结果对应的模型置信信息。
26、可选的,在本发明第一方面的第四种实现方式中,所述根据预设多任务分类公式,对所述全局表示向量z进行类别预测处理,得到模型识别结果、所述模型识别结果对应的模型置信信息的步骤包括:
27、;
28、;
29、其中,pc表示类别概率分布,pl表示级别概率分布,wc为类别输出层参数,bc为类别偏置参数,wl为级别输出层参数,bl为级别偏置参数;
30、根据类别概率分布pc和级别概率分布pl,生成模型识别结果以及模型置信信息。
31、可选的,在本发明第一方面的第五种实现方式中,所述根据预设融合分析算法,对所述规则识别结果、所述规则置信信息、所述模型识别结果、所述模型置信信息进行融合判定处理,得到分类结果的步骤包括:
32、根据预设置信度校准算法,对所述规则置信信息和所述模型置信信息进行校准处理,生成规则校准置信、模型校准置信;
33、判断所述模型识别结果与所述规则识别结果是否一致;
34、当一致时,则将所述模型识别结果与所述规则识别结果直接确定为分类结果;
35、当不一致时,则根据预设冲突消解策略,对所述规则校准置信、所述模型校准置信、所述模型识别结果、所述规则识别结果进行冲突分析,得到分类结果。
36、可选的,在本发明第一方面的第六种实现方式中,所述根据预设冲突消解策略,对所述规则校准置信、所述模型校准置信、所述模型识别结果、所述规则识别结果进行冲突分析,得到分类结果的步骤包括:
37、当所述规则校准置信大于预设第一阈值且大于模型校准置信时,则将所述规则识别结果确定为分类结果;
38、当所述模型校准置信大于预设第一阈值且大于模型校准置信时,则将所述模型识别结果结果确定为分类结果;
39、当所述规则校准置信和所述模型校准置信均不大于预设第一阈值时,则将所述模型识别结果和所述规则识别结果对应的多源数据标记为复核样本。
40、可选的,在本发明第一方面的第七种实现方式中,所述对所述复核样本进行复核处理,生成复核结果的步骤包括:
41、将所述复核样本输入预设人工校验通道,得到所述复核样本对应的真实标签;
42、将所述复核样本、所述真实标签进行组合,得到复核结果。
43、本发明第二方面提供了一种多源数据的分类设备,包括:存储器和至少一个处理器,所述存储器中存储有指令,所述存储器和所述至少一个处理器通过线路互连;所述至少一个处理器调用所述存储器中的所述指令,以使得所述多源数据的分类设备执行上述的多源数据的分类方法。
44、本发明的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的多源数据的分类方法。
45、在本发明实施例中,通过将标准化后的多源数据分别引入预设分类规则库进行规则匹配以及预设联合判定模型进行分类识别,并基于各自的置信信息进行融合判定处理,最终结合复核结果对规则与模型进行闭环参数更新;该方案有效协同了规则匹配对固定特征的高准确率优势与联合模型对复杂上下文深层语义的强泛化理解能力,有效克服了单一识别手段的局限性,从而实现了在充分适应多源复杂数据语义变化的同时,显著提升并保障数据分类绝对识别精度的技术效果,解决了现有技术中的数据分类方案无法同时兼顾语义变化和识别精度的技术问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com