面向少样本正类及未标注表格数据的分类方法及计算机设备
本技术涉及人工智能与数据挖掘,具体涉及一种面向少样本正类及未标注表格数据的分类方法及计算机设备。
背景技术:
1、表格数据分类是金融风控、医疗辅助决策、工业运维及商业客户筛选等场景中的核心技术手段,旨在将待处理样本准确划分至预定义的类别中。在常规应用场景下,主流技术方案通常依赖于覆盖所有目标类别的充足带标签样本集来训练分类器或构建上下文预测模型。现有的技术路线主要包括基于统计学习的传统机器学习算法、基于深度神经网络的端到端分类模型以及近年来兴起的表格基础模型。这些方法在实施过程中,普遍要求输入数据包含各类别的明确标注信息,通过拟合特征分布规律或学习类别间的决策边界来实现对新样本的类别推断。对于表格基础模型而言,其推理过程同样需要由各类别带标签样本构成的上下文作为先验知识输入,以激发模型预训练阶段获得的通用分类能力,从而输出准确的预测结果。
2、然而,在实际业务开展过程中,往往面临已标注样本极度匮乏且类别覆盖不全的严峻挑战。特别是在异常检测、罕见病识别或新客户挖掘等特定场景中,通常仅能获取极少量的目标正类已标注样本,而大量的负类样本处于完全未标注状态,且未标注集合中混杂着目标正类与未知负类。在这种少样本且仅提供正类标注的条件下,现有技术方案难以构建有效的分类模型或生成高质量的预测上下文,导致分类性能出现显著波动,无法满足实际应用对高可靠性与高准确率的迫切需求,成为制约该技术在极端数据条件下广泛落地的关键瓶颈。
技术实现思路
1、本技术提供了一种面向少样本正类及未标注表格数据的分类方法及计算机设备,可以解决在少样本且仅提供正类标注的条件下,现有技术方案难以构建有效的分类模型或生成高质量的预测上下文,导致分类性能出现显著波动,无法满足实际应用对高可靠性与高准确率的迫切需求的技术问题。
2、为了实现上述目的,本技术提供如下技术方案:
3、本技术的第一方面提供了一种面向少样本正类及未标注表格数据的分类方法,包括:
4、计算未标注样本集合中每个未标注样本与已标注正类样本集合中各个正类别的类别相似度,以及所述未标注样本与所述未标注样本集合中多个邻近样本的局部支持;
5、基于所述类别相似度和所述局部支持确定所述未标注样本的几何感知得分,所述几何感知得分包括正类得分和负类得分;
6、根据所述负类得分及样本间差异,从所述未标注样本中选取多个负类候选样本以生成初始伪标签集合,并构建初始上下文,所述初始上下文中的当前伪标签集合为所述初始伪标签集合;
7、确定所述初始上下文为当前上下文,并基于所述当前上下文和所述几何感知得分确定所述未标注样本的教师蒸馏信息,所述教师蒸馏信息包括教师概率向量及其权重;
8、基于所述教师蒸馏信息和所述几何感知得分优化所述上下文检索模型,并基于优化后的所述上下文检索模型预测的所述未标注样本的类别概率向量,以及所述未标注样本的教师概率向量确定所述未标注样本对应于各个类别的伪标签质量得分;
9、基于所述伪标签质量得分更新所述当前上下文中的当前伪标签集合,并返回所述基于所述当前上下文和所述几何感知得分确定所述未标注样本的教师蒸馏信息的步骤,直至触发迭代终止条件;
10、输出所述当前上下文作为最终上下文,并基于所述最终上下文预测待预测样本的类别。
11、在第一方面的一种实现方式中,所述计算未标注样本集合中每个未标注样本与已标注正类样本集合中各个正类别的类别相似度,包括:
12、针对所述未标注样本集合中的每个未标注样本,计算所述未标注样本与所述已标注正类样本集合中各个正类别对应的多个已标注正类样本之间的样本相似度;
13、针对每个正类别,选择与所述未标注样本之间样本相似度最大的已标注正类样本对应的样本相似度,作为所述未标注样本与该正类别之间的类别相似度。
14、在第一方面的一种实现方式中,所述计算未标注样本与所述未标注样本集合中多个邻近样本的局部支持,包括:
15、针对所述未标注样本集合中的每个未标注样本,计算所述未标注样本与所述未标注样本集合中其他未标注样本之间的样本相似度;
16、针对每个所述未标注样本,选择与所述未标注样本集合中其他所述未标注样本之间样本相似度最大的m个其他未标注样本,作为所述未标注样本的多个邻近样本;
17、基于所述未标注样本与所述多个邻近样本之间的样本相似度确定计算所述未标注样本对应的局部支持。
18、在第一方面的一种实现方式中,所述基于所述类别相似度和所述局部支持确定所述未标注样本的几何感知得分,包括:
19、基于所述类别相似度和所述局部支持,通过下述公式确定所述未标注样本的负类得分:
20、;
21、其中,为未标注样本集合中未标注样本的负类得分,表示将输入参数进行秩归一化至区间[0,1],,用于控制所述局部支持对所述负类得分的影响强度,表示未标注样本与类别的类别相似度,表示所述已标注正类样本集合中所有正类别,表示所述未标注样本对应的所述局部支持。
22、在第一方面的一种实现方式中,所述基于所述类别相似度和所述局部支持确定所述未标注样本的几何感知得分,所述几何感知得分包括正类得分和负类得分,还包括:
23、基于所述类别相似度和所述局部支持,通过下述公式确定所述未标注样本的正类得分:
24、
25、其中,为所述未标注样本对应于正类别的正类得分,为类别分离得分;
26、其中,
27、
28、其中,为正类别数量,为类别分离影响系数,表示类别为所有正类别中类别之外的其他类别。
29、在第一方面的一种实现方式中,所述根据所述负类得分及样本间差异,从所述未标注样本中选取多个负类候选样本以生成初始伪标签集合,并构建初始上下文,包括:
30、根据所述未标注样本对应的负类得分,对所述未标注样本进行排序,并选取负类得分满足预设条件的多个未标注样本构建候选负类样本集合;
31、从所述候选负类样本集合中迭代选择多个候选负类样本构建伪负类样本集合,其中,在每次迭代选择过程中,根据未被选择的所述候选负类样本对应的所述负类得分、所述未被选择的候选负类样本与伪负类样本之间的样本差异以及下述最大边际相关性公式确定选择所述未被选择的候选负类样本的最大边际相关性得分,并确定所述最大边际相关性得分最大的所述未被选择的候选负类样本为伪负类样本;
32、其中,所述最大边际相关性公式为:
33、;
34、其中,表示样本为候选负类样本集合中未被选进第次迭代结束后的伪负类样本集中的样本,为第次迭代中样本的最大边际相关性得分,为权重,为所述负类得分,为第次迭代中样本对应的样本差异;
35、其中,;
36、其中,表示样本为第次迭代结束后的伪负类样本集合的伪负类样本;
37、将次迭代后得到的所述伪负类样本集合中的伪负类样本赋予负类标签,以生成初始伪标签集合,其中,为所述伪负类样本集合;
38、将所述初始伪标签集合与已标注正类样本集合组合,形成初始上下文。
39、在第一方面的一种实现方式中,所述基于所述当前上下文和所述几何感知得分确定所述未标注样本的教师蒸馏信息,包括:
40、将所述当前上下文中的伪标签集合均匀划分到个互不重叠的折中,并将未标注样本集合中不在伪标签集合中的其余样本随机分配到个所述折中,得到;其中,为第个折中;
41、对于位于第个折中的未标注样本,将对应的上下文定义为;其中,为所述已标注正类样本集合,为用于第t轮迭代的伪标签集合,为上下文检索模型赋予样本的伪标签;
42、通过冻结的表格基础模型生成所述未标注样本在第t轮迭代中对应的教师概率向量,其中,;其中,表示维概率单纯形,为一个维向量;
43、基于所述教师概率向量中最大类别概率与次大类别概率之间的差值确定教师预测置信度,并基于所述教师概率向量对应的预测类别与所述几何感知得分之间的一致性确定几何一致性;
44、基于所述教师预测置信度和所述几何一致性确定所述教师概率向量的权重。
45、在第一方面的一种实现方式中,所述基于所述教师蒸馏信息和所述几何感知得分优化所述上下文检索模型,包括:
46、通过所述上下文检索模型中的编码器对所述未标注样本对应的特征表示进行映射,得到所述未标注样本对应的潜在表示;
47、基于所述潜在表示生成类别概率向量;
48、根据所述类别概率向量、所述教师概率向量和所述教师概率向量的权重计算教师蒸馏损失,根据所述几何感知得分计算全局几何对齐损失,以及根据已选上下文计算已选上下文的几何对齐损失;
49、基于所述教师蒸馏损失和几何对齐损失,对所述上下文检索模型进行优化,所述几何对齐损失包括所述全局几何对齐损失和所述已选上下文的几何对齐损失。
50、在第一方面的一种实现方式中,所述基于优化后的所述上下文检索模型预测的所述未标注样本的类别概率向量,以及所述未标注样本的教师概率向量确定所述未标注样本对应于各个类别的伪标签质量得分,包括:
51、基于优化后的所述上下文检索模型输出的所述未标注样本对应的类别概率向量,其中,所述类别概率向量包括所述未标注样本对应于各类别的预测概率;
52、基于所述未标注样本对应于类别的预测概率与所述未标注样本对应于其他类别的最大预测概率的差值确定所述未标注样本对应于类别的类别预测区分度;其中,,为所有类别;
53、针对每个所述未标注样本及每个类别,基于所述预测概率、所述类别预测区分度、以及所述教师概率向量中类别对应的教师概率,确定每个所述未标注样本对应于每个类别类别的伪标签质量得分。
54、本技术实施例第二方面提供一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如第一方面任一项所述方法的步骤。
55、本技术提供了一种面向少样本正类及未标注表格数据的分类方法,该方案通过计算未标注样本与已标注正类的类别相似度及未标注样本间的局部支持,进而基于二者确定包括负类得分和正类得分的几何感知得分,使得模型能够在无负类标注条件下量化样本的类别归属倾向;在此基础上,利用负类得分及样本间差异选取负类候选样本并通过最大边际相关性机制生成具有多样性的初始伪标签集合以构建初始上下文,从而避免了初始上下文因样本冗余或分布单一而导致的代表性不足问题;随后,基于当前上下文和几何感知得分确定包含教师概率向量及其权重的教师蒸馏信息,并以此联合几何感知得分优化上下文检索模型,促使上下文检索模型输出的类别概率向量不断逼近真实分布;进而基于优化后的模型预测结果与教师概率向量计算伪标签质量得分,动态更新当前上下文中的伪标签集合并迭代执行直至收敛,最终输出高质量最终上下文用于待预测样本的分类。由此,该方案有效解决了在少样本且仅提供正类标注的条件下,现有技术方案难以构建有效的分类模型或生成高质量的预测上下文,导致分类性能出现显著波动,无法满足实际应用对高可靠性与高准确率的迫切需求的技术问题,因此避免了因负类样本缺失及正类样本极少而造成的分类器失效或精度大幅下降的情况,显著提升了极端数据条件下表格数据分类的稳定性、鲁棒性及预测一致性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com