一种少样本文本分类模型训练方法
本发明属于自然语言处理,特别涉及一种少样本文本分类模型训练方法。
背景技术:
1、少样本文本分类旨在利用极少量的标注样本训练模型,使模型能够准确识别新的文本类别,是自然语言处理领域的重要研究方向。在医疗问诊、金融合规、客服意图识别等数据标注成本高昂的场景中,少样本文本分类技术具有迫切的应用需求。
2、基于度量的元学习方法是应对少样本问题的有效技术路径之一。以原型网络为例,其基本思路是将支持集中同类样本的特征向量取均值作为类原型,再依据查询样本与各类原型的距离进行分类。该方法通过将样本映射到度量空间并计算空间距离完成分类,无需在推理阶段进行复杂的梯度更新,具有架构简洁、计算效率高的特点。然而,在实际应用中,由于训练样本极度稀缺,类原型的质量高度依赖支持集样本的特征表达,而交叉熵损失函数主要关注分类边界的正确划分,难以对特征空间的几何结构施加有效约束。当类别数量较多或类别间语义相似度较高时,不同类别的特征表示容易在空间中混杂重叠,类内分散、类间边界模糊,导致模型的判别裕度不足,分类准确率难以保证。
技术实现思路
1、本发明的目的在于提供一种少样本文本分类模型训练方法,通过标签引导损失以标签语义为锚点构建类间判别性特征空间,提升少样本文本分类准确率。
2、为解决上述技术问题,本发明的实施例提供了一种少样本文本分类模型训练方法,包括以下步骤:
3、获取文本分类训练数据,训练数据中的样本分为支持集和带标签的查询集;
4、构建文本分类模型,包括编码器、融合网络和分类器;所述编码器用于提取支持集样本的文本特征和标签语义特征,以及查询集样本的文本特征;所述融合网络用于将支持集样本的文本特征和标签语义特征融合为融合表示;所述分类器用于基于融合表示对查询集样本的文本特征进行分类,输出分类结果;
5、以支持集样本的融合表示和对应标签语义特征为第一组输入,获取融合表示与各标签语义特征的相似度矩阵;根据支持集的真实类别标签构建标识同类关系的动态掩码矩阵;基于掩码矩阵从相似度矩阵中提取各样本的同类相似度,以该样本全部相似度求和作为全局归一化因子,对二者比值取负对数获得单样本损失,取全部支持集样本的单样本损失平均值作为第一损失分量;以查询集样本的文本特征和对应标签语义特征为第二组输入,按相同方式获得第二损失分量;将第一损失分量与第二损失分量之和作为标签引导损失;
6、以分类交叉熵损失和标签引导损失之和作为总损失,基于总损失对文本分类模型进行训练,获得训练后的文本分类模型。
7、在一些可选的实施例中,所述标签引导损失中,相似度矩阵的每个元素按如下方式计算:
8、;
9、式中,当第个样本来自支持集时,为支持集样本的融合表示;当第个样本来自查询集时,为查询集样本的文本特征;为第个标签语义特征,为温度超参数,为遍历索引,用于在第行中查找最大值。
10、在一些可选的实施例中,所述动态掩码矩阵的构建方式如下:
11、根据各样本的真实类别标签构造动态掩码矩阵
m,当第个样本与第个标签语义属于同一类别时,否则
。
12、在一些可选的实施例中,所述标签引导损失的表达式如下:
13、;
14、式中,为标签引导损失;为批次大小,即所述训练批次中样本的总数量;为样本索引,表示训练批次中的第个样本,的取值为
1至;为第行正样本集合,由与第个样本属于同一类别的标签语义特征的索引构成,即;为标签语义特征索引,相似度矩阵中第行第列的元素,为遍历索引,用于对相似度矩阵中第行的全部元素进行遍历求和;为集合的元素个数。
15、在一些可选的实施例中,所述第一损失分量对应的梯度在反向传播时同时更新编码器和融合网络,所述第二损失分量对应的梯度在反向传播时仅更新编码器。
16、在一些可选的实施例中,所述分类器用于基于融合表示对查询集样本的文本特征进行分类,具体步骤如下:
17、对支持集中属于同一类别的各样本的融合表示取平均值,作为该类别的类原型;
18、当同一类别中包含多个支持集样本时,分别获取各支持集样本的融合表示与支持集样本对应类别的标签语义特征之间的余弦相似度,以各余弦相似度作为权重,对各支持集样本的融合表示进行加权求和,获得加权原型;
19、获取查询集样本的文本特征与各类原型之间的距离,以距离的负指数与全部类别距离负指数之和的比值作为查询样本属于各类别的预测概率。
20、在一些可选的实施例中,还包括对支持集和查询集中各样本的类别标签进行语义扩展,具体步骤如下:
21、对于各样本的类别标签,通过先验语义映射将类别标签扩展为高频描述词集合,所述高频描述词包括与类别标签对应的领域描述词、操作词或实体状态词;
22、将高频描述词集合拼接为标签语义文本;
23、通过编码器对标签语义文本进行编码,获得各样本的标签语义特征。
24、在一些可选的实施例中,所述编码器为预训练语言模型,采用共享参数分别对文本通道输入和标签语义通道输入进行编码;所述预训练语言模型为bert、roberta、albert或electra中的至少一种。
25、在一些可选的实施例中,所述融合网络为多头交叉注意力融合网络,以所述文本特征作为查询向量,以所述标签语义特征作为键向量与值向量,经多头交叉注意力、残差连接、层归一化与前馈网络处理,得到融合表示。
26、在一些可选的实施例中,所述总损失还包括三元组损失,以查询集样本的文本特征为锚点、以同类支持集样本的融合表示为正样本、以异类支持集样本的融合表示为负样本构建三元组,获取三元组损失。
27、本发明所提供的一种少样本文本分类模型训练方法,至少具有以下有益效果:
28、本发明通过在原有分类交叉熵损失上引入标签引导损失,以标签语义特征作为类别锚点,在训练过程中强制各样本特征向其对应类别的语义中心靠拢,同时推离异类语义中心,促使不同类别的特征在度量空间中形成具有明确判别边界的几何结构。由于同类特征被约束在语义中心附近,异类特征之间保持足够的距离裕度,当面对类别数量较多或类别间语义相似度较高的复杂分类任务时,特征空间中的类内紧凑性和类间可分性得到显著增强,从而有效降低了相似类别之间的混淆概率,提升了少样本文本分类模型的分类准确率与泛化性能。
29、同时,本发明还通过对原始短标签进行语义扩展,在模型输入端注入更充分的类别先验信息,从根源上缓解因支持样本极度稀缺导致的类原型偏移问题,使类原型能够更准确地反映类别的真实语义中心;并通过对支持集样本单独执行文本特征与标签语义特征的交叉注意力融合,使支持样本在生成类原型前主动提取与类别定义最相关的语义线索,过滤无关噪声,进一步提升类原型的表征质量。上述二者与标签引导损失协同配合,共同保障了少样本条件下分类决策的准确性与稳定性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com