一种动态权重主辅任务协同的中文文本四元组抽取方法及系统与流程

摘要: 本发明涉及人工智能领域自然语言处理技术,具体涉及一种动态权重主辅任务协同的中文文本四元组抽取方案。背景技术:1、近年来,数字化中文文本数据量呈现爆发式增长,中文...
一种动态权重主辅任务协同的中文文本四元组抽取方法及系统与流程

本发明涉及人工智能领域自然语言处理技术,具体涉及一种动态权重主辅任务协同的中文文本四元组抽取方案。

背景技术:

1、近年来,数字化中文文本数据量呈现爆发式增长,中文文本已覆盖时政新闻、行业资料、网络文本、科研教育等众多领域。然而,中文语义多元、表达方式灵活、语句结构多变,传统文本处理方法无法高效挖掘和梳理中文文本中的核心关键信息。因此,对非结构化文本进行信息整理和深度挖掘,实现中文文本信息的高质量抽取,是中文自然语言处理中一项重要的基础任务。

2、目前中文文本抽取主要使用人工智能大模型对中文文本信息中的目标要素进行信息抽取。现有技术中的一种方法使用大模型提示词工程方案,该方法针对四元组抽取任务设计提示词,利用大模型接口进行调用并返回抽取结果。现有技术中的另一种方法利用标注好的中文文本数据集对低参数量大模型基座进行有监督微调,该方法通过训练让基座模型学习四元组抽取方法,然后加载训练好的模型进行推理。

3、然而,通过有监督微调的方法,针对中文文本四元组抽取这个复合任务,在数据集有限情况下,模型对复杂的抽取目标容易任务欠拟合,模型对简单的抽取目标容易出现任务过拟合。四元组抽取任务包含两个抽取和两个分类任务,抽取偏向于高难度任务,分类是低难度任务。直接使用数据集对四元组抽取任务进行微调时,模型需要对高难度和低难度任务一起进行学习,模型在前期学习高难度任务存在困难,模型在后期学习低难度任务出现过拟合现象,导致整体训练效果欠佳。

4、针对多任务学习中任务权重平衡的问题,现有技术cn111328400a(公开日:2020年6月23日)公开了一种用于神经网络的多任务学习的元学习方法。该现有技术训练元网络以平衡用于训练多任务网络的多个目标,元网络预测每次训练迭代的损失之间的平衡权重,元网络通过观察损失的轨迹学习用于联合训练多个任务的任务级别课程。然而,该现有技术通过元学习框架在损失函数层面调整任务权重,需要计算所有任务的损失值,且未针对中文文本四元组抽取任务进行特定的任务架构设计。

5、现有技术hydalearn(公开于applied intelligence期刊,2023年,第53卷第5期,第5808-5822页)公开了一种用于多任务学习的高度动态任务加权方法。该现有技术将主任务增益与各个任务梯度相连接,以在批级别进行动态损失加权。然而,该现有技术同样需要计算所有任务的梯度,其辅助任务损失值的计算过程仍然存在,对模型输出格式的干扰风险并未消除。

6、现有技术“learning task sampling policy for multitask learning”(发表于findings of emnlp 2021)公开了使用自动分配重要性权重来学习任务采样调度的方案。该现有技术将任务采样调度建模为强化学习问题,基于多任务模型的评估精度来学习任务采样调度。然而,该现有技术使用强化学习方法学习任务采样调度,其采样策略是动态学习的,未公开完全不计算辅助任务损失值的技术方案,也未针对中文文本四元组抽取任务进行主辅任务语义维度的特定拆分。

7、因此,如何在中文文本四元组抽取任务中,既避免辅助任务损失计算对模型输出格式的干扰,又实现主辅任务的渐进式协同训练以提升主任务抽取性能,是本领域亟待解决的技术问题。

技术实现思路

1、本发明目的在于提出一种动态权重主辅任务协同的中文文本四元组抽取方法与系统方案。本发明通过主辅任务协同的架构设计以及主辅任务动态权重的模型训练机制,优化目前中文文本四元组抽取模型的效果,实现中文文本四元组的高质量抽取,由此来克服现有技术所存在的问题。

2、为了达到上述目的,本发明提供如下技术方案。

3、第一方面:本发明提供一种动态权重主辅任务协同的中文文本四元组抽取方法,包括:

4、将中文文本四元组抽取任务拆分为一个主任务和至少两个辅助任务,所述主任务用于生成四元组抽取结果,所述辅助任务包括文本目标抽取任务、文本类别抽取任务和文本内容抽取任务中的至少两个,为所述主任务和各所述辅助任务分别配置对应的任务提示词;

5、获取原始中文文本数据集,对所述原始中文文本数据集进行标准化清洗,生成符合对话格式的训练数据集和验证数据集,所述训练数据集中的每条训练样本标注有任务标识;

6、将所述主任务和各所述辅助任务对应的训练样本合并,基于预训练基座模型进行微调训练,在所述微调训练过程中,根据所述任务标识构建损失掩码,仅计算所述主任务的损失值,通过调整各类任务样本在每一训练周期中被选中参与训练的概率来控制所述主任务与各所述辅助任务在训练中的权重分配;

7、在训练结束后从保存的检查点中选择验证损失最低的检查点对应的模型权重,加载该模型权重进行推理,推理时仅保留所述主任务,输出四元组抽取结果。

8、在一种示例性实施方式中,所述方法中通过调整各类任务样本在每一训练周期中被选中参与训练的概率来控制所述主任务与各所述辅助任务在训练中的权重分配,包括:

9、定义任务集合t,所述任务集合t包含所述主任务和所述至少两个辅助任务,将第e个训练周期任务t的原始权重记为w_t(e),将任务t的采样概率计算为p_t(e)=w_t(e)/sum_{k∈t}w_k(e),将第e个训练周期任务t的采样数量计算为n_t(e)=取整(n_e*p_t(e)),其中n_e为第e个训练周期计划采样总样本数。

10、在一种示例性实施方式中,所述方法还包括按照渐进式任务权重调度机制设置w_t(e):

11、设总训练周期数为e,将所述至少两个辅助任务的总权重记为w_aux(e),将所述主任务的权重记为w_main(e),设置w_aux(e)与w_main(e)之间的比例关系按照训练周期阶段变化:在训练前期阶段,w_aux(e)大于w_main(e);在训练中期阶段,w_aux(e)等于w_main(e);在训练后期阶段,w_aux(e)小于w_main(e)。

12、在一种示例性实施方式中,所述方法中根据任务标识构建损失掩码并仅计算所述主任务的损失值,包括:

13、对于第e个训练周期的批次样本计算:

14、l(e)=sum_{i=1}^{b}m_i*ce(logits_i,labels_i)/sum_{i=1}^{b}m_i,其中b为批次大小,m_i为第i个样本的损失掩码,当第i个样本的任务标识为主任务时设置m_i为第一掩码值,否则设置m_i为第二掩码值,所述第一掩码值使主任务样本参与损失计算,所述第二掩码值使辅助任务样本不参与损失计算,ce为交叉熵损失函数;若当前批次不含主任务样本,则跳过该批次参数更新并重新采样。

15、在一种示例性实施方式中,所述预训练基座模型采用量化加载,利用低秩适配进行参数高效微调,所述低秩适配的参数包括秩、缩放因子、丢弃率、任务类型和目标模块。

16、在一种示例性实施方式中,所述微调训练采用余弦退火学习率调度、预热策略和权重衰减,使用混合精度加速计算,每累计预设步数梯度后更新低秩适配参数,每预设步数在验证集上评估当前模型并保存检查点。

17、在一种示例性实施方式中,所述推理时仅保留所述主任务并输出四元组抽取结果,包括:在推理阶段仅采用主任务提示词模板构造输入,禁用各辅助任务的提示词模板,按照四元组格式解析模型输出,推理参数包括预设的批次大小、最大输入长度和最大输出长度。

18、第二方面:本发明还提供一种动态权重主辅任务协同的中文文本四元组抽取系统,其包括:

19、任务拆分模块,用于将中文文本四元组抽取任务拆分为一个主任务和至少两个辅助任务,为所述主任务和各所述辅助任务分别配置对应的任务提示词;

20、数据集准备模块,用于获取原始中文文本数据集并进行标准化清洗,生成符合对话格式的训练数据集和验证数据集,所述训练数据集中的每条训练样本标注有任务标识;

21、协同训练模块,用于将所述主任务和各所述辅助任务对应的训练样本合并,基于预训练基座模型进行微调训练,在训练过程中根据所述任务标识构建损失掩码,仅计算所述主任务的损失值,通过调整各类任务样本在每一训练周期中被选中参与训练的概率来控制所述主任务与各所述辅助任务在训练中的权重分配;

22、模型推理模块,用于加载验证损失最低的检查点对应的模型权重,仅保留所述主任务进行推理,输出四元组抽取结果。

23、在一种示例性实施方式中,所述协同训练模块包括渐进式权重调度单元,所述渐进式权重调度单元用于设总训练周期数为e,将至少两个辅助任务的总权重记为w_aux(e),将主任务的权重记为w_main(e),设置w_aux(e)与w_main(e)之间的比例关系按照训练周期阶段变化:在训练前期阶段,w_aux(e)大于w_main(e);在训练中期阶段,w_aux(e)等于w_main(e);在训练后期阶段,w_aux(e)小于w_main(e)。

24、在一种示例性实施方式中,所述协同训练模块包括损失掩码计算单元,所述损失掩码计算单元用于计算l(e)=sum_{i=1}^{b}m_i*ce(logits_i,labels_i)/sum_{i=1}^{b}m_i,其中m_i为第i个样本的损失掩码,当第i个样本的任务标识为主任务时设置m_i为第一掩码值,否则设置m_i为第二掩码值;在当前批次不含主任务样本时跳过该批次参数更新并触发重新采样。

25、本发明提出的动态权重主辅任务协同的中文文本四元组抽取方案针对现有四元组抽取模型容易出现困难任务欠拟合、简单任务过拟合的现象,通过主辅任务协同的架构设计以及主辅任务动态权重的模型训练机制,在相同模型、训练集和测试集以及测评打分方法的基础上取得更高的评分。