实体引导轴向注意力与双阈值校准的文档级关系抽取方法

摘要: 本发明涉及文档级关系抽取,具体涉及一种实体引导轴向注意力与双阈值校准的文档级关系抽取方法。背景技术:1、关系抽取是自然语言处理的基础任务,旨在从非结构化文本中自...
实体引导轴向注意力与双阈值校准的文档级关系抽取方法

本发明涉及文档级关系抽取,具体涉及一种实体引导轴向注意力与双阈值校准的文档级关系抽取方法。

背景技术:

1、关系抽取是自然语言处理的基础任务,旨在从非结构化文本中自动识别实体间的语义关系,对知识图谱构建、信息检索及智能问答等应用具有关键支撑作用。随着需求深化,任务场景已从单句拓展到多句文档,即文档级关系抽取。与句子级关系抽取不同,文档级关系抽取需综合整篇多句文本进行实体对关系判定,面临更大挑战:目标实体对常跨句分布,同一实体在文档内存在多处指代提及,关系推断往往需借助中间实体完成多跳逻辑推理。当前主流文档级关系抽取方法大多采用基于transformer架构的预训练语言模型编码输入文档,获得词元级上下文表示;再聚合同一实体在全文的多处提信息以形成实体级语义表示;随后融合头实体、尾实体与相关上下文特征,构建实体对表示。最后通过分类器对该实体对进行多标签分类,预测该实体对对应的一类或多类语义关系。

2、为增强实体对间的交互建模能力,部分现有方法将文档内实体对构建为二维网格结构,并引入轴向注意力机制,沿着网格行、列两个维度实现信息传递。借助该机制,拥有相同头实体或尾实体的各组实体对可完成信息交互,一定程度上改善了模型的两跳推理能力。但该类方法在信息传播阶段采用固定聚合策略,缺乏头尾实体引导,无法依据头、尾实体的语义特征对信息传播路径做选择性约束,容易混入与目标关系无关的实体对信息,产生噪声传播,进而影响关系抽取的准确性。

3、此外,文档级关系抽取本质上是一个多标签分类任务:同一实体对可对应一种或多种语义关系,也可能不存在任何关系。真实数据集内无关系实体对占比很高,导致正负样本严重失衡,使模型易偏向于将实体对预测为无关系。针对此问题,现有方法普遍引入自适应阈值策略完成关系判别:对每个候选实体对,模型同时输出各关系类别得分与阈值类别得分,若某关系类别得分高于阈值类别得分,则判定该关系成立,反之则不成立;当所有关系类别得分均低于阈值类别得分时,将该候选实体对标记为无关系。但现有自适应阈值方法重点优化正类关系与阈值的区分能力,难以有效抑制大量无关系实体对造成的负样本干扰。更关键的是,不同实体对的阈值相互独立学习,缺少全局统一校准机制,造成各实体对的预测标准不一致,引发漏判、误判及预测结果冲突等问题。

4、综上,现有文档级关系抽取方法主要不足如下:一是多数方法对实体对间的结构依赖关系缺乏充分的显式建模,而基于实体对网格的交互方法仍缺少实体语义引导的选择性信息传播,易引入无关信息;二是现有阈值学习方法处理正负类别不平衡尚不充分,且自适应阈值缺少有效的全局校准机制,难以兼顾实体对差异性和预测标准一致性。因此,需要一种能够显式建模实体对交互、实现实体语义引导的选择性信息传播,并改善正负样本不平衡条件下阈值学习和全局校准的文档级关系抽取方法。

技术实现思路

1、鉴于以上技术问题中的至少一项,本技术提供了一种实体引导轴向注意力与双阈值校准的文档级关系抽取方法,旨在将实体引导轴向注意力、自适应双重焦点损失和全局多阈值校准结合到文档级关系抽取任务中,以提高文档级关系抽取的准确性和稳定性。

2、本发明的技术方案是:

3、一种实体引导轴向注意力与双阈值校准的文档级关系抽取方法,该该方法包括:

4、获取原始文档,以及该文档的句子集合、实体集合与各实体的实体提及集合,并对文档进行预处理,得到词元序列与词元子序列;

5、基于词元子序列,获得文档级词元隐藏表示和文档级注意力权重;

6、对各词元子序列进行编码,得到片段级词元隐藏表示和片段级注意力权重,对各片段级词元隐藏表示和片段级注意力权重进行合并,得到文档级词元隐藏表示和文档级注意力权重;

7、基于文档级词元隐藏表示和文档级注意力权重构建各实体的实体表示与实体注意力表示;依据头、尾实体的实体注意力表示,构建实体对的归一化词元重要性权重,进而构建实体对的上下文表示;

8、根据实体对的头、尾实体的实体表示与上下文表示,对文档中各实体对分别构建实体对初始特征,并利用各实体对的实体对初始特征初始化实体对网格;

9、基于实体引导轴向注意力机制更新实体对网格,获得最终实体对网格;

10、采用自适应双重焦点损失训练一个关系分类器;

11、在关系分类器推理阶段,预测最终实体对网格中各实体对的关系类别,并对关系类别预测结果执行全局多阈值校准,获得经校准的关系预测结果。

12、可选地,根据所述的一种实体引导轴向注意力与双阈值校准的文档级关系抽取方法,所述对文档进行预处理,得到词元序列与词元子序列,包括:

13、将原始文档输入预训练分词器,得到词元序列;

14、采用滑动窗口对词元序列进行分段,得到各分段对应的词元子序列。

15、可选地,根据所述的一种实体引导轴向注意力与双阈值校准的文档级关系抽取方法,所述基于词元子序列,获得文档级词元隐藏表示和文档级注意力权重,包括:

16、将各词元子序列分别输入预训练语言模型进行编码,得到各词元子序列对应的片段级词元隐藏表示和片段级注意力权重;

17、将各词元子序列对应的片段级词元隐藏表示和片段级注意力权重,按照各词元在文档中的对应位置进行对齐与合并,获得文档级词元隐藏表示和文档级注意力权重。

18、可选地,根据所述的一种实体引导轴向注意力与双阈值校准的文档级关系抽取方法,所述基于文档级词元隐藏表示和文档级注意力权重构建各实体的实体表示与实体注意力表示的方法为:

19、已知实体的实体提及集合,通过对数求和指数对中各实体提及对应的词元隐藏表示进行聚合,得到实体的实体表示,具体表示为:;通过平均对中各实体提及对应的注意力表示进行聚合,得到实体的实体注意力表示,具体表示为:。

20、可选地,根据所述的一种实体引导轴向注意力与双阈值校准的文档级关系抽取方法,所述依据头、尾实体的实体注意力表示,构建实体对的归一化词元重要性权重,进而构建实体对的上下文表示,包括:

21、对于实体对,对头实体的实体注意力表示和尾实体的实体注意力表示进行逐元素相乘,得到词元级联合注意力向量;对全部词元级联合注意力向量进行平均,并对平均后的结果向量进行归一化得到实体对的归一化词元重要性权重,具体表示为:,其中表示输入文档中第个词元对应的词元重要性权重,表示输入文档的词元序列;

22、根据归一化词元重要性权重,对各词元的隐藏表示进行加权池化,获得实体对的上下文表示:如果各词元来自于文档的全部句子,则为全局上下文表示;如果各词元来自于包含头实体或尾实体的实体提及的句子,则为句子感知上下文表示。

23、可选地,根据所述的一种实体引导轴向注意力与双阈值校准的文档级关系抽取方法,所述根据实体对的头、尾实体的实体表示与上下文表示,对文档中各实体对分别构建实体对初始特征,并利用各实体对的实体对初始特征初始化实体对网格,包括:

24、对于实体对,将头实体表示与实体对上下文表示在特征维度上进行拼接得到,并对进行线性变换,再利用双曲正切激活函数对线性变换结果进行非线性变换,得到头侧特征;将尾实体表示与实体对上下文表示在特征维度上进行拼接得到,并对进行线性变换,再利用双曲正切激活函数对线性变换结果进行非线性变换,得到尾侧特征;

25、将头侧特征和尾侧特征同时输入到分组双线性函数中进行交互建模,并对建模后的结果通过投影矩阵进行映射,得到实体对的实体对初始特征;

26、将文档中各实体对的初始特征,按照头实体索引和尾实体索引,对应到实体对网格中的相应单元,构建初始的实体对网格。

27、可选地,根据所述的一种实体引导轴向注意力与双阈值校准的文档级关系抽取方法,所述基于实体引导轴向注意力机制更新实体对网格,获得最终实体对网格,包括:

28、将文档所包含的个实体的实体表示组合在一起构成实体表示矩阵;

29、从初始实体对网格开始,基于实体表示矩阵,通过串联的方式,逐级堆叠个实体引导轴向注意力块,对第层实体对网格整体更新为,其中,表示第层实体引导轴向注意力块的输入实体对网格;表示经过第层实体引导轴向注意力块输出的更新后的实体对网格;表示实体引导轴向注意力块的层索引;是一个经验值,表示实体引导轴向注意力块的总层数;表示对和应用一个实体引导轴向注意力块;

30、在第层实体引导轴向注意力块中,先根据头实体的实体表示构建行方向实体引导标记,其中表示用于生成行方向实体引导标记的可学习投影矩阵,再通过对该注意力块的输入实体对网格的第行的实体对特征序列执行头实体引导的行方向聚合,得到更新后的行方向实体引导标记和行方向更新后的实体对特征序列;

31、再利用生成行方向缩放参数和偏移参数,对行方向更新后的各实体对特征继续进行特征调制:

32、;

33、;

34、其中,表示用于生成行方向调制参数的可学习投影矩阵;

35、同理,执行尾实体引导的列方向聚合及特征调制;

36、针对第个实体引导轴向注意力块的输入实体对网格中的各实体对特征构建多层感知机预测二维门控向量,利用的两个分量和,分别对行方向更新结果和列方向更新结果进行加权,得到融合行方向和列方向更新结果的实体对特征增量,进而得到实体对特征增量网格;

37、将实体对特征增量网格与实体对网格进行残差相加,得到中间实体对网格并对其作层归一化后,将层归一化的结果输入位置前馈网络,再通过残差相加得到第层的实体对网格;

38、重复上述步骤,依次执行层实体引导轴向注意力更新,从而获得更新后的实体对网格;

39、对于实体对网格中的每个网格单元,假设其位于实体对网格中的位置,根据其实体对初始特征,计算标量门控系数,其中表示用于生成标量门控系数的可学习参数,并利用对实体对初始特征和经过层更新后的实体对特征进行插值融合得到实体对的最终实体对表示;

40、将所有实体对的最终实体对表示组合在一起构成经过实体引导轴向注意力更新后的最终实体对网格,表示为。

41、可选地,根据所述的一种实体引导轴向注意力与双阈值校准的文档级关系抽取方法,所述在关系分类器推理阶段预测最终实体对网格中各实体对的关系类别,包括:

42、预定义关系类别集合,并引入一个阈值类别,将最终实体对网格输入到关系分类器,关系分类器针对每个实体对同时输出各预定义关系类别的预测分数以及阈值类别的预测分数,在预测关系时,将每个关系类别的预测分数与阈值类别的预测分数进行比较,当的预测分数高于的预测分数时,将该关系类别作为当前实体对的关系类别预测结果。

43、可选地,根据所述的一种实体引导轴向注意力与双阈值校准的文档级关系抽取方法,所述采用自适应双重焦点损失训练关系分类器的方法为:

44、根据各关系类别的预测分数以及阈值类别的预测分数,分别计算正类概率和负类阈值概率:

45、对进行焦点重加权得到针对正类关系集合计算得到的正类损失;其中表示实体对对应的正类关系集合,即该实体对实际具有的关系类别集合;表示正类损失对应的权重系数;表示用于控制正类焦点程度的参数;

46、对进行焦点重加权得到针对负类关系集合计算得到的负类损失;其中表示实体对对应的负类关系集合,即全部预定义关系类别中除正类关系外的其余关系类别;表示负类损失对应的权重系数;表示用于控制负类焦点程度的参数;

47、训练关系分类器的目标函数是最小化。

48、可选地,根据所述的一种实体引导轴向注意力与双阈值校准的文档级关系抽取方法,在关系分类器推理阶段,对关系类别预测结果执行全局多阈值校准,获得经校准的关系预测结果,包括:

49、针对任一关系类别,计算在原始文档中的预测分数相对于阈值类别预测分数的关系边界分数,以及在伪文档中的预测分数相对于阈值类别预测分数的关系边界分数;若关系类别r同时出现在原始文档和伪文档中,则令关系类别的最终关系边界分数;若关系类别r仅出现在原始文档中,则对施加惩罚,令;若关系类别r仅出现在伪文档中,则对施加惩罚,令;

50、统计各关系类别在训练数据中出现的频率,并按照出现频率对全部关系类别进行排序;再根据预设的关系子空间划分规则,将排序后的关系类别划分至个子标签空间中,每个关系类别对应一个子标签空间,将该个子标签空间表示为,其中,表示子标签空间的索引;表示第个子标签空间;

51、对第个子标签空间求全局阈值:对于第个子标签空间,在开发集上收集预测关系类别属于的候选关系,按照候选关系的最终关系边界分数由高到低进行排序,依次计算不同候选阈值下的f1值,取使开发集f1值最大的候选关系的最终关系边界分数作为的全局阈值;

52、在推理阶段,对于同时满足和的关系类别r,直接接受r作为相应实体对的关系预测结果;对于其余的候选关系类别,将其最终关系边界分数与其所属的第个子标签空间的全局阈值进行比较,若满足,则接受关系类别r;否则,不接受r。

53、采用上述技术方案所产生的有益效果在于:

54、(1)本发明在构建实体对网格的基础上,应用实体引导轴向注意力机制在实体对网格上显式建模实体对之间的交互关系。该机制利用头实体和尾实体的语义信息引导网格行、列维度的信息传播,实现相关实体对的选择性信息传递,使模型能够过滤无关实体对带来的噪声,同时有效利用跨句信息和中间实体信息进行两跳推理。

55、(2)本发明设计自适应双重焦点损失函数,对正类关系和负类关系实施差异化重加权处理,有效缓解因无关系实体对占比过高导致的正负样本不平衡问题。

56、(3)本发明提出全局多阈值校准机制,针对各关系子空间学习专属全局阈值,使模型兼顾实体对级别的自适应判断能力和全局预测一致性,在保留实体对自适应判断能力的同时提高不同实体对之间预测结果的一致性,从而提高文档级关系抽取的准确性和稳定性。