一种基于双图融合的零样本关系抽取方法及系统

摘要: 本发明属于自然语言处理、信息抽取及人工智能,具体涉及一种基于双图融合的零样本关系抽取方法及系统。尤其涉及一种通过句法关系图与语义关系图融合、基于关系边属性进行结...
一种基于双图融合的零样本关系抽取方法及系统

本发明属于自然语言处理、信息抽取及人工智能,具体涉及一种基于双图融合的零样本关系抽取方法及系统。尤其涉及一种通过句法关系图与语义关系图融合、基于关系边属性进行结构推理并完成候选关系匹配预测的方法。

背景技术:

1、关系抽取是将自然语言文本中实体之间的语义关系识别为结构化关系类别的技术,可用于知识图谱构建、智能问答、信息检索等场景。传统监督式关系抽取通常需要针对每一关系类别准备数量较多的标注样本,并利用所述标注样本训练分类模型。当应用场景中出现新的关系类别时,需要重新采集、标注和训练数据,导致系统扩展成本较高,难以适应开放环境中关系类别持续增加的需求。

2、零样本关系抽取通过利用关系名称、关系描述或关系别名等自然语言信息,使模型在缺少目标关系类别训练样本的情况下,根据输入文本与候选关系之间的语义对应关系确定预测结果。现有技术通常将输入文本编码为句子级语义表示,并与候选关系表示进行相似度计算。该类方法能够利用预训练语言模型的语义迁移能力,但其处理对象主要是文本整体表示,对于分散在不同实体、短语和从句中的关系线索缺少显式的结构组织。

3、在长距离、多实体的复杂语句中,与目标实体对有关的关系证据可能由多个局部关系线索共同构成,且目标实体之间并不一定存在直接的关系连接。若仅依据句子整体语义进行匹配,无关实体及无关关系表达容易干扰目标关系判断;若仅利用局部上下文,又可能无法聚合跨短语、跨从句的多跳关系证据。

4、部分现有技术采用图结构表示文本中的实体及关系,但通常仅依据单一信息来源构建关系图。例如,仅使用依存句法结构时,能够获得较明确的语法连接和方向约束,但对于省略、隐含或表达形式变化较大的语义关系覆盖不足;仅依赖语义模型抽取关系线索时,能够补充非显式关系表达,但可能受到模型预测误差影响。单一关系图难以同时兼顾句法结构的稳定性和语义关系的覆盖能力。

5、此外,现有图推理方法常将关系边作为无差别连接使用,或者仅使用边的类别标签,未充分利用关系方向、关系线索在原文本中的位置等属性。自动构图过程中产生的不同关系边具有不同可靠程度和语义含义,若边属性不参与消息传播,图神经网络容易将噪声连接与可靠连接同等处理,从而降低复杂语句中的结构推理质量。

6、因此,需要提供一种零样本关系抽取技术方案,使句法关系线索与语义关系线索能够被联合建模,在统一关系图中保留可用于推理的关系边属性,并通过边感知图神经网络沿连接目标实体的相关路径聚合多跳关系证据,从而获得适于与候选关系进行匹配的结构增强文本表示。

技术实现思路

1、为解决现有技术在长距离、多实体等复杂语句中存在的关系线索分散、目标实体之间结构关联建模不足以及关系边属性利用不充分的问题,本发明提供一种基于双图融合的零样本关系抽取方法及系统,旨在通过联合构建句法关系图和语义关系图,将不同来源的关系线索融合到统一关系结构中,并使关系方向、关系来源、关系线索跨度及关系置信度参与边感知图神经网络的消息传播;在此基础上,沿连接目标实体的相关路径聚合多跳关系证据,形成结构增强文本表示,再与候选关系表示进行匹配,以完成对未见关系类别的预测。

2、为实现上述目的,本发明提供了如下方案:

3、一种基于双图融合的零样本关系抽取方法,所述方法包括:

4、获取待处理文本、预先指定的目标头实体和目标尾实体,以及候选关系集合,并基于所述待处理文本、预先指定的目标头实体和目标尾实体建立实体节点集合;

5、基于所述实体节点集合,分别建立句法关系图和语义关系图;

6、将所述句法关系图与所述语义关系图按照实体节点和关系边进行对齐融合,得到统一关系图,利用边感知图神经网络对所述统一关系图进行边感知推理,得到结构增强文本表示;

7、基于所述候选关系集合获得候选关系表示,计算所述结构增强文本表示和所述候选关系表示之间的匹配结果,基于所述匹配结果确定目标头实体与目标尾实体之间的预测关系类别,获得零样本关系抽取结果。

8、优选的,基于所述实体节点集合,分别建立句法关系图和语义关系图的方法包括:

9、建立句法关系图:对所述待处理文本执行依存句法分析,获得词语之间的依存关系和方向;利用预设句法规则识别实体间构成关系表达的依存路径;

10、建立语义关系图:将所述实体节点集合中的有序实体对及其上下文输入关系线索抽取模型,由所述关系线索抽取模型判断所述有序实体对是否具有语义关系,若具有语义关系,则输出关系线索位置、关系方向及置信度,建立对应的有向关系边。

11、优选的,将所述句法关系图与所述语义关系图按照实体节点和关系边进行对齐融合,得到统一关系图,利用边感知图神经网络对所述统一关系图进行边感知推理,得到结构增强文本表示的方法包括:

12、将所述句法关系图和所述语义关系图中的实体节点进行标识对齐,并对相同实体对、相同方向或可归并的关系边进行融合,获得统一关系图;

13、对所述统一关系图中的关系边建立包括关系方向、关系来源、关系线索跨度及关系置信度的边属性表示;

14、基于所述边属性表示,利用边感知图神经网络对所述统一关系图执行结构推理,获得图结构表示;

15、将所述图结构表示和原始文本语义表示进行门控融合,获得结构增强文本表示。

16、优选的,对所述统一关系图中的关系边建立包括关系方向、关系来源、关系线索跨度及关系置信度的边属性表示的方法包括:

17、;

18、其中,表示边属性表示;、和分别表示关系方向、关系来源和关系置信度的嵌入映射;表示对关系线索跨度对应的上下文语义表示执行平均池化、最大池化或注意力池化后得到的关系线索表示,和分别表示关系线索在待处理文本中的起始位置和结束位置;表示线性映射矩阵。

19、优选的,基于所述边属性表示,利用边感知图神经网络对所述统一关系图执行结构推理,获得图结构表示的方法包括:

20、获取实体节点的节点初始表示;

21、将所述统一关系图、所述节点初始表示及所述边属性表示输入边感知图神经网络进行图推理;

22、对完成图推理后的节点表示执行池化,获得所述统一关系图的图结构表示。

23、优选的,将所述统一关系图、所述节点初始表示及所述边属性表示输入边感知图神经网络进行图推理的方法包括:

24、;

25、其中,表示由节点经关系边传递至节点的边感知消息;和分别为节点表示和边属性表示的映射矩阵;表示节点在第层的节点表示;表示关系边的边属性表示;表示节点在第层向节点传递边感知消息时对应的归一化聚合权重,用于表示所述边感知消息对节点更新结果的重要程度;表示节点的邻接节点集合;表示节点在第层获得的聚合节点表示。

26、优选的,将所述图结构表示和原始文本语义表示进行门控融合,获得结构增强文本表示的方法包括:

27、;

28、其中,表示sigmoid 激活函数;表示原始文本语义表示与图结构表示的拼接结果;表示取值范围为0至1的门控系数;、和为可训练参数;表示图结构表示;表示原始文本语义表示;表示结构增强文本表示。

29、优选的,基于所述候选关系集合获得候选关系表示,计算所述结构增强文本表示和所述候选关系表示之间的匹配结果,基于所述匹配结果确定目标头实体与目标尾实体之间的预测关系类别,获得零样本关系抽取结果的方法包括:

30、针对所述候选关系集合中的每一候选关系,分别获取包括关系名称、关系描述和关系别名的关系文本;

31、对所述关系文本进行编码,获得名称表示、描述表示和别名表示,并通过加权聚合、注意力聚合或门控聚合得到候选关系表示;

32、计算所述结构增强文本表示与所述候选关系表示之间的相似度,根据相似度筛选预设数量的候选关系表示;

33、将结构增强文本表示与筛选后的候选关系表示进行细粒度交互或联合分类,获得匹配得分;

34、选择匹配得分最大或满足预设判定条件的候选关系表示,确定目标头实体与目标尾实体之间的预测关系类别,获得零样本关系抽取结果。

35、本发明还提供了一种基于双图融合的零样本关系抽取系统,所述系统用于实现前述的方法,所述系统包括:输入模块、双图构建模块、融合与边感知推理模块和预测模块;

36、所述输入模块,用于获取待处理文本、预先指定的目标头实体和目标尾实体,以及候选关系集合,并基于所述待处理文本、预先指定的目标头实体和目标尾实体建立实体节点集合;

37、所述双图构建模块,用于基于所述实体节点集合,分别建立句法关系图和语义关系图;

38、所述融合与边感知推理模块,用于将所述句法关系图与所述语义关系图按照实体节点和关系边进行对齐融合,得到统一关系图,利用边感知图神经网络对所述统一关系图进行边感知推理,得到结构增强文本表示;

39、所述预测模块,用于基于所述候选关系集合获得候选关系表示,计算所述结构增强文本表示和所述候选关系表示之间的匹配结果,基于所述匹配结果确定目标头实体与目标尾实体之间的预测关系类别,获得零样本关系抽取结果。

40、与现有技术相比,本发明的有益效果为:

41、1.通过基于依存句法分析结果和预设句法规则建立句法关系图,并利用关系线索抽取模型建立语义关系图,使待处理文本中的句法关系连接与语义关系连接被共同纳入实体关系结构,弥补单一关系图所包含关系信息不完整的问题。

42、2.通过对句法关系图和语义关系图中的实体节点及关系边进行对齐融合,并在统一关系边中保留关系方向、关系来源、关系线索跨度及关系置信度,使统一关系图能够同时表征实体之间的连接关系、关系语义依据及关系连接的可靠程度。

43、3.通过使关系边属性参与边感知图神经网络的消息构造、消息传播及邻居聚合过程,能够根据关系边的方向、来源、语义内容和置信度对不同实体连接进行区分,降低无关关系边或低可靠关系边对目标实体结构表示的干扰。

44、4.通过沿连接目标头实体和目标尾实体的相关路径聚合多跳关系证据,能够将分散于多个实体及不同文本片段中的关系线索组合为对应目标实体对的结构证据,增强对长距离、多实体及复杂句式中实体关系的识别能力。

45、通过将结构增强文本表示与由关系名称、关系描述及关系别名形成的候选关系表示进行匹配,能够利用候选关系的自然语言语义信息,在不需要候选未见关系类别标注训练样本的情况下,确定目标头实体与目标尾实体之间的预测关系类别。