一种面向知识图谱的并列实体分组关系抽取方法及系统

本发明涉及自然语言处理，尤其是指一种面向知识图谱的并列实体分组关系抽取方法及系统。

背景技术：

1、实体关系抽取是将非结构化的文本信息转换为结构化的语义表达的关键技术，其广泛应用于知识图谱构建过程，知识图谱通过从文本中识别实体以及关系触发信息，把存在关联的实体整理为二元三元组、多元事实或者携带属性槽位的事件实例，并进一步存储至属性图、资源描述框架图、事件图等图结构中，从而为检索推理、语义解析、智能分析等下游任务提供结构化语义生成。然而在软件配置、设备参数、实验条件、生物医学摘要等技术文本中，句子普遍存在由“和”、“或”、“以及”、“共同”、“分别”、“各自”、逗号或分号连接的并列实体，这类并列实体语义复杂，既可以多个实体共同参与同一条事实，也可以各个实体分别独立构成多条事实，部分复杂语句还会出现局部实体成组，形成多组成员块的现象。若实体关系抽取无法识别并区分上述并列语义，输出的事实边界将与原始文本语义产生偏差，直接造成知识图谱内容失真，因此，实体关系抽取的准确性对知识图谱质量、支撑检索、语义分析等下游任务的运行具有十分重要的意义。

2、现有技术中主流的实体关系抽取技术可分为四类：1、基于实体对的联合关系抽取方法，该方法通常使用基于转换器的双向编码器表示模型（bert）或转换器（transformer）编码器得到文本表示，识别主体和客体跨度后再对“主体-关系-客体”进行分类或联合解码，能够有效适配单句内多组二元关系的抽取场景，但是，这类方法的核心预测单元为独立实体对，本质是对不同实体配对进行独立打分判断，忽略了并列实体的整体关联语义，例如针对“模块a和模块b共同使用配置c”，实体对模型容易生成“a使用c”和“b使用c”两个独立事实，与原文表达的a与b作为整体共同参与事实语义不符，容易产生实体错误拆分问题。2、基于集合预测的关系抽取方法，利用集合预测网络关系抽取模型（spn4re）将句子中的多个关系三元组视为无序集合，使用非自回归并行解码和二分图匹配损失，减少生成顺序对三元组集合预测的影响，双向集合预测网络模型（bispn）进一步并行生成实体集和关系集，并使用实体-关系一致性损失约束两类输出的匹配关系，有效解决了传统序列生成方法存在的三元组顺序依赖、重复预测、漏预测的问题，但是，其优化核心仅聚焦于多三元组的无序排布和纠错，并未针对并列实体的分组规则设计约束，无法识别并列实体的成组逻辑，既无法实现并列成员的整体成组抽取，也无法精准处理实体局部分组的复杂场景。3、基于并列结构识别、先拆句后抽取的方法，利用并列结构模型（corec）将并列结构识别分为协调词识别和并列成分边界检测两个阶段，可不依赖完整句法分析器识别连续协调词、成对协调词以及包含“分别”的结构，并输出各并列成分的边界；或者先将并列句简化或改写为多个简单句，再对每个简单句执行普通关系抽取，这种方法能够有效解决并列实体边界模糊的问题，但是仅能识别并列实体的划分边界，无法判定不同实体在目标关系中的合法分组规则，不能区分实体是共同参与、各自独立参与还是局部成组参与事实关系，并且先拆句处理还可能丢失“共同”、“分别”、“各自”以及从句边界等对分组具有决定作用的词元，从而产生错误展开或错误合并。4、多元关系抽取与结构化论元抽取方法，利用文本到多元知识图谱模型（text2nkg），使用跨度一元组分类、异序合并和输出合并等处理方式，支持超关系、事件、角色和超图等多元结构化事实抽取，面向结构预测的代码生成模型（code4struct）将事件论元结构表示为带类型和角色约束的代码对象，再利用语言模型完成文本到结构对象的生成，这类方法能够表示多槽位和可变元数的复杂事实存储与抽取，但是“能够输出多元事实”并不等同于“能够对同一并列成员集的所有合法分组进行对称比较”，如果模型只对已给定多元元组分类，或者只生成一个结构序列，无法针对并列场景下的错误拆分、错误合并情况进行有效约束和纠错，依然无法适配复杂并列语义下的精准实体关系抽取需求。

3、综上所述，现有的实体关系抽取方法存在难以准确判断多个并列实体应当共同形成一条事实、分别形成多条事实、还是按部分成员组合形成事实，导致抽取的实体关系与原文含义不一致，进而造成知识图谱结构化抽取精度低、语义保真度差的问题。

技术实现思路

1、为此，本发明所要解决的技术问题在于克服现有技术中的实体关系抽取方法存在难以准确判断多个并列实体应当共同形成一条事实、分别形成多条事实、还是按部分成员组合形成事实，导致抽取的实体关系与原文含义不一致，进而造成知识图谱结构化抽取精度低、语义保真度差的问题。

2、为解决上述技术问题，本发明提供了一种面向知识图谱的并列实体分组关系抽取方法，包括：

3、对训练集中的文档样本进行分词得到词元序列，利用共享预训练编码器对词元序列进行编码得到各个词元的词元向量以及文档样本的文档向量；

4、利用跨度边界预测头对各个词元向量进行全局跨度标注，输出各个候选跨度的跨度类型以及候选跨度向量；

5、利用关系分类预测头基于各个候选跨度的跨度类型、候选跨度向量和文档向量进行关系类型预测，输出候选关系类型及其关系类型表示；

6、基于候选跨度中实体词元向量的不同组合得到多个合法实体分组方案，基于各个候选跨度的跨度类型、候选跨度向量、候选关系类型及其关系类型表示为各个合法实体分组方案生成多个候选事实向量；

7、对各个合法实体分组方案的多个候选事实向量进行调整，得到各个合法实体分组方案的正候选事实向量和负候选事实向量；

8、利用分组评分模块对各个合法实体分组方案及其正候选事实向量和负候选事实向量进行评分，从而构建实体分组关系抽取损失函数，以对共享预训练编码器、跨度边界预测头、关系分类预测头、分组评分模块进行迭代训练，直至实体分组关系抽取损失函数的值收敛，得到训练好的实体分组关系抽取模型，从而利用训练好的实体分组关系抽取模型对待处理文档进行实体分组关系抽取。

9、优选地，利用跨度边界预测头对各个词元向量进行全局跨度标注，输出各个候选跨度的跨度类型以及候选跨度向量，包括：

10、利用跨度边界预测头分别计算各个词元向量位于候选跨度起始位置、候选跨度结束位置和候选跨度内部位置的预测概率，基于满足预设概率条件的词元向量构造候选跨度，并计算候选跨度得分，保留满足预设跨度宽度约束的候选跨度；

11、利用跨度角色分类模块对各个候选跨度进行角色分类，得到实体跨度、关系触发词跨度、协调表达跨度以及与候选关系类型对应的槽位候选跨度；

12、对各个候选跨度的起始词元向量、结束词元向量、跨度内部词元向量以及跨度宽度嵌入进行拼接，得到各个候选跨度的候选跨度向量。

13、优选地，利用关系分类预测头基于各个候选跨度的跨度类型、候选跨度向量和文档向量进行关系类型预测，输出候选关系类型及其关系类型表示，包括：

14、将关系触发词跨度的候选跨度向量、文档向量以及槽位候选汇总表示输入关系分类预测头，输出目标关系类别与非目标关系类别对应的分类值；

15、基于目标关系类别与非目标关系类别对应的分类值获取候选关系类型及其关系类型表示。

16、优选地，基于候选跨度中实体词元向量的不同组合得到多个合法实体分组方案，基于各个候选跨度的跨度类型、候选跨度向量、候选关系类型及其关系类型表示为各个合法实体分组方案生成多个候选事实向量，包括：

17、当候选跨度中的实体词元向量的数量小于等于预设数量时，枚举实体词元向量的所有组合得到多个非空合法实体分组方案；基于非空合法实体分组方案和所有实体词元向量均不形成事实的空事实，得到多个合法实体分组方案；

18、当候选跨度中的实体词元向量的数量大于预设数量时，基于实体词元向量的部分组合以及所有实体词元向量均不形成事实的空事实得到多个合法实体分组方案；

19、对合法实体分组方案中的各个成员块进行排列不变聚合，得到实体合法分组方案的各个成员块表示；

20、将合法实体分组方案的各个成员块表示均与关系触发词跨度的候选跨度向量、候选关系类型的关系类型表示及其对应的槽位候选跨度的候选跨度向量、文档向量组合，得到该合法实体分组方案的多个候选事实向量。

21、优选地，当候选跨度中的实体词元向量的数量大于预设数量时，基于实体词元向量的部分组合以及所有实体词元向量均不形成事实的空事实得到多个合法实体分组方案，包括：

22、s11：初始化由各个实体词元向量分别形成成员块的初始合法实体分组方案；

23、s12：在初始合法实体分组方案中选取两个成员块合并得到新的成员块，基于新的成员块和剩余未合并成员块得到一个候选合法实体分组方案，基于两个成员块的不同选取结果得到多个候选合法实体分组方案，对各个候选合法实体分组方案进行合法性检查并计算局部筛选得分，从而保留预设数量的候选合法实体分组方案；

24、s13：将每个候选合法实体分组方案作为新的初始合法实体分组方案，返回执行步骤s12，直至得到的候选合法实体分组方案中包含所有实体词元向量；

25、s14：基于所有初始合法实体分组方案、包含所有实体词元向量的候选合法实体分组方案、所有实体词元向量均不形成事实的空事实，得到多个合法实体分组方案。

26、优选地，对各个合法实体分组方案的多个候选事实向量进行调整，得到各个合法实体分组方案的正候选事实向量和负候选事实向量，包括：

27、将合法实体分组方案的多个候选事实向量中的完整候选事实作为正候选事实向量；

28、替换正候选事实向量中候选关系类型的关系类型表示，和/或替换正候选事实向量中候选关系类型对应的槽位候选跨度的候选跨度向量，和/或删除正候选事实向量中候选关系类型对应的槽位候选跨度的候选跨度向量，基于每次替换和删除后的候选事实向量得到合法实体分组方案的一个负候选事实向量。

29、优选地，利用分组评分模块对各个合法实体分组方案及其正候选事实向量和负候选事实向量进行评分，包括：

30、利用多层感知机计算每个合法实体分组方案的各个候选事实向量的完整事实评分；

31、利用并列结构评分头输出每个合法实体分组方案属于所有实体词元向量作为一个成员块共同形成事实的集体概率、各个实体词元向量单独作为成员块分别形成事实的分配概率、部分实体词元向量作为一个成员块共同形成事实的混合概率、所有实体词元向量均不形成事实的空事实概率，从而得到该合法实体分组方案的并列结构概率；

32、针对每个合法实体分组方案中的各个成员块分别构建完整的候选事实向量并计算其事实得分，基于各个成员块对应的完整的候选事实向量的事实得分的均值，得到该合法实体分组方案的事实平均得分；其中，构建好的完整的候选事实向量的事实得分的计算过程包括：

33、利用多层感知机计算完整的候选事实向量的完整事实评分；

34、基于完整的候选事实向量中的各个词元向量及其槽位标签，计算完整的候选事实向量的文本信息遗漏惩罚；

35、基于完整的候选事实向量的文本信息遗漏惩罚与信息遗漏惩罚权重的乘积，得到完整的候选事实向量的目标文本信息遗漏惩罚；

36、基于完整的候选事实向量的完整事实评分与文本目标信息遗漏惩罚的差值，得到完整的候选事实向量的事实得分；

37、当合法实体分组方案为非空合法实体分组方案时，基于并列结构概率的对数值、事实平均得分、与成员块数量对应的可学习校准值加权求和，得到合法实体分组方案的统一分组得分；

38、当合法实体分组方案为空事实时，基于并列结构评分头输出的所有实体词元向量均不形成事实的空事实概率的对数值、可学习空事实上下文得分以及空事实偏置，得到合法实体分组方案的统一分组得分。

39、优选地，构建实体分组关系抽取损失函数包括：

40、基于跨度边界预测头的输出构建候选跨度识别损失和跨度类型分类损失；

41、基于关系分类预测头的输出构建关系类型分类损失；

42、基于并列结构评分头的输出构建并列结构分类损失；

43、基于正候选事实向量的完整事实评分与负候选事实向量的完整事实评分，构建合法实体分组方案的完整事实评分损失；

44、基于各个候选事实向量中的各个词元向量及其槽位标签，构建槽位归属损失；

45、利用对数-和-指数函数对错误的合法实体分组方案的统一分组得分进行聚合得到错误分组得分，计算预设间隔裕度与正确的合法实体分组方案的统一分组得分的差值，将该差值与错误分组得分的和值输入平滑正值函数，构建分组排序损失；

46、对候选跨度识别损失、跨度类型分类损失、关系类型分类损失、并列结构分类损失、完整事实评分损失、槽位归属损失和分组排序损失加权求和，得到实体分组关系抽取损失函数。

47、优选地，利用训练好的实体分组关系抽取模型对待处理文档进行实体分组关系抽取，包括：

48、对待处理文档进行分词得到待处理词元序列，将待处理词元序列输入训练好的实体分组关系抽取模型中的共享预训练编码器，输出待处理词元向量以及待处理文档向量；

49、利用训练好的实体分组关系抽取模型中的跨度边界预测头对各个待处理词元向量进行全局跨度标注，输出待处理文档中各个候选跨度的跨度类型以及候选跨度向量；

50、利用训练好的实体分组关系抽取模型中的关系分类预测头基于跨度边界预测头的输出和待处理文档向量进行关系类型预测，输出待处理文档的候选关系类型及其关系类型表示；

51、基于待处理文档的候选跨度中实体词元向量的不同组合得到多个合法实体分组方案；

52、利用训练好的实体分组关系抽取模型中的分组评分模块基于跨度边界预测头和关系分类预测头的输出对各个合法实体分组方案进行评分，基于统一分组得分最高的合法实体分组方案得到待处理文档的实体分组关系。

53、本发明还提供了一种面向知识图谱的并列实体分组关系抽取系统，包括：

54、文档编码模块，用于对训练集中的文档样本进行分词得到词元序列，利用共享预训练编码器对词元序列进行编码得到各个词元的词元向量以及文档样本的文档向量；

55、跨度标注模块，用于利用跨度边界预测头对各个词元向量进行全局跨度标注，输出各个候选跨度的跨度类型以及候选跨度向量；

56、关系类型预测模块，用于利用关系分类预测头基于各个候选跨度的跨度类型、候选跨度向量和文档向量进行关系类型预测，输出候选关系类型及其关系类型表示；

57、实体分组及候选事实生成模块，用于基于候选跨度中实体词元向量的不同组合得到多个合法实体分组方案，基于各个候选跨度的跨度类型、候选跨度向量、候选关系类型及其关系类型表示为各个合法实体分组方案生成多个候选事实向量；

58、正负候选事实生成模块，用于对各个合法实体分组方案的多个候选事实向量进行调整，得到各个合法实体分组方案的正候选事实向量和负候选事实向量；

59、模型训练及获取模块，用于利用分组评分模块对各个合法实体分组方案及其正候选事实向量和负候选事实向量进行评分，从而构建实体分组关系抽取损失函数，以对共享预训练编码器、跨度边界预测头、关系分类预测头、分组评分模块进行迭代训练，直至实体分组关系抽取损失函数的值收敛，得到训练好的实体分组关系抽取模型，从而利用训练好的实体分组关系抽取模型对待处理文档进行实体分组关系抽取。

60、本技术提供的面向知识图谱的并列实体分组关系抽取方法具有以下有益效果：

61、首先通过共享预训练编码器获取词元向量和文档向量，利用跨度边界预测头完成全局跨度标注并输出各个候选跨度的跨度类型以及候选跨度向量，再利用关系分类预测头进行关系类型预测，完整捕获候选跨度内实体、触发关系以及各类槽位的基础语义信息，进一步针对候选跨度中实体词元向量的不同组合生成多个合法实体分组方案，并为各个合法实体分组方案生成多个候选事实向量，覆盖并列实体共同构成一条事实、分别构成多条事实、部分成员组合构成事实以及空事实的全部可能性，避免了单一固定分组模式带来的分组遗漏；通过对候选事实向量进行变化调整生成正候选事实向量和负候选事实向量，利用分组评分模块对各个合法实体分组方案及其正候选事实向量和负候选事实向量进行评分以构建实体分组关系抽取损失函数，使得模型能够学习到不同实体分组方案与文本真实语义之间的映射关系，自动区分适配文本语义的实体分组形式，从而降低实体分组判断错误带来的事实抽取偏差，避免抽取到的实体关系与原文语义不一致，从而提升知识图谱结构化抽取的精度和语义保真度。