基于潜在关系预测的双仿射重叠关系抽取方法和系统与流程

1.本发明属于知识图谱构建技术领域，特别涉及基于潜在关系预测的双仿射重叠关系抽取方法和系统。


背景技术：

2.关系抽取是知识图谱构建过程中的一项重要的子任务，关系抽取主要是从非结构化或半结构化的文本中抽取出包含主体、客体和对应关系的三元组信息。联合学习模型能够同时进行实体识别和关系分类，可以将这两个子任务进行紧密的联系，模型也因此可以学习到实体对和关系之间更深层的联系。考虑到关系的类别可能对句子中组成三元组的实体的识别有潜在的积极影响，主客体之间关系的双向性以及将多标签分类方法应用到同时提取出实体对和关系上。
3.传统的基于流水线的方法都是先提取出句子中的主体和客体实体，然后再对抽取出的候选实体对进行关系分类，这样模型只能学习到实体对和关系之间的浅层联系。


技术实现要素：

4.为了解决上述技术问题，本发明提出了基于潜在关系预测的双仿射重叠关系抽取方法和系统，能够有效利用句子中潜在的关系去提取出每个关系对应的实体，使模型可以一次性提取出句子中的所有三元组，为知识图谱的构建工作提供了良好的支撑。
5.为实现上述目的，本发明采用以下技术方案：
6.基于潜在关系预测的双仿射重叠关系抽取方法，包括以下步骤：
7.将用于重叠关系抽取的句子预处理为索引的形式；将每个句子中的单词转换为索引后的长度，生成初始值为零的三维目标矩阵；
8.通过对句子中每个词与其自身以及前面的每个词和后面的每个词均进行一次握手配对以标记所述三维目标矩阵；
9.将索引形式的句子和标记后的三维目标矩阵输入至bert模型进行微调训练，得到含有潜在关系的隐藏层向量；对所述隐藏层向量进行线性变换得到与所述三维目标矩阵具有相同形状的矩阵；训练完成并验证后得到最终的bert模型；采用所述最终的bert模型实现双仿射重叠关系抽取。
10.进一步的，所述将用于重叠关系抽取的句子预处理为索引的形式方法为：
11.采用分词器将用于重叠关系抽取的句子转换为索引的形式。
12.进一步的，所述三维目标矩阵为[最大句子长度*最大句子长度*(关系类别数 4)]。
[0013]
进一步的，所述通过对句子中每个词与其自身以及前面的每个词和后面的每个词均进行一次握手配对以标记所述三维目标矩阵的过程包括：
[0014]
如果三元组中的主体实体在前，客体实体在后，则对目标矩阵的上三角部分进行后面的标记操作；
[0015]
如果三元组中的客体实体在前，主体实体在后，则对目标矩阵的下三角部分进行后面的标记操作。
[0016]
进一步的，所述如果三元组中的主体实体在前，客体实体在后，则对目标矩阵的上三角部分进行后面的标记操作具体包括：
[0017]
如果配对的两个词是三元组中主体实体的头和客体实体的头，则将目标矩阵的第三维的最后一个位置标记为1，且将主体实体和客体实体对应的关系类别在第三维的相应位置标记为1；
[0018]
如果配对的两个词是三元组中的主体实体的头和客体实体的尾，将目标矩阵的第三维的倒数第二个位置标记为1，且将主体实体和客体实体对应的关系类别在第三维的相应位置标记为1；
[0019]
如果配对的两个词是三元组中的主体实体的尾和客体实体的头，将目标矩阵的第三维的倒数第三个位置标记为1，且将主体实体和客体实体对应的关系类别在第三维的相应位置标记为1；
[0020]
如果配对的两个词是三元组中的主体实体的尾和客体实体的尾，将目标矩阵的第三维的倒数第四个位置标记为1，且将主体实体和客体实体对应的关系类别在第三维的相应位置标记为1。
[0021]
进一步的，所述如果三元组中的客体实体在前，主体实体在后，则对目标矩阵的下三角部分进行后面的标记操作具体包括：
[0022]
如果配对的两个词是三元组中客体实体的头和主体实体的头，则将目标矩阵的第三维的最后一个位置标记为1，且将客体实体和主体实体对应的关系类别在第三维的相应位置标记为1；
[0023]
如果配对的两个词是三元组中的客体实体的头和主体实体的尾，将目标矩阵的第三维的倒数第二个位置标记为1，且将客体实体和主体实体对应的关系类别在第三维的相应位置标记为1；
[0024]
如果配对的两个词是三元组中的客体实体的尾和主体实体的头，将目标矩阵的第三维的倒数第三个位置标记为1，且将客体实体和主体实体对应的关系类别在第三维的相应位置标记为1；
[0025]
如果配对的两个词是三元组中的客体实体的尾和主体实体的尾，将目标矩阵的第三维的倒数第四个位置标记为1，且将客体实体和主体实体对应的关系类别在第三维的相应位置标记为1。
[0026]
进一步的，所述将索引形式的句子和标记后的三维目标矩阵输入至bert模型进行微调训练，得到含有潜在关系的隐藏层向量的过程为：
[0027]
获取bert最后一层的隐藏向量，并利用所述最后一层的隐藏向量对句子先进行潜在关系的预测；
[0028]
得到所述潜在关系之后，对得到的每一种关系进行嵌入编码操作，然后将潜在的关系向量进行相加，然后将所述相加后的潜在的关系向量加到训练过程中bert最后一层的每个词对应的隐藏向量上，得到含有潜在关系的隐藏层向量。
[0029]
进一步的，所述对所述隐藏层向量进行线性变换得到与所述三维目标矩阵具有相同形状的矩阵包括：
[0030]
首先使用两个线性变换，分别得到句子中的每个词作为主体实体的向量表示和作为客体实体的向量表示；
[0031]
将所述主体实体的向量表示和客体实体的向量表示分别输入至双仿射模型中得到双仿射模型矩阵；所述双仿射模型矩阵表示为[最大句子长度*最大句子长度*隐藏层大小]；
[0032]
双仿射模型矩阵再经过一次线性变换，采用激活函数激活之后，得到与所述三维目标矩阵具有相同形状的矩阵；所述与所述三维目标矩阵具有相同形状的矩阵表示为[最大句子长度*最大句子长度*(关系类别数 4)]。
[0033]
进一步的，所述采用所述最终的bert模型实现双仿射重叠关系抽取的过程为：
[0034]
将测试数据输入至最终的bert模型中，得到最终三维矩阵；所述最终三维矩阵表示为[最大句子长度*最大句子长度*(关系类别数 4)]；
[0035]
对所述最终三维矩阵上三角部分进行解码，通过使用主体实体头-客体实体头和主体实体尾-客体实体尾以及主体实体头-客体实体尾和主体实体尾-客体实体尾的依存关系即可确定主体实体；使用主体实体头-客体实体头和主体实体头-客体实体尾以及主体实体尾-客体实体头和主体实体尾客体实体尾即可确定客体实体；
[0036]
再通过依存关系上的关系类别索引即可确定主体和客体对应的关系类别；得到正向的《主体，关系，客体》三元组；
[0037]
同样再对矩阵表示的下三角部分进行解码，便可得到反向的《客体，关系，实体》三元组。
[0038]
本发明还提出了基于潜在关系预测的双仿射重叠关系抽取系统，包括预处理模块、标记模块和训练抽取模块；
[0039]
所述预处理模块用于将用于重叠关系抽取的句子预处理为索引的形式；将每个句子中的单词转换为索引后的长度，生成初始值为零的三维目标矩阵；
[0040]
所述标记模块用于通过对句子中每个词与其自身以及前面的每个词和后面的每个词均进行一次握手配对以标记所述三维目标矩阵；
[0041]
所述训练抽取模块用于将索引形式的句子和标记后的三维目标矩阵输入至bert模型进行微调训练，得到含有潜在关系的隐藏层向量；对所述隐藏层向量进行线性变换得到与所述三维目标矩阵具有相同形状的矩阵；训练完成并验证后得到最终的bert模型；采用所述最终的bert模型实现双仿射重叠关系抽取。
[0042]
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
[0043]
本发明提出了基于潜在关系预测的双仿射重叠关系抽取方法和系统，该方法包括：将用于重叠关系抽取的句子预处理为索引的形式；将每个句子中的单词转换为索引后的长度，生成初始值为零的三维目标矩阵；通过对句子中每个词与其自身以及前面的每个词和后面的每个词均进行一次握手配对以标记所述三维目标矩阵；将索引形式的句子和标记后的三维目标矩阵输入至bert模型进行微调训练，得到含有潜在关系的隐藏层向量；对所述隐藏层向量进行线性变换得到与所述三维目标矩阵具有相同形状的矩阵；训练完成并验证后得到最终的bert模型；采用所述最终的bert模型实现双仿射重叠关系抽取，基于潜在关系预测的双仿射重叠关系抽取方法，还提出了潜在关系预测的双仿射重叠关系抽取系
统。本发明相对于现有技术中只能一次性从一个句子中提取出一个三元组，通过潜在的关系预测和双仿射变换，能够有效利用句子中潜在的关系去提取出每个关系对应的实体，使模型可以一次性提取出句子中的所有三元组，为知识图谱的构建工作提供了良好的支撑。
附图说明
[0044]
如图1为本发明实施例1基于潜在关系预测的双仿射重叠关系抽取方法流程图；
[0045]
如图2为本发明实施例2基于潜在关系预测的双仿射重叠关系抽取系统示意图。
具体实施方式
[0046]
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
[0047]
实施例1
[0048]
本发明实施例1提出了基于潜在关系预测的双仿射重叠关系抽取方法，将句子中预测出的潜在关系应用到实体对的识别中，然后再使用双仿射机制对句子中的词向量表示进行配对处理形成三维目标矩阵表示，最后通过对产生的三维目标矩阵在四种约束条件的前提下进行解码，即可得到句子中所有的三元组信息。
[0049]
总体的步骤为：将用于重叠关系抽取的句子预处理为索引的形式；将每个句子中的单词转换为索引后的长度，生成初始值为零的三维目标矩阵；
[0050]
通过对句子中每个词与其自身以及前面的每个词和后面的每个词均进行一次握手配对以标记所述三维目标矩阵；
[0051]
将索引形式的句子和标记后的三维目标矩阵输入至bert模型进行微调训练，得到含有潜在关系的隐藏层向量；对隐藏层向量进行线性变换得到与三维目标矩阵具有相同形状的矩阵；训练完成并验证后得到最终的bert模型；采用最终的bert模型实现双仿射重叠关系抽取。
[0052]
如图1为本发明实施例1基于潜在关系预测的双仿射重叠关系抽取方法流程图；
[0053]
对要输入的每个句子进行预处理，使用bert的tokenizer将要输入进模型的句子转换为索引的形式，其中tokenizer为分词器。
[0054]
根据每个句子中的单词经过处理转换为索引后的长度，生成一个形状为[最大句子长度*最大句子长度*(关系类别数 4)]的初始值全为0的三维目标矩阵。
[0055]
对三维目标矩阵进行标记，将句子中的每一个词都与其自身以及前面的每个词和后面的每个词进行一次握手配对。如果三元组中的主体实体在前，客体实体在后，则对目标矩阵的上三角部分进行后面的标记操作：如果配对的两个词是三元组中主体实体的头和客体实体的头，则将目标矩阵的第三维的最后一个位置标记为1，且将主体实体和客体实体对应的关系类别在第三维的相应位置标记为1；如果配对的两个词是三元组中的主体实体的头和客体实体的尾，将目标矩阵的第三维的倒数第二个位置标记为1，且将主体实体和客体
实体对应的关系类别在第三维的相应位置标记为1；如果配对的两个词是三元组中的主体实体的尾和客体实体的头，将目标矩阵的第三维的倒数第三个位置标记为1，且将主体实体和客体实体对应的关系类别在第三维的相应位置标记为1；如果配对的两个词是三元组中的主体实体的尾和客体实体的尾，将目标矩阵的第三维的倒数第四个位置标记为1，且将主体实体和客体实体对应的关系类别在第三维的相应位置标记为1。
[0056]
相反，如三元组中的客体实体在前，主体实体在后，则对目标矩阵的下三角部分进行后面的标记操作：如果配对的两个词是三元组中客体实体的头和主体实体的头，则将目标矩阵的第三维的最后一个位置标记为1，且将客体实体和主体实体对应的关系类别在第三维的相应位置标记为1；如果配对的两个词是三元组中的客体实体的头和主体实体的尾，将目标矩阵的第三维的倒数第二个位置标记为1，且将客体实体和主体实体对应的关系类别在第三维的相应位置标记为1；如果配对的两个词是三元组中的客体实体的尾和主体实体的头，将目标矩阵的第三维的倒数第三个位置标记为1，且将客体实体和主体实体对应的关系类别在第三维的相应位置标记为1；如果配对的两个词是三元组中的客体实体的尾和主体实体的尾，将目标矩阵的第三维的倒数第四个位置标记为1，且将客体实体和主体实体对应的关系类别在第三维的相应位置标记为1。
[0057]
数据预处理完后，我们将索引形式的句子和处理好的目标矩阵输入到bert模型进行微调训练，在训练过程中我们获取bert最后一层的隐藏向量并利用最后一层的隐藏向量进行对句子先进行潜在关系的预测，得到潜在的关系后，对得到的每一种关系进行嵌入编码操作，然后将潜在的关系向量进行相加，然后再将其加到训练过程中bert最后一层的每个词对应的隐藏向量上，便得到了含有潜在关系的隐藏层向量。
[0058]
得到有潜在关系的隐藏层向量后，使用两个线性变换，分别得到句子中的每个词作为主体实体的向量表示和作为客体实体的向量表示，然后将这两个向量表示输入到双仿射模型中得到形状为[最大句子长度*最大句子长度*隐藏层大小]的矩阵表示。
[0059]
得到双仿射变换后的矩阵表示后，再进行一次线性变换，然后使用sigmoid激活函数激活后，得到与目标矩阵具有相同形状的为[最大句子长度*最大句子长度*(关系类别数 4)]的矩阵表示
[0060]
在模型监督训练完成后，经过使用验证集验证后即可得到表现最好的模型得到最终的模型。
[0061]
将测试数据输入到模型中，得到[最大句子长度*最大句子长度*(关系类别数 4)]的三维矩阵表示。对得到的矩阵表示的上三角部分进行解码，通过使用主体实体头-客体实体头和主体实体尾-客体实体尾以及主体实体头-客体实体尾和主体实体尾-客体实体尾的依存关系即可确定主体实体；使用主体实体头-客体实体头和主体实体头-客体实体尾以及主体实体尾-客体实体头和主体实体尾客体实体尾即可确定客体实体；然后再通过依存关系上的关系类别索引即可确定主体和客体对应的关系类别，因为便可得到正向的《主体，关系，客体》三元组。同理，再对矩阵表示的下三角部分进行解码，便可得到反向的《客体，关系，实体》三元组。
[0062]
本发明实施例1提出的基于潜在关系预测的双仿射重叠关系抽取方法，利用句子中的潜在关系信息，提高对句子中三元组实体对识别的准确率。利用双仿射机制，对句子中的每个词分别作为主体和客体的两种情况下进行配对处理形成三维目标矩阵，通过矩阵的
上下三角部分可确定主客体之间关系的方向性。三维目标矩阵的第三维将以四种约束条件的形式存在的实体对和关系类别融合到一起然后用多标签分类的方法进行主客体的抽取和关系分类。相对于现有技术中的研究只能一次性从一个句子中提取出一个三元组，本发明实施例1通过潜在的关系预测和双仿射变换，能够有效利用句子中潜在的关系去提取出每个关系对应的实体，使模型可以一次性提取出句子中的所有三元组，为知识图谱的构建工作提供了良好的支撑。
[0063]
实施例2
[0064]
基于本发明实施例1提出的基于潜在关系预测的双仿射重叠关系抽取方法。本发明实施例2还提出了基于潜在关系预测的双仿射重叠关系抽取系统，该系统包括预处理模块、标记模块和训练抽取模块；
[0065]
预处理模块用于将用于重叠关系抽取的句子预处理为索引的形式；将每个句子中的单词转换为索引后的长度，生成初始值为零的三维目标矩阵；
[0066]
标记模块用于通过对句子中每个词与其自身以及前面的每个词和后面的每个词均进行一次握手配对以标记所述三维目标矩阵；
[0067]
训练抽取模块用于将索引形式的句子和标记后的三维目标矩阵输入至bert模型进行微调训练，得到含有潜在关系的隐藏层向量；对所述隐藏层向量进行线性变换得到与所述三维目标矩阵具有相同形状的矩阵；训练完成并验证后得到最终的bert模型；采用所述最终的bert模型实现双仿射重叠关系抽取。
[0068]
预处理模块实现的过程为：采用分词器将用于重叠关系抽取的句子转换为索引的形式。
[0069]
三维目标矩阵为[最大句子长度*最大句子长度*(关系类别数 4)]。
[0070]
标记模块实现的过程包括：
[0071]
如果三元组中的主体实体在前，客体实体在后，则对目标矩阵的上三角部分进行后面的标记操作；如果三元组中的客体实体在前，主体实体在后，则对目标矩阵的下三角部分进行后面的标记操作。
[0072]
如果三元组中的主体实体在前，客体实体在后，则对目标矩阵的上三角部分进行后面的标记操作具体包括：
[0073]
如果配对的两个词是三元组中主体实体的头和客体实体的头，则将目标矩阵的第三维的最后一个位置标记为1，且将主体实体和客体实体对应的关系类别在第三维的相应位置标记为1；
[0074]
如果配对的两个词是三元组中的主体实体的头和客体实体的尾，将目标矩阵的第三维的倒数第二个位置标记为1，且将主体实体和客体实体对应的关系类别在第三维的相应位置标记为1；
[0075]
如果配对的两个词是三元组中的主体实体的尾和客体实体的头，将目标矩阵的第三维的倒数第三个位置标记为1，且将主体实体和客体实体对应的关系类别在第三维的相应位置标记为1；
[0076]
如果配对的两个词是三元组中的主体实体的尾和客体实体的尾，将目标矩阵的第三维的倒数第四个位置标记为1，且将主体实体和客体实体对应的关系类别在第三维的相应位置标记为1。
[0077]
如果三元组中的客体实体在前，主体实体在后，则对目标矩阵的下三角部分进行后面的标记操作具体包括：
[0078]
如果配对的两个词是三元组中客体实体的头和主体实体的头，则将目标矩阵的第三维的最后一个位置标记为1，且将客体实体和主体实体对应的关系类别在第三维的相应位置标记为1；
[0079]
如果配对的两个词是三元组中的客体实体的头和主体实体的尾，将目标矩阵的第三维的倒数第二个位置标记为1，且将客体实体和主体实体对应的关系类别在第三维的相应位置标记为1；
[0080]
如果配对的两个词是三元组中的客体实体的尾和主体实体的头，将目标矩阵的第三维的倒数第三个位置标记为1，且将客体实体和主体实体对应的关系类别在第三维的相应位置标记为1；
[0081]
如果配对的两个词是三元组中的客体实体的尾和主体实体的尾，将目标矩阵的第三维的倒数第四个位置标记为1，且将客体实体和主体实体对应的关系类别在第三维的相应位置标记为1。
[0082]
训练抽取模块实现的过程为：获取bert最后一层的隐藏向量，并利用所述最后一层的隐藏向量对句子先进行潜在关系的预测；
[0083]
得到所述潜在关系之后，对得到的每一种关系进行嵌入编码操作，然后将潜在的关系向量进行相加，然后将所述相加后的潜在的关系向量加到训练过程中bert最后一层的每个词对应的隐藏向量上，得到含有潜在关系的隐藏层向量。
[0084]
对所述隐藏层向量进行线性变换得到与所述三维目标矩阵具有相同形状的矩阵包括：
[0085]
首先使用两个线性变换，分别得到句子中的每个词作为主体实体的向量表示和作为客体实体的向量表示；
[0086]
将所述主体实体的向量表示和客体实体的向量表示分别输入至双仿射模型中得到双仿射模型矩阵；所述双仿射模型矩阵表示为[最大句子长度*最大句子长度*隐藏层大小]；
[0087]
双仿射模型矩阵再经过一次线性变换，采用激活函数激活之后，得到与所述三维目标矩阵具有相同形状的矩阵；所述与所述三维目标矩阵具有相同形状的矩阵表示为[最大句子长度*最大句子长度*(关系类别数 4)]。
[0088]
将测试数据输入至最终的bert模型中，得到最终三维矩阵；所述最终三维矩阵表示为[最大句子长度*最大句子长度*(关系类别数 4)]；
[0089]
对最终三维矩阵上三角部分进行解码，通过使用主体实体头-客体实体头和主体实体尾-客体实体尾以及主体实体头-客体实体尾和主体实体尾-客体实体尾的依存关系即可确定主体实体；使用主体实体头-客体实体头和主体实体头-客体实体尾以及主体实体尾-客体实体头和主体实体尾客体实体尾即可确定客体实体；
[0090]
再通过依存关系上的关系类别索引即可确定主体和客体对应的关系类别；得到正向的《主体，关系，客体》三元组；
[0091]
同样再对矩阵表示的下三角部分进行解码，便可得到反向的《客体，关系，实体》三元组。
[0092]
本发明实施例2提出的基于潜在关系预测的双仿射重叠关系抽取系统，利用句子中的潜在关系信息，提高对句子中三元组实体对识别的准确率。利用双仿射机制，对句子中的每个词分别作为主体和客体的两种情况下进行配对处理形成三维目标矩阵，通过矩阵的上下三角部分可确定主客体之间关系的方向性。三维目标矩阵的第三维将以四种约束条件的形式存在的实体对和关系类别融合到一起然后用多标签分类的方法进行主客体的抽取和关系分类。相对于现有技术中的研究只能一次性从一个句子中提取出一个三元组，本发明实施例2通过潜在的关系预测和双仿射变换，能够有效利用句子中潜在的关系去提取出每个关系对应的实体，使模型可以一次性提取出句子中的所有三元组，为知识图谱的构建工作提供了良好的支撑。
[0093]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本技术实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
[0094]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制。对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的修改或变形。这里无需也无法对所有的实施方式予以穷举。在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。