基于实体与关系聚合图的知识图谱嵌入模型

1.本发明涉及知识图谱嵌入技术领域，特别是涉及一种基于实体与关系聚合图的知识图谱嵌入方法。


背景技术：

2.知识图谱嵌入(knowledge graph embedding，kge)旨在将知识图谱(knowledge graph，kg)中的知识(实体及关系)嵌入到低维连续的向量空间中。这些嵌入向量能够在保持较低维度的情况下，实现对知识图谱的拓扑结构信息的建模。知识图谱嵌入可被用于知识图谱补全、情感分析、推荐系统等任务中。知识图谱嵌入可分为基于平移距离模型、基于语义匹配模型、基于旋转距离模型、基于神经网络及基于图神经网络的模型等。由于知识图谱本身是一种图结构的数据，天然地适合采用图神经网络建模。因此近年来，基于图神经网络的知识图谱嵌入模型得到了广泛关注，并取得了较好效果。这类模型能够利用图神经网络的消息传递机制，将知识图谱中的知识信息进行扩散，提高实体和关系之间的信息交互能力，使得所生成的嵌入能够捕获足够多的信息。
3.然而，现有大多数基于图神经网络的知识图谱嵌入模型往往关注于利用图神经网络对实体进行建模，对于关系仍然采用矩阵乘法等较为直接的方式建模。这就导致关系嵌入不能有效地捕捉到实体与其他关系的信息。
4.因此，如何将对实体嵌入的图神经网络的消息传递机制扩展到关系嵌入当中，成为亟需研究的问题。


技术实现要素：

5.本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于实体与关系聚合图的知识图谱嵌入方法，将仅针对实体的图神经网络的消息传递机制扩展到同时对实体和关系中来，通过包含有实体聚合子层与关系聚合子层的图神经网络层，分别利用消息传递机制对实体和关系进行更新；提出了实体-关系复合运算以及实体-实体复合运算，分别应用在上述两个子层中，以对邻接点的消息进行建模。
6.为实现本发明的目的所采用的技术方案是：
7.一种基于实体与关系聚合图的知识图谱嵌入方法，是将知识图谱中的实体和关系均视为图神经网络中的节点，均采用图神经网络的消息传递机制进行更新；采用编码器-解码器架构实现端到端的训练；实体与关系聚合图神经网络层作为模型的编码器，利用图神经网络的消息传递机制来捕获实体与关系之间的交互信息，生成实体和关系的嵌入向量并进行更新；解码器以实体和关系的嵌入向量为输入，计算得到三元组的评分值作为输出。
8.其中，实体与关系聚合图神经网络层包括实体聚合子层与关系聚合子层，分别用于更新实体与关系的嵌入向量；
9.其中，实体聚合子层将所有实体视为图中的节点，采用实体-关系复合运算对实体节点的邻接点的消息进行建模，使用实体-关系复合运算，得到所有实体节点的邻接点消
息，随后对中心实体节点的邻接点消息乘上相应的权重矩阵，然后进行聚合运算，便得到更新后的实体节点的嵌入向量；
10.关系聚合子层将所有的关系视为图中的节点，采用实体-实体复合运算对关系节点的邻接点的消息进行建模，使用实体-实体复合运算，得到所有关系节点的邻接点的消息，然后对中心关系节点的邻接点消息乘上相应的权重矩阵，随后进行聚合运算，并更新关系节点的嵌入向量。
11.其中，所述关系聚合子层与实体聚合子层共享权重矩阵，以实现加强实体和关系更新阶段的信息交互能力。
12.本发明提出的基于实体与关系聚合图的知识图谱嵌入方法，除了将图神经网络的消息传递机制用于实体节点的更新，还将关系视为图中的节点，同样采用消息传递机制进行更新。通过此方式，能够加强实体和关系之间的信息交互。
13.本发明提出实体聚合子层对实体嵌入进行更新，采用实体-关系复合运算对实体节点的邻接点消息进行建模；接着提出关系聚合子层对关系嵌入进行更新，采用实体-实体复合运算对关系节点的邻接点消息进行建模。
14.本发明还进一步的通过设置共享的权重矩阵，加强实体聚合子层和关系聚合子层之间的信息交互。
15.在知识图谱补全任务中的多个基准数据集上的实验表明，本发明在链路预测任务上取得了较好的性能。
附图说明
16.图1是本发明基于实体与关系聚合图的知识图谱嵌入模型整体架构图。
17.图2是本发明实体聚合子层示意图。
18.图3是本发明关系聚合子层示意图。
具体实施方式
19.以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
20.如图1所示，本发明实施例的基于实体与关系聚合图的知识图谱嵌入方法，基于实体与关系聚合图的知识图谱嵌入模型实现，是将知识图谱中的实体和关系均视为图神经网络中的节点，均采用图神经网络的消息传递机制进行更新。所谓消息传递机制，是指聚合中心节点的邻接点的消息，对中心节点进行更新。
21.本发明提出的嵌入方法采用编码器-解码器架构实现端到端的训练；实体与关系聚合图神经网络层作为模型的编码器，包括实体聚合子层与关系聚合子层，生成实体和关系的嵌入向量，解码器以实体和关系嵌入向量为输入，计算得到三元组的评分值为输出。为了便于描述，定义三元组(h,r,t)的嵌入向量分别为eh、er、e
t
。整体模型结构如图1所示，下面，结合图1至图3，按步骤进行说明。
22.步骤1.实体与关系聚合图神经网络层。
23.该层作为关系预测模型的编码器(encoder)，将实体与关系均视为图神经网络中的节点，充分利用图神经网络的消息传递机制来捕获实体与关系之间的交互信息，进而生
成实体和关系的嵌入向量。
24.该网络包括实体聚合子层与关系聚合子层，分别用于更新实体与关系的嵌入向量。实体聚合子层采用实体-关系复合运算对实体节点的邻接点的消息进行建模，关系聚合子层采用实体-实体复合运算对关系节点的邻接点的消息进行建模。
25.步骤2.解码器(decoder)及评分函数。
26.步骤2中，采用interacte模型对步骤1中得到的实体和关系嵌入向量进行三元组评分，并依此计算当前训练批的损失值，利用神经网络的反向传播机制，更新步骤1实体与关系聚合图神经网络层中的训练参数。
27.进一步地，步骤1中，所述实体与关系聚合图神经网络层中的实体聚合子层与关系聚合子层具体是：
28.步骤1.1.实体聚合子层。实体聚合子层中，将所有实体视为图中的节点。进而使用实体-关系复合运算，得到所有实体节点的邻接点消息。随后对中心实体节点的邻接点消息乘上相应权重矩阵，然后进行聚合运算，便得到更新后的实体节点的嵌入向量。实体聚合子层如图2所示。
29.上述实体节点的更新过程可以形式化为：
[0030][0031]
上式中，w
λ(r)
为关系类型特定的权重矩阵，表示中心头实体节点h的邻接点，agg(
·
)表示消息聚合运算，φ
er
(
·
)表示实体-关系复合运算，用于对头实体节点的邻接点的消息进行建模，表示更新前邻接尾实体节点及邻接关系节点的嵌入向量，表示更新后的中心头实体节点嵌入向量。
[0032]
每个三元组(h,r,t)中包含头实体h，关系r以及尾实体t。值得注意的是，在由全体三元组所形成的图中，实体与关系分别被称为实体节点和关系节点。由头尾实体的相对性，每个原始三元组中的头实体均是其逆关系三元组的尾实体，因此通过对所有头实体节点的更新便实现了对所有实体节点的更新。
[0033]
步骤1.2.关系聚合子层。在关系聚合子层，将所有的关系视为图中的节点。使用实体-实体复合运算，得到所有关系节点的邻接点的消息。在此基础上，对中心关系节点的邻接点消息乘上相应的权重矩阵，随后进行聚合运算，并更新关系节点的嵌入向量。关系聚合子层如图3所示。
[0034]
上述关系节点的更新过程可以形式化为：
[0035][0036]
上式中，表示中心关系节点r的邻接点，φ
ee
(
·
)表示实体-实体复合运算，用于对中心关系节点的邻接点的消息进行建模，表示更新前邻接头、尾实体节点的嵌入向量，表示更新后的中心关系节点嵌入向量。
[0037]
在上述步骤1.1和步骤1.2中，本发明采用共享权重矩阵的方式，用于加强实体和
关系更新阶段的信息交互能力。
[0038]
在具体实施例中，采用的实体-关系复合运算与实体-实体复合运算均采用cross运算，即：
[0039]
φ
er
(e
t
,er)＝e
t
⊙er
e
t
[0040]
φ
ee
(eh,e
t
)＝eh⊙et
eh[0041]
其中，
⊙
表示元素积。
[0042]
步骤1.3.基于注意力的实体与关系聚合。为了区分不同邻接点对于中心节点的重要程度，采用了注意力机制计算权重值。
[0043]
实体与关系节点的更新过程可以由下式计算：
[0044][0045][0046]
其中，α
t,r
与α
h,t
分别表示实体节点消息与关系节点消息的注意力值。
[0047]
更具体地，α
t,r
与α
h,t
通过对绝对注意力值采用softmax归一化计算：
[0048][0049][0050]
其中，b
t,r
与b
h,t
表示绝对注意力值，通过下式进行计算：
[0051][0052][0053]
其中，leakyrelu(
·
)为一种激活函数，w
att
表示注意力参数。
[0054]
图2是本发明实体聚合子层的示意图，下面以对中心头实体节点(如apple inc.，苹果公司)的更新过程，对其更新处理过程说明如下：
[0055]
首先，如步骤1.1中所描述，将邻接尾实体(tsmc，台积电公司)与邻接关系节点(oem，代工)进行实体-关系复合运算，得到相应的邻接点消息。类似地，将邻接尾实体(a15，a15芯片)与邻接关系节点(design，设计)进行实体-关系复合运算，同样得到相应的邻接点消息。随后使用步骤1.1中的实体节点更新公式，将上述过程得到的邻接点消息聚合后，对中心头实体节点(apple inc.)进行更新。进一步地，为了区分不同邻接点消息的权重，本发明使用步骤1.3中的基于注意力的实体节点消息聚合与更新公式对(apple inc.)进行更新。
[0056]
图3是本发明关系聚合子层的示意图。下面以对中心关系节点(manufacture，制造)的更新过程，对其更新处理过程说明如下：
[0057]
首先，如步骤1.2中所描述，将邻接头实体(tsmc，台积电公司)与邻接尾实体(a15，
a15芯片)进行实体-实体复合运算，得到相应的邻接点消息。类似地，将邻接头实体(foxconn，富士康公司)与邻接尾实体(iphone 13)进行实体-实体复合运算，同样得到相应的邻接点消息。随后使用步骤1.2中的关系节点更新公式，将上述过程得到的邻接点消息聚合后，对中心关系节点(manufacture)进行更新。进一步地，为了区分不同邻接点消息的权重，本发明使用步骤1.3中的基于注意力关系节点消息聚合与更新公式对(manufacture)进行更新。
[0058]
更具体地，步骤2包括如下步骤：
[0059]
步骤2.1解码器(decoder)。在具体实例中，采用interacte作为解码器，对步骤1中的编码器的实体和关系嵌入进行解码，并输出三元组的评分值(scores)。
[0060]
步骤2.2损失函数。对于单个三元组(h,r,t)，使用解码器可以得到其评分值s。在此基础上，模型的损失值计算如下：
[0061][0062]
其中，ti表示第i个三元组的标签，si表示第i个三元组的评分，n表示训练批次大小。
[0063]
通过上述步骤后，即可实现对于知识图谱嵌入模型的构建与训练，训练完成后利用该模型进行知识图谱的嵌入处理测试。
[0064]
为了验证模型学习到的有效性，在两个通用知识图谱基准测试数据集上进行了链路预测实验。此外，还进一步分析了模型对不同性质的关系的建模能力。
[0065][0066]
表1
[0067]
表1展示了在fb15k-237数据集上模型的整体性能。
[0068]
整体上，本发明模型在5个指标上取得了3个最佳结果。相比于非图神经网络的最优模型interacte，本模型的mrr相对提升了3.7％，hits@1相对提升了4.7％以及hits@10相对提升了2.9％。而相比于图神经网络的最优模型ragat，在5个指标上均取得了一定的提升。
[0069][0070]
表2
[0071]
表2展示了在wn18rr数据集上模型的整体性能。整体而言，本模型在5个指标上取得了4个最佳结果。相比于非图神经网络的最优模型quate，本模型的mrr相对提升了0.6％，hits@1相对提升了3.3％。而相比于图神经网络的最优模型ragat，本模型在5个指标上同样取得了一定的提升。
[0072][0073]
表3
[0074]
表3展示了在fb15k-237数据集上，不同类型关系的实验结果。本模型在hits@10这
一指标上，大多数类型的关系均取得了最优结果。同时，对于尾实体的预测相比于其他模型来说，优势更大。
[0075][0076]
表4
[0077]
表4展示了在wn18rr数据集上，不同关系的实验结果。本模型在大部分关系上能够取得最佳结果，但是在复杂关系上存在一定的劣势。
[0078]
总体而言，本模型不管在整体性能还是在特定关系上，均能取得较好的性能。以上实验结果验证了本模型的有效性。
[0079]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明；
[0080]
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0081]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。