知识图谱嵌入方法、装置、计算机设备和存储介质与流程

1.本技术涉及人工智能技术领域，特别是涉及一种知识图谱嵌入方法、装置、计算机设备和存储介质。


背景技术：

2.知识图谱中存储了一条知识，描述了现实世界中的一个事实。知识图谱中的知识一般以三元组的形式表示，如(头实体，关系，尾实体)和(实体，属性，值)。实体一般是现实世界中的事物名称、概念名称等等，关系则是对实体与实体之间联系的描述。知识图谱用节点来表示实体，用实体之间的边来表示实体之间的关系。
3.知识图谱嵌入是基于知识图谱的其它应用的重要基础，其目的主要是将构成知识图谱的实体、关系等信息进行向量表示，同时尽量保留它们在知识图谱中的原有特征。
4.目前的技术主要是通过约束头实体向量加上关系向量等于尾实体向量来进行实体、关系嵌入，但由于这种技术对知识图谱的处理过于简单而基本上只学习到了三元组的结构上的特征，导致其存在知识图谱嵌入效果较差的技术问题。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种知识图谱嵌入方法、装置、计算机设备和存储介质。
6.一种知识图谱嵌入方法，所述方法包括：
7.利用预先构建的基础特征提取模型获取知识图谱的实体结构特征和关系特征；所述实体结构特征至少包括头实体结构特征和尾实体结构特征；
8.获取所述知识图谱的实体描述文本，利用预先构建的语义特征提取模型对所述实体描述文本进行处理得到实体语义特征；所述实体语义特征至少包括头实体语义特征和尾实体语义特征；
9.利用所述头实体结构特征、尾实体结构特征、关系特征、实体语义特征和尾实体语义特征进行知识图谱嵌入。
10.一种知识图谱嵌入装置，包括：
11.第一特征提取模块，用于利用预先构建的基础特征提取模型获取知识图谱的实体结构特征和关系特征；所述实体结构特征至少包括头实体结构特征和尾实体结构特征；
12.第二特征提取模块，用于获取所述知识图谱的实体描述文本，利用预先构建的语义特征提取模型对所述实体描述文本进行处理得到实体语义特征；所述实体语义特征至少包括头实体语义特征和尾实体语义特征；
13.嵌入处理模块，用于利用所述头实体结构特征、尾实体结构特征、关系特征、实体语义特征和尾实体语义特征进行知识图谱嵌入。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
15.利用预先构建的基础特征提取模型获取知识图谱的实体结构特征和关系特征；所述实体结构特征至少包括头实体结构特征和尾实体结构特征；获取所述知识图谱的实体描述文本，利用预先构建的语义特征提取模型对所述实体描述文本进行处理得到实体语义特征；所述实体语义特征至少包括头实体语义特征和尾实体语义特征；利用所述头实体结构特征、尾实体结构特征、关系特征、实体语义特征和尾实体语义特征进行知识图谱嵌入。
16.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
17.利用预先构建的基础特征提取模型获取知识图谱的实体结构特征和关系特征；所述实体结构特征至少包括头实体结构特征和尾实体结构特征；获取所述知识图谱的实体描述文本，利用预先构建的语义特征提取模型对所述实体描述文本进行处理得到实体语义特征；所述实体语义特征至少包括头实体语义特征和尾实体语义特征；利用所述头实体结构特征、尾实体结构特征、关系特征、实体语义特征和尾实体语义特征进行知识图谱嵌入。
18.上述知识图谱嵌入方法、装置、计算机设备和存储介质，利用预先构建的基础特征提取模型获取知识图谱的实体结构特征和关系特征，该实体结构特征至少包括头实体结构特征和尾实体结构特征，以及获取知识图谱的实体描述文本并利用预先构建的语义特征提取模型对实体描述文本进行处理得到实体语义特征，该实体语义特征至少包括头实体语义特征和尾实体语义特征，利用该头实体结构特征、尾实体结构特征、关系特征、实体语义特征和尾实体语义特征进行知识图谱嵌入。该方案综合考虑了知识图谱的关系和实体的语义，使用基础特征提取模型来进行关系和实体结构特征提取，用语义特征提取模型来进行实体语义特征的提取，从而整体提高知识图谱嵌入效果。
附图说明
19.图1为一个实施例中知识图谱嵌入方法的流程示意图；
20.图2为一个实施例中知识图谱嵌入装置的结构框图；
21.图3为一个实施例中计算机设备的内部结构图。
具体实施方式
22.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
23.本技术提供的知识图谱嵌入方法，可以由终端或服务器等计算机设备来执行。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
24.在一个实施例中，如图1所示，提供了一种知识图谱嵌入方法，该方法可以包括以下步骤：
25.步骤s101，利用预先构建的基础特征提取模型获取知识图谱的实体结构特征和关系特征；
26.本步骤主要是利用预先构建的基础特征提取模型提取知识图谱的实体结构特征和关系特征，该实体结构特征至少包括头实体结构特征和尾实体结构特征，在一些实施例
中，可以采用transd模型作为基础特征提取模型提取知识图谱的实体结构特征和关系特征。具体的，本步骤是利用预先构建的基础特征提取模型初始化知识图谱的实体与关系，给定知识图谱的一个三元组(h,r,t)，基础特征提取模型可获取其头实体结构特征、关系特征和尾实体结构特征分别为对于包含n1个实体和n2个关系的知识图谱，基础特征提取模型提取得到的头实体结构特征、关系特征和尾实体结构特征分别为和其中，n与m分别表示实体与关系的特征维数。
27.步骤s102，获取知识图谱的实体描述文本，利用预先构建的语义特征提取模型对该实体描述文本进行处理得到实体语义特征，该实体语义特征至少包括头实体语义特征和尾实体语义特征；
28.本步骤主要是利用预先构建的语义特征提取模型获取实体语义特征。具体的，知识图谱中除了以三元组的形式表示两个实体间的关系外，还包含还对实体的文字描述即实体描述文本，本步骤先获取该知识图谱的实体描述文本，再利用预先构建的语义特征提取模型从实体描述文本中提取实体语义特征，该实体语义特征包括头实体语义特征和尾实体语义特征。
29.在一些实施例中，步骤s102中的利用预先构建的语义特征提取模型对实体描述文本进行处理得到实体语义特征，具体包括：
30.将实体描述文本进行分词并进行词向量表示，得到实体描述文本对应的第一词向量序列；将第一词向量序列输入至语义特征提取模型，以使语义特征提取模型获取第一词向量序列包含的各实体向量分别与其他词向量的语义相关度，并根据语义相关度、各实体向量和其他词向量得到实体描述文本对应的第二词向量序列，根据第二词向量序列得到实体语义特征。
31.具体的，设一实体描述文本进行分词并进行词向量表示之后，得到该实体描述文本对应的词向量序列(即第一词向量序列)为x1,x2,
…
,x
k
，其中第k个位置处是实体描述文本对应的实体向量x
k
。然后将该词向量序列输入至语义特征提取模型，该语义特征提取模型获取第一词向量序列包含的各实体向量分别与其他词向量的语义相关度，然后根据语义相关度、各实体向量和其他词向量得到实体描述文本对应的第二词向量序列g1,g2,
…
,g
k
，根据第二词向量序列得到实体语义特征，包括头实体语义特征和尾实体语义特征
32.在其中一些实施例中，进一步的，语义特征提取模型具体可以包括自注意模型和卷积神经网络，其中，自注意模型可具体用于获取第一词向量序列包含的各实体向量分别与其他词向量的语义相关度，并根据语义相关度、各实体向量和其他词向量得到实体描述文本对应的第二词向量序列；卷积神经网络可具体用于根据自注意模型得到的第二词向量序列获取实体语义特征。
33.本实施例主要是结合自注意机制和卷积神经网络对实体描述文本进行处理以强化实体语义特征的提取。具体的，将第一词向量序列x1,x2,
…
,x
k
输入自注意模型，自注意模型可以得到各实体向量x
k
分别与其他词向量的语义相关度a
i
：
34.score(x
k
,x
i
)＝v
t
tanh(w[x
k
:x
i
]),
[0035][0036]
其中，[x
k
:x
i
]表示矩阵的拼接，w和v分别是第一层和第二层的神经网络的参数，tanh表示激活函数。接着将经过自注意模型的attention处理之后的该实体描述文本的表示向量记作g
k
，该g
k
的计算过程为：
[0037]
g
k
＝x
k
∑
i≠k
a
i
x
i
[0038]
该计算过程体现了自注意模型根据语义相关度a
i
、各实体向量x
k
和其他词向量x
i
得到实体描述文本对应的第二词向量序列g1,g2,
…
,g
k
。然后，针对自注意模型学习到的第二词向量序列g1,g2,
…
,g
k
，输入卷积神经网络得到实体的语义特征，即头实体语义特征和尾实体语义特征
[0039]
步骤s103，利用头实体结构特征、尾实体结构特征、关系特征、实体语义特征和尾实体语义特征进行知识图谱嵌入。
[0040]
本步骤可将头实体结构特征、尾实体结构特征、关系特征、实体语义特征和尾实体语义特征作为知识图谱的实体嵌入特征与关系特征进行知识图谱推理。
[0041]
上述知识图谱嵌入方法，利用预先构建的基础特征提取模型获取知识图谱的实体结构特征和关系特征，该实体结构特征至少包括头实体结构特征和尾实体结构特征，以及获取知识图谱的实体描述文本并利用预先构建的语义特征提取模型对实体描述文本进行处理得到实体语义特征，该实体语义特征至少包括头实体语义特征和尾实体语义特征，利用该头实体结构特征、尾实体结构特征、关系特征、实体语义特征和尾实体语义特征进行知识图谱嵌入。该方案综合考虑了知识图谱的关系和实体的语义，使用基础特征提取模型来进行关系和实体结构特征提取，用语义特征提取模型来进行实体语义特征的提取，从而整体提高知识图谱嵌入效果。
[0042]
上述基础特征提取模型和语义特征提取模型的训练过程(或称构建过程)将主要通过如下实施例进行说明，为与模型应用阶段的用语进行区分，在模型训练阶段使用“样本”对相关用语进行表述。在一些实施例中，本技术提供的方法还可以包括如下步骤：
[0043]
获取知识图谱样本，将知识图谱样本输入待训练的基础特征提取模型，以使待训练的基础特征提取模型输出头实体结构特征样本、头实体结构映射样本、尾实体结构特征样本、尾实体结构映射样本、关系特征样本和关系映射样本；利用基于头实体结构特征样本、头实体结构映射样本、尾实体结构特征样本、尾实体结构映射样本、关系特征样本和关系映射样本构建的目标函数，训练该待训练的基础特征提取模型。
[0044]
本实施例中，待训练的基础特征提取模型具体可以是transd模型。将知识图谱样本输入待训练的基础特征提取模型，该待训练的基础特征提取模型可以输出：头实体结构特征样本头实体结构映射样本尾实体结构特征样本尾实体结构映射样本关系特征样本与关系映射样本其中，n1表示实体样本的数量，n2表示关系样本的数量，n与m分别表示实体样本与关系样本的特征维数，实体样本与关系样本的映射是用来计算映射矩阵。
[0045]
给定一个三元组样本(h,r,t)，它的头实体结构特征样本、关系特征样本、尾实体
结构特征样本及其映射样本分别可以表示为接着，定义关系矩阵和它们可以将实体从实体空间映射到关系空间。由此，可以得到头实体与尾实体的投影向量h
⊥
,t
⊥
与评分函数f
r
：
[0046][0047]
其中，||h||2≤1,||t||2≤1,||r||2≤1,|h
⊥
|2≤1,|t
⊥
|2≤1。
[0048]
由此，可以通过最小化下面目标函数l1训练该待训练的基础特征提取模型：
[0049]
l1＝∑∑max(γ f
r
(ξ)
‑
f
r
(ξ
′
),0)
[0050]
对该基础特征提取模型的训练可以采用随机梯度下降训练，得到其参数γ。
[0051]
在一个实施例中，进一步的，本技术提供的方案还可以包括如下步骤：获取实体描述文本样本；将实体描述文本样本输入待训练的语义特征提取模型，以使待训练语义特征提取模型输出头实体语义特征样本、头实体语义映射样本、尾实体语义特征样本和尾实体语义映射样本；以及，上述实施例中的利用基于头实体结构特征样本、头实体结构映射样本、尾实体结构特征样本、尾实体结构映射样本、关系特征样本和关系映射样本构建的目标函数，训练该待训练的基础特征提取模型，具体包括：利用基于头实体结构特征样本、头实体结构映射样本、尾实体结构特征样本、尾实体结构映射样本、关系特征样本、关系映射样本、头实体语义特征样本、头实体语义映射样本、尾实体语义特征样本和尾实体语义映射样本构建的目标函数，训练上述待训练的基础特征提取模型以及待训练的语义特征提取模型。
[0052]
本实施例主要是为更好地融入实体的结构和语义特征，构建新的能量函数来对待训练的基础特征提取模型以及待训练的语义特征提取模型进行训练。具体的，获取实体描述文本样本后，可将实体描述文本样本进行分词并进行词向量表示，得到对应的第一词向量序列样本x1,x2,
…
,x
k
，然后可以将该词向量序列样本具体输入至语义特征提取模型中的自注意模型，由自注意模型得到实体向量样本与其他词向量样本的语义相关度样本a
i
：
[0053]
score(x
k
,x
i
)＝v
t
tanh(w[x
k
:x
i
]),
[0054][0055]
接着将经过自注意模型的attention处理之后的该实体描述文本的表示向量样本记为g
k
，类似的，该g
k
的计算过程为：g
k
＝x
k
∑
i≠k
a
i
x
i
。
[0056]
然后，针对自注意模型学习到的第二词向量序列样本g1,g2,
…
,g
k
，设计语义特征提取模型中的面向词向量的卷积神经网络(四层网络：词向量卷积层 池化层与非线性转化层 词向量卷积层 池化层与非线性转化层)，将第二词向量序列样本g1,g2,
…
,g
k
输入卷积神经网络可以得到卷积神经网络输出的实体语义特征样本，包括：头实体语义特征样本头实体语义映射样本尾实体语义特征样本和尾实体语义映射样本其中，卷积神经网络的四层网络的网络架构可以是一样
的，但它们各自的权重随机初始化不同而各层网络的权重(net1、net2、net3与net4)将在模型训练过程中得到更新。
[0057]
为了更好的融入实体的结构和语义特征，在得到头实体结构特征样本h、头实体结构映射样本h
p
、尾实体结构特征样本t、尾实体结构映射样本t
p
、头实体语义特征样本h
d
、头实体语义映射样本h
dp
、尾实体语义特征样本t
d
、尾实体语义映射样本t
dp
、关系特征样本r与关系映射样本r
p
的基础上设置新的能量函数：
[0058][0059]
其中，是关系矩阵，将实体从实体空间映射到关系空间。由此，可以得到新的三元组(h,r,t)上的评分函数f
r
‑
new
：
[0060][0061]
其中，由此，通过最小化下面目标函数l2对待训练的基础特征提取模型以及待训练的语义特征提取模型进行训练：
[0062][0063]
其中，对该基础特征提取模型和语义特征提取模型的训练可以采用随机梯度下降训练，从而得到其参数γ和各层网络的权重(net1、net2、net3与net4)。
[0064]
为进一步提升模型训练效果，在一些实施例中，上述实施例中的获取知识图谱样本具体包括：获取知识图谱正样本；将知识图谱正样本中的三元组中的任一元素进行随机替换处理，构建知识图谱负样本；将知识图谱正样本和知识图谱负样本作为知识图谱样本。
[0065]
本实施例中，获取知识图谱正样本集合δ＝(h
i
,r
i
,t
i
),(i＝1,2,
…
,n
t
)用于训练模型，然后在此基础上构建负样本集合δ
′
，即不存在的三元组。在负样本集合δ
′
的构建过程中，通过对知识图谱正样本中的存在的三元组(h
j
,r
j
,t
j
)∈δ中随机替换h
j
,r
j
,t
j
中的任一元素，得到不存在的三元组以此构建出知识图谱负样本集合δ
′
。最后将知识图谱正样本和负样本一并作为知识图谱样本对模型进行训练。
[0066]
在整体上，本技术提供的知识图谱嵌入方法能综合考虑关系和实体的语义，可使用transd模型来进行关系和实体的结构特征提取以及使用自注意力机制和卷积神经网络来进行实体的语义特征的提取，从而在进行三元组嵌入过程中同时融入实体的语义信息以弥补trans系列的语义信息特征提取能力不强的缺陷并尽可能降低模型的复杂度，还设计了新的能量函数来整合实体语义特征与结构特征，进而改善整体的知识图谱嵌入效果。
[0067]
应该理解的是，虽然如上流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，
而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0068]
在一个实施例中，如图2所示，提供了一种知识图谱嵌入装置，该装置200可以包括：
[0069]
第一特征提取模块201，用于利用预先构建的基础特征提取模型获取知识图谱的实体结构特征和关系特征；所述实体结构特征至少包括头实体结构特征和尾实体结构特征；
[0070]
第二特征提取模块202，用于获取所述知识图谱的实体描述文本，利用预先构建的语义特征提取模型对所述实体描述文本进行处理得到实体语义特征；所述实体语义特征至少包括头实体语义特征和尾实体语义特征；
[0071]
嵌入处理模块203，用于利用所述头实体结构特征、尾实体结构特征、关系特征、实体语义特征和尾实体语义特征进行知识图谱嵌入。
[0072]
在一个实施例中，第二特征提取模块202，用于将所述实体描述文本进行分词并进行词向量表示，得到所述实体描述文本对应的第一词向量序列；将所述第一词向量序列输入至所述语义特征提取模型，以使所述语义特征提取模型获取所述第一词向量序列包含的各实体向量分别与其他词向量的语义相关度，并根据所述语义相关度、各实体向量和其他词向量得到所述实体描述文本对应的第二词向量序列，根据所述第二词向量序列得到所述实体语义特征。
[0073]
在一个实施例中，所述语义特征提取模型包括自注意模型和卷积神经网络；其中，所述自注意模型，用于获取所述第一词向量序列包含的各实体向量分别与其他词向量的语义相关度，并根据所述语义相关度、各实体向量和其他词向量得到所述实体描述文本对应的第二词向量序列；所述卷积神经网络，用于根据所述自注意模型得到的所述第二词向量序列获取所述实体语义特征。
[0074]
在一个实施例中，所述基础特征提取模型为transd模型。
[0075]
在一个实施例中，该装置200还可以包括：模型训练模块，用于获取知识图谱样本；将所述知识图谱样本输入待训练的基础特征提取模型，以使所述待训练的基础特征提取模型输出头实体结构特征样本、头实体结构映射样本、尾实体结构特征样本、尾实体结构映射样本、关系特征样本和关系映射样本；利用基于所述头实体结构特征样本、头实体结构映射样本、尾实体结构特征样本、尾实体结构映射样本、关系特征样本和关系映射样本构建的目标函数，训练所述待训练的基础特征提取模型。
[0076]
在一个实施例中，模型训练模块，还用于获取实体描述文本样本；将所述实体描述文本样本输入待训练的语义特征提取模型，以使所述待训练的语义特征提取模型输出头实体语义特征样本、头实体语义映射样本、尾实体语义特征样本和尾实体语义映射样本；利用基于所述头实体结构特征样本、头实体结构映射样本、尾实体结构特征样本、尾实体结构映射样本、关系特征样本、关系映射样本、头实体语义特征样本、头实体语义映射样本、尾实体语义特征样本和尾实体语义映射样本构建的目标函数，训练所述待训练的基础特征提取模型以及所述待训练的语义特征提取模型。
[0077]
在一个实施例中，模型训练模块，进一步用于获取知识图谱正样本；将所述知识图谱正样本中的三元组中的任一元素进行随机替换处理，构建知识图谱负样本；将所述知识图谱正样本和知识图谱负样本作为所述知识图谱样本。
[0078]
关于知识图谱嵌入装置的具体限定可以参见上文中对于知识图谱嵌入方法的限定，在此不再赘述。上述知识图谱嵌入装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0079]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储知识图谱、实体描述文本、实体结构特征、关系特征和实体语义特征等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种知识图谱嵌入方法。
[0080]
本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0081]
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0082]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0083]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read
‑
only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic randomaccess memory，dram)等。
[0084]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0085]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。