知识嵌入方法

1.本技术属于知识图谱技术领域，尤其涉及一种知识嵌入方法。


背景技术：

2.2012年谷歌公司正式提出知识图谱的概念，并成功应用于搜索领域，至此之后知识图谱开始被广泛地关注，逐渐成为人工智能领域重要的研究内容，目前在数据挖掘、问答系统等领域有了广泛应用。而知识图谱在各个领域的应用中都包含不可或缺的一步：知识嵌入，即如何将知识转换成数学形式表达，以便于后续任务的推进，因此如何进行有效的知识嵌入是知识图谱应用的关键。
3.传统的知识嵌入方法主要是基于独热表示，通过为每一个实体和关系分配独热编码向量，同时设计相应的算法计算实体间的联系从而能够进行推理操作。但是采用独热编码不仅有数据稀疏的问题，而且在大规模知识图谱上，其对内存需求也是巨大的。
4.后续的知识表示学习，旨在将实体和关系嵌入到低维向量空间中，该方式不仅极大的节省空间，且数据间的联系可通过向量空间的部分特性(如距离等) 来反应，解决了传统独热编码的数据稀疏问题。
5.典型的知识图谱表示学习方法包括以transe为代表的平移模型以及以 rotatee为代表的旋转模型，其中平移模型将关系看作实体间的翻译操作，主要通过向量的加法操作，对头实体进行平移，使得头实体与尾实体间的距离缩小；旋转模型将关系表示成旋转量，即头实体通过关系进行旋转后，与尾实体间的距离缩小。平移模型侧重于提取知识图谱三元组中实体的聚类特征，旋转模型侧重于提取实体的层次特征。
6.在大多数知识图谱中聚类和层次两种特征同时存在，但目前在基于聚类特征或者层次特征完成知识嵌入时，知识图谱的链接预测准确率低。


技术实现要素：

7.本技术实施例提供了一种知识嵌入方法，可以解决知识图谱的链接预测准确率低的问题。
8.本技术实施例提供了一种知识嵌入方法，包括：
9.分别针对知识图谱中的每一三元组(h，c，t)，提取三元组(h，c，t)中实体间的聚类特征和层次特征，并利用三元组(h，c，t)中(h，c，t)的出现频次和(h，t)的出现频次，对聚类特征和层次特征进行频次增强处理，得到频次增强后的聚类特征和层次特征；其中，h表示三元组中的头实体，t表示三元组中的尾实体， c表示三元组中的关系；
10.分别针对每一三元组(h，c，t)，将三元组(h，c，t)对应的聚类特征、层次特征、频次增强后的聚类特征和层次特征均转换为三元组(h，c，t)的评分值，并对三元组(h，c，t)的所有评分值进行加权求和，得到频次增强融合模型；
11.分别针对每一三元组(h，c，t)，对三元组(h，c，t)对应的频次增强融合模型进行训练，并将训练后的频次增强融合模型中的实体和关系的嵌入向量组作为知识图谱的知识表
示嵌入结果；
12.实体的嵌入向量组包括实体的聚类特征向量、层次特征向量和频次特征向量，关系的嵌入向量组包括关系的聚类特征向量、关系门控向量、层次特征向量和频次特征向量。
13.可选的，提取三元组(h，c，t)中实体间的聚类特征，包括：
14.获取三元组对应的头实体h的聚类特征向量三元组对应的尾实体t的聚类特征向量以及三元组对应的关系c的聚类特征向量和关系门控向量
15.通过聚类特征提取模型提取三元组中实体间的聚类特征；
16.其中，聚类特征提取模型为：
[0017]vt
表示三元组中实体间的聚类特征。
[0018]
可选的，对聚类特征和层次特征进行频次增强处理，得到频次增强后的聚类特征和层次特征，包括：
[0019]
获取三元组(h，c，t)对应的头实体h的(h，c，t)频次特征向量三元组 (h，c，t)对应的尾实体t的(h，c，t)频次特征向量以及三元组(h，c，t)对应的关系c的(h，c，t)频次特征向量
[0020]
构建(h，c，t)频次特征提取模型；(h，c，t)频次特征提取模型为：
[0021]
获取三元组(h，c，t)对应的头实体h的(h，t)频次特征向量以及三元组 (h，c，t)对应的尾实体t的(h，t)频次特征向量
[0022]
构建(h，t)频次特征提取模型；(h，t)频次特征提取模型为：
[0023]
通过公式和公式对三元组 (h，c，t)中实体间的聚类特征v
t
进行频次增强处理，得到频次增强后的聚类特征；和均表示频次增强后的聚类特征；
[0024]
通过公式和公式对三元组 (h，c，t)中实体间的层次特征vr进行频次增强处理，得到频次增强后的层次特征；和均表示频次增强后的层次特征。
[0025]
可选的，将三元组(h，c，t)对应的聚类特征、层次特征、频次增强后的聚类特征和层次特征均转换为三元组(h，c，t)的评分值，包括：
[0026]
通过公式将三元组(h，c，t)对应的聚类特征v
t
、层次特
征vr、频次增强后的聚类特征和频次增强后的层次特征和均转换为三元组(h，c，t)的评分值；
[0027]
其中，ek表示vk对应的评分值，k＝t，r，f1，f2，f3，f4，[vk]i表示vk的第i维向量，n表示vk的向量维数，pk、qk均为敏感系数。
[0028]
可选的，对三元组(h，c，t)的所有评分值进行加权求和，得到频次增强融合模型，包括：
[0029]
通过公式对三元组(h，c，t)的所有评分值进行加权求和，得到频次增强融合模型；
[0030]
其中，e1表示频次增强融合模型，λ1、λ2、λ3均为权重系数，β为选择系数。
[0031]
可选的，对三元组(h，c，t)对应的频次增强融合模型进行训练，包括：
[0032]
将三元组(h，c，t)作为正样本；
[0033]
将三元组(h，c，t)中的实体随机替换成其他实体，得到n组负样本；其中， n为整数，且5≤n≤10；
[0034]
利用正样本和n组负样本，对频次增强融合模型进行训练，得到训练后的频次增强融合模型。
[0035]
可选的，在对三元组(h，c，t)对应的频次增强融合模型进行训练之后，方法还包括：
[0036]
根据bert模型词库中的词汇对三元组(h，c，t)中的实体和关系进行分词处理，对分词处理后的三元组(h，c，t)进行编码，得到三元组(h，c，t)的整体语义信息向量；
[0037]
将三元组(h，c，t)的整体语义信息向量输入样本检测神经网络，并将样本检测神经网络输出的概率值作为三元组(h，c，t)的语义特征；
[0038]
对训练后的频次增强融合模型和语义特征进行加权求和，得到知识嵌入模型；
[0039]
对知识嵌入模型进行训练，并将训练后的知识嵌入模型中的实体和关系的嵌入向量组作为知识图谱的知识表示嵌入结果；
[0040]
其中，实体的嵌入向量组还包括从bert模型词库中确定出的词汇向量，关系的嵌入向量组还包括从bert模型词库中确定出的词汇向量。
[0041]
可选的，分词处理后的三元组(h，c，t)的头实体的分词序列为：分词处理后的三元组(h，c，t)的尾实体的分词序列为：分词处理后的三元组(h，c，t)的关系的分词序列为：
[0042]
其中，hz头实体分词后的第z个单词，z＝1，
…
，l1，l1表示头实体分词后的总单词数，tz′
表示尾实体分词后的第z
′
个单词，z
′
＝1，
…
，l2，l2表示尾实体分词后的总单词数，cz″
表示关系分词后的第z
″
个单词，z
″
＝1，
…
，l3，l3表示关系分词后的总单词数。
[0043]
可选的，对分词处理后的三元组(h，c，t)进行编码，得到三元组(h，c，t)的整体语义信息向量，包括：
[0044]
通过公式对三
元组(h，c，t)的头实体和关系的分词序列进行编码；其中，x表示编码后的序列， x
cls
表示一个句子的起始标志位，x
sep
表示相邻两个句子的分割符；
[0045]
通过公式对三元组(h，c，t)的尾实体的分词序列进行编码；其中，y表示编码后的序列，y
cls
表示一个句子的起始标志位，y
sep
表示相邻两个句子的分割符；
[0046]
从bert模型词库中获取序列x对应的词汇向量，以及序列y对应的词汇向量；其中，x
cls
对应的词汇向量表示三元组(h，c，t)的头实体和关系的整体语义信息，y
cls
对应的词汇向量表示三元组(h，c，t)的尾实体的整体语义信息；
[0047]
对x
cls
对应的词汇向量和y
cls
对应的词汇向量进行拼接处理，得到三元组 (h，c，t)的整体语义信息向量。
[0048]
可选的，对训练后的频次增强融合模型和语义特征进行加权求和，得到知识嵌入模型，包括：
[0049]
通过公式e＝λ4e1 λ5e
bert
对训练后的频次增强融合模型和语义特征进行加权求和，得到知识嵌入模型；
[0050]
其中，e表示知识嵌入模型，e
bert
为语义特征，λ4和λ5均为加权系数。
[0051]
本技术的上述方案有如下的有益效果：
[0052]
在本技术的实施例中，通过针对知识图谱中的每一三元组，利用三元组中 (h，c，t)和(h，t)的出现频次，对该三元组的实体间的聚类特征和层次特征聚类特征进行频次增强处理，得到频次增强后的聚类特征和层次特征，并基于频次增强前后的聚类特征和层次特征，得到该三元组对应的频次增强融合模型，最终对该频次增强融合模型进行训练，并将训练后的频次增强融合模型中的实体和关系的嵌入向量组作为知识图谱的知识表示嵌入结果，实现知识图谱的知识嵌入。其中由于频次增强融合模型是基于(h，c，t)和(h，t)的出现频次构建的，从而使得频次增强融合模型融合了(h，c，t)和(h，t)出现频次高低的特点，进而使得在对频次增强融合模型进行训练时，训练集数据中(h，c，t)和(h，t)的出现频次可作为先验概率指导推理实体间的关系，达到提升知识图谱的链接预测准确率的效果。
[0053]
本技术的其它有益效果将在随后的具体实施方式部分予以详细说明。
附图说明
[0054]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0055]
图1为本技术一实施例提供的知识嵌入方法的流程图；
[0056]
图2为本技术一实施例提供的语义特征的获取框架图；
[0057]
图3为本技术一实施例提供的知识嵌入模型的整体框架图。
具体实施方式
[0058]
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具
体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
[0059]
应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0060]
还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0061]
如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0062]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0063]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0064]
目前在大多数知识图谱中聚类和层次两种特征同时存在，但在基于聚类特征或者层次特征完成知识嵌入时，知识图谱的链接预测准确率低。
[0065]
针对上述问题，本技术的实施例提供了一种知识嵌入方法，该方法通过针对知识图谱中的每一三元组，利用三元组中(h，c，t)和(h，t)的出现频次，对该三元组的实体间的聚类特征和层次特征聚类特征进行频次增强处理，得到频次增强后的聚类特征和层次特征，并基于频次增强前后的聚类特征和层次特征，得到该三元组对应的频次增强融合模型，最终对该频次增强融合模型进行训练，并将训练后的频次增强融合模型中的实体和关系的嵌入向量组作为知识图谱的知识表示嵌入结果，实现知识图谱的知识嵌入。其中由于频次增强融合模型是基于(h，c，t)和(h，t)的出现频次构建的，从而使得频次增强融合模型融合了 (h，c，t)和(h，t)出现频次高低的特点，进而使得在对频次增强融合模型进行训练时，训练集数据中(h，c，t)和(h，t)的出现频次可作为先验概率指导推理实体间的关系，达到提升知识图谱的链接预测准确率的效果。
[0066]
下面结合具体实施例对本技术提供的知识嵌入方法进行示例性的说明。
[0067]
本技术实施例提供了一种知识嵌入方法，该方法可以由终端设备执行，也可以由应用于终端设备中的装置(比如芯片)来执行，下述实施例以该方法由终端设备执行为例。作为一种示例，该终端设备可以是平板，服务器或者笔记本电脑等，本技术实施例对此不做限定。
[0068]
如图1所示，本技术的实施例提供了一种知识嵌入方法，该方法包括如下步骤：
[0069]
步骤11，分别针对知识图谱中的每一三元组(h，c，t)，提取三元组(h，c，t)中实体
间的聚类特征和层次特征，并利用三元组(h，c，t)中(h，c，t)的出现频次和 (h，t)的出现频次，对聚类特征和层次特征进行频次增强处理，得到频次增强后的聚类特征和层次特征。
[0070]
其中，h表示三元组中的头实体，t表示三元组中的尾实体，c表示三元组中的关系。
[0071]
在本技术的一些实施例中，可通过平移模型提取三元组(h，c，t)中实体间的聚类特征，通过旋转模型提取三元组(h，c，t)中实体间的层次特征。
[0072]
需要说明的是，为便于表示三元组中实体间的聚类特征和层次特征，在执行上述步骤11之前，可先从知识图谱的实体集中获取所有实体，并为每一个实体定义如下向量：聚类特征向量e1、层次特征向量e2、频次特征向量e3和频次特征向量e4。同时从知识图谱的关系集中获取所有关系，并为每一个关系定义如下向量：聚类特征向量r1、关系门控向量rb、层次特征向量r2和频次特征向量r3。
[0073]
在本技术的一些实施例中，对于三元组(h，c，t)，头实体h的对应的各向量为尾实体t的对应的各向量为关系c的对应的各向量为其中，实体聚类特征向量以及关系聚类特征向量用于提取三元组的聚类特征；实体层次特征向量以及关系层次特征向量用于提取三元组的聚类特征；实体频次特征向量和关系频次特征向量用于提取对应的三元组(h，c，t)的频次特征；实体频次特征向量(h，c，t)的频次特征；实体频次特征向量用于提取对应的三元组(h，t)的频次特征；关系门控向量用于对实体的聚类特征向量进行过滤，使得过滤后的向量包含与关系c相关联的有用信息。
[0074]
步骤12，分别针对每一三元组(h，c，t)，将三元组(h，c，t)对应的聚类特征、层次特征、频次增强后的聚类特征和层次特征均转换为三元组(h，c，t)的评分值，并对三元组(h，c，t)的所有评分值进行加权求和，得到频次增强融合模型。
[0075]
在本技术的一些实施例中，针对知识图谱中的任一三元组，在得到该三元组对应的频次增强后的聚类特征和层次特征后，可利用转化公式将频次增强前后的聚类特征和层次特征均转化为三元组的评分值，并基于转化后的所有评分值得到频次增强融合模型。
[0076]
值得一提的是，在本技术的一些实施例中，通过在频次增强阶段融合聚类、层次和频次三类特征，不同的特征在增强模型表征能力的同时，还提高了模型的泛化性。
[0077]
步骤13，分别针对每一三元组(h，c，t)，对三元组(h，c，t)对应的频次增强融合模型进行训练，并将训练后的频次增强融合模型中的实体和关系的嵌入向量组作为知识图谱的知识表示嵌入结果。
[0078]
其中，实体的嵌入向量组包括实体的聚类特征向量e1、层次特征向量e2、频次特征向量e3和频次特征向量e4，关系的嵌入向量组包括关系的聚类特征向量r1、关系门控向量rb、层次特征向量r2和频次特征向量r3。
[0079]
可见，在本技术的一些实施例中，通过分别针对知识图谱中的每一三元组，构建该三元组的频次增强融合模型，并对该频次增强融合模型进行训练，得到该三元组对应的知识表示嵌入结果，便可将知识图谱转换成数学形式表达，实现整个知识图谱的知识嵌入。
[0080]
值得一提的是，由于频次增强融合模型是基于(h，c，t)和(h，t)的出现频次构建
的，从而使得频次增强融合模型融合了(h，c，t)和(h，t)出现频次高低的特点，进而使得在对频次增强融合模型进行训练时，训练集数据中(h，c，t)和(h，t) 的出现频次可作为先验概率指导推理实体间的关系，达到提升知识图谱的链接预测准确率的效果。
[0081]
下面结合具体实施例对频次增强融合模型的训练过程进行示例性说明。
[0082]
在本技术的一些实施例中，针对知识图谱中的任一三元组(h，c，t)，对该三元组(h，c，t)对应的频次增强融合模型进行训练的具体实现方式包括如下步骤：
[0083]
首先将三元组(h，c，t)作为正样本；然后将三元组(h，c，t)中的实体随机替换成其他实体(即知识图谱中其他三元组中的实体)，得到n组负样本；其中， n为整数，且5≤n≤10；最后将正样本和n组负样本作为训练集数据，并利用正样本和n组负样本，对频次增强融合模型进行训练，得到训练后的频次增强融合模型。
[0084]
其中，在训练过程中，选用的损失函数l的表达式如下：
[0085][0086]
其中，l表示频次增强融合模型的损失值，sigmoid表示sigmoid函数，此处x＝γ-e1(h，t)，γ表示间隔系数，e1(h，t)为正样本对应的频次增强融合模型，m表示多负采样的加权系数，α表示采样温度系数，f(h
′j，t
′j)表示三元组(h
′j，t
′j)在训练集数据中出现的频次， e1(h
′j，t
′j)表示n组负样本中第j组负样本对应的频次增强融合模型，需要说明的是，e1(h
′j，t
′j)与e1(h，t)的构建过程是一样，因此这里不再赘述e1(h
′j，t
′j)的构建过程。
[0087]
在本技术的一些实施例中，通过利用上述训练集数据和损失函数l对三元组(h，c，t)对应的频次增强融合模型进行训练，调整该三元组中头实体h和尾实体t对应的聚类特征向量e1、层次特征向量e2、频次特征向量e3和频次特征向量e4每一维度的值，以及该三元组中关系c对应的聚类特征向量r1、关系门控向量rb、层次特征向量r2和频次特征向量r3每一维度的值，训练完成后，将训练后的频次增强融合模型中头实体h对应的聚类特征向量e1、层次特征向量e2、频次特征向量e3和频次特征向量e4作为头实体h的嵌入向量组，尾实体t对应的聚类特征向量e1、层次特征向量e2、频次特征向量e3和频次特征向量e4作为尾实体t的嵌入向量组，关系c对应的聚类特征向量r1、关系门控向量rb、层次特征向量r2和频次特征向量r3作为关系c的嵌入向量组。
[0088]
需要说明的是，在实际训练过程中发现，由于测试集中(h，c，t)在训练集数据中的出现频次低，这导致训练集数据提取的频次特征很难对测试集有指导意义，因此考虑额外引入二元的频次特征，以提升对测试集的指导意义。在二元频次特征(h，c)，(h，t)，(c，t)中，主要考虑实体间的直接联系，即选用(h，t)。
[0089]
下面结合具体实施例对提取三元组中实体间的聚类特征进行示例性的说明。
[0090]
在本技术的一些实施例中，可通过构建关系门控平移模型提取三元组中实体间的聚类特征。具体的，提取三元组中实体间的聚类特征的实现方式包括如下步骤：
[0091]
首先获取三元组对应的头实体h的聚类特征向量三元组对应的尾实体 t的聚类特征向量以及三元组对应的关系c的聚类特征向量和关系门控向量然后通过聚类特征提取模型提取三元组中实体间的聚类特征。
[0092]
其中，上述聚类特征提取模型可以称之为关系门控平移模型，具体的，该聚类特征提取模型的表达式如下：
[0093]vt
表示三元组中实体间的聚类特征，此处
[0094]
需要说明的是，聚类特征向量表示头实体h的聚类特征向量e1，聚类特征向量表示尾实体t的聚类特征向量e1，聚类特征向量表示关系c的聚类特征向量r1，关系门控向量表示关系c的关系门控向量rb，为便于区分，将头实体h的聚类特征向量e1记为将尾实体t的聚类特征向量e1记为将关系c的聚类特征向量r1记为将关系c的关系门控向量rb记为后文中出现的后文中出现的等均为类似的标记方式，后文不再对这些标记方式进行赘述。
[0095]
下面结合具体实施例对构建频次增强融合模型的过程进行示例性的说明。
[0096]
在本技术的一些实施例中，上述步骤11中利用三元组(h，c，t)中(h，c，t)的出现频次和(h，t)的出现频次，对聚类特征和层次特征进行频次增强处理，得到频次增强后的聚类特征和层次特征的具体实现方式包括如下步骤：
[0097]
步骤一，获取三元组(h，c，t)对应的头实体h的(h，c，t)频次特征向量三元组(h，c，t)对应的尾实体t的(h，c，t)频次特征向量以及三元组(h，c，t)对应的关系c的(h，c，t)频次特征向量
[0098]
其中，上述频次特征向量表示头实体h对应的三元组(h，c，t)的出现频次，频次特征向量表示尾实体t对应的三元组(h，c，t)的出现频次，频次特征向量表示关系c对应的三元组(h，c，t)的出现频次。
[0099]
步骤二，构建(h，c，t)频次特征提取模型。
[0100]
其中，上述(h，c，t)频次特征提取模型为：
[0101]
步骤三，获取三元组(h，c，t)对应的头实体h的(h，t)频次特征向量以及三元组(h，c，t)对应的尾实体t的(h，t)频次特征向量
[0102]
其中，上述频次特征向量表示头实体h对应的三元组(h，t)的出现频次，频次特征向量表示尾实体t对应的三元组(h，t)的出现频次。
[0103]
步骤四，构建(h，t)频次特征提取模型。
[0104]
其中，上述(h，t)频次特征提取模型为：
[0105]
步骤五，通过公式和公式对三元组(h，c，t)中实体间的聚类特征v
t
进行频次增强处理，得到频次增强后的聚类特征。
[0106]
其中，和均表示频次增强后的聚类特征，sigmoid表示sigmoid函数，此处x的取值为v
(h，c，t)
、v
(h，t)
。
[0107]
步骤六，通过公式和公式对三元组(h，c，t)中实体间的层次特征vr进行频次增强处理，得到频次增强后的层次特征。
[0108]
其中，和均表示频次增强后的层次特征，sigmoid表示sigmoid函数，此处x的取值为v
(h，c，t)
、v
(h，t)
。
[0109]
在本技术的一些实施例中，上述步骤12中将三元组(h，c，t)对应的聚类特征、层次特征、频次增强后的聚类特征和层次特征均转换为三元组(h，c，t)的评分值的具体实现方式包括如下步骤：
[0110]
通过公式将三元组(h，c，t)对应的聚类特征v
t
、层次特征vr、频次增强后的聚类特征和频次增强后的层次特征和均转换为三元组(h，c，t)的评分值。
[0111]
其中，ek表示vk对应的评分值，k＝t，r，f1，f2，f3，f4，[vk]i表示vk的第i维向量，n表示vk的向量维数，pk、qk均为敏感系数，数，表示头实体h的层次特征向量、表示尾实体t的层次特征向量、表示关系c的层次特征向量。
[0112]
在本技术的一些实施例中，通过pk、qk的不同取值可以控制ek值的大小、变化范围以及学习过程中梯度对距离差值的敏感程度。其中，当pk＝1，qk＝1 时，梯度为常数，当pk≠1，qk＝1时，梯度对每一维度差值敏感，当pk＝1， qk≠1时，梯度对求和后差值敏感。示例性的，上述参数(如pk、qk)可采用网格搜索法确定。
[0113]
在本技术的一些实施例中，在得到频次增强前后的聚类特征和层次特征的评分值后，可通过公式后，可通过公式对三元组(h，c，t)的所有评分值进行加权求和，得到频次增强融合模型。其中，e1表示频次增强融合模型，λ1、λ2、λ3均为权重系数，β为选择系数，且β的取值为0或1。
[0114]
在本技术的一些实施例中，还可引入bert模型词库(即通常使用的bert 模型，该bert模型通常被用来提取语义特征)对三元组(h，c，t)进行处理，使实体的嵌入向量组除了聚类特征向量e1、层次特征向量e2、频次特征向量e3和频次特征向量e4之外，还包括从bert模型词库中确定出的词汇向量，关系的嵌入向量组除了聚类特征向量r1、关系门控向量rb、
层次特征向量r2和频次特征向量r3之外，还包括从bert模型词库中确定出的词汇向量，进而使实体和实体、实体和关系间具有更复杂的语义联系，进一步提升知识图谱的链接预测准确率。
[0115]
具体的，在本技术的一些实施例中，在对三元组(h，c，t)对应的频次增强融合模型进行训练，得到训练后的频次增强融合模型之后，上述方法还包括如下步骤：
[0116]
第一步，根据bert模型词库中的词汇对三元组(h，c，t)中的实体和关系进行分词处理，对分词处理后的三元组(h，c，t)进行编码，得到三元组(h，c，t)的整体语义信息向量。
[0117]
在本技术的一些实施例中，分词处理后的三元组(h，c，t)的头实体的分词序列为：分词处理后的三元组(h，c，t)的尾实体的分词序列为：分词处理后的三元组(h，c，t)的关系的分词序列为：
[0118]
其中，hz头实体分词后的第z个单词，z＝1，
…
，l1，l1表示头实体分词后的总单词数，tz′
表示尾实体分词后的第z
′
个单词，z
′
＝1，
…
，l2，l2表示尾实体分词后的总单词数，cz″
表示关系分词后的第z
″
个单词，z
″
＝1，
…
，l3，l3表示关系分词后的总单词数。
[0119]
在本技术的一些实施例中，可通过如下步骤一至步骤三对分词处理后的三元组(h，c，t)进行编码，得到三元组(h，c，t)的整体语义信息向量：
[0120]
步骤一，通过公式对三元组(h，c，t)的头实体和关系的分词序列进行编码。其中，x表示编码后的序列，x
cls
表示一个句子的起始标志位，x
sep
表示两个句子的分隔符，即相邻两个句子的分割符。
[0121]
步骤二，通过公式对三元组(h，c，t)的尾实体的分词序列进行编码。其中，y表示编码后的序列，y
cls
表示一个句子的起始标志位，y
sep
表示两个句子的分隔符，即相邻两个句子的分割符。
[0122]
步骤三，从bert模型词库中获取序列x对应的词汇向量，以及序列y对应的词汇向量。其中，x
cls
对应的词汇向量v
x
表示三元组(h，c，t)的头实体和关系的整体语义信息，y
cls
对应的词汇向量vy表示三元组(h，c，t)的尾实体的整体语义信息；
[0123]
步骤三，按照bert模型的输入要求，对x
cls
对应的词汇向量和y
cls
对应的词汇向量进行拼接处理，得到三元组(h，c，t)的整体语义信息向量[v
x
；vy]。
[0124]
第二步，将三元组(h，c，t)的整体语义信息向量[v
x
；vy]输入样本检测神经网络，并将样本检测神经网络输出的概率值作为三元组(h，c，t)的语义特征。
[0125]
在本技术的一些实施例中，上述样本检测神经网络输出的是三元组 (h，c，t)是正样本的概率值，在本技术的实施例中，将该概率值作为三元组 (h，c，t)的语义特征。
[0126]
示例性的，上述样本检测神经网络可以为多层感知器(mlp)神经网络。
[0127]
即，在本技术的一些实施例中，如图2所示，通过基于bert模型对三元组(h，c，t)进行分词、编码处理，得到三元组(h，c，t)的整体语义信息向量[v
x
；vy] 后，然后将整体语义信息向量[v
x
；vy]输入样本检测神经网络，便可得到三元组(h，c，t)的语义特征。
[0128]
第三步，对训练后的频次增强融合模型和语义特征进行加权求和，得到知识嵌入
模型。
[0129]
在本技术的一些实施例中，可通过公式e＝λ4e1 λ5e
bert
对训练后的频次增强融合模型和语义特征进行加权求和，得到知识嵌入模型。其中，e表示知识嵌入模型，e
bert
为语义特征，λ4和λ5均为加权系数。
[0130]
即，在本技术的一些实施例中，如图3所示，本技术实施例的知识嵌入方法主要分为频次增强和语义扩充两部分。其中频次增强主要是先采用关系门控平移模型和旋转模型对聚类特征和层次特征进行提取，然后引入频次特征，并将其作为控制门对聚类特征和层次特征进行增强，融合得到频次增强融合模型；语义扩充主要是采用bert模型和样本检测神经网络进行二分类，将引入的抽象语义特征与前面的频次增强融合模型进行加权求和，采取微调使得抽象语义特征能与其他特征相适应，得到知识嵌入模型e。
[0131]
第四步，对知识嵌入模型进行训练，并将训练后的知识嵌入模型中的实体和关系的嵌入向量组作为知识图谱的知识表示嵌入结果。
[0132]
在本技术的一些实施例中，针对知识图谱中的任一三元组(h，c，t)，对该三元组(h，c，t)对应的知识嵌入模型进行训练的具体实现方式包括如下步骤：
[0133]
首先将三元组(h，c，t)作为正样本；然后将三元组(h，c，t)中的实体随机替换成其他实体(即知识图谱中其他三元组中的实体)，得到n组负样本；其中， n为整数，且5≤n≤10；最后将正样本和n组负样本作为训练集数据，并利用正样本和n组负样本，对知识嵌入模型进行训练，得到训练后的知识嵌入模型。
[0134]
在对知识嵌入模型进行训练的过程中，选用的损失函数l的表达式如下：
[0135][0136]
其中，l表示知识嵌入模型的损失值，sigmoid表示sigmoid函数，此处x＝γ-e(h，t)，γ表示间隔系数，e(h，t)为正样本对应的知识嵌入模型，m表示多负采样的加权系数，α表示采样温度系数，f(h
′j，t
′j)表示三元组(h
′j，t
′j)在训练集数据中出现的频次， e(h
′j，t
′j)表示n组负样本中第j组负样本对应的知识嵌入模型，需要说明的是， e(h
′j，t
′j)与e(h，t)的构建过程是一样，因此这里不再赘述e(h
′j，t
′j)的构建过程。
[0137]
需要说明的是，由于知识嵌入模型中e1是训练后的频次增强融合模型，因此在对知识嵌入模型进行训练的过程中，e1不需要进行反向梯度传播，只需对 bert模型、样本检测神经网络的网络参数以及bert模型词库中的词汇向量进行调整，以提取合适语义特征。
[0138]
在本技术的一些实施例中，由于bert模型的输入需要特定的编码，而多数数据重复使用时编码是相同的，因此在加入bert之前，先将正负样本的编码成上述中的格式将编码后的数据(即上述编码后的序列x、y)存储于记事本中，便于后续提取，达到提高训练速度的目的。
[0139]
下面结合具体实验数据对本技术的知识嵌入方法的预测精度进行示例性的说明。
表1为本技术的知识嵌入方法在fb15k-237数据集上的链接预测效果对比数据，表2为本技术的知识嵌入方法在yago3-10数据集上的链接预测效果对比数据。
[0140][0141]
表1
[0142][0143]
表2
[0144]
其中，hit@e表示测试集中所有正确三元组的排名在前e名的占比，e通常取1、3、10；mean rank(mr)表示测试集中所有正确三元组的平均排名，值越小代表链接预测效果越好；mean reciprocal rank(mrr)表示测试集中所有正确三元组的平均倒数排名，值越大代表链接预测效果越好。
[0145]
由表1至表2可知，本技术的知识嵌入方法的链接预测效果明显优于当前的基线方法(如表1至表2中的基于distmult、complex、conve、rotate、 transe模型的知识嵌入方法)，可见，上述知识嵌入方法在多数数据集中呈现的预测精度均较为理想。
[0146]
综上，本技术实施例提供的知识嵌入方法具备如下效果：
[0147]
第一，融合聚类特征、层次特征、频次特征、抽象语义特征后，使知识嵌入方法有更
强泛化性，在不同数据集上均有不错的表现。
[0148]
第二，由于bert模型的引入使得模型表征能力更强，bert模型是经过大型语义库预训练过的，其中已经潜在的包含了实体和关系的一些语义，这些信息仅通过训练集中的三元组是学习不到，因此bert模相当于融入了除开训练集外更多的信息；
[0149]
第三，频次增强前后的聚类特征和层次特征特征到评分值的转换公式可以控制评分值的大小、变化范围以及学习过程中梯度对距离差值的敏感程度，因此能适应不同特征的转换，从而带来链接预测精度上的提升。
[0150]
以上所述是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。