一种知识图谱实体对齐方法、系统、设备与存储介质

1.本发明涉及数据挖掘中的多模态知识图谱领域，尤其涉及一种知识图谱实体对齐方法、系统、设备与存储介质。


背景技术：

2.多模式知识图谱从视觉、关系和属性的角度组织真实世界的知识，在各种场景中引起了大量关注，并促进了众多下游应用的发展。一般来说，多模态知识图谱是由独立的多模态数据源和为了特定目的构建的。随着对冗余多模态知识整合的需求的激增，多模态实体对齐技术已成为该领域的新兴任务之一。
3.在文献中，已经有许多围绕实体对齐展开的研究。大多数方法都是针对传统的知识图谱，致力于探索关系或图结构上的相似性。但是这些方法可能无法适用于新兴的多模态知识图谱，这促使了研究人员开始针对多模态知识的利用去解决实体对齐问题。虽然这些多模态的方法达到了较好的效果，但它们仍然直接合并了单模态特征嵌入，使多模态知识中的深度语义在很大程度上没有得到探索。
4.事实上，多模态知识在理解现实世界的事实和生成更全面的实体表征方面有很大的潜力。然而，它也给实体对齐带来了巨大的挑战。首先，仅仅从基本图结构的角度来学习关系表征在多模态知识图谱中是不够的。通过纳入多模态语义来生成一个更充分的关系表示是非常必要且困难的。其次，多模态知识图谱中属性的稀疏性和异质性被加剧了。这使得挑选有益的属性以保证实体对齐的效果成为更大的挑战。最后，相对于传统的知识图谱，多模态的知识图谱存在着更严重的数据规模和昂贵标注问题。由于大规模的数据和标签的稀缺性，预对齐的种子严重不足并且难以获得，进一步加剧了实体对齐的严峻性。多模态知识图谱中的实体对齐任务是指在两个不同的多模态知识图谱中，匹配指代真实世界中相同概念的实体。随着多模态知识图谱数量的激增，促进了对多个多模态知识图谱中知识整合的需求，实体对齐则是其中一种极为有效的去除冗余且构建更加完备的多模态知识图谱的方法和手段。当实体对齐的准确率较低时，会错误地把具有歧义的知识合并，将此情况下获得的多模态知识图谱应用于搜索引擎、问答系统、推荐系统中，都会有较高的概率会获得错误的结果。以多模态知识图谱应用于搜索引擎的场景为例，当实体对齐效果不够好时，会导致信息检索不够准确，因此，有必要改进现有的实体对齐方案，保障多模态知识图谱的应用效果。


技术实现要素：

5.本发明的目的是提供一种知识图谱实体对齐方法、系统、设备与存储介质，可以提升多模态实体对齐任务的准确性。能够在搜索引擎、问答系统、推荐系统中，得到更加有效且精确的结果。
6.本发明的目的是通过以下技术方案实现的：
7.一种知识图谱实体对齐方法，包括：
8.训练阶段，通过多模态知识嵌入网络提取实体特征，其中：对于每一实体，从对应图像中提取相应的视觉特征，并基于视觉特征对预训练的bert模型提取的属性特征进行视觉自适应处理，获得最终的属性特征，以及采用针对关系的视觉增强机制对图谱嵌入模型提取的关系特征进行视觉增强处理，获得最终的关系特征，再将视觉特征、最终的关系特征与最终的属性特征整合为整体的实体表征；并且，利用来自不同知识图谱的两个实体的单模态特征和整体的实体表征进行相似度对比学习，所述单模态特征包括：视觉特征、最终的关系特征与最终的属性特征；利用视觉增强处理时的损失函数与对比学习的损失函数构建总损失函数进行训练，更新多模态知识嵌入网络的参数；训练完毕后，利用训练后的多模态知识嵌入网络获得更新后的实体的整体的实体表征；
9.对于两个不同知识图谱中的实体，通过更新后的整体的实体表征，两两进行相似度计算，选择相似度最高的两个实体作为对齐实体。
10.一种知识图谱实体对齐系统，用于实现前述的方法，该系统包括：多模态知识嵌入网络与实体对齐模块；
11.所述多模态知识嵌入网络，用于提取实体特征；训练阶段，通过多模态知识嵌入网络提取实体特征，其中：对于每一实体，从对应图像中提取相应的视觉特征，并基于视觉特征对预训练的bert模型提取的属性特征进行视觉自适应处理，获得最终的属性特征，以及采用针对关系的视觉增强机制对图谱嵌入模型提取的关系特征进行视觉增强处理，获得最终的关系特征，再将视觉特征、最终的关系特征与最终的属性特征整合为整体的实体表征；并且，利用来自不同知识图谱的两个实体的单模态特征和整体的实体表征进行相似度对比学习，所述单模态特征包括：视觉特征、最终的关系特征与最终的属性特征；利用视觉增强处理时的损失函数与对比学习的损失函数构建总损失函数进行训练，更新多模态知识嵌入网络的参数；训练完毕后，利用训练后的多模态知识嵌入网络获得更新后的实体的整体的实体表征；
12.实体对齐模块，用于对于两个不同知识图谱中的实体，通过更新后的整体的实体表征，两两进行相似度计算，选择相似度最高的两个实体作为对齐实体。
13.一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
14.其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
15.一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
16.由上述本发明提供的技术方案可以看出，对于不同的两个多模态知识图谱采用共享参数的多模态孪生网络结构实现实体的表征，通过挖掘跨模态的语义关联和多角度对比正负实体对的特征来利用和实体相关的多模态信息，能够有效提升多模态实体对齐任务的准确性。
附图说明
17.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他
附图。
18.图1为本发明实施例提供的一种知识图谱实体对齐方法的模型示意图；
19.图2为本发明实施例提供的一种知识图谱实体对齐系统的示意图；
20.图3为本发明实施例提供的一种处理设备的示意图。
具体实施方式
21.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
22.首先对本文中可能使用的术语进行如下说明：
23.术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
24.下面对本发明所提供的一种知识图谱实体对齐方法进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。
25.本发明实施例提供了一种知识图谱实体对齐方法，它基于多模态孪生网络实现，其主要原理是可以通过挖掘跨模态的语义关联和多角度对比正负实体对的特征来深度利用和实体相关的多模态信息，这对于解决多模态知识图谱的实体对齐任务来说具有至关重要的意义和价值。如图1所示，为知识图谱实体对齐方法的模型结构示意图，主要包括如下步骤：
26.步骤1、训练阶段，通过多模态知识嵌入网络提取实体特征，其中：对于每一实体，从对应图像中提取相应的视觉特征，并基于视觉特征对预训练的bert模型提取的属性特征进行视觉自适应处理，获得最终的属性特征，以及采用针对关系的视觉增强机制对图谱嵌入模型提取的关系特征进行视觉增强处理，获得最终的关系特征，再将视觉特征、最终的关系特征与最终的属性特征整合为整体的实体表征；并且，利用来自不同知识图谱的两个实体的单模态特征和整体的实体表征进行相似度对比学习，所述单模态特征包括：视觉特征、最终的关系特征与最终的属性特征；利用视觉增强处理时的损失函数与对比学习的损失函数构建总损失函数进行训练，更新多模态知识嵌入网络的参数；训练完毕后，利用训练后的多模态知识嵌入网络获得更新后的实体的整体的实体表征。
27.如图1所示，多模态知识嵌入网络(multi-modal knowledge embedding，mke)主要包括三个部分，每一部分各自用来提取一类单模态特征，左侧部分包含的三个虚线框从左至右依次展示了提取实体的视觉、关系、属性特征的主要流程。右侧多模态对比学习(multi-modal contrastive learning，mcl)部分，主要是结合多模态知识嵌入网络获得的各类特征进行对比学习，从而更新多模态知识嵌入网络的参数；利用更新后的多模态知识嵌入网络再进行各类特征的提取，从而得到更新后的实体的整体的实体表征。
28.本发明实施例中，对比学习阶段分别提取两个不同知识图谱的实体，构成两个实体集合，两个实体集合中的所有实体都通过前述步骤1的方案提取各类模态特征，从两个实体集合分别提取一个实体，构成实体对，结合给定的实体对的对齐关系，通过损失函数来优化实体的整体的实体表征。
29.本领域技术人员可以理解，对齐关系表示实体对能否对齐，能够对齐的实体对称为正实体对，不能够对齐的实体对称为负实体对；例如，苹果和苹果公司(指代相同概念时)可以对齐，因此，苹果和苹果公司两个实体构成正实体对；苹果和亚马逊不能够对齐，因此苹果和亚马逊两个实体构成负实体对。正负实体对是所涉及的具体实体内容可根据实际情况自行调整，本发明不对实体做具体限定。
30.步骤2、对于两个不同知识图谱中的实体，通过更新后的整体的实体表征，两两进行相似度计算，选择相似度最高的两个实体作为对齐实体。
31.本发明实施例中，两个不同知识图谱中的实体，两两进行实体对齐后，可以整合为一个更为完善的、冗余信息较少的知识图片，有利于其他下游应用场景的效果。
32.为了便于理解，下面针对上述三个步骤的优选实施方式进行介绍。
33.一、提取实体的视觉、关系、属性特征，生成整体的实体表示。
34.1、提取实体的视觉特征(visual modality)。
35.如图1左侧部分所示，给定实体e及其对应的图像i，利用残差网络模型从对应图像i中提取特征，并通过线性变换(fc)获得投影到对应空间，获得相应的视觉特征，表示为：
36.ie＝resnet(i)
37.ei＝w1·
ie b138.其中，resnet表示残差网络模型，ie表示残差网络模型从图像i中提取的特征，ei表示相应的视觉特征，w1与b1表示线性变换的权重与偏置参数。
39.本领域技术人员可以理解，实体是知识图谱中的术语，《实体a，关系，实体b》为知识图谱中的一个三元关系组，实体a为头实体，实体b为尾实体，上述计算所涉及的实体e既可以是头实体，也可以是尾实体。实体一般是真实世界的某一概念，本发明不对实体的具体信息内容进行限定。为了便于理解，此处提供一个简单示例，以三元组《苹果，种类，水果》为例，苹果与水果均为实体，种类为两个实体的关系，此阶段采集的视觉特征即为苹果图像中采集的特征。
40.2、提取实体的关系特征(relational modality)。
41.本发明实施例中，利用图谱嵌入模型提取关系特征，并设计了视觉增强机制进行增强。
42.本发明实施例中，三元关系组包含两个实体以及两个实体之间的关系r，两个实体分别称为头实体h与尾实体t，三元关系组表示为(h,r,t)；视觉增强机制中，头实体h与尾实体t均为前述介绍的实体e，并采用前文提取实体的视觉特征部分中介绍的方式提取视觉特征，区别在于进行线性变换时的参数不同；同时，采用图谱嵌入模型提取关系特征，利用视觉特征对关系特征进行增强。
43.训练阶段，基于关系r引入了头实体h
′
与尾实体t
′
，构成一个新的三元关系组(h
′
,r,t
′
)，其中，三元关系组(h,r,t)作为正样本，三元关系组(h
′
,r,t
′
)为负样本，正样本是指三元关系组的关系正确，即头尾实体满足相应的关系r，负样本是指三元关系组关系不正
确，即头尾实体不满足相应的关系r。例如，《苹果，颜色，红色》为正样本，《苹果，颜色，绿色》为负样本。
44.利用正负样本集合，结合设计的图谱嵌入模型损失函数以及视觉增强的损失函数优化图谱嵌入模型，具体的：通过图谱嵌入模型提取正负样本中头实体与尾实体的实体嵌入向量，以及关系的嵌入向量，并带入图谱嵌入模型的损失函数进行计算；计算视觉增强的损失函数时，先通过残差网络与线性变换获得正负样本对应图像的视觉特征，再结合图谱嵌入模型提取的关系嵌入向量带入视觉增强的损失函数进行计算；训练完毕后，通过图谱嵌入模型直接提取实体的关系特征。主要说明如下：
45.1)通过图谱嵌入模型(transe)提取关系特征，训练阶段采用margin-based损失函数进行优化。如图1所示，其中的re(relation embedding，关系嵌入)、ee(entityembedding，实体嵌入)均属于图谱嵌入模型，嵌入是指在高维空间的向量，实体嵌入向量表示实体的高维向量，关系嵌入向量表示关系的高维向量，此部分涉及的图谱嵌入模型的工作原理可参见常规技术，此处不做赘述。
46.图谱嵌入模型的得分函数和损失函数如下：
[0047][0048][0049][0050]
其中，tr表示正样本集合，t
′r表示负样本集合；正样本τ与负样本τ
′
均表示三元关系组，(h,r,t)＝τ，(h
′
,r,t
′
)＝τ
′
，r表示头实体h与尾实体t的关系和头实体h
′
与尾实体t
′
的关系，hr、h
′r各自表示头实体h、头实体h
′
的实体嵌入向量，tr、t
′r各自表示尾实体t、尾实体t
′
的实体嵌入向量，hr表示关系r的嵌入向量；υr表示得分间隔，fr(.)表示得分函数。
[0051]
得分函数fr是为了使得正样本τ的评分价高，负样本τ
′
的评分较低。
[0052]
2)利用视觉特征对通过图谱嵌入模型提取的关系特征进行增强包括：
[0053]
通过残差网络与线性变换获得头实体h与尾实体t对应图像的视觉特征表示为：
[0054][0055][0056]
其中，resnet表示残差网络模型，分别表示头实体h、尾实体t对应的图像，ih、i
t
分别表示残差网络模型从图像中提取的特征，w2与b2表示线性变换的权重与偏置参数。
[0057]
利用视觉特征对实体的关系特征进行增强。
[0058]
视觉特征以及实体嵌入向量tr，满足：
[0059]
tr≈hr hr[0060]
[0061]
训练阶段，得分函数和损失函数如下：
[0062][0063][0064][0065]
其中，fi(.)表示得分函数，υi表示得分间隔，分别表示头实体h
′
与尾实体t
′
的视觉特征。
[0066]
结合以上两部分损失函数与进行训练，训练初始阶段，图谱嵌入模型的ee输出的实体嵌入向量均为初始化向量作为最终的关系特征er参与训练，训练过程会不断优化图谱嵌入模型，从而不断优化最终的关系特征er。
[0067]
3、提取实体的属性特征(attribute modality)。
[0068]
本发明实施例中，利用预训练的bert模型提取属性特征，并设计了视觉自适应机制进行处理。
[0069]
1)对于实体的每一属性，通过预训练的bert模型提取属性名称的词向量，并进行平均后进行第一次线性变换，获得属性名称特征；同时，将相应属性值做归一化后平铺构成数值向量，并与相应的属性名称特征进行拼接再进行第二次线性变换，获得每一属性的特征，表示为：
[0070]
a＝w3·
avg(bert(ω1,ω2,
…
)) b3[0071]
s＝w4·
a||v b3[0072]
其中，a表示属性名称特征，ω1,ω2,
…
表示属性名称中的单词，bert表示预训练的bert模型，avg表示求平均，s表示属性的特征，v表示平铺构成的数值向量，w3与b3、w4与b4分别为两次线性变换的权重与偏置参数。
[0073]
本发明实施例中，实体具有多种属性，本发明不做属性的具体名称以及属性值进行限定。具体来说，实体单个属性可以描述为《鲁迅，出生年份，1881》，出生年份为属性名称，1881为属性值。
[0074]
2)针对属性的视觉自适应机制：对于实体e，将视觉特征ei与每一属性的特征进行点乘，得到对应属性的注意力权重值，再利用注意力权重值进行加权求和得到增强后的属性特征，表示为：
[0075][0076][0077]
其中，t表示矩阵转置符号，sj、sc各自表示属性j、属性c的特征，αj表示属性j的注意力权重值，k表示属性总数，ea表示增强后的属性特征。
[0078]
4、将三种模态的特征嵌入拼接，生成整体的实体表征：
[0079]em
＝er‖ei‖ea[0080]
其中，||表示拼接。
[0081]
二、多角度进行正负实体对的对比学习。
[0082]
分别提取两个不同知识图谱的实体，构成两个实体集合，记为集合e与e
′
，集合e中的单个实体记为e，集合e
′
中的单个实体记为e
′
，两个实体e与e
′
构成一个实体对；对于每一实体对，计算各个单模态特征和整体的实体表征的余弦相似度，然后，将实体对的余弦相似度带入下述损失函数：
[0083][0084][0085][0086]
其中，为整体的实体表征的对比学习损失函数，为综合三种单模态特征的对比学习损失函数，n为实体数目，n为实体编号；em、e
′m各自表示相应的实体集合中整体的实体表征集合；em、ei、er、ea依次表示实体集合e中整体的实体表征集合、视觉特征集合、最终的关系特征集合、最终的属性特征集合；e
′m、e
′i、e
′r、e
′a依次表示实体集合e
′
中整体的实体表征集合、视觉特征集合、增强后的关系特征集合、增强后的属性特征集合；en、e
′n分别表示实体对e与e
′
的同种类特征(即：为同一类别的单模态特征、或者整体的实体表征)，d表示实体对e与e
′
的同种类模态特征的余弦相似度，也就是说，对比学习损失函数中的三项损失都利用损失函数的式子进行计算，υ
cl
为间隔参数；yn为标签，对于正确的正实体对，值为1，否则为0。
[0087]
三、训练的总损失函数。
[0088]
训练阶段，总的损失函数包含四部分：图谱嵌入模型的损失函数视觉增强的损失函数整体的实体表征的对比学习损失函数以及综合三种单模态特征的对比学习损失函数总的损失函数表示为：
[0089][0090]
通过上述损失函数的优化，进行梯度的反向传播，优化多模态知识嵌入网络的参数(即视觉特征提取部分所涉及的网络的参数、获取最终的属性特征部分所涉及的网络的参数、获取最终的关系特征部分所涉及的网络的参数，此处的参数主要是指权重参数w与偏置参数b)。对于每个实体，利用参数优化后的多模态知识嵌入网络，通过前述步骤提取视觉特征、最终的关系特征与最终的属性特征，拼接为整体的实体表征，作为优化后的实体的整体的实体表征。
[0091]
照前文介绍，训练阶段涉及两类数据集，一类是提取实体的关系特征部分所涉及的正负样本集合，另一类则为对比学习部分所涉及的实体集合。训练阶段还会使用验证集(同样涉及两类数据集)对训练的效果进行验证，当在验证集上实体对之间的对齐效果(即损失函数值)不再上升时，即为训练完毕。
[0092]
本发明实施例中，所涉及的反向传播及参数优化流程可参照常规技术实现，故不做赘述。
[0093]
四、实体对齐。
[0094]
基于上述流程，实现两个不同知识图谱中的不同实体的整体的实体表征的更新，执行两个不同知识图像的实体对齐任务时，对于两个不同知识图谱中的实体，通过更新后的整体的实体表征，两两进行相似度计算，选择相似度最高的两个实体作为对齐实体。
[0095]
基于本发明实施例上述方案，对于两个不同知识图谱中的实体进行对齐后，可以将不同的知识图谱进行整合，合并为一个更加完整的知识图谱，作为下游应用场景(例如，搜索引擎、问答系统、推荐系统)的知识库，整合后的知识图谱信息更为完善，而且减少了信息冗余。以推荐系统为例，推荐系统的商品推荐流程还是使用原有流程，故不做赘述，但是知识图谱使用整合后的知识图谱，在此基础上，推荐系统能够利用更加丰富且完善的实体信息，精准的给用户进行商品推荐；同样的，应用于其他应用场景也能够提升相应的应用效果。
[0096]
本发明另一实施例还提供一种知识图谱实体对齐系统，其主要用于实现前述实施例提供的方法，如图2所示，该系统主要包括：实体对齐模块，以及如图1所示的多模态知识嵌入网络；
[0097]
所述多模态知识嵌入网络，用于提取实体特征；训练阶段，通过多模态知识嵌入网络提取实体特征，其中：对于每一实体，从对应图像中提取相应的视觉特征，并基于视觉特征对预训练的bert模型提取的属性特征进行视觉自适应处理，获得最终的属性特征，以及采用针对关系的视觉增强机制对图谱嵌入模型提取的关系特征进行视觉增强处理，获得最终的关系特征，再将视觉特征、最终的关系特征与最终的属性特征整合为整体的实体表征；并且，利用来自不同知识图谱的两个实体的单模态特征和整体的实体表征进行相似度对比学习，所述单模态特征包括：视觉特征、最终的关系特征与最终的属性特征；利用视觉增强处理时的损失函数与对比学习的损失函数构建总损失函数进行训练，更新多模态知识嵌入网络的参数；训练完毕后，利用训练后的多模态知识嵌入网络获得更新后的实体的整体的实体表征；
[0098]
实体对齐模块，用于对于两个不同知识图谱中的实体，通过更新后的整体的实体表征，两两进行相似度计算，选择相似度最高的两个实体作为对齐实体。
[0099]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0100]
需要说明的是，上述系统所涉及的相关技术细节在之前的方法实施例中已经做了详细的说明，故不再赘述。
[0101]
本发明另一实施例还提供一种处理设备，如图3所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
[0102]
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
[0103]
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
[0104]
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
[0105]
输出设备可以为显示终端；
[0106]
存储器可以为随机存取存储器(random access memory，ram)，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。
[0107]
本发明另一实施例还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
[0108]
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是u盘、移动硬盘、只读存储器(read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
[0109]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。