知识图谱对齐方法、装置、设备、存储介质及程序产品与流程

1.本技术实施例涉及计算机技术领域，特别涉及一种知识图谱对齐方法、装置、设备、存储介质及程序产品。


背景技术：

2.知识图谱由相互连接的实体以及实体之间的关系所构成，是一种揭示实体之间关系的语义网络，利用语言、视觉和听觉等多种模态数据的知识图谱称作多模态知识图谱。知识图谱对齐又称实体对齐，旨在判断两个或者多个不同的知识图谱的实体是否指向同一事物，对于构建大规模高质量的知识图谱而言，知识图谱对齐技术具有十分重要的现实意义。
3.相关技术中，通常会对两个知识图谱进行分别建模，得到两个知识图谱中所有实体对应的映射向量，之后对实体对应的映射向量进行相似度计算等操作，将相似度最高的两个实体作为一个实体对，并实现对知识图谱对齐过程。
4.然而，在通过上述方法进行多模态实体对齐时，通常会因为同一实体对应的多种模态之间的差异性，将属于同一事物的两个实体对应的模态信息直接进行对齐，但个别模态对应的信息进行对齐后，容易引入噪声进而造成实体对齐性能的下降。


技术实现要素：

5.本技术实施例提供了一种知识图谱对齐方法、装置、设备、存储介质及程序产品，能够有选择地引入视觉信息，从而增强多模态知识图谱的对齐效果。所述技术方案如下。
6.一方面，提供了一种知识图谱对齐方法，所述方法包括：
7.获取第一知识图谱和第二知识图谱，所述第一知识图谱中包括连接有第一图像的第一实体节点，所述第二知识图谱中包括连接有第二图像的第二实体节点，所述第一实体节点和所述第二实体节点对应有实体类别；
8.提取所述第一图像的第一视觉特征；提取所述第二图像的第二视觉特征；
9.基于实体类别确定所述第一视觉特征的第一参与关系和所述第二视觉特征的第二参与关系，所述第一参与关系和所述第二参与关系用于指示视觉特征在特征表示确定过程中的参与情况；
10.基于所述第一参与关系确定所述第一实体节点的第一特征表示；基于所述第二参与关系确定所述第二实体节点的第二特征表示；
11.获取所述第一特征表示和所述第二特征表示之间的相似度，确定所述第一实体节点和所述第二实体节点的对齐结果，得到对齐后的目标知识图谱。
12.另一方面，提供了一种知识图谱对齐装置，所述装置包括：
13.图谱获取模块，用于获取第一知识图谱和第二知识图谱，所述第一知识图谱中包括连接有第一图像的第一实体节点，所述第二知识图谱中包括连接有第二图像的第二实体节点，所述第一实体节点和所述第二实体节点对应有实体类别；
14.特征提取模块，用于提取所述第一图像的第一视觉特征；提取所述第二图像的第
二视觉特征；
15.关系确定模块，用于基于实体类别确定所述第一视觉特征的第一参与关系和所述第二视觉特征的第二参与关系，所述第一参与关系和所述第二参与关系用于指示视觉特征在特征表示确定过程中的参与情况；
16.特征确定模块，用于基于所述第一参与关系确定所述第一实体节点的第一特征表示；基于所述第二参与关系确定所述第二实体节点的第二特征表示；
17.相似度获取模块，用于获取所述第一特征表示和所述第二特征表示之间的相似度，确定所述第一实体节点和所述第二实体节点的对齐结果，得到对齐后的目标知识图谱。
18.另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本技术实施例中任一所述知识图谱对齐方法。
19.另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本技术实施例中任一所述的知识图谱对齐方法。
20.另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的知识图谱对齐方法。
21.本技术实施例提供的技术方案带来的有益效果至少包括：
22.提取待对齐的知识图谱中实体节点对应图像的视觉特征，基于实体类别确定视觉特征是否参与特征表示的确定过程，根据视觉特征的参与情况，差异性地考虑视觉特征对知识图谱对齐效果的影响，进而得到对齐后的目标知识图谱。通过上述方法，可以在对多模态知识图谱进行对齐时，考虑多种模态对知识图谱对齐过程中的影响，例如：在对包括图像信息的多模态知识图谱进行对齐时，考虑到实体类别相同或相似的实体节点所对应的图像之间的差异，为了避免对齐过程中个别图像信息干扰所引起的噪音，对图像对应的视觉特征进行差异性地考虑，在知识图谱的对齐过程中，有选择地引入视觉信息，从而有效提升实体对齐的性能，增强多模态知识图谱的对齐效果。
附图说明
23.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1是本技术一个示例性实施例提供的实施环境示意图；
25.图2是本技术一个示例性实施例提供的知识图谱对齐方法的流程图；
26.图3是本技术一个示例性实施例提供的实体类别的示意图；
27.图4是本技术一个示例性实施例提供的医学知识图谱的界面示意图；
28.图5是本技术另一个示例性实施例提供的知识图谱对齐方法的示意图；
29.图6是本技术一个示例性实施例提供的知识图谱对齐方法的流程图；
30.图7是本技术一个示例性实施例提供的知识图谱对齐装置的结构框图；
31.图8是本技术另一个示例性实施例提供的知识图谱对齐装置的结构框图；
32.图9是本技术一个示例性实施例提供的服务器的结构框图。
具体实施方式
33.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
34.相关技术中，通常会对两个知识图谱进行分别建模，得到两个知识图谱中所有实体对应的映射向量，之后对实体对应的映射向量进行相似度计算等操作，将相似度最高的两个实体作为一个实体对，并实现对知识图谱对齐过程。然而，在通过上述方法进行多模态实体对齐时，通常会因为同一实体对应的多种模态之间的差异性，将属于同一事物的两个实体对应的模态信息直接进行对齐，但个别模态对应的信息进行对齐后，容易引入噪声进而造成实体对齐性能的下降。
35.本技术实施例中，提供了一种知识图谱对齐方法，能够有选择地引入视觉信息，从而增强多模态知识图谱的对齐效果。针对本技术训练得到的知识图谱对齐方法，在应用时包括如下场景中的至少一种。
36.一、应用于医学领域中
37.知识图谱因其结构化、形象化的特点，被广泛应用于众多领域中，示意性的，在医学领域，将关联的医学名词作为实体节点，将医学名词之间的关联关系作为连接实体节点的边，根据实体节点以及边构成医学知识图谱，在实体节点上还可以连接与实体节点相关的图像等其他模态信息，得到多模态的医学知识图谱。对多模态知识图谱进行对齐，有利于扩大知识图谱的规模，提高知识图谱的模态覆盖范围。然而，通常来讲，在将多模态知识图谱进行对齐时，图像等其他多媒体模态信息很容易为知识图谱的对齐过程造成干扰。采用上述知识图谱对齐方法，提取知识图谱实体节点对应图像的视觉特征，基于实体节点的实体类别确定视觉特征是否参与特征表示的确定过程，进而差异性地考虑视觉特征对知识图谱对齐效果的影响，在提升多模态知识图谱对齐效果的同时，得到对齐后规模更大的目标知识图谱。
38.二、应用于信息检索系统中
39.示意性的，当知识图谱应用于信息检索领域时，不同的信息以实体节点的形式存在，信息之间的关联关系以边的形式存在，为了生动表示不同信息，可以为信息连接不同模态，从而发挥信息中不同模态的互补性。在扩大信息覆盖范围时，通常对知识图谱进行对齐操作。然而，通常来讲，在将连接有多种模态的知识图谱进行对齐时，图像等其他多媒体模态信息很容易对知识图谱的对齐过程造成干扰。采用上述知识图谱对齐方法，提取知识图谱实体节点对应图像的视觉特征，基于实体节点的实体类别确定视觉特征是否参与特征表示的确定过程，进而差异性地考虑视觉特征对知识图谱对齐效果的影响，在得到多种模态的目标知识图谱的同时，充分提高了获得信息的有效性。
40.值得注意的是，上述应用场景仅为示意性的举例，本实施例提供知识图谱对齐方法还可以应用于其他场景中，本技术实施例对此不加以限定。
41.需要说明的是，本技术所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本技术中涉及到的医学信息等都是在充分授权的情况下获取的。
42.其次，对本技术实施例中涉及的实施环境进行说明，示意性的，请参考图1，该实施环境中涉及终端110、服务器120，终端110和服务器120之间通过通信网络130连接。
43.在一些实施例中，终端110用于向服务器120发送待对齐知识图谱(包括：第一知识图谱和第二知识图谱)。在一些实施例中，终端110中安装有具有知识图谱获取功能、知识图谱构建功能的应用程序。
44.本技术实施例提供的知识图谱对齐方法可以由终端110单独执行实现，也可以由服务器120执行实现，或者由终端110和服务器120通过数据交互实现，本技术实施例对此不加以限定。本实施例中，以终端110通过具有知识图谱构建功能的应用程序获取得到知识图谱后，向服务器120发送待进行对齐的知识图谱，由服务器120根据第一知识图谱和第二知识图谱，得到目标知识图谱。以将第一知识图谱和第二知识图谱进行对齐得到目标知识图谱的过程为例进行说明。
45.可选地，服务器120在接收到终端110发送的待对齐知识图谱后，对第一知识图谱和第二知识图谱中与实体节点所连接的图像进行视觉特征提取，也即：对第一知识图谱中与多个第一实体节点相连接的第一图像进行视觉特征提取，得到与每个第一图像对应的第一视觉特征；对第二知识图谱中与多个第二实体节点相连接的第二图像进行视觉特征提取，得到与每个第二图像对应的第二视觉特征；对第一视觉特征和第二视觉特征分别进行判断，确定第一视觉特征和第二视觉特征是否参与特征表示的确定过程中，且确定各自特征表示的过程是独立进行的。基于特征表示的确定过程，得到第一知识图谱对应的第一特征表示，以及第二知识图谱对应的第二特征表示，基于第一特征表示和第二特征表示，确定第一实体节点和第二实体节点之间的相似度，进而基于相似度得到对齐后的目标知识图谱，完成第一知识图谱和第二知识图谱的对齐过程。
46.值得注意的是，上述终端包括但不限于手机、平板电脑、便携式膝上笔记本电脑、智能语音交互设备、智能家电、车载终端等移动终端，也可以实现为台式电脑等；上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
47.其中，云技术(cloud technology)是指在广域网或局域网内将硬件、应用程序、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系
统后盾支撑，只能通过云计算来实现。
48.在一些实施例中，上述服务器还可以实现为区块链系统中的节点。
49.结合上述名词简介和应用场景，对本技术提供的知识图谱对齐方法进行说明，以该方法应用于服务器为例，如图2所示，该方法包括如下步骤210至步骤250。
50.步骤210，获取第一知识图谱和第二知识图谱。
51.知识图谱是一种基于图的数据结构，由实体节点和边组成，每个实体节点用于指示一个实体，每条边用于指示实体与实体之间的关系或属性。示意性的，实体是指具可区别性且独立存在的某种事物，例如：某一个人、某一座城市、某一种植物等、某一件商品等，实体是知识图谱中的最基本元素，不同的实体间存在不同的关系，不同的关系即采用不同的边进行表示。也即：知识图谱是由一些相互连接的实体以及不同实体各自对应的属性构成的。可选地，不同的实体及其对应的属性组成一条条知识，每条知识表示为一个三元组形式，例如：a实体节点与b实体节点之间存在c关系，将a实体节点、b实体节点以及c关系视为一个三元组。
52.其中，第一知识图谱和第二知识图谱为不同的知识图谱，例如：第一知识图谱和第二知识图谱中实体节点的文本内容不同；或者，第一知识图谱和第二知识图谱中实体节点的数量不同等。示意性的，本技术实施例对第一知识图谱和第二知识图谱的大小、内容等不作限定。
53.可选地，第一知识图谱中的实体节点为第一实体节点，第二知识图谱中的实体节点为第二实体节点，知识图谱是基于实体节点之间的关联关系而构建得到的结构。示意性的，第一实体节点和第二实体节点对应有实体类别，基于实体节点之间的关联关系，第一知识图谱中若干第一实体节点之间的实体类别相似或者相同；第二知识图谱中若干第二实体节点之间的实体类别相似或者相同。
54.可选地，知识图谱中实体节点对应的实体类别的确定包括如下至少一种方式。
55.(1)实体类别为预先确定的类别形式
56.可选地，在获取知识图谱的同时，确定知识图谱中每一个实体节点对应的实体类别。示意性的，如图3所示，为一个知识图谱，其中，级别(level)用于指示实体类别，其中，级别3中包括实体类别人物310，级别4从属于级别3，其中包括实体类别音乐家320以及实体类别运动员330，在音乐家320下，包括两个实体节点，分别为钢琴家321以及小提琴家322；在运动员330下，包括一个实体节点，为冰球运动员331。钢琴家321下以a钢琴家进行举例，小提琴家322下以b小提琴家进行举例。以上实体类别是在获取知识图谱的同时，获取得到的类别形式。
57.(2)实体类别为基于实体节点确定的类别形式
58.示意性的，获取知识图谱后，对知识图谱中的实体节点进行语义分析，确定实体节点的语义信息，基于语义信息，确定不同实体节点对应的类别，从而确定实体节点的类别形式。
59.值得注意的是，以上仅为示意性的举例，本技术实施例对此不加以限定。
60.可选地，根据第一知识图谱中第一实体节点的实体类别，可以大致确定第一知识图谱的图谱类别；根据第二知识图谱中第二实体节点的实体类别，可以大致确定第二知识图谱的图谱类别。示意性的，如图4所示，为一个示意性的根据搜索实体400(例如：搜索实体
400为糖尿病)得到第一知识图谱的界面示意图，该第一知识图谱中第一实体节点的实体类别与医学相关，则可以将该第一知识图谱的图谱归类为医学类别，该第一知识图谱为医学知识图谱，例如：糖尿病410为该医学知识图谱的根节点，痛风420、妊娠期糖尿病430等实体节点为与糖尿病410具有关联关系的节点，其中，痛风420与糖尿病410的关系为“原发症421”，用于指示糖尿病410为痛风420的原发症状表现，妊娠期糖尿病430与糖尿病410的关系为“修饰上位词431”用于指示糖尿病410为妊娠期糖尿病430的修饰上位词等；或者，第一知识图谱中第一实体节点的实体类别与农业相关，则第一知识图谱的图谱类别为农业类别，第一知识图谱为农业图谱等。示意性的，第一知识图谱与第二知识图谱为类别相同，但实体内容或实体数量不同的知识图谱。
61.可选地，将知识图谱中的实体节点与各种模态的数据进行连接后，得到多模态知识图谱。与传统的知识图谱相比，多模态知识图谱构建了多种模态(例如：视觉模态、听觉模态等)下的实体，以及多种模态实体之间的多模态语义关系。
62.其中，模态是信息的来源或形式，示意性的，每一种信息的来源或形式都可以称为一种模态。例如：信息媒介包括语音、图片、文字等。
63.以图像模态为例进行说明，根据多个实体节点之间的关联性，得到由多个实体节点组成的知识图谱后，在知识图谱的每一个实体节点上，连接至少一个图像，得到多模态知识图谱，其中，该多模态知识图谱中的模态包括文字(实体节点的文本内容)和图像；或者，以视频模态为例进行说明，在知识图谱的每一个实体节点上，连接至少一个视频，得到多模态知识图谱，其中，该多模态知识图谱中的模态包括文字和视频等。
64.值得注意的是，以上仅为示意性的举例，本技术实施例对此不加以限定。
65.在一个可选的实施例中，第一知识图谱中包括连接有第一图像的第一实体节点，第二知识图谱中包括连接有第二图像的第二实体节点。
66.示意性的，第一知识图谱和第二知识图谱为多模态知识图谱，在第一知识图谱中的至少一个第一实体节点上，连接与该第一实体节点语义相关的第一图像，得到连接有第一图像的第一实体节点。例如：第一实体节点的文本内容为“狗”，与该第一实体节点相连接的第一图像为一幅“狗”的图像；或者，第一实体节点的文本内容为“x乐队”，与该第一实体节点相连接的第一图像为乐队的表演图像、乐队的名称图标(logo)等。同理，在第二知识图谱的至少一个第一实体节点上，连接与该第二实体节点语义相关的第二图像，得到连接有第二图像的第二实体节点。
67.可选地，在第一知识图谱的每一个第一实体节点上，连接一幅第一图像；在第二知识图谱的每一个第二实体节点上，连接一幅第二图像。以上仅为示意性的举例，本技术实施例对此不加以限定。
68.步骤220，提取第一图像的第一视觉特征；提取第二图像的第二视觉特征。
69.可选地，采用视觉特征提取器，对第一实体节点对应的第一图像以及第二实体节点对应的第二图像进行视觉特征提取。
70.示意性的，对第一图像进行视觉特征提取以及对第二图像进行视觉特征提取的过程，既可以采用分别提取的方法进行，也可以采用同时提取的方法进行。例如：对第一图像进行视觉特征提取得到第一图像对应的第一视觉特征后，对第二图像进行视觉特征提取，得到第二图像对应的第二视觉特征；或者，对第二图像进行视觉特征提取得到第二图像对
应的第二视觉特征后，对第一图像进行视觉特征提取，得到第一图像对应的第一视觉特征；或者，对第一图像进行视觉特征提取的同时，对第二图像进行视觉特征提取，从而得到第一图像对应的第一视觉特征以及第二图像对应的第二视觉特征。
71.可选地，上述同时提取的方法至少包括如下两种提取形式：(1)将第一图像和第二图像输入不同的视觉特征提取器，并从不同的视觉特征提取器的输出中，同时得到第一图像对应的第一视觉特征，以及第二图像对应的第二视觉特征。例如：将第一图像输入视觉特征提取器a中，并将第二图像输入视觉特征提取器b中，对视觉特征提取器a和视觉特征提取器b的输出进行同时获取，得到第一图像对应的第一视觉特征，以及第二图像对应的第二视觉特征；(2)将第一图像和第二图像输入同一个视觉特征提取器，并从该视觉特征提取器的输出中，同时得到第一图像对应的第一视觉特征，以及第二图像对应的第二视觉特征。例如：将第一图像和第二图像输入视觉特征提取器c中，并从视觉特征提取器c的输出中同时获取第一图像对应的第一视觉特征，以及第二图像对应的第二视觉特征。
72.示意性的，采用残差网络(resnet)对第一图像和第二图像进行视觉特征提取，例如：采用152层的残差网络(resnet-152)，对第一图像和第二图像进行视觉特征提取。可选地，提取resnet-152模型结构中最后一层池化层的输出特征，根据该输出特征，得到图像对应的视觉特征。
73.示意性的，以将第一图像输入resnet-152模型为例进行说明。在将第一图像输入resnet-152模型后，提取resnet-152模型结构中最后一层池化层的输出特征，将该输出特征经过一层线性映射后，得到第一图像对应的第一视觉特征。其中，线性映射的映射公式如下所示。
74.ev＝wv·
resnet(i) bv75.其中，ev用于指示第一图像对应的第一视觉特征；wv用于指示线性映射的斜率，为预先确定的参数；resnet(i)用于指示resnet-152模型结构中最后一层池化层的输出特征；bv用于指示线性映射的截距，为预先确定的参数。
76.示意性的，基于上述视觉特征的提取方法，得到第二图像对应的第二视觉特征。
77.可选地，视觉特征提取器还可以采用深度学习卷积神经网络(alexnet)、视觉几何模型(vgg，visual geometry group)等其他卷积神经网络，本技术实施例对此不加以限定。
78.步骤230，基于实体类别确定第一视觉特征的第一参与关系和第二视觉特征的第二参与关系。
79.示意性的，实体类别包括第一实体节点对应的第一实体类别以及第二实体节点对应的第二实体类别，通过第一实体类别，可以确定第一视觉特征对应的第一参与关系；通过第二实体类别，可以确定第二视觉特征对应的第二参与关系。
80.其中，第一参与关系和第二参与关系用于指示视觉特征在特征表示确定过程中的参与情况。
81.可选地，通过特征表示确定过程得到的特征表示，用于指示参与第一知识图谱与第二知识图谱对齐过程中的特征。示意性的，以第一参与关系表示第一视觉特征在特征表示确定过程中的参与情况；以第二参与关系表示第二视觉特征在特征表示中的参与情况。
82.其中，参与情况包括如下至少一种情形：(1)视觉特征参与特征表示的确定过程；(2)视觉特征不参与特征表示的确定过程。
83.示意性的，参与第一知识图谱与第二知识图谱对齐过程中的特征包括视觉特征，例如：参与第一知识图谱与第二知识图谱对齐过程中的特征为视觉特征和结构化特征；或者，参与第一知识图谱与第二知识图谱对齐过程中的特征不包括视觉特征，例如：参与第一知识图谱与第二知识图谱对齐过程中的特征为结构化特征，或结构化特征与文本特征等。
84.示意性的，第一参与关系与第二参与关系是基于实体类别以及预测类别得到的结果。
85.在一个可选的实施例中，采用图像分类模型对第一图像和第二图像进行类别预测，得到第一图像对应的第一预测类别以及第二图像对应的第二预测类别。
86.其中，图像分类模型为预先训练得到的分类模型，用于实现图像分类功能。可选地，以resnet-152为预训练模型，采用dbp15k数据集，其中包括15k(即：15000)个欲对齐实体，采用4个不同语言(英文、法文、日语以及中文)进行表示的知识图谱，将4个知识图谱中所有实体、所有实体对应的实体类别以及所有实体对应的图像作为训练数据，对resnet-152模型进行微调，微调的任务设定为：模型的输入为实体对应的图像，模型输出的预测结果为实体的预测类别。基于上述训练过程，得到图像分类模型。
87.示意性的，在得到第一图像和第二图像后，可以将第一知识图谱对应的第一图像和第二知识图谱对应的第二图像分别进行预测；此外，考虑到视觉特征对应的视觉信息的一致性是跨知识图谱的，或者说，视觉信息的一致性并不会随着知识图谱的改变而改变，故也可以将第一知识图谱对应的第一图像和第二知识图谱对应的第二图像汇总成一份验证数据，将汇总得到的图像集输入图像分类模型，对图像集中的多个第一图像和多个第二图像分别进行分类预测。
88.可选地，基于图像分类模型，得到对第一图像进行类别预测后的至少一个第一预测类别，以及对第二图像进行类别预测后的至少一个第二预测类别。
89.在一个可选的实施例中，基于第一预测类别和第一实体类别确定第一视觉特征的第一参与关系。
90.示意性的，第一实体类别为预先确定的类别形式，在得到第一图像对应的第一预测类别后，将第一预测类别与第一实体节点对应的第一实体类别进行比较，确定第一预测类别与第一实体类别之间的差异程度。
91.可选地，根据第一预测类别与第一实体类别之间的差异程度，可以确定第一图像对第一实体节点在对齐过程中的影响程度，例如：当第一预测类别与第一实体类别之间的差异程度较大时，代表第一图像对第一实体节点在对齐过程中的影响较差，当忽略第一图像对第一实体节点的干扰时，容易引入噪声导致对齐效果变差；同理，当第一预测类别与第一实体类别之间的差异程度较小时，代表第一图像对第一实体节点在对齐过程中的不利影响较少，忽略第一图像对第一实体节点的干扰不太会影响第一实体节点的对齐效果等。
92.也即，基于第一视觉特征对第一实体节点在对齐过程中的影响程度，确定第一视觉特征对应的第一参与关系。
93.在一个可选的实施例中，基于第二预测类别和第二实体类别确定第二视觉特征的第二参与关系。
94.示意性的，采用与确定第一参与关系相同的方式，对第二视觉特征的第二参与关系进行确定，也即，同样考虑第二视觉特征对第二实体节点在对齐过程中的影响程度，确定
第二视觉特征对应的第二参与关系。
95.针对上述基于预测类别和实体类别确定第一参与关系和第二参与关系的过程，在如下步骤510至步骤530进行详述。
96.步骤240，基于第一参与关系确定第一实体节点的第一特征表示；基于第二参与关系确定第二实体节点的第二特征表示。
97.其中，第一参与关系与第一视觉特征相关联，用于指示第一视觉特征在第一特征表示确定过程中的参与情况，例如：当第一视觉特征不符合第一特征表示确定过程中进行参与的参与条件，则在确定第一特征表示时，将第一视觉特征予以剔除，即：不考虑第一视觉特征对第一实体节点对齐过程中的影响；或者，当第一视觉特征符合第一特征表示确定过程中进行参与的参与条件，则在确定第一特征表示时，对第一视觉特征予以保留，即：考虑第一视觉特征对第一实体节点对齐过程中的影响。
98.示意性的，在对第一视觉特征予以剔除后，从第一实体节点的其他特征中，选取至少一个特征作为第一特征表示，例如：选取第一实体节点对应的结构化特征，作为第一特征表示；或者，选取第一实体节点对应的邻域特征，作为第一特征表示；或者，选取第一实体节点对应的关系特征和结构化特征，作为第一特征表示等。
99.示意性的，在对第一视觉特征予以保留后，从第一实体节点的其他特征中，选取至少一个其他特征，将第一视觉特征以及至少一个其他特征作为第一特征表示(即：第一特征表示中包括第一视觉特征和至少一个其他特征)，例如：选取第一实体节点对应的结构化特征，将第一视觉特征以及结构化特征作为第一特征表示；或者，选取第一实体节点对应的关系特征和结构化特征，将第一视觉特征、关系特征和结构化特征作为第一特征表示等。
100.同理，第二参与关系与第二视觉特征相关联，用于指示第二视觉特征在第二特征表示确定过程中的参与情况。基于上述第一特征表示的确定方法，基于第二参与关系确定第二实体节点的第二特征表示。
101.值得注意的是，以上仅为示意性的举例，本技术实施例对此不加以限定。
102.步骤250，获取第一特征表示和第二特征表示之间的相似度，确定第一实体节点和第二实体节点的对齐结果，得到对齐后的目标知识图谱。
103.示意性的，基于第一参与关系的不同，会确定不同的第一特征表示；同理，基于第二参与关系的不同，会确定不同的第二特征表示，且，第一参与关系和第二参与关系与视觉特征相关。
104.在一个可选的实施例中，基于第一特征表示和第二特征表示中被选定参与的视觉特征，确定第一特征表示和第二特征表示之间的相似度。
105.例如：第一特征表示中包括第一视觉特征，第二特征表示中包括第二视觉特征；或者，第一特征表示中包括第一视觉特征，第二特征表示中不包括第二视觉特征；或者，第一特征表示中不包括第一视觉特征，第二特征表示中包括第二视觉特征；或者，第一特征表示中不包括第一视觉特征，第二特征表示中不包括第二视觉特征。
106.可选地，相似度包括第一相似度和第二相似度。
107.在一个可选的实施例中，响应于第一特征表示中不包括第一视觉特征，且第二特征表示中不包括第二视觉特征，采用第一相似算法确定第一特征表示和第二特征表示之间的第一相似度。
108.可选地，以考虑结构化特征和视觉特征对实体节点对齐过程中的影响为例进行说明。示意性的，当第一特征表示中不包括第一视觉特征，则第一特征表示为第一实体节点对应的第一结构化特征；当第二特征表示中不包括第二视觉特征，则第二特征表示为第二实体节点对应的第二结构化特征。
109.示意性的，基于第一特征表示中不包括第一视觉特征，且第二特征表示中不包括第二视觉特征，采用第一相似算法确定第一结构化特征(第一特征表示)和第二结构化特征(第二特征表示)之间的第一相似度。
110.在一个可选的实施例中，响应于第一特征表示中包括第一视觉特征，或者，第二特征表示中包括第二视觉特征，采用第二相似算法确定第一特征表示和第二特征表示之间的第二相似度。
111.示意性的，第一特征表示中包括第一视觉特征，或者，第二特征表示中包括第二视觉特征，用于指示三种组合形式，包括：(1)第一特征表示中包括第一视觉特征，第二特征表示中包括第二视觉特征；(2)第一特征表示中包括第一视觉特征，第二特征表示中不包括第二视觉特征；(3)第一特征表示中不包括第一视觉特征，第二特征表示中包括第二视觉特征。
112.可选地，以考虑结构化特征和视觉特征对实体节点对齐过程中的影响为例进行说明。示意性的，基于上述三种组合情况，采用第二相似算法确定第一特征表示(第一结构化特征和第一视觉特征)以及第二特征表示(第二结构化特征和第二视觉特征)之间的第一相似度。
113.其中，第一相似算法与第二相似算法不同。示意性的，基于上述划分方式，将第一相似算法和第二相似算法采用如下的条件函数进行表示。
[0114][0115]
其中，i用于指示第一知识图谱对应的第一实体节点；j用于指示第二知识图谱对应的第二实体节点；sim
ij
用于指示第一实体节点和第二实体节点之间的相似度；w用于指示预设参数；用于指示第一实体节点和第二实体节点之间在结构化特征上的余弦相似性(即：第一结构化特征与第二结构化特征的余弦相似性)；用于指示第一实体节点和第二实体节点之间在视觉特征上的余弦相似性(即：第一视觉特征与第二视觉特征的余弦相似性)；pos
ij
用于指示第一实体节点和第二实体节点之间的类别判断条件。
[0116]
示意性的，pos
ij
的定义公式如下所示。
[0117][0118]
其中，用于指示第一实体节点对应的实体掩码(基于第一参与关系确定得到)；用于指示第二实体节点对应的实体掩码(基于第二参与关系确定得到)。
[0119]
值得注意的是，以上仅为示意性的举例，本技术实施例对此不加以限定。
[0120]
在一个可选的实施例中，基于相似度，确定第一实体节点和第二实体节点的对齐结果。
[0121]
示意性的，对第一知识图谱中包括的每一个第一实体节点进行上述操作后，确定每一个第一实体节点对应的第一特征表示，从而确定每一个第一实体节点对应的第一图像的第一视觉特征是否参与相似度确定过程；同理，对第二知识图谱中包括的每一个第二实体节点进行上述操作后，确定每一个第二实体节点对应的第二特征表示，从而确定每一个第二实体节点对应的第二图像的第二视觉特征是否参与相似度确定过程。
[0122]
可选地，以第一实体节点对应的第一知识图谱为标准知识图谱。
[0123]
其中，标准知识图谱用于指示将第二知识图谱对齐至第一知识图谱上，基于知识图谱对齐又称作实体对齐，将第二知识图谱对齐至第一知识图谱，也指示将第二知识图谱对应的第二实体节点对齐至第一知识图谱对应的第一实体节点上。可选地，基于对齐方向的不同，可能会得到不同的对齐结果，进而得到不同的标准知识图谱。
[0124]
也即：在确定每一个第一实体节点对应的第一特征表示以及每一个第二实体节点对应的第二特征表示后，将第一实体节点与第二实体节点两两组合，基于第一实体节点对应的第一特征表示以及第二实体节点对应的第二特征表示，从第一相似算法和第二相似算法中，确定用于对第一特征表示和第二特征表示进行处理的相似算法，从而确定每一个第一实体节点与每一个第二实体节点之间相似度情况。
[0125]
响应于相似度达到预设相似度条件，将第二实体节点对齐至第一实体节点，实现将第二知识图谱对齐至第一知识图谱的对齐过程。
[0126]
相似度条件用于指示第一实体节点与第二实体节点之间的相似度条件。示意性的，将相似度最高作为预设相似度条件。例如：以第一知识图谱为标准知识图谱，确定第一知识图谱中第一实体节点a的第一特征表示a，确定第二知识图谱中每一个第二实体节点的第二特征表示，根据第一特征表示a与每一个第二实体节点的第二特征表示，分别采用对应的相似算法(第一相似算法或第二相似算法)进行相似度计算，从而确定第一实体节点a与每一个第二实体节点之间的相似度，从多个相似度中，确定最高相似度对应的第二实体节点b，将第二实体节点对齐至第一实体节点a上，实现将第二知识图谱对齐至第一知识图谱的过程，完成知识图谱的对齐过程。
[0127]
值得注意的是，以上仅为示意性的举例，本技术实施例对此不加以限定。
[0128]
综上所述，提取待对齐的知识图谱中实体节点对应图像的视觉特征，基于实体类别确定视觉特征是否参与特征表示的确定过程，根据视觉特征的参与情况，差异性地考虑视觉特征对知识图谱对齐效果的影响，进而得到对齐后的目标知识图谱。通过上述方法，可以在对多模态知识图谱进行对齐时，考虑多种模态对知识图谱对齐过程中的影响，例如：在对包括图像信息的多模态知识图谱进行对齐时，考虑到实体类别相同或相似的实体节点所对应的图像之间的差异，为了避免对齐过程中个别图像信息干扰所引起的噪音，对图像对应的视觉特征进行差异性地考虑，在知识图谱的对齐过程中，有选择地引入视觉信息，从而有效提升实体对齐的性能，增强多模态知识图谱的对齐效果。
[0129]
在一个可选的实施例中，第一参与关系是根据第一实体节点的第一实体类别和第一实体节点对应的第一预测类别确定的；第二参与关系是根据第二实体节点的第二实体类别和第二实体节点对应的第二预测类别确定的。示意性的，如图5所示，上述图2所示出的实
施例中的步骤230还可以实现为如下步骤510至步骤530。
[0130]
步骤510，采用图像分类模型对第一图像和第二图像进行类别预测，得到第一图像对应的第一预测类别以及第二图像对应的第二预测类别。
[0131]
其中，图像分类模型为实现图像分类功能的已训练模型。
[0132]
示意性的，在得到第一图像和第二图像后，将第一图像和第二图像输入图像分类模型后，输出得到对第一图像进行类别预测后的至少一个第一预测类别，以及对第二图像进行类别预测后的至少一个第二预测类别。
[0133]
步骤520，结合第一预测类别和第一实体类别，确定第一实体节点的第一类别冲突值；结合第二预测类别和第二实体类别，确定第二实体节点的第二类别冲突值。
[0134]
类别冲突值用于指示实体节点的预测类别与该实体节点的实体类别之间的差异度。可选地，实体类别为预先标注的类别信息。
[0135]
示意性的，采用预先训练得到的图像分类模型，将第一实体节点对应的第一图像输入该图像分类模型，该图像分类模型输出结果为该实体节点对应图像的至少一个预测类别。示意性的，采用resnet152模型作为图像分类模型，基于resnet模型的特点，输出结果为第一实体节点对应的第一图像的预测概率中最高的5个(top5)预测类别，分别为预测类别p1；预测类别p2；预测类别p3；预测类别p4以及预测类别p5。
[0136]
可选地，实体类别对应有类别根节点，类别根节点用于指示至少两种实体类别所属的上级类别。示意性的，如图3所示，级别3中包括实体类别人物310，级别3隶属级别2，级别2隶属于级别1(其中，级别2与级别1未在图3中示出)。示意性的，级别1即为实体类别对应的类别根节点。
[0137]
在一个可选的实施例中，确定从第一预测类别遍历至类别根节点的第一路径类别集合；确定从第一实体类别遍历至类别根节点的第二路径类别集合；基于第一路径类别集合和第二路径类别集合中实体类别的重合比例，确定第一类别冲突值。
[0138]
其中，第一路径类别集合用于指示从第一预测类别遍历至类别根节点的路径上的实体类别集合；第二路径类别集合用于指示从第一实体类别遍历至类别根节点的路径上的实体类别集合。
[0139]
示意性的，如图3所示，类别根节点为级别1对应的实体类别x，第一实体节点对应的第一实体类别为小提琴家322；当对第一实体节点进行类别预测后，确定第一实体节点的第一预测类别为钢琴家321；则确定从钢琴家321(第一预测类别)遍历至实体类别x(类别根节点)的第一路径类别集合，并确定从小提琴家322(第一实体类别)遍历至实体类别x(类别根节点)的第二路径类别集合。
[0140]
例如：第一路径类别集合对应为a路径和b路径，a路径为：钢琴家321—音乐家320—人物310—级别2中的实体类别1—实体类别x，则第一路径类别集合；b路径为：钢琴家321—音乐家320—人物310—级别2中的实体类别2—实体类别x，则第一路径类别集合为：钢琴家321、音乐家320、人物310、级别2中的实体类别1、级别2中的实体类别2以及实体类别x。
[0141]
第二路径类别集合对应为c路径和d路径，c路径为：小提琴家322—音乐家320—人物310—级别2中的实体类别1—实体类别x；d路径为：小提琴家322—音乐家320—人物310—级别2中的实体类别2—实体类别x，则第二路径类别集合为：小提琴家322、音乐家
320、人物310、级别2中的实体类别1、级别2中的实体类别2以及实体类别x。
[0142]
可选地，确定第一路径类别集合和第二路径类别集合的集合交集；确定第一路径类别集合和第二路径类别集合的集合并集；基于集合交集中的类别数量集合并集中的类别数量之商，确定第一类别冲突值。
[0143]
示意性的，将第一路径类别集合对应的类别与第二路径类别集合对应的类别求交集后，得到的集合交集中包括：音乐家320、人物310、级别2中的实体类别1、级别2中的实体类别2以及实体类别x；将第一路径类别集合对应的类别与第二路径类别集合对应的类别求并集后，得到的集合交集中包括：钢琴家321、小提琴家322、音乐家320、人物310、级别2中的实体类别1、级别2中的实体类别2以及实体类别x。
[0144]
也即，集合交集中的类别数量为5；集合并集中的类别数量为7，将集合交集与集合并集进行相除操作，得到集合交集与集合并集之商为5/7。可选地，将1作为被减数，将集合交集与集合并集之商作为减数，得到第一类别冲突值。也即，第一实体节点对应的第一类别冲突值为2/7(1-5/7＝2/7)。
[0145]
可选地，将预测得到的5个第一实体节点对应的第一预测类别(p1,p2,p3,p4,p5)与该第一实体节点对应第一图像的第一实体类别g进行类别冲突值的计算，第一类别冲突值的结果表示为c[pi,g]，其中，i∈1,2,3,4,5。
[0146]
示意性的，第一类别冲突值的计算公式如下所示。
[0147][0148]
其中，s(pi)用于指示从第一预测类别pi遍历到根节点(owl:thing)的路径类别集合；s(g)用于指示从第一实体类别g遍历到根节点的路径类别集合；|
·
|用于指示集合度的测量。
[0149]
可选地，基于上述确定第一冲突值的方法，结合第二预测类别和第二实体类别，确定第二实体节点对应的第二类别冲突值。
[0150]
需要注意的是，对第一图像和第二图像进行图像分类时采用的图像分类模型既可以相同，也可以不同；此外，上述预测类别(第一预测类别、第二预测类别)的数量既可以相同，也可以不同。例如：图像分类模型输出的第一预测类别为5个，第二预测类别为3个；或者，图像分类模型输出的第一预测类别1个，第二预测类别为2个等。以上仅为示意性的举例，本技术实施例对此不加以限定。
[0151]
步骤530，基于第一类别冲突值，确定第一参与关系；基于第二类别冲突值，确定第二参与关系。
[0152]
示意性的，根据上述类别冲突值的计算公式，根据预测类别的数量差异，类别冲突值的数量相应不同。例如：预测类别为5个，将预测类别与实体类别进行类别冲突值计算，得到5个类别冲突值。
[0153]
在一个可选的实施例中，响应于第一类别冲突值符合预设冲突条件，确定第一视觉特征不参与至第一特征表示的确定过程中。
[0154]
示意性的，在得到第一类别冲突值后，判断第一类别冲突值与预设冲突条件是否吻合，从而确定第一图像对应的第一视觉特征是否参与第一特征表示的确定过程。
[0155]
其中，预设冲突条件为预先确定的冲突条件。例如：预设冲突条件为一个预设确定
的数值，当第一类别冲突值达到该数值时，意味着该第一图像的第一预测类别与第一实体类别差异较大，则对该第一类别冲突值对应的第一图像予以剔除。
[0156]
或者，将第一类别冲突值转化为掩码的形式，根据掩码状态，确定第一类别冲突值与预设冲突条件之间的关系。
[0157]
可选地，将第一类别冲突值的第一映射与预设参数进行比较。从至少一个第一类别冲突值中，确定目标类别冲突值；将目标类别冲突值与预设参数进行比较。
[0158]
其中，预设参数为预先设定的参数，该预设参数用于指示类别冲突度的阈值，也可以用于指示实体掩码的映射条件，可选地，在获取得到多个第一类别冲突值时，根据第一类别冲突值的数值大小，确定目标类别冲突值。例如：将第一类别冲突值中的最小值视为目标类别冲突值。基于目标类别冲突值的确定，将目标类别冲突值与预设参数进行比较。
[0159]
可选地，将第一类别冲突值中的最小值视为目标类别冲突值，如果预测类别与实际类别之间的类别冲突值映射的最小值不大于该预设参数，也即：
[0160]
min
1≤i≤k
{c[pi,g]}≤λ
[0161]
其中，pi用于指示第一预测类别；k用于指示第一预测类别的数量；g用于指示第一实体类别；c[pi,g]用于指示第一预测类别与第一实体类别之间的第一类别冲突值；{
·
}用于指示第一类别冲突值对应的第一映射。也即：上述公式用于度量第一类别冲突值是否达到实体掩码的映射效果。
[0162]
可选地，响应于第一类别冲突值的第一映射不大于预设参数，确定第一实体节点对应的第一实体掩码。
[0163]
示意性的，实体掩码采用0和1的形式进行表示，第一实体掩码用于指示“0”，当第一类别冲突值的第一映射不大于预设参数时，将第一类别冲突值对应的实体掩码设置为“0”，也即：当第一图像由图像分类模型得到的预测类别与实体类别的差异过大时，则将该第一图像视为实体对齐任务的噪音，因此将其实体掩码(mask)设置为0，即第一实体掩码。
[0164]
可选地，以第一实体掩码确定第一视觉特征不参与至第一特征表示的确定过程中。也即：在确定第一特征表示时，不考虑第一图像对应的第一视觉特征。
[0165]
在一个可选的实施例中，响应于第一类别冲突值不符合预设冲突条件，确定第一视觉特征参与至第一特征表示的确定过程中。
[0166]
可选地，将第一类别冲突值转化为掩码的形式，根据掩码状态，确定第一类别冲突值与预设冲突条件之间的关系。
[0167]
示意性的，将第一类别冲突值与预设参数进行比较；响应于第一类别冲突值小于预设参数，确定第一实体节点对应的第二实体掩码；以第二实体掩码确定第一视觉特征参与至第一特征表示的确定过程中。
[0168]
示意性的，预设参数为上述的预设参数条件，即将第一类别冲突值与预设参数进行比较，当第一预测类别与第一实际类别之间的类别冲突值映射的最小值大于该预设参数，将第一类别冲突值对应的实体掩码设置为“1”，也即：当第一图像由图像分类模型得到的预测类别与实体类别的差异较小时，将其实体掩码(mask)设置为1，即第二实体掩码。以第二实体掩码确定第一视觉特征参与至第一特征表示的确定过程中。
[0169]
值得注意的是，以上仅为示意性的举例，本技术实施例对此不加以限定。
[0170]
综上所述，提取待对齐的知识图谱中实体节点对应图像的视觉特征，基于实体类
别确定视觉特征是否参与特征表示的确定过程，根据视觉特征的参与情况，差异性地考虑视觉特征对知识图谱对齐效果的影响，进而得到对齐后的目标知识图谱。通过上述方法，可以在对多模态知识图谱进行对齐时，考虑多种模态对知识图谱对齐过程中的影响，例如：在对包括图像信息的多模态知识图谱进行对齐时，考虑到实体类别相同或相似的实体节点所对应的图像之间的差异，为了避免对齐过程中个别图像信息干扰所引起的噪音，对图像对应的视觉特征进行差异性地考虑，从而有效提升实体对齐的性能。
[0171]
在本技术实施提供的方法中，对第一参与关系和第二参与关系的确定过程进行说明，第一参与关系和第二参与关系用于指示视觉特征的参与情况。采用图像分类模型对第一图像和第二图像进行类别预测，得到第一图像对应的第一预测类别以及第二图像对应的第二预测类别；结合第一预测类别和第一实体节点对应的第一实体类别，可以确定代表第一预测类别和第一实体类别之间差异程度的第一类别冲突值；结合第二预测类别和第二实体节点对应的第二实体类别，可以确定代表第二预测类别和第二实体类别之间差异程度的第二类别冲突值，以第一类别冲突值和第二类别冲突值确定第一图像和第二图像对应的视觉特征是否参与特征表示的确定过程，也即，根据类别冲突值确定是否在特征表示的确定过程对第一图像、第二图像予以剔除。通过上述方法，考虑到图像对于特征表示确定过程的影响，从而有选择地引入视觉信息，有效提升实体对齐的性能，增强多模态知识图谱的对齐效果。
[0172]
在一个可选的实施例中，上述知识图谱对齐方法为应用于多模态知识图谱对齐过程中所采用的方法，又称为基于本体信息和图像去噪的对齐方法，其中包括两个主要部分：(一)视觉噪音的识别部分；(二)过滤视觉噪音的实体对齐训练及预测过程。
[0173]
(一)视觉噪音的识别部分
[0174]
示意性的，通常来自同一个实体类别的实体图像会在视觉上更加相似，而来自不同实体类别的实体图像则不一定相似。
[0175]
本体是语义数据模型，用于定义一定领域内事物的类型以及可用于描述它们的属性，属于广义的数据模型，这意味着本体仅某些属性事物的一般类型进行建模，而不包含该领域内某个具体实体的信息。
[0176]
示意性的，第一知识图谱与第二知识图谱用于指示相同领域的实体，虽然不同实体的领域相同，但不同实体之间的类别以及不同实体之间的语义仍然存在差异性。将多模态知识图谱定义为g＝(e,r,t,i)，其中，e,r,t,i分别表示实体集合、关系集合、三元组集合和图像集合，多模态实体对齐的任务目标则是找出所有的实体对{(e1,e2)|e1≡e2,e1∈e1,e2∈e2}。
[0177]
可选地，为了衡量本体结构信息中实体对应的语义差异性，对某一个实体对应图像的预测类别及真实类别的差异进行分析，基于差异分析结果，定义了一种类别冲突字典(ccd，class conflict dictionary)。
[0178]
可选地，在该类别冲突词典中，定义在类别本体v上不关联的类别集合d，该类别集合d定义如下。
[0179][0180]
其中，a用于指示任意选取的实体类别；b用于指示另一个任意选取的实体类别；
用于指示第一知识图谱和第二知识图谱中所有实体节点(第一实体节点和第二实体节点对应的全部实体类别；c1用于指示与实体类别a对应的多个根节点的实体类别(如：a为第三等级的实体类别，c1既包括与a直接连接的第二等级的实体类别，也包括与a间接连接的第一等级的实体类别)；c2用于指示与实体类别b对应的多个根节点的实体类别；用于指示c1的所有后代的集合；用于指示c2的所有后代的集合。
[0181]
可选地，如果在实体类别a与实体类别b中，任一个实体类别为另一个实体类别的上位或下位，如：实体类别a从属于实体类别b；或者，实体类别b从属于实体类别a，则定义实体类别a与实体类别b的类别冲突值为0，即：c[a,b]＝0。示意性的，如果实体类别a与实体类别b满足上述类别集合d的定义公式，则定义实体类别a与实体类别b的类别冲突值为1，即：c[a,b]＝1。
[0182]
可选地，若实体类别a与实体类别b均不满足上述两个条件，采用如下类别冲突值计算公式确定实体类别a与实体类别b的类别冲突值。
[0183][0184]
其中，s(a)用于指示从实体类别a遍历到根节点(owl：thing)的路径类别集合；s(b)用于指示从实体类别b遍历到根节点的路径类别集合；|
·
|用于指示集合度的测量。
[0185]
在一个可选的实施例中，当衡量得到任意两个类别的冲突值之后，根据冲突值确定实体掩码(entity mask)。将m
ei
定义为实体ei的实体掩码，并且m∈r
|e|
。
[0186]
可选地，定义当某个实体节点对应的图像为潜在噪音时，定义即：将实体掩码定义为0，对该实体节点对应的图像予以剔除；反之，当某个实体节点对应的图像并非为潜在噪音时，定义即：将实体掩码定义为1，对该实体节点对应的图像予以保留。
[0187]
需要注意的是，实体掩码是跟随某个知识图谱(该知识图谱对应的实体节点)，而非知识图谱对的，也即：上述实体掩码的计算过程可以前置在实体对齐任务之前进行。可选地，基于上述类别冲突值的计算方法，对确定某个单一知识图谱中实体掩码的过程进行介绍，也即：对实体节点对应的图像进行类别预测的过程。
[0188]
可选地，采用预先训练得到的图像分类模型，将实体节点对应的图像输入该图像分类模型，该图像分类模型输出结果为该实体节点对应图像的预测类别。示意性的，采用resnet152模型作为图像分类模型，基于resnet模型的特点，输出结果为该实体节点对应图像的5个(top5)预测类别(p1,p2,p3,p4,p5)。
[0189]
可选地，将预测得到的5个预测类别(p1,p2,p3,p4,p5)与该实体节点对应图像的实体类别g进行类别冲突值的计算，类别冲突值的结果表示为c[pi,g]，其中，i∈1,2,3,4,5。
[0190]
示意性的，基于如下判断公式，确定实体掩码。
[0191]
min
1≤i≤k
{c[pi,g]}≤λ
[0192]
其中，k为5，用于指示预测类别的数量；λ用于指示设定的超参数，用于度量类别冲突值是否达到实体掩码的映射。对于实体节点ei，若上述公式成立，则设置即：对
该实体节点ei对应的图像予以剔除，剔除的含义在于，当一个实体节点对应的图像由图像分类模型得到的预测类别与实体类别(本身的真实类别)相差过大，则这张图像大概率为在知识图谱进行实体对齐过程中的噪音，因此将其实体掩码设置为0，对该实体节点对应的图像予以剔除。
[0193]
(二)过滤视觉噪音的实体对齐训练及预测过程
[0194]
在一个可选的实施例中，为了更好地验证图像噪音过滤的效果，采用masked-mmea模型对至少两个模态的信息进行建模，也即：masked-mmea模型支持更多模态信息的建模与引入。
[0195]
可选地，以选择结构化信息以及图像信息的两种模态信息为例进行说明。对信息进行建模、训练以及预测的过程包括如下四个部分：(1)结构化信息建模；(2)图像信息的建模；(3)结构化模型及图像模型的训练；(4)结构化模型及图像模型的预测。
[0196]
(1)结构化信息建模
[0197]
示意性的，采用卷积图神经网络(gcn，graph convolutional network)对第一知识图谱以及第二知识图谱的结构化信息进行建模，其中一个多层的gcn模型中的第i层由第i 1层的特征进行更新。
[0198][0199]
其中，i是单位矩阵，a是一个表示指示图谱结构信息的矩阵；是的对角度矩阵(diagonal degree matrix)，w用于指示参数矩阵，用于指示激活函数(relu，rectified linear units)。
[0200]
示意性的，将第一知识图谱中若干的第一实体节点以及第二知识图谱中若干的第二实体节点作为gcn模型的输入将gcn的最后一层输出作为知识图谱中对应的实体节点结构化信息的特征向量。基于不同实体节点结构化信息的特征向量，得到第一知识图谱对应的第一结构化信息模型，以及第二知识图谱对应的第二结构化信息模型。
[0201]
(2)图像信息的建模
[0202]
可选地，采用resnet152作为视觉特征提取器，对第一知识图谱中第一实体节点对应的第一图像和第二知识图谱中第二实体节点对应的第二图像，进行视觉特征提取，也即：将第一图像和第二图像作为resnet152模型的输入，提取resnet152模型结构中的最后一层池化层的输出，并经过一层线性映射后得到第一图像和第二图像各自对应的视觉信息的特征向量。
[0203]
示意性的，线性映射的公式如下所示。
[0204]ev
＝wv·
resnet(i) bv[0205]
其中，ev用于指示第一图像对应的第一视觉特征；wv用于指示线性映射的斜率，为预先确定的参数；resnet(i)用于指示resnet-152模型结构中最后一层池化层的输出特征；bv用于指示线性映射的截距，为预先确定的参数。
[0206]
基于不同实体节点视觉信息的特征向量，得到第一知识图谱对应的第一视觉信息模型，以及第二知识图谱对应的第二视觉信息模型。
[0207]
(3)结构化模型及图像模型的训练
[0208]
示意性的，以第一知识图谱为目标知识图谱，将第二知识图谱对齐至第一知图谱
上，其中，第一知识图谱中实体节点的集合为e
t
；第二知识图谱中实体节点的集合为es，则对齐的实体集合采用如下公式进行表示。
[0209]
p＝{(e1,e2)|e1≡e2,e1∈e
t
,e2∈es}
[0210]
其中，e1用于指示第一知识图谱中的第一实体节点；e2用于指示第二知识图谱中的第二实体节点。
[0211]
可选地，基于噪音识别得到的实体掩码m，则也即，m中包括第一实体节点和第二实体节点对应的所有实体掩码值，则masked-mmea模型在结构化信息模态的训练损失函数如下所示。
[0212][0213]
其中，n用于指示实体节点的数量(每一个实体节点连接一幅图像，则n也是图像的数量)；i、m、n用于指示实体节点；α和β为预先确定的参数，是温标(temperature scales)；sim用于指示两个实体节点对应的特征向量的余弦相似性，其中用于指示两个实体节点对应的结构化特征向量的余弦相似性。
[0214]
示意性的，以上述结构化信息模态的训练损失函数对结构化模型进行训练。
[0215]
可选地，在视觉信息模态中，只有当待对齐的两个实体节点的实体掩码值(mask值)均为1时(即两个实体节点对应的图像都不视为潜在噪音)，将对应实体节点列入训练视觉模型的实体节点集合中。则视觉信息模态对应的实体节点的集合如下表示。
[0216][0217]
其中，p
′
集合中只包括了两个实体节点均为1的情况，也即p
′
集合小于上述的p集合。
[0218]
同理，基于上述结构化信息模态的训练损失函数，确定视觉信息模态的训练损失函数如下所示。
[0219][0220]
也即，将结构化信息对应特征向量的余弦相似性sim
(r)
，更换为视觉信息对应特征向量的余弦相似性sim
(v)
，得到视觉信息模态的训练损失函数。
[0221]
示意性的，以上述视觉信息模态的训练损失函数对视觉模型进行训练，从而排除干扰图像对视觉模型训练的影响。
[0222]
(4)结构化模型及图像模型的预测
[0223]
可选地，基于对结构化模型和视觉模型训练完成，以训练好的结构化模型对第一
知识图谱中的第一实体节点以及第二知识图谱中的第二实体节点进行结构化信息的相似性度量；以训练好的视觉模型对第一知识图谱中的第一图像以及第二知识图谱中的第二图像进行视觉信息的相似性度量。
[0224]
基于结构化信息的相似性度量过程，得到的结构化信息的相似性度量值如下所示。
[0225][0226]
基于视觉信息的相似性度量过程，得到的视觉信息的相似性度量值如下所示。
[0227][0228]
可选地，采用条件函数，对视觉噪音进行条件性过滤，条件函数如下所示。
[0229][0230]
其中，i用于指示第一知识图谱对应的第一实体节点；j用于指示第二知识图谱对应的第二实体节点；sim
ij
用于指示第一实体节点和第二实体节点之间的相似度；w用于指示预设参数；用于指示第一实体节点和第二实体节点之间在结构化特征上的余弦相似性(即：第一结构化特征与第二结构化特征的余弦相似性)；用于指示第一实体节点和第二实体节点之间在视觉特征上的余弦相似性(即：第一视觉特征与第二视觉特征的余弦相似性)；pos
ij
用于指示第一实体节点和第二实体节点之间的类别判断条件。
[0231]
示意性的，pos
ij
的定义公式如下所示。
[0232][0233]
通过条件函数，可以基于结构化信息的相似性度量值以及视觉信息的相似性度量值，确定用于实体节点对齐的目标相似性度量值。
[0234]
也即，在通过训练得到的结构化模型和视觉模型进行知识图谱对齐过程时的主要思想在于：对于实体ei和ej，如果两者的图像信息均不为噪音，则两者的相似性度量会同时考虑结构化信息和视觉信息；若其中任一的图像信息为噪音，则两者的相似性度量不考虑视觉信息，只考虑结构化信息，从而最大限度保证不会引入图像噪音。
[0235]
值得注意的是，上述采用结构化信息和视觉信息仅为一种示意性的方法，还可以采用结构化信息、视觉信息、属性信息；或者，采用结构化信息、视觉信息、关系信息等多种模态信息进行上知识图谱对齐过程。以上仅为示意性的举例，本技术实施例对此不加以限定。
[0236]
示意性的，如图6所示，为视觉噪音的识别以及过滤视觉噪音的实体对齐训练及预测过程示意图，其中，左侧虚线框610用于指示对视觉噪音进行识别得到实体掩码的过程；右侧虚线框620用于指示根据过滤视觉噪音的实体对齐训练及预测过程。
[0237]
示意性的，在左侧虚线框610中，首先获取第一实体节点对应的第一图像以及第二实体节点对应的第二图像，将第一图像和第二图像组成一个图像集合611，并将该图像集合
611输入图像分类模型612中，由图像分类模型612对图像集合611中的第一图像和第二图像分别进行分类预测，得到第一图像对应的第一预测类别以及第二图像对应的第二预测类别；根据第一预测类别与第一实体类别之间的差异确定第一类别冲突值，根据第二预测类别与第二实体类别之间的差异确定第二类别冲突值，根据第一类别冲突值和第二类别冲突值得到类别冲突词典613，并确定类别冲突词典613中第一类别冲突值对应的第一实体掩码以及第二类别冲突值对应的第二实体掩码。
[0238]
之后，在右侧虚线框620中，根据第一实体掩码以及第二实体掩码，差异性地对待视觉特征621，其中，视觉特征621以斜线框形式表示；结构化特征622以空白框形式表示，基于对第一知识图谱623以及第二知识图谱624中每一实体节点进行上述视觉特征分析过程，判断在进行相似度比较时，是否考虑视觉特征621。例如：当不需要考虑视觉特征621时，只将结构化特征622作为参与相似度比较的特征；或者，当需要考虑视觉特征621时，将视觉特征621以及结构化特征622作为参与相似度比较的特征。可选地，确定每一个实体节点与另一个知识图谱中其余实体节点的相似度，进而根据相似度确定实体节点的对齐结果，并最终实现第一知识图谱以及第二知识图谱的对齐过程。
[0239]
示意性的，为了验证上述知识图谱对齐方法的对齐效果，选择了三个数据集进行实验，分别为dbp15k的fr-en、ja-en、zh-en，同时选择共计10个基线对比模型来进行对比，其实验结果如下表所示。
[0240][0241]
表1
[0242]
其中，hits@1以及hits@10为采用链接分析算法(hit，hypertext-induced topic search)得到的推荐系统排序指标。
[0243]
由表1可知，对比横线上方的基线模型，masked-mmea在两种lambda超参值的情况下均表现出了更优性能。为了验证对齐任务中视觉信息的增益，另外实现了一个模型简单实体对齐(simpleea，simple entity alignment)，其仅采用结构化信息进行实体对齐任务。可以看到在所有数据集上，masked-mmea相较于simpleea表现出了9.8％到15.8％的hits@1指标提升，这也证明了有选择性地引入视觉信息可以有效提升实体对齐的性能。
[0244]
除了实体对齐任务性能的验证，还对第一阶段视觉噪音识别模型的实验进行了操作，其实验结果如下所示。
[0245][0246]
表2
[0247]
从表2可知，不用的数据集中有不同数量的实体类比(classes列)。可选地，对多种实体类别在本体信息结构中的分布进行分析后，可以大致归纳为4个根类别，分别为：人物(person)、组织(organization)、工作(work)、地点(place)。示意性的，4个根类别的分类准确率分别是person(0.91)、place(0.83)、organization(0.51)、work(0.52)。实体根类别为person和place的实体图片往往更加具有视觉区分度，即对于实体对齐任务来说有更多增益，而organization和work的实体图片在视觉信息上表现的不稳定，因此这些实体图片有很大概率会引入噪音。
[0248]
综上所述，提取待对齐的知识图谱中实体节点对应图像的视觉特征，基于实体类别确定视觉特征是否参与特征表示的确定过程，根据视觉特征的参与情况，差异性地考虑视觉特征对知识图谱对齐效果的影响，进而得到对齐后的目标知识图谱。通过上述方法，可以在对多模态知识图谱进行对齐时，考虑多种模态对知识图谱对齐过程中的影响，例如：在对包括图像信息的多模态知识图谱进行对齐时，考虑到实体类别相同或相似的实体节点所对应的图像之间的差异，为了避免对齐过程中个别图像信息干扰所引起的噪音，对图像对应的视觉特征进行差异性地考虑，在知识图谱的对齐过程中，有选择地引入视觉信息，从而有效提升实体对齐的性能，增强多模态知识图谱的对齐效果。
[0249]
图7是本技术一个示例性实施例提供的知识图谱对齐装置的结构框图，如图7所示，该装置包括如下部分：
[0250]
图谱获取模块710，用于获取第一知识图谱和第二知识图谱，所述第一知识图谱中包括连接有第一图像的第一实体节点，所述第二知识图谱中包括连接有第二图像的第二实体节点，所述第一实体节点和所述第二实体节点对应有实体类别；
[0251]
特征提取模块720，用于提取所述第一图像的第一视觉特征；提取所述第二图像的第二视觉特征；
[0252]
关系确定模块730，用于基于实体类别确定所述第一视觉特征的第一参与关系和所述第二视觉特征的第二参与关系，所述第一参与关系和所述第二参与关系用于指示视觉特征在特征表示确定过程中的参与情况；
[0253]
特征确定模块740，用于基于所述第一参与关系确定所述第一实体节点的第一特
征表示；基于所述第二参与关系确定所述第二实体节点的第二特征表示；
[0254]
相似度获取模块750，用于获取所述第一特征表示和所述第二特征表示之间的相似度，确定所述第一实体节点和所述第二实体节点的对齐结果，得到对齐后的目标知识图谱。
[0255]
在一个可选的实施例中，如图8所示，所述第一实体节点对应有第一实体类别，所述第二实体节点对应有第二实体类别；
[0256]
所述关系确定模块730包括：
[0257]
类别预测单元731，用于采用图像分类模型对所述第一图像和所述第二图像进行类别预测，得到所述第一图像对应的第一预测类别以及所述第二图像对应的第二预测类别，所述图像分类模型为预先训练得到的分类模型；
[0258]
第一确定单元732，用于基于所述第一预测类别和所述第一实体类别确定所述第一视觉特征的所述第一参与关系；
[0259]
第二确定单元733，用于基于所述第二预测类别和所述第二实体类别确定所述第二视觉特征的所述第二参与关系。
[0260]
在一个可选的实施例中，所述第一确定单元732还用于结合所述第一预测类别和所述第一实体类别，确定所述第一实体节点的第一类别冲突值；基于所述第一类别冲突值，确定所述第一参与关系；
[0261]
所述第二确定单元733还用于结合所述第二预测类别和所述第二实体类别，确定所述第二实体节点的第二类别冲突值；基于所述第二类别冲突值，确定所述第二参与关系。
[0262]
在一个可选的实施例中，所述实体类别对应有类别根节点，所述类别根节点用于指示至少两种实体类别所属的上级类别；
[0263]
所述第一确定单元732还用于确定从所述第一预测类别遍历至所述类别根节点的第一路径类别集合，所述第一路径类别集合用于指示从所述第一预测类别遍历至所述类别根节点的路径上的实体类别集合；确定从所述第一实体类别遍历至所述类别根节点的第二路径类别集合，所述第二路径类别集合用于指示从所述第一实体类别遍历至所述类别根节点的路径上的实体类别集合；基于所述第一路径类别集合和所述第二路径类别集合中实体类别的重合比例，确定所述第一类别冲突值。
[0264]
在一个可选的实施例中，所述第一确定单元732还用于确定所述第一路径类别集合和所述第二路径类别集合的集合交集；确定所述第一路径类别集合和所述第二路径类别集合的集合并集；基于所述集合交集中的类别数量与所述集合并集中的类别数量之商，确定所述第一类别冲突值。
[0265]
在一个可选的实施例中，所述第一确定单元732还用于响应于所述第一类别冲突值符合预设冲突条件，确定所述第一视觉特征不参与至所述第一特征表示的确定过程中；响应于所述第一类别冲突值不符合所述预设冲突条件，确定所述第一视觉特征参与至所述第一特征表示的确定过程中。
[0266]
在一个可选的实施例中，所述第一确定单元732还用于将所述第一类别冲突值与预设参数进行比较；响应于所述第一类别冲突值不大于所述预设参数，确定所述第一实体节点对应的第一实体掩码；以所述第一实体掩码确定所述第一视觉特征不参与至所述第一特征表示的确定过程中；
[0267]
所述第一确定单元732还用于将所述第一类别冲突值与所述预设参数进行比较；响应于所述第一类别冲突值小于所述预设参数，确定所述第一实体节点对应的第二实体掩码；以所述第二实体掩码确定所述第一视觉特征参与至所述第一特征表示的确定过程中。
[0268]
在一个可选的实施例中，所述第一确定单元732还用于从至少一个所述第一类别冲突值中，确定目标类别冲突值；将所述目标类别冲突值与所述预设参数进行比较。
[0269]
在一个可选的实施例中，所述相似度获取模块750还用于基于所述第一特征表示和所述第二特征表示中被选定参与的视觉特征，确定所述第一特征表示和所述第二特征表示之间的所述相似度；基于所述相似度，确定所述第一实体节点和所述第二实体节点的对齐结果。
[0270]
在一个可选的实施例中，所述相似度包括第一相似度和第二相似度；
[0271]
所述相似度获取模块750还用于响应于所述第一特征表示中不包括所述第一视觉特征，且所述第二特征表示中不包括所述第二视觉特征，采用第一相似算法确定所述第一特征表示和所述第二特征表示之间的所述第一相似度；响应于所述第一特征表示中包括所述第一视觉特征，或者，所述第二特征表示中包括所述第二视觉特征，采用第二相似算法确定所述第一特征表示和所述第二特征表示之间的所述第二相似度；其中，所述第一相似算法与所述第二相似算法不同。
[0272]
在一个可选的实施例中，所述相似度获取模块750还用于以所述第一实体节点对应的第一知识图谱为标准知识图谱；响应于所述相似度达到预设相似度条件，将所述第二实体节点对齐至所述第一实体节点，实现将所述第二知识图谱对齐至所述第一知识图谱的对齐过程。
[0273]
综上所述，提取待对齐的知识图谱中实体节点对应图像的视觉特征，基于实体类别确定视觉特征是否参与特征表示的确定过程，根据视觉特征的参与情况，差异性地考虑视觉特征对知识图谱对齐效果的影响，进而得到对齐后的目标知识图谱。通过上述装置，可以在对多模态知识图谱进行对齐时，考虑多种模态对知识图谱对齐过程中的影响，例如：在对包括图像信息的多模态知识图谱进行对齐时，考虑到实体类别相同或相似的实体节点所对应的图像之间的差异，为了避免对齐过程中个别图像信息干扰所引起的噪音，对图像对应的视觉特征进行差异性地考虑，在知识图谱的对齐过程中，有选择地引入视觉信息，从而有效提升实体对齐的性能，增强多模态知识图谱的对齐效果。
[0274]
需要说明的是：上述实施例提供的知识图谱对齐装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的知识图谱对齐装置与知识图谱对齐方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0275]
图9示出了本技术一个示例性实施例提供的服务器的结构示意图。该服务器900包括中央处理单元(central processing unit，cpu)901、包括随机存取存储器(random access memory，ram)902和只读存储器(read only memory，rom)903的系统存储器904，以及连接系统存储器904和中央处理单元901的系统总线905。服务器900还包括用于存储操作系统913、应用程序914和其他程序模块915的大容量存储设备906。
[0276]
大容量存储设备906通过连接到系统总线905的大容量存储控制器(未示出)连接
到中央处理单元901。大容量存储设备906及其相关联的计算机可读介质为服务器900提供非易失性存储。也就是说，大容量存储设备906可以包括诸如硬盘或者紧凑型光盘只读存储器(compact disc read only memory，cd-rom)驱动器之类的计算机可读介质(未示出)。
[0277]
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、带电可擦可编程只读存储器(electrically erasable programmable read only memory，eeprom)、闪存或其他固态存储技术，cd-rom、数字通用光盘(digital versatile disc，dvd)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器904和大容量存储设备906可以统称为存储器。
[0278]
根据本技术的各种实施例，服务器900还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器900可以通过连接在系统总线905上的网络接口单元911连接到网络912，或者说，也可以使用网络接口单元911来连接到其他类型的网络或远程计算机系统(未示出)。
[0279]
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由cpu执行。
[0280]
本技术的实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的知识图谱对齐方法。
[0281]
本技术的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现上述各方法实施例提供的知识图谱对齐方法。
[0282]
本技术的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的知识图谱对齐方法。
[0283]
可选地，该计算机可读存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、固态硬盘(ssd，solid state drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(reram，resistance random access memory)和动态随机存取存储器(dram，dynamic random access memory)。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0284]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0285]
以上所述仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。