实体链接模型的训练方法、实体链接的方法及装置与流程

1.本公开涉及多模态机器学习技术领域，尤其涉及一种实体链接模型的训练方法、实体链接的方法及装置。


背景技术：

2.实体链接技术可以应用于搜索场景，搜索场景可以包括信息抽取、信息检索、内容分析、自动问答、知识库扩充等领域。
3.在相关技术中，可以通过单模态的算法构建实体链接模型，以基于实体链接模型实现实体链接。


技术实现要素：

4.本公开提供一种实体链接模型的训练方法、实体链接的方法及装置，用于提高实体链接模型的可靠性。
5.第一方面，本公开实施例提供一种实体链接模型的训练方法，包括：
6.获取训练样本集，其中，所述训练样本集中包括提及样本数据和实体样本数据，提及样本数据包括提及的样本图像和样本文本，实体样本数据包括与所述提及对应的实体的样本图像和样本文本；
7.根据自注意力机制确定各样本图像和各样本文本各自对应的二分类结果，并根据各二分类结果训练得到实体链接模型，其中，所述自注意力机制用于确定各样本图像、以及各样本文本之间的相关性，所述实体链接模型用于确定待识别提及对应的实体。
8.在本公开的一个实施例中，在所述获取训练样本集之后，所述方法还包括：
9.将各样本文本进行融合处理，得到融合文本；
10.以及，所述根据自注意力机制确定各样本图像和各样本文本各自对应的二分类结果，包括：根据所述自注意力机制确定各样本图像、各样本文本以及融合文本各自对应的二分类结果。
11.在本公开的一个实施例中，在所述将各样本文本进行融合处理，得到融合文本之后，所述方法还包括：
12.对各样本图像、各样本文本以及所述融合文本，分别进行编码处理，得到各自对应的编码向量；
13.以及，所述根据自注意力机制确定各样本图像、各样本文本以及融合文本各自对应的二分类结果，包括：根据所述自注意力机制确定各编码向量各自对应的二分类结果。
14.在本公开的一个实施例中，所述对各样本图像、各样本文本以及所述融合文本，分别进行编码处理，得到各自对应的编码向量，包括：
15.根据预设的图像编码器resnet对各样本图像进行编码处理，得到各样本图像各自对应的编码向量；
16.根据预设的文本编码器bert对各文本进行编码处理，得到各文本各自对应的编码
向量，其中，各文本包括各样本文本和所述融合文本。
17.在本公开的一个实施例中，所述根据各二分类结果训练得到实体链接模型，包括：
18.根据各二分类结果进行反向传播求导，得到所述实体链接模型。
19.在本公开的一个实施例中，样本图像与图像编码器为一一对应关系，文本与文本编码器为一一对应关系。
20.第二方面，本公开实施例提供一种实体链接的方法，所述方法应用于知识图谱，包括：
21.获取待识别提及；
22.根据预先训练的实体链接模型，确定与所述待识别提及对应的实体；
23.其中，所述实体链接模型是基于如第一方面所述的方法训练得到的。
24.在本公开的一个实施例中，在所述获取待识别提及之后，所述方法还包括：
25.从预设知识图谱中获取与所述待识别提及的相似度最大的多个候选实体，其中，每一候选实体具有候选图像和候选文本；
26.以及，根据预先训练的实体链接模型，确定与所述待识别提及对应的实体，包括：将所述待识别提及、各候选图像以及各候选文本输入至所述实体链接模型，得到每一候选实体与所述待识别提及的匹配结果，并根据各匹配结果从各候选实体中确定与所述待识别提及对应的实体；
27.其中，匹配结果用于表征所述待识别提及与候选实体之间的相似度。
28.在本公开的一个实施例中，所述待识别提及是基于搜索请求确定的，所述待识别提及对应的实体为与所述搜索请求对应的搜索结果；其中，
29.所述搜索请求中包括所述待识别提及；或者，
30.所述搜索搜索请求中包括待识别图像和/或待识别文本。
31.在本公开的一个实施例中，所述根据各匹配结果从各候选实体中确定与所述待识别提及对应的实体，包括：
32.从各匹配结果中确定用于表征相似度最大的匹配结果，并将表征相似度最大的匹配结果对应的候选实体确定为与所述待识别提及对应的实体。
33.第三方面，本公开实施例提供一种实体链接模型的训练装置，包括：
34.第一获取单元，用于获取训练样本集，其中，所述训练样本集中包括提及样本数据和实体样本数据，提及样本数据包括提及的样本图像和样本文本，实体样本数据包括与所述提及对应的实体的样本图像和样本文本；
35.第一确定单元，用于根据自注意力机制确定各样本图像和各样本文本各自对应的二分类结果；
36.训练单元，用于根据各二分类结果训练得到实体链接模型，其中，所述自注意力机制用于确定各样本图像、以及各样本文本之间的相关性，所述实体链接模型用于确定待识别提及对应的实体。
37.在本公开的一个实施例中，所述装置还包括：
38.融合单元，用于将各样本文本进行融合处理，得到融合文本；
39.以及，所述第一确定单元用于，根据所述自注意力机制确定各样本图像、各样本文本以及融合文本各自对应的二分类结果。
40.在本公开的一个实施例中，所述装置还包括：
41.编码单元，用于对各样本图像、各样本文本以及所述融合文本，分别进行编码处理，得到各自对应的编码向量；
42.以及，所述第一确定单元用于，根据所述自注意力机制确定各编码向量各自对应的二分类结果。
43.在本公开的一个实施例中，所述编码单元，包括：
44.第一编码单元，用于根据预设的图像编码器resnet对各样本图像进行编码处理，得到各样本图像各自对应的编码向量；
45.第二编码单元，根据预设的文本编码器bert对各文本进行编码处理，得到各文本各自对应的编码向量，其中，各文本包括各样本文本和所述融合文本。
46.在本公开的一个实施例中，所述训练单元用于，根据各二分类结果进行反向传播求导，得到所述实体链接模型。
47.在本公开的一个实施例中，样本图像与图像编码器为一一对应关系，文本与文本编码器为一一对应关系。
48.第四方面，本公开实施例提供一种实体链接的装置，所述装置应用于知识图谱，包括：
49.第二获取单元，用于获取待识别提及；
50.第二确定单元，用于根据预先训练的实体链接模型，确定与所述待识别提及对应的实体；
51.其中，所述实体链接模型是基于如第一方面所述的方法训练得到的。
52.在本公开的一个实施例中，所述装置还包括：
53.第三获取单元，用于从预设知识图谱中获取与所述待识别提及的相似度最大的多个候选实体，其中，每一候选实体具有候选图像和候选文本；
54.以及，所述第二确定单元，包括：
55.输入子单元，用于将所述待识别提及、各候选图像以及各候选文本输入至所述实体链接模型，得到每一候选实体与所述待识别提及的匹配结果；
56.确定子单元，用于根据各匹配结果从各候选实体中确定与所述待识别提及对应的实体；
57.其中，匹配结果用于表征所述待识别提及与候选实体之间的相似度。
58.在本公开的一个实施例中，所述待识别提及是基于搜索请求确定的，所述待识别提及对应的实体为与所述搜索请求对应的搜索结果；其中，
59.所述搜索请求中包括所述待识别提及；或者，
60.所述搜索搜索请求中包括待识别图像和/或待识别文本。
61.在本公开的一个实施例中，所述确定子单元，包括：
62.第一确定模块，用于从各匹配结果中确定用于表征相似度最大的匹配结果；
63.第二确定模块，用于将表征相似度最大的匹配结果对应的候选实体确定为与所述待识别提及对应的实体。
64.第五方面，本公开实施例提供一种电子设备，包括：
65.至少一个处理器；以及
66.与至少一个处理器通信连接的存储器；其中，
67.存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使电子设备能够执行本公开第一方面或者第二方面中任一项的所述的方法。
68.第六方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本公开第一方面或者第二方面中任一项所述的方法。
69.第七方面，本公开实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开第一方面中任一项所述的方法。
70.本公开通过结合图像和文本两个维度进行训练，且结合自注意力机制进行训练的技术特征，充分考虑了多模态之间的相关性，从而提高模态融合的可靠性，且去除了噪音信息，避免了噪音信息对训练的干扰，以基于有效信息进行训练，从而提高训练的有效性和可靠性。
附图说明
71.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
72.图1为本公开一个实施例的实体链接模型的训练方法的示意图；
73.图2为本公开另一实施例的实体链接模型的训练方法的流程图；
74.图3为本公开另一实施例的实体链接模型的训练方法的流程图；
75.图4为本公开实施例的实体链接模型的训练方法的原理图；
76.图5为本公开一个实施例的实体链接的方法的示意图；
77.图6为本公开另一实施例的实体链接的方法的示意图；
78.图7为本公开一个实施例的实体链接模型的训练装置的示意图；
79.图8为本公开另一实施例的实体链接模型的训练装置的示意图；
80.图9为本公开一个实施例的实体链接的装置的示意图；
81.图10为本公开另一实施例的实体链接的装置的示意图；
82.图11为本公开一实施例提供的电子设备的硬件结构示意图。
83.通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
84.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
85.本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据
在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
86.此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
87.为了便于读者对本公开的理解，现对部分术语进行如下解释：
88.多模态机器学习(multimodal machine learning，mmml)，旨在通过机器学习的方法实现处理和理解多源模态信息的能力。如图像、视频、音频、语义之间的多模态学习。
89.实体链接(entity linking)，也叫实体链指，是一种任务，它要求我们将非结构化数据中的表示实体的词语(即所谓提及mention，对某个实体的指称项)识别出来，并将从知识库(如领域词库，又如知识图谱等)中找到提及所表示的那一个实体。
90.提及也称为实体指称，是指非结构化数据中的表示实体的词语。其中，非结构化数据，是指是数据结构不规则或不完整，没有预定义的数据模型，包括办公文档、文本、图片、html、各类报表、图像和音频/视频信息等等。
91.知识图谱(knowledge graph)，在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。即知识图谱是由实体和实体的关系组成，通过图的形式表现出来。
92.自注意力机制，是注意力机制的变体，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。自注意力机制在文本中的应用，主要是通过计算单词间的互相影响，来解决长距离依赖问题。
93.示例性的，实体链接可以将一段文本中的提及(或者称为实体指称)抽取出来，将这些提及映射到指定知识库中的唯一实体上。实体链接能够帮助找到句子中的重要语义信息，判断词语在不同上下文语境中的不同含义，在帮助计算机理解自然语言中是不可或缺的。
94.实体链接技术可以应用于搜索场景，搜索场景可以包括信息抽取、信息检索、内容分析、自动问答、知识库扩充等领域。
95.在一些实施例中，可以通过网络模型的方式实现实体链接，如基于自然语言处理(natural language processing，nlp)单模态的算法，训练得到实体链接模型，以基于实体链接模型确定提及对应的实体。如基于包括提及的文本训练得到实体链接模型。
96.然而，随着图像和视频等视觉信息在知识图谱中的不断应用，上述采用单模态的算法训练得到的实体链接模型，很难适用于多模态的场景。因此，当基于上述方法训练得到的实体链接模型确定出的与提及对应的实体的可靠性偏低。
97.在另一些实施例中，也可以结合多模态的算法训练得到实体链接模型。示例性的，可以利用无监督编码器，将实体和提及的文本及图像各自编码，并采用全连接层进行模态融合，从而训练得到实体链接模型。
98.如图1所示，实体链接模型的训练方法包括：
99.s101：获取训练样本集。
100.其中，训练样本集中包括提及样本数据和实体样本数据，提及样本数据包括提及的样本图像和样本文本，实体样本数据包括实体的样本图像和样本文本。
101.提及样本数据与实体样本数据为相对概念，提及样本数据是指提及的样本数据，包括：用于对提及进行视觉表征的图像(即提及的样本图像)、以及包含提及的描述文本(即提及的样本文本)。
102.相应的，实体样本数据是指实体的样本数据，包括：用于对实体进行视觉表征的图像(即提及的样本图像)、以及包含实体的描述文本(即实体的样本文本)。此处的实体可以理解为候选实体，候选实体的数量可以为多个，则实体样本数据的数量也为多个，一个候选实体对应一个实体样本数据。
103.其中，候选实体的数量可以基于需求、历史记录以及试验等方式进行确定，本实施例不做限定。例如，候选实体的数量为十个。
104.例如，针对可靠性相对较高的训练场景，候选实体的数量可以相对较多，反之，针对可靠性相对较低的训练场景，候选实体的数量可以相对较少。
105.s102：将提及样本数据和实体样本数据输入至句向量模型(sent2vec)，输出各自对应的编码向量。
106.其中，句向量模型也可以称为句嵌入。示例性的，将提及样本数据输入至句向量模型，输出提及样本数据对应的编码向量；将实体样本数据输入至句向量模型，输出实体样本数据对应的编码向量。
107.s103：对各编码向量进行特征提取，得到各编码向量各自对应的数据特征。
108.应该理解的是，为了便于对提及样本数据对应的编码向量与实体样本数据对应的编码向量进行区分，将提及样本数据对应的编码向量称为提及编码向量，将实体样本数据对应的编码向量称为实体编码向量。
109.相应的，对提及编码向量进行特征提取，得到与提及编码向量对应的数据特征；对实体编码向量进行特征提取，得到与实体编码向量对应的数据特征。
110.其中，可以通过深度学习(feature extraction)的方式对各编码向量进行特征提取，具体实现原理此处不再赘述。
111.s104：将各数据特征依次输入各自对应的第一全连接层(fully connected layers，fc)、激活函数(rectified linear units，relu)、文本连接函数(concatenate)、第二全连接层，输出三重态损耗(triplet loss)信息。
112.应该理解的是，全连接层的数量可以为两层，也可以为更多层，本实施例是以两层为例进行阐述，而不能理解为对全连接层的数量的限定。
113.s105：对各第二全连接层的输出结果进行结合(comb)，得到结合信息。
114.s106：将结合信息和预设的实体样本数据对应的热度值输入至多层感知机(multilayer perceptron，mlp)网络，输出二分类交叉熵损耗(binary cross entropy loss)信息。
115.s107：根据三重态损耗信息和二分类交叉熵损耗信息生成实体链接模型。
116.然而，采用上述方法训练得到实体链接模型，编码能力相对较弱，且各数据特征各自对应的全连接为“并行”方式进行，模态融合的效果相对欠佳，较难提取有效信息而去除噪音信息。
117.为了避免上述弊端，本公开的发明人经过创造性地劳动，得到了本公开的发明构思：基于多模态的算法和结合自注意机制，训练得到实体链接模型。
118.下面，通过具体实施例对本公开的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
119.请参阅图2，图2为本公开另一实施例的实体链接模型的训练方法的流程图，如图2所示，该方法包括：
120.s201：获取训练样本集。其中，训练样本集中包括提及样本数据和实体样本数据，提及样本数据包括提及的样本图像和样本文本，实体样本数据包括实体的样本图像和样本文本。
121.示例性的，本实施例的执行主体可以为实体链接模型的训练装置(下文简称为训练装置)，训练装置可以为计算机，也可以为服务器(如云端服务器，或者，本地服务器)，也可以为终端设备，也可以为处理器，也可以为芯片等，本实施例不做限定。
122.应该理解的是，为了避免繁琐的陈述，关于本实施例与上述实施例相同的技术特征，本实施例不再赘述。
123.s202：根据自注意力(self-attention)机制确定各样本图像和各样本文本各自对应的二分类结果，并根据各二分类结果训练得到实体链接模型。
124.其中，自注意力机制用于确定各样本图像、以及各样本文本之间的相关性。实体链接模型用于确定待识别提及对应的实体。二分类结果用于表征提及与实体之间的关联程度。
125.全连接层通常不会考虑针对同一个词，在句子不同位置可能表示不同的含义。因此，针对样本文本中的提及，该提及在样本文本的位置可能会使得该提及的含义不同，尤其时当样本文本的篇幅较长时，基于如图1所示的实施例训练得到的实体链接模型的性能可能会严重下降。
126.自注意力机制可以使得训练过程中，注意并学习到各输入信息之间的相关性。在本实施例中，各输入信息包括各样本图像和各样本文本，且具体包括：提及的样本图像、提及的样本文本、实体的样本图像以及实体的样本文本，因此，通过结合自注意力机制训练得到的实体链接模型可以学习到提及的样本图像、提及的样本文本、实体的样本图像以及实体的样本文本之间的相关性，从而提高模态融合的效果，且从各输入信息(提及的样本图像、提及的样本文本、实体的样本图像以及实体的样本文本)中提取有效信息，去除噪音信息，进而提高训练的有效性和可靠性。
127.相应的，在推理阶段时，即在应用基于如图2所示实施例所述的方法训练得到的实体链接模型时，可以提高确定出的待识别提及对应的实体的准确性和可靠性。
128.基于上述分析可知，本公开提供了一种实体链接模型的训练方法，包括：获取训练样本集，其中，训练样本集中包括提及样本数据和实体样本数据，提及样本数据包括提及的样本图像和样本文本，实体样本数据包括实体的样本图像和样本文本，根据自注意力机制确定各样本图像和各样本文本各自对应的二分类结果，并根据各二分类结果训练得到实体链接模型，其中，自注意力机制用于确定各样本图像、以及各样本文本之间的相关性，实体链接模型用于确定待识别提及对应的实体，在本实施例中，通过结合图像和文本两个维度
进行训练，且结合自注意力机制进行训练的技术特征，充分考虑了各模态之间的相关性，从而提高各模态融合的可靠性，且去除了噪音信息，避免了噪音信息对训练的干扰，以基于有效信息进行训练，从而提高训练的有效性和可靠性。
129.为使读者更加深刻的理解本公开的实现原理，现结合图3对本公开实施例进行更为详细地阐述。
130.如图3所示，实体链接模型的训练方法包括：
131.s301：获取表征提及的样本图像和包括提及的样本文本。
132.同理，为了避免繁琐的陈述，关于本实施例与上述实施例相同的技术特征，本实施例不再赘述。
133.s302：从预设数据库中，获取提及对应的实体，并获取用于表征实体的样本图像和包括实体的样本文本。
134.其中，预设知识库可以为领域词库，也可以为知识图谱等，本实施例不做限定。
135.关于获取提及对应的实体的方法，本实施例也不做限定。例如，可以通过计算相似度的方式，从预设数据库中，获取提及对应的实体。结合分析可知，实体的数量可以基于需求、历史记录以及试验等方式进行确定。
136.示例性的，若实体的数量为n(n为大于等于1的正整数)个，则可以从预设数据库中确定前n个相似度最大的实体，即topn个实体，并获取每一实体各自对应的样本图像和样本文本。
137.也就是说，通过s301和s302可以获取到训练样本集，提及样本数据包括经s301获取到的提及的样本图像和样本文本，实体样本数据包括经s302获取到的实体的样本图像和样本文本。
138.s303：将提及的样本文本和实体的样本文本进行融合处理，得到融合文本。
139.其中，融合处理可以理解为将两个文本组合为一个文本，即融合文本中既包括提及的样本文本的内容，也包括实体的样本文本的内容。
140.示例性的，融合处理可以拼接处理，即将提及的样本文本和实体的样本文本拼接为一个文本(即融合文本)，拼接的先后顺序本实施例不做限定，在融合文本中，提及的样本文本可以为融合文本的前部分内容，也可以为后部分内容。
141.融合处理还可以是插入处理，如将提及的样本文本作为一个整体，插入至实体的样本文本中的某个位置，又如将提及的样本文本随机的插入至实体的样本文本中的多个位置。当然，也可以为将实体的样本文本插入至提及的样本文本，此处不再赘述。
142.值得说明的是，在本实施例中，通过将提及的样本文本和实体的样本文本进行融合处理，以结合得到融合文本训练得到实体链接模型，可以将提及的信息和实体的信息进行结合进行训练，从而提高训练的准确性和可靠性。
143.s304：将提及的样本图像和实体的样本图像输入至各自对应的图像编码器resnet(卷积神经网络(convolutional neural network，cnn))，输出各自对应的编码向量。
144.关于图像编码器的编码原理，可以参见相关技术，此处不再赘述。
145.为了更为清楚的理解本公开实施例，现结合如图4所示的原理图进行阐述。如图4所示：
146.将提及的样本图像输入至第一图像编码器，输出第一编码向量。将实体的样本图
像输入至第二图像编码器，输出第二编码向量。
147.其中，第一图像编码向量用于表征提及的视觉维度的特征。第二编码向量用于表征实体的视觉维度的特征。
148.s305：将提及的样本文本、实体的样本文本以及融合文本输入至各自对应的文本编码器bert，输出各自对应的编码向量。
149.同理，关于文本编码器的编码原理，可以参见相关技术，此处不再赘述。
150.如图4所示，将提及的样本文本输入至第一文本编码器，输出第三编码向量。将实体的样本文本输入至第二文本编码器，输出第四编码向量。将融合文本输入至第三文本编码器，输出第五编码向量。
151.其中，第三编码向量用于表征提及的文本(如语义)维度的特征。第四编码向量用于表征实体的文本(如语义)维度的特征。第五编码向量用于表征“提及 实体”的文本(如语义)维度的特征。
152.值得说明的是，在本实施例中，通过采用不同的编码方式对样本图像和文本进行编码处理，以提高编码处理的灵活性和多样性。
153.s306：将各编码向量输入至自注意力网络中，输出各编码向量各自对应的二分类结果(logits)。
154.其中，二分类结果即分类交叉熵损失，为0-1之间的概率值，用于表征提及与实体之间的关联程度。相对而言，概率值越大，则关联程度越大，概率值越小，关联程度越小。
155.示例性的，结合上述分析和图4，将第一编码向量、第二编码向量、第三编码向量、第四编码向量以及第五编码向量输入至自注意力网络，输出第一编码向量对应的二分类结果c1，输出第二编码向量对应的二分类结果c2，输出第三编码向量对应的二分类结果c3，输出第二编码向量对应的四分类结果c4，输出第五编码向量对应的二分类结果c5。
156.s307：根据各二分类结果进行反向传播求导，得到实体链接模型。
157.示例性的，根据各二分类结果以及预设标签(label)，确定各预测结果(即各二分类结果)与真实结果(即预设标签)之间的差异信息，并根据各差异信息对各编码器(如图4中所示的各编码器)、自注意力网络的模型参数进行调整，从而得到实体链接模型。
158.结合上述分析和图4，二分类结果的数量为5个，分别为c1至c5，则针对每一个二分类结果，都可以确定该二分类结果与预设标签之间的差异信息，从而得到5个差异信息。
159.相应的，可以基于5个差异信息进行反向传播求导，得到实体链接模型。且可以基于5个差异信息的平均差异信息进行反向传播求导，得到实体链接模型，也可以为基于5个差异信息的加权平均差异信息进行反向传播求导，得到实体链接模型，等等，本实施例不做限定。
160.在经过上述实施例训练得到实体链接模型之后，可以对实体链接模型进行应用，以通过实体链接模型确定待识别提及的实体。
161.请参阅图5，图5为本公开一个实施例的实体链接的方法的示意图，该方法可以应用于知识图谱，如图5所示，该方法包括：
162.s501：获取待识别提及。
163.示例性的，本实施例的执行主体可以为实体链接的装置，该装置可以为与训练装置相同的装置，也可以为与训练装置不同的装置，本实施例不做限定。
164.s502：根据预先训练的实体链接模型，确定与待识别提及对应的实体。
165.其中，实体链接模型是基于上述任一实施例所述的方法训练得到的。
166.为使读者更加深刻的理解实体链接的方法的实现原理，现结合图6进行更为详细地阐述。
167.如图6所示，实体链接的方法包括：
168.s601：获取待识别提及。
169.同理，为了避免繁琐的陈述，关于本实施例与上述实施例相同的技术特征，本实施例不再赘述。
170.其中，关于待识别提及的获取方式本实施例不做限定。示例性的，实体链接的装置可以为具有搜索功能的搜索装置，用户可以触控或语音等方式建立用户设备与搜索装置之间的通信连接，并可以基于触控或语音等方式通过用户设备向搜素装置发起搜索请求，搜索请求中可以携带待识别提及，相应的，搜索装置获取待识别提及。
171.例如，搜索请求为“xx物品”，则搜索装置可以确定该请求中携带的待识别提及为“xx”。其中，物品可以为虚拟物品，也可以为实体物品。
172.在另一些实施例中，搜索请求可以包括待识别文本。相应的，搜索装置对待识别文本进行识别，得到待识别文本中的待识别提及。
173.在又一些实施例中，搜索请求可以包括待识别图像。相应的，搜索装置可以对待识别图像进行识别，得到待识别图像表征的待识别提及。
174.在还一些实施例中，搜索请求可以包括待识别文本和待识别图像。相应的，搜索装置可以对待识别文本进行识别，得到待识别文本中的待识别提及，并可以对待识别图像进行识别，得到待识别图像表征的待识别提及，并根据待识别文本中的待识别提及和待识别图像表征的待识别提及，确定最终的搜索请求的待识别提及。
175.例如，若待识别文本中的待识别提及和待识别图像表征的待识别提及相同，则将该相同的待识别提及确定为最终的搜索请求的待识别提及，若待识别文本中的待识别提及和待识别图像表征的待识别提及不同，则可以基于待识别图像表征的待识别提及对待识别文本中的待识别提及进行纠偏处理，从而得到最终的搜索请求的待识别提及。
176.s602：从预设知识图谱中获取与待识别提及的相似度最大的多个候选实体。
177.示例性的，知识图谱包括多个实体，分别计算待识别提及与每一实体之间的相似度，选择m(m为大于1的正整数)个最大的相似度的实体作为候选实体。
178.同理，m可以基于需求、历史记录以及试验等方式进行确定，本实施例不做限定。
179.s603：针对每一候选实体，从知识图谱中获取该候选实体的候选图像和候选文本。
180.s604：将候选样本与待识别提及进行融合处理，得到融合文本。
181.s605：将候选图像输入至图像编码器，输出候选图像的编码向量。其中，实体链接模型包括图像编码器。
182.s606：将候选文本和融合文本输入至各自对应的文本编码器，输出各自对应的编码向量。其中，实体链接模型包括各文本编码器。
183.结合上述分析可知，一个示例中，搜索请求中可能包括待识别文本，待识别文本中包括待识别提及，则s604可以替换为：将候选样本文本与待识别文本进行融合处理，得到融合文本。
184.另一个示例中，搜索请求中可能包括待识别图像，待识别图像用于表征待识别提及，则s604可以替换为：将待识别图像输入至图像编码器，输出待识别图像的编码向量。
185.或者，对待识别图像进行识别，可以得到包括待识别提及的文本，则s604可以替换为：将候选样本文本与包括待识别提及的文本进行融合处理，得到融合文本。且增加“将待识别图像输入至图像编码器，输出待识别图像的编码向量。”的步骤。
186.再一个示例中，搜索请求中可能包括待识别图和待识别文本，待识别图像为表征待识别提及的图像，待识别文本为包括待识别提及的文本。
187.相应的，则s604可以替换为：将候选样本文本与包括待识别提及的文本进行融合处理，得到融合文本。且增加“将待识别图像输入至图像编码器，输出待识别图像的编码向量。”的步骤。
188.s607：将各编码向量输入至自注意力模型，得到各编码向量各自对应的二分类结果。其中，实体链接模型包括自注意力模型。二分类结果用于表征待识别提及与该候选实体之间的关联程度。
189.s608：根据各二分类结果，确定最大的关联程度。
190.s609：以此类推，得到各候选实体各自对应的最大的关联程度，并从各最大的关联程度中，提取最大的关联程度对应的候选实体作为与待识别提及对应的实体。
191.请参阅图7，图7为本公开一个实施例的实体链接模型的训练装置的示意图，如图7所示，该装置700包括：
192.第一获取单元701，用于获取训练样本集，其中，所述训练样本集中包括提及样本数据和实体样本数据，提及样本数据包括提及的样本图像和样本文本，实体样本数据包括与所述提及对应的实体的样本图像和样本文本。
193.第一确定单元702，用于根据自注意力机制确定各样本图像和各样本文本各自对应的二分类结果。
194.训练单元703，用于根据各二分类结果训练得到实体链接模型，其中，所述自注意力机制用于确定各样本图像、以及各样本文本之间的相关性，所述实体链接模型用于确定待识别提及对应的实体。
195.请参阅图8，图8为本公开另一实施例的实体链接模型的训练装置的示意图，如图8所示，该装置800包括：
196.第一获取单元801，用于获取训练样本集，其中，所述训练样本集中包括提及样本数据和实体样本数据，提及样本数据包括提及的样本图像和样本文本，实体样本数据包括与所述提及对应的实体的样本图像和样本文本。
197.融合单元802，用于将各样本文本进行融合处理，得到融合文本。
198.编码单元803，用于用于对各样本图像、各样本文本以及所述融合文本，分别进行编码处理，得到各自对应的编码向量。
199.在一些实施例中，如图8所示，编码单元803，包括：
200.第一编码单元8031，用于根据预设的图像编码器resnet对各样本图像进行编码处理，得到各样本图像各自对应的编码向量。
201.第二编码单元8032，根据预设的文本编码器bert对各文本进行编码处理，得到各文本各自对应的编码向量，其中，各文本包括各样本文本和所述融合文本。
202.在本公开的一个实施例中，样本图像与图像编码器为一一对应关系，文本与文本编码器为一一对应关系。
203.第一确定单元804，用于根据所述自注意力机制确定各编码向量各自对应的二分类结果，其中，所述自注意力机制用于确定各样本图像、以及各样本文本之间的相关性。
204.训练单元805，用于根据各二分类结果进行反向传播求导，得到所述实体链接模型，其中，所述实体链接模型用于确定待识别提及对应的实体。
205.请参阅图9，图9为本公开一个实施例的实体链接的装置的示意图，该装置可以应用于知识图谱，如图9所示，该装置900包括：
206.第二获取单元901，用于获取待识别提及。
207.第二确定单元902，用于根据预先训练的实体链接模型，确定与所述待识别提及对应的实体。
208.其中，所述实体链接模型是基于如上任一实施例所述的方法训练得到的。
209.请参阅图10，图10为本公开另一实施例的实体链接的装置的示意图，该装置可以应用于知识图谱，如图10所示，该装置1000包括：
210.第二获取单元1001，用于获取待识别提及。
211.在一些实施例中，所述待识别提及是基于搜索请求确定的，所述待识别提及对应的实体为与所述搜索请求对应的搜索结果；其中，
212.所述搜索请求中包括所述待识别提及；或者，
213.所述搜索搜索请求中包括待识别图像和/或待识别文本。
214.第三获取单元1002，用于从预设知识图谱中获取与所述待识别提及的相似度最大的多个候选实体，其中，每一候选实体具有候选图像和候选文本。
215.第二确定单元1003，用于根据预先训练的实体链接模型，确定与所述待识别提及对应的实体。
216.其中，所述实体链接模型是基于如第一方面所述的方法训练得到的。
217.结合图10可知，在一些实施例中，第二确定单元1003，包括：
218.输入子单元10031，用于将所述待识别提及、各候选图像以及各候选文本输入至所述实体链接模型，得到每一候选实体与所述待识别提及的匹配结果。
219.确定子单元10032，用于根据各匹配结果从各候选实体中确定与所述待识别提及对应的实体。
220.其中，匹配结果用于表征所述待识别提及与候选实体之间的相似度。
221.结合图10可知，在一些实施例中，确定子单元10032，包括：
222.第一确定模块，用于从各匹配结果中确定用于表征相似度最大的匹配结果。
223.第二确定模块，用于将表征相似度最大的匹配结果对应的候选实体确定为与所述待识别提及对应的实体。
224.图11为本公开实施例提供的电子设备的硬件结构示意图。如图11所示，本公开实施例的电子设备1100可以包括：至少一个处理器1101(图11中仅示出了一个处理器)；以及，与至少一个处理器通信连接的存储器1102。其中，存储器1102存储有可被至少一个处理器1101执行的指令，指令被至少一个处理器1101执行，以使电子设备1100能够执行前述任一方法实施例中的技术方案。
225.可选的，存储器1102既可以是独立的，也可以跟处理器1101集成在一起。
226.当存储器1102是独立于处理器1101之外的器件时，电子设备1100还包括：总线1103，用于连接存储器1102和处理器1101。
227.本公开实施例提供的电子设备可以执行前述任一方法实施例的技术方案，其实现原理和技术效果类似，在此不再赘述。
228.本公开实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当计算机程序被处理器执行时用于实现前述任一方法实施例中的技术方案。
229.本公开实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述任一方法实施例中的技术方案。
230.本公开实施例还提供了一种芯片，包括：处理模块与通信接口，该处理模块能执行前述方法实施例中的技术方案。
231.进一步地，该芯片还包括存储模块(如，存储器)，存储模块用于存储指令，处理模块用于执行存储模块存储的指令，并且对存储模块中存储的指令的执行使得处理模块执行前述方法实施例中的技术方案。
232.应理解，上述处理器可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
233.存储器可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。
234.总线可以是工业标准体系结构(industry standard architecture，isa)总线、外部设备互连(peripheral component，pci)总线或扩展工业标准体系结构(extended industry standard architecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本公开附图中的总线并不限定仅有一根总线或一种类型的总线。
235.上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
236.一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(application specific integrated circuits，简称：asic)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备中。
237.最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。