命名实体识别的方法和装置，以及电子设备和存储介质与流程

1.本公开涉及自然语言处理技术领域，尤其涉及一种在多模态信息中进行命名实体识别的方法和装置，主题构建方法和装置，以及电子设备、存储介质和计算机程序产品。


背景技术：

2.目前，命名实体是自然语言文本中重要的组成部分，被广泛应用在信息抽取、实体链接、问答系统等下游任务中。越来越多的数据以多模态的形式出现，导致纯文本的数据稀疏且存在噪音，不便于进行文本任务，其中，多模态可以是文本和图像等。
3.因此，针对上述多模态的问题出现了多模态命名实体识别方法，但是在多模态场景下，图像的信息量要大于文本的信息量，就导致部分图像的特征对于文本任务并没有帮助反而引入了噪音。基于此，需要从图像中抽取对文本的命名实体识别有帮助的视觉线索，通常是以图像特征和文本的相关性作为评估指标，从而抽取重要的图像特征。但是，该种方法会导致遗漏图像中和文本不相关但互补的视觉线索，或者引入和文本相关但对任务没有帮助的噪音，进而影响多模态命名实体识别的效果。


技术实现要素：

4.为了解决上述技术问题，本公开提供了一种在多模态信息中进行命名实体识别的方法和装置，主题构建方法和装置，以及电子设备、存储介质和计算机程序产品，能够提高多模态命名实体识别的效果。
5.第一方面，本公开实施例提供了一种在多模态信息中进行命名实体识别的方法，所述多模态信息包括待识别文本和关联图像，所述方法包括：基于设定的提示词和所述关联图像获取提示词语义空间的第一视觉线索向量；对所述第一视觉线索向量进行向量空间变换，得到文本语义空间的第二视觉线索向量；基于所述第二视觉线索向量和所述待识别文本的文本向量，对所述待识别文本进行命名实体识别。
6.第二方面，本公开实施例提供了一种主题构建方法，包括：获取多模态信息；基于所述多模态信息，采用上述在多模态信息中进行命名实体识别的方法得到命名实体识别结果；基于所述命名实体识别结果构建主题。
7.第三方面，本公开实施例提供了一种在多模态信息中进行命名实体识别的装置，所述多模态信息包括待识别文本和关联图像，所述装置包括：获取单元，用于基于设定的提示词和所述关联图像获取提示词语义空间的第一视觉线索向量；变换单元，用于对所述第一视觉线索向量进行向量空间变换，得到文本语义空间
的第二视觉线索向量；识别单元，用于基于所述第二视觉线索向量和所述待识别文本的文本向量，对所述待识别文本进行命名实体识别。
8.第四方面，本公开实施例提供了一种主题构建装置，包括：获取单元，用于获取多模态信息；识别方法，用于基于所述多模态信息，采用上述方法得到命名实体识别结果；构建单元，用于基于所述命名实体识别结果构建主题。
9.第五单元，本公开实施例提供了一种电子设备，包括：存储器；处理器；以及计算机程序；其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现上述的在多模态信息中进行命名实体识别的方法，或者上述的主题构建方法。
10.第六单元，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的在多模态信息中进行命名实体识别的方法的步骤，或者用于上述的主题构建方法的步骤。
11.第七方面，本公开实施例还提供了一种计算机程序产品，所述计算机程序产品用于执行本公开实施例提供的任一所述的在多模态信息中进行命名实体识别的方法，或者，执行本公开实施例提供的主题构建方法。
12.本公开提供了一种在多模态信息中进行命名实体识别的方法，多模态信息包括待识别文本和关联图像，方法包括：基于设定的提示词和关联图像获取提示词语义空间的第一视觉线索向量，也就是利用提示词描述关联图像，建立图像和提示词之间的关联，对第一视觉线索向量进行向量空间变换，也就是将抽取到的第一视觉向量转换到文本特征的向量空间，得到文本语义空间的第二视觉线索向量，建立提示词和文本之间的关系，随后基于转换后的第二视觉线索向量和待识别文本的文本向量，对待识别文本进行命名实体识别。本公开提供的方法，可以从关联图像中准确的抽取出重要的视觉线索向量，最大限度的减少无关噪声的引入，并将抽取到的视觉线索向量转换到文本语义空间中，减少了语义差异和结构差异，有效提高了基于文本向量和视觉线索向量进行命名实体识别的效果。
附图说明
13.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
14.图1为本公开实施例提供的一种在多模态信息中进行命名实体识别的方法的流程示意图；图2为本公开实施例提供的一种多模态命名实体识别的框架图；图3为本公开实施例提供的一种在多模态信息中进行命名实体识别的方法的流程示意图；图4为本公开实施例提供的一种主题构建方法的流程示意图；
图5为本公开实施例提供的一种主题界面图；图6为本公开实施例提供的一种在多模态信息中进行命名实体识别的装置的结构示意图；图7为本公开实施例提供的一种主题构建装置的结构示意图；图8为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
15.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
16.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
17.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
18.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
19.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
20.下面首先对本公开的权利要求书和说明书中涉及的一些名词或者术语进行解释说明。
21.视觉线索，是指人对深度感知的视觉依据，视觉线索是图像中固有的视觉特征，是隐形未知的，比如纹理、颜色、渐变等。
22.视觉提示，是指图像中所蕴含的对任务有帮助的信息，以视觉线索信息的文字描述的形式出现，是显性已知的，往往可以看作是视觉线索的子集。
23.模态（modality）：广义上讲，每一种信息的来源或者形式都是一种模态，例如，图像和文本就是两种模态。
24.命名实体（named entity）：用一个名称指代的、具体存在的事物。例如，某一个人类、某一个地点、某一个组织等都是实体。
25.命名实体识别（named entity recognition）：给定一段文本，识别出其中的命名实体，并预测每个实体的类别，该类别往往属于一个预先定义的类别集合，包含人物、组织、地点等类别。
26.多模态命名实体识别（multimodal named entity recognition）: 给定一段文本及相关的图片（多模态），识别出其中的命名实体，并预测每个实体的类别，该类别往往属于一个预先定义的类别集合，包含人物、组织、地点等类别。
27.注意力机制（attention）：给定目标向量（target）中的某个元素作为查询向量
（query），将输入向量作为键向量（key）和值向量（value），通过计算query和各个key的相似性或者相关性，得到每个key对应value的权重系数，然后对value进行加权求和。
28.目前，随着电商内容化，从用户原创内容中产出用户兴趣知识图谱作为下一代电商的基础设施。通过标签挖掘可以在运营构建外自动构建用户浏览的云主题，例如“可爱老虎玩偶”，针对文本内容的多模态命名识别可以自动从复杂多样的用户原创内容中抽取出核心类型（标签），也就是利用多模态命名识别方法识别出用户原创内容中的标签，以此标签自动构建可供用户浏览的云主题，其中，核心类型包括商品属性、人物、商品卖点等。
29.其次，命名实体是自然语言文本中重要的组成部分，对于信息抽取、实体链接、问答系统等下游任务非常重要，也因此引起了学术界和工业界的一致关注。近年来，越来越多的数据以多模态的形式出现，多模态包括文本和图像等，其中基于多模态识别出的纯文本数据稀疏且存在噪音，给文本识别任务带来了巨大的挑战。在此背景下，相比于传统纯文本的命名实体识别，多模态命名实体识别的任务应运而生。但在多模态场景下，图像的引入也带来了新的挑战：图像的信息量往往大于文本的信息量，存在部分图像的特征对于文本任务并没有帮助反而引入噪音的现象，因此从图像中准确抽取对文本的命名实体识别有帮助的视觉线索是非常困难的。目前，现有的方法是将图片特征及文本的相关性作为评估指标，该方法通过文本和图像的相似程度引入视觉特征，并抑制和文本无关的视觉特征。然而，这可能导致图像中部分和文本无关、但和文本互补的视觉特征被遗漏，或者引入和文本相关但是对任务没有帮助的噪音。其次，两个模态（即文本和图像）的特征存在巨大的语义差异，文本和图像分别属于不同的向量空间，特征结构也有很大的差异，上述两种情况会影响跨模态命名实体识别的效果。
30.为了解决上述技术问题，本公开实施例提供了一种在多模态信息中进行命名实体识别的方法，该方案通过设计实体相关的提示语，准确地抽取对任务有帮助的视觉线索，并将抽取到的视觉线索进行向量空间的转换，将视觉线索转换到文本特征所属的向量空间，随后基于变分自编码器的特征空间变化组件及模块相关的注意力机制模块来实现图像和文本语义空间的融合，以便后续得到更好的命名实体识别效果。具体通过下述一个或多个实施例进行详细说明。
31.图1为本公开实施例提供的一种在多模态信息中进行命名实体识别的方法的流程示意图，可以应用在多模态命名实体识别中。该种在多模态信息中进行命名实体识别的方法可以由在多模态信息中进行命名实体识别的装置（以下简称多模态命名实体识别装置）执行，该装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上。
32.如图1所示，本公开实施例提供的在多模态信息中进行命名实体识别的方法具体包括如图1所示的如下步骤s101至s103：可选的，所述多模态信息包括待识别文本和关联图像。
33.可以理解，本公开实施例中涉及到的多模态信息至少包括文本和关联图像，关联图像可以是和文本相关联的图像。
34.s101、基于设定的提示词和所述关联图像获取提示词语义空间的第一视觉线索向量。
35.可以理解，多模态命名实体识别装置获取预先设定的和实体相关的提示词（prompt），基于提示词对关联图像中的重要视觉线索进行抽取，也就是利用提示词对关联
图像进行描述，生成提示词语义空间的第一视觉线索向量，第一视觉线索向量建立了提示词和图像之间的关联。例如，设定的和实体相关的提示词可以是“建筑物图像”、“风景图像”、“动物图像”等，基于设定的大量提示词描述关联图像，使得抽取出的视觉线索和命名实体识别任务高度相关。
36.s102、对所述第一视觉线索向量进行向量空间变换，得到文本语义空间的第二视觉线索向量。
37.可以理解，多模态命名实体识别装置抽取到提示词语义空间的第一视觉线索向量后，对第一视觉线索向量进行向量空间变换，得到文本语义空间的第二视觉线索向量，也就是建立提示词和文本之间的关联，可理解的是，提示词语义空间和文本语义空间属于不同的语义空间。
38.s103、基于所述第二视觉线索向量和所述待识别文本的文本向量，对所述待识别文本进行命名实体识别。
39.可以理解，多模态命名实体识别装置优先将第二视觉线索向量和待识别文本的文本向量进行信息融合，基于融合后的向量（信息融合向量）进行命名实体识别，得到待识别文本的命名实体识别结果，也就是识别出待识别文本中的命名实体，并预测该命名实体的类型，其中，待识别文本的文本向量可以通过具有特征提取功能的方法获取，具体方法不作赘述。例如，待识别文本为“吉利安喜欢洗澡，还有一个蓝色的鼻子”，关联图像为一个带有蓝色鼻子的老虎图像，识别出待识别文本中的命名实体“老虎吉利安”，预测出“老虎吉利安”的命名实体类型为“一个动物”。
40.可选的，基于融合后的向量进行命名实体识别，是将命名实体预测任务形式化为预测一个命名实体的开始位置和结束位置，并预测命名实体的类型。在实现上，基于融合后的向量给定文本词表示，文本词表示中集成了视觉线索的信息，首先枚举文本词表示中所有可能的字符串文本区域，然后判断每个字符串文本区域是否是实体，对于每个字符串文本区域将第一个向量和最后一个向量拼接在一起，也就是将这个字符串的开始位置的字符和结束位置的字符进行拼接，再由一个线性分类器预测这个字符串的类别，类别是线性分类器在训练的过程中自行设置的，例如，类别包括：不是实体、人类实体、组织实体、机构实体、其他实体等。
41.可以理解，图2为本公开实施例提供的一种多模态命名实体识别的框架图，也可以理解为多模态命名实体识别装置的结构示意图，图2包括视觉线索抽取模块210、多模态信息融合模块220和命名实体预测模块230，其中，视觉线索抽取模块210记为prompt-based visual clue extractor，包括图像编码器211、文本编码器212和关联性计算模块213，图像编码器211和文本编码器212可以是基于clip（contrastive language-image pre-training）模型训练得到的，可选的，图像编码器211是基于卷积神经网络构建的clip图像编码器，文本编码器212是基于转换器构建的clip文本编码器；多模态信息融合模块220包括变分自编码器221和多模态感知自注意力模块222，其中，变分自编码器221记为vae-based semantic space mapping，变分自编码器221可以是基于生成模型（variational auto-encoder，vae）构建的，变分编码器221中包括线性编码器（encoder）223和线性解码器（decoder）224；多模态感知自注意力模块222包括多个模态区分的注意力层225，图2中只示出了2个模态区分的注意力层，并不对注意力层225的数量进行限定，可选的，多个模态区分
的注意力层225是堆叠的形式，前一个注意力层的输出是后一个注意力层（attention）的输入，每个模态区分的注意力层225记为modality-aware self-attention ，简称mas；命名实体预测模块230可以是基于多层感知器（multi-layer perception ，mlp）构建的预测模型，用于预测命名实体的类型。
42.本公开实施例中，通过设定的提示词和关联图像获取提示词语义空间的第一视觉线索向量；得到第一视觉线索向量后，对第一视觉线索向量进行无信息损失的向量空间变换，得到文本语义空间的第二视觉线索向量；随后基于转换后的第二视觉线索向量和待识别文本的文本向量，对待识别文本进行命名实体识别。本公开提供的方法，基于设定的提示词可以准确的抽取出关联图像中和命名实体识别任务高度相关的视觉线索，也就是抽取到对命名实体识别有帮助的视觉线索，还能避免遗漏和文本不相关但互补的视觉线索，最大限度的减少在关联图像中引入和文本相关但对命名实体识别任务没有帮助的噪音，将抽取到的视觉线索无信息损失的进行向量转换，并转换到文本语义空间中，减少了语义差异，有效提高了基于文本向量和视觉线索向量进行命名实体识别和预测的效果。
43.在上述技术方案的基础上，可选地，上述s101具体可以通过下述s101a至s101d实现。
44.示例性的，可以利用图2中的视觉线索抽取模块210基于设定的提示词获取提示词语义空间的第一视觉线索向量，具体的通过下述实施例进行详细说明。
45.s101a、获取提示词向量，所述提示词向量与所述提示词对应。
46.可选的，上述s101a具体可以通过如下方式实现：获取至少一个离散的提示词和/或连续的提示词语义向量；基于所述至少一个离散的提示词和/或连续的提示词语义向量进行向量提取，以获取所述提示词向量。
47.示例性的，获取至少一个离散的提示词（discrete prompt），确定每个提示词的向量得到连续的提示词语义向量（continuous prompt），利用视觉线索抽取模块210中的文本编码器212基于离散的提示词和连续的提示词语义向量进行向量提取，生成提示词向量。
48.s101b、对所述关联图像进行向量提取，获得对应的图像向量。
49.示例性的，利用视觉线索抽取模块210中的图像编码器211对关联图像进行向量提取，获得关联图像的图像向量。
50.s101c、获取所述图像向量与每个提示词向量的关联性系数。
51.示例性的，利用视觉线索抽取模块210中的关联性计算模块213计算图像向量和每个提示词向量的相关性，得到每个提示词向量对应的关联性系数，具体的，可以计算两个向量之间的余弦相似性，例如，获取到10个提示词向量，计算图像向量和10个提示词向量之间的相关性，得到10个关联性系数，例如，上述示例中关联图像是包含老虎的图像，10个提示词向量中“一个动物”的提示词向量所对应的关联性系数是最高的。
52.s101d、将所述关联性系数叠加到所述提示词向量上，获得提示词语义空间的所述第一视觉线索向量。
53.示例性的，获取到每个提示词向量对应的关联性系数后，将每个关联性系数作为权重叠加到对应的提示词向量上，多个带权重的提示词向量即为抽取出的、提示词语义空间的第一视觉线索向量。
54.本公开实施例中，通过引入至少一个和实体相关的提示词，以提示词描述关联图
像，使得抽取出的视觉线索和命名实体识别任务高度相关，克服了现有方法在关联图像中仅能抽取文本相关的视觉线索的缺陷，同时也考虑了关联图像中和文本不相关但互补的视觉线索，且尽量减少了关联图像中和文本相关但对命名实体识别任务没有帮助的噪音的引入，便于后续进行命名实体识别。
55.在上述技术方案的基础上，可选地，上述s102具体可以通过下述s102a实现。
56.s102a、利用线性编码器对所述第一视觉线索向量进行向量空间变换，得到文本语义空间的第二视觉线索向量。
57.示例性的，利用多模态信息融合模块220中变分自编码器221中的线性编码器223对第一视觉线索向量进行向量空间变换，得到文本语义空间的第二视觉线索向量，可以理解的是，提示词语义空间和文本语义空间不是同一个语义空间，因此对提示词语义空间的第一视觉线索向量施加线性变换以进行向量空间的变换，也就是建立提示词和文本之间的关联。
58.可选的，上述s102还包括下述s102b和s102c的实现步骤。
59.s102b、利用所述线性编码器对应的线性解码器对所述第二视觉线索向量进行解码处理，得到文本语义空间的第三视觉线索向量。
60.s102c、基于所述第三视觉线索向量和所述第一视觉线索向量对所述线性编码器进行参数调整。
61.示例性的，得到转换后的第二视觉线索向量后，利用变分自编码器221中的线性解码器224对第二视觉线索向量进行解码处理，得到文本语义空间的第三视觉线索向量，随后将第三视觉线索向量和第一视觉线索向量进行比较，也就是计算两个向量之间的差距，以此来对线性编码器223进行优化，减少偏差。
62.可理解的是，可以基于优化后的线性编码器223再对第一视觉线索向量进行向量空间变换，输出转换后、信息损失较少的第二视觉线索向量，也就是进行实时优化，或者尚未优化的线性编码器223直接输出转换后的第二视觉线索向量，优化后的线性编码器223可以在下次转换中直接使用。
63.本公开实施例中，通过线性编码器可以实现第一视觉线索向量在提示词语义空间和文本语义空间的转换，且在第一视觉线索向量进行变换的过程中，添加了线性解码器对线性编码器进行优化，以减少第一视觉线索向量在转换过程中出现的信息损失，也减少了不同语义空间的差异。
64.在上述技术方案的基础上，图3为本公开实施例提供的一种在多模态信息中进行命名实体识别的方法的流程示意图，可选的，上述s103中基于所述第二视觉线索向量和所述待识别文本的文本向量，对所述待识别文本进行命名实体识别，具体包括如下步骤s301至s304：s301、获取与所述文本向量对应的第一位置向量和第一分段向量，以及与所述第二视觉线索向量对应的第二位置向量和第二分段向量。
65.可以理解，文本向量可以理解为分布式向量（emb），根据文本向量获取该文本向量对应的位置向量（pos）和分段向量（seg），分别记为第一位置向量和第一分段向量，位置向量可以理解为每个文本在待识别文本中的位置；同理，根据第二视觉线索向量获取该第二视觉线索向量对应的位置向量和分段向量，分别记为第二位置向量和第二分段向量，第二
位置向量是指在关联图像中抽取的重要视觉线索在关联图像中的像素点位置，其中，可以采用预先训练的多个语言模型（language model，lm）来得到文本向量、位置向量和分段向量，采用的具体生成方法不作限定。
66.s302、将所述文本向量、所述第一分段向量和所述第一位置向量相加得到第一文本输入向量，并将所述第二视觉线索向量、所述第二分段向量和所述第二位置向量相加得到第二文本输入向量。
67.可以理解，将文本向量、第一分段向量和第一位置向量相加得到文本语义空间的文本输入向量，将第二视觉线索向量、第二分段向量和第二位置向量相加得到第二文本输入向量，第二文本输入向量也是文本语义空间的向量，但是包括和第一文本输入向量不同的语义特征。
68.s303、利用模态区分的注意力层对所述第一文本输入向量和所述第二文本输入向量进行信息融合处理，得到信息融合向量。
69.可以理解，利用多模态信息融合模块220中的多模态感知自注意力模块222（多个模态区分的注意力层）将第一文本输入向量和第二文本输入向量进行信息融合处理，得到信息融合向量，以此来实现文本语义空间和图像语义空间的融合，减少第一文本输入向量和第二文本输入向量之间的语义差异、结构差异，其中，信息融合向量包括多个模态区分的注意力层中最后一个注意力层输出的融合后的第一文本输入向量和融合后的第二文本输入向量。
70.s304、基于所述信息融合向量进行命名实体识别，得到命名实体识别结果。
71.可以理解，利用多模态命名实体识别装置中命名实体预测模块230基于信息融合向量中的文本输入向量进行命名实体识别，得到命名实体识别结果。
72.本公开实施例中，获取文本向量对应的第一分段向量和第一位置向量以得到第一文本输入向量，以及第二视觉线索向量对应的第二分段向量和第二位置向量以得到第二文本输入向量，通过多个模态区分的注意力层对第一文本输入向量和第二文本输入向量进行信息融合，能够高效的融合文本和图像之间的跨模态特征，有效减少语义空间的差异对命名实体识别的影响。
73.在上述技术方案的基础上，可选地，上述s303具体可以通过下述s303a至s303b实现。
74.其中，所述模态区分的注意力层包括第一注意力层和第二注意力层，其中，所述第一注意力层包括第一注意力子层和第二注意力子层，所述第二注意力层包括第三注意力子层和第四注意力子层。
75.示例性的，图2中每个模态区分的注意力层225包括第一注意力层226和第二注意力层227，第一注意力层226包括第一注意力子层2261和第二注意力子层2262，第二注意力层227包括第三注意力子层2271和第四注意力子层2272，其中，第一注意力层226专注于丰富文本侧的信息，第二注意力层227专注于丰富图像侧的信息，第一注意力子层2261进行的是文本和文本之间的信息融合，第二注意力子层2262进行的是文本和图像之间的信息融合，第三注意力子层2271进行的是图像和文本之间的信息融合，第四注意力子层2272进行的是图像和图像之间的信息融合。
76.s303a、基于作为查询向量的所述第一文本输入向量，利用所述第一注意力层将所
述第一文本输入向量和所述第二文本输入向量进行信息融合，生成融合后的第一文本输入向量。
77.可选地，上述s303a具体可以通过下述s303a1至s303a3实现。
78.s303a1、根据所述第一文本输入向量和设定的第一参数确定第一查询向量；基于所述第一注意力子层，计算所述第一查询向量和所述第一文本输入向量的相关性生成第一相关性参数，并根据所述第一相关性参数和所述第一文本输入向量生成第一融合向量。
79.s303a2、根据所述第一文本输入向量和设定的第二参数确定第二查询向量；基于所述第二注意力子层，计算所述第二查询向量和所述第二文本输入向量的相关性生成第二相关性参数，并根据所述第二相关性参数和所述第二文本输入向量生成第二融合向量。
80.s303a3、将所述第一融合向量和所述第二融合向量进行求和，生成融合后的第一文本输入向量。
81.示例性的，将生成的第一文本输入向量作为整个第一注意力层226的查询向量（query），并在不同模态融合间设置不同的参数，参数可以根据用户需求自行确定。针对第一注意力层226中的第一注意力子层2261，根据第一文本输入向量和预先设定的第一参数确定第一查询向量，第一参数记为w2w，将第一文本输入向量作为第一键向量（key）和第一值向量（value），计算第一查询向量和第一键向量之间的相关性，生成第一相关性参数，并根据第一相关性参数对第一值向量进行求和，生成第一融合向量，完成文本和文本之间的信息融合。针对第二注意力子层2262，根据第一文本输入向量和预先设定的第二参数确定第二查询向量，第二参数记为w2w’，将第二文本输入向量作为第二键向量和第二值向量，计算第二查询向量和第二键向量之间的相关性，生成第二相关性参数，并根据第二相关性参数对第二值向量进行求和，生成第二融合向量，完成文本和图像之间的信息融合，也是专注文本侧的信息融合，将图像信息融入到文本信息中。将生成的第一融合向量和第二融合向量进行求和，生成融合后的第一文本输入向量，例如第一融合向量记为ai，包括a1，a2，
…
，ak等k个语义单元，第二融合向量记为bi，包括b1，b2，
…
，bk等k个语义单元，对于第一融合向量中的每个语义单元ai，计算第一融合向量的相关性参数wi，包括w1，w2，
…
，wk等k个参数，第一融合向量中每个语义单元都存在对应的一个相关性参数，对语义单元和对应的相关参数进行加权相加，得到更新后的第一融合向量。对第二融合向量进行相同的计算，得到更新后的第二融合向量，随后将更新后的第一融合向量和更新后的第二融合向量相加，生成融合后的第一文本输入向量，且也保证了文本向量的维度不变。或者，还可以将所述第一融合向量、所述第二融合向量和所述第一文本输入向量进行求和，生成融合后的第一文本输入向量。
82.s303b、基于作为查询向量的所述第二文本输入向量，利用所述第二注意力层将所述第一文本向量和所述第二文本输入向量进行信息融合，生成融合后的第二文本输入向量。
83.可选地，上述s303b具体可以通过下述s303b1至s303b3实现。
84.s303b1、根据所述第二文本输入向量和设定的第三参数确定第三查询向量；基于所述第三注意力子层，计算所述第三查询向量和所述第一文本输入向量的相关性生成第三相关性参数，并根据所述第三相关性参数和所述第一文本输入向量生成第三融合向量。
85.s303b2、根据所述第二文本输入向量和设定的第四参数确定第四查询向量；基于
所述第四注意力子层，计算所述第四查询向量和所述第二文本输入向量的相关性生成第四相关性参数，并根据所述第四相关性参数和所述第二文本输入向量生成第四融合向量。
86.s303b3、将所述第三融合向量和所述第四融合向量进行求和，生成融合后的第二文本输入向量。
87.示例性的，将生成的第二文本输入向量作为整个第二注意力层227的查询向量，并在不同模态融合间设置不同的参数，参数可以根据用户需求自行确定。针对第二注意力层227中的第三注意力子层2271，根据第二文本输入向量和预先设定的第三参数确定第三查询向量，第三参数记为w’2w，将第一文本输入向量作为第三键向量和第三值向量，计算第三查询向量和第三键向量之间的相关性，生成第三相关性参数，并根据第三相关性参数对第三值向量进行求和，生成第三融合向量，完成文本和图像之间的信息融合，也是专注图像侧的信息融合，将文本融入到图像中。针对第四注意力子层2272，根据第二文本输入向量和预先设定的第四参数确定第四查询向量，第四参数记为w’2w’，将第二文本输入向量作为第四键向量和第四值向量，计算第四查询向量和第四键向量之间的相关性，生成第四相关性参数，并根据第四相关性参数对第四值向量进行求和，生成第四融合向量，完成图像和图像之间的信息融合。将生成的第三融合向量和第四融合向量进行求和，生成融合后的第二文本输入向量，生成融合后的第二文本输入向量的方法参见上述生成融合后的第一文本输入向量的方法，在此不作赘述。或者，还可以将所述第三融合向量、所述第四融合向量和所述第二文本输入向量进行求和，生成融合后的第二文本输入向量。
88.可理解的是，对于多个模态区分的注意力层来说，除最后一个注意力层之外的其余注意力层，前一个注意力层输出的融合后的第一文本输入向量和融合后的第二文本输入向量作为后一个注意力层的输入，通过多个注意力层的堆叠，高效的融合了跨模态特征。
89.本公开实施例中，通过构建多个模态区分的注意力层，高效的完成了跨模态信息融合，减少了第二文本输入向量和第一文本输入向量之间存在的语义差异以及结构差异。
90.在上述技术方案的基础上，图4为本公开实施例提供的一种主题构建方法的流程示意图，可以适用于基于命名实体识别构建云主题的情况。该主题构建方法可以由主题构建装置执行，该装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上。
91.如图4所示，本公开实施例提供的主题构建方法可以包括：s401、获取多模态信息。
92.可以理解，主题构建装置获取多模态信息，多模态信息可以是文本信息和图像信息。
93.s402、基于所述多模态信息，采用上述在多模态信息中进行命名实体识别的方法得到命名实体识别结果。
94.可以理解，采用上述在多模态信息中进行命名实体识别的方法对获取的多模态信息进行识别和预测，得到命名实体识别结果，具体实现方法参见上述实施例，在此不作赘述。
95.s403、基于所述命名实体识别结果构建主题。
96.可以理解，获取到命名实体识别结果后，基于命名实体识别结果构建云主题，例如，命名实体识别结果为“可爱老虎玩偶”，获取该命名实体识别结果对应的内容，并构建主
题，具体的，构建的主题可以通过主题界面显示出来，主题界面中显示获取的内容。
97.示例性的，参见图5，图5为本公开实施例提供的一种主题界面图，图5包括用户原创内容界面510和主题界面520，其中，用户原创内容界面510中包括文本标签511和关联图像512，文本标签511和关联图像512作为多模态信息，采用上述在多模态信息中进行命名实体识别的方法对多模态信息进行命名实体识别，得到命名实体识别结果，并基于该命名实体识别结果构建主题，可理解的是，可以在检测到用户针对文本标签511的触发操作后，构建主题并显示主题界面520，还可以在检测到针对文本标签511的触发操作之前就构建主题和主题界面520。其中，主题界面520包括命名实体识别结果521以及根据命名实体识别结果获取的至少一个内容522，主题界面520示出了3个内容，分别记为内容1、内容2和内容3。
98.在本公开实施例中，可以准确的进行多模态命名实体任务，得到命名实体识别结果，再基于命名实体识别结果自动构建主题。
99.图6为本公开实施例提供的一种在多模态信息中进行命名实体识别的装置的结构示意图。该装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上。
100.如图6所示，本公开实施例提供的一种在多模态信息中进行命名实体识别的装置600包括获取单元610、变换单元620和识别单元630，所述多模态信息包括待识别文本和关联图像，其中：获取单元610，用于基于设定的提示词和所述关联图像获取提示词语义空间的第一视觉线索向量；变换单元620，用于对所述第一视觉线索向量进行向量空间变换，得到文本语义空间的第二视觉线索向量；识别单元630，用于基于所述第二视觉线索向量和所述待识别文本的文本向量，对所述待识别文本进行命名实体识别。
101.可选的，获取单元610中所述基于设定的提示词和所述关联图像获取提示词语义空间的第一视觉线索向量，具体用于：获取提示词向量，所述提示词向量与所述提示词对应；对所述关联图像进行向量提取，获得对应的图像向量；获取所述图像向量与每个提示词向量的关联性系数；将所述关联性系数叠加到所述提示词向量上，获得提示词语义空间的所述第一视觉线索向量。
102.可选的，获取单元610中所述获取提示词向量，具体用于：获取至少一个离散的提示词和/或连续的提示词语义向量；基于所述至少一个离散的提示词和/或连续的提示词语义向量进行向量提取，以获取所述提示词向量。
103.可选的，变换单元620中所述对所述第一视觉线索向量进行向量空间变换，得到文本语义空间的第二视觉线索向量，具体用于：利用线性编码器对所述第一视觉线索向量进行向量空间变换，得到文本语义空间的第二视觉线索向量。
104.可选的，变换单元620还包括调整单元，调整单元具体用于：
利用所述线性编码器对应的线性解码器对所述第二视觉线索向量进行解码处理，得到文本语义空间的第三视觉线索向量；基于所述第三视觉线索向量和所述第一视觉线索向量对所述线性编码器进行参数调整。
105.可选的，识别单元630中所述基于所述第二视觉线索向量和所述待识别文本的文本向量，对所述待识别文本进行命名实体识别，具体用于：获取与所述文本向量对应的第一位置向量和第一分段向量，以及与所述第二视觉线索向量对应的第二位置向量和第二分段向量；将所述文本向量、所述第一分段向量和所述第一位置向量相加得到第一文本输入向量，并将所述第二视觉线索向量、所述第二分段向量和所述第二位置向量相加得到第二文本输入向量；利用模态区分的注意力层对所述第一文本输入向量和所述第二文本输入向量进行信息融合处理，得到信息融合向量；基于所述信息融合向量进行命名实体识别，得到命名实体识别结果。
106.可选的，识别单元630中所述模态区分的注意力层包括第一注意力层和第二注意力层；所述利用模态区分的注意力层对所述第一文本输入向量和所述第二文本输入向量进行信息融合处理，得到信息融合向量，具体用于：基于作为查询向量的所述第一文本输入向量，利用所述第一注意力层将所述第一文本输入向量和所述第二文本输入向量进行信息融合，生成融合后的第一文本输入向量；基于作为查询向量的所述第二文本输入向量，利用所述第二注意力层将所述第一文本输入向量和所述第二文本输入向量进行信息融合，生成融合后的第二文本输入向量；其中，所述信息融合向量包括所述融合后的第一文本输入向量和所述融合后的第二文本输入向量。
107.可选的，识别单元630中所述第一注意力层包括第一注意力子层和第二注意力子层；所述基于作为查询向量的所述第一文本输入向量，利用所述第一注意力层将所述第一文本输入向量和所述第二文本输入向量进行信息融合，生成融合后的第一文本输入向量，具体用于：根据所述第一文本输入向量和设定的第一参数确定第一查询向量；基于所述第一注意力子层，计算所述第一查询向量和所述第一文本输入向量的相关性生成第一相关性参数，并根据所述第一相关性参数和所述第一文本输入向量生成第一融合向量；根据所述第一文本输入向量和设定的第二参数确定第二查询向量；基于所述第二注意力子层，计算所述第二查询向量和所述第二文本输入向量的相关性生成第二相关性参数，并根据所述第二相关性参数和所述第二文本输入向量生成第二融合向量；将所述第一融合向量、所述第二融合向量和所述第一文本输入向量进行求和，生成融合后的第一文本输入向量。
108.可选的，识别单元630中所述第二注意力层包括第三注意力子层和第四注意力子层；所述基于作为查询向量的所述第二文本输入向量，利用所述第二注意力层将所述第一文本输入向量和所述第二文本输入向量进行信息融合，生成融合后的第二文本输入向量，具体用于：
根据所述第二文本输入向量和设定的第三参数确定第三查询向量；基于所述第三注意力子层，计算所述第三查询向量和所述第一文本输入向量的相关性生成第三相关性参数，并根据所述第三相关性参数和所述第一文本输入向量生成第三融合向量；根据所述第二文本输入向量和设定的第四参数确定第四查询向量；基于所述第四注意力子层，计算所述第四查询向量和所述第二文本输入向量的相关性生成第四相关性参数，并根据所述第四相关性参数和所述第二文本输入向量生成第四融合向量；将所述第三融合向量、所述第四融合向量和所述第二文本输入向量进行求和，生成融合后的第二文本输入向量。
109.本公开实施例所提供的在多模态信息中进行命名实体识别的装置可执行本公开实施例所提供的在多模态信息中进行命名实体识别的方法，具备执行方法相应的功能模块和有益效果。本公开装置实施例中未详尽描述的内容可以参考本公开中在多模态信息中进行命名实体识别的方法实施例中的描述。
110.图7为本公开实施例提供的一种主题构建装置的结构示意图，该装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上。
111.如图7所示，本公开实施例提供的主题构建装置700可以包括获取单元710、识别单元720和构建单元730，其中：获取单元710，用于获取多模态信息；识别方法720，用于基于所述多模态信息，采用上述方法得到命名实体识别结果；构建单元730，用于基于所述命名实体识别结果构建主题。
112.本公开实施例所提供的主题构建装置可执行本公开实施例所提供的主题构建方法，具备执行方法相应的功能模块和有益效果。本公开装置实施例中未详尽描述的内容可以参考本公开中主题构建方法实施例中的描述。
113.图8为本公开实施例提供的一种电子设备的结构示意图，用于对实现本公开实施例中在多模态信息中进行命名实体识别的方法的电子设备进行示例性说明，或者用于对实现本公开实施例中主题构建方法的电子设备进行示例性说明，不应理解为对本公开实施例的具体限定。
114.如图8所示，电子设备800可以包括处理器（例如cpu、图形处理器等）801，其可以根据存储在只读存储器（rom）802中的程序或者从存储装置808加载到随机访问存储器（ram）803中的程序而执行各种适当的动作和处理。在ram 803中，还存储有电子设备800操作所需的各种程序和数据。处理器801、rom 802以及ram 803通过总线804彼此相连。输入/输出（i/o）接口805也连接至总线804。
115.通常，以下装置可以连接至i/o接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806；包括例如液晶显示器（lcd）、扬声器、振动器等的输出装置807；包括例如磁带、硬盘等的存储装置808；以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然示出了具有各种装置的电子设备800，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
116.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可
读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从rom 802被安装。在该计算机程序被处理器801执行时，可以执行本公开实施例提供的在多模态信息中进行命名实体识别的方法或主题构建方法限定的功能。
117.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑磁盘只读存储器（cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf（射频）等等，或者上述的任意合适的组合。
118.在一些实施方式中，客户端、服务端可以利用诸如http（hypertext transfer protocol，超文本传输协议）之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信（例如，通信网络）互连。通信网络的示例包括局域网（“lan”），广域网（“wan”），网际网（例如，互联网）以及端对端网络（例如，ad hoc端对端网络），以及任何当前已知或未来研发的网络。
119.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
120.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：基于设定的提示词和所述关联图像获取提示词语义空间的第一视觉线索向量；对所述第一视觉线索向量进行向量空间变换，得到文本语义空间的第二视觉线索向量；基于所述第二视觉线索向量和所述待识别文本的文本向量，对所述待识别文本进行命名实体识别。
121.在本公开实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言，诸如java、smalltalk、c ，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在计算机上执行、部分地在计算机上执行、作为一个独立的软件包执行、部分在计算机上部分在远程计算机上执行、或者完全在远程计算机或服务端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
122.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
123.描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
124.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、片上系统（soc）、复杂可编程逻辑设备（cpld）等等。
125.在本公开的上下文中，计算机可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。计算机可读介质可以是计算机可读信号介质或计算机可读储存介质。计算机可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。计算机可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
126.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。
127.此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
128.尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。