一种专名识别方法、计算机设备、可读存储介质和程序产品与流程

1.本发明涉及自然语言处理技术领域，其特别涉及一种专名识别方法、设备、可读存储介质和程序产品。


背景技术：

2.专名识别任务旨在从给定的句子中抽取名实体。特别的，对于特定的领域，例如社交媒体领域，由于语言词汇使用变化较快，现有的训练数据严重不足。传统的专名识别模型往往会面临数据稀疏的问题，难以正确地抽取训练时未遇到的实体。


技术实现要素：

3.为了解决传统的专名识别模型难以正确地抽取训练时未遇到的实体的技术问题，本发明提供一种专名识别方法、设备、存储介质和程序产品。
4.本发明为解决上述技术问题，提供如下的技术方案：一种专名识别方法，所述方法包括以下步骤：获取输入文本并对所述输入文本进行编码，得到所述输入文本中每个实体的隐向量；将所述隐向量基于大量相似词组成的预训练词向量库得到每个实体的语义增强隐向量；将所述语义增强隐向量经过分类转换处理，得到每个实体对应的专名实体标签。
5.优选地，得到每个实体的语义增强隐向量包括以下步骤：根据预设的预训练词向量库找出所述输入文本中每个实体的一个或多个近似词；将所述近似词根据预设的第一算法计算得到每个实体的平均向量；将所述平均向量与所述隐向量串联得到实施语义增强隐向量。
6.优选地，将所述近似词根据预设的第一算法计算得到每个实体的平均向量包括以下步骤：将所述近似词根据预设的词向量矩阵映射为词向量；将所述词向量根据预设的第二算法分别映射为键向量和值向量；将所述键向量和值向量通过预设的第三算法计算得到所述平均向量。
7.优选地，将所述词向量根据预设的第二算法分别映射为键向量和值向量包括以下步骤：将预设的键矩阵和所述词向量传入预设的激活函数，得到键向量；将预设的值矩阵与所述词向量传入预设的激活函数，得到值向量。
8.优选地，将所述键向量和值向量通过预设的第三算法计算得到所述平均向量包括以下步骤：根据每个实体的所述隐向量和每个实体的相似词对应的所述键向量计算得到所述相似词的权重；根据所述权重与所述值向量计算得到每个实体的所述平均向量。
9.优选地，将所述语义增强隐向量进行分类转换处理包含以下步骤：将所述语义增强隐向量经过预设的全连接层后，送入预设的softmax分类器，得到所述专名实体标签。
10.优选地，将所述隐向量基于大量相似词组成的预训练词向量库得到每个实体的语义增强隐向量是通过将所述隐向量输入预设的键值记忆神经网络的方式得到。
11.本发明为解决上述技术问题，提供又一技术方案如下：一种计算机设备，计算机程序指令被执行时实现上述方法的步骤。
12.本发明为解决上述技术问题，提供又一技术方案如下：一种可读存储介质，其上存储有计算机程序指令，计算机程序指令被执行时实现上述方法的步骤。
13.本发明为解决上述技术问题，提供又一技术方案如下：一种程序产品，包括计算机程序指令，计算机程序指令被执行时实现上述方法的步骤。
14.与现有技术相比，本发明所提供的一种专名识别方法，具有如下的有益效果：1.本发明第一实施例提供一种专名识别方法，方法包括以下步骤：获取输入文本并对输入文本进行编码，得到输入文本中每个实体的隐向量；将隐向量基于大量相似词组成的预训练词向量库得到每个实体的语义增强隐向量；将语义增强隐向量经过分类转换处理，得到每个实体对应的专名实体标签。可以理解地，传统的专名识别模型往往会面临数据稀松的问题，难以正确地抽取训练时未遇到实体。而本方案提供的专名识别方法中的神经网络模型，可利用输入文本中每个实体的相似词的词义来增强当前词的语义表征，从而增强专名识别模型对当前词词义的理解。即如果专名识别模型没有在训练的时候见过这个词，那么，专名识别模型可以通过与该词相近的词的词义，来帮助理解当前词，从而提升专名识别模型对训练实体的识别能力。
15.2.本发明第一实施例提供的一种专名识别方法中，得到每个实体的语义增强隐向量包括以下步骤：根据预设的预训练词向量库找出所述输入文本中每个实体的一个或多个近似词；将近似词根据预设的第一算法计算得到每个实体的平均向量；将平均向量与隐向量串联得到实施语义增强隐向量。可以理解地，预训练词向量库可对输入文本中每个实体的近似词进行充分覆盖，有效地增强这个词的语义表征，从而加强了命名实体模型对当前词词义的理解。
16.3.本发明第一实施例提供的一种专名识别方法中，将近似词根据预设的第一算法计算得到每个实体的平均向量包括以下步骤：将近似词根据预设的词向量矩阵映射为词向量；将词向量根据预设的第二算法分别映射为键向量和值向量；将键向量和值向量通过预设的第三算法计算得到平均向量。可以理解地，词向量、键向量和值向量，都是计算和理解注意力机制的抽象概念，便于计算机对每个实体以及近似词的词义进行理解和计算。
17.4.本发明第一实施例提供的一种专名识别方法中，将词向量根据预设的第二算法分别映射为键向量和值向量包括以下步骤：将预设的键矩阵和词向量传入预设的激活函数，得到键向量；将预设的值矩阵与词向量传入预设的激活函数，得到值向量。可以理解地，激活函数对于神经网络模型区学习、理解非常复杂和非线性的函数来说具有十分重要的作用。激活函数将非线性的特性引入神经网络中，若没有激活函数的话，则输出的信号仅仅是一个从数据中学习复杂函数映射能力更小的简单的线性函数。可见，将激活函数引入神经网络提高了神经网络处理复杂数据的能力，提高了专名识别模型的识别性能。
18.5.本发明第一实施例提供的一种专名识别方法中，将键向量和值向量通过预设的第三算法计算得到平均向量包括以下步骤：根据每个实体的隐向量和每个实体的相似词对应的键向量计算得到相似词的权重；据权重与值向量计算得到每个实体的平均向量。可以理解地，在很多语境下，输入文本中每个实体的一些相似词，对于当前语境的适配程度并不相同，因此，若不对这些相似词在当前词的语义表征中的重要性进行划分，那么得到的平均向量，以及后续根据平均向量得到的语义增强隐向量对于当前词的词义表现是不够准确的，而依据不同相似词在当前语境下的适配程度对相似词的权重进行划分，并依据权重来
计算出每个实体的平均向量，以及得到后续的语义增强隐向量，这样无疑提高了语义增强隐向量对词义表现得准确度，从而进一步增强了专名识别模型对输入文本的理解，提升了专名识别模型的性能。
19.6.本发明第一实施例提供的一种专名识别方法中，将语义增强隐向量进行分类转换处理包含以下步骤：将语义增强隐向量经过预设的全连接层后，送入预设的softmax分类器，得到专名实体标签。可以理解地，全连接层和softmax分类器可将语义增强隐向量中的包含的不同连接的权重信息可视化并与预设的模板进行匹配，从而能够更加方便地预测出实体之间的关系类型。
20.7.本发明第一实施例提供的一种专名识别方法中，将隐向量基于大量相似词组成的预训练词向量库得到每个实体的语义增强隐向量是通过将隐向量输入预设的键值记忆神经网络的方式得到。可以理解地，键值记忆神经网络可以使得机器能够接受输入(例如，问题、难题、任务等)，并且作为响应，基于来自知识源的信息生成输出(例如，答案、解决方案、对任务的响应等)。键值记忆网络模型对被结构化为(键，值)对的符号记忆(symbolic memory)进行操作，这给了专名识别模型更大的灵活性来用于对输入文本进行编码，并且有助于缩小直接读取文本和从预训练词向量库进行回答之间的差距。通过将关于手头任务的先验知识编码在键值记忆中，键值记忆网络具有多功能性来分析例如，文档、预训练词向量库、或使用信息提取所构建的预训练词向量库，并回答关于它们的问题。
21.8本发明第二实施例还提供一种计算机设备，具有与上述一种专名识别方法相同的有益效果，在此不做赘述。
22.9.本发明第三实施例还提供一种可读存储介质，具有与上述一种专名识别方法相同的有益效果，在此不做赘述。
23.10.本发明第四实施例还提供一种程序产品，具有与上述一种专名识别方法相同的有益效果，在此不做赘述。
24.【附图说明】图1是本发明第一实施例提供的专名识别方法的流程示意图。
25.图2是本发明第一实施例提供的专名识别模型的结构示意图一。
26.图3是本发明第一实施例提供的获取语义增强隐向量的流程示意图。
27.图4是本发明第一实施例提供的获取平均向量的流程示意图。
28.图5是本发明第一实施例提供的专名识别模型的结构示意图二。
29.图6是本发明第二实施例提供的计算机设备的结构示意图。
30.附图标识说明：1、方法；2、专名识别模型；3、计算机设备；20、编码器；21、神经网络；22、解码器；30、处理器；31、存储器；32、计算机程序。
31.【具体实施方式】为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
32.请结合图1和图2，本发明第一实施例提供一种专名识别方法1，用于得到专名实体标签，通过专名识别模型2实现，专名识别模型2包括编码器20、神经网络21和解码器22，方
法1包括以下步骤：通过编码器20获取输入文本x并对输入文本x进行编码，得到输入文本x中每个实体的隐向量；将隐向量基于大量相似词组成的预训练词向量库得到每个实体的语义增强隐向量。具体地，将隐向量输入神经网络21，神经网络21包含由大量相似词组成的预训练词向量库，得到每个实体的语义增强隐向量（对于输入文本x中的每个实体，语义增强隐向量通过相似词增强了这个词的语义特征）；将语义增强隐向量经过解码器22的分类转换处理，得到每个实体对应的专名实体标签。
33.可以理解地，传统的专名识别模型2往往会面临数据稀松的问题，难以正确地抽取训练时未遇到实体。而本方案提供的专名识别方法1中的神经网络21模型，可利用输入文本x中每个实体的相似词的词义来增强当前词的语义表征，从而增强专名识别模型2对当前词词义的理解。即如果专名识别模型2没有在训练的时候见过这个词，那么，专名识别模型2可以通过与该词相近的词的词义，来帮助理解当前词，从而提升专名识别模型2对训练实体的识别能力。
34.在一些实施例中，编码器20采用bert。示例性地，使用bert对输入文本x进行编码，得到输入文本x中每个实体的隐向量。其中，第i个词xi的隐向量分别记为hi。
35.请参阅图3，在一些实施例中，得到每个实体的语义增强隐向量包括以下步骤：根据预设的预训练词向量库找出输入文本x中每个实体的一个或多个近似词；将近似词根据预设的第一算法计算得到每个实体的平均向量oi；将平均向量oi与隐向量hi串联得到语义增强隐向量。
36.可以理解地，预训练词向量库可对输入文本x中每个实体的近似词进行充分覆盖，有效地增强这个词的语义表征，从而加强了命名实体模型对当前词词义的理解。
37.请参阅图4，在一些实施例中，将近似词根据预设的第一算法计算得到每个实体的平均向量包括以下步骤：将近似词根据预设的词向量矩阵映射为词向量；将词向量根据预设的第二算法分别映射为键向量和值向量；将键向量和值向量通过预设的第三算法计算得到平均向量。可以理解地，词向量、键向量和值向量，都是计算和理解注意力机制的抽象概念，便于计算机对每个实体以及近似词的词义进行理解和计算。
38.在一些实施例中，神经网络21包括预设的键矩阵和值矩阵，将词向量根据预设的第二算法分别映射为键向量和值向量包括以下步骤：将键矩阵和词向量传入预设的激活函数，得到键向量；将值矩阵与词向量传入预设的激活函数，得到值向量。可以理解地，激活函数对于神经网络21模型区学习、理解非常复杂和非线性的函数来说具有十分重要的作用。激活函数将非线性的特性引入神经网络21中，若没有激活函数的话，输出的信号仅仅是一个从数据中学习复杂函数映射能力更小的简单的线性函数。可见，将激活函数引入神经网络21提高了神经网络21处理复杂数据的能力，提高了专名识别模型2的识别性能。
39.在一些实施例中，将键向量和值向量通过预设的第三算法计算得到平均向量包括以下步骤：根据每个实体的隐向量hi和每个实体的相似词对应的键向量k
i,j
计算得到相似词的权重p
i,j
；据权重p
i,j
与值向量p
i,j
计算得到每个实体的平均向量oi。可以理解地，在很多语境下，输入文本x中每个实体的一些相似词，对于当前语境的适配程度并不相同，因此，若不对这些相似词在当前词的语义表征中的重要性进行划分，那么得到的平均向量oi，以
及后续根据平均向量oi得到的语义增强隐向量对于当前词的词义表现是不够准确的，而依据不同相似词在当前语境下的适配程度对相似词的权重进行划分，并依据权重来计算出每个实体的平均向量oi，以及得到后续的语义增强隐向量，这样无疑提高了语义增强隐向量对词义表现得准确度，从而进一步增强了专名识别模型2对输入文本x得理解，提升了专名识别模型2的性能。
40.在一些实施例中，将隐向量基于大量相似词组成的预训练词向量库得到每个实体的语义增强隐向量是通过将隐向量输入预设的键值记忆神经网络的方式得到。可以理解地，键值记忆神经网络21可以使得机器能够接受输入(例如问题、难题、任务等)，并且作为响应，基于来自知识源的信息生成输出(例如，答案、解决方案、对任务的响应等)。键值记忆网络模型对被结构化为(键，值)对的符号记忆(symbolic memory)进行操作，这给了专名识别模型2更大的灵活性来用于对输入文本x进行编码，并且有助于缩小直接读取文本和从预训练词向量库进行回答之间的差距。通过将关于手头任务的先验知识编码在键值记忆中，键值记忆网络具有多功能性。例如，文档、预训练词向量库、或使用信息提取所构建的预训练词向量库，并回答关于它们的问题。
41.本发明第一实施例提供的方法1与传统方法类似，把实体识别视为序列标注任务，即预测每一个输入词的实体识别标签。
42.请参阅图5，在图上的示例中，“张三”是“人名”（per），“北京海淀”是“地名”（loc），其中“per”和“loc”表示一类标签，全称为“person”和“location”。示例性地，使用预设的预训练词向量库（例如腾讯得800万词向量），对输入文本x中的每一个词xi，基于向量之间的余弦距离，找到与xi距离最近的m个词，记为；使用预设的词向量矩阵，将相似词s
i,j
映射为词向量e
i,j
；使用键矩阵wk和值矩阵wv，并通过激活函数将词向量e
i,j
分别映射为键向量k
i,j
和值向量v
i,j
，具体方法1如下：其中，“·
ꢀ”
表示矩阵和向量的乘积，计算结果为向量，relu是激活函数；使用xi从bert编码器20获得的隐向量hi和k
i,j
，计算权重p
i,j
，具体方式如下：式（1）中，“·
ꢀ”
计算向量的内积，计算结果为数值。
43.基于p
i,j
，计算值向量的平均向量oi，具体方式如下：其中，“·”用于计算权重p
i,j
（一个0-1之间的正实数）与向量v
i,j
的乘积；
将平均向量oi与hi串联，得到键值记忆神经网络21的输出：在一些实施例中，专名识别模型2还包括全连接层，解码器22为softmax分类器，将语义增强隐向量进行分类转换处理包含以下步骤：将语义增强隐向量经过全连接层后，送入softmax分类器，得到专名实体标签。可以理解地，全连接层和softmax分类器可将语义增强隐向量中的包含的不同连接的权重信息可视化并与预设的模板进行匹配，从而能够更加方便地预测出实体之间的关系类型。
44.请结合图1和图6，本发明的第二实施例还提供一种计算机设备3，包括处理器30、存储器31以及存储在存储器31上的计算机程序32，存储器31执行计算机程序32以实现上述方法1的步骤，具有与上述专名识别方法1相同的有益效果。
45.请结合图1，本发明的第三实施例还提供一种可读存储介质，其上存储有计算机程序指令，计算机程序指令被执行时实现上述专名识别方法1的步骤，具有与上述专名识别方法1相同的有益效果。
46.本发明的第四实施例还提供一种程序产品，包括计算机程序指令，计算机程序指令被执行时实现上述专门识别方法1的步骤，具有与上述专名识别方法1相同的有益效果。
47.在本发明所提供的实施例中，应理解，“与a对应的b”表示b与a相关联，根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。
48.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。
49.在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
50.在本发明的附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方案中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，在此基于涉及的功能而确定。需要特别注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
51.与现有技术相比，本发明所提供的一种专名识别方法，具有如下的有益效果：1.本发明第一实施例提供一种专名识别方法，方法包括以下步骤：获取输入文本
并对输入文本进行编码，得到输入文本中每个实体的隐向量；将隐向量基于大量相似词组成的预训练词向量库得到每个实体的语义增强隐向量；将语义增强隐向量经过分类转换处理，得到每个实体对应的专名实体标签。可以理解地，传统的专名识别模型往往会面临数据稀松的问题，难以正确地抽取训练时未遇到实体。而本方案提供的专名识别方法中的神经网络模型，可利用输入文本中每个实体的相似词的词义来增强当前词的语义表征，从而增强专名识别模型对当前词词义的理解。即如果专名识别模型没有在训练的时候见过这个词，那么，专名识别模型可以通过与该词相近的词的词义，来帮助理解当前词，从而提升专名识别模型对训练实体的识别能力。
52.2.本发明第一实施例提供的一种专名识别方法中，得到每个实体的语义增强隐向量包括以下步骤：根据预设的预训练词向量库找出所述输入文本中每个实体的一个或多个近似词；将近似词根据预设的第一算法计算得到每个实体的平均向量；将平均向量与隐向量串联得到实施语义增强隐向量。可以理解地，预训练词向量库可对输入文本中每个实体的近似词进行充分覆盖，有效地增强这个词的语义表征，从而加强了命名实体模型对当前词词义的理解。
53.3.本发明第一实施例提供的一种专名识别方法中，将近似词根据预设的第一算法计算得到每个实体的平均向量包括以下步骤：将近似词根据预设的词向量矩阵映射为词向量；将词向量根据预设的第二算法分别映射为键向量和值向量；将键向量和值向量通过预设的第三算法计算得到平均向量。可以理解地，词向量、键向量和值向量，都是计算和理解注意力机制的抽象概念，便于计算机对每个实体以及近似词的词义进行理解和计算。
54.4.本发明第一实施例提供的一种专名识别方法中，将词向量根据预设的第二算法分别映射为键向量和值向量包括以下步骤：将预设的键矩阵和词向量传入预设的激活函数，得到键向量；将预设的值矩阵与词向量传入预设的激活函数，得到值向量。可以理解地，激活函数对于神经网络模型区学习、理解非常复杂和非线性的函数来说具有十分重要的作用。激活函数将非线性的特性引入神经网络中，若没有激活函数的话，则输出的信号仅仅是一个从数据中学习复杂函数映射能力更小的简单的线性函数。可见，将激活函数引入神经网络提高了神经网络处理复杂数据的能力，提高了专名识别模型的识别性能。
55.5.本发明第一实施例提供的一种专名识别方法中，将键向量和值向量通过预设的第三算法计算得到平均向量包括以下步骤：根据每个实体的隐向量和每个实体的相似词对应的键向量计算得到相似词的权重；据权重与值向量计算得到每个实体的平均向量。可以理解地，在很多语境下，输入文本中每个实体的一些相似词，对于当前语境的适配程度并不相同，因此，若不对这些相似词在当前词的语义表征中的重要性进行划分，那么得到的平均向量，以及后续根据平均向量得到的语义增强隐向量对于当前词的词义表现是不够准确的，而依据不同相似词在当前语境下的适配程度对相似词的权重进行划分，并依据权重来计算出每个实体的平均向量，以及得到后续的语义增强隐向量，这样无疑提高了语义增强隐向量对词义表现得准确度，从而进一步增强了专名识别模型对输入文本的理解，提升了专名识别模型的性能。
56.6.本发明第一实施例提供的一种专名识别方法中，将语义增强隐向量进行分类转换处理包含以下步骤：将语义增强隐向量经过预设的全连接层后，送入预设的softmax分类器，得到专名实体标签。可以理解地，全连接层和softmax分类器可将语义增强隐向量中的
包含的不同连接的权重信息可视化并与预设的模板进行匹配，从而能够更加方便地预测出实体之间的关系类型。
57.7.本发明第一实施例提供的一种专名识别方法中，将隐向量基于大量相似词组成的预训练词向量库得到每个实体的语义增强隐向量是通过将隐向量输入预设的键值记忆神经网络的方式得到。可以理解地，键值记忆神经网络可以使得机器能够接受输入(例如，问题、难题、任务等)，并且作为响应，基于来自知识源的信息生成输出(例如，答案、解决方案、对任务的响应等)。键值记忆网络模型对被结构化为(键，值)对的符号记忆(symbolic memory)进行操作，这给了专名识别模型更大的灵活性来用于对输入文本进行编码，并且有助于缩小直接读取文本和从预训练词向量库进行回答之间的差距。通过将关于手头任务的先验知识编码在键值记忆中，键值记忆网络具有多功能性来分析例如，文档、预训练词向量库、或使用信息提取所构建的预训练词向量库，并回答关于它们的问题。
58.8本发明第二实施例还提供一种计算机设备，具有与上述一种专名识别方法相同的有益效果，在此不做赘述。
59.9.本发明第三实施例还提供一种可读存储介质，具有与上述一种专名识别方法相同的有益效果，在此不做赘述。
60.10.本发明第四实施例还提供一种程序产品，具有与上述一种专名识别方法相同的有益效果，在此不做赘述。
61.以上对本发明实施例公开的一种专名识别方法、计算机设备、可读存储介质和程序产品进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。