命名实体识别模型的训练方法和装置、识别方法和装置与流程

1.本技术涉及计算机应用技术领域，具体涉及一种命名实体识别模型的训练 方法和装置，以及一种命名实时识别的识别方法和装置，计算机存储介质和电 子设备。


背景技术：

2.近几年来，基于神经网络的深度学习方法在计算机视觉、语音识别等领域 被广泛的应用。其中，命名实体识别作为自然语言处理的基本任务之一，也被 广泛的应用在关系抽取、事件抽取、知识图谱、机器翻译、问答系统等领域。
3.命名实体识别主要依赖于人工搜集的领域词典，每个词典包含词语列表及 其对应的类型，通过在训练时加入词典匹配特征作为命名实体识别模型的输入 来加入领域知识，从而完成命名实体的识别。然而，构建词典需要耗费很多人 力，并且构建过程中往往会引入很多错误信息，导致模型被引入噪声，进而使 得命名实体识别模型的识别准确率低，且人力成本较大。


技术实现要素：

4.本技术提供一种命名实体识别模型的训练方法，以解决现有技术中命名实 体识别准确率低的问题。
5.本技术提供一种命名实体识别模型的训练方法，包括：
6.基于获取的知识类数据构造训练数据，所述知识类数据包括：知识类关键 数据以及所述知识类关键数据的描述内容；
7.在深度双向语言表征模型的初始模型中，采用所述训练数据进行模型训练， 获得融入有知识类数据的深度双向语言表征模型；
8.利用所述融入有知识类数据的深度双向语言表征模型，进行命名实体识别 训练，获得融入有知识类数据且能够识别命名实体的命名实体识别模型。
9.在一些实施例中，所述基于获取的知识类数据构造训练数据，包括：
10.选取所述知识类关键数据的描述内容中包括相同知识类关键数据的数据 对，构成第一数据对；
11.选取所述知识类关键数据的描述内容中包括不同知识类关键数据的数据 对，构成第二数据对；
12.按照设置的遮蔽范围，将所述第一数据对和第二数据对中的知识类关键数 据进行遮蔽；
13.将遮蔽后的所述第一数据对和第二数据对确定为所述训练数据。
14.在一些实施例中，所述选取所述知识类关键数据的描述内容中包括相同知 识类关键数据的数据对，构成第一数据对，包括：
15.对所述知识类关键的描述内容按照设置的切分方式进行切分，获得切分后 的描述内容；
16.对切分后的描述内容按照设置的分类方式进行分类，获得至少两个数据集 合；
17.在至少两个数据集合中选取所述包括相同知识类关键数据的数据对，构成 所述第一数据对。
18.在一些实施例中，所述选取所述知识类关键数据的描述内容中包括不同知 识类关键数据的数据对，构成第二数据对，包括：
19.在所述至少两个数据集合中，分别选取所述包括不同知识类关键数据的数 据对，构成第二数据对。
20.在一些实施例中，所述对所述知识类关键数据的描述内容按照设置的切分 方式进行切分，获得切分后的描述内容，包括：
21.对所述描述内容按照句子进行切分，获得切分后的描述内容。
22.在一些实施例中，所述对切分后的描述内容按照设置的分类方式进行分类， 获得至少两个数据集合，包括：
23.对切分后的描述内容按照所述知识类关键数据进行分类，获得包括所述知 识类关键数据的第一数据集合，以及不包括所述知识类关键数据的第二数据集 合。
24.在一些实施例中，所述选取所述知识类关键数据的描述内容中包括不同知 识类关键数据的数据对，构成第二数据对，包括：
25.选取与所述第一数据对数量匹配的，所述描述内容中包括不同知识类关键 数据的数据对，构成第二数据对。
26.在一些实施例中，所述在深度双向语言表征模型的初始模型中，采用所述 训练数据进行模型训练，获得融入有知识类数据的深度双向语言表征模型，包 括：
27.根据原始语料获取训练的深度双向语言表征模型的初始模型；
28.在所述初始模型的基础上，采用所述训练数据进行训练，获得融入有知识 类数据的深度双向语言表征模型。
29.在一些实施例中，所述在所述初始模型的基础上，采用所述训练数据进行 训练，获得融入有知识类数据的深度双向语言表征模型，包括：
30.采用所述训练数据分别进行遮蔽数据预测的训练和下一个语句预测的训 练，获得融入有知识类数据的深度双向语言表征模型。
31.在一些实施例中，所述利用所述融入有知识类数据的深度双向语言表征模 型，进行命名实体识别训练，获得融入有知识类数据且能够识别命名实体的命 名实体识别模型，包括：
32.将所述训练数据输入至所述融入有知识类数据的深度双向语言表征模型进 行训练，获得所述训练数据的向量数据；
33.将所述向量数据输入至条件随机场模型进行解码，获得针对所述训练数据 的输出数据；
34.将获得的所述输出数据的深度双向语言表征模型和条件随机场模型，确定 为融入有知识类数据且能够识别命名实体的命名实体识别模型。
35.在一些实施例中，所述知识类关键数据为百科词条名，所述描述内容为用 于描述所述百科词条名的词条内容。
36.本技术还提供一种命名实体识别模型的训练装置，包括：
37.构造单元，用于基于获取的知识类数据构造训练数据，所述知识类数据包 括：知识类关键数据以及所述知识类关键数据的描述内容；
38.第一训练单元，用于在深度双向语言表征的初始模型中，采用所述训练数 据进行模型训练，获得融入有知识类数据的深度双向语言表征模型；
39.第二训练单元，用于利用所述融入有知识类数据的深度双向语言表征模型， 进行命名实体识别训练，获得融入有知识类数据且能够识别命名实体的命名实 体识别模型。
40.本技术还提供一种命名实体的识别方法，包括：
41.获取待识别的命名实体的语料数据；
42.将所述语料数据输入到融入有知识类数据且能够识别命名实体的命名实体 识别模型中进行识别，获得命名实体数据；
43.输出所述命名实体数据。
44.在一些实施例中，所述获取待识别的命名实体的语料数据，包括：
45.根据针对商品的描述信息，获取待识别的商品命名实体的商品语料数据。
46.在一些是实施例中，所述将所述语料数据输入到融入有知识类数据且能够 识别命名实体的命名实体识别模型中进行识别，获得命名实体数据，包括：
47.将所述商品语料数据输入到融入有知识类数据且能够识别命名实体的命名 实体识别模型中进行所述商品实体信息的识别，获取所述商品的命名实体数据。
48.本技术还提供一种命名实体的识别装置，包括：
49.获取单元，用于获取待识别的命名实体的语料数据；
50.识别单元，用于将所述语料数据输入到训练的融入有知识类数据且能够识 别命名实体的深度双向语言表征模型中进行识别，获得识别的命名实体数据；
51.输出单元，用于将所述命名实体数据输出。
52.本技术还提供一种计算机存储介质，用于存储网络平台产生数据，以及对 应所述网络平台产生数据进行处理的程序；
53.所述程序在被所述处理器读取执行时，执行如下步骤：
54.基于获取的知识类数据构造训练数据，所述知识类数据包括：知识类关键 数据以及所述知识类关键数据的描述内容；
55.基于在深度双向语言表征的初始模型中，采用所述训练数据进行模型训练， 获得融入有知识类数据的深度双向语言表征模型；
56.利用所述融入有知识类数据的深度双向语言表征模型，进行命名实体识别 训练，获得融入有知识类数据且能够识别命名实体的命名实体识别模型。
57.本技术还提供一种电子设备，包括：
58.处理器；
59.存储器，用于存储对网络平台产生数据进行处理的程序，所述程序在被所 述处理器读取执行时，执行如下步骤：
60.基于获取的知识类数据构造训练数据，所述知识类数据包括：知识类关键 数据以及所述知识类关键数据的描述内容；
61.在原始语料获取的深度双向语言表征的初始模型中，采用所述训练数据进 行训练，获得融入有知识类数据的深度双向语言表征模型；
62.利用所述融入有知识类数据的深度双向语言表征模型，进行命名实体识别 训练，获得融入有知识类数据且能够识别命名实体的命名实体识别模型。
63.与现有技术相比，本技术具有以下优点:
64.本技术提供的一种命名实体识别模型的训练方法，通过基于获取的知识类 数据构造用于在深度双向语言表征模型中，判别描述相同知识类关键数据的训 练数据，之后采用所述训练数据在所述深度双向语言模型训练的初始模型中继 续进行训练，获得融入有知识类数据的深度双向语言表征模型；之后对所述融 入有知识类数据的深度双向语言表征模型，进行命名实体识别训练，获得融入 有知识类数据且能够识别命名实体的命名实体识别模型；进而对命名实体识别 模型的训练无需依赖于领域词典，基于融入的知识类数据能够在已有训练数据 较少的情况下，保证命名实体识别模型识别的准确性。
附图说明
65.图1是本技术提供的一种命名实体识别模型的训练方法实施例的流程图；
66.图2是本技术提供的一种命名实体识别模型的训练装置实施例的结构示意 图；
67.图3是本技术提供的一种命名实体的识别方法实施例的流程图；
68.图4是本技术提供的一种命名实体的识别装置实施例的结构示意图。
具体实施方式
69.在下面的描述中阐述了很多具体细节以便于充分理解本技术。但是本技术 能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背 本技术内涵的情况下做类似推广，因此本技术不受下面公开的具体实施的限制。
70.本技术中使用的术语是仅仅出于对特定实施例描述的目的，而非旨在限制 本技术。在本技术中和所附权利要求书中所使用的描述方式例如：“一种”、“第 一”、和“第二”等，并非对数量上的限定或先后顺序上的限定，而是用来将同一 类型的信息彼此区分。
71.首先，在对本技术提供的一种命名实体识别模型的训练方法实施例进行描 述前，先阐述本技术技术方案的构思背景。参考上述背景技术部分的描述，可 知，命名实体识别(named entity recognition：ner)是自然语言处理(naturallanguage processing：nlp)中一项非常基础的任务，命名实体识别是信息提取、 问答系统、句法分析、机器翻译等众多自然语言处理任务的重要基础工具。在 对语料进行命名实体识别时，需要先针对语料进行序列标注，例如：bioes和 bio两种方式，以bioes为例说明，b为begin，表示开始；i为intermediate， 表示中间；e为end，表示结尾；s为single，表示单个字符；o为other，表示 其他，用于标记无关字符。具体为对输入句子的每一个字打一个标签，标签由 前缀 类型组成，前缀b表示这个字是一个实体的开始，前缀i表示这个字在一 个实体内部，前缀e表示这个字是一个实体的结尾，前缀s表示这个实体是一 个单字词。实体可以是用于描述表征概念信息或实体类型的实例，实体由不同 的数据集定义，可以是时间类型(time)、地点类型(loc)、人名类型(per)、 机构类型(org)，也可以是其他自定义的类型，每个类型集合都必须包含其他 类型(o)用以表示没有被划分到预定义实体类型集合里面的字，如下面句子“某 某某访问中国”转化为标签序列为“b-per i-per e-per o o b-loc e-loc”。
72.然而，在命名实体识别应用场景下，为了实现准确的分词为标注提供基础， 需要
构建通用词典和领域词典，其中，通用词典具有基础性和通用性，已被广 泛的应用。而领域词典是根据命名实体识别应用系统所处理的领域不同，由人 工构建，很显然人工构建领域词典费时费力并且构建过程不可控，故此，为提 高命名实体识别准确性，需要提供一种能够表征通用词典以外的，无需人工构 建的领域词典。因此，本技术的技术方案应用而生。
73.本技术提供的一种命名实体识别模型的训练方法实施例中，通过利用知识 类数据，即一个词条对应词条描述，在训练数据较少时，提高命名实体识别准 确度，以及在基于现有通用词典的基础上增加知识类数据，提高命名实体识别 准确度。下面将对本技术提供的一种命名实体识别模型的训练方法实施例进行 说明，请参考图1所示，图1是本技术提供的一种命名实体识别模型的训练方 法实施例的流程图，该训练方法实施例包括：
74.步骤s101：基于获取的知识类数据构造训练数据，所述知识类数据包括： 知识类关键数据以及所述知识类关键数据的描述内容；
75.所述步骤s101中涉及的知识类关键数据可以理解为词条名，进一步的可以 理解为百科词条名。所述词条名也可以称之为词条、词目、条目、辞条，是辞 书学用语，指词典编辑所收集的辞目、词语及其释文。词条名可以是字、词， 也可以由字、词等组成。描述内容可以理解针对所述词条名进行解释说明的词 条内容或者可以理解为所述释文。词条名根据类型可以是人名、地址名、事件 名等。简而言之，知识类数据包括：词条名，以及与所述词条名相对应的描述 所述词条的描述内容。
76.所述步骤s101的训练数据可以理解为用于在深度双向语言表征模型中，判 别描述相同百科关键数据的训练数据，所述深度双向语言表征模型即bert (bidirectional encoder representations from transformers)模型，bert模型是 基于transformer的深度双向语言表征模型。bert模型本质上是利用 transformer结构构造了一个多层双向的编码解码网络。transformer是google 在2017年提出的基于自注意力机制(self-attention)的深层模型，在包括机器 翻译在内的多项nlp任务上效果显著，超过rnn且训练速度更快。以上仅对 bert模型进行概要性的阐述，后续会进行详细描述。
77.所述步骤s101中的训练数据可以理解为是用于在描述内容中，判别至少两 个以上的数据是否描述的均为同一知识类关键数据(词条名)，即：描述内容包 括有词条名a的数据a和不包括词条名a的数据b，判别数据a和数据b是否 均为描述词条名a的描述内容。
78.以上是对所述步骤s101中涉及的名词进行的解释说明。所述步骤s101的 目的在于要构造训练数据，构造的训练数据是用于判别两个或两个以上的描述 内容是否描述的是同一个知识类关键数据，也可以理解为要构造一个训练任务， 该任务的目的是，能够判别两个或两个以上的描述内容是否描述的是同一个知 识类关键数据，那么训练任务务必需要训练数据来完成任务，下面将针对所述 步骤s101中构造训练数据进行详细说明。
79.步骤s101-1：选取所述知识类关键数据的描述内容中包括相同知识类关键 数据的数据对，构成第一数据对；
80.所述步骤s101-1的具体实现过程可以包括：
81.步骤s101-1-11：对所述知识类关键数据的描述内容按照设置的切分方式进 行切分，获得切分后的描述内容；其中，所述切分方式可以是句子切分方式， 即对描述内容按照句号进行切分，切分后的描述内容包括多个句子。当然也可 以按照描述内容的组成结构进行切分。
82.步骤s101-1-12：对切分后的描述内容按照设置的分类方式进行分类，获得 至少两个数据集合；其中，分类方式可以是按照所述知识类关键数据进行分类， 即将包括所述知识类关键数据的描述内容归为一类，即第一数据集合，将不包 括所述知识类关键数据的描述内容归为一类，即第二数据集合；或者将不包括 所述知识类关键数据的描述内容归为一类，即第一数据集合；将包括所述知识 类关键数据的描述内容归为一类，即第二数据集合。此处“第一”和“第二
”ꢀ
仅为区分两个集合，并没有实际意义。在本实施例中，将包括相同知识类关键 数据的描述内容确定为第一数据集合，将不包括相同知识类关键数据的描述内 容确定为第二数据集合。
83.步骤s101-1-13：在至少两个集合中选取所述包括相同知识类关键数据的数 据对，构成所述第一数据对；其中数据对可以理解为句子对，即第一数据集合 中包括描述相同知识类关键数据的句子对，从第一数据集合存储角度理解，所 述第一数据集合中描述相同知识类关键数据的描述内容，是以句子对的形式存 储，所述第一数据集合中可以包括多个句子对，也可以仅包括一个句子对。在 本实施例中，选取相同知识类关键数据的数据对主要以所述第一数据集合为选 取对象。
84.步骤s101-2：选取所述描述内容中包括不同知识类关键数据的数据对，构 成第二数据对；
85.所述步骤s101-2的具体实现过程可以包括：
86.步骤s101-2-11：在所述至少两个数据集合中，分别选取所述包括不同知识 类关键数据的数据对，构成第二数据对。例如：在第一数据集合a中选取包括 知识类关键数据a的句子a1，在第二数据集合b中选取不包括所述知识类关键 数据a的句子b1，所述a1和所述b1构成第二数据对。简而言之，在第一数据 集合中选取一个句子，在第二数据集合中也选取一个句子，两个句子构成句子 对，即第二数据对。
87.在本实施例中，所述第一数据对和所述第二数据对在数量上是匹配的，从 而便于后续的模型训练。当然，在选取过程中，当出现数量不匹配的情况时， 可以采用补充的方式进行，例如：第一数据对为20对，第二数据对为19对， 那么，可以将第一数据对中的任意一个句子对忽略，或者在第二数据对中随机 在抽取一个句子对作为第20个，也可以补充一个为空的句子对作为第20个数 据对。此处，描述过程中的句子对即为数据对。同样地，对于第一数据对以及 第二数据对中的任意一个构成过程中，如果存在数量不匹配的情况，也同样适 用于上述第一数据对和第二数据对的匹配方式。此处仅以第一数据对进行举例 说明，如果在第一数据集合中选取相同知识类关键数据的数据对时，出现单数， 那么可以舍弃，也可以进行随机抽取，也可以补空的方式，使得构成的第一数 据对中句子对是完成的。当然选取的数量可以根据实际训练需求进行设定，可 以在第一数据集合中选取需要数量的数据对，此时则无需考虑出现单数无法构 成句子对的情况。上述针对第一数据对的选取同样适用于第二数据对的选取， 此处不再重复赘述。当然，可以理解的是，上述选取的方式仅为距离，实际上 能够实现选取句子对的其他方式也均可。
88.步骤s101-3：按照设置的遮蔽范围，将所述第一数据对和第二数据对中的 知识类关键数据进行遮蔽；
89.所述步骤s101-3中的遮蔽范围可以根据第一数据对和第二数据对的数据量 进行设置，例如：在第一数据对和第二数据对的数量不匹配的情况下，如果第 一数据对的数量
大于第二数据对的数量，遮蔽范围可以调高，反之调低。在第 一数据对和第二数据对的数量匹配的情况下，即本实施中的情况，遮蔽范围可 以取数量的一半即50％，也就是，遮蔽范围可以根据训练需求进行调节。遮蔽 的知识类关键数据可以在第一数据对和第二数据对中随机进行。
90.步骤s101-4：将遮蔽后的所述第一数据对和第二数据对确定为所述训练数 据。
91.以上是步骤s101中训练数据构造的具体过程。在构造训练数据后，需要对 训练数据进行训练。如下：
92.步骤s102：在深度双向语言表征的初始模型中，采用所述训练数据进行模 型训练，获得融入有知识类数据的深度双向语言表征模型；
93.所述步骤s102在进行训练前，需要先获取基于原始语料的深度双向语言表 征的初始模型。因此，需要基于深度双向语言表征模型预训练过程，在大规模 无标注语料上进行遮蔽语言模型(mlm：masked language model)和下一句预 测(nsp：next sentence prediction)的训练任务，从而得到深度双向语言表征 模型(bert模型)的初始模型，可以理解的是，初始模型的训练可是实在所述 步骤s101构造训练数据之前或之后或同时。故此，所述步骤s102的具体实现 过程包括：
94.步骤s102-1：根据原始语料获取训练的深度双向语言表征模型的初始模型；
95.所述步骤s102-1中的初始模型为深度双向语言表征模型(bert模型)的 初始模型。对于bert模型在所述步骤s101中有概要描述，下面将结合上述内 容进行详细说明。
96.bert模型的预训练过程包括两个不同的预训练任务，分别是遮蔽语言模型 (mlm：masked language model)和下一句预测模型(nsp：next sentenceprediction)的训练任务。
97.遮蔽语言模型(mlm：masked language model)是通过随机掩盖一些词(注， 掩盖时掩盖内容统一替换为标记符[mask])，然后预测被遮盖的词来训练深度 双向语言模型，并且使每个词的表征能够参考上下文信息。
[0098]
下一句预测模型(nsp：next sentence prediction)是为训练一个能够理解 句子间关系的模型，引入一个下一句预测任务。该预测任务的训练语料可以从 语料库中抽取句子对(所述句子对包括两个句子，例如：句子a和句子b)进 行生成，其中50％的概率b是a的下一个句子，50％的概率b是语料中的一个 随机句子。因此，nsp训练任务是预测b是否是a的下一句，或者也可以理解 为nsp训练任务的目的是获取句子间的信息。
[0099]
通过对大规模的无标注原始语料进行bert预训练之后得到的模型，可以 用于命名实体识别任务。然而，本实施例中，为提高命名实体识别的准确性， 需要融入基于知识类数据构造的训练数据，而无需采用人工构建的领域词典。 故此，在融入基于知识类数据构造的训练数据时，需要获取bert模型基于原 始语料训练的初始模型。
[0100]
步骤s102-2：在所述初始模型的基础上，采用所述训练数据进行训练，获 得融入有知识类数据的深度双向语言表征模型。
[0101]
所述步骤s102-2在步骤s102-1的初始模型基础上，即可将步骤s101中构 造的训练数据应用在所述初始模型上进行训练，而bert模型则是一个融入有 知识类数据的bert模型，其不依赖任何领域词典。
[0102]
步骤s103：利用所述融入有知识类数据的深度双向语言表征模型，进行命 名实体
识别训练，获得融入有知识类数据且能够识别命名实体的命名实体识别 模型。
[0103]
所述步骤s103的目的在于获得融入有知识类数据且能够识别命名实体的命 名实体识别模型，因此，需要基于bert模型和条件随机场(crf：conditional random field)模型。如上述本节开始部分对命名实体识别的描述，命名实体识 别需要对语料进行标注，而bert模型和crf模型可以同时解决中文分词和词 性标注两个任务，因此，所述步骤s103可以基于bert模型和crf模型进行 命名实体识别的训练。所以，所述步骤s103的具体实现过程可以包括：
[0104]
步骤s103-1：将所述训练数据输入至所述融入有知识类数据的深度双向语 言表征模型进行训练，获得所述训练数据的向量数据；
[0105]
步骤s103-2：将所述向量数据输入至条件随机场模型进行解码，获得针对 所述训练数据的输出数据；
[0106]
步骤s103-3：将获得的所述输出数据的深度双向语言表征模型和条件随机 场模型，确定为融入有知识类数据且能够识别命名实体的命名实体识别模型。
[0107]
在本实施例中，对于命名实时识别主要采用的是bert模型和crf模型， 而bert crf的命名实体识别模型原理是对于输入数据，首先进行bert编码， 其中bert模型中的参数是在步骤s102中已经预训练获得的，因此可以得到输 入数据中每个字(词语)的向量表示，将该向量输入crf模型进行解码，即可 可得到针对输入数据的命名实体识别的输出。
[0108]
综上，本实施例中的命名实体识别模型是基于知识类数据构造的用于判别 两个句子是否描述同一个实体的训练数据，在bert模型和crf模型中进行训 练而获得，即将知识类数据融入到bert模型中，无需依赖于领域词典，且在 已有训练数据较少的情况下，也能够保证识别的准确性。
[0109]
以上是对本技术提供的一种命名实体识别模型的训练方法实施例的具体描 述，与前述提供的一种命名实体识别模型的训练方法实施例相对应，本技术还 公开一种命名实体识别模型的训练装置实施例，请参看图2，由于装置实施例基 本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分 说明即可。下述描述的装置实施例仅仅是示意性的。
[0110]
如图2所示，图2是本技术提供的一种命名实体识别模型的训练装置实施 例的结构示意图，该训练装置包括：
[0111]
构造单元201，用于基于获取的知识类数据构造训练数据，其中知识类数据 包括：知识类关键数据以及所述知识类关键数据的描述内容；本实施例中所述 知识类关键数据为词条名，进一步可以理解为百科词条名，所述描述内容为用 于描述所述词条名的词条内容。
[0112]
所述构造单元201包括：第一选取子单元、第二选取子单元、遮蔽子单元 以及确定子单元。
[0113]
所述第一选取子单元，用于选取所述知识类关键数据的描述内容中包括相 同知识类关键数据的数据对，构成第一数据对；
[0114]
所述第二选取子单元，用于选取所述知识类关键数据的描述内容中包括不 同知识类关键数据的数据对，构成第二数据对；
[0115]
所述遮蔽子单元，用于按照设置的遮蔽范围，将所述第一数据对和第二数 据对中
的知识类关键数据进行遮蔽；
[0116]
所述确定子单元，用于将遮蔽后的所述第一数据对和第二数据对确定为所 述训练数据。
[0117]
其中，所述第一选取子单元包括：切分子单元、分类子单元和构成子单元。
[0118]
所述切分子单元，用于对所述知识类关键数据的描述内容按照设置的切分 方式进行切分，获得切分后的描述内容；所述切分子单元具体用于对所述描述 内容按照句子进行切分，获得切分后的描述内容。
[0119]
所述分类子单元，用于对切分后的描述内容按照设置的分类方式进行分类， 获得至少两个数据集合；所述分类子单元具体用于对切分后的描述内容按照所 述知识类关键数据进行分类，获得包括所述知识类关键数据的所述第一数据集 合，以及不包括所述知识类关键数据的所述第二数据集合。
[0120]
所述构成子单元，用于在至少两个数据集合中选取所述包括相同知识类关 键数据的数据对，构成所述第一数据对。
[0121]
所述第二选取子单元具体用于在所述至少两个数据集合中，分别选取所述 包括不同知识类关键数据的数据对，构成第二数据对。所述第二选取子单元具 体还用于选取与所述第一数据对数量匹配的，所述描述内容中包括不同知识类 关键数据的数据对，构成第二数据对。
[0122]
对于所述构造单元201的具体内容可以参考步骤s101描述内容，此处不重 复赘述。
[0123]
第一训练单元202，用于在深度双向语言表征的初始模型中，采用所述训练 数据进行模型训练，获得融入有知识类数据的深度双向语言表征模型；
[0124]
所述第一训练单元202包括：获取子单元和训练子单元。
[0125]
所述获取子单元，用于根据原始语料获取训练的深度双向语言表征模型的 初始模型；
[0126]
所述训练子单元，用于在所述初始模型的基础上，采用所述训练数据进行 训练，获得融入有知识类数据的深度双向语言表征模型。所述训练子单元具体 用于采用所述训练数据分别进行遮蔽数据预测的训练和下一个语句预测的训 练，获得融入有知识类数据的深度双向语言表征模型。
[0127]
对于所述第一训练单元202的具体描述可以参考上述步骤s102的具体描 述，此处不再重复赘述。
[0128]
第二训练单元203，用于利用所述融入有知识类数据的深度双向语言表征模 型，进行命名实体识别训练，获得融入有知识类数据且能够识别命名实体的命 名实体识别模型。
[0129]
所述第二训练单元203包括：输入子单元、解码子单元和确定子单元。
[0130]
所述输入子单元，用于将所述训练数据输入至所述融入有知识类数据的深 度双向语言表征模型进行训练，获得所述训练数据的向量数据；
[0131]
所述解码子单元，用于将所述向量数据输入至条件随机场模型进行解码， 获得针对所述训练数据的输出数据；
[0132]
所述确定子单元，用于将获得的所述输出数据的深度双向语言表征模型和 条件
随机场模型，确定为融入有知识类数据且能够识别命名实体的命名实体识 别模型。
[0133]
对于所述第二训练单元的具体内容，可以参考上述步骤s103的具体描述， 此处不再重复赘述。
[0134]
基于上述内容，本技术还提供一种命名实体的识别方法实施例，请参考图3 所示，图3是本技术提供的一种命名实体的识别方式实施例的流程图，该识别 方法实施例包括：
[0135]
步骤s301：获取待识别的命名实体的语料数据；
[0136]
所述步骤s301中的语料数据不受语言种类的限制，在本实施例中主要以中 文为主。所述语料数据可以是针对商品的相关描述信息。
[0137]
步骤s302：将所述语料数据输入到融入有知识类数据且能够识别命名实体 的命名实体识别模型中进行识别，获得命名实体数据；
[0138]
结合步骤s301的应用场景，基于输入到命名实体识别模型中的语料数据可 以包括涉及商品相关信息的商品名称、商品品类等命名实体数据。所述步骤s302 的具体实现过程可以是，将所述商品语料数据输入到融入有知识类数据且能够 识别命名实体的命名实体识别模型中进行所述商品实体信息的识别，获取所述 商品的命名实体数据。
[0139]
所述步骤s302中的融入有知识类数据且能够识别命名实体的命名实体识别 模型可以参考上述命名实体识别模型的训练方法实施例中步骤s101-步骤s103 的描述，此处不再重复赘述。
[0140]
步骤s303：输出所述命名实体数据。
[0141]
以上是对本技术提供的一种命名实体的识别方法实施例的具体描述，与前 述提供的一种命名实体的识别方法实施例相对应，本技术还公开一种命名实体 的识别装置实施例，请参看图4，由于装置实施例基本相似于方法实施例，所以 描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置 实施例仅仅是示意性的。
[0142]
如图4所示，图4是本技术提供的一种命名实体的识别装置实施例的结构 示意图，该识别装置实施例包括：
[0143]
获取单元401，用于获取待识别的命名实体的语料数据；
[0144]
识别单元402，用于将所述语料数据输入到训练的融入有知识类数据且能 够识别命名实体的深度双向语言表征模型中进行识别，获得识别的命名实体数 据；
[0145]
所述识别单元402中的融入有知识类数据且能够识别命名实体的深度双向 语言表征模型可以参考上述命名实体识别模型的训练方法实施例中步骤s101
-ꢀ
步骤s103的具体描述。
[0146]
输出单元403，用于将所述命名实体数据输出。
[0147]
基于上述内容，本技术还提供一种计算机存储介质，用于存储网络平台产 生数据，以及对应所述网络平台产生数据进行处理的程序；
[0148]
所述程序在被所述处理器读取执行时，执行如下步骤：
[0149]
基于获取的知识类数据构造训练数据，所述知识类数据包括：知识类关键 数据以及所述知识类关键数据的描述内容；
[0150]
在深度双向语言表征的初始模型中，采用所述训练数据进行模型训练，获 得融入有知识类数据的深度双向语言表征模型；
[0151]
利用所述融入有知识类数据的深度双向语言表征模型，进行命名实体识别 训练，
获得融入有知识类数据且能够识别命名实体的命名实体识别模型。
[0152]
基于上述内容，本技术还一种电子设备，包括：
[0153]
处理器；
[0154]
存储器，用于存储对网络平台产生数据进行处理的程序，所述程序在被所 述处理器读取执行时，执行如下步骤：
[0155]
基于获取的知识类数据构造训练数据，所述知识类数据包括：知识类关键 数据以及所述知识类关键数据的描述内容；
[0156]
在深度双向语言表征的初始模型中，采用所述训练数据进行训练，获得融 入有知识类数据的深度双向语言表征模型；
[0157]
利用所述融入有知识类数据的深度双向语言表征模型，进行命名实体识别 训练，获得融入有知识类数据且能够识别命名实体的命名实体识别模型。
[0158]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出 接口、网络接口和内存。
[0159]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。 内存是计算机可读介质的示例。
[0160]
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由 任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程 序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其 他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存 储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器 (cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁 盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设 备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒 体(transitory media)，如调制的数据信号和载波。
[0161]
2、本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机 程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件 和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计 算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0162]
本技术虽然以较佳实施例公开如上，但其并不是用来限定本技术，任何本 领域技术人员在不脱离本技术的精神和范围内，都可以做出可能的变动和修改， 因此本技术的保护范围应当以本技术权利要求所界定的范围为准。