实体识别方法、装置、电子设备及可读存储介质与流程

1.本公开的实施例涉及实体识别技术领域，尤其涉及一种实体识别方法、装置、电子设备及可读存储介质。


背景技术：

2.ner(named entity recognition，命名实体识别技术)是人工智能领域的核心基础技术之一，该技术旨在识别非结构化文本中的命名实体并将其分类到预定义的类型中。由于命名实体识别是很多业务场景中最底层和基础的模块之一，在高负荷的业务流量下，对ner服务的吞吐量、性能和识别效果都提出了很高的要求。
3.目前常用的命名实体识别方法是基于bert的ner模型的方法，当前由于gpu(graphics processing unit，图形处理器)资源的稀缺，基于bert的ner模型无法大规模地在线上进行实时计算，bert的复杂性也导致推理速度达不到性能要求，导致实体识别的效率及准确率较低。


技术实现要素：

4.本公开的实施例提供一种实体识别方法、装置、电子设备及可读存储介质，用以在高负载的流量下确保ner服务的高承载性，提高实体识别的效率和准确率。
5.根据本公开的实施例的第一方面，提供了一种实体识别方法，包括：
6.获取预先训练好的实体识别模型和所述实体识别模型的模型参数；
7.调用矩阵运算库重写所述实体识别模型的模型结构，并将所述模型参数赋予重写的实体识别模型，生成目标实体识别模型；
8.获取待识别语句；
9.将所述待识别语句输入至所述目标实体识别模型；
10.调用所述目标实体识别模型输出所述待识别语句中的目标实体词及所述目标实体词的实体类型。
11.可选地，在所述获取预先训练好的实体识别模型和所述实体识别模型的模型参数之前，还包括：
12.获取样本语句；
13.对所述样本语句进行预处理，生成模型训练语句；
14.基于所述模型训练语句对初始实体识别模型进行训练，得到所述实体识别模型。
15.可选地，所述对所述样本语句进行预处理，生成模型训练语句，包括：
16.根据预设概率对所述样本语句中的实体词进行替换处理，生成所述模型训练语句。
17.可选地，所述初始实体识别模型包括：第一词向量获取层、第二词向量获取层、字向量获取层和转移概率获取层，所述模型训练语句包含训练语句中的实体词对应的至少两个实体类型，其中，
18.所述基于所述模型训练语句对初始实体识别模型进行训练，得到所述实体识别模型，包括：
19.将所述模型训练语句输入至所述初始实体识别模型；
20.调用所述第一词向量获取层获取所述模型训练语句中按照从左向右的顺序整合的每个词的第一词向量；
21.调用所述第二词向量获取层获取所述模型训练语句中按照从右向左的顺序整合的每个词的第二词向量；
22.调用所述字向量获取层获取所述模型训练语句中每个字的字向量；
23.调用所述概率转移矩阵获取层对所述第一词向量、所述第二词向量和所述字向量进行处理，获取每个字和每个词在所述实体类型的预测值，并根据所述预测值获取所述至少两个实体类型之间的转移概率；
24.基于所述转移概率，计算得到所述初始实体识别模型的损失值；
25.在所述损失值处于预设范围内的情况下，将训练后的初始实体识别模型作为所述实体识别模型。
26.可选地，所述调用所述目标实体识别模型输出所述待识别语句中的目标实体词及所述目标实体词的实体类型，包括：
27.获取所述待识别语句中的每个字的目标字向量；
28.获取所述待识别语句中的每个词的目标词向量；
29.将所述目标字向量和所述目标词向量进行拼接处理，生成拼接向量；
30.将所述拼接向量输入至所述目标实体识别模型中；
31.调用所述目标实体识别模型对所述拼接向量进行处理，得到所述待识别语句中包含的目标实体词及所述目标实体词的实体类型。
32.可选地，所述获取所述待识别语句中的每个词的目标词向量，包括：
33.获取所述待识别语句中按照从左向右的顺序整合的每个词的第一词向量；
34.获取所述待识别语句中按照从右向左的顺序整合的每个词的第二词向量；
35.将所述第一词向量和所述第二词向量作为所述目标词向量。
36.根据本公开的实施例的第二方面，提供了一种实体识别装置，包括：
37.实体识别模型获取模块，用于获取预先训练好的实体识别模型和所述实体识别模型的模型参数；
38.目标实体识别模型生成模块，用于调用矩阵运算库重写所述实体识别模型的模型结构，并将所述模型参数赋予重写的实体识别模型，生成目标实体识别模型；
39.待识别语句获取模块，用于获取待识别语句；
40.待识别语句输入模块，用于将所述待识别语句输入至所述目标实体识别模型；
41.实体类型获取模块，用于调用所述目标实体识别模型输出所述待识别语句中的目标实体词及所述目标实体词的实体类型。
42.可选地，所述装置还包括：
43.样本语句获取模块，用于获取样本语句；
44.模型训练语句生成模块，用于对所述样本语句进行预处理，生成模型训练语句；
45.实体识别模型获取模块，用于基于所述模型训练语句对初始实体识别模型进行训
练，得到所述实体识别模型。
46.可选地，所述模型训练语句生成模块包括：
47.模型训练语句生成单元，用于根据预设概率对所述样本语句中的实体词进行替换处理，生成所述模型训练语句。
48.可选地，所述初始实体识别模型包括：第一词向量获取层、第二词向量获取层、字向量获取层和转移概率获取层，所述模型训练语句包含训练语句中的实体词对应的至少两个实体类型，其中，
49.所述实体识别模型获取模块包括：
50.模型训练语句输入单元，用于将所述模型训练语句输入至所述初始实体识别模型；
51.第一词向量获取单元，用于调用所述第一词向量获取层获取所述模型训练语句中按照从左向右的顺序整合的每个词的第一词向量；
52.第二词向量获取单元，用于调用所述第二词向量获取层获取所述模型训练语句中按照从右向左的顺序整合的每个词的第二词向量；
53.字向量获取单元，用于调用所述字向量获取层获取所述模型训练语句中每个字的字向量；
54.转移概率获取单元，用于调用所述概率转移矩阵获取层对所述第一词向量、所述第二词向量和所述字向量进行处理，获取每个字和每个词在所述实体类型的预测值，并根据所述预测值获取所述至少两个实体类型之间的转移概率；
55.损失值计算单元，用于基于所述转移概率，计算得到所述初始实体识别模型的损失值；
56.实体识别模型获取单元，用于在所述损失值处于预设范围内的情况下，将训练后的初始实体识别模型作为所述实体识别模型。
57.可选地，所述实体类型获取模块包括：
58.目标字向量获取单元，用于获取所述待识别语句中的每个字的目标字向量；
59.目标词向量获取单元，用于获取所述待识别语句中的每个词的目标词向量；
60.拼接向量生成单元，用于将所述目标字向量和所述目标词向量进行拼接处理，生成拼接向量；
61.拼接向量输入单元，用于将所述拼接向量输入至所述目标实体识别模型中；
62.实体类型获取单元，用于调用所述目标实体识别模型对所述拼接向量进行处理，得到所述待识别语句中包含的目标实体词及所述目标实体词的实体类型。
63.可选地，所述目标词向量获取单元包括：
64.第一词向量获取子单元，用于获取所述待识别语句中按照从左向右的顺序整合的每个词的第一词向量；
65.第二词向量获取子单元，用于获取所述待识别语句中按照从右向左的顺序整合的每个词的第二词向量；
66.目标词向量获取子单元，用于将所述第一词向量和所述第二词向量作为所述目标词向量。
67.根据本公开的实施例的第三方面，提供了一种电子设备，包括：
68.处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述的实体识别方法。
69.根据本公开的实施例的第四方面，提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项所述的实体识别方法。
70.本公开的实施例提供了一种实体识别方法、装置、电子设备及可读存储介质，通过获取预先训练好的实体识别模型和实体识别模型的模型参数，调用矩阵运算库重写实体识别模型的模型结构，并将模型参数赋予重写的实体识别模型，生成目标实体识别模型，获取待识别语句，将待识别语句输入至目标实体识别模型，调用目标实体识别模型输出待识别语句中的目标实体词及目标实体词的实体类型。本公开的实施例通过采用预训练的实体识别模型模型来提升ner的识别效果，并且基于矩阵运算库重写模型实现识别推理过程，可以解决基于bert的ner模型无法大规模地在线上进行实时计算的问题，能够在高负载的流量下确保ner服务高承载性，并提高了实体识别的效率和准确率。
附图说明
71.为了更清楚地说明本公开的实施例的技术方案，下面将对本公开的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
72.图1为本公开的实施例提供的一种实体识别方法的步骤流程图；
73.图2为本公开的实施例提供的另一种实体识别方法的步骤流程图；
74.图3为本公开的实施例提供的一种模型处理流程的示意图；
75.图4为本公开的实施例提供的一种实体识别装置的结构示意图；
76.图5为本公开的实施例提供的另一种实体识别装置的结构示意图。
具体实施方式
77.下面将结合本公开的实施例中的附图，对本公开的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的实施例一部分实施例，而不是全部的实施例。基于本公开的实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开的实施例保护的范围。
78.实施例一
79.参照图1，示出了本公开的实施例提供的一种实体识别方法的步骤流程图，如图1所示，该实体识别方法可以包括如下步骤：
80.步骤101：获取预先训练好的实体识别模型和所述实体识别模型的模型参数。
81.本公开的实施例可以应用于结合矩阵运算库重写实体识别模型并进行实体识别的场景中。
82.实体识别模型是指预先训练的用于对语句中对实体和该实体的实体类型进行识别的模型，对于实体识别模型的训练过程将在下述实施例二中进行详细描述，本实施例在此不再加以赘述。
83.模型参数是指在模型推理过程中运用的参数。
84.在需要进行实体识别时，可以获取预先训练好的实体识别模型以及该实体识别模型的模型参数。
85.在获取到预先训练的实体识别模型和该实体识别模型的模型参数之后，执行步骤102。
86.步骤102：调用矩阵运算库重写所述实体识别模型的模型结构，并将所述模型参数赋予重写的实体识别模型，生成目标实体识别模型。
87.在本示例中，矩阵运算库即eigen，该矩阵运算库为一个c 线性运算的模板库，可以用来完成矩阵、向量、数值解等相关的运算。
88.在获取到预先训练的实体识别模型和该实体识别模型的模型参数之后，可以调用矩阵运算库重写实体识别模型的模型结构，并将模型参数赋予重写的实体识别模型，以得到目标实体识别模型。
89.在得到目标实体识别模型之后，执行步骤103。
90.步骤103：获取待识别语句。
91.待识别语句是指用于进行实体和实体类型识别的语句。
92.在本示例中，待识别语句可以为用户在业务平台输入的语句，也可以为业务人员输入的语句，具体地，对于待识别语句的获取方式可以根据业务需求而定，本实施例对此不加以限制。
93.在调用矩阵运算库重写实体识别模型的模型结构，并将模型参数赋予重写的实体识别模型，生成目标实体识别模型之后，可以获取待识别语句。
94.在获取到待识别语句之后，执行步骤104。
95.步骤104：将所述待识别语句输入至所述目标实体识别模型。
96.在获取到待识别语句之后，可以将待识别语句输入至目标实体识别模型，以通过目标实体识别模型完成对待识别语句的处理。
97.在将待识别语句输入至目标实体识别模型之后，执行步骤105。
98.步骤105：调用所述目标实体识别模型输出所述待识别语句中的目标实体词及所述目标实体词的实体类型。
99.在将待识别语句输入至目标实体识别模型之后，可以调用目标实体识别模型对待识别语句进行处理，以得到目标实体识别模型输出的待识别语句中的目标实体词及目标实体词的实体类型，具体地，对于目标实体识别模型对待识别语句的处理过程将在下述实施例二中进行详细描述。
100.本公开的实施例通过采用预训练的实体识别模型模型来提升ner的识别效果，并且基于矩阵运算库重写模型实现识别推理过程，可以解决基于bert的ner模型无法大规模地在线上进行实时计算的问题。
101.本公开的实施例提供的实体识别方法，通过获取预先训练好的实体识别模型和实体识别模型的模型参数，调用矩阵运算库重写实体识别模型的模型结构，并将模型参数赋予重写的实体识别模型，生成目标实体识别模型，获取待识别语句，将待识别语句输入至目标实体识别模型，调用目标实体识别模型输出待识别语句中的目标实体词及目标实体词的实体类型。本公开的实施例通过采用预训练的实体识别模型模型来提升ner的识别效果，并
且基于矩阵运算库重写模型实现识别推理过程，可以解决基于bert的ner模型无法大规模地在线上进行实时计算的问题，能够在高负载的流量下确保ner服务高承载性，并提高了实体识别的效率和准确率。
102.实施例二
103.参照图2，示出了本公开的实施例提供的另一种实体识别方法的步骤流程图，如图2所示，该实体识别方法可以包括如下步骤：
104.步骤201：获取样本语句。
105.本公开的实施例可以应用于结合矩阵运算库重写实体识别模型并进行实体识别的场景中。
106.样本语句是指用于训练得到实体识别模型的语句。
107.在需要进行实体识别模型的训练时，可以获取用于进行实体识别模型训练的样本语句。
108.在获取到样本语句之后，执行步骤202。
109.步骤202：对所述样本语句进行预处理，生成模型训练语句。
110.在获取到样本语句之后，可以对样本语句进行预处理，以生成模型训练语句，对于样本语句的预处理过程可以为根据预设概率对样本语句中的实体词进行替换处理，以生成模型训练语句，具体地，可以随机将样本语句中的字或词以概率p(15％)选中，以80％的概率将选中的实体词替换为一个特殊的标记符号，以10％的概率随机替换成一个另一个实体词，10％的概率保持不变，以预测该位置的实际实体词。
111.在进行过上述欲预理之后，可以将预处理后的语句和原本的样本语句共同作为模型训练语句。
112.在对样本语句进行预处理生成模型训练语句之后，执行步骤203。
113.步骤203：基于所述模型训练语句对初始实体识别模型进行训练，得到所述实体识别模型。
114.初始实体识别模型是指搭建的需要进行训练的用于对语句中的实体词和该实体词的实体类型进行识别的模型。
115.在得到模型训练语句之后，可以基于模型训练语句对初始实体识别模型进行训练，以得到实体识别模型，具体地训练过程可以结合下述具体实现方式进行详细描述。
116.在本公开的一种具体实现方式中，所述初始实体识别模型包括：第一词向量获取层、第二词向量获取层、字向量获取层和转移概率获取层，所述模型训练语句包含训练语句中的实体词对应的至少两个实体类型，其中，上述步骤203可以包括：
117.子步骤a1：将所述模型训练语句输入至所述初始实体识别模型。
118.在本实施例中，初始实体识别模型可以包括：第一词向量获取层、第二词向量获取层、字向量获取层和转移概率获取层，其中，第一词向量获取次为left bigram，第二词向量为right bigram，字向量获取层为unigram，转移概率获取层为softmax，如图3所示。
119.在获取到模型训练语句之后，可以将模型训练语句输入至初始实体识别模型，如图3所示，模型训练语句为“我想吃火锅”，在得到该模型训练语句之后，可以将模型训练语句输入至初始实体识别模型。
120.在将模型训练语句输入至初始实体识别模型之后，执行子步骤a2、子步骤a3和子
步骤a4。
121.子步骤a2：调用所述第一词向量获取层获取所述模型训练语句中按照从左向右的顺序整合的每个词的第一词向量。
122.在将模型训练语句输入至初始实体识别模型之后，可以调用第一词向量获取层获取模型训练语句中按照从左向右的顺序的整合的每个词的第一词向量，如图3所示，模型训练语句“我想吃火锅”按照从左向右的顺序整合之后得到的词为：“<b>我”、“我想”、“想吃”、“吃火”和“火锅”，结合第一词向量获取层可以获取这些词的词向量，即第一词向量。
123.子步骤a3：调用所述第二词向量获取层获取所述模型训练语句中按照从右向左的顺序整合的每个词的第二词向量。
124.在将模型训练语句输入至初始实体识别模型之后，可以调用第二词向量获取层获取模型训练语句中按照从右向左的顺序的整合的每个词的第二词向量，如图3所示，模型训练语句“我想吃火锅”按照从右向左的顺序整合之后得到的词为：“我想”、“想吃”、“吃火”、“火锅”和“锅<b>”，结合第二词向量获取层可以获取这些词的词向量，即第二词向量。
125.子步骤a4：调用所述字向量获取层获取所述模型训练语句中每个字的字向量。
126.在将模型训练语句输入至初始实体识别模型之后，可以调用字向量获取层获取模型训练语句中每个字的字向量，如图3所示，模型训练语句为“我想吃火锅”，其中包含的单个字为“我”、“想”、“吃”、“火”和“锅”，调用unigram层可以获取这些字分别对应的字向量等。
127.在获取到第一词向量、第二词向量和字向量之后，执行子步骤a5。
128.子步骤a5：调用所述概率转移矩阵获取层对所述第一词向量、所述第二词向量和所述字向量进行处理，获取每个字和每个词在所述实体类型的预测值，并根据所述预测值获取所述至少两个实体类型之间的转移概率。
129.在获取到第一词向量、第二词向量和字向量之后，可以调用概率转移矩阵获取层对第一词向量、第二词向量和字向量进行处理，以获取每个字和每个词在实体类型的预测值，并根据预测值获取至少两个实体类型之间的转移概率。基于cnn和lstm的序列标注模型往往在序列标注层接入crf来建模标签在整个句子中的联合概率分布，然后在nn模型上加crf相比原始crf更耗时，而去除crf层容易存在标签跳转。针对该问题，本实施例通过学习标签之间的概率转移矩阵，并用该概率修正标签预测结果：
130.s(x,y
i
)＝logit(x,y
i
) λ*a(y
i
‑1,y
i
)
ꢀꢀꢀꢀꢀ
(1)
[0131][0132]
上述公式(1)和公式(2)中，x为字，y
i
表示第i个字符的标签(即字的类型)，logit(x,y
i
)为字在标签y
i
上的预测值，a(y
i
‑1,y
i
)表示从y
i
‑1转移到y
i
的转移概率，s(x,y
i
)和λ是控制两种表示的超参数，s(x,y
i
)为修正后的向量表示，通过显示地融合概率转移矩阵，对标签跳转问题得到了很好的缓解。
[0133]
对于标签转移概率矩阵，本实施例提出了两种计算方式：1、直接从训练数据中统计各个标签之间的转移概率；2、将矩阵参数和其它参数一起参与训练。
[0134]
在获取到至少两个实体类型之间的转移概率之后，执行子步骤a6。
[0135]
子步骤a6：基于所述转移概率，计算得到所述初始实体识别模型的损失值。
[0136]
在获取到至少两个实体类型之间的转移概率之后，可以基于转移概率计算得到初始实体识别模型的损失值。
[0137]
子步骤a7：在所述损失值处于预设范围内的情况下，将训练后的初始实体识别模型作为所述实体识别模型。
[0138]
在计算得到损失值之后，可以判断损失值是否处于预设范围内，若处于预设范围内，则可以将训练后的初始实体识别模型作为最终的用于进行实体和实体类型识别的实体识别模型。若损失值未处于预设范围内，则可以结合更多的模型训练语句继续对初始实体识别模型进行训练，直至损失值处于预设范围内。
[0139]
步骤204：获取预先训练好的实体识别模型和所述实体识别模型的模型参数。
[0140]
模型参数是指在模型推理过程中运用的参数。
[0141]
在通过上述步骤训练得到实体识别模型之后，需要进行实体识别时，可以获取预先训练好的实体识别模型以及该实体识别模型的模型参数。
[0142]
在
[0143]
步骤205：调用矩阵运算库重写所述实体识别模型的模型结构，并将所述模型参数赋予重写的实体识别模型，生成目标实体识别模型。
[0144]
在本示例中，矩阵运算库即eigen，该矩阵运算库为一个c 线性运算的模板库，可以用来完成矩阵、向量、数值解等相关的运算。
[0145]
在获取到预先训练的实体识别模型和该实体识别模型的模型参数之后，可以调用矩阵运算库重写实体识别模型的模型结构，并将模型参数赋予重写的实体识别模型，以得到目标实体识别模型。
[0146]
在得到目标实体识别模型之后，执行步骤206。
[0147]
步骤206：获取待识别语句。
[0148]
待识别语句是指用于进行实体和实体类型识别的语句。
[0149]
在本示例中，待识别语句可以为用户在业务平台输入的语句，也可以为业务人员输入的语句，具体地，对于待识别语句的获取方式可以根据业务需求而定，本实施例对此不加以限制。
[0150]
在调用矩阵运算库重写实体识别模型的模型结构，并将模型参数赋予重写的实体识别模型，生成目标实体识别模型之后，可以获取待识别语句。
[0151]
在获取到待识别语句之后，执行步骤207和步骤208。
[0152]
步骤207：获取所述待识别语句中的每个字的目标字向量。
[0153]
步骤208：获取所述待识别语句中的每个词的目标词向量。
[0154]
在将待识别语句输入至目标实体识别模型之后，可以获取待识别语句中的每个字的目标字向量，以及待识别语句中的每个词的目标词向量。
[0155]
对于获取目标词向量的方式可以为：获取待识别语句中按照从左向右的顺序整合的每个词的第一词向量，及从右向左的顺序整合的每个词的第二词向量，第一词向量和第二词向量即构成了目标词向量。
[0156]
在获取到目标字向量和目标词向量之后，执行步骤209。
[0157]
步骤209：将所述目标字向量和所述目标词向量进行拼接处理，生成拼接向量。
[0158]
在获取到目标字向量和目标词向量之后，可以将目标字向量和目标词向量进行拼
接处理，以生成拼接向量，进而执行步骤210。
[0159]
步骤210：将所述拼接向量输入至所述目标实体识别模型中。
[0160]
在生成拼接向量之后，可以将拼接向量输入至目标实体识别模型中，进而执行步骤211。
[0161]
步骤211：调用所述目标实体识别模型对所述拼接向量进行处理，得到所述待识别语句中包含的目标实体词及所述目标实体词的实体类型。
[0162]
在将拼接向量输入至目标实体识别模型之后，可以调用目标实体识别模型对拼接向量进行处理，以得到待识别语句中包含的目标实体词，以及目标实体词的实体类型。
[0163]
本公开的实施例提供的实体识别方法，通过获取预先训练好的实体识别模型和实体识别模型的模型参数，调用矩阵运算库重写实体识别模型的模型结构，并将模型参数赋予重写的实体识别模型，生成目标实体识别模型，获取待识别语句，将待识别语句输入至目标实体识别模型，调用目标实体识别模型输出待识别语句中的目标实体词及目标实体词的实体类型。本公开的实施例通过采用预训练的实体识别模型模型来提升ner的识别效果，并且基于矩阵运算库重写模型实现识别推理过程，可以解决基于bert的ner模型无法大规模地在线上进行实时计算的问题，能够在高负载的流量下确保ner服务高承载性，并提高了实体识别的效率和准确率。
[0164]
实施例三
[0165]
参照图4，示出了本公开的实施例提供的一种实体识别装置的结构示意图，如图4所示，该实体识别装置300可以包括如下模块：
[0166]
实体识别模型获取模块310，用于获取预先训练好的实体识别模型和所述实体识别模型的模型参数；
[0167]
目标实体识别模型生成模块320，用于调用矩阵运算库重写所述实体识别模型的模型结构，并将所述模型参数赋予重写的实体识别模型，生成目标实体识别模型；
[0168]
待识别语句获取模块330，用于获取待识别语句；
[0169]
待识别语句输入模块340，用于将所述待识别语句输入至所述目标实体识别模型；
[0170]
实体类型获取模块350，用于调用所述目标实体识别模型输出所述待识别语句中的目标实体词及所述目标实体词的实体类型。
[0171]
本公开的实施例提供的实体识别装置，通过获取预先训练好的实体识别模型和实体识别模型的模型参数，调用矩阵运算库重写实体识别模型的模型结构，并将模型参数赋予重写的实体识别模型，生成目标实体识别模型，获取待识别语句，将待识别语句输入至目标实体识别模型，调用目标实体识别模型输出待识别语句中的目标实体词及目标实体词的实体类型。本公开的实施例通过采用预训练的实体识别模型模型来提升ner的识别效果，并且基于矩阵运算库重写模型实现识别推理过程，可以解决基于bert的ner模型无法大规模地在线上进行实时计算的问题，能够在高负载的流量下确保ner服务高承载性，并提高了实体识别的效率和准确率。
[0172]
实施例四
[0173]
参照图5，示出了本公开的实施例提供的另一种实体识别装置的结构示意图，如图5所示，该实体识别装置400可以包括如下模块：
[0174]
样本语句获取模块410，用于获取样本语句；
[0175]
模型训练语句生成模块420，用于对所述样本语句进行预处理，生成模型训练语句；
[0176]
实体识别模型获取模块430，用于基于所述模型训练语句对初始实体识别模型进行训练，得到所述实体识别模型；
[0177]
实体识别模型获取模块440，用于获取预先训练好的实体识别模型和所述实体识别模型的模型参数；
[0178]
目标实体识别模型生成模块450，用于调用矩阵运算库重写所述实体识别模型的模型结构，并将所述模型参数赋予重写的实体识别模型，生成目标实体识别模型；
[0179]
待识别语句获取模块460，用于获取待识别语句；
[0180]
待识别语句输入模块470，用于将所述待识别语句输入至所述目标实体识别模型；
[0181]
实体类型获取模块480，用于调用所述目标实体识别模型输出所述待识别语句中的目标实体词及所述目标实体词的实体类型。
[0182]
可选地，所述模型训练语句生成模块420包括：
[0183]
模型训练语句生成单元，用于根据预设概率对所述样本语句中的实体词进行替换处理，生成所述模型训练语句。
[0184]
可选地，所述初始实体识别模型包括：第一词向量获取层、第二词向量获取层、字向量获取层和转移概率获取层，所述模型训练语句包含训练语句中的实体词对应的至少两个实体类型，其中，
[0185]
所述实体识别模型获取模块440包括：
[0186]
模型训练语句输入单元，用于将所述模型训练语句输入至所述初始实体识别模型；
[0187]
第一词向量获取单元，用于调用所述第一词向量获取层获取所述模型训练语句中按照从左向右的顺序整合的每个词的第一词向量；
[0188]
第二词向量获取单元，用于调用所述第二词向量获取层获取所述模型训练语句中按照从右向左的顺序整合的每个词的第二词向量；
[0189]
字向量获取单元，用于调用所述字向量获取层获取所述模型训练语句中每个字的字向量；
[0190]
转移概率获取单元，用于调用所述概率转移矩阵获取层对所述第一词向量、所述第二词向量和所述字向量进行处理，获取每个字和每个词在所述实体类型的预测值，并根据所述预测值获取所述至少两个实体类型之间的转移概率；
[0191]
损失值计算单元，用于基于所述转移概率，计算得到所述初始实体识别模型的损失值；
[0192]
实体识别模型获取单元，用于在所述损失值处于预设范围内的情况下，将训练后的初始实体识别模型作为所述实体识别模型。
[0193]
可选地，所述实体类型获取模块480包括：
[0194]
目标字向量获取单元481，用于获取所述待识别语句中的每个字的目标字向量；
[0195]
目标词向量获取单元482，用于获取所述待识别语句中的每个词的目标词向量；
[0196]
拼接向量生成单元483，用于将所述目标字向量和所述目标词向量进行拼接处理，生成拼接向量；
[0197]
拼接向量输入单元484，用于将所述拼接向量输入至所述目标实体识别模型中；
[0198]
实体类型获取单元485，用于调用所述目标实体识别模型对所述拼接向量进行处理，得到所述待识别语句中包含的目标实体词及所述目标实体词的实体类型。
[0199]
可选地，所述目标词向量获取单元482包括：
[0200]
第一词向量获取子单元，用于获取所述待识别语句中按照从左向右的顺序整合的每个词的第一词向量；
[0201]
第二词向量获取子单元，用于获取所述待识别语句中按照从右向左的顺序整合的每个词的第二词向量；
[0202]
目标词向量获取子单元，用于将所述第一词向量和所述第二词向量作为所述目标词向量。
[0203]
本公开的实施例提供的实体识别装置，通过获取预先训练好的实体识别模型和实体识别模型的模型参数，调用矩阵运算库重写实体识别模型的模型结构，并将模型参数赋予重写的实体识别模型，生成目标实体识别模型，获取待识别语句，将待识别语句输入至目标实体识别模型，调用目标实体识别模型输出待识别语句中的目标实体词及目标实体词的实体类型。本公开的实施例通过采用预训练的实体识别模型模型来提升ner的识别效果，并且基于矩阵运算库重写模型实现识别推理过程，可以解决基于bert的ner模型无法大规模地在线上进行实时计算的问题，能够在高负载的流量下确保ner服务高承载性，并提高了实体识别的效率和准确率。
[0204]
本公开的实施例还提供了一种电子设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现前述实施例的实体识别方法。
[0205]
本公开的实施例还提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述实施例的实体识别方法。
[0206]
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0207]
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本公开的实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本公开的实施例的内容，并且上面对特定语言所做的描述是为了披露本公开的实施例的最佳实施方式。
[0208]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0209]
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开的实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每
个权利要求本身都作为本公开的实施例的单独实施例。
[0210]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
[0211]
本公开的实施例的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本公开的实施例的动态图片的生成设备中的一些或者全部部件的一些或者全部功能。本公开的实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本公开的实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0212]
应该注意的是上述实施例对本公开的实施例进行说明而不是对本公开的实施例进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开的实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0213]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0214]
以上所述仅为本公开的实施例的较佳实施例而已，并不用以限制本公开的实施例，凡在本公开的实施例的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本公开的实施例的保护范围之内。
[0215]
以上所述，仅为本公开的实施例的具体实施方式，但本公开的实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开的实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的实施例的保护范围之内。因此，本公开的实施例的保护范围应以权利要求的保护范围为准。