实体识别方法、装置及计算机可读存储介质与流程

1.本发明涉及自然语言处理技术领域，具体涉及一种实体识别方法、装置及计算机可读存储介质。


背景技术：

2.随着计算机的普及以及互联网的迅猛发展，大量的信息以电子文档的形式出现在人们面前。为了应对信息爆炸带来的严峻挑战，迫切需要专业的自动化工具从海量的数据中提取真正有价值的信息，信息抽取应运而生。命名实体指的是文本中表示人名、地名和组织名的专有名词，作为文本中重要的语义知识载体，命名实体识别在信息抽取中扮演重要角色，可以对文本中表示命名实体的专有名词进行精确识别和分类，进一步地为自动问答、意见挖掘、语义分析等众多自然语言处理任务提供重要的语义支撑。
3.命名实体是以连续字符的表现形式存在。不可避免地，命名实体存在嵌套现象，即在一个命名实体内部，存在着多个具有嵌套结构的实体，如“中华人民共和国科技部”中存在的“中华人民共和国科技部”、“中华人民共和国”以及“科技部”三个命名实体。由嵌套结构产生的不同实体往往富含不同的语义信息，为保证原始文本语义的完整性，对多层嵌套的每一个实体进行有效的识别和分类是必要的。
4.相关技术中，识别嵌套命名实体的识别效果较差，准确率较低。


技术实现要素：

5.本发明实施例要解决的技术问题是提供一种实体识别方法、装置及计算机可读存储介质，能够提高实体识别的精度和准确率，增大实体识别应用的范围。
6.根据本发明实施例的一个方面，提供了一种实体识别方法，包括：
7.获取待识别的文本；
8.利用预先训练的语言模型将所述待识别的文本转换为词向量；
9.将所述词向量输入预先训练的融入句法依赖信息的图注意力模型中，得到实体边界信息；
10.根据所述实体边界信息确定所述待识别的文本的里层实体和外层实体；
11.利用预先训练的实体类型分类模型识别所述里层实体和所述外层实体的类型。
12.此外，根据本发明的至少一个实施例，所述语言模型采用来自变换器的双向编码器表征量bert模型。
13.此外，根据本发明的至少一个实施例，所述方法还包括训练得到融入句法依赖信息的图注意力模型的步骤，所述训练得到融入句法依赖信息的图注意力模型的步骤包括：
14.建立初始图注意力模型；
15.获取第一训练样本数据，所述第一训练样本数据包括第一输入数据和第一答案数据，所述第一输入数据包括文本和所述文本的句法依赖信息，所述第一答案数据包括所述文本的实体边界信息；
16.利用所述第一训练样本数据对所述初始图注意力模型进行训练，得到所述融入句法依赖信息的图注意力模型。
17.此外，根据本发明的至少一个实施例，所述实体边界信息包括以下至少一项：
18.实体的起始字和结束字；
19.文本中相邻的两个单词的标签是否连续。
20.此外，根据本发明的至少一个实施例，所述方法还包括训练得到实体类型分类模型的步骤，所述训练得到实体类型分类模型的步骤包括：
21.建立初始实体类型分类模型；
22.获取第二训练样本数据，所述第二训练样本数据包括第二输入数据和第二答案数据，所述第二输入数据包括命名实体，所述第二答案数据包括实体类型；
23.利用所述第二训练样本数据对所述初始实体类型分类模型进行训练，得到所述实体类型分类模型。
24.此外，根据本发明的至少一个实施例，所述训练得到实体类型分类模型的步骤中，利用所述第二答案数据、实体边界识别子任务和实体类型识别子任务的联合损失函数对所述初始实体类型分类模型进行训练。
25.此外，根据本发明的至少一个实施例，所述利用预先训练的实体类型分类模型识别所述里层实体和所述外层实体的类型包括：
26.对于每一里层实体，将所述里层实体的词向量与t维的零向量连接，得到第一连接向量，t为正整数；
27.对至少一个所述第一连接向量计算向量平均值得到第一向量平均值；
28.对至少一个所述里层实体的词向量计算向量平均值得到第二向量平均值；
29.将所述第一向量平均值输入所述实体类型分类模型，得到所述里层实体的实体类型向量；
30.将所述外层实体的词向量与t维的里层实体的实体类型向量连接，得到第二连接向量；
31.对所述第二连接向量和所述第二向量平均值计算向量平均值得到第三向量平均值；
32.将所述第三向量平均值输入所述实体类型分类模型，得到所述外层实体的实体类型向量。
33.此外，根据本发明的至少一个实施例，所述实体类型分类模型使用集束搜索。
34.根据本发明实施例的另一方面，提供了一种实体识别装置，包括：
35.获取单元，用于获取待识别的文本；
36.词向量转换单元，用于利用预先训练的语言模型将所述待识别的文本转换为词向量；
37.实体边界信息获取单元，用于将所述词向量输入预先训练的融入句法依赖信息的图注意力模型中，得到实体边界信息；
38.处理单元，用于根据所述实体边界信息确定所述待识别的文本的里层实体和外层实体；
39.识别单元，用于利用预先训练的实体类型分类模型识别所述里层实体和所述外层
实体的类型。
40.此外，根据本发明的至少一个实施例，所述装置还包括第一训练单元，所述第一训练单元包括：
41.第一建立子单元，用于建立初始图注意力模型；
42.第一获取子单元，用于获取第一训练样本数据，所述第一训练样本数据包括第一输入数据和第一答案数据，所述第一输入数据包括文本和所述文本的句法依赖信息，所述第一答案数据包括所述文本的实体边界信息；
43.第一训练子单元，用于利用所述第一训练样本数据对所述初始图注意力模型进行训练，得到所述融入句法依赖信息的图注意力模型。
44.此外，根据本发明的至少一个实施例，所述装置还包括第二训练单元，所述第二训练单元包括：
45.第二建立子单元，用于建立初始实体类型分类模型；
46.第二获取子单元，用于获取第二训练样本数据，所述第二训练样本数据包括第二输入数据和第二答案数据，所述第二输入数据包括命名实体，所述第二答案数据包括实体类型；
47.第二训练子单元，用于利用所述第二训练样本数据对所述初始实体类型分类模型进行训练，得到所述实体类型分类模型。
48.此外，根据本发明的至少一个实施例，所述识别单元包括：
49.第一连接子单元，用于对于每一里层实体，将所述里层实体的词向量与t维的零向量连接，得到第一连接向量，t为正整数；
50.第一计算子单元，用于对至少一个所述第一连接向量计算向量平均值得到第一向量平均值；
51.第二计算子单元，用于对至少一个所述里层实体的词向量计算向量平均值得到第二向量平均值；
52.第一识别子单元，用于将所述第一向量平均值输入所述实体类型分类模型，得到所述里层实体的实体类型向量；
53.第二连接子单元，用于将所述外层实体的词向量与t维的里层实体的实体类型向量连接，得到第二连接向量；
54.第三计算子单元，用于对所述第二连接向量和所述第二向量平均值计算向量平均值得到第三向量平均值；
55.第二识别子单元，用于将所述第三向量平均值输入所述实体类型分类模型，得到所述外层实体的实体类型向量。
56.本发明实施例还提供了一种实体识别装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的实体识别方法的步骤。
57.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的实体识别方法的步骤。
58.与现有技术相比，本发明实施例提供的实体识别方法、装置及计算机可读存储介质，利用语言模型将待识别的文本转换为词向量，将词向量输入融入句法依赖信息的图注
意力模型中，可以得到待识别的文本的实体边界信息，根据实体边界信息可以确定待识别的文本的里层实体和外层实体，之后利用实体类型分类模型分别识别里层实体和外层实体的类型，本实施例的技术方案先确定文本的里层实体和外层实体，再分别对实体类型进行识别，能够提高实体识别的精度和准确率；并且本实施例的技术方案可用于嵌套命名实体的连续实体、嵌套实体和非连续实体中的实体识别，增大了实体识别应用的范围。
附图说明
59.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
60.图1为本发明实施例的实体识别方法的一种流程示意图；
61.图2为本发明实施例训练得到融入句法依赖信息的图注意力模型的流程示意图；
62.图3为本发明实施例句法依赖信息的示意图；
63.图4为本发明实施例训练得到实体类型分类模型的流程示意图；
64.图5为本发明实施例识别里层实体和外层实体的类型的流程示意图；
65.图6为本发明具体实施例识别里层实体和外层实体的类型的流程示意图；
66.图7为本发明实施例的实体识别装置的一种结构示意图；
67.图8为本发明实施例的实体识别装置的另一种结构示意图；
68.图9为本发明实施例第一训练单元的结构示意图；
69.图10为本发明实施例的实体识别装置的又一种结构示意图；
70.图11为本发明实施例第二训练单元的结构示意图；
71.图12为本发明实施例识别单元的结构示意图；
72.图13为本发明实施例的实体识别装置的再一种结构示意图。
具体实施方式
73.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
74.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
75.在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
76.本发明的实施例提供一种实体识别方法、装置及计算机可读存储介质，能够提高
图像的质量。
77.实施例一
78.本发明的实施例提供一种实体识别方法，如图1所示，包括：
79.步骤101：获取待识别的文本；
80.本实施例中的实体识别可以应用在多种需要的场景，例如应用在语音合成中。在语音合成时需要先对输入文本进行文本处理，之后对处理后的文本进行韵律预测、声学参数生成等，得到合成的语音。其中，实体识别可以作为是文本处理的一个基本步骤。
81.待识别的文本可以从网络或者数据库中获取，一些实施例中，待识别的文本可以是：“好想听刘德华的忘情水”，或者是“中华人民共和国科技部”，还可以是“the minister of the department of education convened a meeting”。
82.步骤102：利用预先训练的语言模型将所述待识别的文本转换为词向量；
83.其中，预先训练的语言模型可以是任意一种语言模型，例如bert(来自变换器的双向编码器表征量)模型，只要能够将待识别的文本转换为词向量即可。
84.步骤103：将所述词向量输入预先训练的融入句法依赖信息的图注意力模型中，得到实体边界信息；
85.本实施例中，还需要预先训练得到融入句法依赖信息的图注意力模型，在训练得到图注意力模型时，可以根据不同的目标训练出满足需求的图注意力模型。本实施例中，由于需要得到文本的实体边界信息，因此，在对图注意力模型进行训练时，训练数据需要包括文本的句法依赖信息和文本的实体边界信息，其中，文本的句法依赖信息可以从不同的来源获取，一些实施例中，句法依赖信息包括依存分析树，具体地，可以从某些特定领域的词典或其他资源中获取句法依赖信息。
86.如图2所示，训练得到融入句法依赖信息的图注意力模型的步骤包括：
87.步骤201：建立初始图注意力模型；
88.步骤202：获取第一训练样本数据，所述第一训练样本数据包括第一输入数据和第一答案数据，所述第一输入数据包括文本和所述文本的句法依赖信息，所述第一答案数据包括所述文本的实体边界信息；
89.比如第一输入数据中的文本为“the minister of the department of education convened a meeting”，则第一输入数据中还包括“the minister of the department of education convened a meeting”的句法依赖信息，如图3所示，句法依赖信息包括但不限于以下信息：“the minister”中的“the”为“minister”的限定词(det)，“the department”中的“the”为“department”的限定词，“a meeting”中的“a”为“meeting”的限定词，“minister”与“department”存在依存关系(nmod)，“department”与“education”存在依存关系，“convened”的执行目标(dobj)为“meeting”，“department”是“of”的实例(case)，“education”是“of”的实例，“minister”是“convened”的名词主语(nsubj)。
90.步骤203：利用所述第一训练样本数据对所述初始图注意力模型进行训练，得到所述融入句法依赖信息的图注意力模型。
91.在经过上述步骤201-203后，即可得到融入句法依赖信息的图注意力模型。将待识别的文本转换得到的词向量输入融入句法依赖信息的图注意力模型中，即可得到待识别的文本的实体边界信息，实体边界信息表征实体的范围，通过实体边界信息可以确定每一实
体在待识别的文本中的位置和范围。
92.一具体实施例中，实体边界信息可以是用来标记文本中字与字关系的矩阵，实体边界信息可以包括以下至少一项：
93.实体的起始字和结束字；
94.文本中相邻的两个单词的标签是否连续。
95.比如一具体示例中，表示实体边界信息的矩阵中的元素为a
i,j
，i，j为正整数，其中，a
i,j
表示在文本中实体从第i个字开始到第j个字结束，通过实体的起始字和结束字可以确定实体的边界，确定实体在待识别的文本中的位置和范围。
96.另一具体示例中，表示实体边界信息的矩阵中的元素为a
i,j
，i，j为正整数，其中，a
i,j
表示文本中相邻的两个单词的标签是否连续，如果元素a
i,j
不为0，表示文本中第i个单词和第j个单词在实体中是连续的，即第i个单词和第j个单词属于同一个实体，如果元素a
i,j
为0，表示文本中第i个单词和第j个单词在实体中不是连续的，即第i个单词和第j个单词不属于同一个实体，这样通过文本中相邻的两个单词的标签是否连续可以确定实体的边界，确定实体在待识别的文本中的位置和范围。
97.步骤104：根据所述实体边界信息确定所述待识别的文本的里层实体和外层实体；
98.在确定实体边界信息中，即可确定待识别的文本中的每一实体，包括里层实体和外层实体，比如确定“中华人民共和国科技部”中的外层实体为“中华人民共和国”，里层实体为“科技部”；“the minister of the department of education”中的外层实体为“the minister of”，里层实体为“the department of education”。
99.步骤105：利用预先训练的实体类型分类模型识别所述里层实体和所述外层实体的类型。
100.其中，实体类型可以是预先定义的类别，例如：音乐类、影视类、游戏类、医疗类等。一具体示例中，对“好想听刘德华的忘情水”进行实体类型识别后可以得到“刘德华(歌手名)”、“忘情水(歌曲名)”。
101.本实施例中，还需要预先训练得到实体类型分类模型，如图4所示，所述训练得到实体类型分类模型的步骤包括：
102.步骤301：建立初始实体类型分类模型；
103.步骤302：获取第二训练样本数据，所述第二训练样本数据包括第二输入数据和第二答案数据，所述第二输入数据包括命名实体，所述第二答案数据包括实体类型；
104.步骤303：利用所述第二训练样本数据对所述初始实体类型分类模型进行训练，得到所述实体类型分类模型。
105.在经过上述步骤301-303后，即可得到实体类型分类模型，利用实体类型分类模型可以对实体类型进行识别。其中，所述训练得到实体类型分类模型的步骤中，利用所述第二答案数据、实体边界识别子任务和实体类型识别子任务的联合损失函数对所述初始实体类型分类模型进行训练。
106.本实施例中，先进行里层实体的类型识别，然后利用里层实体的类型进行外层实体的类型识别。
107.一具体实施例中，如图5所示，所述利用预先训练的实体类型分类模型识别所述里层实体和所述外层实体的类型包括：
of the department of education convened a meeting”。
124.词向量转换单元42，用于利用预先训练的语言模型将所述待识别的文本转换为词向量；
125.其中，预先训练的语言模型可以是任意一种语言模型，例如bert(来自变换器的双向编码器表征量)模型，只要能够将待识别的文本转换为词向量即可。
126.实体边界信息获取单元43，用于将所述词向量输入预先训练的融入句法依赖信息的图注意力模型中，得到实体边界信息；
127.本实施例中，还需要预先训练得到融入句法依赖信息的图注意力模型，在训练得到图注意力模型时，可以根据不同的目标训练出满足需求的图注意力模型。本实施例中，由于需要得到文本的实体边界信息，因此，在对图注意力模型进行训练时，训练数据需要包括文本的句法依赖信息和文本的实体边界信息，其中，文本的句法依赖信息可以从不同的来源获取，一些实施例中，句法依赖信息包括依存分析树，具体地，可以从某些特定领域的词典或其他资源中获取句法依赖信息。
128.如图8所示，本实施例的实体识别装置还包括第一训练单元46，如图9所示，所述第一训练单元46包括：
129.第一建立子单元461，用于建立初始图注意力模型；
130.第一获取子单元462，用于获取第一训练样本数据，所述第一训练样本数据包括第一输入数据和第一答案数据，所述第一输入数据包括文本和所述文本的句法依赖信息，所述第一答案数据包括所述文本的实体边界信息；
131.比如第一输入数据中的文本为“the minister of the department of education convened a meeting”，则第一输入数据中还包括“the minister of the department of education convened a meeting”的句法依赖信息，如图3所示，句法依赖信息包括但不限于以下信息：“the minister”中的“the”为“minister”的限定词(det)，“the department”中的“the”为“department”的限定词，“a meeting”中的“a”为“meeting”的限定词，“minister”与“department”存在依存关系(nmod)，“department”与“education”存在依存关系，“convened”的执行目标(dobj)为“meeting”，“department”是“of”的实例(case)，“education”是“of”的实例，“minister”是“convened”的名词主语(nsubj)。
132.第一训练子单元463，用于利用所述第一训练样本数据对所述初始图注意力模型进行训练，得到所述融入句法依赖信息的图注意力模型。
133.利用第一训练单元46可得到融入句法依赖信息的图注意力模型。将待识别的文本转换得到的词向量输入融入句法依赖信息的图注意力模型中，即可得到待识别的文本的实体边界信息，实体边界信息表征实体的范围，通过实体边界信息可以确定每一实体在待识别的文本中的位置和范围。
134.一具体实施例中，实体边界信息可以是用来标记文本中字与字关系的矩阵，实体边界信息可以包括以下至少一项：
135.实体的起始字和结束字；
136.文本中相邻的两个单词的标签是否连续。
137.比如一具体示例中，表示实体边界信息的矩阵中的元素为a
i,j
，i，j为正整数，其中，a
i,j
表示在文本中实体从第i个字开始到第j个字结束，通过实体的起始字和结束字可以
确定实体的边界，确定实体在待识别的文本中的位置和范围。
138.另一具体示例中，表示实体边界信息的矩阵中的元素为a
i,j
，i，j为正整数，其中，a
i,j
表示文本中相邻的两个单词的标签是否连续，如果元素a
i,j
不为0，表示文本中第i个单词和第j个单词在实体中是连续的，即第i个单词和第j个单词属于同一个实体，如果元素a
i,j
为0，表示文本中第i个单词和第j个单词在实体中不是连续的，即第i个单词和第j个单词不属于同一个实体，这样通过文本中相邻的两个单词的标签是否连续可以确定实体的边界，确定实体在待识别的文本中的位置和范围。
139.处理单元44，用于根据所述实体边界信息确定所述待识别的文本的里层实体和外层实体；
140.在确定实体边界信息中，即可确定待识别的文本中的每一实体，包括里层实体和外层实体，比如确定“中华人民共和国科技部”中的外层实体为“中华人民共和国”，里层实体为“科技部”；“the minister of the department of education”中的外层实体为“the minister of”，里层实体为“the department of education”。
141.识别单元45，用于利用预先训练的实体类型分类模型识别所述里层实体和所述外层实体的类型。
142.其中，实体类型可以是预先定义的类别，例如：音乐类、影视类、游戏类、医疗类等。一具体示例中，对“好想听刘德华的忘情水”进行实体类型识别后可以得到“刘德华(歌手名)”、“忘情水(歌曲名)”。
143.本实施例中，还需要预先训练得到实体类型分类模型，如图10所示，本实施例的实体识别装置还包括第二训练单元47，如图11所示，所述第二训练单元47包括：
144.第二建立子单元471，用于建立初始实体类型分类模型；
145.第二获取子单元472，用于获取第二训练样本数据，所述第二训练样本数据包括第二输入数据和第二答案数据，所述第二输入数据包括命名实体，所述第二答案数据包括实体类型；
146.第二训练子单元473，用于利用所述第二训练样本数据对所述初始实体类型分类模型进行训练，得到所述实体类型分类模型。
147.利用第二训练单元47可得到实体类型分类模型，利用实体类型分类模型可以对实体类型进行识别。本实施例中，先进行里层实体的类型识别，然后利用里层实体的类型进行外层实体的类型识别。
148.一具体实施例中，如图12所示，所述识别单元45包括：
149.第一连接子单元451，用于对于每一里层实体，将所述里层实体的词向量与t维的零向量连接，得到第一连接向量，t为正整数；
150.本实施例中，可以将实体类型映射为一个t维的独热编码。
151.第一计算子单元452，用于对至少一个所述第一连接向量计算向量平均值得到第一向量平均值；
152.第二计算子单元453，用于对至少一个所述里层实体的词向量计算向量平均值得到第二向量平均值；
153.第一识别子单元454，用于将所述第一向量平均值输入所述实体类型分类模型，得到所述里层实体的实体类型向量；
154.具体地，实体类型分类模型可以为softmax实体类型分类器。
155.第二连接子单元455，用于将所述外层实体的词向量与t维的里层实体的实体类型向量连接，得到第二连接向量；
156.第三计算子单元456，用于对所述第二连接向量和所述第二向量平均值计算向量平均值得到第三向量平均值；
157.第二识别子单元457，用于将所述第三向量平均值输入所述实体类型分类模型，得到所述外层实体的实体类型向量。
158.为了提高类型识别的准确率和效率，所述实体类型分类模型可以使用集束搜索。
159.一具体示例中，待识别的文本为“the minister of the department of education”，其中外层实体为“the minister of”，里层实体为“the department of education”，如图6所示，在类型识别时，将每一里层实体“the”、“department”、“of”“education”的词向量分别与t维的零向量连接，然后计算向量平均值，将计算得到的向量平均值与t维的零向量连接，输入softmax实体类型分类器，即可得到里层实体的类型；之后，将每一外层实体“the”、“minister”、“of”的词向量分别与t维的零向量连接，然后与向量平均值和里层实体的实体类型向量的拼接向量计算向量平均值，将计算得到的向量平均值与t维的零向量连接，输入softmax实体类型分类器，即可得到外层实体的类型。
160.本实施例中，利用语言模型将待识别的文本转换为词向量，将词向量输入融入句法依赖信息的图注意力模型中，可以得到待识别的文本的实体边界信息，根据实体边界信息可以确定待识别的文本的里层实体和外层实体，之后利用实体类型分类模型分别识别里层实体和外层实体的类型，本实施例的技术方案先确定文本的里层实体和外层实体，再分别对实体类型进行识别，能够提高实体识别的精度和准确率；并且本实施例的技术方案可用于嵌套命名实体的连续实体、嵌套实体和非连续实体中的实体识别，增大了实体识别应用的范围。
161.实施例三
162.本发明实施例还提供了一种实体识别装置50，如图13所示，包括：
163.处理器52；和
164.存储器54，在所述存储器54中存储有计算机程序指令，
165.其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器52执行以下步骤：
166.获取待识别的文本；
167.利用预先训练的语言模型将所述待识别的文本转换为词向量；
168.将所述词向量输入预先训练的融入句法依赖信息的图注意力模型中，得到实体边界信息；
169.根据所述实体边界信息确定所述待识别的文本的里层实体和外层实体；
170.利用预先训练的实体类型分类模型识别所述里层实体和所述外层实体的类型。
171.进一步地，如图13所示，实体识别装置50还包括网络接口51、输入设备53、硬盘55和显示设备56。
172.上述各个接口和设备之间可以通过总线架构互连。总线架构可以包括任意数量的互联的总线和桥。具体由处理器52代表的一个或者多个中央处理器(cpu)，以及由存储器54
代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。
173.所述网络接口51，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，例如待识别的文本、训练数据等，并可以保存在硬盘55中。
174.所述输入设备53，可以接收操作人员输入的各种指令，并发送给处理器52以供执行。所述输入设备53可以包括键盘或者点击设备(例如，鼠标、轨迹球(trackball)、触感板或者触摸屏等)。
175.所述显示设备56，可以将处理器52执行指令获得的结果进行显示。
176.所述存储器54，用于存储操作系统运行所必须的程序和数据，以及处理器52计算过程中的中间结果等数据。
177.可以理解，本发明实施例中的存储器54可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)或闪存。易失性存储器可以是随机存取存储器(ram)，其用作外部高速缓存。本文描述的装置和方法的存储器54旨在包括但不限于这些和任意其它适合类型的存储器。
178.在一些实施方式中，存储器54存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统541和应用程序542。
179.其中，操作系统541，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序542，包含各种应用程序，例如浏览器(browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序542中。
180.上述处理器52，当调用并执行所述存储器54中所存储的应用程序和数据，具体的，可以是应用程序542中存储的程序或指令时，获取待识别的文本；利用预先训练的语言模型将所述待识别的文本转换为词向量；将所述词向量输入预先训练的融入句法依赖信息的图注意力模型中，得到实体边界信息；根据所述实体边界信息确定所述待识别的文本的里层实体和外层实体；利用预先训练的实体类型分类模型识别所述里层实体和所述外层实体的类型。
181.进一步地，上述处理器52，当调用并执行所述存储器54中所存储的应用程序和数据，具体的，可以是应用程序542中存储的程序或指令时，建立初始图注意力模型；获取第一训练样本数据，所述第一训练样本数据包括第一输入数据和第一答案数据，所述第一输入数据包括文本和所述文本的句法依赖信息，所述第一答案数据包括所述文本的实体边界信息；利用所述第一训练样本数据对所述初始图注意力模型进行训练，得到所述融入句法依赖信息的图注意力模型。
182.进一步地，上述处理器52，当调用并执行所述存储器54中所存储的应用程序和数据，具体的，可以是应用程序542中存储的程序或指令时，建立初始实体类型分类模型；获取第二训练样本数据，所述第二训练样本数据包括第二输入数据和第二答案数据，所述第二输入数据包括命名实体，所述第二答案数据包括实体类型；利用所述第二训练样本数据对
所述初始实体类型分类模型进行训练，得到所述实体类型分类模型。
183.进一步地，上述处理器52，当调用并执行所述存储器54中所存储的应用程序和数据，具体的，可以是应用程序542中存储的程序或指令时，对于每一里层实体，将所述里层实体的词向量与t维的零向量连接，得到第一连接向量，t为正整数；对至少一个所述第一连接向量计算向量平均值得到第一向量平均值；对至少一个所述里层实体的词向量计算向量平均值得到第二向量平均值；将所述第一向量平均值输入所述实体类型分类模型，得到所述里层实体的实体类型向量；将所述外层实体的词向量与t维的里层实体的实体类型向量连接，得到第二连接向量；对所述第二连接向量和所述第二向量平均值计算向量平均值得到第三向量平均值；将所述第三向量平均值输入所述实体类型分类模型，得到所述外层实体的实体类型向量。
184.本发明上述实施例揭示的方法可以应用于处理器52中，或者由处理器52实现。处理器52可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器52中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器52可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器54，处理器52读取存储器54中的信息，结合其硬件完成上述方法的步骤。
185.可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑设备(pld)、现场可编程门阵列(fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本技术所述功能的其它电子单元或其组合中。
186.对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
187.实施例四
188.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行以下步骤：
189.获取待识别的文本；
190.利用预先训练的语言模型将所述待识别的文本转换为词向量；
191.将所述词向量输入预先训练的融入句法依赖信息的图注意力模型中，得到实体边界信息；
192.根据所述实体边界信息确定所述待识别的文本的里层实体和外层实体；
193.利用预先训练的实体类型分类模型识别所述里层实体和所述外层实体的类型。
194.以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，
在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。