实体关系识别模型构建、语句实体关系识别方法及装置与流程

1.本发明实施例涉及文档处理领域，尤其涉及一种实体关系识别模型构建、语句实体关系识别方法及装置。


背景技术：

2.文档中的实体识别和各个实体之间的关系抽取是自然语言处理和知识图谱领域的基础任务，是检索、问答、图谱构建等应用的关键组成技术，实体识别和关系抽取的效果直接影响到应用的结果。其中，实体识别是指识别文档中具有特定意义的实体，包括人名、地名、机构名或专有名词等。关系抽取是指抽取句子中不同实体之间的相互的联系，实体与实体之间并不是相互独立的，往往存在一定的关联。例如“马云”和“阿里巴巴”分别属于实体中的人名和机构名，这两个实体是具有一定关系的。
3.现有技术中，实体识别和关系抽取任务之间是相关依赖的关系，先进行实体识别，进而抽取识别到的实体之间的关系，但是，此方法将实体识别和关系抽取当作两个独立的任务会存在一系列的问题：1)两个任务的解决过程中没有考虑到两个任务之间的相关性，从而导致关系抽取任务的结果严重依赖于实体识别的结果，导致误差累积；2)无法较为精准的识别一个实体与另一个实体对应的多种关系。因此，如何将实体识别与关系抽取任务联合进行成为亟待解决的问题。


技术实现要素：

4.鉴于此，为解决上述技术问题或部分技术问题，本发明实施例提供一种实体关系识别模型构建、语句实体关系识别方法及装置。
5.第一方面，本发明实施例提供一种实体关系识别模型构建方法，包括：
6.将携带有标准实体类别标签和标准实体关系标签的样本语句输入至初始模型进行深度学习训练，输出所述样本语句中各元素的实体类别标签和各实体的实体关系标签；
7.计算所述实体类别标签与所述标准实体类别标签之间的第一损失值；
8.计算所述实体关系标签与所述标准实体关系标签之间的第二损失值；
9.基于所述第一损失值和所述第二损失值，调整模型参数，直至所述第一损失值小于第一预设值和所述第二损失值小于第二预设值，则确定所述初始模型训练完成，将训练好的初始模型作为实体关系识别模型。
10.在一个可能的实施方式中，所述方法还包括：
11.获取携带有标准实体类别标签和标准实体关系标签的样本语句；
12.计算所述样本语句中各元素的实体得分向量和关系得分向量；
13.基于所述实体得分向量，确定所述样本语句中各元素的实体类别标签；
14.基于所述实体类别标签和所述关系得分向量，确定所述样本语句中各元素对应的实体关系标签。
15.在一个可能的实施方式中，所述方法还包括：
16.将所述样本语句转换成token序列；
17.计算所述token序列中各元素的词向量，得到所述样本语句的词向量序列；
18.基于所述词向量序列，计算所述样本语句中各元素的实体得分向量。
19.在一个可能的实施方式中，所述方法还包括：
20.基于所述词向量序列，计算所述样本语句中各元素的关系得分向量。
21.在一个可能的实施方式中，所述方法还包括：
22.将所述实体得分向量最大的实体类别标签作为所述样本语句中对应元素的实体类别标签。
23.在一个可能的实施方式中，所述方法还包括：
24.基于所述实体类别标签确定所述样本语句中的实体；
25.将所述关系得分向量最大的实体关系标签作为所述样本语句中对应实体的实体关系标签。
26.第二方面，本发明实施例提供一种语句实体关系识别方法，包括：
27.将待识别实体关系的目标语句输入至实体关系识别模型中，以使所述实体关系识别模型输出所述目标语句中的实体关系。
28.在一个可能的实施方式中，所述方法还包括：
29.获取文档中全部语句中各元素的实体得分向量和关系得分向量；
30.基于所述实体得分向量和关系得分向量，确定任意两个语句中各实体的实体关系。
31.第三方面，本发明实施例提供一种实体关系识别模型构建装置，包括：
32.训练模块，用于将携带有标准实体类别标签和标准实体关系标签的样本语句输入至初始模型进行深度学习训练，输出所述样本语句中各元素的实体类别标签和各实体的实体关系标签；
33.计算模块，用于计算所述实体类别标签与所述标准实体类别标签之间的第一损失值；
34.所述计算模块，还用于计算所述实体关系标签与所述标准实体关系标签之间的第二损失值；
35.优化模块，用于基于所述第一损失值和所述第二损失值，调整模型参数，直至所述第一损失值小于第一预设值和所述第二损失值小于第二预设值，则确定所述初始模型训练完成，将训练好的初始模型作为实体关系识别模型。
36.第四方面，本发明实施例提供一种语句实体关系识别装置，包括：
37.输入模块，用于将待识别实体关系的目标语句输入至实体关系识别模型中，以使所述实体关系识别模型输出所述目标语句中的实体关系。
38.第五方面，本发明实施例提供一种计算机设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的实体关系识别模型的构建和语句实体关系识别程序，以实现上述第一方面中任一项所述的实体关系识别模型的构建方法和上述第二方面中任一项所述的语句实体关系识别方法。
39.第六方面，本发明实施例提供一种存储介质，包括：所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面中
任一项所述的实体关系识别模型的构建方法和上述第二方面中任一项所述的语句实体关系识别方法。
40.本发明实施例提供的实体关系识别模型的构建方案，通过将携带有标准实体类别标签和标准实体关系标签的样本语句输入至初始模型进行深度学习训练，输出所述样本语句中各元素的实体类别标签和各实体的实体关系标签；计算所述实体类别标签与所述标准实体类别标签之间的第一损失值；计算所述实体关系标签与所述标准实体关系标签之间的第二损失值；基于所述第一损失值和所述第二损失值，调整模型参数，直至所述第一损失值小于第一预设值和所述第二损失值小于第二预设值，则确定所述初始模型训练完成，将训练好的初始模型作为实体关系识别模型。相比于将实体识别和关系抽取当作两个独立的任务带来的误差累积以及识别准确度低的问题，由此方案，可以实现语句的实体识别与实体关系抽取任务联合进行以及较为精准的识别各个实体之间的实体关系。
41.本发明实施例提供的语句实体关系识别方案，通过将待识别实体关系的目标语句输入至实体关系识别模型中，以使所述实体关系识别模型输出所述目标语句中的实体关系。通过模型的应用可以简化实体关系识别的工作量并保证识别的准确度。
附图说明
42.图1为本发明实施例提供的一种实体关系识别模型构建方法的流程示意图；
43.图2为本发明实施例提供的另一种实体关系识别模型构建方法的流程示意图；
44.图3为本发明实施例提供的一种语句实体关系识别方法的流程示意图；
45.图4为本发明实施例提供的一种实体关系识别模型构建装置的结构示意图；
46.图5为为本发明实施例提供的一种语句实体关系识别装置的结构示意图；
47.图6为本发明实施例提供的一种计算机设备的结构示意图；
48.图7为本发明实施例提供的一种实体关系二维表格示意图。
具体实施方式
49.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
51.图1为本发明实施例提供的一种实体关系识别模型构建方法的流程示意图，如图1所示，该方法具体包括：
52.s11、将携带有标准实体类别标签和标准实体关系标签的样本语句输入至初始模型进行深度学习训练，输出所述样本语句中各元素的实体类别标签和各实体的实体关系标签。
53.本发明实施例中，预先标注样本语句中的实体标签、每个实体对应的实体类别标签、各实体之间的关系标签，将携带有标签的样本语句输入至初始模型中进行深度学习训练，该初始模型为未经训练的实体关系识别模型，经过初始模型计算，输出样本语句中各个
元素的实体类别标签和各实体之间的实体关系标签。
54.s12、计算所述实体类别标签与所述标准实体类别标签之间的第一损失值。
55.s13、计算所述实体关系标签与所述标准实体关系标签之间的第二损失值。
56.s14、基于所述第一损失值和所述第二损失值，调整模型参数，直至所述第一损失值小于第一预设值和所述第二损失值小于第二预设值，则确定所述初始模型训练完成，将训练好的初始模型作为实体关系识别模型。
57.以下对s12-s14进行统一说明：
58.本发明实施例中，利用损失函数计算模型输出的实体类别标签与标准实体类别标签之间的第一损失值(例如，0.5)；同样的，利用损失函数计算模型输出的实体关系标签与标准实体关系标签之间的第二损失值(例如， 0.7)。
59.进一步的，可以基于第一损失值与第二损失值，调整模型的训练参数或进行梯度反传调整网络权重，直至第一损失值小于第一预设值(例如， 0.01)且第二损失值小于第二预设值(例如，0.01)为止，则可以确定初始模型训练完成，将训练好的初始模型作为实体关系识别模型。
60.本发明实施例提供的实体关系识别模型的构建方法，通过将携带有标准实体类别标签和标准实体关系标签的样本语句输入至初始模型进行深度学习训练，输出所述样本语句中各元素的实体类别标签和各实体的实体关系标签；计算所述实体类别标签与所述标准实体类别标签之间的第一损失值；计算所述实体关系标签与所述标准实体关系标签之间的第二损失值；基于所述第一损失值和所述第二损失值，调整模型参数，直至所述第一损失值小于第一预设值和所述第二损失值小于第二预设值，则确定所述初始模型训练完成，将训练好的初始模型作为实体关系识别模型。相比于将实体识别和关系抽取当作两个独立的任务带来的误差累积以及识别准确度低的问题，由此方法，可以实现语句的实体识别与实体关系抽取任务联合进行以及较为精准的识别各个实体之间的实体关系。
61.图2为本发明实施例提供的另一种实体关系识别模型构建方法的流程示意图，如图2所示，该方法具体包括：
62.s21、获取携带有标准实体类别标签和标准实体关系标签的样本语句。
63.本发明实施例中，预先标注样本语句中的实体标签、每个实体对应的实体类别标签、各实体之间的关系标签
64.s22、将所述样本语句转换成token序列。
65.s23、计算所述token序列中各元素的词向量，得到所述样本语句的词向量序列。
66.将样本语句输入至初始模型，初始模型首先将样本语句转换成长度为 n的token序列{x1,x2,...,xn}，将token序列输入至初始模型的embedding 层得到对应的词向量序列
67.进一步的，可以根据词向量序列计算得到每个样本语句对应的隐状态 {h1,h2,...,hn}。
68.s24、基于所述词向量序列，计算所述样本语句中各元素的实体得分向量。
69.基于词向量序列得到的样本语句的隐状态，将样本语句的隐状态输入一个两层的感知机网络，得到实体的得分向量ei∈r
n*n
，其中，r表示实数空间，如公式1：
70.ei＝mlp(hi)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式1
71.s25、基于所述词向量序列，计算所述样本语句中各元素的关系得分向量。
72.基于词向量序列得到的样本语句的隐状态，可以计算得到语句中每个元素的分数向量g
i,j
∈r
m*n
，其计算公式如公式2：
[0073][0074]
其中，h为第一语句，h
′
第二语句，为语句中每两个元素之间的关系权重。
[0075]
进一步的，可以根据实体得分向量计算各实体之前得分最高的实体关系标签如公式3：
[0076][0077]
将关系得分向量最大的实体关系标签作为样本语句中对应实体的实体关系标签。
[0078]
s26、将所述实体得分向量最大的实体类别标签作为所述样本语句中对应元素的实体类别标签。
[0079]
根据实体得分向量ei∈r
n*n
，计算样本语句中每个实体的实体类别标签如公式4：
[0080]yie
＝argmax(ei)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式4
[0081]
将实体得分向量最大的实体类别标签作为样本语句中对应元素的实体类别标签。
[0082]
s27、基于所述实体类别标签确定所述样本语句中的实体。
[0083]
基于s26中各元素对应的实体类别标签可以确定样本语句中的实体。
[0084]
需要说明的是，识别语句中的实体和各实体之间的关系，可以同时进行。
[0085]
进一步的，利用损失函数计算模型输出的实体类别标签与标准实体类别标签之间的第一损失值(例如，0.4)；同样的，利用损失函数计算模型输出的实体关系标签与标准实体关系标签之间的第二损失值(例如，0.6)。
[0086]
进一步的，可以基于第一损失值与第二损失值，调整模型的训练参数或进行梯度反传调整网络权重，直至第一损失值小于第一预设值(例如， 0.01)且第二损失值小于第二预设值(例如，0.01)为止，则可以确定初始模型训练完成，将训练好的初始模型作为实体关系识别模型。
[0087]
本发明实施例提供的实体关系识别模型的构建方法，通过将携带有标准实体类别标签和标准实体关系标签的样本语句输入至初始模型进行深度学习训练，输出所述样本语句中各元素的实体类别标签和各实体的实体关系标签；计算所述实体类别标签与所述标准实体类别标签之间的第一损失值；计算所述实体关系标签与所述标准实体关系标签之间的第二损失值；基于所述第一损失值和所述第二损失值，调整模型参数，直至所述第一损失值小于第一预设值和所述第二损失值小于第二预设值，则确定所述初始模型训练完成，将训练好的初始模型作为实体关系识别模型。相比于将实体识别和关系抽取当作两个独立的任
务带来的误差累积以及识别准确度低的问题，由此方法，可以实现语句的实体识别与实体关系抽取任务联合进行以及较为精准的识别各个实体之间的实体关系。
[0088]
图3为本发明实施例提供的一种语句实体关系识别方法的流程示意图，如图3所示，该方法具体包括：
[0089]
s31、将待识别实体关系的目标语句输入至实体关系识别模型中，以使所述实体关系识别模型输出所述目标语句中的实体关系。
[0090]
本发明实施例中，可以将待识别实体关系的目标语句输入至上述训练好的实体关系识别模型中，识别目标语句中的实体关系，并输出，其中实体关系的表现形式可以为二维表形式。不同的两个目标语句的二维关系表格中的交叉点为不同实体之间的关系标签，同一个目标语句的二维关系表格中的交叉点是实体的类别标签。
[0091]
例如，如图7所示，第一个目标语句为：david perkins has get marriedin los angels。第二个目标语句为：they are village doctors in california。将两个目标语句输入至实体关系识别模型中，可以识别david perkins是实体，类别为人名；los angels是实体，类别为地名；village doctors是实体，类别为职业；california是实体，类别为地名。经过模型计算，可以确定 david perkins与village doctors的关系标签为occupation，即david perkins 的职业是village doctors；还可以确定los angels与california的关系标签为city_in，即los angels属于california的一座城市；当未能确定davidperkins与california之间的关系标签时，可以仅定义两个实体的二维表中交叉点对应的标签为phys，即可能存在物理关系。
[0092]
需要说明的是，关系标签还包括但不限于：人-社会关系(per-soc)、就业-组织关系(emp-org)、代理-工件关系(art)、单位-组织关系 (other-aff)或话语关系(disc)等。
[0093]
可选的，可以利用训练好的实体关系识别模型进行文档内的跨句子的实体关系识别，分别将文档中每个语句输入实体关系识别模型，得到每个语句对应的隐状态表示其中d表示词向量的维度，根据隐状态计算文档中全部语句中各元素的实体得分向量和关系得分向量；
[0094]
进一步的，可以根据实体得分向量和关系得分向量计算任意两个语句 n和n k之间的实体关系二维表中每个节点的分数为从而得到间隔k句的两个语句之间的关系表格，如公式5：
[0095]gn,n 1
＝attention(hn,h
n 1
)
[0096]gn,n 2
＝attention(g
n,n 1
,h
n 2
)
[0097]
......
[0098]gn,n k
＝attention(g
n,n k-1
,h
n k
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式5
[0099]
本发明实施例提供的语句实体关系识别方法，通过将待识别实体关系的目标语句输入至实体关系识别模型中，以使所述实体关系识别模型输出所述目标语句中的实体关系。采用先提取特征后融合的方式，不需要每次都对语句进行计算，简化实体关系识别的工作量，从而实现加速识别的目的，提高了大规模文档中跨句子实体识别和关系抽取的精度和速度。
[0100]
图4为本发明实施例提供的一种实体关系识别模型构建装置的结构示意图，具体
包括：
[0101]
训练模块401，用于将携带有标准实体类别标签和标准实体关系标签的样本语句输入至初始模型进行深度学习训练，输出所述样本语句中各元素的实体类别标签和各实体的实体关系标签；
[0102]
计算模块402，用于计算所述实体类别标签与所述标准实体类别标签之间的第一损失值；
[0103]
所述计算模块402，还用于计算所述实体关系标签与所述标准实体关系标签之间的第二损失值；
[0104]
优化模块403，用于基于所述第一损失值和所述第二损失值，调整模型参数，直至所述第一损失值小于第一预设值和所述第二损失值小于第二预设值，则确定所述初始模型训练完成，将训练好的初始模型作为实体关系识别模型。
[0105]
在一个可能的实施方式中，所述训练模块401，具体用于获取携带有标准实体类别标签和标准实体关系标签的样本语句；计算所述样本语句中各元素的实体得分向量和关系得分向量；基于所述实体得分向量，确定所述样本语句中各元素的实体类别标签；基于所述实体类别标签和所述关系得分向量，确定所述样本语句中各元素对应的实体关系标签。
[0106]
在一个可能的实施方式中，所述计算模块402，具体用于将所述样本语句转换成token序列；计算所述token序列中各元素的词向量，得到所述样本语句的词向量序列；基于所述词向量序列，计算所述样本语句中各元素的实体得分向量。
[0107]
在一个可能的实施方式中，所述计算模块402，还用于基于所述词向量序列，计算所述样本语句中各元素的关系得分向量。
[0108]
在一个可能的实施方式中，所述计算模块402，还用于将所述实体得分向量最大的实体类别标签作为所述样本语句中对应元素的实体类别标签。
[0109]
在一个可能的实施方式中，所述计算模块402，还用于基于所述实体类别标签确定所述样本语句中的实体；将所述关系得分向量最大的实体关系标签作为所述样本语句中对应实体的实体关系标签。
[0110]
本实施例提供的实体关系识别模型的构建装置可以是如图4中所示的实体关系识别模型的构建装置，可执行如图1-2中实体关系识别模型的构建方法的所有步骤，进而实现图1-2所示实体关系识别模型的构建方法的技术效果，具体请参照图1-2相关描述，为简洁描述，在此不作赘述。
[0111]
图5为为本发明实施例提供的一种语句实体关系识别装置的结构示意图，具体包括：
[0112]
输入模块501，用于将待识别实体关系的目标语句输入至实体关系识别模型中，以使所述实体关系识别模型输出所述目标语句中的实体关系。
[0113]
本实施例提供的语句实体关系识别装置可以是如图5中所示的语句实体关系识别装置，可执行如图3中语句实体关系识别方法的所有步骤，进而实现图3所示语句实体关系识别方法的技术效果，具体请参照图3相关描述，为简洁描述，在此不作赘述。
[0114]
图6为本发明实施例提供的一种计算机设备的结构示意图，图6所示的计算机设备600包括：至少一个处理器601、存储器602、至少一个网络接口604和其他用户接口603。计算机设备600中的各个组件通过总线系统605耦合在一起。可理解，总线系统605用于实现这些
组件之间的连接通信。总线系统605除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统605。
[0115]
其中，用户接口603可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
[0116]
可以理解，本发明实施例中的存储器602可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器 (programmable rom，prom)、可擦除可编程只读存储器(erasable prom， eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory， ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器 (synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器 (double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambusram，drram)。本文描述的存储器602旨在包括但不限于这些和任意其它适合类型的存储器。
[0117]
在一些实施方式中，存储器602存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统6021和应用程序6022。
[0118]
其中，操作系统6021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序 6022，包含各种应用程序，例如媒体播放器(media player)、浏览器(browser) 等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序6022中。
[0119]
在本发明实施例中，通过调用存储器602存储的程序或指令，具体的，可以是应用程序6022中存储的程序或指令，处理器601用于执行各方法实施例所提供的方法步骤，例如包括：
[0120]
将携带有标准实体类别标签和标准实体关系标签的样本语句输入至初始模型进行深度学习训练，输出所述样本语句中各元素的实体类别标签和各实体的实体关系标签；计算所述实体类别标签与所述标准实体类别标签之间的第一损失值；计算所述实体关系标签与所述标准实体关系标签之间的第二损失值；基于所述第一损失值和所述第二损失值，调整模型参数，直至所述第一损失值小于第一预设值和所述第二损失值小于第二预设值，则确定所述初始模型训练完成，将训练好的初始模型作为实体关系识别模型。
[0121]
在一个可能的实施方式中，获取携带有标准实体类别标签和标准实体关系标签的样本语句；计算所述样本语句中各元素的实体得分向量和关系得分向量；基于所述实体得分向量，确定所述样本语句中各元素的实体类别标签；基于所述实体类别标签和所述关系得分向量，确定所述样本语句中各元素对应的实体关系标签。
[0122]
在一个可能的实施方式中，将所述样本语句转换成token序列；计算所述token序列中各元素的词向量，得到所述样本语句的词向量序列；基于所述词向量序列，计算所述样本语句中各元素的实体得分向量。
[0123]
在一个可能的实施方式中，基于所述词向量序列，计算所述样本语句中各元素的
关系得分向量。
[0124]
在一个可能的实施方式中，将所述实体得分向量最大的实体类别标签作为所述样本语句中对应元素的实体类别标签。
[0125]
在一个可能的实施方式中，基于所述实体类别标签确定所述样本语句中的实体；将所述关系得分向量最大的实体关系标签作为所述样本语句中对应实体的实体关系标签。
[0126]
在一个可能的实施方式中，将待识别实体关系的目标语句输入至实体关系识别模型中，以使所述实体关系识别模型输出所述目标语句中的实体关系。
[0127]
在一个可能的实施方式中，获取文档中全部语句中各元素的实体得分向量和关系得分向量；基于所述实体得分向量和关系得分向量，确定任意两个语句中各实体的实体关系。
[0128]
上述本发明实施例揭示的方法可以应用于处理器601中，或者由处理器601实现。处理器601可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(applicationspecific integrated circuit，asic)、现成可编程门阵列(field programmablegate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成上述方法的步骤。
[0129]
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(application specific integrated circuits，asic)、数字信号处理器(digital signal processing，dsp)、数字信号处理设备(dspdevice， dspd)、可编程逻辑设备(programmable logic device，pld)、现场可编程门阵列(field-programmable gate array，fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本技术所述功能的其它电子单元或其组合中。
[0130]
对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
[0131]
本实施例提供的计算机设备可以是如图6中所示的计算机设备，可执行如图1-2中实体关系识别模型的构建方法、如图3中语句实体关系识别方法的所有步骤，进而实现图1-2所示实体关系识别模型的构建方法和图 3中语句实体关系识别方法的技术效果，具体请参照图1-2和图3相关描述，为简洁描述，在此不作赘述。
[0132]
本发明实施例还提供了一种存储介质(计算机可读存储介质)。这里的存储介质存储有一个或者多个程序。其中，存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。
[0133]
当存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现上述在计
算机设备侧执行的实体关系识别模型的构建方法、语句实体关系识别方法。
[0134]
所述处理器用于执行存储器中存储的实体关系识别模型的构建程序、语句实体关系识别程序，以实现以下在计算机设备侧执行的实体关系识别模型的构建方法和语句实体关系识别方法的步骤：
[0135]
将携带有标准实体类别标签和标准实体关系标签的样本语句输入至初始模型进行深度学习训练，输出所述样本语句中各元素的实体类别标签和各实体的实体关系标签；计算所述实体类别标签与所述标准实体类别标签之间的第一损失值；计算所述实体关系标签与所述标准实体关系标签之间的第二损失值；基于所述第一损失值和所述第二损失值，调整模型参数，直至所述第一损失值小于第一预设值和所述第二损失值小于第二预设值，则确定所述初始模型训练完成，将训练好的初始模型作为实体关系识别模型。
[0136]
在一个可能的实施方式中，获取携带有标准实体类别标签和标准实体关系标签的样本语句；计算所述样本语句中各元素的实体得分向量和关系得分向量；基于所述实体得分向量，确定所述样本语句中各元素的实体类别标签；基于所述实体类别标签和所述关系得分向量，确定所述样本语句中各元素对应的实体关系标签。
[0137]
在一个可能的实施方式中，将所述样本语句转换成token序列；计算所述token序列中各元素的词向量，得到所述样本语句的词向量序列；基于所述词向量序列，计算所述样本语句中各元素的实体得分向量。
[0138]
在一个可能的实施方式中，基于所述词向量序列，计算所述样本语句中各元素的关系得分向量。
[0139]
在一个可能的实施方式中，将所述实体得分向量最大的实体类别标签作为所述样本语句中对应元素的实体类别标签。
[0140]
在一个可能的实施方式中，基于所述实体类别标签确定所述样本语句中的实体；将所述关系得分向量最大的实体关系标签作为所述样本语句中对应实体的实体关系标签。
[0141]
在一个可能的实施方式中，将待识别实体关系的目标语句输入至实体关系识别模型中，以使所述实体关系识别模型输出所述目标语句中的实体关系。
[0142]
在一个可能的实施方式中，获取文档中全部语句中各元素的实体得分向量和关系得分向量；基于所述实体得分向量和关系得分向量，确定任意两个语句中各实体的实体关系。
[0143]
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0144]
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
[0145]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步
详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。