用于关系抽取的方法、装置、设备和介质与流程

1.本公开的各实现方式涉及计算机领域，更具体地，涉及用于关系抽取的方法、装置、设备和计算机存储介质。


背景技术：

2.目前，文档级别的关系抽取方法备受关注。文档级别的关系抽取可以应用于问答、搜索等领域。通常，可以利用基于序列的模型或基于图的模型来考虑文档中更长的上下文和关系的长程依赖性。例如，可以通过池化操作来计算长程关系的表示，或者可以利用图中的节点来表示文档中距离较远的实体，从而更好地表征实体之间的长程关系。
3.然而，利用上述方法抽取出的长程关系的可解释性较差。因此，需要能够提供更好的可解释性的文档级别的关系抽取方法。


技术实现要素：

4.在本公开的第一方面，提供了一种训练关系抽取模型的方法。该方法包括：基于由文档中的目标实体对和与所述目标实体对关联的目标关系组成的给定三元组，确定在给定三元组的条件下一组规则的概率分布，所述目标关系选自用于描述所述文档中的实体对之间联系的一组关系，所述一组规则用于描述所述目标实体对之间联系的逻辑；基于所述在给定三元组的条件下一组规则的概率分布，确定在给定三元组的条件下得分的概率分布，所述得分指示在所述文档中所述目标关系对于所述目标实体对是否有效；以及基于与所述得分对应的标记值，通过使所述在给定三元组的条件下得分的概率分布的参数的似然函数最大化，获得经训练的所述关系抽取模型。
5.在本公开的第二方面中，提供了一种用于训练关系抽取模型的装置。该装置包括：规则概率确定模块，被配置为基于由文档中的目标实体对和与所述目标实体对关联的目标关系组成的给定三元组，确定在给定三元组的条件下一组规则的概率分布，所述目标关系选自用于描述所述文档中的实体对之间联系的一组关系，所述一组规则用于描述所述目标实体对之间联系的逻辑；得分概率确定模块，被配置为基于所述在给定三元组的条件下一组规则的概率分布，确定在给定三元组的条件下得分的概率分布，所述得分指示在所述文档中所述目标关系对于所述目标实体对是否有效；以及优化模块，被配置为基于与所述得分对应的标记值，通过使所述在给定三元组的条件下得分的概率分布的参数的似然函数最大化，获得经训练的所述关系抽取模型。
6.在本公开的第三方面，提供了一种电子设备，包括：存储器和处理器；其中存储器用于存储一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据本公开的第一方面的方法。
7.在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行实现根据本公开的第一方面的方法。
8.在本公开的第五方面，提供了一种关系抽取模型的方法。该方法包括：基于由文档中的目标实体对和与所述目标实体对关联的目标关系组成的给定三元组，生成用于描述所述目标实体对之间联系的逻辑的一组规则，所述目标关系选自用于描述所述文档中的实体对之间联系的一组关系；基于所述一组规则，确定在所述目标实体对之间的至少一个路径；以及基于所述至少一个路径途经的实体对以及关联的关系，确定指示在所述文档中所述目标关系对于所述目标实体对是否有效的得分。
9.在本公开的第六方面，提供了一种用于关系抽取模型的装置。该装置包括：规则生成模块，被配置为基于由文档中的目标实体对和与所述目标实体对关联的目标关系组成的给定三元组，生成用于描述所述目标实体对之间联系的逻辑的一组规则，所述目标关系选自用于描述所述文档中的实体对之间联系的一组关系；路径确定模块，被配置为基于所述一组规则，确定在所述目标实体对之间的至少一个路径；以及得分确定模块，被配置为基于所述至少一个路径途经的实体对以及关联的关系，确定指示在所述文档中所述目标关系对于所述目标实体对是否有效的得分。
10.在本公开的第七方面，提供了一种电子设备，包括：存储器和处理器；其中存储器用于存储一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据本公开的第五方面的方法。
11.在本公开的第八方面，提供了一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行实现根据本公开的第五方面的方法。
12.根据本公开的各种实施例，通过利用规则进行逻辑推理，可以容易地捕获关系的长程依赖性并且提供较好的可解释性。此外，通过迭代优化概率模型的参数和隐变量，可以在优化模型参数的同时自动学习作为隐变量的规则，从而能够基于针对文档所生成的规则来抽取该文档中的关系，以获得更好的关系抽取性能。再者，可以容易地对常规的关系抽取模型进行修改来实现根据本公开的实施例的一些功能，因而本方案具有较高的可移植性。
附图说明
13.结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：
14.图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；
15.图2示出了根据本公开的一些实施例的关系抽取的示例过程的示意图；
16.图3示出了根据本公开的一些实施例的训练关系抽取模型的示例方法的流程图；
17.图4示出了根据本公开一些实施例的优化过程的示例方法的流程图。
18.图5示出了根据本公开的一些实施例的用于关系抽取的装置的示意性结构框图；以及
19.图6示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
20.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这
里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
21.在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
22.如上所述，利用目前的关系抽取方法得到的长程关系的可解释性通常较差。
23.为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个问题，本公开的示例实施例提出了一种关系抽取模型的方法。该方法包括：基于描述文档中实体对之间联系的一组关系中与目标实体对关联的目标关系以及目标实体对，生成用于描述目标实体对之间联系的逻辑的一组规则，每个规则由一组关系中的多个关系的序列表示；基于一组规则，确定在目标实体对之间的至少一个路径；以及至少基于至少一个路径途经的实体对以及关联的关系，确定指示在文档中目标关系对于目标实体对是否有效的得分。
24.基于这样的方式，通过利用规则进行逻辑推理，本方案可以容易地捕获关系的长程依赖性并且提供较好的可解释性。此外，本方案可以针对文档自动学习适合该文档的规则并基于所生成的规则来抽取该文档中的关系，从而获得更好的关系抽取性能。
25.以下将参照附图来具体描述本公开的实施例。
26.图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。在该示例环境100中，计算设备110可以接收文档120。计算设备110可以是任何适合的具有计算能力的设备。文档120可以包括多个句子。应理解，相较于句子级别或句子的序列级别的关系抽取，文档120的文本长度可以更长。但是，本公开的范围对于文档的文本长度不作限制。例如，如图1所示，文档120可以仅包括三个句子。
27.计算设备110可以利用关系抽取模型130来从文档120抽取关系140。文档120可以包括多个实体(实体的集合可以记为ε)。例如，在图1示出的文档120的示例中，文档120可以包括诸如“英国”、“哈里”、“威廉”、“凯特”之类的多个实体。这些实体可以两两组成实体对。
28.描述文档120中的多个实体对之间联系的一组关系。关系140可以是双向或单向的。例如，关系“是朋友”是双向的而关系“是妻子”是单向的。关系140可以包括描述不同实体对之间联系的关系。例如，关系140可以包括描述“哈里”和“英国”之间联系的关系“是王子”或“是皇室成员”。又例如，关系140可以包括描述“哈里”和“梅根”之间联系的关系“是配偶”或“是丈夫”。
29.以上参考图1描述了文档120和关系140的各种示例，应当理解，图1中所示的文档120和关系140仅是示意性地，不旨在构成对本公开的限制。
30.以下将结合图2来详细描述计算设备110利用关系抽取模型130从文档120抽取关系140的过程。图2示出了根据本公开的一些实施例的关系抽取的示例过程200的示意图。
31.如图2所示，关系抽取模型130可以接收文档120以及由目标实体对(记为(h,t),h，t∈ε)和关联的目标关系(记为r(h，t))组成的给定三元组(记为q＝(h，r，t))210。目标实体对可以是文档120中用户感兴趣的实体对。目标实体对也可以是文档120中的任意实体对。
32.与目标实体对关联的目标关系r可以是用于描述文档120中的实体对之间联系的任何合适的一组关系(记为)中的任意关系。目标关系也可以是一组关系中与目标实体
组最匹配的关系。目标关系也可以是一组关系中用户选定的关系。一组关系是由用户基于经验确定的一组关系。
33.关系抽取模型130可以利用规则生成器220和关系抽取器230来确定在文档120中目标关系对于目标实体对是否有效。关系抽取模型130可以输出针对给定三元组210的得分来指示在文档120中目标关系对于目标实体对是否有效。
34.例如，关系抽取模型130可以确定在文档120中目标关系“是皇室成员”针对目标实体对(“凯特”，“英国”)是有效的，并输出表示目标关系针对目标实体对有效的经确认的三元组240。在另一示例中(未示出)，关系抽取模型130可以确定在文档120中目标关系“是妻子”针对目标实体对(“凯特”，“哈里”)是无效的。
35.具体地，规则生成器220可以基于目标实体对和目标关系来确定描述目标实体对之间联系的逻辑的一组规则。规则生成器220可以是基于目标实体对和目标关系确定描述目标实体对之间联系的逻辑的一组规则的任何合适的模型。规则生成器220可以是任何合适的序列生成模型。在一些实现中，规则生成器220可以是自回归模型，例如基于transformer模型的自回归模型。在一个示例中，规则生成器220可以是具有2层编码器和2层解码器的transformer模型。
36.在一些实现中，规则生成器220可以基于目标实体对和目标关系r生成关系序列(可以记为[r1，...，r
l
]，其中)。基于所生成的关系序列，规则生成器220可以确定对应的规则(记为rule)。规则可以采取r
←
r1∧
…
∧r
l
的形式。例如，参考图2的示例，规则的一个示例可以是关系“是皇室成员
”←
关系“是配偶”∧关系“是兄弟姐妹”∧关系“是皇室成员”。
[0037]
规则可以用多个关系的序列来表示。例如，规则可以被表示为[r,r1,
…
,r
l
]。备选地，规则可以被表示为[r1,
…
,r
l
,r]。本公开的范围对于规则的具体表示方法不作限制。
[0038]
可以利用规则生成器220进行多次采样，从而确定描述目标实体对之间联系的逻辑的一组规则(记为z)。规则生成器220在生成关系序列[r1，...，r
l
]中的每个关系时可以给出针对该关系的多个候选(例如，一组关系)的概率分布。因此，通过对关系的多个候选进行采样，可以利用规则生成器220生成一组规则z。
[0039]
基于所生成的一组规则，关系抽取器230可以确定在目标实体对之间满足规则的至少一个路径，并且基于所确定的路径来确定指示目标关系对于目标实体对是否有效的得分。关系抽取器230可以是实现上述功能的任何合适的模型。在一些实现中，关系抽取器230可以是常规的关系抽取模型的改进版本。例如，关系抽取器230可以将用于关系抽取的基于序列的模型或基于图的模型作为骨干模型，并添加附加单元来实现根据本公开的一些实施例的功能。
[0040]
在一些实现中，关系抽取器230可以用于确定在目标实体对之间满足规则的至少一个路径。换句话说，针对所生成的一组规则中的每个规则，附加单元可以确定在目标实体对之间满足该规则的一个或多个对应的路径。对应的路径开始于目标实体对中的起始实体(例如，h)并且结束于目标实体对中的末尾实体(例如，t)，并且路径途经的实体对之间联系的逻辑满足该规则。
[0041]
例如，参考图2的示例，针对规则：“是皇室成员
”←“
是配偶”∧“是兄弟姐妹”∧“是
皇室成员”，可以确定目标实体对(“凯特”，“英国”)之间的一条路径：“凯特”“是皇室成员”“英国
”←“
凯特”“是配偶”“威廉”“是兄弟姐妹”“哈里”“是皇室成员”“英国”。
[0042]
在一些实现中，关系抽取器230可以基于针对每个规则所确定的路径来确定指示目标关系对于目标实体对是否有效的得分。可以基于路径途经的实体对以及关联的关系来确定该得分。确定得分的细节将参考图3来详细描述。
[0043]
利用规则生成器220和关系抽取器230，可以生成针对文档120和给定三元组210的一组规则，并且基于规则来确定指示目标关系对于目标实体对是否有效的得分。以此方式，可以利用实体和关系之间的交互来显式地描述关系的长程依赖性，从而提高关系抽取的精度和可解释性。
[0044]
以上参考图2描述了关系抽取的示例过程200。应当理解，图2中所示的过程仅是示意性的，不旨在构成对本公开的范围的限制。例如，关系抽取模型130还可以包括诸如前处理、后处理单元之类的其他单元来实现根据本公开的一些实施例。又例如，关系抽取模型130可以接收多个给定三元组210并分别确定每个给定三元组210中的目标关系对于目标实体对是否有效。
[0045]
以下将结合图3至图4来详细描述关系抽取模型130的参数化和训练过程。根据本公开的方案，关系抽取模型130可以用概率模型来表示，并且一组规则z可以作为概率模型中的隐变量。
[0046]
关系抽取的任务可以定义为给定文档d和给定三元组q，确定得分y的概率分布其中y可以是二元随机变量，并且y的值指示给定三元组是否成立。例如，可以设置y∈{-1，1}，y＝1指示给定三元组q中的目标关系r对于目标实体对(h,t)有效，并且y＝-1指示给定三元组q中的目标关系r对于目标实体对(h,t)无效。应理解，关系抽取的任务也可以定义为其他形式，例如y可以为三元随机变量，y的值可以指示目标关系与目标实体对正相关、目标关系的反向关系与目标实体对正相关、目标关系与目标实体对不相关等。
[0047]
得分y的概率分布被定义为：
[0048][0049]
其中p
θ
(z|q)表示由规则生成器220确定的在给定三元组(以及文档)的条件下一组规则的概率分布，θ表示规则生成器220的可学习参数，pw(y|q，z)表示由关系抽取器230确定的在给定三元组和一组规则(以及文档)的条件下得分的概率分布，w表示关系抽取器230的可学习参数。简便起见，假设文档的分布和一组规则的分布独立，并且在下文中省略“在文档的条件下”的表述。
[0050]
图3示出了根据本公开的一些实施例的训练关系抽取模型130的示例方法300的流程图。该方法300例如可以在图1的计算设备110处实施。
[0051]
在框302，计算设备110基于目标关系和目标实体对，确定在给定三元组的条件下一组规则的概率分布p
θ
(z|q)。在一些实现中，可以假设p
θ
(z|q)～multi(z|n，autoreg
θ
(rule|q))。换句话说，可以由规则生成器220生成服从多元正态分布的一组规则z(包括n个rule)，并且n个rule分别服从相应的概率分布autoreg
θ
(rule|q)。autoreg
θ
定义了在给定三元组q的条件下规则的概率分布。备选地，可以利用其他合适的方法来确定p
θ
(z|q)。例如，
可以由规则生成器220生成服从其他类型的独立同分布的一组规则z。
[0052]
在框304，计算设备110至少基于在给定三元组的条件下一组规则的概率分布p
θ
(z|q)，确定在给定三元组的条件下得分的概率分布p
w，θ
(y|q)。
[0053]
在一些实现中，关系抽取器230可以基于所确定的一组规则，确定在目标实体对之间的至少一个路径。基于至少一个路径途经的实体对以及关联的关系，关系抽取器230可以确定在给定三元组和一组规则的条件下得分的概率分布pw(y|q，z)。基于p
θ
(z|q)以及pw(y|q，z)，关系抽取器230可以确定在给定三元组的条件下得分的概率分布p
w，θ
(y|q)。
[0054]
在一些实现中，针对所确定的一组规则z中的每个规则rule，可以确定对应的路径。对应的路径被定义为开始于目标实体对中的起始实体h并且结束于目标实体对中的末尾实体t，并且路径途经的实体对之间联系的逻辑满足该规则rule。应理解，可以利用多种方法来确定满足上述定义的路径，本公开的范围在此方面不受限制。
[0055]
在一些实现中，pw(y|q，z)可以根据下式来定义：
[0056]
pw(y|q，z)＝sigmoid(y
·
scorew(q，z))
ꢀꢀ
(2)
[0057][0058][0059][0060][0061]
其中φw(q)和φw(q，rule)是可学习的标量参数，φw(rule)表示遵循rule从目标实体对中的起始实体到末尾实体的路径的可达性。表示基于rule所确定的目标实体对之间的至少一个路径的集合。φw(e
i-1
，ri，ei)表示关系ri对于实体对(e
i-1
,ei)有效的置信度。φw(e
i-1
，ri，ei)可以利用任何合适的关系抽取方法来获得。例如，可以利用关系抽取器230的骨干模型来获得φw(w
i-1
，ri，ei)。
[0062]
应理解，上述公式(2)-(6)仅是示例性的，可以利用其他合适的方法来定义pw(y|q，z)。例如，可以采用其他模糊逻辑函数来将scorew(q，z)转化为pw(y|q，z)。
[0063]
另外，应注意的是，在推理阶段可以利用公式(3)来计算针对给定三元组210的预测得分。在一些实现中，预测得分scorew(q，z)是0左右的连续值，值越大表示给定三元组成立的可能性越大，也即目标关系对于目标实体对有效的可能性越大。
[0064]
在框306，计算设备110基于与得分y对应的标记值y*，通过使在给定三元组的条件下得分的概率分布p
w，θ
(y|q)的参数的似然函数最大化，来获得经训练的关系抽取模型130。标记值y*是指人工标注的、用于指示给定三元组是否成立的真实值，也即，指示目标关系对于目标实体对是否有效的真实值。在一些实现中，通过使该概率分布p
w，θ
(y|q)的参数的似然函数最大化，可以估计参数w和θ，从而获得经训练的关系
抽取模型130。
[0065]
在一些实现中，可以通过迭代地更新参数w和θ以及隐变量z来使似然函数最大化。可以基于参数w和θ的当前值，确定隐变量z的后验概率分布。然后，基于隐变量z的后验概率分布，可以通过使似然函数最大化来确定参数w和θ的更新值。以此方式进行迭代直至收敛，可以估计参数w和θ以及隐变量z。
[0066]
例如，可以使用期望最大化(em)算法来迭代地更新参数w和θ以及隐变量z。在期望(e)步骤，可以基于参数w和θ的当前值，确定隐变量z的期望，也即隐变量z的后验概率分布。在最大化(m)步骤，可以通过使似然函数最大化来确定参数w和θ的更新值。备选地或附加地，可以采用近似后验的方法来确定参数w和θ以及隐变量z。
[0067]
在一些实现中，可以确定隐变量z的近似后验概率分布来代替隐变量z的准确后验概率分布，从而简化参数w和θ以及隐变量z的优化过程。在一些实现中，可以通过使似然函数的下限最大化来确定参数w和θ，从而进一步简化参数w和θ以及隐变量z的优化过程。
[0068]
在一些示例中，如下式(7)所示，可以利用隐变量z的近似后验概率分布q(z)来代替隐变量z的准确后验概率分布p(y|q，z)，并且可以通过使下限最大化来使似然函数最大化。
[0069][0070]
在一些实现中，可以确定合适的隐变量z的近似后验概率分布q(z)，以使得满足kl(q(z)||p
w，θ
(z|q，y))≥0。可以通过对后验概率分布做泰勒展开或变分近似等方法来确定近似后验概率分布。
[0071]
在一些实现中，可以基于在给定三元组的条件下一组规则的概率分布(即，规则的先验概率分布)、所确定的至少一个路径途经的实体对以及关联的关系、以及标记值，来确定针对一组规则中的每个规则的得分函数。得分函数可以估计每个规则的质量。例如，可以参考下式(8)来确定每个规则的得分函数h(rule)。
[0072][0073]
基于针对每个规则的得分函数，可以确定相应规则的后验概率分布。例如，可以参考下式(9)来确定相应规则的后验概率分布
[0074][0075]
基于每个规则的后验概率分布和一组规则中规则的数目，可以确定一组规则的近
似后验概率分布q(z)。例如，q(z)可以服从
[0076]
应理解，上述公式(8)-(9)仅是示例性的，可以采用其他合适的方法来确定隐变量z的近似后验概率分布q(z)。
[0077]
在一些实现中，通过使最大化，可以使下限最大化。其中分别针对规则生成器220和关系抽取器230。在一些实现中，还可以将等价地转化为在已经确定了q(z)的情况下，可以采用常规的参数估计方法来确定参数w和θ的更新值。例如，可以采用梯度下降的方法来确定参数w和θ的更新值。
[0078]
下文将参考图4详细描述迭代地更新参数w和θ以及隐变量z的过程。图4示出了根据本公开一些实施例的优化过程的示例方法400的流程图。方法400可以在图1所示的计算设备110处实施。应理解，图4所示的优化过程仅是示例性的，本公开的范围在此方面不受限制。
[0079]
如图4所示，在框402，计算设备110可以利用规则生成器220生成一组规则。可以由规则生成器220基于初始参数θ或经更新的当前参数θ来生成满足p
θ
(z|q)～multi(z|n，autoreg
θ
(rule|q))的一组规则。
[0080]
在框404，计算设备110可以针对一组规则中的每个规则计算得分函数，从而确定每个规则的后验概率分布可以由关系抽取器230基于在给定三元组的条件下一组规则的概率分布(即，规则的先验概率分布)、所确定的至少一个路径途经的实体对以及关联的关系、以及标记值，来确定针对一组规则中的每个规则的得分函数h(rule)。基于每个规则的得分函数h(rule)，可以由关系抽取器230确定相应规则的后验概率分布
[0081]
在框406，计算设备110可以基于从每个规则的后验概率分布采样得到的第一组更新规则来更新相应的autoreg
θ
(rule|q)。在一些实现中，计算设备110可以通过使最大化来确定参数θ的更新值，从而更新autoreg
θ
(rule|q)，也即更新在给定三元组的条件下一组规则的概率分布p
θ
(z|q)。
[0082]
在框408，计算设备110可以基于从经更新的在给定三元组的条件下一组规则的概率分布pθ(z|q)采样得到的第二组更新规则来更新在给定三元组和一组规则的条件下得分的概率分布pw(y|q，z)。在一些实现中，可以由规则生成器220基于经更新的当前参数θ生成满足p
θ
(z|q)～multi(z|n，autoreg
θ
(rule|q))的第二组更新规则。基于第二组更新规则，计算设备110可以通过使最大化来确定参数w的更新值，从而更新在给定三元组和一组规则的条件下得分的概率分布pw(y|q，z)。
[0083]
以上参考图1至图4描述了根据本公开的一些实施例的关系抽取方法以及关系抽
取模型130的构建和训练过程。
[0084]
以此方式，通过利用规则进行逻辑推理，可以容易地捕获关系的长程依赖性并且提供较好的可解释性。此外，通过迭代优化概率模型的参数和隐变量，可以在优化模型参数的同时自动学习作为隐变量的规则，从而能够基于针对文档所生成的规则来抽取该文档中的关系，以获得更好的关系抽取性能。再者，可以容易地对常规的关系抽取模型进行修改来实现根据本公开的实施例的一些功能，因而本方案具有较高的可移植性。
[0085]
应理解，根据本公开的一些实施例的关系抽取模型130还可以利用其他合适的方式来进行训练。
[0086]
本公开的实施例还提供了用于实现上述方法或过程的相应装置。图5示出了根据本公开的一些实施例的用于关系抽取的装置500的示意性结构框图。
[0087]
如图5所示，装置500可以包括规则生成模块510，被配置为基于由文档中的目标实体对和与所述目标实体对关联的目标关系组成的给定三元组，生成用于描述所述目标实体对之间联系的逻辑的一组规则，所述目标关系选自用于描述所述文档中的实体对之间联系的一组关系。此外，装置500还包括路径确定模块520，被配置为基于所述一组规则，确定在所述目标实体对之间的至少一个路径。装置500还包括得分确定模块530，被配置为基于所述至少一个路径途经的实体对以及关联的关系，确定指示在所述文档中所述目标关系对于所述目标实体对是否有效的得分。
[0088]
在一些实施例中，路径确定模块520还包括路径探索模块，路径探索模块被配置为针对所述一组规则中的每个规则，确定对应的路径，所述路径开始于所述目标实体对中的起始实体并且结束于所述目标实体对中的末尾实体，并且所述路径途经的实体对之间联系的逻辑满足所述规则。
[0089]
本公开的实施例还提供了用于训练关系抽取模型的装置。装置可以包括规则概率确定模块，其被配置为基于由文档中的目标实体对和与所述目标实体对关联的目标关系组成的给定三元组，确定在给定三元组的条件下一组规则的概率分布，所述目标关系选自用于描述所述文档中的实体对之间联系的一组关系，所述一组规则用于描述所述目标实体对之间联系的逻辑。装置还包括：得分概率确定模块，被配置为基于所述在给定三元组的条件下一组规则的概率分布，确定在给定三元组的条件下得分的概率分布，所述得分指示在所述文档中所述目标关系对于所述目标实体对是否有效。装置还包括：优化模块，被配置为基于与所述得分对应的标记值，通过使所述在给定三元组的条件下得分的概率分布的参数的似然函数最大化，获得经训练的所述关系抽取模型。
[0090]
在一些实施例中，得分概率确定模块包括：路径寻找模块，其被配置为基于所述一组规则，确定在所述目标实体对之间的至少一个路径。得分概率确定模块还包括：第一概率确定模块，其被配置为基于所述至少一个路径途经的实体对以及关联的关系，确定所述在给定三元组和一组规则的条件下得分的概率分布。得分概率确定模块还包括第二概率确定模块，其被配置为基于所述在给定三元组的条件下一组规则的概率分布以及所述在给定三元组和一组规则的条件下得分的概率分布，确定所述在给定三元组的条件下得分的概率分布。
[0091]
在一些实施例中，优化模块包括后验概率确定模块，其被配置为基于所述参数的当前值，确定所述一组规则的后验概率分布。优化模块还包括似然函数最大化模块，其被配
置为基于所述一组规则的后验概率分布，通过使所述似然函数最大化来确定所述参数的更新值。
[0092]
在一些实施例中，后验概率确定模块包括得分函数确定模块，其被配置为基于所述在给定三元组的条件下一组规则的概率分布、所述至少一个路径途经的实体对以及所述关联的关系、以及所述标记值，确定针对所述一组规则中的每个规则的得分函数。后验概率确定模块还包括第一后验概率确定模块，其被配置为基于针对每个规则的得分函数，确定每个规则的后验概率分布。后验概率确定模块还包括第二后验概率确定模块，其被配置为基于所述每个规则的后验概率分布和所述一组规则中规则的数目，确定所述一组规则的近似后验概率分布，以作为所述一组规则的后验概率分布。
[0093]
在一些实施例中，似然函数最大化模块包括下限最大化模块，其被配置为使所述似然函数的下限最大化，所述似然函数的下限与所述一组规则的近似后验概率分布关联。
[0094]
在一些实施例中，下限最大化模块包括第一采样模块，其被配置为基于所述一组规则的近似后验概率分布，采样第一组更新规则。下限最大化模块还包括第一更新模块，其被配置为基于所述第一组更新规则，更新所述在给定三元组的条件下一组规则的概率分布。下限最大化模块还包括第二采样模块，其被配置为基于经更新的在给定三元组的条件下一组规则的概率分布，采样第二组更新规则。下限最大化模块还包括第二更新模块，其被配置为基于所述第二组更新规则，更新所述在给定三元组和一组规则的条件下得分的概率分布。
[0095]
在一些实施例中，所述一组规则中的每个规则由所述一组关系中的多个关系的序列表示。
[0096]
在一些实施例中，优化模块包括期望最大化模块，其被配置为利用期望最大化算法来对所述参数进行最大似然估计。
[0097]
用于关系抽取的装置500以及用于训练关系模型的装置中所包括的单元或模块可以利用各种方式来实现，包括软件、硬件、固件或其任意组合。以装置500为例，在一些实施例中，一个或多个单元可以使用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代，装置500中的部分或者全部单元可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准品(assp)、片上系统(soc)、复杂可编程逻辑器件(cpld)，等等。
[0098]
图6示出了其中可以实施本公开的一个或多个实施例的计算设备/服务器600的框图。应当理解，图6所示出的计算设备/服务器600仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。
[0099]
如图6所示，计算设备/服务器600是通用计算设备的形式。计算设备/服务器600的组件可以包括但不限于一个或多个处理器或处理单元610、存储器620、存储设备630、一个或多个通信单元640、一个或多个输入设备650以及一个或多个输出设备660。处理单元610可以是实际或虚拟处理器并且能够根据存储器620中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高计算设备/服务器600的并行处理能力。
[0100]
计算设备/服务器600通常包括多个计算机存储介质。这样的介质可以是计算设
备/服务器600可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器620可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(ram))、非易失性存储器(例如，只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、闪存)或它们的某种组合。存储设备630可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在计算设备/服务器600内被访问。
[0101]
计算设备/服务器600可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图6中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器620可以包括计算机程序产品626，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。
[0102]
通信单元640实现通过通信介质与其他计算设备进行通信。附加地，计算设备/服务器600的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，计算设备/服务器600可以使用与一个或多个其他服务器、网络个人计算机(pc)或者另一个网络节点的逻辑连接来在联网环境中进行操作。
[0103]
输入设备650可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备660可以是一个或多个输出设备，例如显示器、扬声器、打印机等。计算设备/服务器600还可以根据需要通过通信单元640与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与计算设备/服务器600交互的设备进行通信，或者与使得计算设备/服务器600与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(i/o)接口(未示出)来执行。
[0104]
根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现上文描述的方法。
[0105]
这里参照根据本公开实现的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0106]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0107]
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0108]
附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序
产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0109]
以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各实现。