文本处理方法及装置、电子设备及存储介质与流程

1.本公开涉及信息技术领域，尤其涉及一种文本处理方法及装置、电子设备及存储介质。


背景技术：

2.信息抽取是自然语言处理(natural language processing，nlp)技术功能非常具有挑战的任务，在很多nlp下游任务中也发挥着重要的作用。比如，知识图谱补全、智能问答或文档分析等。事件抽取是一种典型的信息抽取任务。在事件抽取任务中，研究者需要从给定文本中抽取出事件类型、事件触发词、事件角色和事件论元。


技术实现要素：

3.本公开实施例提供一种文本处理方法及装置、电子设备及存储介质。
4.本公开实施例第一方面提供一种文本处理方法，包括：
5.利用第一模型对目标文本进行分类处理，得到所述目标文本的事件因果关系的分类结果；
6.利用第二模型对所述目标文本进行处理，得到候选原因事件类型和候选结果事件类型的相似性，并基于所述相似性得到所述第二模型输出的目标文本的事件因果关系的预测结果；
7.利用第三模型根据目标文本的语义，得到所述目标文本的事件因果关系的输出结果；
8.根据所述分类结果、所述预测结果以及所述输出结果，确定所述目标文本的目标事件因果关系。
9.基于上述方案，所述利用第一模型对目标文本进行分类处理，得到所述目标文本的事件因果关系的分类结果，包括：
10.将所述目标文本输入到所述第一模型的编码层，得到所述目标文本的编码序列；
11.对所述编码序列进行分类处理，得到所述编码序列中各个词的编码数据的分类标签，其中，所述分类标签包括：原因事件类型标签和结果事件类型标签；
12.根据所述分类标签，得到所述分类结果。
13.基于上述方案，所述根据所述分类标签和所述分类概率，得到所述分类结果，包括：
14.当所述编码序列具有一个所述原因事件类型标签和一个所述结果事件类型标签时，组合所述原因事件类型标签和所述结果事件类型标签得到所述分类结果；
15.当所述编码序列具有多个原因事件类型标签和/或多个结果事件类型标签时，根据所述第一模型输出的所述原因事件类型标签的分类概率和/或所述结果事件类型标签的分类概率，得到分类概率最高一个或多个的所述分类结果。
16.基于上述方案，所述利用第二模型对所述目标文本进行处理，得到候选原因事件
类型和候选结果事件类型的相似性，并基于所述相似性得到所述第二模型输出的目标文本的事件因果关系的预测结果，包括：
17.利用所述第二模型的分类分支，对所述目标文本的编码序列进行分类得到各个备选原因事件类型和备选结果事件类型的标签；
18.将所述备选原因事件类型和所述备选结果事件类型任意组合，得到备选事件因果关系组合；
19.确定任意一个所述备选关系组合以及所述目标文本的编码序列输入到所述第二模型的预测分支，得到各所述备选关系组合内备选原因事件类型和所述备选结果事件类型的相似性；
20.根据所述相似性输出所述预测结果。
21.基于上述方案，所述方法还包括：
22.确定任意一个所述备选关系组合以及所述目标文本的编码序列输入到所述第二模型的所述第二模型的事件要素抽取分支，得到所述事件要素抽取分支输出的事件要素。
23.基于上述方案，所述方法还包括：
24.根据所述目标事件因果关系的所述预测结果的各事件要素的出现次数，确定输出的所述事件要素。
25.基于上述方案，所述利用第三模型根据目标文本的语义，得到所述目标文本的事件因果关系的输出结果，包括：
26.将根据从所述目标文本中实体构建的问题语句以及所述目标文本输入到所述第三模型，通过所述问题语句和所述目标文本的语义匹配得到所述目标文本的事件因果关系的输出结果。
27.基于上述方案，所述根据所述分类结果、所述预测结果以及所述输出结果，确定所述目标文本的目标事件因果关系，包括：
28.根据所述分类结果的分类概率以及分类阈值，确定第一备选事件因果关系；
29.根据所述预测结果的相似度以及相似度阈值，确定第二备选事件因果关系；
30.根据所述输出结果对应问题语句和目标文本的匹配度以及匹配度阈值，确定第三备选事件因果关系；
31.将同时属于所述第一备选事件因果关系、所述第二备选事件因果关系以及所述第三备选事件因果关系的事件因果关系，确定为所述目标事件因果关系。
32.本公开实施例第二方面提供一种文本处理装置，所述装置包括：
33.第一模型模块，用于利用第一模型对目标文本进行分类处理，得到所述目标文本的事件因果关系的分类结果；
34.第二模型模块，用于利用第二模型对所述目标文本进行处理，得到候选原因事件类型和候选结果事件类型的相似性，并基于所述相似性得到所述第二模型输出的目标文本的事件因果关系的预测结果；
35.第三模型模块，用于利用第三模型根据目标文本的语义，得到所述目标文本的事件因果关系的输出结果；
36.确定模块，用于根据所述分类结果、所述预测结果以及所述输出结果，确定所述目标文本的目标事件因果关系。
37.基于上述方案，所述第一模型模块，具体用于将所述目标文本输入到所述第一模型的编码层，得到所述目标文本的编码序列；对所述编码序列进行分类处理，得到所述编码序列中各个词的编码数据的分类标签，其中，所述分类标签包括：原因事件类型标签和结果事件类型标签；根据所述分类标签，得到所述分类结果。
38.基于上述方案，所述第一模型模块，还具体用于当所述编码序列具有一个所述原因事件类型标签和一个所述结果事件类型标签时，组合所述原因事件类型标签和所述结果事件类型标签得到所述分类结果；当所述编码序列具有多个原因事件类型标签和/或多个结果事件类型标签时，根据所述第一模型输出的所述原因事件类型标签的分类概率和/或所述结果事件类型标签的分类概率，得到分类概率最高一个或多个的所述分类结果。
39.基于上述方案，所述第二模型模块，具体用于利用所述第二模型的分类分支，对所述目标文本的编码序列进行分类得到各个备选原因事件类型和备选结果事件类型的标签；将所述备选原因事件类型和所述备选结果事件类型任意组合，得到备选事件因果关系组合；确定任意一个所述备选关系组合以及所述目标文本的编码序列输入到所述第二模型的预测分支，得到各所述备选关系组合内备选原因事件类型和所述备选结果事件类型的相似性；根据所述相似性输出所述预测结果。
40.基于上述方案，所述装置还包括：
41.事件要素模块，用于确定任意一个所述备选关系组合以及所述目标文本的编码序列输入到所述第二模型的所述第二模型的事件要素抽取分支，得到所述事件要素抽取分支输出的事件要素。
42.基于上述方案，所述装置还包括：
43.输出模块，用于根据所述目标事件因果关系的所述预测结果的各事件要素的出现次数，确定输出的所述事件要素。
44.基于上述方案，所述第三模型模块，用于将根据从所述目标文本中实体构建的问题语句以及所述目标文本输入到所述第三模型，通过所述问题语句和所述目标文本的语义匹配得到所述目标文本的事件因果关系的输出结果。
45.基于上述方案，所述确定模块，具体用于根据所述分类结果的分类概率以及分类阈值，确定第一备选事件因果关系；根据所述预测结果的相似度以及相似度阈值，确定第二备选事件因果关系；根据所述输出结果对应问题语句和目标文本的匹配度以及匹配度阈值，确定第三备选事件因果关系；将同时属于所述第一备选事件因果关系、所述第二备选事件因果关系以及所述第三备选事件因果关系的事件因果关系，确定为所述目标事件因果关系。
46.本公开实施例第三方面提供一种电子设备，包括：
47.用于存储处理器可执行指令的存储器；
48.处理器，与所述存储器连接；
49.其中，所述处理器被配置为执行如前述第一方面任意技术方案提供的文本处理方法。
50.本公开实施例第四方面提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由计算机的处理器执行时，使得计算机能够执行前述第一方面任意技术方案提供的文本处理方法。
51.本公开的实施例提供的技术方案可以包括以下有益效果：
52.在本公开实施例中，第一模型通过分类处理得到目标文本的事件因果关系、第二模型通过相似性计算，得到表征目标文本的事件因果关系的预测结果、第三模型根据文本语义得到表征目标文本的事件因果关系的输出结果。三个模型采用不同的文本处理得到各自输出的关于目标文本的事件因果关系的结果，如此可以基于该结果精确的确定出目标文本的事件因果关系，提升了对文本处理的精确度。
附图说明
53.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
54.图1是根据一示例性实施例示出的一种文本处理方法的流程示意图；
55.图2是根据一示例性实施例示出的一种第一模型的结构示意图；
56.图3是根据一示例性实施例示出的一种利用第一模型处理文本的流程示意图；
57.图4根据一示例性实施例示出的一种第二模型的结构示意图；
58.图5是根据一示例性实施例示出的一种利用第二模型进行文本处理的流程示意图；
59.图6是根据一示例性实施例示出的一种第二模型的结构示意图；
60.图7是根据一示例性实施例示出的一种根据分类结果、预测结果以及输出结果得到目标文本的目标事件因果关系的流程示意图；
61.图8是根据一示例性实施例示出的第三模型的结构示意图；
62.图9是根据一示例性实施例示出的一种文本处理方法的流程示意图；
63.图10是根据一示例性实施例示出的一种文本处理装置的结构示意图；
64.图11是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
65.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置的例子。
66.如图1所示，本公开实施例提供一种文本处理方法，所述方法包括：
67.s110：利用第一模型对目标文本进行分类处理，得到所述目标文本的事件因果关系的分类结果；
68.s120：利用第二模型对所述目标文本进行处理，得到候选原因事件类型和候选结果事件类型的相似性，并基于所述相似性得到所述第二模型输出的目标文本的事件因果关系的预测结果；
69.s130：利用第三模型根据目标文本的语义，得到所述目标文本的事件因果关系的输出结果；
70.s140：根据所述分类结果、所述预测结果以及所述输出结果，确定所述目标文本的目标事件因果关系。
71.该文本处理方法可应用于各种电子设备中，该电子设备包括但不限于服务器和/或各种终端设备。该终端设备包括但不限于：手机、平板电脑或者可穿戴式设备。
72.所述第一模型可为双向转换编码器(bidirectional encoder representation from transformers，bert)-条件随机场(conditional random fields，crf)。第一模型对输入的目标文本进行编码，得到编码序列。该编码序列可至少包括：词向量(token embeddings)。在另一些实施例中，所述编码序列还可包括：分隔向量(segment embeddings)以及位置向量(position embeddings)。图2所示为一种第一模型的示例。
73.利用第一模型进行目标文本通过目标文本中句子进行词分隔、并获取词的词向量，进而获得进行事件因果关系分类的原因事件类型和结果事件类型。
74.第一模型将目标文本中的各个句子的分词分别进行分类，得到分类标签。该分类标签可以结果事件类型的标签和原因事件类型的标签。
75.如此，相当于通过第一模型就实现了对目标文本的因果关系的分类。
76.与此同时，还可以利用第二模型对目标文本进行处理，得到候选原因事件类型和候选结果事件类型的词义或者语义相似性(或称为关联性)，得到目标文本的事件因果关系的预测结果。
77.第二模型的模型结构不同于第一模型的模型结构；或者，第二模型和第一模型的模型结构相同但是模型参数不同。此处的模型参数可至少包括：第一模型和第二模型内网络节点的权重和/或阈值。
78.第二模型同样会对目标文本进行处理，然后对目标文本处理之后得到指示目标文本包含的事件因果关系的预测结果。该预测结果也会给出目标文本中包含的因果关系事件。
79.第三模型，分别与第一模型和第二模型的模型结构都不同。第三模型可以结合输入的目标文本的语义得到目标文本的事件因果关系的输出结果，该输出结果也会指出目标文本中的事件因果关系。
80.在本公开实施例中会结合第一模型的分类结果、第二模型的预测结果及第三模型的输出结果，得出该目标文本包含的事件因果关系(即目标事件因果关系)。如此，三种模型对目标文本的处理，可以相互补强，从而提升目标文本的事件因果关系的抽取精确度，并降低了从目标文本抽取事件因果关系的计算消耗和模型训练的消耗。
81.值得注意的是，本公开实施例中的所述目标文本是通过如下方式得到的：
82.获取原始文本；
83.对原始文本进行文本预处理，得到目标文本。
84.所述对原始文本进行预处理可包括以下至少之一：
85.对过长原始文本进行截取处理或者分段处理；例如，若原始文本大于第一模型、第二模型以及第三模型可接收的最大输入文本时，需要对原始文本进行截取处理或者分段处理；
86.对文本进行同义转换，使得转换后的版本是第一模型、第二模型和第三模型的可处理的文本，例如，对繁体汉字文本进行转换，得到简体汉字文本；或者对简体汉字进行转换处理，得到繁体汉字文本；
87.对英文文本等首字母为大写字母的文本进行大小转换处理等。
88.当然以上仅仅是对原始文本的预处理举例，具体实现过程中，还可以包括：去除冗余字词、或者去掉无意义的标点符号或虚词等等。
89.通过上述处理，可以将原始文本转换为目标文本。
90.参考图10所示，通过对原始文本的文本预处理之后，得到目标文本；然后通过由三个模型组成的事件抽取模型的事件因果关系，实现结果的抽取。在另一些场景下，事件抽取模型可包括：属于第三模型的阅读理解模型、属于第一模型的一阶段模型和属于第二模型的两阶段模型共同构成。
91.在一些实施例中，如图3所示，所述s110可包括：
92.s111：将所述目标文本输入到所述第一模型的编码层，得到所述目标文本的编码序列；
93.s112：对所述编码序列进行分类处理，得到所述编码序列中各个词的编码数据的分类标签，其中，所述分类标签包括：原因事件类型标签和结果事件类型标签；
94.s113：根据所述分类标签，得到所述分类结果。
95.第一模型的编码层可为双向转换编码器(bidirectional encoder representation from transformers，bert)，对输入的目标文本进行编码，从而将得到编码序列。
96.得到编码序列之后对编码序列进行进一步处理，示例性地的进行条件随机场的处理，将得到分类结果。各个分类结果将会指示目标文本中各个词属于原因事件类型还是属于结果事件类型。
97.在一个实施例中，所述s113可包括：
98.当所述编码序列具有一个所述原因事件类型标签和一个所述结果事件类型标签时，组合所述原因事件类型标签和所述结果事件类型标签得到所述分类结果；
99.当所述编码序列具有多个原因事件类型标签和/或多个结果事件类型标签时，根据所述第一模型输出的所述原因事件类型标签的分类概率和/或所述结果事件类型标签的分类概率，得到分类概率最高一个或多个的所述分类结果。
100.若一条目标文本输入之后，第一模型输出一个原因事件类型标签和一个结果事件类型标签，此时就认为该原因事件标签对应的原因事件和结果事件类型标签对应的结果事件组合得到一个因果事件关系。
101.若一条文本输入之后，第一模型输出原因事件类型标签和结果事件类型标签中任意一个为多个，则将一个原因事件类型标签和一个结果事件类型标签组合，得到多个组合；每一个原因事件类型标签都有分类概率和结果事件类型都有分类概率。该分类概率可以理解为对应的原因事件类型标签和结果事件类型标签的置信度。
102.得到分类概率最高的一个或多个组合，作为分类结果的输出。
103.如此，可以尽可能少的遗漏的提取出目标文本包含的事件因果关系。
104.在一个实施例中，如图5所示，所述s120可包括：
105.s121：利用所述第二模型的分类分支，对所述目标文本的编码序列进行分类得到各个备选原因事件类型和备选结果事件类型的标签；
106.s122：将所述备选原因事件类型和所述备选结果事件类型任意组合，得到备选事件因果关系组合；
107.s123：确定任意一个所述备选关系组合以及所述目标文本的编码序列输入到所述第二模型的预测分支，得到各所述备选关系组合内备选原因事件类型和所述备选结果事件类型的相似性；
108.s124：根据所述相似性输出所述预测结果。
109.第二模型首先包括分类分支和预测分支。分类分支直接对目标你文本的编码序列进行分类得到备选原因事件类型以及备选原因事件类型的标签。参考图4所示，左边输出分类分数的分支可为第一模型的分类分支；而右边输出相似分数的分支即为预测分支的一种举例。
110.基于分类分支是包括bert、池化层(pooling layer)和线性层(linear layer)。通过bert对目标文本的处理，将得到目标文本中各个词的标签，如表1所示为一种次的标签举例。
111.表1序列标注的输出标签(tag)全集
[0112][0113][0114]
通过池化层的池化处理，在通过线性层的连接处理，将得到分类分数。
[0115]
并将分类分支的所有输出，输入到第二模型的预测分支，由预测分支进行进一步处理，计算出各个备选原因事件类型和备选结果事件类型的相似性，从而得到预测结果。
[0116]
示例性，该预测分支可包括：bert和以及线性层，该线性层通过对bert的输出进一步处理，就将得到相似分数，该相似分数体现了相似性的相似程度。
[0117]
最后第二模型会基于相似性的相似分数，输出预测结果。
[0118]
在一个实施例中，所述方法还包括：
[0119]
确定任意一个所述备选关系组合以及所述目标文本的编码序列输入到所述第二模型的所述第二模型的事件要素抽取分支，得到所述事件要素抽取分支输出的事件要素。
[0120]
第二模型的事件要素抽取分支同样可包括bert和crf，crf位于bert后端，可以通过原因事件类型和结果事件类型等处理，实现通过事件要素抽取分支的处理，可以抽取目标文本中与因果关系的事件要素。
[0121]
事件要素可包括以下至少之一：
[0122]
事件，在某一个时间段或某个时间点，一个主体的状态主动或者被动发生了改变；
[0123]
实体，语义类别中一类或者一组对象，示例性地，命名实体、金融产品、时间或者数值；
[0124]
事件元素，在事件中具有特定作用的实体；
[0125]
元素角色，事件元素中承担的角色。
[0126]
在一些实施例中，所述利用第三模型根据目标文本的语义，得到所述目标文本的事件因果关系的输出结果，包括：
[0127]
将根据从所述目标文本中实体构建的问题语句以及所述目标文本输入到所述第三模型，通过所述问题语句和所述目标文本的语义匹配得到所述目标文本的事件因果关系的输出结果。
[0128]
第三模型同样可为基于bert的模型，可以基于实体构建确定原因事件类型和/或结果事件类型的问题语句，然后将问题语句与目标文本均输入到第三模型，由问题语句和目标文本的语义匹配得到，基于语义处理的事件因果关系的输出结果。图6所示为一种第三模型的示例。
[0129]
在一些实施例中，如图7所示，所述s140可包括：
[0130]
s141：根据所述分类结果的分类概率以及分类阈值，确定第一备选事件因果关系；
[0131]
s142：根据所述预测结果的相似度以及相似度阈值，确定第二备选事件因果关系；
[0132]
s143：根据所述输出结果对应问题语句和目标文本的匹配度以及匹配度阈值，确定第三备选事件因果关系；
[0133]
s144：将同时属于所述第一备选事件因果关系、所述第二备选事件因果关系以及所述第三备选事件因果关系的事件因果关系，确定为所述目标事件因果关系。
[0134]
示例性地，将分类概率高于或等于分类阈值的备选事件因果关系，确定为所述第一备选事件因果关系，将相似度高于或等于相似度阈值的备选事件因果关系，确定为第二备选事件因果关系。将问题语句和目标文本的匹配度高于匹配度阈值的问题语句和目标文本抽取的备选事件因果关系，确定为第三备选事件因果关系。问题语句可以是根据从目标文本中抽取的实体构造的。
[0135]
在本公开实施例中，会将同时属于第一备选事件因果关系、第二备选事件因果关系以及第三备选事件因果关系，确定为最终属于目标文本的目标事件因果关系。
[0136]
同时采用三个模型对相同的目标文本进行事件因果关系的抽取，如此，可以确保抽取出的事件因果关系的正确性和精确度。
[0137]
在还有一些实施例中，若没有同时属于第一备选事件因果关系、所述第二备选事件因果关系以及所述第三备选事件因果关系的事件因果关系，则可以确定是否有属于第一
备选事件因果关系和第二备选事件因果关系的事件因果关系，如果存在，则重新针对该目标文本重新构造问题语句和目标文本，通过第三模型的处理得到第三备选事件因果关系。
[0138]
针对构建事件图谱时抽取准确率不高等问题，采用了三种技术方案，最终使用的是这三种方案的模型组合。
[0139]
这三种模型分别是：
[0140]
一阶段：将事件类型和事件要素合起来作为标签(tag)，通过序列标注模型同时判断事件类型和事件要素。
[0141]
两阶段：先判断原因事件类型和结果事件类型，然后结合因果类型抽取事先定义好的事件要素。
[0142]
阅读理解(mrc)：先判断原因事件类型和结果事件类型，然后结合因果类型构造question，通过mrc模型从给定文本中抽取要素所在的片段。
[0143]
事件定义如下元素：
[0144]
事件(event)：在某个时间点或时间段，一个主体的状态主动地或被动地发生了变化。
[0145]
实体(entity)：语义类别中的一类或一组对象，本文讨论的实体包括命名实体、金融产品、时间和数值。
[0146]
事件元素(event argument)：在事件中具有特定作用的实体。
[0147]
元素角色(argument role)：事件元素在事件中承担的角色。
[0148]
通过一阶段模型得到事件抽取的结果，使用原因事件类型和结果事件类型的预测模型，得到原因结果事件类型的分类概率最高的前十候选结果。
[0149]
mrc基于步骤b的原因结果事件类型，通过阅读理解模型得到事件抽取的结果
[0150]
两阶段基于步骤b的原因结果事件类型，得到事件抽取的结果。
[0151]
得到一阶段模型，两阶段模型和mrc模型的结果之后，进行结果投票融合。
[0152]
一阶段模型，即前述第一模型。一阶段事件因果关系抽取模型，使用bert-crf作为抽取的框架，使用事件类型和事件要素的组合作为标签(label)，直接抽取实体。
[0153]
例如在句子，“货运行业盈利水平大幅度缩水是卡车需求不旺的主要原因”，原因事件类型是，产品利润下降，原因的行业是，货运行业，结果事件类型是，需求减少，结果产是始卡车。
[0154]
因果关系抽取任务有事件原因和事件结果两个事件类型，对应的事件类型下面有多个事件要素。把事件原因和对应事件要素拼接起来，以及事件结果对应的事件要素拼接起来，作为bert-crf序列标注模型的标签(label)，对相关实体进行抽取。
[0155]
例如，原因事件类型为出口下降的产品实体，就表示为，出口下降_reason_type_product。
[0156]
然后使用bert-crf对实体进行抽取，如图2所示，r1-p-b代表原因事件类型为出口下降的产品的开始位置。
[0157]
把带抽取的句子放入输入到bert-crf模型中，输入到编码层，每个句子由一系列token组成{token1，j
…
tokenl，j}，其中toki，j为第j个句子中第i个token，l为第j个句子的序列长度。每个句子经bert编码后得到的token向量序列为htoken＝{h1，j，h2，j，...，hl，j}，其中hi，j为第j个句子中第i个token对应的向量，维度为d，句子向量序列为{h0，
h1，...，hl}，h0为标题句向量表示，hj为文档中第j个句子的向量表示，维度为d。
[0158]
经过crf层之后输出想要的因果事件标签，通过标签得到了所要抽取的事件。
[0159]
得到抽取的实体之后，需要对事件类型进行组合，如果只有一个事件原因和事件结果，那么直接这把两个原因结果对，组合在一起。如果有多个事件原因结果对，那么选取频次最高的原因结果事件对作为最后的结果。
[0160]
两阶段模型，即为前述第二模型。两阶段主要包括事件类型预测和事件要素抽取这两步。首先预测出给定文本对应的原因事件类型和结果事件类型，然后结合事件类型对事件要素进行预测。
[0161]
为了体现原因事件与结果事件之间的关系，以原因事件类型和结果事件类型构成的匹配对对作为最小的粒度，而不是分别预测原因事件类型和结果事件类型。
[0162]
如图4所示为事件类型预测的框架图，采用了两种模型来预测原因事件类型和结果事件类型之间的匹配对。第一个分支如左边虚线框所示，它是一个多分类的模型，输入为给定文本，输出为因果关系的分类可模型。第二个分支如右边虚线框所示，是一个文本匹配模型，输入包括两部分，第一部分为选定的原因事件类型和结果事件类型之间的匹配对，以
‘
#’连接，第二部分为给定的文本，输出为这个选定的原因事件类型和结果事件类型之间匹配对的相似度分数。
[0163]
综合以上分类分数和相似度分数，对候选原因事件类型和结果事件类型的匹配对进行排序，从而预测得到(原因事件类型，结果事件类型)的匹配对。
[0164]
如图5所示为事件要素抽取的框架。以bert和crf为作为序列要素抽取模型来进行序列标注。作序列标注时包含的标签(tag)全集如表1所示，一共定义了13个标签(tag)。序列标注的输入由两部分组成，第一部分为上一步预测的原因事件类型和结果事件类型，以
‘
#’连接，第二部分为给定的文本。为原因事件的事件要素和结果事件的事件要素分别训练一个序列标注模型，分别预测原因事件要素和结果事件要素。
[0165]
通过实验发现，这比通过一个模型同时预测原因事件要素和结果事件要素效果更好。在预测完预测原因事件要素和结果事件要素后，将它们组合起来作为最终的事件要素抽取结果。
[0166]
表2序列标注的输出标签全集
comprehension，mrc)任务通常能够得到很可观的效果，在文本中使用跨度(span)对实体的位置进行标注，每个位置视作两个二分类任务，分别是预测该位置是否为跨度(span)的起始位置以及该位置是否为跨度(span)的结束位置。
[0170]
因为一些句子中有实体不存在，所以在每个输入的句子中加上“无答案”这三个字，这样一来可以构造一些负样本，即那些没有答案在文本的中的实体，可以使用无答案作为实体。
[0171]
使用mrc模型可以使用到实体的类别信息作为输入训练模型，这样相当于使用了增强的信息在抽取的时候，同时可以间接得增加数据量。假设一个文本包含n个不同事件类型，每个事件类型平均包含m个可提取内容的论元，那么一个文本可以扩充n*m倍，相当于做了数据增强。
[0172]
多模型的结果处理，可以得到最终结果，得到以上三种模型的结果之后，对三组结果进行组合。通过交叉验证训练10个一阶段模型，10个两阶段模型。然后通过投票法来对这两种模型进行组合。组合的时候，如果一个(原因事件类型，结果事件类型)对下的一个事件要素出现一次，就得一票。设置一个阈值，得票次数在阈值以上的事件要素保留下来。总共20个模型，设置阈值为6，得到结果记为without_mrc。
[0173]
同样地，通过交叉验证训练20个基于阅读理解的抽取模型，设置阈值为18，得到结果记为mrc。最后对结果without_mrc和结果mrc进行合并，合并的时候，如果without_mrc和mrc都有结果的时候，用mrc的结果覆盖without_mrc的结果。以此得到最终的事件因果关系抽取结果，记为最终结果(final)。
[0174]
为了验证模型的效果，线下构建了1000条数据。本次任务采用精确率(precision，p)、召回率(recall，r)、f1值(f1-measure，f1)来评估事件要素的识别效果。采用微平均计算f值即所有样本的要素一起计算p和r。原因事件和结果事件两个事件类型及其某一要素为一个统计项，如果只识别原因和结果事件类型没有正确识别事件要素不算正确。同一原因事件结果事件类型的组合最多有一组结果。
[0175]
在测试集上进行了测试，如表2所示，一阶段和两阶段的模型进行组合后，f1得分为0.5869。然后，再合并阅读理解的结果后，f1得分提升到0.5986。
[0176][0177][0178]
表2
[0179]
如图10所示，本公开实施例提供一种文本处理装置，所述装置包括：
[0180]
第一模型模块110，用于利用第一模型对目标文本进行分类处理，得到所述目标文本的事件因果关系的分类结果；
[0181]
第二模型模块120，用于利用第二模型对所述目标文本进行处理，得到候选原因事件类型和候选结果事件类型的相似性，并基于所述相似性得到所述第二模型输出的目标文本的事件因果关系的预测结果；
[0182]
第三模型模块130，用于利用第三模型根据目标文本的语义，得到所述目标文本的事件因果关系的输出结果；
[0183]
确定模块140，用于根据所述分类结果、所述预测结果以及所述输出结果，确定所述目标文本的目标事件因果关系。
[0184]
该文本处理装置可包括：各种电子设备中。该电子设备包括但不限于：终端设备和/或服务器。所述终端设备包括但不限于：手机、平板电脑、可穿戴式设备、车载设备、智能家居设备或者智能办公设备。
[0185]
在一些实施例中，第一模型模块110、第二模型模块120、第三模型模块130以及确定模块140可为程序模块；该程序模块被处理器执行之后，能够实现上述各个模块功能的实现。
[0186]
在另一些实施例中，第一模型模块110、第二模型模块120、第三模型模块130以及确定模块140可为软硬件结合模块；该软硬件结合模块可包括各种可编程阵列，该可编程阵列包括但不限于：现场可编程阵列和/或复杂可编程阵列。
[0187]
在还有一些实施例中，第一模型模块110、第二模型模块120、第三模型模块130以及确定模块140可为纯硬件模块；所述纯硬件模块包括但不限于：专用集成电路。
[0188]
在一些实施例中，所述第一模型模块110，具体用于将所述目标文本输入到所述第一模型的编码层，得到所述目标文本的编码序列；对所述编码序列进行分类处理，得到所述编码序列中各个词的编码数据的分类标签，其中，所述分类标签包括：原因事件类型标签和结果事件类型标签；根据所述分类标签，得到所述分类结果。
[0189]
在一些实施例中，所述第一模型模块110，还具体用于当所述编码序列具有一个所述原因事件类型标签和一个所述结果事件类型标签时，组合所述原因事件类型标签和所述结果事件类型标签得到所述分类结果；当所述编码序列具有多个原因事件类型标签和/或多个结果事件类型标签时，根据所述第一模型输出的所述原因事件类型标签的分类概率和/或所述结果事件类型标签的分类概率，得到分类概率最高一个或多个的所述分类结果。
[0190]
在一些实施例中，所述第二模型模块120，具体用于利用所述第二模型的分类分支，对所述目标文本的编码序列进行分类得到各个备选原因事件类型和备选结果事件类型的标签；将所述备选原因事件类型和所述备选结果事件类型任意组合，得到备选事件因果关系组合；确定任意一个所述备选关系组合以及所述目标文本的编码序列输入到所述第二模型的预测分支，得到各所述备选关系组合内备选原因事件类型和所述备选结果事件类型的相似性；根据所述相似性输出所述预测结果。
[0191]
在一些实施例中，所述装置还包括：
[0192]
事件要素模块，用于确定任意一个所述备选关系组合以及所述目标文本的编码序列输入到所述第二模型的所述第二模型的事件要素抽取分支，得到所述事件要素抽取分支输出的事件要素。
[0193]
在一些实施例中，所述装置还包括：
[0194]
输出模块，用于根据所述目标事件因果关系的所述预测结果的各事件要素的出现次数，确定输出的所述事件要素。
[0195]
在一些实施例中，所述第三模型模块130，用于将根据从所述目标文本中实体构建的问题语句以及所述目标文本输入到所述第三模型，通过所述问题语句和所述目标文本的语义匹配得到所述目标文本的事件因果关系的输出结果。
[0196]
在一些实施例中，所述确定模块140，具体用于根据所述分类结果的分类概率以及分类阈值，确定第一备选事件因果关系；根据所述预测结果的相似度以及相似度阈值，确定第二备选事件因果关系；根据所述输出结果对应问题语句和目标文本的匹配度以及匹配度阈值，确定第三备选事件因果关系；将同时属于所述第一备选事件因果关系、所述第二备选事件因果关系以及所述第三备选事件因果关系的事件因果关系，确定为所述目标事件因果关系。
[0197]
图11是根据一示例性实施例示出的一种电子设备800的框图。例如，电子设备800可以包含在移动电话、移动电脑等终端设备或者服务器等设备内。
[0198]
参照图11，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，多媒体数据组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
[0199]
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
[0200]
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0201]
电源组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
[0202]
多媒体组件808包括在电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作状态，如拍摄状态或视频状态时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0203]
多媒体数据组件810被配置为输出和/或输入多媒体数据信号。例如，多媒体数据
组件810包括一个麦克风(mic)，当电子设备800处于操作状态，如呼叫状态、记录状态和语音识别状态时，麦克风被配置为接收外部多媒体数据信号。所接收的多媒体数据信号可以被进一步存储在存储器804或经由通信组件816发送。
[0204]
在一些实施例中，多媒体数据组件810还包括一个扬声器，用于输出多媒体数据信号。
[0205]
i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，操作钮等。这些操作钮可包括但不限于：主页操作钮、音量操作钮、启动操作钮和锁定操作钮。
[0206]
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0207]
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如wi-fi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0208]
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0209]
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0210]
上述指令被处理器820执行之后可包括：
[0211]
利用第一模型对目标文本进行分类处理，得到所述目标文本的事件因果关系的分类结果；
[0212]
利用第二模型对所述目标文本进行处理，得到候选原因事件类型和候选结果事件类型的相似性，并基于所述相似性得到所述第二模型输出的目标文本的事件因果关系的预测结果；
[0213]
利用第三模型根据目标文本的语义，得到所述目标文本的事件因果关系的输出结果；
[0214]
根据所述分类结果、所述预测结果以及所述输出结果，确定所述目标文本的目标事件因果关系。
[0215]
可以理解地，所述利用第一模型对目标文本进行分类处理，得到所述目标文本的事件因果关系的分类结果，包括：
[0216]
将所述目标文本输入到所述第一模型的编码层，得到所述目标文本的编码序列；
[0217]
对所述编码序列进行分类处理，得到所述编码序列中各个词的编码数据的分类标签，其中，所述分类标签包括：原因事件类型标签和结果事件类型标签；
[0218]
根据所述分类标签，得到所述分类结果。
[0219]
可以理解地，所述根据所述分类标签和所述分类概率，得到所述分类结果，包括：
[0220]
当所述编码序列具有一个所述原因事件类型标签和一个所述结果事件类型标签时，组合所述原因事件类型标签和所述结果事件类型标签得到所述分类结果；
[0221]
当所述编码序列具有多个原因事件类型标签和/或多个结果事件类型标签时，根据所述第一模型输出的所述原因事件类型标签的分类概率和/或所述结果事件类型标签的分类概率，得到分类概率最高一个或多个的所述分类结果。
[0222]
可以理解地，所述利用第二模型对所述目标文本进行处理，得到候选原因事件类型和候选结果事件类型的相似性，并基于所述相似性得到所述第二模型输出的目标文本的事件因果关系的预测结果，包括：
[0223]
利用所述第二模型的分类分支，对所述目标文本的编码序列进行分类得到各个备选原因事件类型和备选结果事件类型的标签；
[0224]
将所述备选原因事件类型和所述备选结果事件类型任意组合，得到备选事件因果关系组合；
[0225]
确定任意一个所述备选关系组合以及所述目标文本的编码序列输入到所述第二模型的预测分支，得到各所述备选关系组合内备选原因事件类型和所述备选结果事件类型的相似性；
[0226]
根据所述相似性输出所述预测结果。
[0227]
可以理解地，所述方法还包括：
[0228]
确定任意一个所述备选关系组合以及所述目标文本的编码序列输入到所述第二模型的所述第二模型的事件要素抽取分支，得到所述事件要素抽取分支输出的事件要素。
[0229]
可以理解地，所述方法还包括：
[0230]
根据所述目标事件因果关系的所述预测结果的各事件要素的出现次数，确定输出的所述事件要素。
[0231]
可以理解地，所述利用第三模型根据目标文本的语义，得到所述目标文本的事件因果关系的输出结果，包括：
[0232]
将根据从所述目标文本中实体构建的问题语句以及所述目标文本输入到所述第三模型，通过所述问题语句和所述目标文本的语义匹配得到所述目标文本的事件因果关系的输出结果。
[0233]
可以理解地，所述根据所述分类结果、所述预测结果以及所述输出结果，确定所述目标文本的目标事件因果关系，包括：
[0234]
根据所述分类结果的分类概率以及分类阈值，确定第一备选事件因果关系；
[0235]
根据所述预测结果的相似度以及相似度阈值，确定第二备选事件因果关系；
[0236]
根据所述输出结果对应问题语句和目标文本的匹配度以及匹配度阈值，确定第三
备选事件因果关系；
[0237]
将同时属于所述第一备选事件因果关系、所述第二备选事件因果关系以及所述第三备选事件因果关系的事件因果关系，确定为所述目标事件因果关系。
[0238]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0239]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。