文本处理方法、装置、电子设备和存储介质与流程

1.本公开涉及人工智能技术领域，尤其涉及文本处理、知识图谱、文本结构化、数据挖掘和文本摘要等技术领域。更具体地，本公开提供了一种文本处理方法、装置、电子设备和存储介质。


背景技术：

2.可以从文本中抽取包含主语、谓语和宾语的三元组。例如，可以基于开放域信息抽取（open information extraction，oie）技术或限定域信息抽取（restrict information extraction，rie）技术，从文本中抽取出上述三元组。


技术实现要素：

3.本公开提供了一种文本处理方法、装置、设备以及存储介质。
4.根据本公开的一方面，提供了一种文本处理方法，该方法包括：根据目标文本，得到依存句法信息，其中，所述依存句法信息包括至少一个结点，所述结点对应至少一个字；根据所述至少一个结点和所述结点对应的至少一个字，确定至少一个第一边；根据所述至少一个第一边，得到更新后的依存句法信息；以及根据所述更新后的依存句法信息，确定所述目标文本中词之间的关联关系。
5.根据本公开的另一方面，提供了一种文本处理装置，该装置包括：第一获得模块，用于根据目标文本，得到依存句法信息，其中，所述依存句法信息包括至少一个结点，所述结点对应至少一个字；第一确定模块，用于根据所述至少一个结点和所述结点对应的至少一个字，确定至少一个第一边；第二获得模块，用于根据所述至少一个第一边，得到更新后的依存句法信息；以及第二确定模块，用于根据所述更新后的依存句法信息，确定所述目标文本中词之间的关联关系。
6.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
7.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
8.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开提供的方法。
9.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
10.附图用于更好地理解本方案，不构成对本公开的限定。其中：图1是根据本公开的一个实施例的可以应用文本处理方法和装置的示例性系统架
构示意图；图2是根据本公开的一个实施例的文本处理方法的流程图；图3a是根据本公开的一个实施例的依存句法信息的示意图；图3b是根据本公开的一个实施例的更新的依存句法信息的示意图；图4是根据本公开的一个实施例的图transformer编码块的原理图；图5是根据本公开的另一个实施例的图transformer编码块的原理图；图6是根据本公开的一个实施例的深度学习模型的原理图；图7a是根据本公开的另一个实施例的依存句法信息的示意图；图7b是根据本公开的另一个实施例的修改后的依存句法信息的示意图；图8a是根据本公开的另一个实施例的依存句法信息的示意图；图8b是根据本公开的另一个实施例的修改后的依存句法信息的示意图；图9a是根据本公开的另一个实施例的依存句法信息的示意图；图9b是根据本公开的另一个实施例的修改后的依存句法信息的示意图；图10是根据本公开的一个实施例的文本处理装置的框图；以及图11是根据本公开的一个实施例的可以应用文本处理方法的电子设备的框图。
具体实施方式
11.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
12.一种基于序列标注的文本处理方法，利用一深度学习模型为输入文本中的每个字进行标注，得到标签序列。再根据标签序列，得到上述三元组。但该方法中，三元组的谓语需严格出现在输入文本中且谓语为输入文本中的一个连续子序列。
13.一种基于序列生成的文本处理方法，利用深度学习模型为输入文本生成一个上述三元组。由于相关的训练数据较少，该方法应用的深度学习模型难以得到充分训练。生成的三元组质量也较低。
14.一种基于文本片段的文本处理方法，可以先通过预设规则生成所有可能的片段，再基于这些片段构造多个三元组。并且可以通过一个评价模型为每个三元组进行打分，将打分最高的三元组最后输出的三元组。
15.这三个方法需要大量的训练数据来训练深度学习模型或对深度学习模型进行评价。
16.图1是根据本公开一个实施例的可以应用文本处理方法和装置的示例性系统架构示意图。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
17.如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
18.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
19.服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器（仅为示例）。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果（例如根据用户请求获取或生成的网页、信息、或数据等）反馈给终端设备。
20.需要说明的是，本公开实施例所提供的文本处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的文本处理装置一般可以设置于服务器105中。本公开实施例所提供的文本处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的文本处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
21.图2是根据本公开的一个实施例的文本处理方法的流程图。
22.如图2所示，该方法200可以包括操作s210至操作s240。
23.在操作s210，根据目标文本，得到依存句法信息。
24.例如，依存句法信息例如可以是依存句法树。
25.例如，依存句法信息包括至少一个结点，结点对应至少一个字。
26.例如，目标文本可以是一个句子。在一个示例中，目标文本可以是“陈某在上海上班”。在一个示例中，目标文本可以是“陈某在上海工作了半年，并且开始交税”。
27.例如，以目标文本是“陈某在上海上班”为示例，至少一个结点可以是结点“陈某”、结点“在”、结点“上海”和结点“上班”。结点“陈某”对应的2个字分别为“陈”和“某”。
28.可以理解，可以通过各种方式获取文本的依存句法信息，本公开在此不做限制。
29.在操作s220，根据至少一个结点和结点对应的至少一个字，得到至少一个第一边。
30.在本公开实施例中，可以将结点对应的至少一个字中的每个字作为一个子结点，得到结点对应的至少一个子结点。根据结点对应的至少一个子结点和该结点，得到至少一个第一边。
31.例如，结点“陈某”对应2个字，分别为“陈”和“某”。将“陈”和“某”分别作为一个子结点。可以根据结点“陈某”和子结点“陈”，得到一个第一边。可以根据根结点“陈某”和子结点“某”，得到一个第一边。类似地，可以根据其他结点和结点对应的字，得到其他的第一边。
32.又例如，结点“在”对应一个字，该字为“在”。可以将“在”作为一个子结点，根据结点“在”和子结点“在”，得到一个第一边。
33.在操作s230，根据至少一个第一边，得到更新后的依存句法信息。
34.例如，依存句法信息还包括至少一个第二边。第二边用于连接两个结点。
35.以目标文本是“陈某在上海上班”为示例，一个第二边用于连接结点“陈某”和结点“上班”，一个第二边可以用于连接结点“上班”和结点“上海”，一个第二边可以用于连接结点“上海”和结点“在”。
36.例如，可以根据至少一个第二边和至少一个第一边，得到更新后的依存句法信息。
37.在操作s240，根据更新后的依存句法信息，确定目标文本中词之间的关联关系。
38.例如，可以根据更新后的依存句法信息，确定一个邻接矩阵。
39.又例如，可以利用包括多个transformer编码块的深度学习模型处理目标文本。transformer编码块可以基于mask机制对输入的特征信息进行处理。在本公开实施例中，可以根据上述邻接矩阵确定mask机制所需的掩码矩阵，以处理目标文本。
40.例如，词之间的关联关系可以是上述三元组。以目标文本是“陈某在上海上班”为示例，“陈某”可以是主语（subject），“上海”可以是宾语（object），“上班”可以是谓语（predicate）。
41.通过本公开实施例，充分利用文本的依存句法信息，高效捕捉文本中字和词之间的关系，进而确定词之间的关联关系。
42.图3a是根据本公开的一个实施例的依存句法信息的示意图。
43.如图3a所示，依存句法信息301可以是一个树结构。依存句法信息301可以与目标文本“陈某在上海上班”对应。依存句法信息301包括结点“陈某”311、结点“上班”312、结点“上海”313和结点“在”314。
44.结点“陈某”311和结点“上班”312之间经由第二边e311连接。第二边e311可以表征结点“陈某”311和结点“上班”312之间的关系。结点“上班”312和结点“上海”313之间经由第二边e312连接。第二边e312可以表征结点“上班”312和结点“上海”313之间的关系。结点“上海”313和结点“在”314之间经由第二边e313连接。第二边e313可以表征结点“上海”313和结点“在”314之间的关系。
45.图3b是根据本公开的一个实施例的更新的依存句法信息的示意图。
46.如图3b所示，更新的依存句法信息302也可以是一个树结构。更新的依存句法信息302可以与目标文本“陈某在上海上班”对应。更新的依存句法信息302包括结点“陈某”311、结点“上班”312、结点“上海”313和结点“在”314。
47.更新的依存句法信息302可以包括上文所述的第二边e311至第二边e313。
48.此外，如上文所述，可以将结点对应的至少一个字中的每个字作为一个子结点，得到结点对应的至少一个子结点。根据结点对应的至少一个子结点和该结点，得到至少一个第一边。
49.例如，结点“陈某”311和子结点“陈”321之间经由第一边e321连接。结点“陈某”311和子结点“某”322之间经由第一边e322连接。结点“上班”312和子结点“上”323之间经由第一边e323连接。结点“上班”312和子结点“班”324之间经由第一边e324连接。结点“上海”313和子结点“上”325之间经由第一边e325连接。结点“上海”313和子结点“海”326之间经由第一边e326连接。结点“在”314和子结点“在”327之间经由第一边e327连接。
50.可以理解，可以通过各种方式根据依存句法信息301或更新的依存句法信息，得到一个邻接矩阵。
51.在一些实施例中，根据更新后的依存句法信息，确定目标文本中词之间的关联关系包括：根据更新后的依存句法信息，得到掩码矩阵；根据掩码矩阵、目标文本的查询特征信息和目标文本的键特征信息，确定相似度信息；以及根据相似度信息和目标文本的值特征信息，确定目标文本中词之间的关联关系。
52.在一些实施例中，根据相似度信息和目标文本的值特征信息，确定目标文本中词之间的关联关系包括：根据相似度信息，确定注意力权重；以及根据注意力权重和目标文本
的值特征信息，确定目标文本中词之间的关联关系。
53.例如，可以对目标文本进行特征提取，得到目标文本的第一特征信息。再利用一个图transformer编码块对该第一特征信息进行处理，以确定目标文本中词之间的关联关系，下面将结合图4进行详细说明。
54.图4是根据本公开的一个实施例的图transformer编码块的原理图。
55.如图4所示，图transformer编码块400包括线性处理层401、线性处理层402、线性处理层403、运算层404、scaling层405、mask层406、softmax层407、运算层408和融合层409。
56.线性处理层401可以对第一特征信息hs进行处理，输出目标文本的查询特征信息q。线性处理层402可以对第一特征信息hs进行处理，输出目标文本的键特征信息k。线性处理层403可以对第一特征信息hs进行处理，输出目标文本的值特征信息v。
57.运算层404可以根据查询特征信息q和键特征信息k进行运算（例如矩阵乘法运算），输出运算结果信息。scaling层405可以对运算结果信息进行缩放，例如根据运算结果信息和键特征信息k的维度数d_k进行缩放，输出缩放后的运算结果信息。
58.mask层406可以利用根据上文所述的邻接矩阵得到的掩码矩阵，根据缩放后的运算结果信息，确定相似度信息d。例如，基于上文所述掩码矩阵，mask层可以关注例如图3b所示的依存句法信息中经由边连接的结点之间的相关性。例如，mask层可以关注第二边连接的两个结点之间的相关性，以及关注例如图3b所示的依存句法信息中经由第一边连接的结点和子结点之间的相关性。在一个示例中，基于上文所述掩码矩阵，mask层可以计算与结点“陈某”对应的向量和与子结点“陈”对应的向量之间的相似度，而不会计算结点“陈某”与子结点“在”之间的相似度。可以提高最终确定的关联关系的准确性。
59.softmax层407可以根据相似度信息d和缩放后的运算结果信息，确定注意力权重。例如，可以通过以下公式确定注意力权重w,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（公式一）为键特征信息k的转置。
60.运算层408可以根据注意力权重w和值特征信息v，确定注意力特征信息。融合层409可以根据注意力特征信息和第一特征信息hs，进行融合，以完成该图transformer网络对第一特征信息hs的处理，输出一个中间特征信息。接下来，可以根据该中间特征信息，确定目标文本中词之间的关联关系。
61.在另一些实施例中，根据掩码矩阵、目标文本的查询特征信息和目标文本的键特征信息，确定相似度信息包括：根据更新后的依存句法信息，得到嵌入特征信息；将目标文本的查询特征信息和嵌入特征信息融合，得到融合后的查询特征信息；将目标文本的键特征信息和嵌入特征信息融合，得到融合后的键特征信息；以及根据掩码矩阵、融合后的查询特征信息和融合后的键特征信息，确定相似度信息。
62.例如，可以对目标文本进行特征提取，得到目标文本的第一特征信息。再利用一个图transformer编码块对该第一特征信息进行处理，以确定目标文本中词之间的关联关系，下面将结合图5进行详细说明。
63.图5是根据本公开的另一个实施例的图transformer编码块的原理图。
64.如图5所示，图transformer编码块500包括线性处理层501、线性处理层502、线性处理层503、运算层504、scaling层505、mask层506、softmax层507、运算层508和融合层509。上文所述针对线性处理层401、线性处理层402、线性处理层403、scaling层405、mask层406、softmax层407、运算层408和融合层409的描述同样适用于本实施例，本公开在此不再赘述。
65.与图4所示的图transformer编码块400不同之处在于，图5所示的图transformer编码块500还包括融合层510和融合层511。
66.融合层510可以将根据更新后的依存句法信息得到的嵌入特征信息em与查询特征信息q融合，得到融合后的查询特征信息q_conc。
67.融合层511可以将根据更新后的依存句法信息得到的嵌入特征信息em与键特征信息k融合，得到融合后的键特征信息k_conc。
68.运算层504可以根据融合后的查询特征信息q_conc和融合后的键特征信息k_conc进行运算（例如矩阵乘法运算），得到运算结果信息。接来下，图transformer编码块500对运算结果信息的处理方式，与图transformer编码块400相同或类似，本公开在此不再赘述。
69.在一些实施例中，根据更新后的依存句法信息，确定目标文本中词之间的关联关系包括：根据更新后的依存句法信息，进行至少一个周期的处理，以确定目标文本中词之间的关联关系。
70.在一些实施例中，根据更新后的依存句法信息，进行至少一个周期的处理包括：根据相似度信息和值特征信息，得到当前周期的中间特征信息；利用长短时记忆网络根据当前周期的中间特征信息和上一周期的输出特征信息进行处理，得到当前周期的输出特征信息；以及根据当前周期的输出特征信息，确定与当前周期对应的目标文本中词之间的关联关系。
71.在一些实施例中，根据当前周期的输出特征信息，确定与当前周期对应的目标文本中词之间的关联关系包括：根据当前周期的输出特征信息，得到当前周期的初始标签序列，将当前周期的初始标签序列输入条件随机场网络，得到当前周期的更新标签序列；以及根据当前周期的更新标签序列，确定与当前周期对应的目标文本中词之间的关联关系。
72.例如，根据更新后的依存句法信息，可以利用一个深度学习模型进行至少一个周期的处理，以确定目标文本中词之间的关联关系。下面将结合图6进行详细说明。
73.图6是根据本公开的一个实施例的深度学习模型的原理图。
74.如图6所示，深度学习模型600包括第一子模型610和第二子模型620。
75.第一子模型610可以将目标文本包括的多个字组成的序列作为输入，输出目标文本的初始特征信息。以目标文本是“陈某在上海上班”为示例，第一子模型的输入可以是由“陈”、“某”、“在”、“上”、“海”、“上”和“班”组成的序列。例如，第一子模型610可以是基于transformer的双向编码表示（bidirectional encoder representation from transformer，bert）模型。
76.第二子模型620包括第一特征提取网络621、第二特征提取网络622、长短时记忆网络623和条件随机场网络624。
77.第一特征提取网络可以包括i个transformer编码块。i为大于或等于1的整数。例如，i个transformer编码块分别为transformer block_1 6211、
……
transformer block_i 6212。在一个示例中i=2。
78.第一特征提取网络621的输入可以是初始特征信息，也可以是第一特征提取网络621在上一周期的输出。第一特征提取网络621的输出可以与预设的词性嵌入特征信息拼接，得到第一特征信息。
79.第二特征提取网络622可以包括j个图transformer编码块。j为大于或等于1的整数。例如，j个图transformer编码块分别为graph transformer block_1 6221、
……
graph transformer block_j 6222。在一个示例中j=2。在一个示例中，图transformer编码块例如可以是上文所述的图transformer编码块500。
80.第二特征提取网络622的输入可以是第一特征信息。第二特征提取网络622的输出可以是第j个中间特征信息。graph transformer block_1 6221的输入可以是第一特征信息。graph transformer block_1 6221的输出的第1个中间特征信息可以作为下一个图transformer编码块的输入。
81.长短时记忆网络623可以是双向长短时记忆（bidirectional long and short term memory，bilstm）网络。长短时记忆网络623的输入可以是第j个中间特征信息。长短时记忆网络623可以根据当前周期的中间特征信息和上一周期的输出特征信息进行处理，其输出可以是当前周期的输出特征信息。利用长短时记忆网络可以记忆已经确定的词之间的关联关系。
82.例如，在当前周期为第一个周期的情况下，第一特征提取网络621的输入可以是第一子模型610输出的初始特征信息。
83.长短时记忆网络623可以基于预设的隐藏特征信息和预设的细胞状态信息，对第j个中间特征信息进行处理，得到第一个周期的输出特征信息。
84.又例如，在当前周期为第一个周期以外的其他周期的情况下，第一特征提取网络621的输入可以是该第一特征提取网络621在上一周期的输出。
85.上文所述的输出特征信息可以是包括多个隐藏状态信息和多个细胞状态信息的序列。每个隐藏状态信息与一个细胞状态信息对应。例如，上一周期的输出特征信息中的隐层状态信息与细胞状态信息对应。长短时记忆网络623可以基于隐藏状态信息和细胞状态信息，对当前周期的第j个中间特征信息进行处理，得到当前周期的输出特征信息。在至少一个周期的迭代处理过程中，利用上一周期的隐层状态信息与细胞状态信息，使得长短时记忆网络在每次迭代时的输入的分布基本一致，提高了模型的性能。
86.根据所述当前周期的输出特征信息，可以得到当前周期的初始标签序列。
87.条件随机场（conditional random field，crf）网络624的输入可以是当前周期的初始标签序列。条件随机场网络624的输出可以是与当前周期的更新标签序列。
88.在一个示例中，当前周期的更新标签序列例如可以是“b-主语”、“i-主语”、“o”、“b-宾语”、“i-宾语”、“b-谓语”和“i-谓语”组成的序列。“b-主语”与“陈”对应，“i-主语”与“某”对应，这两个标签可以表征目标文本中包括一个主语，且该主语的第一个字符是“陈”。“o”与“在”对应，该标签可以表征“在”不是三元组中的一部分。“b-宾语”与“上”对应，“i-宾语”与“海”对应，这两个标签可以表征目标文本中包括一个宾语，且该宾语的第一个字符是“上”。“b-谓语”与“上”对应，“i-谓语”与“班”对应，这两个标签可以表征目标文本中包括一个谓语，且该谓语的第一个字符是“上”。可以根据当前周期的更新标签序列，确定目标文本中词之间的关联关系。
89.在一些实施例中，上文所述的至少一个周期可以是5个周期。
90.在一些实施例中，与图6所示的深度学习模型不同，图transformer编码块例如可以是上文所述的图transformer编码块400。
91.在一些实施例中，与图6所示的深度学习模型不同，第二子模型620的数量可以为多个。
92.在一些实施例中，可以利用负极大似然损失函数对上文损失的深度学习模型600进行训练。
93.在一些实施例中，依存句法信息还包括多个第二边，第二边用于连接两个结点，依存句法信息还包括m个依存句法子信息，依存句法子信息包括：作为第一结点的一个结点，作为第二结点的两个结点，两个第二结点分别经由两个第二边与第一结点相连，m为大于或等于1的整数；根据至少一个第一边，得到更新后的依存句法信息包括：针对m个依存句法子信息，执行以下操作，得到n个更新后的依存句法子信息，n为小于或等于m的整数：响应于确定依存句法子信息中一个第二边表征第一关系且另一个第二边表征第二关系，删除表征第一关系的第二边；经由第三边将两个第二结点相连，得到更新后的依存句法子信息；根据至少一个第一边和n个更新后的依存句法子信息，得到更新后的依存句法信息。
94.例如，第一关系为并列关系或子句关系，第二关系为主谓关系。下面将结合图7a和图7b、图8a和图8b以及图9a和图9b进行详细说明。
95.图7a是根据本公开的另一个实施例的依存句法信息的示意图。
96.如图7a所示，依存句法信息701可以是一个树结构。依存句法信息701可以与目标文本“陈某在上海工作了半年，并且开始交税。”对应。依存句法信息701包括多个依存句法子信息。其中一个依存句法子信息包括：作为第二结点的结点“陈某”711，作为第一结点的结点“工作”712，作为第二结点的结点“开始”713，连接结点“陈某”711和结点“工作”712的第二边e711，连接结点“开始”713和结点“工作”712的第二边e712。
97.第二边e711可以表征结点“陈某”711和结点“工作”712之间的关系为主谓关系。第二边e712可以表征结点“工作”712和结点“开始”713之间的关系为子句关系。
98.即，第二边e711可以表征主谓关系，第二边e712可以表征子句关系。
99.可以理解，依存句法信息701还包括结点“上海”、结点“了”、结点“半年”、结点“，”、结点“。”、结点“在”、结点“并且”和结点“交税”。
100.在一些实施例中，可以删除表征子句关系的第二边。即，删除第二边e712。
101.图7b是根据本公开的一个实施例的修改后的依存句法信息的示意图。
102.如上文所述，在删除第二边e712之后，经由第三边e731将作为第二结点的结点“陈某”711和作为第二结点的结点“开始”713相连，得到如图7b所示的修改后的依存句法信息702。
103.如图7b所示，修改后的依存句法信息702也可以是一个树结构。修改后的依存句法信息702可以与目标文本“陈某在上海工作了半年，并且开始交税。”对应。修改后的依存句法信息702包括结点“陈某”711、结点“工作”712、结点“开始”713。
104.结点“陈某”711和结点“工作”712之间经由第二边e711连接。结点“陈某”711和结点“开始”713之间经由第三边e731连接。
105.可以根据该修改后的依存句法信息702，得到更新后的依存句法信息。
106.图8a是根据本公开的另一个实施例的依存句法信息的示意图。
107.如图8a所示，依存句法信息801可以是一个树结构。依存句法信息801可以与目标文本“某消防救援支队共参与抗洪抢险330多起，营救、疏散群众13000多人。”对应。依存句法信息801包括多个依存句法子信息。其中一个依存句法子信息包括：作为第二结点的结点“某消防救援支队”811，作为第一结点的结点“参与”812，作为第二结点的结点“营救”813，连接结点“某消防救援支队”811和结点“参与”812的第二边e811，连接结点“营救”813和结点“参与”812的第二边e812。
108.第二边e811可以表征结点“某消防救援支队”811和结点“参与”812之间的关系为主谓关系。第二边e812可以表征结点“参与”812和结点“营救”813之间的关系为子句关系。
109.即，第二边e811可以表征主谓关系，第二边e812可以表征子句关系。
110.在一些实施例中，可以删除表征子句关系的第二边。即，删除第二边e812。
111.图8b是根据本公开的一个实施例的修改后的依存句法信息的示意图。
112.如上文所述，在删除第二边e812之后，经由第三边e831将作为第二结点的结点“某消防救援支队”811和作为第二结点的结点“营救”813相连，得到如图8b所示的修改后的依存句法信息802。
113.如图8b所示，修改后的依存句法信息802也可以是一个树结构。修改后的依存句法信息802可以与目标文本“某消防救援支队共参与抗洪抢险330多起，营救、疏散群众13000多人。”对应。修改后的依存句法信息802包括结点“某消防救援支队”811、结点“参与”812、结点“营救”813。
114.结点“某消防救援支队”811和结点“参与”812之间经由第二边e811连接。结点“某消防救援支队”811和结点“营救”813之间经由第三边e831连接。
115.可以根据该修改后的依存句法信息802，得到更新后的依存句法信息。
116.图9a是根据本公开的另一个实施例的依存句法信息的示意图。
117.如图9a所示，依存句法信息901可以是一个树结构。依存句法信息901可以与目标文本“某货物协会最新数据显示，11月全国货物市场成交量为6.41亿手，成交额为46.49万亿元，同比分别增长63.99%和70.26%。”对应。依存句法信息901包括多个依存句法子信息。其中一个依存句法子信息包括：作为第二结点的结点“成交量”911，作为第一结点的结点“为”912，作为第二结点的结点“增长”913，连接结点“成交量”911和结点“为”912的第二边e911，连接结点“增长”913和结点“为”912的第二边e912。
118.第二边e911可以表征结点“成交量”911和结点“为”912之间的关系为主谓关系。第二边e912可以表征结点“为”912和结点“增长”913之间的关系为并列关系。
119.即，第二边e911可以表征主谓关系，第二边e912可以表征并列关系。
120.在一些实施例中，可以删除表征并列关系的第二边。即，删除第二边e912。
121.图9b是根据本公开的一个实施例的修改后的依存句法信息的示意图。
122.如上文所述，在删除第二边e912之后，经由第三边e931将作为第二结点的结点“成交量”911和作为第二结点的结点“增长”913相连，得到如图9b所示的修改后的依存句法信息802。
123.如图9b所示，修改后的依存句法信息902也可以是一个树结构。修改后的依存句法信息902可以与目标文本“某货物协会最新数据显示，11月全国货物市场成交量为6.41亿
手，成交额为46.49万亿元，同比分别增长63.99%和70.26%。”对应。修改后的依存句法信息902包括结点“成交量”911、结点“为”912、结点“增长”913。
124.结点“成交量”911和结点“为”912之间经由第二边e911连接。结点“成交量”911和结点“增长”913之间经由第三边e931连接。
125.可以理解，在依存句法信息901中，结点“为”912和结点“为”914之间经由第二边e913相连。第二边e913也可以表征并列关系。对第二边e913的处理可以参照对第二边e912的处理方式，本公开在此不再赘述。
126.可以根据该修改后的依存句法信息902，得到更新后的依存句法信息。
127.在一些实施例中，可以将修改后的依存句法信息702、修改后的依存句法信息802或修改后的依存句法信息902作为依存句法信息，以得到更新后的依存句法信息。例如，在利用上文所述的图transformer编码块400或图transformer编码块500根据更新后的依存句法信息进行处理时，图transformer编码块中的mask层还可以关注第三边连接的两个结点之间的相关性。
128.在一些实施例中，依存句法信息还包括多个第二边，第二边用于连接两个结点，目标文本包括多个子文本，子文本对应依存句法信息中多个结点，根据至少一个第一边，得到更新后的依存句法信息包括：确定至少一个第四边，使得子文本对应的多个结点之间经由第二边或第四边相连；以及根据至少一个第一边和至少一个第四边，得到更新后的依存句法信息。
129.例如，以目标文本是“陈某在上海工作了半年，并且开始交税”为示例。目标文本对应两个子文本，分别为“陈某在上海工作了半年”，以及“并且开始交税”。在一个示例中，在与子文本“陈某在上海工作了半年”对应的结点中，如图7b所示，结点“陈某”和“上海”之间没有经由第二边相连。可以经由第四边将结点“陈某”和“上海”相连。采用类似的方式，可以确定至少一个第四边，使得子文本“陈某在上海工作了半年”对应的多个结点之间经由第二边或第四边相连。类似地，可以确定其他的第四边，使得子文本“并且开始交税”对应的多个结点之间经由第二边或第四边相连，以获取再次修改后的依存句法信息。
130.在一些实施例中，可以将再次修改后的依存句法信息作为依存句法信息，以得到更新后的依存句法信息。例如，在利用上文所述的图transformer编码块400或图transformer编码块500根据再次修改后的依存句法信息进行处理时，图transformer编码块中的mask层还可以关注第四边连接的两个结点之间的相关性。
131.图10是根据本公开的另一个实施例的文本处理装置的框图。
132.如图10所示，该装置1000可以包括第一获得模块1010、第一确定模块1030、第三获得模块1030和第二确定模块1040。
133.第一获得模块1010，用于根据目标文本，得到依存句法信息。例如，所述依存句法信息包括至少一个结点，所述结点对应至少一个字。
134.第一确定模块1020，用于根据所述至少一个结点和所述结点对应的至少一个字，确定至少一个第一边。
135.第二获得模块1030，用于根据所述至少一个第一边，得到更新后的依存句法信息。
136.第二确定模块1040，用于根据所述更新后的依存句法信息，确定所述目标文本中词之间的关联关系。
137.在一些实施例中，所述依存句法信息还包括多个第二边，所述第二边用于连接两个所述结点，所述依存句法信息还包括m个依存句法子信息，所述依存句法子信息包括：作为第一结点的一个所述结点，作为第二结点的两个所述结点，所述两个第二结点分别经由两个所述第二边与所述第一结点相连，m为大于或等于1的整数；所述第二获得模块包括：执行子模块，用于针对所述m个依存句法子信息，通过以下单元执行相关操作，得到n个更新后的依存句法子信息，n为小于或等于m的整数：删除单元，用于响应于确定所述依存句法子信息中一个第二边表征第一关系且另一个第二边表征第二关系，删除表征所述第一关系的第二边；相连单元，用于经由第三边将两个所述第二结点相连，得到更新后的依存句法子信息；第一获得子模块，用于根据所述至少一个第一边和所述n个更新后的依存句法子信息，得到所述更新后的依存句法信息。
138.在一些实施例中，所述依存句法信息还包括多个第二边，所述第二边用于连接两个所述结点，所述目标文本包括多个子文本，所述子文本对应所述依存句法信息中多个结点，所述第二获得模块包括：第一确定子模块，用于确定至少一个第四边，使得所述子文本对应的多个结点之间经由所述第二边或所述第四边相连；以及第二获得子模块，用于根据所述至少一个第一边和所述至少一个第四边，得到所述更新后的依存句法信息。
139.在一些实施例中，所述第一关系为并列关系或子句关系，所述第二关系为主谓关系。
140.在一些实施例中，所述第二确定模块包括：第三获得子模块，用于根据所述更新后的依存句法信息，得到掩码矩阵；第二确定子模块，用于根据所述掩码矩阵、所述目标文本的查询特征信息和所述目标文本的键特征信息，确定相似度信息；以及第三确定子模块，用于根据所述相似度信息和所述目标文本的值特征信息，确定所述目标文本中词之间的关联关系。
141.在一些实施例中，所述第二确定子模块包括：第一获得单元，用于根据所述更新后的依存句法信息，得到嵌入特征信息；第一融合单元，用于将所述目标文本的查询特征信息和所述嵌入特征信息融合，得到融合后的查询特征信息；第二融合单元，用于将所述目标文本的键特征信息和所述嵌入特征信息融合，得到融合后的键特征信息；以及第一确定单元，用于根据所述掩码矩阵、所述融合后的查询特征信息和所述融合后的键特征信息，确定所述相似度信息。
142.在一些实施例中，所述第三确定子模块包括：第二确定单元，用于根据所述相似度信息，确定注意力权重；以及第三确定单元，用于根据所述注意力权重和所述目标文本的值特征信息，确定所述目标文本中词之间的关联关系。
143.在一些实施例中，所述第二确定模块包括：处理子模块，用于根据所述更新后的依存句法信息，进行至少一个周期的处理，以确定所述目标文本中词之间的关联关系。
144.在一些实施例中，所述处理子模块包括：第二获得单元，用于针对当前周期，根据所述相似度信息和所述值特征信息，得到当前周期的中间特征信息；处理单元，用于利用长短时记忆网络根据所述当前周期的中间特征信息和上一周期的输出特征信息进行处理，得到当前周期的输出特征信息；以及第四确定单元，用于根据所述当前周期的输出特征信息，确定与当前周期对应的所述目标文本中词之间的关联关系。
145.在一些实施例中，所述第四确定单元包括：第一获得子单元，用于根据所述当前周
期的输出特征信息，得到当前周期的初始标签序列；第二获得子单元，用于将所述当前周期的初始标签序列输入条件随机场网络，得到当前周期的更新标签序列；以及确定子单元，用于根据所述当前周期的更新标签序列，确定与当前周期对应的所述目标文本中词之间的关联关系。
146.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
147.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
148.图11示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
149.如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器（rom）1102中的计算机程序或者从存储单元1108加载到随机访问存储器（ram）1103中的计算机程序，来执行各种适当的动作和处理。在ram 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、rom 1102以及ram 1103通过总线1104彼此相连。输入/输出（i/o）接口1105也连接至总线1104。
150.设备1100中的多个部件连接至i/o接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
151.计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元（cpu）、图形处理单元（gpu）、各种专用的人工智能（ai）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（dsp）、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如文本处理方法。例如，在一些实施例中，文本处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由rom 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到ram 1103并由计算单元1101执行时，可以执行上文描述的文本处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行文本处理方法。
152.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、芯片上系统的系统（soc）、复杂可编程逻辑设备（cpld）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出
装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
153.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
154.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
155.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，crt（阴极射线管）或者lcd（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
156.可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（lan）、广域网（wan）和互联网。
157.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
158.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
159.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。