一种文本的处理方法、装置、设备及可读存储介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种文本的处理方法、装置、设备及可读存储介质。


背景技术：

2.对于各类企业而言，合同是一类非常重要的文件，因此，保证合同填写内容的准确性十分重要。用户在签订合同时，由于人为的疏忽，指代内容相同的填写区域经常会被错误地填写上不同的内容，或者在指代内容不同的填写区域被错误地填写上相同的内容。例如：含税金额的填写区域上和不含税金额的填写区域上被填写上同样的数字。由于这种填写区域的指代内容非常相似，因此，这种合同填写的错误很难被用户发现，从而导致这种错误时常发生。可见，现有技术中，在处理合同时的准确性较低。


技术实现要素：

3.本发明实施例提供一种文本的处理方法、装置、设备及可读存储介质，以解决现有技术中在处理文本时的准确性较低的问题。
4.为解决上述技术问题，本发明是这样实现的：
5.第一方面，本发明实施例提供了一种文本的处理方法，应用于服务器，包括：
6.获取待处理文本中的每一填写区域的目标信息，所述目标信息包括对应填写区域所在语句的语句信息和所述填写区域的内容信息；
7.根据所述语句信息确定对应填写区域的语义信息；
8.根据所述语义信息计算第一填写区域和第二填写区域之间的一致性概率；
9.根据所述一致性概率确定所述第一填写区域的内容信息和第二填写区域的内容信息是否填写正确。
10.第二方面，本发明实施例提供了一种文本的处理装置，应用于服务器，包括：
11.获取模块，用于获取待处理文本中的每一填写区域的目标信息，所述目标信息包括对应填写区域所在语句的语句信息和所述填写区域的内容信息；
12.语义确定模块，用于根据所述语句信息确定对应填写区域的语义信息；
13.计算模块，用于根据所述语义信息计算第一填写区域和第二填写区域之间的一致性概率；
14.判断模块，用于根据所述一致性概率确定所述第一填写区域的内容信息和第二填写区域的内容信息是否填写正确。
15.第三方面，本发明实施例提供了一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的文本的处理方法的步骤。
16.第四方面，本发明实施例提供一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的文本的处理方法的步骤。
17.本发明实施例中，通过获取待处理文本中的每一填写区域的目标信息，目标信息包括对应填写区域所在语句的语句信息和填写区域的内容信息；根据语句信息确定对应填写区域的语义信息；根据语义信息计算第一填写区域和第二填写区域之间的一致性概率；根据一致性概率确定第一填写区域的内容信息和第二填写区域的内容信息是否填写正确。这样，可以基于第一填写区域和第二填写区域之间的一致性概率，快速确定第一填写区域的内容信息和第二填写区域的内容信息是否应当填写一致，并结合实际中，第一填写区域的内容信息和第二填写区域的内容信息是否一致，从而快速确定第一填写区域和第二填写区域是否填写正确。进一步提高了处理文本时的准确性。
附图说明
18.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
19.图1是本发明实施例提供的一种文本的处理方法的流程图；
20.图2是本发明实施例提供的一种文本的处理方法的信息传输情况示意图；
21.图3是本发明实施例提供的训练空位编码模型的流程示意图；
22.图4是本发明实施例提供的成对空位消解的流程图；
23.图5是本发明实施例提供的文本的处理装置的模块图；
24.图6是本发明实施例提供的一种电子设备的模块结构示意图。
具体实施方式
25.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.应理解，本技术实施方式中的文本是指存在空位需要填写的合同、账单或者其他的相关文本文件，在本文后续的说明中，以合同形式的文本为例进行示例说明。由于合同类型多种多样，填空内容更是不胜枚举，因此，若需要确定每个填写区域的填写内容，这种一对多的映射建模难以通过有限数据进行驱动实现。在该实施方式中，在对文本进行处理时，将文本填写一致性检查任务定义为成对二分类问题，即给定文本文本中出现的一对空位(不包含填充内容)，预测它们是否应该用相同的内容来填充。继而获取该对空位实际填写的内容是否相同，从而判断该对空位的填写是否正确。例如，预测结果是应当用相同的内容来填充，而实际上，该对空位的填写内容不同，则说明该对空位出现填写错误，将该对空位以高亮等提示进行区别显示，从而提醒用户填写错误，以便于用户进行纠正，实现文本的处理过程。该文本的处理方法的具体实施步骤如下所示。
27.参见图1，图1是本发明实施例提供的一种文本的处理方法的流程图，该文本的处理方法应用于服务器，如图1所示，所述方法包括以下步骤：
28.步骤101、获取待处理文本中的每一填写区域的目标信息，目标信息包括对应填写
区域所在语句的语句信息和填写区域的内容信息。
29.在该实施方式中，填写区域是指文本中需要被填写的空位，获取待处理文本中的每一填写区域的目标信息，可以是服务器响应于客户端的请求获取。例如，如图2所示，用户将待处理的文本通过客户端上传至服务器，此时，客户端向服务器发送处理请求，服务器响应于该处理请求执行该实施方式中的文本的处理方法的步骤。
30.本实施方式中，填写区域所在语句的语句信息是指填写区域所在的语句，填写区域的内容信息是指填写区域中所填写的内容。例如，在某个应用场景中，文本中包括内容“终验付款中买家应在10天内支付卖家总计__100__元人民币。其中，支付方式为当面支付。”则，在该种情况下，填写区域所在语句的语句信息为“终验付款中买家应在10天内支付卖家总计__100__元人民币”，填写区域的内容信息为“100”。当然，此处仅作示例，不做限定。可变换地，在其他可行地实施方式中，对应填写区域所在语句的语句信息和填写区域的内容信息根据具体的文本内容进行确定。但不论其作何变换，都在本实施方式保护的范围之内。
31.不失一般性地，为便于信息传输，可以将填写区域的目标信息表示为二元组地形式，例如(填写区域所在句，填写区域的内容)，或者(填写区域的语句信息，填写区域的内容信息)。此处，仅作示例，不做限定。
32.步骤102、根据语句信息确定对应填写区域的语义信息。
33.本实施方式中，填写区域的语义信息用于表示填写区域所在语句所表达的语义或意图，例如，当语句信息为“终验付款中买家应在10天内支付卖家总计__100__元人民币”时，其表达的语义或者意图是在规定时间内付款。若其他语句信息表达的语义或者意图是付款或者结账，则表明这些语句信息的语义相同或者相似。
34.步骤103、根据语义信息计算第一填写区域和第二填写区域之间的一致性概率。
35.应理解，第一填写区域和第二填写区域之间的一致性概率可以表明第一填写区域和第二填写区域之间的相似程度，例如，在第一填写区域的语义信息或第二填写区域的语义信息相同或相似时，表明第一填写区域和第二填写区域之间的一致性可能性大，第一填写区域和第二填写区域之间的一致性概率值高。
36.步骤104、根据一致性概率确定第一填写区域的内容信息和第二填写区域的内容信息是否填写正确。
37.上述文本的处理方法，可以基于第一填写区域和第二填写区域之间的一致性概率，快速确定第一填写区域的内容信息和第二填写区域的内容信息是否应当填写一致，并结合实际中，第一填写区域的内容信息和第二填写区域的内容信息是否一致，从而快速确定第一填写区域和第二填写区域是否填写正确。进一步提高了处理文本时的准确性。
38.在一些可行的实施方式中，可以根据填写区域的位置信息获取该填写区域的目标信息。其中，获取待处理文本中的每一填写区域的目标信息，包括：
39.确定待处理文本中的填写区域的位置信息；
40.基于填写区域的位置信息，确定填写区域所在语句的语句信息和填写区域的内容信息作为填写区域的目标信息。
41.在该实施方式中，服务器在接收到客户端上传的待处理文本之后，先获取填写区域的位置信息，例如，获取填写区域在整个文本文本中的第a1行第a2句。然后，根据获取的
第a1行第a2句确定填写区域的所在语句的语句信息和填写区域的内容信息作为填写区域的目标信息。这样，可以根据填写区域的位置信息准确的获取填写区域的目标信息。
42.在一些可行的实施方式中，可以基于预设的空位编码模型确定填写区域的语义信息，其中，预设的空位编码模型在根据语句信息确定对应填写区域的语义信息时的步骤包括：
43.根据与填写区域相邻的关键词初始化填写区域的初始语义信息；
44.根据关键词对待处理文本进行上下文搜索，确定上下文中对关键词的描述信息；
45.根据初始语义信息和描述信息确定填写区域的语义信息。
46.在该实施方式中，如图3所示，用b表示文本内空位的集合，预设的空位编码模型在填写区域(空位)所在句表示阶段，给定空位b所在句s＝{w1,w2,
…
,b,
…
}，式中，w1表示句子的第一个词，w2表示句子的第二个词，b表示空位。首先对其进行编码表示，具体地，在该实施方式中，将每个词以其语义编码，位置编码和段落编码的加和来表示，即：
[0047][0048]
式中，ei表示词，表示词的语义编码，表示词的位置编码，表示词的段落编码。
[0049]
其中，语义编码使用了预训练的word2vec向量表，位置编码表示了每个词所在句子序列中的位置，段落编码以空位为界将句子分为两段使得词语能够对相对空位的左右敏感。
[0050]
进一步地，基于多头上下文注意力机制进行上下文语境建模，上述适用的预训练向量没有考虑语境因素(例，bank可以是河堤，可以是银行，含义会因语境变化而变化)。在该实施方式中，应用多层多头注意力机制对除了填写区域以外的上下文进行建模，给定所在句表示矩阵s，对于每一层建模hi，有：
[0051]hi
＝ffn(multiheadatt(h
i-1
)),h0＝s；
[0052]
其中，ffn是前向神经网络，multiheadatt是多头注意力机制。h
i-1
表示i-1层建模。
[0053]
在建模中，局部池化层通过加权组合局部的更相关的描述信息来初始化空位表示。通过确定一个加权向量α，使得其对空位近距离内的相关描述权重更高，对于无关描述的权重低或为0，然后将填写区域初始化为上下文的加权组合b
(0)
，即：
[0054]b(0)
＝hα；
[0055]
式中，h表示矩阵，加权向量α即为池化权重。
[0056]
下面说明如何获取加权向量α。
[0057]
本实施方式中，首先定义一个局部可见区域作为硬截断，在这个区域外的词的权重全部置为0。用一个超参数k来限制区域最大半径，区域zonek可以表示为：
[0058]
zonek＝{max(1,i-k 1),min(n,i k)}；
[0059]
式中，i表示第i个词的位置，n表示第n个词的位置。
[0060]
为进一步筛选区域内的词语，在该实施方式中，应用一种自注意力机制来突出相关描述。最终的池化权重计算为：
[0061]
α＝softmax(tanh(wh)
tqw
u)；
[0062]
式中，w和qw为训练参数，u是对应上述局部可见区域的掩码。通过上述方法，可以
将以填写区域近周围的相关描述作为初始化空位表示。
[0063]
在该实施方式中，相对位置编码用于在更新信息时引入距离因素。相对位置编码的方法和空位所在句表示中的位置编码方法相同，不同点是绝对位置(序列顺序)被替换为了相对位置(距离空位的距离)。具体内容由于与现有方式中的实现相同，在此不再赘述。
[0064]
全局更新模块用来迭代式地更新初始化后的空位表示。由于上下文在局部区域之外仍包含大量相关描述，此处，应用全局更新来以语义相关性比较的方式找到相关描述并更新空位表示。由于初始化的语义信息与空位十分相关，且不包含无关信息，更新过程将充分利用其上下文中相关描述，同时避免引入无关噪声信息。
[0065]
全局更新以循环迭代的方式进行，每一轮中，首先通过多头空位-上下文注意力机制匹配上下文中相关描述，再通过门控序列更新模块更新空位表示。具体的，给定当前的空位表示b
(t)
和所在句词语的语义表示矩阵h，进一步通过多头注意力机制计算语义相关性，以分数形式表示如下：
[0066]
β
(t)
＝multiheadscore(b
(t)
,h)；
[0067]
式中，β
(t)
表示相关性分数，multiheadscore表示多头注意力机制。其中，多头注意力机制中每个头的注意力机制的具体计算方法为：
[0068][0069]
式中，δ表示激活函数，wk表示变换矩阵k，dk表示缩放因子，wq表示变换矩阵q。
[0070]
在计算语义相关性后，进一步结合相关性和加权组合上下文词语更新空位表示。由于可能在上下文中已经不包含相关描述，这里适用门控机制进行上下文词语组合，即：
[0071]m(t)
＝hβ
(t)
；
[0072]
式中，m
(t)
表示经过门控后记忆特征向量。
[0073]
由于是多轮更新，在该实施方式中，采用了循环神经网络进行建模更新。整个建模流程可以看作以b
(0)
作为初始隐状态，以(m
(0)
,m
(1)
…
)作为输入序列对其进行更新。具体的网络选择上，采用门控神经循环网络(gated recurrent unit，gru)。每一轮更新计算为：
[0074]b(t 1)
＝gru(m
(t)
,b
(t)
)；
[0075]
整个更新流程重复n次，n为模型的超参数。最终的更新结果将被作为空位表示，即b＝b
(n)
。
[0076]
以此，确定对应填写区域的语义信息。值得强调的是，空位左右接近的词通常跟空位的相关性更高，其周围包含相关描述的概率更大。基于此，本实施方式的上述步骤中，先利用空位周围的词去初始化空位语义，再通过语义比较去全局上下文中引入相关描述。这样，上下文中的相关描述会被充分利用，同时会避免引入不相关的噪声信息，实现有效的空位语义建模。
[0077]
可见，上述的整个建模过程可以被理解为词级语义推理。例如，在实际场景中，“终验付款中买家应在10天内支付卖家总计__100__元人民币”为例，上述的文本处理方法首先利用局部的“元”，“总计”等类别词初始化空位表示。随后进行循环迭代的全局更新，首轮迭代将会先由关键词“元”找到相关词语“付款”，“人民币”等加入表示，次轮迭代将会由“付款”进一步引入“终验”这样，本身与初始表示无关的相关描述。进而充分建模空位。这样，可以充分考虑上下文对关键词的描述信息，进而更准确地确定空位的语义信息。
[0078]
可选地，根据语义信息计算第一填写区域和第二填写区域之间的一致性概率，包括：
[0079]
将第一填写区域的语义信息转换为第一语义向量，并将第二填写区域的语义信息转换为第二语义向量；
[0080]
将第一语义向量和第二语义向量输入预设的一致性预测模型，得到第一填写区域和第二填写区域之间的一致性概率。
[0081]
在该实施方式中，基于上述步骤中确定的语义信息，进一步计算第一填写区域和第二填写区域之间的一致性概率，具体步骤如下。
[0082]
首先，值得说明的是，第一填写区域和第二填写区域之间的一致性是指第一填写区域的内容与第二填写区域的内容一致，或者表达的意图一致。例如“西交大”和“西交”一致。
[0083]
如图4所示，在该实施方式中，将第一填写区域记为bi，第二填写区域记为bj，然后，基于上述的语义信息确认方式确认这两个填写区域的语义信息，并分别用第一语义向量和第二语义向量表示，并将第一语义向量、第二语义向量及其绝对差值|b
i-bj|作为预设的一致性预测模型的输入，预测其一致性概率。
[0084]
其中，预设的一致性预测模型满足如下计算公式：
[0085][0086]
式中，：表示向量拼接，ffn是一个多层全连接网络，其中间层激活函数为relu，输出层激活函数为sigmoid函数。引入的绝对差值项可以被看做一个隐式的对比学习的损失函数，使得应该一致填写的空位语义表示尽量相似，反之亦然。
[0087]
需要说明的是，在训练得到上述预设的一致性预测模型时，由于实际数据中一致情况与不一致情况的数据差异大，数据标注不均衡，因此，在该实施方式中，选择focal loss作为损失函数。focal loss通过在基础的交叉熵损失函数上降低简单实例(大样本实例)损失的权重，来适用不均衡数据集。具体的损失函数可以满足如下关系：
[0088][0089]
式中，γ表示超参数，表示一致性预测结果。通过上述损失函数优化预设的一致性预测模型，可以提高预设的一致性预测模型的预测精度。
[0090]
可选地，根据一致性概率确定第一填写区域的内容信息和第二填写区域的内容信息是否填写正确，包括：
[0091]
获取一致性预测模型输出的第一填写区域和第二填写区域之间的一致性概率；
[0092]
在一致性概率超过预设值的情况下，生成第一结果，第一结果用于指示第一填写区域的内容信息与第二填写区域的内容信息一致；
[0093]
判断第一填写区域的内容信息和第二填写区域的内容信息是否与第一结果相符。
[0094]
在该实施方式中，第一结果用于指示第一填写区域的内容信息与第二填写区域的内容信息一致，换言之，判断第一填写区域的内容信息和第二填写区域的内容信息是否与第一结果相符，也就是判断第一填写区域的内容信息和第二填写区域的内容信息是否一致，若该二者一致，则说明与第一结果相符，若二者不一致，则说明与第一结果不相符。
[0095]
相对应地，若计算得到的一致性概率不超过预设值，则说明第一填写区域的意图与第二填写区域的意图不一致，第一填写区域的应当填写的内容信息与第二填写区域的应当填写的内容信息应当不同。后续的判断原理与上述判断原理相似，此处，不做赘述。
[0096]
可选地，判断第一填写区域的内容信息和第二填写区域的内容信息是否与第一结果相符之后，方法还包括：
[0097]
在判断第一填写区域的内容信息和第二填写区域的内容信息与第一结果不相符的情况下，定位第一填写区域和第二填写区域；
[0098]
将第一填写区域和第二填写区域区别显示。
[0099]
在该实施方式中，若发现第一填写区域和第二填写区域填写的一致性与实际的一致性不同，则将第一填写区域和第二填写区域区别显示，例如，可以将第一填写区域和第二填写区域用不同颜色进行高亮区别显示。此处仅作示例，不做限定。这样，可以便于用户知晓文本处理结果，且快速地确定文本中的填写错误之处。
[0100]
可选地，上述的文本处理方法还包括：
[0101]
接收用户针对于判断结果的评价信息；
[0102]
根据评价信息优化一致性预测模型。
[0103]
需要说明的是，可以在客户端设置用户评价模块，以获取用户针对于判断结果的评价信息，进一步地，客户端将用户的评价信息发送至服务器，服务器接收用户针对于判断结果的评价信息，根据评价信息优化一致性预测模型。例如，可以将用户评价信息作为训练模型的数据，这样，可以进一步提高训练的模型的预测精度。
[0104]
参见图5，图5是本实施例提供的一种文本的处理装置500，应用于服务器，包括：
[0105]
获取模块501，用于获取待处理文本中的每一填写区域的目标信息，所述目标信息包括对应填写区域所在语句的语句信息和所述填写区域的内容信息；
[0106]
语义确定模块502，用于根据所述语句信息确定对应填写区域的语义信息；
[0107]
计算模块503，用于根据所述语义信息计算第一填写区域和第二填写区域之间的一致性概率；
[0108]
判断模块504，用于根据所述一致性概率确定所述第一填写区域的内容信息和第二填写区域的内容信息是否填写正确。
[0109]
可选地，所述语义确定模块502具体用于：
[0110]
根据与填写区域相邻的关键词初始化所述填写区域的初始语义信息；
[0111]
根据所述关键词对所述待处理文本进行上下文搜索，确定上下文中对所述关键词的描述信息；
[0112]
根据所述初始语义信息和所述描述信息确定所述填写区域的语义信息。
[0113]
可选地，所述计算模块503具体用于：
[0114]
将所述第一填写区域的语义信息转换为第一语义向量，并将所述第二填写区域的语义信息转换为第二语义向量；
[0115]
将所述第一语义向量和第二语义向量输入预设的一致性预测模型，得到所述第一填写区域和所述第二填写区域之间的一致性概率。
[0116]
可选地，所述判断模块504具体用于：
[0117]
获取所述一致性预测模型输出的所述第一填写区域和所述第二填写区域之间的
一致性概率；
[0118]
在所述一致性概率超过预设值的情况下，生成第一结果，所述第一结果用于指示所述第一填写区域的内容信息与所述第二填写区域的内容信息一致；
[0119]
判断所述第一填写区域的内容信息和所述第二填写区域的内容信息是否与所述第一结果相符。
[0120]
可选地，所述文本的处理装置500还包括区别模块，用于：
[0121]
在所述判断所述第一填写区域的内容信息和所述第二填写区域的内容信息与所述第一结果不相符的情况下，定位所述第一填写区域和所述第二填写区域；
[0122]
将所述第一填写区域和所述第二填写区域区别显示。
[0123]
可选地，所述文本的处理装置500还包括优化模块，用于：
[0124]
接收用户针对于所述判断结果的评价信息；
[0125]
根据所述评价信息优化所述一致性预测模型。
[0126]
可选地，所述获取模块501具体用于：
[0127]
确定待处理文本中的填写区域的位置信息；
[0128]
基于所述填写区域的位置信息，确定填写区域所在语句的语句信息和所述填写区域的内容信息作为所述填写区域的目标信息。
[0129]
上述的文本的处理装置500可以实现上述文本处理方法的任意实施方式，能达到相同的技术效果，此处，不做赘述。
[0130]
本技术实施例中的文本的处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，非移动电子设备可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。
[0131]
本技术实施例中的文本的处理装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。
[0132]
可选的，如图6所示，本技术实施例还提供一种电子设备600，包括处理器601，存储器602，存储在存储器602上并可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0133]
需要说明的是，本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
[0134]
本技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图1至图4的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0135]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下
前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0136]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。