基于人工智能的合同评审方法、装置、设备及存储介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种基于人工智能的合同评审方法、装置、设备及存储介质。


背景技术：

2.目前，对合同必备条款的缺失评审，是法律评审中不可或缺的重要环节。随着法律的逐步完善，条款种类繁多数量大，传统依靠人工审核的方式无疑要耗费巨大的人力。
3.相关技术中，采用基于transformer的语言模型来对合同进行评审，例如bert、xlnet等。训练这类语言模型时，由于transformer的注意力机制是考虑单个字符在整个句子上权值分布，而合同条款是典型的长文本，单个字符在长文本上的注意力过于稀疏分散，会加大模型训练难度，导致模型精度低，注意力的稀疏分散也势必会产生过大的超矩阵运算，导致模型训练速度变慢，使得模型在合同评审应用中存在训练时间过长且评审准确率低的问题。


技术实现要素：

4.本技术的主要目的在于提供一种基于人工智能的合同评审方法、装置、设备及存储介质，旨在解决相关技术中采用基于transformer的语言模型来对合同进行评审，模型训练时间过长且评审准确率低的技术问题。
5.第一方面，本技术提供了一种基于人工智能的合同评审方法，所述方法包括：
6.获取样本合同，对所述样本合同的条款进行句法分析，得到所述样本合同的条款对应的句法分析二叉树；
7.根据所述样本合同的条款及其对应的句法分析二叉树对注意力机制增强后的改进transformer模型进行训练，得到训练好的改进transformer模型；
8.获取待评审合同，利用所述训练好的改进transformer模型预测所述待评审合同的条款对应的目标句嵌入表示矩阵；
9.利用预先训练好的分类模型对所述目标句嵌入表示矩阵进行分类，根据所述分类的结果得到所述待评审合同是否缺失条款的评审结果。
10.第二方面，本技术还提供了一种基于人工智能的合同评审装置，所述装置包括：
11.分析模块，用于获取样本合同，对所述样本合同的条款进行句法分析，得到所述样本合同的条款对应的句法分析二叉树；
12.训练模块，用于根据所述样本合同的条款及其对应的句法分析二叉树对注意力机制增强后的改进transformer模型进行训练，得到训练好的改进transformer模型；
13.预测模块，用于获取待评审合同，利用所述训练好的改进transformer模型预测所述待评审合同的条款对应的目标句嵌入表示矩阵；
14.分类模块，用利用预先训练好的分类模型对所述目标句嵌入表示矩阵进行分类，根据所述分类的结果得到所述待评审合同是否缺失条款的评审结果。第三方面，本技术还
提供了一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的基于人工智能的合同评审方法的步骤。
15.第四方面，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的基于人工智能的合同评审方法。
16.本技术公开了一种基于人工智能的合同评审方法、装置、设备及存储介质，该基于人工智能的合同评审方法，获取样本合同，对所述样本合同的条款进行句法分析，得到所述样本合同的条款对应的句法分析二叉树；根据所述样本合同的条款及其对应的句法分析二叉树对注意力机制增强后的改进transformer模型进行训练，得到训练好的改进transformer模型；获取待评审合同，利用所述训练好的改进transformer模型预测所述待评审合同的条款对应的目标句嵌入表示矩阵；利用预先训练好的分类模型对所述目标句嵌入表示矩阵进行分类，根据所述分类的结果得到所述待评审合同是否缺失条款的评审结果。由于改进transformer模型是对transformer模型原有的注意力机制进行了增强，使得改进transformer模型的注意力分布不再分散，训练时可以有效地提升训练速度和模型精度，使得训练好的改进transformer模型能够更加快速地获得可以准确表征待评审合同的条款语义的句嵌入表示矩阵，再在待评审合同的条款的句嵌入表示矩阵的基础上通过分类模型实现合同评审，大大提升了评审效率和评审准确率。
17.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
18.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本技术基于人工智能的合同评审方法一实施例的流程示意图；
20.图2为本技术基于人工智能的合同评审方法一实施例涉及的改进transformer模型增强后的注意力机制的计算流程图；
21.图3为本技术一实施例提供的一种基于人工智能的合同评审装置的示意性框图；
22.图4为本技术一实施例涉及的计算机设备的结构示意框图。
23.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
24.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
25.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际
执行的顺序有可能根据实际情况改变。
26.应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
27.还应当进理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
28.本技术的实施例提供了一种基于人工智能的合同评审方法、装置、设备及存储介质。该基于人工智能的合同评审方法主要应用于基于人工智能的合同评审设备，该基于人工智能的合同评审设备可以是服务器等具有数据处理功能的终端设备。
29.其中，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
30.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
31.请参照图1，图1为本技术的实施例提供的一种基于人工智能的合同评审方法的流程示意图。
32.如图1所示，该基于人工智能的合同评审方法包括步骤s101至步骤s104。
33.步骤s101，获取样本合同，对所述样本合同的条款进行句法分析，得到所述样本合同的条款对应的句法分析二叉树。
34.其中，该基于人工智能的合同评审方法，主要包括两个过程，一是训练改进transformer模型和分类模型，获得训练好的改进transformer模型和分类模型，该分类模型可以是softmax分类器；二是采用训练好的改进transformer模型和分类模型实现对待评审合同的评审。
35.为了提升评审准确率，不同于相关技术中的transformer模型，本技术创造性地对transformer模型原有的注意力(attention)机制进行了增强，增强后的注意力机制能有效地将文本字符的注意力进行聚拢并针对训练，大大缩减transformer模型的计算量，能够提高模型训练速度和预测准确率。
36.transformer模型是一种nlp(自然语言处理)模型，transformer模型完全依赖attention(注意力)机制来计算其输入和输出的表征，摒弃了传统nlp模型采用的循环神经网络和卷积神经网络，这使得transformer模型很大程度上缓解了梯度消失和梯度爆炸问题。transformer模型主要由encoder(编码)器和decoder(解码)器两个部分组成，其中，encoder器和decoder器中均包含attention的生成与前向传播等功能。
37.首先对transformer模型原有的注意力机制进行介绍，transformer模型原有的注意力机制计算流程主要包括两步：
38.1)当句子被输入至transformer模型中，会对输入句子的词向量矩阵x进行线性变换产生查询(q，queries)矩阵、键(k，keys)矩阵和值(v，values)矩阵；
39.2)将q、k两个矩阵相乘得到注意力矩阵，再将注意力矩阵与v矩阵相乘得到句子的嵌入表示矩阵。
40.由此可以看出，transformer模型原有的注意力机制是考虑单个字符在整个句子
上权值分布，会存在以下两点不足：1)对长句子而言，单个字符在句子上的注意力过于稀疏分散，加大了模型训练难度，导致模型训练精度低；2)注意力的稀疏分散势必会产生过大的超矩阵运算，使模型训练速度变慢。
41.针对以上transformer模型原有的注意力机制的不足，对transformer模型原有的注意力机制进行改进，得到注意力机制增强的改进transformer模型，请参照图2，图2为改进transformer模型增强后的注意力机制的计算流程，包括以下几步：
42.1)构建句法解析遮掩矩阵：
43.a、先用斯坦福(standford parser)句法分析工具对句子进行句法分析，句法分析结果以二叉树的形式呈现，叶子节点对应着句子中每个字符(一一对应)，定义任意两个字符间的距离dis(i，j)为对应二叉树上两节点之间的距离。
44.b、句子的长度为l，则构建大小为(l，l)的句法解析遮掩矩阵m，定义一个阈值m，当dis(i，j)>m，m[i，j]等于负无穷，当dis(i，j)<＝m时，m[i，j]＝0。
[0045]
2)生成新注意力矩阵：
[0046]
a、transformer的q矩阵、k矩阵相乘得到第一注意力矩阵a，大小为(l,l)，将注意力矩阵a与句法解析遮掩矩阵m相加得到第二新注意力矩阵g，大小(l，l)。可以理解的是，当m[i，j]等于负无穷，那g[i，j]等于负无穷，代表i和j离得足够远，无需注意力关注，在模型训练反向传播中，负无穷处的梯度为0，无需训练，会大大加快模型训练速度；当m[i，j]等于0，g[i，j]等于a[i，j]，保持原有的注意力权重。
[0047]
b、设定一个门机制alpha，对a、g两个注意力矩阵矩阵进行调和，最终增强后的新注意力矩阵为alpha*a (1
‑
alpha)*g。
[0048]
3)生成新的句子嵌入表示矩阵：
[0049]
最终新的句子嵌入矩阵表示等于alpha*a (1
‑
alpha)*g和v矩阵相乘的结果。
[0050]
为了将注意力机制增强后的改进transformer模型应用于合同评审，根据样本合同对注意力机制增强后的改进transformer模型进行训练，得到训练好的改进transformer模型，以下是训练过程：
[0051]
首先获取样本合同，该样本合同包括若干条款。在采用合同样本对改进transformer模型进行训练之前，首先对样本合同进行段落拆分获得样本合同的条款，然后采用斯坦福句法分析工具对样本合同进行句法分析，得到样本合同的条款对应的句法分析二叉树，其中，该句法分析二叉树的叶子节点对应样本合同的条款中的每个字符。
[0052]
步骤s102，根据所述样本合同的条款及其对应的句法分析二叉树对注意力机制增强后的改进transformer模型进行训练，得到训练好的改进transformer模型。
[0053]
之后，根据样本合同的条款及其对应的句法分析二叉树，对改进transformer模型进行训练，得到训练好的改进transformer模型。
[0054]
在一些实施例中，所述根据所述样本合同的条款及其对应的句法分析二叉树对注意力机制增强后的改进transformer模型进行训练，得到训练好的改进transformer模型，具体为：将所述样本合同的条款及其对应的句法分析二叉树输入至改进transformer模型中，以使改进transformer模型增强后的注意力机制根据所述样本合同的条款生成查询矩阵、键矩阵和值矩阵，以及根据所述句法分析二叉树构建句法分析遮掩矩阵；根据所述查询矩阵、所述键矩阵、所述值矩阵和所述句法分析遮掩矩阵，对改进transformer模型进行训
练，得到训练好的改进transformer模型。
[0055]
即，将样本合同的条款及其对应的句法分析二叉树作为改进transformer模型的输入，改进transformer模型增强后的注意力机制，首先基于样本合同的条款生成查询矩阵、键矩阵和值矩阵，以及基于样本合同的条款对应的句法分析二叉树构建句法分析遮掩矩阵，然后根据样本合同的条款对应的查询矩阵、键矩阵和值矩阵以及句法分析遮掩矩阵，对注意力机制增强后的改进transformer模型进行训练，得到训练好的改进transformer模型。
[0056]
在一些实施例中，所述根据所述查询矩阵、所述键矩阵、所述值矩阵和所述句法分析遮掩矩阵，对改进transformer模型进行训练，得到训练好的改进transformer模型，具体为：将所述查询矩阵和所述键矩阵相乘得到第一注意力矩阵；将所述注意力矩阵与所述句法分析遮掩矩阵相加，得到第二注意力矩阵；对所述第一注意力矩阵和所述第二注意力矩阵进行调和，得到增强后的新注意力矩阵；将所述增强后的新注意力矩阵与所述值矩阵相乘，得到所述样本合同的条款对应的句嵌入表示矩阵。
[0057]
即，将样本合同的条款对应的查询矩阵和键矩阵相乘得到第一注意力矩阵，然后将该第一注意力矩阵与样本合同的条款对应的句法分析遮掩矩阵相加，得到第二注意力矩阵，接着对该第一注意力矩阵与该第二注意力矩阵进行调和，即可得到增强后的新注意力矩阵，再将增强后的新注意力矩阵与样本合同的条款对应的值矩阵相乘，得到样本合同的条款对应的句嵌入表示矩阵，然后根据样本合同的条款对应的句嵌入表示矩阵调整改进transformer模型的参数，直至transformer模型收敛，得到训练好的改进transformer模型。
[0058]
在一些实施例中，所述对所述第一注意力矩阵和所述第二注意力矩阵进行调和，得到增强后的新注意力矩阵，具体为：获取预设调和公式alpha*a (1
‑
alpha)*g，其中，alpha表示预设的门机制，a表示所述第一注意力矩阵，g表示所述第二新注意力矩阵；将所述第一注意力矩阵和所述第二注意力矩阵代入所述预设调和公式进行计算，得到增强后的新注意力矩阵。
[0059]
即，将样本合同的条款对应的第一注意力矩阵和第二注意力矩阵代入如下所示的预设调和公式进行计算，得到样本合同的条款对应的增强后的新注意力矩阵：
[0060]
alpha*a (1
‑
alpha)*g
[0061]
其中，alpha表示预设的门机制，a表示第一注意力矩阵，g表示第二新注意力矩阵。
[0062]
采用样本合同对改进transformer模型进行训练，由于改进transformer模型增强后的注意力机制能有效地将样本合同的条款的字符的注意力进行聚拢并针对训练，能够提升训练速度和训练精度，使得训练好的改进transformer模型在合同评审应用中具有更高的准确率。
[0063]
进一步的，在完成对改进transformer模型的训练后，还需将样本合同的条款对应的句嵌入表示矩阵以及样本合同的条款的真实类别，作为训练softmax分类器的样本，对softmax分类器进行训练，其中，样本合同的条款的真实类别可预先标注得到。
[0064]
softmax分类器是一种常见的线性分类器，适用于多分类预测问题。具体地，将样本合同的条款对应的句嵌入表示矩阵以及样本合同的条款的真实类别作为softmax分类器的输入，得到样本合同的条款对应的句嵌入表示矩阵属于各个预设类别的概率预测值，通
过比较样本合同的条款对应的句嵌入表示矩阵属于各个预设标准条款类别的概率预测值和样本合同的条款的真实类别，建立交叉墒损失得到softmax分类器的损失函数，采用梯度下降法对损失函数进行优化，使得损失函数越来越小，直至损失函数收敛，即可得到训练好的softmax分类器。训练好的的softmax分类器的输入为句嵌入表示矩阵，输出为[0，1]之间的分类概率值。训练好的softmax分类器能够实现对合同条款的准确分类。
[0065]
步骤s103，获取待评审合同，利用所述训练好的改进transformer模型预测所述待评审合同的条款对应的目标句嵌入表示矩阵。
[0066]
以下是利用训练好的改进transformer模型和softmax分类器对待评审合同进行评审的过程。
[0067]
首先获取待评审合同，利用训练好的改进transformer模型预测待评审合同的条款对应的目标句嵌入表示矩阵。
[0068]
在一些实施例中，利用所述训练好的改进transformer模型预测所述待评审合同的条款对应的目标句嵌入表示矩阵，具体为：对所述待评审合同的条款进行句法分析，得到所述待评审合同的条款对应的目标句法分析二叉树；将所述待评审合同的条款及其对应的目标句法分析二叉树输入至所述训练好的改进transformer模型中进行预测，得到所述目标句嵌入表示矩阵。
[0069]
其中，所述对所述待评审合同的条款进行句法分析，得到所述待评审合同的条款对应的目标句法分析二叉树，具体为：对所述待评审合同进行段落拆分得到所述待评审合同的条款；利用斯坦福句法分析工具对所述待评审合同的条款进行句法分析，得到所述目标句法分析二叉树。
[0070]
同样的，先对待评审合同进行段落拆分得到待评审合同的条款，再采用斯坦福句法分析工具对待评审合同的条款进行句法分析，得到待评审合同的条款对应的目标句法分析二叉树，其中，该目标句法分析二叉树的叶子节点对应待评审合同的条款的每个字符。
[0071]
将待评审合同的条款及其对应的目标句法分析二叉树输入至训练好的改进transformer模型中，训练好的改进transformer模型通过增强后的注意力机制，首先基于待评审合同的条款生成查询矩阵、键矩阵和值矩阵，以及基于待评审合同的条款对应的目标句法分析二叉树构建目标句法分析遮掩矩阵，将评审合同的条款对应的查询矩阵和键矩阵相乘得到第一目标注意力矩阵，然后将该第一目标注意力矩阵与目标句法分析遮掩矩阵相加，得到第二目标注意力矩阵，接着对该第一目标注意力矩阵与该第二目标注意力矩阵进行调和，即可得到增强后的新目标注意力矩阵，再将增强后的新目标注意力矩阵与待评审合同的条款对应的值矩阵相乘，得到待评审合同的条款对应的目标句嵌入表示矩阵并输出。
[0072]
通过训练好的改进transformer模型能够更加快速地获得可以准确表征待评审合同的条款语义的句嵌入表示矩阵。
[0073]
步骤s104，利用预先训练好的分类模型对所述目标句嵌入表示矩阵进行分类，根据所述分类的结果得到所述待评审合同是否缺失条款的评审结果。
[0074]
进一步的，利用训练好的softmax分类器对待评审合同的条款对应的目标句嵌入表示矩阵进行分类，从而根据分类的结果得到待评审合同是否缺失条款的评审结果。
[0075]
在一些实施例中，所述利用预先训练好的分类模型对所述目标句嵌入表示矩阵进
行分类，根据所述分类的结果得到所述待评审合同是否缺失条款的评审结果，具体为：将所述目标句嵌入向量输入至预先训练好的softmax分类器中进行分类预测，得到所述待评审合同的条款属于预设标准条款类别的概率值；根据所述概率值确定所述待评审合同的条款是否缺失。
[0076]
即，将待评审合同的条款对应的目标句嵌入表示矩阵输入至训练好的softmax分类器中进行分类预测，得到训练好的softmax分类器输出的预测分类概率值，该预测分类概率值表示待评审合同的条款属于预设标准条款类别的概率值，概率值越接近于1，说明待评审合同不存在缺失条款，训练好的softmax分类器输出的预测分类概率值越接近于0，说明待评审合同存在缺失条款。
[0077]
示例性的，可以将训练好的softmax分类器输出的预测分类概率值与预设阈值进行比对，当训练好的softmax分类器输出的预测分类概率值超出预设阈值，则评审结果为待评审合同不存在缺失条款，当训练好的softmax分类器输出的预测分类概率值未超出预设阈值，则评审结果为待评审合同存在缺失条款，其中，预设阈值可以为0.5。
[0078]
采用训练好的softmax分类器对待评审合同的条款对应的目标句嵌入表示矩阵进行分类预测，误差会更小，分类将更加准确。
[0079]
上述实施例提供的基于人工智能的合同评审方法，获取样本合同，对所述样本合同的条款进行句法分析，得到所述样本合同的条款对应的句法分析二叉树；根据所述样本合同的条款及其对应的句法分析二叉树对注意力机制增强后的改进transformer模型进行训练，得到训练好的改进transformer模型；获取待评审合同，利用所述训练好的改进transformer模型预测所述待评审合同的条款对应的目标句嵌入表示矩阵；利用预先训练好的分类模型对所述目标句嵌入表示矩阵进行分类，根据所述分类的结果得到所述待评审合同是否缺失条款的评审结果。由于改进transformer模型是对transformer模型原有的自注意力机制进行了增强，使得改进transformer模型的注意力分布不再分散，训练时可以有效地提升训练速度和模型精度，使得训练好的改进transformer模型能够更加快速地获得可以准确表征待评审合同的条款语义的句嵌入表示矩阵，再在待评审合同的条款的句嵌入表示矩阵的基础上通过分类模型实现合同评审，大大提升了评审效率和评审准确率。
[0080]
请参照图3，图3为本技术实施例提供的一种基于人工智能的合同评审装置的示意性框图。
[0081]
如图3所示，该装置300，包括：分析模块301、训练模块302、预测模块303和分类模块304。
[0082]
分析模块301，用于获取样本合同，对所述样本合同的条款进行句法分析，得到所述样本合同的条款对应的句法分析二叉树；
[0083]
训练模块302，用于根据所述样本合同的条款及其对应的句法分析二叉树对注意力机制增强后的改进transformer模型进行训练，得到训练好的改进transformer模型；
[0084]
预测模块303，用于获取待评审合同，利用所述训练好的改进transformer模型预测所述待评审合同的条款对应的目标句嵌入表示矩阵；
[0085]
分类模块304，用利用预先训练好的分类模型对所述目标句嵌入表示矩阵进行分类，根据所述分类的结果得到所述待评审合同是否缺失条款的评审结果。
[0086]
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，
上述描述的装置和各模块及单元的具体工作过程，可以参考前述基于人工智能的合同评审方法实施例中的对应过程，在此不再赘述。
[0087]
上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。
[0088]
请参阅图4，图4为本技术实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是个人计算机(personal computer，pc)、服务器等具有数据处理功能的设备。
[0089]
如图4所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
[0090]
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种基于人工智能的合同评审方法。
[0091]
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
[0092]
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种基于人工智能的合同评审方法。
[0093]
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0094]
应当理解的是，处理器可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0095]
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
[0096]
获取样本合同，对所述样本合同的条款进行句法分析，得到所述样本合同的条款对应的句法分析二叉树；根据所述样本合同的条款及其对应的句法分析二叉树对注意力机制增强后的改进transformer模型进行训练，得到训练好的改进transformer模型；获取待评审合同，利用所述训练好的改进transformer模型预测所述待评审合同的条款对应的目标句嵌入表示矩阵；利用预先训练好的分类模型对所述目标句嵌入表示矩阵进行分类，根据所述分类的结果得到所述待评审合同是否缺失条款的评审结果。
[0097]
在一些实施例中，所述处理器实现所述根据所述样本合同的条款及其对应的句法分析二叉树对注意力机制增强后的改进transformer模型进行训练，得到训练好的改进transformer模型时，用于实现：
[0098]
将所述样本合同的条款及其对应的句法分析二叉树输入至改进transformer模型中，以使改进transformer模型增强后的注意力机制根据所述样本合同的条款生成查询矩阵、键矩阵和值矩阵，以及根据所述句法分析二叉树构建句法分析遮掩矩阵；
[0099]
根据所述查询矩阵、所述键矩阵、所述值矩阵和所述句法分析遮掩矩阵，对改进
transformer模型进行训练，得到训练好的改进transformer模型。
[0100]
在一些实施例中，所述处理器实现所述根据所述查询矩阵、所述键矩阵、所述值矩阵和所述句法分析遮掩矩阵，对改进transformer模型进行训练，得到训练好的改进transformer模型时，用于实现：
[0101]
将所述查询矩阵和所述键矩阵相乘得到第一注意力矩阵；
[0102]
将所述注意力矩阵与所述句法分析遮掩矩阵相加，得到第二注意力矩阵；
[0103]
对所述第一注意力矩阵和所述第二注意力矩阵进行调和，得到增强后的新注意力矩阵；
[0104]
将所述增强后的新注意力矩阵与所述值矩阵相乘，得到所述样本合同的条款对应的句嵌入表示矩阵；
[0105]
根据所述句嵌入表示矩阵更新所述改进transformer模型的参数，直至所述改进transformer模型收敛，得到训练好的改进transformer模型。
[0106]
在一些实施例中，所述处理器实现所述对所述第一注意力矩阵和所述第二注意力矩阵进行调和，得到增强后的新注意力矩阵时，用于实现：
[0107]
获取预设调和公式alpha*a (1
‑
alpha)*g，其中，alpha表示预设的门机制，a表示所述第一注意力矩阵，g表示所述第二新注意力矩阵；
[0108]
将所述第一注意力矩阵和所述第二注意力矩阵代入所述预设调和公式进行计算，得到增强后的新注意力矩阵。
[0109]
在一些实施例中，所述处理器实现所述利用所述训练好的改进transformer模型预测所述待评审合同的条款对应的目标句嵌入表示矩阵时，用于实现：
[0110]
对所述待评审合同的条款进行句法分析，得到所述待评审合同的条款对应的目标句法分析二叉树；
[0111]
将所述待评审合同的条款及其对应的目标句法分析二叉树输入至所述训练好的改进transformer模型中进行预测，得到所述目标句嵌入表示矩阵。
[0112]
在一些实施例中，所述处理器实现所述对所述待评审合同的条款进行句法分析，得到所述待评审合同的条款对应的目标句法分析二叉树时，用于实现：
[0113]
对所述待评审合同进行段落拆分得到所述待评审合同的条款；
[0114]
利用斯坦福句法分析工具对所述待评审合同的条款进行句法分析，得到所述目标句法分析二叉树。
[0115]
在一些实施例中，所述处理器实现所述利用预先训练好的分类模型对所述目标句嵌入表示矩阵进行分类，根据所述分类的结果得到所述待评审合同是否缺失条款的评审结果时，用于实现：
[0116]
将所述目标句嵌入向量输入至预先训练好的softmax分类器中进行分类预测，得到所述待评审合同的条款属于预设标准条款类别的概率值；
[0117]
根据所述概率值确定所述待评审合同的条款是否缺失。
[0118]
本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参照本技术基于人工智能的合同评审方法的各个实施例。
[0119]
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储
单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
[0120]
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
[0121]
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0122]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0123]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。