一种法条推送方法及系统与流程

1.本发明涉及一种法条推送方法及系统，属于数据挖掘技术领域。


背景技术：

2.近年，随着智能司法不断推进，越来越多的研究人员致力于智能司法的研究。智能司法是将人工智能与司法领域相结合，通过预测法条、罪名、量刑等因素提供给专业人员进行参考，辅助专业人员进行审判，提升办案效率。法条多标签自动推送作为智能司法研究任务当中的一个重要子任务，是构成智能司法的关键组成部分。例如案例“本院现查明：xx江盖桥下游顺水右岸垃圾乱堆乱放严重，现已侵占部分沿江道路，不仅影响正常交通还造成水体污染，生态环境遭到破坏；xx小河随处可见生活垃圾，且恶臭扑鼻，该气味传播很远，严重影响了周围空气质量”中，该例不仅造成了水污染，同时还涉及了固体污染以及大气污染，而智能司法的目的即是根据上述案例的文本信息自动推送相关的法条，给专业人员进行参考，辅助专业人员进行审判，提升办案效率。
3.目前多法条自动推送是采用多标签分类方法实现的。传统的法条多标签分类采用机器学习的方法。如sulea等人提出了一种svm的法律判决系统，输入法律范围辅助法律人员进行判决。liu等人提出了一种三阶段预测算法，预测出法律案件涉及的法条。然而上述方法只能提取文本当中的浅层特征，通常会忽略法律文本中的自然顺序结构或上下文信息，这使得学习案件的语义信息变得困难，从而导致效果并不理想。
4.随着深度学习的发展，越来越多的研究人员将深度学习引入分类任务当中。但是现有基于深度学习的法条预测及推送方法通常仅对案件语义特征信息以及法条关联性进行学习，即只从法条本身共现关系进行建模，却忽略了法条本身的司法解释以及法条之间的相关性，导致推送结果的不全面及不准确。


技术实现要素：

5.本技术的目的在于，提供一种法条推送方法及系统，以解决现有法条推送方法存在的推送结果不全面及不准确的技术问题。
6.本发明的第一方面公开了一种法条推送方法，包括：
7.获取法条司法解释集和历史诉讼案件集；
8.建立所述法条司法解释集与所述历史诉讼案件集的映射关系，构建多标签分类模型；
9.将当前诉讼案件的文本信息输入至所述多标签分类模型中，得到当前诉讼案件对应的多个法条的概率，多个法条组成备选法条集；
10.从所述法条司法解释集中获取与所述备选法条集中的第一法条相关的司法解释，通过司法解释集计算法条间的相似度，根据所述相似度重新确定备选法条集中各个法条的概率，当所述法条的概率≥第一阈值时，推送对应的法条。
11.优选地，所述建立所述法条司法解释集与所述历史诉讼案件集的映射关系，构建
多标签分类模型，具体为：
12.获取所述法条司法解释集对应的第一语义向量；
13.获取所述历史诉讼案件集对应的第二语义向量；
14.将所述第一语义向量和所述第二语义向量输入至卷积神经网络模型中，建立所述第一语义向量和所述第二语义向量之间的映射关系，得到多标签分类模型。
15.优选地，所述获取所述法条司法解释集对应的第一语义向量，具体为：
16.将所述法条司法解释集输入至xlnet模型中，得到所述法条司法解释集对应的第一语义向量；
17.所述获取所述历史诉讼案件集对应的第二语义向量，具体为：
18.将所述历史诉讼案件集输入至xlnet模型中，得到所述历史诉讼案件集对应的第二语义向量。
19.优选地，从所述法条司法解释集中获取与所述备选法条集中的第一法条相关的司法解释，通过司法解释集计算法条间的相似度，根据所述相似度重新确定备选法条集中各个法条的概率，具体为：
20.获取所述备选法条集中各个法条的概率，将概率≥第二阈值的法条记为第一法条；
21.利用余弦距离方法计算法条司法解释集中的各个司法解释的向量表示与所述第一法条的司法解释的向量表示的相似度；
22.根据所述相似度重新确定备选法条集中各个法条的概率。
23.优选地，获取所述备选法条集中各个法条的概率，具体为：
24.利用第一公式获取所述备选法条集中各个法条的概率，所述第一公式为：
[0025][0026]
式中，x为备选法条集中一个法条的向量表示；本发明中的向量表示即为语义向量，即法条的向量表示为法条的语义向量，该语义向量的是通过将法条输入至xlnet模型中获取的。
[0027]
利用余弦距离方法计算法条司法解释集中的各个司法解释的向量表示与所述第一法条的司法解释的向量表示的相似度，具体为：
[0028]
利用第二公式计算法条司法解释集中的各个司法解释的向量表示与所述第一法条的司法解释的向量表示的相似度，所述第二公式为：
[0029][0030]
式中，a为第一法条的司法解释的向量表示、bi为所述法条司法解释集中第i个法条的司法解释的向量表示，m为向量维度。
[0031]
优选地，根据所述相似度重新确定备选法条集中各个法条的概率，具体为：
[0032]
利用第三公式重新计算备选法条集中各个法条的概率，所述第三公式为：
[0033][0034]
式中，p1为所述备选法条集中其中一个法条的概率，为可变参数，sim为相似度，p为重新计算后的对应法条的概率。
[0035]
优选地，在所述将当前诉讼案件的文本信息输入至所述多标签分类模型中之前，还包括：
[0036]
利用分布式估计算法增强所述当前诉讼案件的文本信息；
[0037]
相应的，所述将当前诉讼案件的文本信息输入至所述多标签分类模型中，具体为：
[0038]
将增强后的所述当前诉讼案件的文本信息输入至所述多标签分类模型中。
[0039]
优选地，在所述将增强后的所述当前诉讼案件的文本信息输入至所述多标签分类模型中之后，还包括：
[0040]
利用回译法扩充增强后的所述当前诉讼案件的文本信息；
[0041]
相应的，所述将增强后的所述当前诉讼案件的文本信息输入至所述多标签分类模型中，具体为：
[0042]
将扩充后的所述当前诉讼案件的文本信息输入至所述多标签分类模型中。
[0043]
优选地，在所述获取法条司法解释集和历史诉讼案件集之后，还包括：
[0044]
利用分布式估计算法增强所述历史诉讼案件集；
[0045]
相应的，所述建立所述法条司法解释集与所述历史诉讼案件集的映射关系，得到多标签分类模型，具体为：
[0046]
建立所述法条司法解释集和增强后的历史诉讼案件集的映射关系，得到多标签分类模型。
[0047]
优选地，在建立所述法条司法解释集和和增强后的历史诉讼案件集的映射关系，得到多标签分类模型之后，还包括：
[0048]
利用回译法扩充增强后的所述历史诉讼案件集；
[0049]
相应的，所述建立所述法条司法解释集和增强后的历史诉讼案件集的映射关系，得到多标签分类模型，具体为：
[0050]
建立所述法条司法解释集和扩充后的所述历史诉讼案件集的映射关系，得到多标签分类模型。
[0051]
本发明的第二方面公开了一种法条推送系统，包括：
[0052]
数据获取模块，所述数据获取模块用于获取法条司法解释集和历史诉讼案件集；
[0053]
模型建立模块，所述模型建立模块用于建立所述法条司法解释集与所述历史诉讼案件集的映射关系，构建多标签分类模型；
[0054]
法条集确定模块，所述法条集确定模块用于将当前诉讼案件的文本信息输入至所述多标签分类模型中，得到当前诉讼案件对应的多个法条的概率，多个法条组成备选法条集；
[0055]
法条推送模块，所述法条推送模块用于从所述法条司法解释集中获取与所述备选法条集中的第一法条相关的司法解释，通过司法解释集计算法条间的相似度，根据相似度重新确定备选法条集中各个法条的概率，当所述法条的概率≥第一阈值时，推送对应的法条。
[0056]
本发明的法条推送方法及系统，相较于现有技术，具有如下有益效果：
[0057]
本发明的法条推送方法结合法条司法解释，在基于xlnet预训练语言模型的基础上提出了一种面向公益诉讼案件的多法条自动推送方法。该方法采用xlnet模型对案件进行向量化表示，在模型当中引入法条司法解释，提升文本向量化表征能力，同时构建卷积神经网络模型提取案件与法条司法解释的特征信息，最后引入法条间的相关性分析，通过sigmoid函数计算各法条的概率，通过阈值的选取实现多法条的自动推送。实验证明，本发明提出的方法在公益诉讼案件数据上表现良好，其推送的法条全面且准确。
附图说明
[0058]
图1为本发明法条推送方法的流程图；
[0059]
图2为本发明法条推送方法中xlnet模型的排列机制示意图；
[0060]
图3为本发明法条推送方法中xlnet模型的注意力机制掩码示意图；
[0061]
图4为本发明法条推送方法中xlnet模型的段循环示意图；
[0062]
图5为本发明法条推送方法中卷积神经网络的结构示意图；
[0063]
图6为本发明法条推送方法中多标签分类模型的建立流程示意图；
[0064]
图7为本发明实施例提供的案件文本长度分布示意图；
[0065]
图8为本发明实施例提供的法条个数分布示意图；
[0066]
图9为本发明实施例提供的阈值对模型影响的结果示意图；
[0067]
图10为本发明实施例提供的多模型的收敛曲线示意图；
[0068]
图11为本发明法条推送系统的结构示意图。
[0069]
图中11为法条推送系统；110为数据获取模块；111为模型建立模块；112为法条集确定模块；113为法条推送模块。
具体实施方式
[0070]
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
[0071]
图1为本发明实施例中法条推送方法的流程图。
[0072]
如图1所示，本发明实施例的法条推送方法包括：
[0073]
步骤1、获取法条司法解释集和历史诉讼案件集；
[0074]
其中法条司法解释集中包括所有法条及每一条法条对应的司法解释；
[0075]
历史诉讼案件集中包括历史诉讼案件的文本信息以及每件诉讼案件中引用的法条信息。
[0076]
步骤2、建立法条司法解释集与历史诉讼案件集的映射关系，构建多标签分类模型，具体为：
[0077]
步骤2.1、获取法条司法解释集对应的第一语义向量。
[0078]
本实施例中获取法条司法解释集对应的第一语义向量可采用bert模型，也可采用xlnet模型。由于xlnet模型相较于bert模型，可获取案件丰富的语义信息，同时还能解决由
于案件过长从而导致相关信息丢失的问题，因此，本实施例优选使用xlnet模型，具体为：将法条司法解释集输入至xlnet模型中，得到法条司法解释集对应的第一语义向量。
[0079]
xlnet模型包含两个模块，分别为排列机制的自回归语言训练模块与transformer-xl模块。
[0080]
(a)排列机制的自回归语言训练模块
[0081]
自回归语言训练首先依据概率分布生成第一个词，再根据前面词生成下一个词，直到生成整个句子。这种方法可以利用上下文单词预测下一个单词，但是这种方法被限制在两个方向，从前向后预测或从后向前预测，这意味着不能同时使用前向上下文和后向上下文，无法准确的获取案件的上下文信息。
[0082]
xlnet模型为了能够双向预测目标单词，采用了随机排列机制来对句子进行重新排序，在排列后的组合中选取一部门作为模型的输入，如图2所示。假设原始输入句子为[严,染,体,重,污,水]，这样可以通过重新排序后的“染”、“严”、“体”、“重”来预测“污”，通过这种重新排列方法融合目标单词的上下文信息，解决了自回归语言模型无法双向预测的缺点。
[0083]
由于微调阶段无法对原始输入进行重新排列，这种随机排列机制会导致前后阶段不一致，因此需要预训练阶段的输入部分仍然是原始语句顺序。为了解决该类问题，xlnet模型采用注意力机制掩码方法，通过mask去掩盖无用的单词，使其在预测目标词的时候不发生作用，最终得到不同的排列组合，实现双向预测。注意力机制掩码如图3所示。
[0084]
图3中，对于排列后的“体”来说，能够利用到“严”与“染”两个字，因此在第二行当中保留这两个字，其余均用mask掩盖。再如预测排列后的“严”字，没有可以利用的信息，因此在第五行当中全用mask掩盖。排列机制的计算如公式(1)所示：
[0085][0086]
式中，θ为预测目标词最大概率的参数，t为输入句子的长度，z
t
表示句子的重新排列组合。
[0087]
(b)transformer-xl模块
[0088]
transformer-xl能够将上一段文本输出的信息保存下来，用于当前文本的计算，使模型可以拥具有更广阔的上下文信息。xlnet模型引入了transformer-xl中的段循环与相对位置编码。
[0089]
(1)段循环
[0090]
transformer处理文本时需要是一个给定的词序列，并仅限于处理512个字符这种相对较短的输入，因此它将输入分成段，并分别从每个段中进行学习。这使得单词之间的依赖关系受限于输入长度的限制，且段与段之间没有上下文依赖性，对于特别长的序列会导致丢失一些信息。为了在内存的限制下让transformer学到更长的依赖，transformer-xl采用段循环，使得当前段在建模的时候能够利用之前段的记忆信息实现长期依赖性。如图4所示。
[0091]
图4为段循环的信息传递方式，在处理段2时，每个隐藏层都会接受两个输入，分别为该段前面隐藏层的输出(实线部分)与前一段隐藏层的输出(虚线部分)，其中虚线表示前一段的记忆信息，能够建立创建长期依赖关系。
[0092]
(2)相对位置编码
[0093]
在普通的transformer当中，位置编码采用绝对位置编码，即在每个片段内，各个位置都有其独立的一个位置编码向量。如在段1中第一个词和段2第一个词共享同样的位置编码，这样会在多个段中无法区分位置关系，导致了一些位置信息的损失。因此transformer-xl引入了相对位置编码，在计算当前位置隐向量的时候，加入相对位置关系。即在计算attention score时，只考虑query向量与key向量的相对位置关系，并且将这种相对位置关系，加入到每一层transformer的attention计算中，如公式(2)所示：
[0094][0095]
式中，表示词i,j的向量表示，μ
t
,ν
t
为需要学习的参数，r
i-j
表示相对位置关系，w
k,e
,w
k,r
分别表示生成基于内容的key向量和基于位置的key向量。
[0096]
相对位置编码解决了不同段间位置编码的歧义性，通过这种方法，能够进一步将相对位置编码从词的表征中抽离，只在计算注意力权重的时候加入，解决了transformer随着层数加深，输入的位置编码信息被过多的计算抹去的问题。
[0097]
xlnet采用排列机制的自回归语言训练与transformer-xl，解决了自回归语言无法双向训练的缺点，能够充分的捕获文本的上下文关系，获得包含丰富语义信息的向量表示。
[0098]
步骤2.2、获取历史诉讼案件集对应的第二语义向量。
[0099]
本实施例中获取历史诉讼案件集对应的第一语义向量可采用bert模型，也可采用xlnet模型。由于xlnet模型相较于bert模型，可获取案件丰富的语义信息，同时还能解决由于案件过长从而导致相关信息丢失的问题，因此，本实施例优选使用xlnet模型，具体为：
[0100]
将历史诉讼案件集输入至xlnet模型中，得到历史诉讼案件集对应的第二语义向量；
[0101]
步骤2.3、将第一语义向量和第二语义向量输入至卷积神经网络模型中，建立第一语义向量和第二语义向量之间的映射关系，得到多标签分类模型。该多标签分类模型的输出为案件对应的法条的概率。
[0102]
为了更好的提取案件和法条司法解释的特征信息，本实施例通过构建案件和法条司法解释的卷积神经网络模型来加深案件与法条之间的潜在联系。将案件向量与法条司法解释向量拼接后输入卷积神经网络模型当中，通过设置卷积核尺寸提取不同粒度的特征信息。如图5所示。
[0103]
图5中可以看出原始输入数据为案件经过xlnet模型后获得的向量表示，即第二语义向量，记为x，以及法条司法解释对应的第一语义向量，记为i，将第二语义向量和第一语义向量进行拼接，如图5第二模块中所示，实线表示第二语义向量，虚线表示第一语义向量，其计算如公式(3)所示：
[0104]
v＝[x；i]
ꢀꢀꢀꢀ
(3)
[0105]
式中，v表示融合后的向量表示，[x；i]表示将第二语义向量与第一语义向量进行拼接。
[0106]
为了提取案件与法条司法解释的特征信息，将融合后的向量进行卷积，通过设定
不同大小的卷积核获取不同尺寸的特征信息，然后将卷积后的向量进行最大池化，来提取重要特征信息，同时能够抑制网络参数误差造成估计均值偏移的现象，最后输入全连接层当中，计算如公式(4)所示：
[0107]
c＝f(w
·
v b)
ꢀꢀꢀ
(4)
[0108]
式中，f是非线性函数，w表示可以训练的权重矩阵，b表示偏置。
[0109]
上述利用第一语义向量和第二语义向量训练的卷积神经网络模型即为多标签分类模型。
[0110]
步骤3、将当前诉讼案件的文本信息输入至多标签分类模型中，得到当前诉讼案件对应的多个法条的概率，多个法条组成备选法条集。
[0111]
由于实际案例当中，法条与法条间总是存在某种相似性，如案例“本院在办案中发现，xx诊所无证行医，产生的医疗废弃物与生活垃圾混同，没有进行定点投放，下雨天经过雨水冲刷流入河流，造成水体污染。且诊所当中医疗污水未进行处理直接排入污水管流入河流当中，造成水污染。”中，由于医疗废弃物与医疗废水的随意倾倒造成河流的水污染，但是该案例当中也涉及了医疗废物管理条例，然而该类属于罕见案例，因此可能无法预测该法条，因此，通过下述步骤4解决该问题。步骤4中引入司法解释相似性计算，通过余弦距离方法计算各个法条的司法解释之间的相似性，考察与其最相关的法条是否符合该案件当中的情形，以此来提高多法条自动推送的准确性。
[0112]
步骤4、从所述法条司法解释集中获取与备选法条集中的第一法条相关的司法解释，通过司法解释集计算法条间的相似度，根据相似度重新确定备选法条集中各个法条的概率，当所述法条的概率≥第一阈值时，推送对应的法条，具体为：
[0113]
步骤4.1、从法条司法解释集中获取与备选法条集中的第一法条相关的司法解释，通过司法解释集计算法条间的相似度，根据相似度重新确定备选法条集中各个法条的概率，具体为：
[0114]
步骤4.1.1、获取备选法条集中各个法条的概率，将概率≥第二阈值的法条记为第一法条；其中，获取备选法条集中各个法条的概率，具体利用的公式如式(5)：
[0115][0116]
式中，x为备选法条集中一个法条的向量表示；将法条集中的各个法条的向量表示逐一输入至公式(5)中，即可得到各个法条的概率。该步骤中，第一法条可以为概率最大的法条。
[0117]
本实施例采用公式(5)中的sigmoid函数计算每一个法条相应的概率，然后将每一个法条的概率与预设第二阈值k进行比较，当法条概率大于该预设第二阈值，则为第一法条。
[0118]
步骤4.1.2、利用余弦距离方法计算法条司法解释集中的各个司法解释的向量表示与第一法条的司法解释的向量表示的相似度，具体为：
[0119]
利用公式(6)计算法条司法解释集中的各个法条司法解释的向量表示与第一法条的司法解释的向量表示的相似度：
[0120][0121]
式中，a为第一法条的司法解释的向量表示、bi为法条司法解释集中第i个法条的司法解释的向量表示，m为向量维度。
[0122]
步骤4.1.3、将相似度加入备选法条集概率中重新计算各个法条的概率，具体为：
[0123]
利用公式(7)重新计算法条集中各个法条的概率：
[0124][0125]
式中，p1为备选法条集中其中一个法条的概率，为可变参数，sim为相似度，p为重新计算后的对应法条的概率。利用公式(7)重新计算备选法条集中每一个法条的概率。
[0126]
步骤4.2、当重新计算后，备选法条集中的法条的概率≥第一阈值时，推送对应的法条。
[0127]
为解决某些诉讼领域中，难以获取大规模数据集、且不同类别数据量相差较大，会出现过拟合现象严重影响分类的准确性的技术问题。本实施例采用数据增强的方法对历史诉讼案件集进行处理，通过回译扩大训练样本的规模，降低模型对某些属性的依赖，在有效降低人工成本的基础上提升模型性能，具体为：
[0128]
利用分布式估计算法增强历史诉讼案件集，具体为：选取分布式估计算法中的同义词替换、随机插入方法对历史诉讼案件集进行增强处理；
[0129]
利用回译法扩充增强后的历史诉讼案件集，具体为：将历史诉讼案件集翻译为英文再翻译成中文。本实施例按照1:3的比值扩充历史诉讼案件集。
[0130]
示例性地，表1为对历史诉讼案件集中的部分内容进行增强及扩充后的结果。
[0131]
表1数据增强及扩充样例
[0132][0133]
在对历史诉讼案件集增强及扩充以后，建立法条司法解释集和扩充后的历史诉讼案件集的映射关系，得到多标签分类模型。
[0134]
为降低数据量，本实施例在建立法条司法解释集和扩充后的历史诉讼案件集的映射关系之前，还包括获取法条司法解释集中与诉讼案件相关的特征信息，然后再将其输入至xlnet模型中进行后续操作。
[0135]
为进一步确保模型推送的准确性，本实施例在将当前诉讼案件的文本信息输入至多标签分类模型中之前，还包括：
[0136]
利用分布式估计算法增强当前诉讼案件的文本信息，具体为：选取分布式估计算法中的同义词替换、随机插入方法对历史诉讼案件集进行增强处理；
[0137]
然后利用回译法扩充增强后的当前诉讼案件的文本信息，具体为：将历史诉讼案件集翻译为英文再翻译成中文。
[0138]
相应的，将增强后的当前诉讼案件的文本信息输入至多标签分类模型中，具体为：
[0139]
将扩充后的当前诉讼案件的文本信息输入至多标签分类模型中。
[0140]
综上，本发明实施例法条推送方法中的多标签分类模型的建立流程如图6所示。
[0141]
下面将给出更为具体的实施例验证本发明方法的有效性。
[0142]
1、数据集
[0143]
本实施例使用的历史诉讼案件集由两部分组成，一部分来自于课题所提供，另一部分来自于裁判文书网，利用爬虫技术，在裁判文书网上进行爬取，获取以环境保护为例的历史诉讼案件，最后对获取的数据进行初清洗，获得总共可用数据5984条，组成历史诉讼案件集。最后，按7:3将数据划分为训练集与测试集，得训练集与测试集分别为4189条与1795条。
[0144]
对上述5984条历史诉讼案件(均为公益诉讼案件)进行分析，统计历史诉讼案件的数据分布，图7、图8分别表示案件文本信息中文本长度分布与法条数量分布。由图7可以发现，在案件文本信息中，文本长度在300～400间的案件数量最多，同时文本长度超过500字的案件也占据了一大部分，因此需要选择一个合适的文本表示模型来处理长文本案件。在图中，法条数量为5、6的案件最少，容易导致模型忽略这些不常见的法条。
[0145]
2、实验环境
[0146]
本实施例所使用的实验环境配置如表2所示。
[0147]
表2实验环境配置表
[0148][0149]
3、评价指标
[0150]
为了更好的衡量多法条分类效果，本实施例采用宏观与微观精确率p、召回率r、f1
值做为实验结果的评价指标。公式如下所示：
[0151][0152][0153][0154][0155][0156][0157]
其中，macro与micro分别表示宏观与微观指标，pi与ri分别表示类别为i的精确率与召回率，tpi表示正类类别i预测正确的个数，fni表示正类类别i预测错误的个数、fpi表示将负类i预测错误的个数。
[0158]
4、实验对比与分析
[0159]
4.1、各模型结果对比
[0160]
本实施例在公益诉讼案件数据集上进行测试，为验证本发明方法的有效性，分别对8种神经网络模型在多法条自动推送任务上的表现进行实验对比。具体实验结果如表3所示，其中l表示引入了法条司法解释的模型，s表示加入了法条相似性分析的模型。
[0161]
表3不同模型的分类结果
[0162][0163]
由表3的实验结果当中可以观察到三个方面：
[0164]
(1)对比表3中cnn、bert-cnn以及xlnet-cnn模型，可以发现xlnet-cnn模型的分类效果达到最优，其中f1_macro与f1_micro达到了86.68％和88.12％。说明了多标签分类任务中，引入语言预训练模型能够获取丰富的文本语义信息，同时双向编码也能捕获文本的上下文信息，提升分类效果。其中xlnet的分类效果优于bert模型，这是因为bert模型的输入文本长度本限制在512，但是在公益诉讼案件当中，绝大数案件文本长度大于512，这导致了bert模型在对文本进行训练时，会造成一部分信息丢失，影响了分类效果。
[0165]
(2)对比表3当中有无引入法条司法解释的模型，即cnn与cnn-l、bert-cnn与bert-cnn-l、xlnet-cnn与xlnet-cnn-l三组模型，可以发现，与未引入法条司法解释的三个模型相比，引入了法条司法解释的模型在f1_macro与f1_micro上分别提高了1.65％与2.40％、2.13％与1.68％、0.77％与1.13％，这是因为法条司法解释包含了法条本身规定的相关信息，在模型当中通过引入法条司法解释信息，一方面能够增加文本的语义信息，另一方面可以增强案件与法条之间的联系，从而能够提升多法条预测效果。
[0166]
(3)对比表3当中有无加入法条相似性的模型，即cnn-l与cnn-l-s、bert-cnn-l与bert-cnn-l-s、xlnet-cnn-l与xlnet-cnn-l-s三组模型，可以发现，与未加入法条相似性的模型相比，加入了法条相似性模型在f1_macro与f1_micro上分别提高了2.98％与2.64％、1.40％与0.95％、0.92％与0.67％，其中本实施例所采用的xlnet-cnn-l-s模型，在各项指标上都取得了最优表现。对比法条相似性的指标f1_macro与f1_micro可以看出，f1_macro的指标提升效果较大，这是因为f1_ma cro更加考虑不常见类别的影响，而添加了法条相似性的模型，通过融入法条之间的相似性，来提升不常见法条的准确性。
[0167]
4.2、卷积核尺寸的选取
[0168]
为了提升卷积神经网络模型特征提取的有效性，提取更为准确的特征信息，选取了不同尺寸的卷积核进行试验对比，如表4所示：
[0169]
表4卷积核尺寸的影响
[0170][0171][0172]
由表4可以看出，卷积核尺寸的大小会影响模型提取特征信息的能力。在卷积核尺寸为[2,3,4]时模型特征提取能力表现最优，这是因为在案件当中，总会出现“河流”、“粪便”、“空气”、“水体污染”、“大气污染”、“养殖污染”等易区分案件类别的词汇，当卷积核尺寸设置为2与4时能够有效提取该类词的特征信息，从而提升模型分类效果。随着卷积核尺寸的增大，模型会提取过多的无用特征信息，对模型造成干扰，影响分类效果。为了有效的提升多法条分类的效果，通过分析最终选取卷积核尺寸为[2,3,4]。
[0173]
4.3、阈值的确定
[0174]
在法条多标签分类任务当中，最后通过sigmoid函数计算案件对于每一个法条的概率，通过选取阈值，当概率大于该阈值则为预测的法条。为了能够使得法条多标签分类方法达到最优效果，考虑了不同阈值的选择对模型的影响情况，如图9所示。
[0175]
在图9中，选取了两组模型bert-cnn-l-s与xlnet-cnn-l-s进行测试，阈值的范围划分为0.1～0.9，在两组模型上对比不同的阈值对分类指标f1_macro与f1_micro的影响。由图9可以看出，在两组模型上，当阈值选择为0.6时，f1_macro与f1_micro的值表现最好，这可能是由于在多法条自动推送任务当中，由于法条相似问题致法条难以区分，当阈值选
取为传统的0.5时，会造成法条推送过多的情况发生，影响分类的准确性，因此最终确定阈值为0.6。
[0176]
4.4、模型的收敛性分析
[0177]
为了进一步的提升该模型的有效性与稳定性，绘制了模型的收敛曲线，通过比较损失loss在不同epoch次数下的变化情况来选择稳定的法条多标签分类模型。如图10所示。
[0178]
图10中，在bert-cnn-l-s与xlnet-cnn-l-s两组模型上验证了loss在epoch上的变化情况，在有限的硬件与时间条件限制下，选择epoch的范围为1-15。从图中可以看出，在bert-cnn-l-s模型上，当epoch达到11，模型开始收敛，而在xlnet-cnn-l-s模型上，epoch达到8以后，loss开始趋于稳定，模型逐渐达到收敛状态。在模型训练过程中，合适的epoch能够提升模型的有效性与稳定性，且随着epoch的不断增大，模型训练需要花费更多的时间，甚至会导致模型过拟合，影响模型的分类效果。对以上情况进行分析，最终确定epoch为10。
[0179]
本发明的法条推送方法结合法条司法解释，在基于xlnet预训练语言模型的基础上提出了一种面向公益诉讼案件的多法条自动推送方法。该方法采用xlnet模型对案件进行向量化表示，同时在模型当中引入法条司法解释，提升文本向量化表征能力，进一步构建卷积神经网络模型提取案件与法条司法解释的特征信息，最后引入法条间的相关性分析，通过sigmoid函数计算各法条的概率，通过阈值的选取实现多法条的自动推送。实验证明，本实施例提出的方法在公益诉讼案件数据上表现良好，其推送的法条全面且准确。
[0180]
本发明的第二方面公开了一种法条推送系统，该系统11的结构示意图见图11，包括数据获取模块110、模型建立模块111、法条集确定模块112和法条推送模块113；
[0181]
其中数据获取模块110用于获取法条司法解释集和历史诉讼案件集；
[0182]
模型建立模块111用于建立法条司法解释集与历史诉讼案件集的映射关系，得到多标签分类模型；
[0183]
法条集确定模块112用于将当前诉讼案件的文本信息输入至多标签分类模型中，得到当前诉讼案件对应的多个法条的概率，多个法条组成法条集；
[0184]
法条推送模块113用于从法条司法解释集中获取与法条集中的第一法条相关的司法解释，通过司法解释集计算法条间的相似度，将该相似度加入法条集概率中重新计算概率，通过概率对法条集进行重新排序，当法条的概率≥第一阈值时，推送对应的法条。
[0185]
本发明的法条推送方法及系统，解决了现有法条推送方法存在的推送结果不全面及不准确的技术问题，其法条推送结果准确、全面。
[0186]
以上所述，仅是本技术的几个实施例，并非对本技术做任何形式的限制，虽然本技术以较佳实施例揭示如上，然而并非用以限制本技术，任何熟悉本专业的技术人员，在不脱离本技术技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。