基于级联模型和数据增强的法律命名实体识别方法及系统与流程

1.本发明涉及中文语言处理及识别技术领域，尤其涉及基于级联模型和数据增强的法律命名实体识别方法及系统。


背景技术：

2.使用人工智能技术建立智慧法院系统，能够帮助法务人员对相似案件作出裁决，提高办案的效率。要对法律文书进行语义理解，首先要解决的就是法律实体的识别问题。ner(named entity recognition，命名实体识别)是指从文本中抽取特定的命名实体的过程，是一个序列标注的分裂任务，对每一个输入的字符，赋予可能性最大的标注序列。如输入“武汉市”，那么输出对应“武”的标签为“b
‑
l”。前部分的“b”包含着实体的标识信息，后部分“l”是用户定义的特定属性的信息。传统的ner任务将实体和属性作为一个组合标记进行识别。
3.现有的中文命名实体识别方法主要分为机器学习方法和深度学习方法。机器学习方法需要预先设计规则模式，然后通过字符串搜索和匹配的手段实现实体的识别。但易受预先规则的限制，可移植性较差，对未登录词的识别效果不佳。深度学习方法相比机器学习方法具有更高的准确性，但仍存在实体嵌套、实体堆叠等问题。长度较长和相关联性较强的法律实体，会导致上述问题更加严重。例如“上海市静安区西苏州路85弄静安河滨花园小区”在法律文书中被视作为一个地址实体，而传统的方法在识别时往往会在“上海市”、“静安区”处进行划分，无法达到法律实体识别的要求。


技术实现要素：

4.本发明主要目的在于，提供一种基于级联结构和数据增强的法律文书法律命名实体识别方法，通过大量的数据，训练一个级联结构的深度学习经验模型，对输入的中文法律文书中的命名实体自动进行识别，同时，通过对法律文书进行标签线性化数据增强操作，提高数据的数量以及质量，从而使上述深度模型具有更高的鲁棒性和适用性。
5.本发明所采用的技术方案是：提供一种基于级联模型和数据增强的法律命名实体识别方法，其特征在于，包括以下步骤：
6.s1、对经过数据增强后的训练数据进行处理，构建带有上下文语义的字符级别的向量表示，并构建带有上下文语义的词语级别的向量表示；
7.s2、将字符级别的向量表示和词语级别的向量表示进行融合，将每个字符向量后面放置与其对应的词语向量，完成向量拼接，生成融合字词特征的向量表示；
8.s3、使用bilstm双向长短记忆神经网络对融合字词特征的向量表示进行处理，提取文本的深层特征；
9.s4、使用两个crf条件随机场，分别按照实体规则和属性规则对bilstm层的结果进行解码，得到实体序列和属性序列；并将实体序列和属性序列进行拼接，得到最后的标签表示；
10.s5、将最后的标签表示与验证集进行比较，调整模型参数信息，再次训练，直至验证集测试的指标水平趋于稳定，选取稳定前，指标性能最好的模型；
11.s6、输入中文法律文书案列，模型自动进行判断并输出法律文书中的法律实体。
12.接上述技术方案，训练数据为经过增强后的数据与经过过采样后的原始数据进行1:1混合得到。
13.接上述技术方案，具体使用标签线性化数据增强方法对法律判决文书数据集进行处理，将数据的实体标签放置于中文字符前，生成增强数据。
14.接上述技术方案，具体按照“b，m，e，o”实体规则和“d，t，n，l”属性规则对bilstm层的结果进行解码。
15.接上述技术方案，文本的深层特征为带有上下文信息的特征向量。
16.本发明还提供了一种基于级联模型和数据增强的法律命名实体识别系统，包括：
17.字符级别向量表示构建模块，用于对经过数据增强后的训练数据进行处理，构建带有上下文语义的字符级别的向量表示；
18.词语级别向量表示构建模块，用于对经过数据增强后的训练数据进行处理，构建带有上下文语义的词语级别的向量表示；
19.字词特征融合模块，用于将字符级别的向量表示和词语级别的向量表示进行融合，将每个字符向量后面放置与其对应的词语向量，完成向量拼接，生成融合字词特征的向量表示；
20.bilstm处理模块，用于使用bilstm双向长短记忆神经网络对融合字词特征的向量表示进行处理，提取文本的深层特征；
21.双crf处理模块，用于使用两个crf条件随机场，分别按照实体规则和属性规则对bilstm层的结果进行解码，得到实体序列和属性序列；并将实体序列和属性序列进行拼接，得到最后的标签表示；
22.模型训练模块，用于将最后的标签表示与验证集进行比较，调整模型参数信息，再次训练，直至验证集测试的指标水平趋于稳定，选取稳定前，指标性能最好的模型；
23.识别模块，用于输入中文法律文书案列，通过模型自动进行判断并输出法律文书中的法律实体。
24.接上述技术方案，训练数据为经过增强后的数据与经过过采样后的原始数据进行1:1混合得到。
25.接上述技术方案，具体使用标签线性化数据增强方法对法律判决文书数据集进行处理，将数据的实体标签放置于中文字符前，生成增强数据。
26.接上述技术方案，具体按照“b，m，e，o”实体规则和“d，t，n，l”属性规则对bilstm层的结果进行解码。
27.本发明还提供了一种计算机存储介质，其内存储有可被处理器执行的计算机程序，该计算机程序执行接上述技术方案所述的基于级联模型和数据增强的法律命名实体识别方法。
28.本发明产生的有益效果是：本发明通过将字符级别和词语级别的双特征进行融合，在词语级别向量本身带有词语边界信息的基础上，通过引入带有上下文语义的字符级别向量来修正因分词错误而导致的词语级别向量所导致的误差，通过自带的词边界信息能
够改善法律长实体识别难的问题。此外使用级联结构对bilstm层提取的特征进行解码，具体通过两个crf对属性和实体两种方式进行解码，引入更多的实体本身的信息去规范crf的输出结果，从而提高模型的效果。
附图说明
29.下面将结合附图及实施例对本发明作进一步说明，附图中：
30.图1为本发明实施例基于级联模型和数据增强的法律命名实体识别方法流程图；
31.图2为本发明实施例的数据增强方法原理；
32.图3为本发明实施例的模型结构图；
33.图4为本发明实施例的字符、词语级别向量拼接原理示意图。
具体实施方式
34.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
35.本发明融合字符级别和词语级别的双重特征，引入词与词之间的相关性的同时，通过字符信息对分词误差导致的错误进行修正；进一步采用级联结构将传统ner任务分解成实体识别和属性识别两个级联的子任务，提高了识别效果。
36.如图1所示，本发明实施例基于级联模型和数据增强的法律命名实体识别方法，包括以下步骤：
37.s1、对经过数据增强后的训练数据进行处理，构建带有上下文语义的字符级别的向量表示，并构建带有上下文语义的词语级别的向量表示；
38.s2、将字符级别的向量表示和词语级别的向量表示进行融合，将每个字符向量后面放置与其对应的词语向量，完成向量拼接，生成融合字词特征的向量表示；
39.s3、使用bilstm双向长短记忆神经网络对融合字词特征的向量表示进行处理，提取文本的深层特征；
40.s4、使用两个crf条件随机场，分别按照实体规则和属性规则对bilstm层的结果进行解码，得到实体序列和属性序列；并将实体序列和属性序列进行拼接，得到最后的标签表示；
41.s5、将最后的标签表示与验证集进行比较，调整模型参数信息，再次训练，直至验证集测试的指标水平趋于稳定，选取稳定前，指标性能最好的模型；
42.s6、输入中文法律文书案列，模型自动进行判断并输出法律文书中的法律实体。
43.针对法律标注数据匮乏的问题，本发明主要采用标签线性化的数据增强方法对数据样本规模进行扩充。如图2所示，本发明采用bmeo标记方法对数据进行标记。其中b代表实体开头begin，m代表实体中间middle，e代表实体尾部end，o代表非实体部分object。而标记后面的部分代表实体的属性，本发明中l代表地址属性，d代表毒品属性，n代表人名属性，w代表质量属性。比如“武汉市”对应的标记为“b
‑
l m
‑
l e
‑
l”。图2中null行代表原始数据。sr(synonyms replace)表示不考虑停用词，在句子中随机抽取n个词替换成从同义词词典中抽取的同义词的同义词替换数据增强方法；rd(randomly delete)表示将句子中的每个词，
以概率p随机删除的随机删除数据增强方法；rs(randomly swap)表示随机交换句子中两个词的位置，该过程可以重复n次的随机替换数据增强方法。label行表示标签线性化数据增强方法。该方法通过将除了上述o以外的标签，放置于实体词语之前进行数据增强。在生成新数据所对应的bmeo标注时，将添加的标签作为“o”类进行标记。以此保证在不破坏句子完整性的情况下，进一步强调实体在句中所处位置的信息。
44.数据增强获取新数据的算法如下：
45.步骤1：使用标签线性化数据增强方法，对中文法律数据进行处理，将原数据中除了o以外的实体标记置于对应的中文字符前方，生成如图2的label行中文段所示的增强数据；
46.步骤2：对步骤1生成的增强数据进行标注。其中中文字符按照原始数据标记情况进行标记，因数据增强而添加到数据中的字符，所对应的标记为“o”，生成如图2的label行所示的标注；
47.步骤3：对原始数据进行过采样操作，根据样本标签少的样本的规律去生成更多该标签样本，这样使得数据趋向于平衡。
48.本发明通过标签线性化数据增强方法能够扩大数据数量，从而增幅模型的识别效果。
49.本发明实施例中，将增强数据与过采样后的原始数据进行1:1混合，得到最后的训练数据集。本发明通过在大量数据上训练一个经验模型来进行法律命名实体的自动识别，数据质量和数量越好，模型效果越好。
50.模型训练部分通过如图3所示的级联结构深度学习模型对上述增强后的数据进行训练，在不断优化后得到一个能够实现法律文书实体识别的深度学习模型，以此解决法律文书的命名实体识别问题。
51.ner是一个序列标注任务，对每一个输入的字符，赋予可能性最大的标注序列。如输入“武汉市”，那么“武”对应的输出标签为”“b
‑
l”。标签前部分的“b”包含着实体的标识信息，后部分“l”是用户定义的特定属性的信息。传统的ner任务将实体和属性作为一个组合标记进行识别。本发明将其重构成两个级联的子任务，采用两个crf对实体标签序列和属性标签序列分别进行解码，以此提高模型效果。
52.融合字词特征的级联模型的模型框架如图3所示。给定一个句子s，有s
c
＝{c1，c2，
…
，c
i
}，s
w
＝{w1,w2,
…
w
t
}两种输入。其中s
c
是句子s字符级别的输入，c
i
表示句子s中的第i个字符；s
w
是词语别的输入，w
t
表示句子s中的第t个词语。
53.对于字符级别的输入s
c
，bert的输入模块通过式(1)会将每个输入c
i
编码成向量e
i
,得到输入序列然后作为bert内部transformer编码网络的输入词表示，进一步计算出输入序列的字符级别的向量表示其中，e
token
表示字嵌入，e
seg
表示句子嵌入，e
pos
表示位置嵌入。
54.e
i
＝e
token
(c
i
) e
seg
(c
i
) e
pos
(c
i
)
ꢀꢀꢀꢀꢀꢀꢀ
(1)
55.对于词语级别的输入s
w
，每个词的词嵌入表示如式(2)所示。
[0056][0057]
其中emb
v
×
d
是使用word2vec得到的词向量映射，v表示词表大小，d表示向量维度。
将映射得到的词向量表示通过self
‑
attention模块，通过式(3)～(5)可以得到每个词语的内部表示
[0058][0059][0060][0061]
在字词向量拼接过程中，因为词语级别的向量预先进行分词，字词级别的向量不能完全进行匹配。本发明通过图4所示的方法，在每个字符向量后面放置与其对应的词语向量，完成向量拼接。式(6)将字符级别和词语级别的向量表示进行拼接。
[0062][0063]
本发明实施例引入字符级别和词语级别的双特征，在词语级别向量本身带有词语边界信息的基础上，通过引入带有上下文语义的字符级别向量来修正因分词错误而导致的词语级别向量所导致的误差。通过自带的词边界信息能够改善法律长实体识别难的问题。
[0064]
将得到的向量由bilstm进行(7)～(12)的处理，得到带有内部特征信息的h
i
(bilstm的特征是可以获取带有上下文特征的特征向量。这种向量互相之间的权值和比重可以反映出彼此在中文内的指代消息。比如“苹果是红色的。”，苹果和红色经过bilstm产生的向量会在数值或者加权后有呈现相关性。这就是带有上下文信息的特征向量。)其中σ是sigmoid函数；
⊙
是点乘运算；x
t
是t时刻的输入向量；h
t
是隐含状态向量，储存着t时刻前后的所有信息。u不同门对输入向量x
t
的权重；w是不同门对隐含状态向量h
t
的权重；b是不同门的偏置向量。
[0065]
i
t
＝σ(w
i
h
t
‑1 u
i
x
i
b
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0066]
ft＝σ(w
f
h
t
‑1 u
f
x
t
b
f
)
ꢀꢀꢀꢀ
(8)
[0067][0068][0069]
o
t
＝σ(w
o
h
t
‑1 u
o
x
t
b
o
)
ꢀꢀꢀꢀꢀꢀ
(11)
[0070]
h
t
＝o
t
‑1⊙
tanh(c
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0071]
crf通过式(13)对实体和种类两种标签进行解码，其中a是转化矩阵，表示该字符第y
i
个标签的分数。利用softmax得到归一化后的概率，如式(14)所示：
[0072][0073][0074]
完成上述操作后，得到实体标签序列与种类标签序列
[0075]
将其按照式(15)进行拼接，得到最终的结果序列w＝{w1,w2,
…
,w
n
}。根据标签对应
关系，可以得到最终的输出。
[0076][0077]
使用级联结构(两个crf并联的结构)对bilstm层提取的特征进行解码，通过两个crf对属性和实体两种方式进行解码，可引入更多的实体本身的信息去规范crf的输出结果，从而提高模型的效果。
[0078]
综上，将上述步骤进行简化后，模型训练部分的步骤为：
[0079]
步骤1：使用bert预训练模型对数据(经过数据增强处理后的数据)进行向量化处理，完成中文文本的向量化工作，构建带有上下文语义的字符级别的向量表示
[0080]
步骤2：使用self
‑
attention自注意力机制对词语级别的数据(经过数据增强处理后的数据)进行处理，完成中文文本的向量化工作，构建带有上下文语义的词语级别的向量表示
[0081]
步骤3：将字符级别l
c
和词语级别的向量表示l
w
，按照图3所示方法进行式(6)所示的向量拼接，生成融合字词特征的向量表示l；
[0082]
步骤4：使用bilstm双向长短记忆神经网络对融合字词信息的特征向量l进行处理，提取文本的深层特征；
[0083]
步骤5：使用crf条件随机场，分别按照“b，m，e，o”实体规则和“d，t，n，l”属性规则两种规则bilstm层的结果进行解码，得到实体序列和属性序列
[0084]
步骤6：将步骤5中的序列w1和w2按照式(15)所示的方法进行拼接，得到最后的标签表示w；
[0085]
步骤7：将预测的结果与正确结果进行比较，使用optimizer优化器调整模型参数信息，再次训练；
[0086]
步骤8：重复上述操作，直至评价指标p，r，f水平趋于稳定；
[0087]
步骤9：选取指标性能最好的模型，作为实际应用的模型；
[0088]
步骤10：输入中文法律文书案列“余海洋吸食海洛因”，模型自动进行判断，输出每个字符对应的标注序列“b
‑
n、m
‑
n、e
‑
n、o、o、b
‑
d、m
‑
d、e
‑
d”，通过标注对应的含义，解析出句子中的法律实体“余海洋(人名属性实体)”、“海洛因(毒品属性实体)”。
[0089]
实施示例：
[0090]
一、场景描述
[0091]
输入：犯罪嫌疑人余海洋涉嫌吸食毒品海洛因10.2g。
[0092]
输出：余海洋(姓名属性实体)、海洛因(毒品属性实体)、10.2g(质量属性实体)。
[0093]
二、具体步骤
[0094]
本发明解决法律命名实体识别方法
[0095]
步骤1：使用标签线性化数据增强方法，对中文法律数据进行处理，将原数据中除了o以外的实体标记，至于对应的中文字符前方，生成如说明书附图中图1的label行中文段所示的增强数据；
[0096]
步骤2：对步骤1生成的增强数据进行标注。其中中文字符按照原始数据标记情况进行标记，因数据增强而添加到数据中的字符，所对应的标记为“o”，生成如说明书附图中图1的label行所示的标注；
[0097]
步骤3：对原始数据进行过采样操作，根据样本标签少的样本的规律去生成更多该标签样本，这样使得数据趋向于平衡；
[0098]
步骤4：将增强数据与过采样后的原始数据进行1:1混合，得到训练数据集。
[0099]
步骤5：使用bert预训练模型对训练数据(经过数据增强处理后的数据)进行向量化处理，完成中文文本的向量化工作，构建带有上下文语义的字符级别的向量表示
[0100]
步骤6：使用self
‑
attention自注意力机制对词语级别的训练数据(经过数据增强处理后的数据)进行处理，完成中文文本的向量化工作，构建带有上下文语义的词语级别的向量表示
[0101]
步骤7：将字符级别l
c
和词语级别的向量表示l
w
，按照图3所示方法进行式(6)所示的向量拼接，生成融合字词特征的向量表示l；
[0102]
步骤8：使用bilstm双向长短记忆神经网络对融合字词信息的特征向量l进行处理，提取文本的深层特征；
[0103]
步骤9：使用crf条件随机场，分别按照“b，m，e，o”实体规则和“d，t，n，l”属性规则两种规则bilstm层的结果进行解码，得到实体序列和属性序列
[0104]
步骤10：将步骤9中的序列w1和w2按照式(15)所示的方法进行拼接，得到最后的标签表示w；
[0105]
步骤11：将预测的结果与正确结果进行比较，使用optimizer优化器调整模型参数信息，再次训练；
[0106]
步骤12：重复上述操作，直至评价指标p，r，f水平趋于稳定；
[0107]
步骤13：选取指标性能最好的模型，作为实际应用的模型；
[0108]
步骤14：输入中文法律文书案列“余海洋吸食海洛因”，模型自动进行判断，输出每个字符对应的标注序列“b
‑
n、m
‑
n、e
‑
n、o、o、b
‑
d、m
‑
d、e
‑
d”，通过标注对应的含义，解析出句子中的法律实体“余海洋(人名属性实体)”、“海洛因(毒品属性实体)”。
[0109]
该系统在win10环境下基于python运行，所使用的深度学习框架为tensorflow，版本为1.1.2。实验结果表明，本发明提出的方法对法律文书(毒品类)命名实体识别方法优于传统法。
[0110]
本发明还提供一种基于级联模型和数据增强的法律命名实体识别系统，包括：
[0111]
字符级别向量表示构建模块，用于对经过数据增强后的训练数据进行处理，构建带有上下文语义的字符级别的向量表示；
[0112]
词语级别向量表示构建模块，用于对经过数据增强后的训练数据进行处理，构建带有上下文语义的词语级别的向量表示；
[0113]
字词特征融合模块，用于将字符级别的向量表示和词语级别的向量表示进行融
合，将每个字符向量后面放置与其对应的词语向量，完成向量拼接，生成融合字词特征的向量表示；
[0114]
bilstm处理模块，用于使用bilstm双向长短记忆神经网络对融合字词特征的向量表示进行处理，提取文本的深层特征；
[0115]
双crf处理模块，用于使用两个crf条件随机场，分别按照实体规则和属性规则对bilstm层的结果进行解码，得到实体序列和属性序列；并将实体序列和属性序列进行拼接，得到最后的标签表示；
[0116]
模型训练模块，用于将最后的标签表示与验证集进行比较，调整模型参数信息，再次训练，直至验证集测试的指标水平趋于稳定，选取稳定前，指标性能最好的模型；
[0117]
识别模块，用于输入中文法律文书案列，通过模型自动进行判断并输出法律文书中的法律实体。
[0118]
上述实施例的系统主要用于实现基于级联模型和数据增强的法律命名实体识别方法实施例，各个模块的功能参见上文方法实施例，在此不一一赘述。
[0119]
本技术还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、服务器、app应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于基于级联模型和数据增强的法律命名实体识别系统，被处理器执行时实现方法实施例的基于级联模型和数据增强的法律命名实体识别方法。
[0120]
综上，本发明的创新之处在于：
[0121]
1.引入字符级别和词语级别的双特征，在词语级别向量本身带有词语边界信息的基础上，通过引入带有上下文语义的字符级别向量来修正因分词错误而导致的词语级别向量所导致的误差。通过自带的词边界信息能够改善法律长实体识别难的问题。
[0122]
2.使用级联结构对bilstm层提取的特征进行解码，通过两个crf对属性和实体两种方式进行解码，引入更多的实体本身的信息去规范crf的输出结果，从而提高模型的效果。
[0123]
3.法律领域命名实体识别数据没有标准的标注数据集，人工采集及处理的法律文书数据集往往质量和数量都不理想。而深度学习方法是通过在大量数据上训练一个经验模型，来进行法律命名实体的自动识别，数据质量和数量越好，模型效果越好。通过标签线性化数据增强方法能够扩大数据数量，从而增幅模型的识别效果。
[0124]
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。