基于注意力机制的司法文本分类方法、装置及存储介质与流程
本发明涉及文本分类,尤其涉及一种基于注意力机制的司法文本分类方法、装置及存储介质。
背景技术:
1、司法文本具有高度结构化的体裁特征和严格的逻辑论证模式,事实描述、争议焦点、法院说理和判决依据等不同部分对分类的贡献截然不同,通用的注意力权重分配往往会被高频程式化表述分散,未能突出构成要件事实和法律适用等决定性要素,同时,司法文本中涉及罪名构成要件、证据链关系和法条之间的援引与竞合,不同分类的案件发生率相差较大,但涉及不同判决的司法文本的语言描述中会出现不少相同或相似的表述,易混淆文本分类,通用注意力机制缺乏对这类司法文本的分类能力,导致注意力分布可能与法律专业的判定存在偏差,影响了分类的准确性。因此,亟需设计更加契合司法文本特性、能够有效融入法律领域知识的注意力机制,提升司法文本分类的准确性。
2、中国专利申请公开号:cn112784047a,公开了一种基于自注意力机制的可控可解释司法文本分类方法,属于自然语言处理文本分类领域。该方法提出了leadformer模型,在leadformer上人为的设定每个头的作用,分为关键词头与多粒度上下文头,做到宏观上的可控可解释,在关键词头上,以自注意力机制为着力点,采用多任务学习,文本分类任务结合关键词抽取任务,使模型受人为控制地注意在可作为分类解释的词语上,做到微观上的可控可解释。该发明应用于司法领域,能够在高准确率分类的同时,给出分类的解释,并且人为控制注意力矩阵注意在与此类案由相关的关键词上,使相关人员能信任此分类结果;由此可见,上述技术方案存在以下问题:未考虑到不同分类的案件发生率相差较大,从而导致文本分类的准确度低。
技术实现思路
1、为此,本发明提供一种基于注意力机制的司法文本分类方法、装置及存储介质,用以克服现有技术中未考虑到不同分类的案件发生率相差较大,从而导致文本分类的准确度低的问题。
2、为实现上述目的,一方面,本发明提供一种基于注意力机制的司法文本分类方法,包括:
3、基于司法文本结构选取司法文本中的若干文本数据,筛选出各所述文本数据的特征词汇数据以生成词向量序列;
4、基于所述词向量序列中各词汇的词关系权重,将各所述特征词汇数据进行分类,基于核心信息词汇集对所述司法文本进行第一次分类,以及计算背景信息词汇集与背景信息词汇库的背景相似度;
5、计算所述第一次分类的模糊分类度,结合所述背景相似度判定所述司法文本是否为特征司法文本;
6、响应于判定所述司法文本为特征司法文本,在所述背景信息词汇集中选取若干目标词汇节点,计算各所述目标词汇节点与若干特殊信息词汇库中的特殊词汇节点的节点相似度;
7、基于所述节点相似度设置关联边以构建各所述特殊信息词汇库对应的词汇关联图谱并计算所述词汇关联图谱的关联度;
8、基于所述关联度对所述特征司法文本进行第二次分类,基于所述特征司法文本的背景信息词汇集与第二次分类结果对应的各历史司法文本的历史背景信息词汇集的偏差度值进行偏差校验;
9、响应于所述偏差校验通过,将所述特征司法文本发送至第二次分类结果对应的特殊信息词汇库中以更新所述特殊信息词汇库。
10、进一步地,计算所述第一次分类的模糊分类度的过程包括,
11、分析所述司法文本进行第一次分类的结果获取若干分类结果概率值;
12、统计所述分类结果概率值大于预设结果概率阈值的若干分类结果,计算所述分类结果不唯一的分类结果概率值的概率均值为所述模糊分类度。
13、进一步地,结合所述背景相似度判定所述司法文本是否为特征司法文本的过程包括,
14、基于所述模糊分类度和所述背景相似度计算生成特征文本系数;
15、将所述特征文本系数与预设文本系数阈值进行比较,根据比较结果判定所述司法文本是否为特征司法文本。
16、进一步地,响应于所述特征文本系数大于或等于所述预设文本系数阈值,则判定所述司法文本为特征司法文本;
17、响应于所述特征文本系数小于所述预设文本系数阈值,则判定所述司法文本不为特征司法文本。
18、进一步地,计算各所述目标词汇节点与若干特殊信息词汇库中的特殊词汇节点的节点相似度的过程包括,
19、统计所述背景信息词汇集中各词汇的出现次数;
20、基于所述背景信息词汇集中各词汇的词关系权重和所述出现次数生成词汇表征值;
21、确定所述词汇表征值大于预设表征阈值的判定结果对应的词汇为所述目标词汇节点;
22、将各所述目标词汇节点依次放入各特殊信息词汇库中,计算各所述目标词汇节点与特殊信息词汇库中的各特殊词汇节点的节点相似度。
23、进一步地,计算所述词汇关联图谱的关联度的过程包括,
24、基于所述节点相似度在各所述目标词汇节点与特殊信息词汇库中的各特殊词汇节点间设置关联边以构建各所述特殊信息词汇库对应的词汇关联图谱;
25、统计各所述词汇关联图谱的关联边数量为所述关联度。
26、进一步地,基于所述特征司法文本的背景信息词汇集与第二次分类结果对应的各历史司法文本的历史背景信息词汇集的偏差度值进行偏差校验的过程包括,
27、将所述特征司法文本的背景信息词汇集与第二次分类结果对应的各历史司法文本的历史背景信息词汇集进行文本对齐;
28、计算对齐后的所述特征司法文本的背景信息词汇集与第二次分类结果对应的各历史司法文本的历史背景信息词汇集的偏差度值;
29、若所述偏差度值大于或等于预设的偏差阈值,则判定偏差校验通过;
30、若所述偏差度值小于预设的偏差阈值,则判定偏差校验未通过。
31、进一步地,响应于所述偏差校验未通过,将所述特征司法文本设置为单个特殊信息词汇库以区别于现有若干特殊信息词汇库。
32、第二方面,本发明还提供一种基于注意力机制的司法文本分类装置,包括:
33、预处理模块,其用以基于司法文本结构选取司法文本中的若干文本数据,筛选出各所述文本数据的特征词汇数据以生成词向量序列,基于所述词向量序列中各词汇的词关系权重,将各所述特征词汇数据进行分类,基于核心信息词汇集对所述司法文本进行第一次分类,以及计算背景信息词汇集与背景信息词汇库的背景相似度;
34、分类模块,其用以计算所述第一次分类的模糊分类度,结合所述背景相似度判定所述司法文本是否为特征司法文本,响应于判定所述司法文本为特征司法文本,在所述背景信息词汇集中选取若干目标词汇节点,计算各所述目标词汇节点与若干特殊信息词汇库中的特殊词汇节点的节点相似度;
35、图谱分析模块,其用以基于所述节点相似度设置关联边以构建各所述特殊信息词汇库对应的词汇关联图谱并计算所述词汇关联图谱的关联度;
36、校验模块,其用以基于所述关联度对所述特征司法文本进行第二次分类,基于所述特征司法文本的背景信息词汇集与第二次分类结果对应的各历史司法文本的历史背景信息词汇集的偏差度值进行偏差校验,响应于所述偏差校验通过,将所述特征司法文本发送至第二次分类结果对应的特殊信息词汇库中以更新所述特殊信息词汇库。
37、第三方面,本发明还提供一种基于注意力机制的司法文本分类装置,所述计算机可执行指令在被执行时实现第一方面中任一项所述的基于注意力机制的司法文本分类方法的步骤。
38、与现有技术相比,本发明的有益效果在于,本发明通过基于司法文本结构选取司法文本中的若干文本数据,筛选出各文本数据的特征词汇数据以生成词向量序列,基于词向量序列中各词汇的词关系权重,将词关系权重较大的词汇分为核心信息词汇集,将词关系权重较小的词汇分为背景信息词汇集,根据不同的词关系权重对司法文本进行第一次分类,然后根据背景信息词汇库中的相似程度表征该司法文本是否属于发生概率较小的特殊司法文本,通过选取特殊司法文本中的目标词汇节点,结合特殊信息词汇库构建词汇关联图谱,根据词汇关联图谱对司法文本进行二次分类,改变了通用文本分类全文本无差别处理的局限,通过优先提取核心段落数据,过滤冗余内容,使特征提取聚焦于真正影响案件定性的语义片段,解决了小样本特殊案件难以标注和训练的难题,特殊司法文本通常在核心事实要素上与普通案件差异不大,但在背景信息上具有独特性,通过背景信息词汇库的相似度计算,能在无需大量标注数据的情况下,精准筛选出这些发生概率较小的特殊案件,进一步提高了基于注意力机制的司法文本分类的准确度。
39、尤其,本发明通过分析司法文本进行第一次分类,即常规的注意力机制下的分类的结果获取第一次分类中不同的结果对应的分类结果概率值,统计所述分类结果概率值大于预设结果概率阈值的若干分类结果,若分类的结果不唯一,表征第一次分类结果准确性不足,背景信息词汇库由不常出现的司法文本中的语义性词汇组成,计算背景信息词汇集与背景信息词汇库的背景相似度,能够表征该司法文本是否包含较多不常出现的司法文本中的语义性词汇,而上述的语义性词汇对于司法分类较为重要,且由于个别司法文本极少,容易造成分类偏向高频类别,通过结合模糊分类度和背景相似度进行分析,能够表征第一次分类是否准确,对第一次分类不准确的司法文本判定为特征司法文本,当司法文本中包含较多背景信息词汇库中的语义词汇时,即使其核心事实要素与普通案件相似,也会被识别判定为特征司法文本,这一机制能够有效避免因训练样本不足导致的罕见案件被强制归入高频类别的问题,使新型疑难案件得到应有的重视和精准处理,进一步提高了基于注意力机制的司法文本分类的准确度。
40、尤其,本发明通过统计背景信息词汇集中各词汇的出现次数,基于背景信息词汇集中各词汇的词关系权重和出现次数生成词汇表征值,词关系权重和出现次数任意一项增高都会体现出司法文本的特殊性,通过词汇表征值确定目标词汇节点,将各目标词汇节点依次放入各特殊信息词汇库中不同两个相邻词汇之间,依次计算各目标词汇节点与特殊信息词汇库中的各特殊词汇节点的节点相似度,通过遍历所有相邻词汇对进行插入计算,系统能够发现目标词汇与特殊词汇之间的间接关联和交叉关联,通过分析目标词汇在特殊信息词汇库中的整体上下文环境,能够准确区分它们之间的细微法律差异,降低误匹配率,避免小样本学习中的过拟合问题,进一步提高了基于注意力机制的司法文本分类的准确度。
41、尤其,本发明通过对司法文本的第二次分类进行偏差校验,将司法文本与第二次分类结果包含的各历史司法文本进行背景信息词汇集的偏差度计算,若偏差度较大,表征第二次分类结果准确,若偏差度较小,表征该司法文本与其他文本均不相似且无法归类,故将该司法文本单独设置为新的特殊信息词汇库,传统二次分类方法即使面对完全不匹配的文本,也会强行将其归入最相似的现有类别,导致系统性偏差。本步骤通过设定偏差度阈值,能够明确区分可归类文本和不可归类文本,避免了将新型案件错误归入旧有类别的问题,进一步提高了基于注意力机制的司法文本分类的准确度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com