一种非结构化法律文档的要素解析归档方法及系统与流程

摘要: 本发明涉及文档归档处理,具体而言,涉及一种非结构化法律文档的要素解析归档方法及系统。背景技术:1、司法、诉责险等业务场景积累有大量判决书、合同等法律文书,此类文...
一种非结构化法律文档的要素解析归档方法及系统与流程

本发明涉及文档归档处理,具体而言,涉及一种非结构化法律文档的要素解析归档方法及系统。

背景技术:

1、司法、诉责险等业务场景积累有大量判决书、合同等法律文书,此类文书属于无固定版式的非结构化文档,业务使用时需借助自然语言处理解析引擎从中提取当事人、金额、日期等要素并归档。

2、常规解析引擎按固定层级架构与统一置信度门槛运行,而法律文书的要素分布差异显著,统一策略下稀疏区块的要素因置信度偏低被漏提,稠密区块又混入噪声要素;稠密区块集中时个别解析层级负载超限拥塞,其余层级资源闲置;且解析结果与具体业务的表单体系相互割裂,入库数据无法回查原文出处,归档的完整性、均衡性与可追溯性均难以保障,也无法满足司法档案管理的严格要求。

技术实现思路

1、鉴于此,本发明提出了一种非结构化法律文档的要素解析归档方法及系统,旨在解决现有法律文书解析归档采用统一处理策略、稀疏区块漏提与稠密区块噪声并存、要素重复入库且归档结果与业务表单割裂不可溯源的问题。

2、本发明提出了一种非结构化法律文档的要素解析归档方法,包括:

3、获取非结构化法律文档的原始文本片段、业务类型标识以及解析引擎的各区块提取结果;

4、根据所述业务类型标识确定预设要素提取基准阈值,并根据所述原始文本片段计算所述非结构化法律文档中各文档区块的要素密度,将所述要素密度与所述预设要素提取基准阈值进行对比,得到各文档区块的要素分布状态,其中,所述要素分布状态包括要素稀疏状态和要素稠密状态;

5、获取所述非结构化法律文档的文本结构变异频度,根据所述文本结构变异频度和要素分布状态确定置信度调节因子;

6、若为所述要素稀疏状态,基于所述置信度调节因子和预设要素校准模块调节所述解析引擎的各区块提取结果;若为所述要素稠密状态,根据要素分布不均衡量和所述置信度调节因子调整所述解析引擎的层级架构与要素分配;

7、在完成要素稀疏状态或要素稠密状态下的调整之后,将所述解析引擎的各区块提取结果按文档区块标识进行溯源关联,并基于所述业务类型标识和所述溯源关联生成要素解析归档记录,存储至预设的归档库。

8、进一步地,根据所述业务类型标识确定预设要素提取基准阈值,包括:

9、获取多个文档类型标识数据,并根据所述业务类型标识和所述多个文档类型标识数据对初始要素提取基准阈值进行调整,得到调整后的预设要素提取基准阈值。

10、进一步地,获取所述非结构化法律文档的文本结构变异频度,根据所述文本结构变异频度和要素分布状态确定置信度调节因子,包括:

11、对所述原始文本片段进行结构切分,确定相邻文档区块之间的文本结构变化次数,并根据所述文本结构变化次数计算所述文本结构变异频度;

12、根据所述要素分布状态确定基准调节系数,所述基准调节系数在所述要素稀疏状态时取第一基准值,在所述要素稠密状态时取第二基准值;

13、根据所述文本结构变异频度确定变异惩罚项,所述变异惩罚项与所述文本结构变异频度正相关;

14、根据所述基准调节系数与所述变异惩罚项的乘积,确定所述置信度调节因子。

15、进一步地,若为所述要素稀疏状态,基于所述置信度调节因子和预设要素校准模块调节所述解析引擎的各区块提取结果,包括:

16、根据所述置信度调节因子修正所述解析引擎的初始要素判定置信度限值,得到修正后的有效置信度限值;

17、从所述解析引擎的各区块提取结果中,筛选置信度小于初始要素判定置信度限值,且大于或等于所述有效置信度限值的候选要素实例;

18、将筛选出的候选要素实例补充至对应文档区块的提取结果中。

19、进一步地,若为所述要素稠密状态,根据要素分布不均衡量和所述置信度调节因子调整所述解析引擎的层级架构与要素分配,包括:

20、根据所述置信度调节因子对所述解析引擎的初始要素判定置信度限值进行修正,得到修正后的第二有效置信度限值;

21、根据所述第二有效置信度限值对所述解析引擎在当前文档区块中已提取的要素实例进行过滤,保留有效要素实例;

22、根据各提取层级对应的所述有效要素实例的数量与对应层级的标准要素容量的比值,确定各提取层级的初始负载指数;

23、基于所述要素分布不均衡量对各提取层级的所述初始负载指数进行不均衡补偿,得到各提取层级的要素负载饱和度;

24、识别所述要素负载饱和度超过预设饱和度上限的要素过载层级,以及低于预设饱和度下限的要素欠载层级;

25、在所述要素过载层级中,根据所述要素分布不均衡量确定过载程度等级,将所述要素过载层级的单通道串行提取架构重构为与所述过载程度等级对应数量的多通道并行提取架构,并将所述要素过载层级的待处理要素序列按语义边界切分后分配至各并行提取通道;

26、将所述要素欠载层级的空闲提取资源重分配至所述多通道并行提取架构。

27、进一步地,将所述要素过载层级的待处理要素序列按语义边界切分后分配至各并行提取通道,包括:

28、根据所述要素过载层级的待处理要素序列中相邻要素实例之间的上下文语义关联强度,确定语义边界切割点;

29、根据所述语义边界切割点将所述待处理要素序列切分为多个语义连贯子序列;

30、获取各所述并行提取通道的通道处理容量,根据所述通道处理容量将各所述语义连贯子序列分配至对应的并行提取通道,其中,当所述语义连贯子序列的要素实例数量超出所述通道处理容量时,根据版式标签边界对所述语义连贯子序列进行二次切分后再分配。

31、进一步地,将所述解析引擎的各区块提取结果按文档区块标识进行溯源关联,并基于所述业务类型标识和所述溯源关联生成要素解析归档记录之前,还包括:

32、基于预设的目标业务法律实体识别规则标签库,从调整后的所述解析引擎的各区块提取结果中,定向抽取与目标业务风险评估相关的结构化字段;

33、将所述结构化字段与预设的目标业务规则进行耦合匹配,生成所述结构化字段对应的法律实体专用映射分类结果;

34、将所述结构化字段及所述法律实体专用映射分类结果自动填充至标准化的要素表单中,以构建目标业务的数智化归档能力。

35、进一步地,基于预设的目标业务法律实体识别规则标签库,从调整后的所述解析引擎的各区块提取结果中,定向抽取与目标业务风险评估相关的结构化字段,包括:

36、根据所述目标业务法律实体识别规则标签库,确定与目标业务风险评估相关的目标法律实体类型集合;

37、从调整后的所述解析引擎的各区块提取结果中,筛选出属于所述目标法律实体类型集合的候选要素实例;

38、对所述候选要素实例进行置信度过滤,将置信度高于预设目标业务要素置信阈值的候选要素实例确定为所述结构化字段。

39、进一步地,将所述结构化字段及所述法律实体专用映射分类结果自动填充至标准化的要素表单中,包括:

40、根据所述法律实体专用映射分类结果,确定所述结构化字段在所述标准化的要素表单中的目标填充位置;

41、根据所述结构化字段对应的文档区块标识,建立所述目标填充位置与所述非结构化法律文档中原始文本片段之间的溯源关联;

42、将所述结构化字段、所述法律实体专用映射分类结果及所述溯源关联填充至所述标准化的要素表单中,并将填充后的所述要素表单作为要素解析归档记录存储至所述归档库。

43、与现有技术相比,本发明的有益效果在于:

44、获取非结构化法律文档的原始文本片段、业务类型标识以及各区块提取结果;根据业务类型标识确定预设要素提取基准阈值,根据原始文本片段计算要素密度,得到要素分布状态;根据文本结构变异频度和要素分布状态确定置信度调节因子;若为要素稀疏状态,基于预设要素校准模块调节各区块提取结果;若为要素稠密状态,根据要素分布不均衡量调整层级架构与要素分配;将解析引擎的各区块提取结果按文档区块标识进行溯源关联,生成要素解析归档记录,提升要素分布差异悬殊的法律文档的解析能力,保证归档数据的完整性、准确性。

45、另一方面,本技术还提供了一种非结构化法律文档的要素解析归档系统,包括:

46、结果提取模块,用于获取非结构化法律文档的原始文本片段、业务类型标识以及解析引擎的各区块提取结果;

47、密度判断模块,用于根据所述业务类型标识确定预设要素提取基准阈值,并根据所述原始文本片段计算所述非结构化法律文档中各文档区块的要素密度,将所述要素密度与所述预设要素提取基准阈值进行对比,得到各文档区块的要素分布状态,其中,所述要素分布状态包括要素稀疏状态和要素稠密状态;

48、置信确定模块,用于获取所述非结构化法律文档的文本结构变异频度,根据所述文本结构变异频度和要素分布状态确定置信度调节因子;

49、要素调整模块,用于若为所述要素稀疏状态,基于所述置信度调节因子和预设要素校准模块调节所述解析引擎的各区块提取结果;若为所述要素稠密状态,根据要素分布不均衡量和所述置信度调节因子调整所述解析引擎的层级架构与要素分配;

50、文档归档模块,用于在完成要素稀疏状态或要素稠密状态下的调整之后,将所述解析引擎的各区块提取结果按文档区块标识进行溯源关联,并基于所述业务类型标识和所述溯源关联生成要素解析归档记录,存储至预设的归档库。