生态环境案卷多模态解析坐标级标签生成方法及系统与流程
本发明涉及文档智能解析,具体涉及一种生态环境案卷多模态解析坐标级标签生成方法及系统。
背景技术:
1、本部分的陈述仅仅提供了与本发明相关的背景技术,并不必然构成现有技术。
2、随着行政执法数字化工作持续推进,生态环境领域产生大量纸质扫描与电子混合形式案卷材料,案卷内部涵盖笔录、决定书、现场影像、签章文件等多种载体。行业普遍依托智能文档解析工具完成案卷数字化转写,多模态识别、版面区域分割、视觉目标检测等技术逐步应用于案卷处理流程。现有解析手段能够分别提取文本内容、表格框架与图像内视觉对象,为案卷电子化存储、线上评查提供基础支撑。各类文档解析工具持续优化识别精度,可适配版式多样的行政文书,逐步替代纯人工摘抄、归档的传统作业模式,数字化解析已成为案卷流转与复核的前置基础环节。
3、现有案卷解析流程缺少统一坐标追溯体系,各类文本、表格、视觉对象的识别结果分属独立数据结构,无法统一映射至原始案卷页面。页面校正处理产生的坐标变换过程未留存可逆记录,标准化图像内识别出的各类元素难以精准定位回原始文件。同时系统无法自动区分长案卷内多份独立文书边界,视觉标识缺少关联上下文语义标签,也不能综合多维度识别情况判定页面可靠程度并生成复核指引,后续评查环节需要重复解析原始案卷,不同模块间证据信息难以同步核对,增加案卷复核的操作成本。
技术实现思路
1、为了解决现有案卷解析缺少统一坐标追溯体系、各类识别数据无法同源映射原始案卷的不足,本发明提供了一种生态环境案卷多模态解析坐标级标签生成方法及系统,完整搭建案卷接入、页面可逆预处理、版面分块、多模态识别、文书区间划分、坐标回映校验、质量风险评估、结构化封装全链路处理流程,实现所有文本表格与视觉证据统一锚定原始pdf页面坐标,提高生态环境案卷智能评查的数据同源性与复核便捷性。
2、为了实现上述目的,本发明采用如下技术方案:
3、第一方面,本发明提供了一种生态环境案卷多模态解析坐标级标签生成方法。
4、一种生态环境案卷多模态解析坐标级标签生成方法,包括以下过程:
5、获取原始案卷、案卷类型、地区参数与规则版本,校验文件完整性后,生成案卷稳定标识与页面索引;
6、基于所述页面索引渲染案卷页面并执行预处理操作,同步记录每一步处理对应的正向变换矩阵与逆变换矩阵,将全部矩阵按处理顺序组合形成页面变换链,输出标准化页面图像与所述页面变换链;
7、对所述标准化页面图像开展版面区域检测,合并重叠版面候选框,依据版面块位置、分栏、包含以及连线关联构建块级版面图,由所述块级版面图分流得到文本表格块与视觉候选块;
8、分别对所述文本表格块、所述视觉候选块进行处理,输出带标准化页面坐标的段落集合、表格结构集合与绑定上下文的视觉标签记录;
9、结合所述页面索引、所述段落集合内文本、案卷目录、文书标题、文书落款、页码连续特征识别文书起止边界,生成文书区间集合;
10、调取所述页面变换链,利用所述页面变换链内逆变换矩阵将所述段落集合坐标、所述表格结构坐标、所述视觉标签记录坐标回映至原始坐标系,执行坐标校验操作;
11、融合所述段落集合识别稳定程度、所述块级版面图恢复完整程度、所述表格结构完整程度、所述视觉标签记录可信程度、所述文书区间集合置信度、所述坐标校验操作结果,计算页面质量值与页面复核风险,生成复核原因码,依据所述页面复核风险、所述复核原因码构建人工复核队列;
12、以所述案卷稳定标识、文书标识为主索引,封装所述段落集合、所述表格结构集合、所述视觉标签记录、所述文书区间集合、所述页面质量值、所述复核原因码、所述人工复核队列,输出结构化案卷包。
13、在本发明第一方面的一种实现方式中,构建块级版面图,包括:
14、合并空间重叠的所述版面候选框;依据各版面块纵向位置、横向分栏、包含关系、连线关联确定版面块阅读顺序;记录每一个版面块对应的块类型、多边形坐标、父子层级关系、检测置信度,形成所述块级版面图。
15、在本发明第一方面的一种实现方式中,对所述文本表格块进行处理,输出带标准化页面坐标的段落集合、表格结构集合,包括:
16、区分印刷体、手写体、表格三类文本匹配对应识别模型,留存词元内容、标准化页面坐标、识别置信度;基于行间距、文本缩进、标点符号、所述版面块阅读顺序合并词元生成所述段落集合;
17、基于横竖分隔线、单元格邻接关系还原表格行列、跨行跨列关联结构,绑定表格字段名称与对应字段值,生成所述表格结构集合。
18、在本发明第一方面的一种实现方式中,对所述视觉候选块进行处理,输出绑定上下文的视觉标签记录,包括:
19、识别所述视觉候选块的元素类别并精确定位边界框;提取元素清晰度、遮挡比例、完整度特征;结合相邻标题文本、相邻字段名称、所述案卷类型计算标签置信度;生成包含原始页码、精确边界框、上下文文本、清晰度、遮挡状态、置信度的所述视觉标签记录。
20、作为本发明第一方面进一步的限定,标签置信度的计算过程,包括:
21、分别获取类别识别得分、定位得分、清晰度得分、遮挡惩罚项;对所述遮挡惩罚项配置负向调节系数;将四类得分分别乘以对应正向或负向调节系数后求和;通过sigmoid函数映射求和结果,得到所述视觉标签记录对应的标签置信度。
22、在本发明第一方面的一种实现方式中,生成文书区间集合,包括:
23、提取所述页面索引、案卷目录、文书标题、文书文号、文书落款、页码连续性特征,生成文书起止候选区间;匹配所述案卷类型对应的文书状态转移顺序,消除交叉重叠的候选区间;
24、将无标题续页归入最近的同类文书区间;输出携带文书标识、起止页码、边界判定依据、边界置信度的所述文书区间集合。
25、在本发明第一方面的一种实现方式中,坐标校验操作,包括:
26、按所述页面变换链逆序组合全部逆变换矩阵,完成坐标回映;
27、校验页面四角坐标回映误差、坐标越界情况、同类视觉对象重叠率;校验结果不满足预设阈值时,标记坐标异常信息并写入所述复核原因码。
28、在本发明第一方面的一种实现方式中,页面质量值的计算过程,包括:
29、分别获取所述段落集合对应的ocr稳定度、所述块级版面图对应的版面恢复度、所述表格结构集合对应的表格完整度、所述视觉标签记录对应的视觉可信度四项指标;
30、为四项指标分别配置非负权重,全部权重数值之和为一;将每项指标与对应权重相乘后累加,得到当前页面对应的所述页面质量值。
31、在本发明第一方面的一种实现方式中,页面复核风险的计算过程,包括:
32、用数值一减去所述页面质量值,得到基础风险数值;统计当前页面缺失的关键要素数量;将所述关键要素数量与风险放大系数相乘;将相乘结果与所述基础风险数值相加,相加结果为所述页面复核风险,依据所述页面复核风险数值高低对页面排序,生成所述人工复核队列。
33、第二方面,本发明提供了一种生态环境案卷多模态解析坐标级标签生成系统。
34、一种生态环境案卷多模态解析坐标级标签生成系统,包括:
35、案卷接入子模块,被配置为:获取原始案卷、案卷类型、地区参数与规则版本,校验文件完整性后,生成案卷稳定标识与页面索引;
36、页面预处理子模块,被配置为:基于所述页面索引渲染案卷页面并执行预处理操作,同步记录每一步处理对应的正向变换矩阵与逆变换矩阵,将全部矩阵按处理顺序组合形成页面变换链,输出标准化页面图像与所述页面变换链;
37、版面分析子模块,被配置为:对所述标准化页面图像开展版面区域检测,合并重叠版面候选框,依据版面块位置、分栏、包含以及连线关联构建块级版面图,由所述块级版面图分流得到文本表格块与视觉候选块;
38、多模态识别模块,被配置为:分别对所述文本表格块、所述视觉候选块进行处理,输出带标准化页面坐标的段落集合、表格结构集合与绑定上下文的视觉标签记录;
39、文书边界识别子模块,被配置为:结合所述页面索引、所述段落集合内文本、案卷目录、文书标题、文书落款、页码连续特征识别文书起止边界,生成文书区间集合;
40、坐标对齐子模块,被配置为:调取所述页面变换链,利用所述页面变换链内逆变换矩阵将所述段落集合坐标、所述表格结构坐标、所述视觉标签记录坐标回映至原始坐标系,执行坐标校验操作;
41、质量评分子模块,被配置为:融合所述段落集合识别稳定程度、所述块级版面图恢复完整程度、所述表格结构完整程度、所述视觉标签记录可信程度、所述文书区间集合置信度、所述坐标校验操作结果,计算页面质量值与页面复核风险,生成复核原因码,依据所述页面复核风险、所述复核原因码构建人工复核队列;
42、结构化案卷包输出子模块,被配置为:以所述案卷稳定标识、文书标识为主索引,封装所述段落集合、所述表格结构集合、所述视觉标签记录、所述文书区间集合、所述页面质量值、所述复核原因码、所述人工复核队列,输出结构化案卷包。
43、与现有技术相比,本发明的有益效果是:
44、本发明利用可逆坐标变换、文书区间识别、多模态标签绑定与质量复核评估相关处理步骤,能够对应改善现有案卷解析存在的坐标追溯、数据割裂相关缺陷。本发明在页面预处理阶段留存完整变换链,可将标准化图像内提取的段落、表格、视觉元素坐标统一回映至原始案卷坐标系,让各类解析数据共用一套原始页面定位基准,缓解不同识别结果数据结构互不兼容的情况。本发明依托版面图结合案卷目录、落款等特征划分独立文书区间,可将长篇案卷拆分为分段结构化数据,减少文书区间错分带来的解析偏差。本发明为签章、影像等视觉元素生成携带上下文的坐标级标签,让视觉证据关联对应文书语义,便于后续评查时理解视觉对象对应的案卷内容。本发明综合多维度识别指标计算页面质量与复核风险,自动形成人工复核队列,能够指引工作人员优先处理可信度偏低的案卷页面,减少无差别人工核查产生的工作量。本发明将全部解析信息整合为统一结构化案卷包,后续评查环节无需重复读取原始案卷开展二次解析,可在一定程度上降低了案卷复核过程中的重复计算开销,提升案卷数字化解析后评查环节的数据使用便利程度。
45、本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com