一种多源图文质量增强与结构解析方法及系统与流程
本技术涉及文档图像处理,特别是涉及一种多源图文质量增强与结构解析方法及系统。
背景技术:
1、随着信息化建设和档案数字化进程的不断推进,合同、票据、报告、说明书及历史档案等文档资料逐渐由纸质形式转化为电子图像形式。通过对文档图像中的文字、表格、图片及版面信息进行识别和处理,可以为文档检索、信息录入、数据管理及业务审核等提供基础数据,因此,图文对象的自动化处理已广泛应用于办公管理、档案管理和数据治理等场景。
2、现有图文处理技术通常采用图像预处理、文字识别、版面分析及信息提取等手段对文档图像进行处理。然而,文档图像可能由扫描、拍摄、传真、复印或历史资料影印等不同方式形成,受采集设备、光照条件、图像压缩、纸张状态及保存环境等因素影响,不同文档图像之间的清晰度、亮度、噪声程度和几何形态存在较大差异,采用相同的处理方式容易导致部分文档处理效果不稳定。同时,对于多栏排版、图文混排、表格嵌套、印章遮挡、页眉页脚及脚注等复杂页面,现有技术难以准确确定不同内容区域之间的对应关系和先后顺序,容易出现文字识别错误、表格内容错位、阅读顺序混乱以及文档结构信息缺失等情况,进而影响结构化数据的准确性和完整性。
3、因此,在多源图文对象的自动化处理中,输入文档图像的质量差异较大、复杂版面内容的识别和结构还原难度较高,以及图文处理结果的稳定性和可靠性不足,成为亟需解决的问题。
技术实现思路
1、本技术提供一种多源图文质量增强与结构解析方法及系统,旨在解决现有技术在多源图文对象的自动化处理中,输入文档图像的质量差异较大、复杂版面内容的识别和结构还原难度较高,以及图文处理结果的稳定性和可靠性不足的问题。
2、第一方面,一种多源图文质量增强与结构解析方法,所述方法包括:
3、获取待处理图文对象及所述待处理图文对象的来源信息,基于所述来源信息构建来源画像,提取所述待处理图文对象的图像质量特征,基于所述图像质量特征构建页面质量表征,并对所述待处理图文对象进行增强前可读性评估,得到基线可读性结果;
4、基于所述来源画像和所述页面质量表征,确定与所述待处理图文对象相匹配的增强算子集合、增强参数及算子执行顺序,并按照所述算子执行顺序,利用所述增强参数控制所述增强算子集合对所述待处理图文对象进行质量增强处理,得到增强图文对象;
5、对所述增强图文对象进行增强后可读性评估,得到增强后可读性结果,将所述增强后可读性结果与所述基线可读性结果进行比较,并在所述增强后可读性结果不满足预设可读性改进条件时,调整所述增强参数或切换增强处理策略,得到目标图文对象;
6、对所述目标图文对象进行版面区域检测,得到多个页面区域,根据所述多个页面区域之间的空间邻接关系、层级关系、阅读顺序关系、跨栏关系及表格区域的候选拓扑关系,构建初始版面结构图;
7、基于所述初始版面结构图对所述多个页面区域进行文字识别和表格结构识别,根据表格结构识别结果对所述初始版面结构图进行修正,得到目标版面结构图,并基于所述目标版面结构图对识别结果进行阅读顺序重排,生成包含识别内容、区域类型、层级关系、来源坐标、页码索引及识别置信度的结构化解析结果;
8、基于增强前后的可读性差异、所述目标版面结构图的结构一致性和对所述结构化解析结果的规则校验结果,确定所述结构化解析结果的综合可信度,并在所述综合可信度低于预设可信度阈值时,将对应的低可信区域发送至复核流程,以及基于复核结果更新所述增强处理策略、结构纠错策略和规则校验优先级。
9、上述方案中,可选地,所述提取所述待处理图文对象的图像质量特征,基于所述图像质量特征构建页面质量表征,并对所述待处理图文对象进行增强前可读性评估,得到基线可读性结果,包括:
10、对所述待处理图文对象进行图像统计分析,确定所述待处理图文对象的分辨率特征、清晰度特征、噪声特征、亮度均衡特征、阴影覆盖特征、几何倾斜特征和版面复杂度特征;
11、对各所述图像质量特征进行归一化处理和特征组织,得到用于表征所述待处理图文对象的质量退化状态的页面质量表征;
12、对所述待处理图文对象进行轻量区域定位,得到候选文字区域,并根据预设基线评估区域类型,从所述候选文字区域中选取至少一个基线评估区域;
13、对所述基线评估区域进行字符粗识别,得到字符置信度、断字率和异常字符比例,并基于所述字符置信度、所述断字率和所述异常字符比例确定所述基线可读性结果。
14、上述方案中,可选地,所述基于所述来源信息构建来源画像,包括:
15、对所述来源信息进行特征解析,确定所述待处理图文对象对应的采集方式属性、分辨率属性、图像格式属性和压缩属性中的至少一种来源属性;
16、对各所述来源属性进行编码和组合,得到所述来源画像;
17、根据所述来源画像从预设来源配置库中调用对应的增强参数模板、版面类别先验和规则校验优先级,得到来源配置信息;
18、将所述来源画像、所述来源配置信息和所述页面质量表征进行关联,得到用于选择增强算子、配置增强参数及确定算子执行顺序的增强路由输入。
19、上述方案中,可选地,所述基于所述来源画像和所述页面质量表征,确定与所述待处理图文对象相匹配的增强算子集合、增强参数及算子执行顺序,包括:
20、将所述来源画像和所述页面质量表征输入预设的增强策略选择函数,从候选增强算子库中确定与所述待处理图文对象相匹配的候选增强算子集合;
21、根据所述页面质量表征中各图像质量特征相对于对应质量基准的偏离程度,对所述候选增强算子集合进行筛选和优先级排序,得到目标增强算子集合及目标算子执行顺序;
22、根据所述来源画像对应的增强参数模板和各所述图像质量特征相对于对应质量基准的偏离程度,确定所述目标增强算子集合中各增强算子的处理参数;
23、将所述目标增强算子集合、所述目标算子执行顺序及各所述增强算子的处理参数进行组合,得到用于处理所述待处理图文对象的目标增强策略。
24、上述方案中,可选地,所述基于所述来源画像确定所述目标增强算子集合及所述目标算子执行顺序,包括:
25、根据所述来源画像确定所述待处理图文对象属于拍照图文对象、扫描图文对象、传真图文对象或档案影印图文对象中的一种,得到来源类型结果;
26、当所述来源类型结果为拍照图文对象时,选取透视恢复算子、阴影补偿算子和局部锐化算子;当所述来源类型结果为扫描图文对象时,选取去斑降噪算子、背景抑制算子和栏结构恢复算子;当所述来源类型结果为传真图文对象时,选取去斑降噪算子、背景抑制算子和字符连通修复算子;当所述来源类型结果为档案影印图文对象时,选取背景退化抑制算子、字符连通修复算子和局部超分辨算子,得到来源适配算子集合;
27、根据所述来源适配算子集合中各增强算子的处理依赖关系,对各所述增强算子进行排序,其中,在所述来源适配算子集合包含几何纠偏类算子时,先执行所述几何纠偏类算子,再依次执行噪声或背景处理类算子、对比度处理类算子和局部细节处理类算子,得到来源适配增强链路;
28、按照所述来源适配增强链路对所述待处理图文对象进行质量增强处理,得到所述增强图文对象。
29、上述方案中,可选地,所述对所述增强图文对象进行增强后可读性评估,并在所述增强后可读性结果不满足预设可读性改进条件时,调整所述增强参数或切换增强处理策略,包括:
30、在所述增强图文对象中确定与增强前可读性评估所对应的增强后评估区域,对所述增强后评估区域进行字符粗识别,得到所述增强后可读性结果;
31、根据所述增强后可读性结果和所述基线可读性结果,确定增强前后的可读性差值,并根据所述可读性差值确定所述质量增强处理对应的可读性变化状态;
32、当所述可读性变化状态不满足所述预设可读性改进条件时,根据所述增强后可读性结果中字符置信度下降、断字率升高或异常字符比例升高的情况,确定增强劣化类型;
33、根据所述增强劣化类型,降低对应增强算子的处理强度或将对应增强算子的处理参数切换为预设保守参数组,得到至少一个候选增强图文对象;
34、对各所述候选增强图文对象进行可读性评估,将满足所述预设可读性改进条件的候选增强图文对象确定为所述目标图文对象,并关联保存所述待处理图文对象、所述增强图文对象和所述目标图文对象。
35、上述方案中,可选地,所述对所述目标图文对象进行版面区域检测,并构建初始版面结构图,包括:
36、对所述目标图文对象进行版面区域检测,确定各页面区域的区域边界、区域类型和区域检测置信度,得到页面区域节点集合,所述区域类型至少包括标题区域、正文区域、表格区域、图片区域、签章区域、页眉页脚区域和脚注区域;
37、根据所述页面区域节点集合中各页面区域的位置、尺寸及区域类型,确定页面区域之间的邻接关系、包含关系、阅读先后关系和跨栏衔接关系,并确定所述表格区域内部的候选行列边界关系,得到页面区域关系集合;
38、将所述页面区域节点集合作为图节点,将所述页面区域关系集合作为所述图节点之间的连接边,构建候选版面结构图;
39、对所述候选版面结构图进行关系冲突检测和结构完整性校验,并根据检测和校验结果修正存在冲突或缺失的连接边,得到所述初始版面结构图。
40、上述方案中,可选地,所述基于所述初始版面结构图对所述多个页面区域进行文字识别和表格结构识别,根据表格结构识别结果对所述初始版面结构图进行修正,并生成所述结构化解析结果,包括:
41、对所述标题区域、正文区域、页眉页脚区域和脚注区域进行文字识别,得到包含识别文本、文字来源坐标、页码索引和文字识别置信度的文字识别结果;
42、对所述表格区域进行行列边界识别、单元格划分、合并单元格关系识别和表头字段关联,得到包含行列拓扑关系、跨行跨列关系、单元格来源坐标及单元格识别置信度的表格结构识别结果;
43、根据所述表格结构识别结果中的行列拓扑关系、跨行跨列关系和单元格来源坐标,对所述初始版面结构图中的表格区域节点及所述候选行列边界关系进行细化,得到所述目标版面结构图;
44、将所述文字识别结果和所述表格结构识别结果关联至所述目标版面结构图中的对应图节点,得到节点解析结果;
45、根据所述目标版面结构图中的层级关系、阅读先后关系和跨栏衔接关系,对所述节点解析结果进行排列和组合,得到所述结构化解析结果。
46、上述方案中,可选地,所述确定所述结构化解析结果的综合可信度,并基于复核结果更新所述增强处理策略、结构纠错策略和规则校验优先级,包括:
47、根据所述基线可读性结果和所述增强后可读性结果,确定可读性改进评分;
48、根据所述目标版面结构图中图节点和连接边的完整程度、关系冲突情况及阅读顺序连续情况,确定结构一致性评分;
49、对所述结构化解析结果进行标题层级连续性校验、表格单元完整性校验、金额与日期格式校验、页码连续性校验及签章覆盖区域豁免校验,得到规则校验评分;
50、对所述可读性改进评分、所述结构一致性评分和所述规则校验评分进行加权融合,得到所述综合可信度,并根据所述综合可信度确定低可信区域集合;
51、基于所述低可信区域集合生成复核任务,并接收针对所述复核任务的确认结果、修正结果或驳回结果,得到区域复核结果;
52、根据所述区域复核结果生成增量纠错样本,并利用所述增量纠错样本更新所述增强处理策略、所述结构纠错策略和所述规则校验优先级。
53、第二方面,一种多源图文质量增强与结构解析系统,所述系统包括:
54、数据获取模块,用于获取待处理图文对象及所述待处理图文对象的来源信息;
55、质量画像模块,用于基于所述来源信息构建来源画像,提取所述待处理图文对象的图像质量特征,基于所述图像质量特征构建页面质量表征,并对所述待处理图文对象进行增强前可读性评估,得到基线可读性结果;
56、自适应增强模块,用于基于所述来源画像和所述页面质量表征,确定与所述待处理图文对象相匹配的增强算子集合、增强参数及算子执行顺序,对所述待处理图文对象进行质量增强处理,得到增强图文对象,对所述增强图文对象进行增强后可读性评估,并在增强后可读性结果不满足预设可读性改进条件时,调整所述增强参数或切换增强处理策略,得到目标图文对象;
57、版面检测模块,用于对所述目标图文对象进行版面区域检测,得到多个页面区域;
58、结构图恢复模块,用于根据所述多个页面区域之间的空间邻接关系、层级关系、阅读顺序关系、跨栏关系及表格区域的候选拓扑关系,构建初始版面结构图;
59、结构化解析模块,用于基于所述初始版面结构图对所述多个页面区域进行文字识别和表格结构识别,根据表格结构识别结果对所述初始版面结构图进行修正,得到目标版面结构图,并基于所述目标版面结构图对识别结果进行阅读顺序重排,生成包含识别内容、区域类型、层级关系、来源坐标、页码索引及识别置信度的结构化解析结果;
60、可信校验模块,用于基于增强前后的可读性差异、所述目标版面结构图的结构一致性和对所述结构化解析结果的规则校验结果,确定所述结构化解析结果的综合可信度,并在所述综合可信度低于预设可信度阈值时确定对应的低可信区域;
61、复核回流模块,用于根据所述低可信区域生成复核任务,接收所述复核任务对应的复核结果,并基于所述复核结果更新所述自适应增强模块的增强处理策略、所述结构图恢复模块的结构纠错策略和所述可信校验模块的规则校验优先级。
62、相比现有技术,本技术至少具有以下有益效果:
63、本技术基于对现有技术问题的进一步分析和研究,认识到在多源图文对象的自动化处理中,输入文档图像的质量差异较大、复杂版面内容的识别和结构还原难度较高,以及图文处理结果的稳定性和可靠性不足的问题,通过获取待处理图文对象的来源信息和图像质量特征,分别构建来源画像和页面质量表征,并以二者共同确定增强算子集合、增强参数及算子执行顺序,使质量增强处理能够适应不同采集来源及不同质量退化状态,从而减少采用统一处理方式造成的增强效果不稳定;在此基础上,通过建立基线可读性结果并对增强前后的可读性进行比较,在增强效果不满足预设可读性改进条件时调整增强参数或切换增强处理策略,使所得目标图文对象在改善清晰度、噪声、亮度或几何形态的同时,避免因过度增强造成字符失真、细节丢失或识别性能下降;进一步地,通过检测目标图文对象中的多个页面区域,并依据页面区域之间的空间邻接关系、层级关系、阅读顺序关系、跨栏关系及表格区域的候选拓扑关系构建初始版面结构图,再结合文字识别和表格结构识别结果对初始版面结构图进行修正并重排识别结果,使分散的文字、表格及其他页面内容能够按照其实际结构关系进行组织,从而提高多栏排版、图文混排及复杂表格场景下的结构还原准确性;最后,通过融合增强前后的可读性差异、目标版面结构图的结构一致性和结构化解析结果的规则校验结果确定综合可信度,并对低可信区域进行复核及反馈更新,使不可靠的解析结果能够被及时识别和修正,由此提高多源图文处理结果的稳定性、完整性和可靠性,进而解决输入文档图像质量差异较大、复杂版面内容识别及结构还原难度较高,以及图文处理结果可靠性不足的问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com