用于多页图像文档的多模态信息抽取方法及系统与流程
本发明属于智能文档处理,具体涉及用于多页图像文档的多模态信息抽取方法及系统。
背景技术:
1、智能文档处理旨在将扫描件、图像型 pdf、票据、合同、档案等非结构化或半结构化文档转化为结构化数据。传统方案通常采用“图像预处理—ocr—版面分析—规则或模型抽取”的级联路径,在版式固定、扫描质量较好、字段位置稳定的场景中具有一定工程可用性。随着多模态大模型的发展,模型可直接接收页面图像并同时理解文字、版面和视觉线索,为端到端信息抽取提供了新的可能。现有技术主要分布于ocr级联抽取、模板/版面定位抽取、文档分类及分类驱动抽取、多模态大模型文档理解、多页文档视觉问答以及接口限流与熔断等方向。
2、然而,现有多页图像文档多模态抽取技术仍存在以下突出问题:
3、1.“页×字段”全量组合导致冗余推理与成本失控:
4、同一字段在多页文档中往往只出现一次或少数几次,但逐页全字段方案会强迫其被重复推理,api 调用次数与成本随页数、字段数呈乘积级增长,难以支撑企业级大批量处理。
5、2.任务编排缺乏成本意识与策略自适应能力:
6、不同“页/字段/图片数”组合方式在单次请求中的固定开销、图像token开销与字段token开销差异较大。现有方法通常固定采用某一种组织方式,无法根据页数、字段数、页组大小和规则组大小自适应选择总成本更低的编排策略,也难以利用多图合一请求摊薄固定调用开销。
7、3.视觉语义信息丢失,ocr 级联误差放大
8、基于ocr级联的方案在“图像→文本”一步即丢失版面、印章、水印、表格框线等视觉信息,且ocr识别误差会直接级联放大为抽取误差。在低清扫描、印章遮挡、倾斜拍照及复杂表格场景中,金额、账号、发票号等关键字段任意一位字符错误即可能导致字段级准确率归零。
9、4.长文档关键字段定位慢:
10、合同、档案等文档的关键字段多分布于首尾页,例如甲方名称常在首页、落款日期与签章常在末页。逐页顺序扫描需遍历至末尾才能命中,中间页产生大量无效调用,推断时延长,首次有效结果返回时间难以满足高时效业务需求。
11、5.实体级纠错与归一化能力缺失:
12、对公司、机构名称等长实体,模型或ocr输出常存在字形相近错别字、漏字、繁简/全半角不一致等问题。现有方案缺乏可配置、带歧义判据的自动校正与归一化机制,导致下游业务无法直接使用抽取结果,仍需大量人工复核。
13、6.并发调度与流量控制粗放:
14、简单并发缺乏令牌桶整形、pid速率闭环、动态并发伸缩、慢启动、熔断与降速机制,容易触发上游限流并导致失败重试。静态限流在上游容量波动时存在限额偏小导致吞吐不足、限额偏大导致429错误、超时和重试风暴的两难问题,系统在高负载或异常场景下易发生雪崩。
15、7.多文档分段分类能力缺位:
16、真实场景中一份多页材料常混排发票、合同、银行回单、行程单等多种文档类型,需要“逐页分类+连续同类页合并为区间”的能力,以便后续按区间套用不同抽取模板。现有整份文档单一类别分类方案无法满足混排场景;同时,分类任务与抽取任务往往采用两套独立调度、限流与重试机制,架构复杂且治理策略不统一。
17、综上,现有技术分别覆盖 ocr 识别、模板抽取、票据处理、多模态模型训练、文档问答或通用限流等单一维度,但均未公开或暗示将“逐页分类→连续同类页区间聚合→类别驱动抽取→多图合一成本规划→字段级滚动消融→高并发闭环控制→结果融合与实体校正”统一纳入同一多模态文档处理管线。因此,多页图像文档在多模态信息抽取与文档分段分类场景下,仍存在准确率、处理效率、经济成本与系统稳定性难以兼顾的问题。
技术实现思路
1、本发明是为了克服现有技术中,现有基于ocr级联或模板匹配的多页图像文档处理方法,存在ocr误差级联与视觉信息丢失、逐页逐字段全量组合导致成本高、混排文档分段分类缺失、长文档关键字段定位慢、实体纠错缺失及并发控制粗放等问题,提供了一种能够逐页分类并聚合连续同类区间、按类别差异化抽取、成本驱动编排、字段级滚动跳过、高并发闭环控制及结果校正的用于多页图像文档的多模态信息抽取方法及系统。
2、为了达到上述发明目的,本发明采用以下技术方案:
3、用于多页图像文档的多模态信息抽取方法,包括如下步骤;
4、s1,将多页图像文档中的各页图像统一转换为适配多模态大模型输入的图像数据;
5、s2,为每页图像构造单标签分类任务,利用多模态大模型逐页判定文档类别,并按页序将连续且同类别的页面合并为分类区间;
6、s3,按分类区间的文档类别选择对应的字段规则集合和提示词;
7、s4,根据页数和字段规则数,将多页图像与字段规则组合为候选抽取任务,并支持将同一规则对应的多页图像合并为多图合一请求;
8、s5,对步骤s4生成的候选抽取任务,基于字段完成状态进行字段级滚动调度:以字段为粒度维护字段完成状态,对配置为命中后跳过的字段,若该字段已在任一页图像中被成功抽取,则在后续页面的任务调度中跳过该字段,仅将未命中字段加入待调度任务;所述字段完成状态根据抽取结果实时更新;
9、s6,通过统一控制面执行抽取任务,所述统一控制面包括全局信号量、异步队列、令牌桶整形、基于队列长度的pid闭环调速、熔断和指数退避重试,且分类任务与抽取任务共享同一工作线程池、令牌桶和熔断重试策略;
10、s7,收集抽取结果,为字段值回填来源页码,对指定字段执行归一化与自动校正,输出结构化抽取结果及分类区间。
11、作为优选,在步骤s1中,图像接入支持dataurl直通、http/https图像下载和对象存储相对路径读取,并将接入的各页图像统一转换为base64编码的图像数据;其中,http/https图像下载通过异步客户端执行,对象存储读取将同步存储i/o封装于线程池中执行,在图像转换阶段通过信号量限制下载并发。
12、作为优选,在步骤s2中,将分类任务统一建模为文档类别单字段任务,分类提示词包含候选类别列表、类别说明和严格json输出约束;分类响应解析时,仅接受预定义类别,非法类别或空结果标记为未分类;分类任务与抽取任务复用同一响应解析与页码回填机制。
13、作为优选,在步骤s3中,提示词采用系统级硬约束与字段三要素分离的方式构造;其中,每个字段以显示名、内部编码和语义说明三要素描述,所述显示名用于所述多模态大模型输出的json键,所述内部编码用于系统内部关联;所述提示词要求所述多模态大模型输出为纯json,所有字段均须出现,未抽到有效值的字段以空数组表示;对所述多模态大模型的响应进行清洗时,兼容不同上游模型返回的消息响应结构,剥离代码块标记与思维链文本,截取符合json格式的对象。
14、作为优选,在步骤s4中,所述候选抽取任务通过以下方式生成:基于固定成本、图像成本和规则成本进行成本估算,根据估算总成本在页优先策略与规则优先策略之间选择编排方式;其中,所述页优先策略以页面或页组为外层维度,所述规则优先策略以字段或字段组为外层维度;当单次请求最大图片数小于等于1时,自动采用页优先策略。
15、作为优选,在步骤s4中,所述多图合一请求将同一条规则对应的多页图像在单次请求内一并提交,要求所述多模态大模型按页组织的数组返回,所述数组包括多个页面对象,每个页面对象包含页码和字段;若所述多图合一请求因所述多模态大模型的接口限制而失败,则自动降级为页数更少的页组或单页任务。
16、作为优选,在步骤s5中,所述字段完成状态以字段内部编码为唯一标识,字段可配置为一次抽取或命中后跳过,配置为一次抽取或命中后跳过的字段在成功抽取后,后续页面不再调度该字段;页面访问顺序策略包括严格逐页、前瞻滚动、边缘优先和分组滚动;其中,边缘优先按首页、末页、次首页、次末页的顺序,从文档两端向中间交替访问;分组滚动将字段规则与页面组织为二维任务矩阵,按反对角线生成并行批次,所述反对角线为在所述二维任务矩阵中规则所在行与页面所在列之和相同的线;在每批次开始前,对已命中且配置为跳过的字段规则执行三角消融;所述三角消融指:将该字段规则在后续页面方向上的候选节点从批次中剔除,使任务矩阵中形成跳过区域。
17、作为优选,在步骤s6中,所述统一控制面通过以下方式进行调速与保护:
18、pid闭环调速机制根据当前队列长度与目标队列长度的误差调整令牌生成速率;熔断机制包括闭合状态、断开状态和半开状态,断开状态冷却后进入半开状态进行探测;当收到限流响应时,立即将当前令牌生成速率减半,并对超时、临时网络异常和可重试上游错误执行指数退避重试;服务启动或熔断恢复后执行慢启动,并根据平均响应时间和队列深度动态调整工作线程并发数。
19、作为优选,在步骤s7中,对指定字段执行多级归一化、长度分桶候选检索和编辑距离计算,所述指定字段包括公司或机构名称;
20、根据歧义判断条件判断是否执行自动校正,所述歧义判断条件包括:
21、对于短名称,保留原始值且不进行校正;最优候选与次优候选之间的编辑距离差值不小于配置裕量;校正结果的相似度不低于阈值;
22、仅当最优候选唯一且满足所述歧义判断条件时,执行自动校正,并在校正时保留原始值、编辑距离和相似度注解;结果收集时过滤空字符串、空数组与无效对象,并为每条有效匹配写入来源页码。
23、本发明还提供了用于多页图像文档的多模态信息抽取系统包括:
24、图像接入与预处理模块,用于将各页图像统一转换为适配多模态大模型输入的图像数据;
25、逐页多模态分类与区间聚合模块,用于逐页判定文档类别,并将连续同类页合并为分类区间;
26、类别驱动抽取配置模块,用于按分类区间选择字段规则集合和提示词;
27、成本驱动任务规划模块,用于基于成本估算生成候选抽取任务,并支持多图合一请求;
28、字段级增量滚动调度模块,用于以字段为粒度维护字段完成状态,对配置为命中后跳过的字段,成功抽取后在后续页面不再调度,仅调度未命中字段;
29、高并发多模态推理引擎,用于通过统一控制面执行抽取任务,所述控制面包括全局信号量、异步队列、令牌桶整形、pid闭环调速、熔断和重试,且分类任务与抽取任务共享同一控制面;
30、结果融合与校正模块,用于为字段值回填来源页码,对指定字段进行归一化与自动校正,输出结构化结果及分类区间。
31、本发明与现有技术相比,有益效果是:(1)显著降低调用次数与经济成本:分类前置机制使系统仅在对应类别区间上激活相应字段与提示词,从源头切断不相关字段在不相关页面上的无效推理;字段级增量滚动调度以字段内部编码(tag_code)追踪字段命中状态,已命中字段跨页自动跳过,使应用程序接口(api)调用次数从“页数×字段数”的乘积级复杂度收敛至与字段实际出现位置相关的近似线性规模;成本驱动规划器在页优先(page-major)与规则优先(rule-major)之间按成本估算模型自动择优,多图合一请求进一步摊薄单次调用的固定开销。三者协同作用,使大批量多页文档处理的总调用成本得到系统性压缩:(2)大幅提升处理效率与响应速度:边缘优先(edge_rolling)策略从文档首尾两端向中间交替访问,使合同首页的甲方名称、末页的签章日期等高频关键字段在首轮即可命中,显著缩短首个有效结果返回时间(ttfr,time to first result);配合高并发异步工作线程池(workerpool)、令牌桶平滑整形、比例-积分-微分(pid)闭环调速及动态并发伸缩,使整体处理时延在批量场景下进一步收窄;(3)从根本上消除ocr误差级联,提升抽取准确率:本发明以页面图像作为多模态大模型的直接输入,端到端完成版面理解、文字识别与字段抽取,完整保留并利用版面布局、表格框线、印章、水印、手写批注等视觉语义信息,避免了ocr级联方案中识别误差向抽取环节的传递放大;公司/机构名称名录校正机制通过多级归一化、长度分桶剪枝编辑距离与多重歧义判据,进一步修正长实体识别结果,有效提升关键字段的输出质量;(4)增强系统鲁棒性与稳定性:本发明构建了统一的高并发调用控制面,将全局信号量、令牌桶整形、pid队列闭环调速、动态worker伸缩、慢启动预热、渐进式熔断(closed/open/half_open)、指数退避重试与429快速降速有机结合。该控制面使系统在上游限流、网络抖动或异常恢复场景下具备自适应调节能力,显著降低429错误、雪崩与无效重试的概率,在批量高吞吐场景中保持稳定的处理性能;(5)任务编排自动化与规模自适应:成本驱动的任务规划器在页数/规则数规模变化时无需人工调参,自动选择页优先(page-major)或规则优先(rule-major)中成本更低的编排方式,避免了固定编排策略在任务规模改变时产生的成本劣化。该机制使本方案能够平滑适配从单页单字段到数百页数百字段的宽幅任务规模;(6)原生支持多文档分段分类:本发明将分类粒度下沉至“逐页”级别,通过逐页多模态分类与连续同类页区间聚合,天然适配一份材料中混排发票、合同、银行回单等多种文档类型的真实业务场景;分类区间作为抽取阶段的先验信息,使后续差异化模板/提示词的套用具备明确的范围边界,而非依赖整份文档的单一类别假设;(7)增强可运营性与可追溯性:分类区间和字段级抽取结果均关联来源页码,支持下游按页分段处理、核验与流转;字段定义采用“显示名|内部编码|语义说明”三要素分离设计,兼顾模型可读性与系统可关联性;名录校正环节保留原始值、编辑距离与相似度注解,每次校正均可追溯,便于人工复核、审计与回滚;统一鉴权封装与响应清洗层进一步降低了运维复杂度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com