一种基于轻量化多模态大模型的护照信息提取方法及装置与流程

摘要: 本发明涉及文档智能处理,具体涉及一种基于轻量化多模态大模型的护照信息提取方法及装置。背景技术:1、随着口岸边检、酒店入住、机场值机等身份核验场景的数字化升级,关...
一种基于轻量化多模态大模型的护照信息提取方法及装置与流程

本发明涉及文档智能处理,具体涉及一种基于轻量化多模态大模型的护照信息提取方法及装置。

背景技术:

1、随着口岸边检、酒店入住、机场值机等身份核验场景的数字化升级,关键信息提取(kie)已成为证件智能处理的核心技术。传统证件识别方案以光学字符识别(ocr)为核心,仅能完成字符级转录,需额外配合规则匹配实现字段提取,效率与准确率难以兼顾。近年来多模态大模型技术快速发展,具备图文联合理解与版面分析能力,可直接从文档图像中输出结构化字段结果,大幅提升了证件信息提取的自动化程度。在护照机等终端设备场景中,出于数据安全与响应效率考量,行业对本地离线部署、低延迟、高准确率的证件提取方案需求持续提升,对模型的体积、精度、部署门槛均提出了更为严苛的要求。

2、现有多模态关键信息提取方案存在明显的技术短板,无法适配终端场景的综合需求:一方面,基于云端部署的通用多模态大模型体积可达数gb,依赖网络传输与云端算力支撑,无法在普通pc端或终端设备实现本地离线部署,而护照等旅行证件包含大量个人敏感信息,云端数据传输存在隐私泄露风险,网络波动也会直接降低核验流程的稳定性;另一方面,传统轻量化ocr方案虽可实现本地部署,但仅能识别文本内容,无法理解文档的版面结构与视觉布局信息,字段匹配易出现错位、漏识别问题,且缺乏护照等旅行证件的专项领域适配,护照号、有效期等高敏感字段提取错误率较高,难以同时满足护照机等终端场景对体积、精度、隐私与部署便利性的综合需求。

技术实现思路

1、为解决现有技术中的问题,本发明提供一种基于轻量化多模态大模型的护照信息提取方法及装置。

2、本发明提供的一种基于轻量化多模态大模型的护照信息提取方法,包括如下步骤:

3、步骤s1,构建训练数据集;训练数据集包括第一部分护照领域核心样本以及第二部分通用文档辅助样本;第一部分护照领域核心样本覆盖至少一类旅行证件样本,用于证件字段提取训练;

4、第二部分通用文档辅助样本用于执行ocr能力保持、开放域文档提取任务,维持模型图文理解能力;训练数据集整体包含全字段提取、指定字段提取、证件真伪辅助判断及ocr能力保持四种子任务,所有样本均采用统一的结构化标注格式;

5、步骤s2,构建教师模型和学生模型,其中教师模型为全精度多模态大模型,学生模型为经过量化压缩的多模态大模型;学生模型内置护照领域适配层,用于适配证件类文档的字段语义特征与版面布局特征;

6、步骤s3,以训练数据集为训练输入,采用量化感知训练结合知识蒸馏的训练策略,通过加权混合损失函数对学生模型进行端到端训练,在模型量化压缩的约束下保持证件信息提取精度;

7、步骤s4,将训练完成的学生模型部署于本地终端设备,接收输入的护照证件图像,输出结构化的证件关键信息提取结果。

8、本发明作进一步改进,在步骤s1中还包括对训练数据集进行质量重构处理,具体包括:对数据集样本依次执行格式标准化、去重处理、短答案弱信号样本过滤、任务比例均衡化及结构化校验处理。

9、本发明作进一步改进,去重处理采用图像感知哈希结合文本精确匹配的双重判定规则:先计算样本图像的感知哈希值,将汉明距离小于10的样本判定为近似重复;再对样本的文本答案去除标点与空白后进行精确匹配,完全一致的样本仅保留一条;

10、任务比例均衡化,用于调整全字段提取、指定字段提取、证件真伪辅助判断、ocr能力保持四种子任务的数据量,使各子任务数据量达到合理分布。

11、本发明作进一步改进,学生模型包括依次连接的视觉编码器、特征重采样模块与语言模型骨干;

12、视觉编码器采用siglip视觉transformer结构,用于提取证件图像的视觉特征与版面特征;

13、特征重采样模块采用perceiver resampler结构,用于将视觉特征转换为与语言模型兼容的token序列,实现视觉-语言特征融合;

14、语言模型骨干为大语言模型结构,用于基于融合特征生成结构化的提取结果。

15、本发明作进一步改进,在步骤s3中加权混合损失函数的表达式为:

16、

17、其中,为语言模型交叉熵损失,用于约束护照领域有监督微调的精度;为知识蒸馏损失,采用kl散度计算学生模型与教师模型输出概率分布的差异,并引入温度系数软化概率分布;为量化损失,用于约束训练过程中三元权重的量化误差;、、为权重系数,分别取值0.6、0.3、0.1。

18、本发明作进一步改进,步骤s3的训练过程分为四个阶段依次执行:

19、阶段一:能力保持与领域预训练,采用包含ocr能力保持任务与开放域提取任务的通用文档辅助样本,在全精度模型上进行继续训练,使模型保留通用文档理解能力并初步适配证件类文档版面特征;

20、阶段二:量化感知训练,对语言模型骨干实施1.58bit三元量化,训练过程中对量化权重进行前向与反向传播,通过直通估计修正量化误差;

21、阶段三:护照领域有监督微调与知识蒸馏,以全精度教师模型的输出软标签与中间层特征为监督信号,在护照领域核心样本上对量化学生模型进行微调,同时通过知识蒸馏损失迁移教师模型的特征表达能力;

22、阶段四:强化学习迭代调优,基于实际推理中的错误案例构建偏好数据集,采用强化学习对模型进行针对性优化。

23、本发明作进一步改进,第二部分通用文档辅助样本取自收据、发票、表单、营养标签、医疗文档中至少一类文档数据集。

24、本发明作进一步改进,护照领域适配层包括领域词表扩展单元与低秩适配单元;

25、领域词表扩展单元用于将护照号、签发国、有效期等证件高频字段名称纳入模型词表,降低字段分词误差;

26、低秩适配单元接入语言模型骨干的注意力层与全连接层,仅训练低秩矩阵参数以完成领域适配,避免全量微调的显存开销与过拟合风险。

27、本发明作进一步改进,在步骤s4中学生模型导出为gguf格式或safetensors格式部署于本地终端,全程离线运行无需网络连接;单张护照证件图像的推理时长为1-3秒,支持批量处理;输出的结构化提取结果为json格式,包含护照号、姓名、国籍、有效期中的至少一种字段信息。

28、本发明作还公开了一种基于轻量化多模态大模型的护照信息提取装置,包括数据集构建模块、模型架构构建模块、模型训练模块和本地推理模块;

29、数据集构建模块,用于构建训练数据集;训练数据集包括第一部分护照领域核心样本以及第二部分通用文档辅助样本;第一部分护照领域核心样本覆盖至少一类旅行证件样本,用于证件字段提取训练;第二部分通用文档辅助样本,用于执行ocr能力保持、开放域文档提取任务,维持模型图文理解能力;训练数据集整体包含全字段提取、指定字段提取、证件真伪辅助判断及ocr能力保持四种子任务,所有样本均采用统一的结构化标注格式;

30、模型架构构建模块,用于构建教师模型和学生模型,其中教师模型为全精度多模态大模型,学生模型为经过量化压缩的多模态大模型;学生模型内置护照领域适配层,用于适配证件类文档的字段语义特征与版面布局特征;

31、模型训练模块,用于以训练数据集为训练输入,采用量化感知训练结合知识蒸馏的训练策略,通过加权混合损失函数对学生模型进行端到端训练,在模型量化压缩的约束下保持证件信息提取精度;

32、本地推理模块,用于将训练完成的学生模型部署于本地终端设备,接收输入的护照证件图像,输出结构化的证件关键信息提取结果。

33、与现有技术相比,本发明的有益效果是:本发明提供一种基于轻量化多模态大模型的护照信息提取方法及装置,解决现有多模态关键信息提取方案要么依赖云端大模型、体积过大无法在pc端本地离线部署,存在数据隐私风险与网络依赖;要么采用轻量化ocr方案,仅能识别文本、无法理解版面结构,且在证件类文档上提取精度不足、领域适配性差,存在难以同时满足护照机等终端场景对体积、精度、隐私与部署便利性的综合需求的问题,具体有益效果如下:

34、1、高精度与轻量化深度兼顾

35、通过量化感知训练与知识蒸馏的融合训练机制,破解传统训练后量化的精度断崖式下降问题。在语言模型骨干1.58bit三元极致量化下,模型精度仍可达全精度模型的84%;整体模型权重压缩至300mb以内,完全满足普通pc端本地部署的体积阈值,实现了大模型“小体积、高精度”的技术突破。

36、2、完整多模态版面理解能力

37、保留完整的siglip视觉编码器与perceiver resampler特征融合架构,可直接解析证件图像的版面结构、字段空间布局与视觉纹理特征,突破传统ocr仅能识别文本字符的技术局限,能够基于版面逻辑精准匹配字段,大幅减少字段错位、跨行识别错误等问题。

38、3、低成本高适配的领域迁移能力

39、采用“领域词表扩展+低秩适配”组合的护照领域适配层,既通过专属词表降低护照号、签发国、有效期等专有字段的分词误差,又以极低的参数量完成领域微调,无需全量训练即可实现模型向证件场景的精准适配,同时避免全量微调带来的过拟合风险与显存开销。

40、4、全链路数据隐私与部署稳定性

41、模型全程本地离线部署,所有证件图像读取、特征提取与结果生成都在终端设备完成,无需将敏感个人信息上传至云端,从根源规避数据泄露风险;同时完全摆脱网络依赖,不受网络波动影响,单张证件推理时延1-3秒,核验流程响应更快、稳定性更强。

42、5、可闭环迭代的持续优化能力

43、支持基于实际业务中的错误案例构建偏好数据集,通过强化学习进行针对性调优,形成“数据构建-模型训练-推理落地-问题反馈-数据补充”的完整迭代闭环,可随业务数据积累持续提升模型在细分场景下的提取准确率。

44、6、低门槛高兼容的落地适配性

45、模型兼容gguf、safetensors等主流端侧部署格式,无需专用算力硬件,可直接适配现有护照机、普通办公pc等终端设备;结构化json输出格式可直接对接下游身份核验、入住登记等业务系统,落地改造成本低,适配边检、酒店、机场、签证办理等多类应用场景。