一种基于专用视觉基础模型的文档解析方法和装置
本发明涉及文档智能解析与多模态人工智能,特别是涉及一种基于专用视觉基础模型的文档解析方法和装置。
背景技术:
1、文档解析是指将文档图像或pdf(英文全称为:portable document format)中的文本、表格、公式、图片等内容转换为计算机可理解的结构化表示,并恢复其版面布局和逻辑阅读顺序的过程。视觉编码器作为文档解析模型提取视觉特征的核心模块,其表征能力直接影响后续文档解析性能。
2、然而,现有文档解析模型所采用的视觉编码器大多来源于自然图像视觉基础模型,严重制约了文档解析模型的性能和泛化能力,导致现有文档解析模型难以学习兼顾文字语义和视觉结构信息的通用特征表示,限制了其在复杂文档场景中的解析精度,进而导致现有文档解析模型在处理多语言拍照文档解析任务时,准确性和鲁棒性不足。
3、鉴于此,克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。
技术实现思路
1、针对现有技术的以上缺陷或改进需求,本发明提出了一种基于专用视觉基础模型的文档解析方法和装置,该方法通过构建高质量的多语言文档视觉预训练数据集,并采用图像重建损失与文本生成损失训练视觉编码器,实现文档视觉特征的统一学习,提高文档解析精度及跨语言、跨版式、跨场景泛化能力,进而提升多语言拍照文档解析任务的准确性和鲁棒性。
2、本发明实施例采用如下技术方案:
3、第一方面,本发明提供了一种基于专用视觉基础模型的文档解析方法,具体为:通过多专家模型标注、多语言语料驱动的数据合成以及数据质量过滤三个阶段构建文档视觉预训练数据集;
4、构建由视觉编码器、视觉解码器及文本解码器组成的预训练框架,将文档视觉预训练数据集输入预训练框架,联合图像重建损失与文本生成损失进行优化,使视觉编码器在学习文字语义信息的同时保留视觉结构信息,得到适用于文档解析任务的视觉编码器;
5、以训练得到的视觉编码器作为视觉主干,结合特征投影模块及大语言模型构建文档解析模型,冻结视觉编码器参数,仅训练特征投影模块及大语言模型,使文档解析模型具备文档解析能力;
6、利用训练好的文档解析模型对输入文档进行解析,生成结构化文档。
7、优选地,所述方法还包括:
8、对真实文档图像进行版面分析,根据版面分析结果裁剪得到对应的文档元素图像;针对每个文档元素图像,使用多个专家模型进行内容识别标注,并通过一致性筛选得到合格标注样本,构成第一样本集;
9、基于公开多语言语料库生成第二样本集;
10、对第一样本集进行质量过滤,筛选出合格样本;将筛选得到的合格样本与第二样本集进行合并,构建文档视觉预训练数据集。
11、优选地,所述方法还包括:
12、针对每个文档元素图像,获取每个专家模型的内容识别结果;
13、计算任意两个内容识别结果之间的一致性得分;
14、对每个内容识别结果与其余内容识别结果的一致性得分求平均,得到每个内容识别结果对应的平均一致性得分;
15、当最高的平均一致性得分小于预设阈值时,将对应的文档元素图像判定为低可信样本并过滤;
16、否则选择平均一致性得分最高的内容识别结果作为文档元素图像的最终标注结果,由该文档元素图像以及对应的最终标注结果形成一条合格标注样本,最终得到所有合格标注样本构成的第一样本集。
17、优选地,所述方法还包括:
18、从覆盖多种语言的公开多语言语料库中抽取有语义文本,结合字体、字号、字间距、行间距、前景色、背景色、分辨率进行渲染,得到有语义文本图像;
19、针对公开多语言语料库中低频字符及符号,从对应语言的 unicode 字符集中抽取字符或符号进行随机组合,生成无语义文本图像;
20、将有语义文本填充至真实表格模板和自动生成的表格结构中,生成包含多种复杂布局的表格图像;
21、从公开论文中收集latex表达式并渲染生成公式图像;
22、将有语义文本图像、无语义文本图像、表格图像、公式图像及其各自对应的合成标注信息汇集,构成第二样本集。
23、优选地,所述方法还包括:
24、针对每个合格标注样本,使用空白块对已标注的文档元素图像对应区域进行遮挡,将遮挡后的图像输入多模态大模型,若识别出未遮挡区域存在残留文本,则过滤对应合格标注样本;按照已标注的阅读顺序拼接文档元素图像的识别文本,并通过大语言模型校验语序与语义连贯性,以过滤存在异常的合格标注样本,将通过双层过滤而留下来的合格标注样本作为合格样本。
25、优选地,所述方法还包括:
26、将文档视觉预训练数据集中的原始图像输入预训练框架,由视觉编码器提取原始图像的视觉特征,由视觉解码器根据视觉特征重建原始图像,得到重建图像,由文本解码器依据视觉特征自回归生成对应文本内容;
27、基于原始图像和重建图像计算图像重建损失;
28、基于文本内容及任务提示词计算文本解码器的自回归交叉熵损失,得到文本生成损失;
29、将图像重建损失与文本生成损失加权后得到整体预训练损失,并根据整体预训练损失更新参数,最终使视觉编码器同时具备文字语义理解能力和文档视觉结构表征能力。
30、优选地,所述方法还包括:
31、将原始图像和重建图像转换为灰度图,分别利用水平检测算子和垂直检测算子计算梯度幅值,并经归一化和sigmoid函数处理后得到软边缘表示e(i)和;
32、以软边缘表示e(i)和为初值,通过局部最小池化迭代得到边缘距离表示d(i)和;
33、计算边缘距离表示d(i)与之间的平均绝对误差以及软边缘表示e(i)与之间的平均绝对误差,将两者加权得到结构感知重建损失;
34、计算原始图像i与重建图像之间的均方误差,得到像素重建损失;
35、将结构感知重建损失和像素重建损失加权后得到图像重建损失。
36、优选地,文档解析模型的训练过程采用两阶段方式进行,所述方法还包括:
37、第一阶段固定视觉编码器及大语言模型参数,仅训练特征投影模块,使视觉特征能够适配大语言模型;
38、第二阶段保持视觉编码器参数冻结,对特征投影模块及大语言模型进行联合训练,使文档解析模型学习文档解析能力。
39、优选地,所述方法还包括:
40、对输入文档进行预处理,得到标准化文档图像;
41、将标准化文档图像输入训练好的文档解析模型,由文档解析模型预测标准化文档图像中各元素的位置坐标、元素类别及阅读顺序;
42、根据预测得到的位置坐标对标准化文档图像中的各元素进行裁剪,并依据元素类别构造任务提示词,将裁剪得到的图像和任务提示词再次输入文档解析模型进行内容识别;
43、依据预测得到的阅读顺序,对识别得到的各元素内容进行排序,生成结构化文档。
44、第二方面,本发明提供了一种基于专用视觉基础模型的文档解析装置,所述装置包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述处理器执行,用于执行第一方面中的基于专用视觉基础模型的文档解析方法。
45、第三方面,本发明还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,用于完成第一方面所述的基于专用视觉基础模型的文档解析方法。
46、与现有技术相比,本发明的有益效果在于:对多语言公开文档数据集进行多专家模型标注,并结合多语言语料进行数据合成,进一步提升数据的覆盖范围与多样性,随后进行数据质量过滤,得到文档视觉预训练数据集。在此基础上,联合图像重建损失与文本生成损失进行优化,使视觉编码器在学习文字语义信息的同时保留视觉结构信息,得到适用于文档解析任务的视觉编码器;将视觉编码器作为视觉主干,结合特征投影模块及大语言模型构建文档解析模型,仅训练特征投影模块及大语言模型,使文档解析模型具备文档解析能力;最终应用于版面分析、多种元素识别等文档解析任务,生成结构化文档输出。与现有技术相比,本发明通过构建高质量、多语言文档预训练数据并开展面向文档场景的视觉预训练,提高了视觉编码器对文档图像的表征能力,能够有效提升多语言拍照文档解析任务的准确性和鲁棒性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com