一种文档的结构化解析方法及装置与流程
本技术涉及文档处理,具体涉及一种文档的结构化解析方法及装置。
背景技术:
1、文档结构化解析是将非结构化或半结构化文档转换为机器可读结构化数据的技术,是企业数字化转型和知识管理的核心基础能力。
2、相关技术中,文档结构化解析主要包括两类:第一类是基于规则引擎的文档解析方法,此类方法对纯文本页提取准确率高、处理速度快、计算成本低;但对于扫描件、图像型文档、含有复杂合并单元格的表格等场景,往往提取不完整甚至完全失效,适用范围受限。第二类是基于人工智能模型的文档解析方法,此类方法对扫描件和复杂排版具有较强的理解能力,能够覆盖规则引擎难以处理的场景;但对纯文本页调用视觉语言模型会造成不必要的计算开销和响应延迟,且模型输出缺乏严格的结构化约束,容易产生幻觉或格式不一致等问题。两类方法各自独立运行,无法根据页面特征自动选择最优解析策略。实际业务中,一份文档往往同时包含纯文本页、含表格页、扫描件页等多种页面类型,单一解析引擎难以同时兼顾准确率与处理效率。
技术实现思路
1、本技术的目的之一在于提供一种文档解析方法及装置,以在保证解析准确率的同时提升处理效率。
2、为了实现上述目的,本技术采用的技术方案如下:
3、第一方面,提供了一种文档的结构化解析方法,包括:
4、在待解析文档为便携式文档格式的情况下,基于规则引擎对所述待解析文档的当前文档页进行解析,获取当前文档页的页面元统计信息和初始解析结果;
5、根据所述页面元统计信息确定当前文档页的校正策略,所述校正策略用于指示所述初始解析结果是否需要基于光学字符识别对文本内容进行补充、是否需要基于视觉语言模型对图像内容进行校正以及是否需要基于视觉语言模型对表格内容进行重提取;
6、根据所述初始解析结果以及所述校正策略,获取当前文档页的结构化解析结果。
7、在一些实施例中,获取当前文档页的页面元统计信息,包括:获取当前文档页的字符数量、确定当前文档页是否包括表格以及确定当前文档页是否包括图像。
8、在一些实施例中,所述根据所述页面元统计信息确定当前文档页的校正策略,包括:
9、在所述字符数量小于预设阈值,且所述当前文档页包括图像的情况下,确定所述初始解析结果需要基于光学字符识别对文本内容进行补充,需要基于视觉语言模型对图像内容进行校正,且不需要基于视觉语言模型对表格内容进行重提取;
10、在所述字符数量大于或等于所述预设阈值的情况下,根据确定当前文档页是否包括表格以及确定当前文档页是否包括图像确定当前文档页的校正策略。
11、在一些实施例中,根据确定当前文档页是否包括表格以及确定当前文档页是否包括图像确定当前文档页的校正策略,包括:
12、在当前文档页包括表格和图像的情况下,确定所述初始解析结果不需要基于光学字符识别对文本内容进行补充、需要基于视觉语言模型对图像内容进行校正,且需要基于视觉语言模型对表格内容进行重提取;
13、在当前文档页包括表格且不包括图像的情况下,确定所述初始解析结果不需要基于光学字符识别对文本内容进行补充、不需要基于视觉语言模型对图像内容进行校正,且需要基于视觉语言模型对表格内容进行重提取;
14、在当前文档页不包括表格且包括图像的情况下,确定所述初始解析结果不需要基于光学字符识别对文本内容进行补充、需要基于视觉语言模型对图像内容进行校正,且不需要基于视觉语言模型对表格内容进行重提取;
15、在当前文档页包括不表格且不包括图像的情况下,确定所述初始解析结果不需要基于光学字符识别对文本内容进行补充、不需要基于视觉语言模型对图像内容进行校正,且不需要基于视觉语言模型对表格内容进行重提取。
16、在一些实施例中,在所述校正策略指示所述初始解析结果需要基于光学字符识别对文本内容进行补充,需要基于视觉语言模型对图像内容进行校正,且不需要基于视觉语言模型对表格内容进行重提取的情况下,根据所述初始解析结果以及所述校正策略,获取当前文档页的结构化解析结果,包括:
17、对当前文档页进行光学字符识别,得到当前文档页的光学字符识别结果;
18、根据所述光学字符识别结果和所述初始解析结果,获取中间解析结果;
19、将所述中间解析结果和当前文档页的页面图像输入所述视觉语言模型,并接收所述视觉语言模型输出的当前文档页的结构化解析结果。
20、在一些实施例中,在所述校正策略指示所述初始解析结果不需要基于光学字符识别对文本内容进行补充,需要基于视觉语言模型对图像内容进行校正,且不需要基于视觉语言模型对表格内容进行重提取的情况下,根据所述初始解析结果以及所述校正策略,获取当前文档页的结构化解析结果,包括:
21、根据当前文档页的页面图像和所述视觉语言模型,获取当前文档页中各个图像对应的图像描述文本;
22、将各个图像对应的图像描述文本添加至所述初始解析结果中,获取当前文档页的结构化解析结果。
23、在一些实施例中,所述根据当前文档页的页面图像和所述视觉语言模型,获取当前文档页中各个图像对应的图像描述文本,包括:
24、获取当前文档页中的各个图像对应的图像类型;
25、根据各个图像对应的图像类型以及预设映射关系,获取各个图像对应的提示词,所述预设映射关系获包括各个图像类型与提示词的对应关系;
26、将各个图像对应的提示词和所述当前文档页的页面图像输入所述视觉语言模型,并获取所述视觉语言模型输出的各个图像对应的图像描述文本。
27、在一些实施例中,在所述校正策略指示所述初始解析结果不需要基于光学字符识别对文本内容进行补充,不需要基于视觉语言模型对图像内容进行校正,且需要基于视觉语言模型对表格内容进行重提取的情况下,根据所述初始解析结果以及所述校正策略,获取当前文档页的结构化解析结果,包括:
28、根据所述初始解析结果获取当前文档页中各个表格的表头信息;
29、分别将各个表格的表头信息拼接为各个表格对应的表头序列;
30、将各个表格对应的表头序列和当前文档页的页面图像输入视觉语言模型,并获取所述视觉语言模型输出的各个表格的表格内容;
31、根据所述初始解析结果和所述视觉语言模型输出的各个表格的表格内容,获取当前文档页的结构化解析结果。
32、在一些实施例中,所述根据所述初始解析结果和所述视觉语言模型输出的各个表格的表格内容,获取当前文档页的结构化解析结果,包括:
33、对所述视觉语言模型输出的各个表格的表格内容进行校验;
34、若第一表格的表格内容校验通过,则将所述初始解析结果中第一表格的表格内容替换为所述视觉语言模型输出的各个表格的表格内容;
35、若第二表格的表格内容校验不通过,则保持所述初始解析结果中第二表格的表格内容不变。
36、在一些实施例中,在所述校正策略指示所述初始解析结果不需要基于光学字符识别对文本内容进行补充,不需要基于视觉语言模型对图像内容进行校正,且不需要基于视觉语言模型对表格内容进行重提取的情况下,根据所述初始解析结果以及所述校正策略,获取当前文档页的结构化解析结果,包括:
37、将所述初始解析结果确定为当前文档页的结构化解析结果。
38、在一些实施例中,所述方法还包括:
39、在获取当前文档页的结构化解析结果之后,将当前文档页的页面图像和当前文档页的结构化解析结果输入所述视觉语言模型,并获取所述视觉语言模型输出的置信度评估决策,所述置信度评估决策为用于指示置信度大于或等于预设值的第一决策结果或用于指示置信度小于所述预设值的第二决策结果;
40、根据所述置信度评估决策对当前文档页的结构化解析结果进行标记。
41、在一些实施例中,所述方法还包括:
42、在获取所述待解析文档的全部文档页的结构化解析结果之后,按照页码对所述待解析文档的各个文档页的结构化解析结果进行拼接,以获取所述待解析文档的结构化解析结果。
43、在一些实施例中,所述方法还包括:
44、在待解析文档为文字处理文档格式或表格工作簿格式或演示文稿格式的情况下,根据对应的解析引擎对所述待解析文档进行解析,获取所述待解析文档对应的结构化解析结果。
45、第二方面,本技术实施例还提供了一种文档的结构化解析装置,包括:
46、解析单元,用于在待解析文档为便携式文档格式的情况下,基于规则引擎对所述待解析文档的当前文档页进行解析,获取当前文档页的页面元统计信息和初始解析结果;
47、确定单元,用于根据所述页面元统计信息确定当前文档页的校正策略,所述校正策略用于指示所述初始解析结果是否需要基于光学字符识别对文本内容进行补充、是否需要基于视觉语言模型对图像内容进行校正以及是否需要基于视觉语言模型对表格内容进行重提取;
48、获取单元,用于根据所述初始解析结果以及所述校正策略,获取当前文档页的结构化解析结果。
49、在一些实施例中,所述解析单元,具体用于获取当前文档页的字符数量、确定当前文档页是否包括表格以及确定当前文档页是否包括图像。
50、在一些实施例中,所述确定单元,具体用于在所述字符数量小于预设阈值,且所述当前文档页包括图像的情况下,确定所述初始解析结果需要基于光学字符识别对文本内容进行补充,需要基于视觉语言模型对图像内容进行校正,且不需要基于视觉语言模型对表格内容进行重提取;在所述字符数量大于或等于所述预设阈值的情况下,根据确定当前文档页是否包括表格以及确定当前文档页是否包括图像确定当前文档页的校正策略。
51、在一些实施例中,所述确定单元,具体用于在当前文档页包括表格和图像的情况下,确定所述初始解析结果不需要基于光学字符识别对文本内容进行补充、需要基于视觉语言模型对图像内容进行校正,且需要基于视觉语言模型对表格内容进行重提取;
52、在当前文档页包括表格且不包括图像的情况下,确定所述初始解析结果不需要基于光学字符识别对文本内容进行补充、不需要基于视觉语言模型对图像内容进行校正,且需要基于视觉语言模型对表格内容进行重提取;
53、在当前文档页不包括表格且包括图像的情况下,确定所述初始解析结果不需要基于光学字符识别对文本内容进行补充、需要基于视觉语言模型对图像内容进行校正,且不需要基于视觉语言模型对表格内容进行重提取;
54、在当前文档页包括不表格且不包括图像的情况下,确定所述初始解析结果不需要基于光学字符识别对文本内容进行补充、不需要基于视觉语言模型对图像内容进行校正,且不需要基于视觉语言模型对表格内容进行重提取。
55、在一些实施例中,所述获取单元,具体用于在所述校正策略指示所述初始解析结果需要基于光学字符识别对文本内容进行补充,需要基于视觉语言模型对图像内容进行校正,且不需要基于视觉语言模型对表格内容进行重提取的情况下,对当前文档页进行光学字符识别,得到当前文档页的光学字符识别结果;根据所述光学字符识别结果和所述初始解析结果,获取中间解析结果;将所述中间解析结果和当前文档页的页面图像输入所述视觉语言模型,并接收所述视觉语言模型输出的当前文档页的结构化解析结果。
56、在一些实施例中,所述获取单元,具体用于在所述校正策略指示所述初始解析结果不需要基于光学字符识别对文本内容进行补充,需要基于视觉语言模型对图像内容进行校正,且不需要基于视觉语言模型对表格内容进行重提取的情况下,根据当前文档页的页面图像和所述视觉语言模型,获取当前文档页中各个图像对应的图像描述文本;将各个图像对应的图像描述文本添加至所述初始解析结果中,获取当前文档页的结构化解析结果。
57、在一些实施例中,所述获取单元,具体用于获取当前文档页中的各个图像对应的图像类型;根据各个图像对应的图像类型以及预设映射关系,获取各个图像对应的提示词,所述预设映射关系获包括各个图像类型与提示词的对应关系;将各个图像对应的提示词和所述当前文档页的页面图像输入所述视觉语言模型,并获取所述视觉语言模型输出的各个图像对应的图像描述文本。
58、在一些实施例中,所述获取单元,具体用于在所述校正策略指示所述初始解析结果不需要基于光学字符识别对文本内容进行补充,不需要基于视觉语言模型对图像内容进行校正,且需要基于视觉语言模型对表格内容进行重提取的情况下,根据所述初始解析结果获取当前文档页中各个表格的表头信息;分别将各个表格的表头信息拼接为各个表格对应的表头序列;将各个表格对应的表头序列和当前文档页的页面图像输入视觉语言模型,并获取所述视觉语言模型输出的各个表格的表格内容;根据所述初始解析结果和所述视觉语言模型输出的各个表格的表格内容,获取当前文档页的结构化解析结果。
59、在一些实施例中,所述获取单元,还用于对所述视觉语言模型输出的各个表格的表格内容进行校验;若第一表格的表格内容校验通过,则将所述初始解析结果中第一表格的表格内容替换为所述视觉语言模型输出的各个表格的表格内容;若第二表格的表格内容校验不通过,则保持所述初始解析结果中第二表格的表格内容不变。
60、在一些实施例中,所述获取单元,具体用于在所述校正策略指示所述初始解析结果不需要基于光学字符识别对文本内容进行补充,不需要基于视觉语言模型对图像内容进行校正,且不需要基于视觉语言模型对表格内容进行重提取的情况下,将所述初始解析结果确定为当前文档页的结构化解析结果。
61、在一些实施例中,所述获取单元,还用于在获取当前文档页的结构化解析结果之后,将当前文档页的页面图像和当前文档页的结构化解析结果输入所述视觉语言模型,并获取所述视觉语言模型输出的置信度评估决策,所述置信度评估决策为用于指示置信度大于或等于预设值的第一决策结果或用于指示置信度小于所述预设值的第二决策结果;根据所述置信度评估决策对当前文档页的结构化解析结果进行标记。
62、在一些实施例中,所述获取单元,还用于在获取所述待解析文档的全部文档页的结构化解析结果之后,按照页码对所述待解析文档的各个文档页的结构化解析结果进行拼接,以获取所述待解析文档的结构化解析结果。
63、在一些实施例中,所述解析单元,还用于在待解析文档为文字处理文档格式或表格工作簿格式或演示文稿格式的情况下,根据对应的解析引擎对所述待解析文档进行解析,获取所述待解析文档对应的结构化解析结果。
64、第三方面,本技术实施例还提供了一种电子设备,包括:存储器和处理器,所述存储器用于存储计算机程序所述处理器用于在执行计算机程序时,使得所述电子设备实现上述任一项所述的文档的结构化解析方法。
65、第四方面,本技术实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,当所述计算机程序被计算设备执行时,使得所述计算设备实现上述任一项所述的文档的结构化解析方法。
66、第五方面,本技术实施例还提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机实现上述任一项所述的文档的结构化解析方法。
67、本技术实施例提供的文档的结构化解析方法,在待解析文档为便携式文档格式的情况下,先基于规则引擎对所述待解析文档的当前文档页进行解析,获取当前文档页的页面元统计信息和初始解析结果,再根据所述页面元统计信息确定当前文档页的校正策略,以及根据所述初始解析结果以及所述校正策略,获取当前文档页的结构化解析结果。由于校正策略是根据页面元统计信息自适应确定的,能够针对不同页面特征精准匹配相应的校正方式,对于规则引擎即可准确解析的页面无需调用光学字符识别或视觉语言模型校正或视觉表格校正,有效避免了不必要的计算开销;对于规则引擎提取存在不足的页面,则按需触发光学字符识别补充、视觉语言模型校正或视觉表格校正,补足规则引擎的提取可能存在的缺陷,因此能够在保证文档结构化解析准确率的同时,提升文档结构化解析的处理效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com