一种用于提取并结构化PDF文档内容的方法和设备与流程

本发明属于计算机数据处理，具体涉及自然语言处理、计算机视觉及深度学习，特别涉及一种用于提取并结构化pdf文档内容的方法、电子设备、系统及计算机可读存储介质。

背景技术：

1、可移植文档格式（pdf, portable document format）因其跨平台、格式保真等特性，已成为电子文档分发和归档的主要标准格式。然而，从pdf文档中准确、完整地提取内容并恢复其原始的逻辑结构（如段落、列表、表格、多列布局等）是一项极具挑战性的任务。

2、现有的pdf内容提取技术主要可分为两类。第一类是基于文本流和坐标信息的方法，该方法直接解析pdf的底层指令，提取文本内容及其坐标数据。这类方法的优点在于文本提取的精度高，不易出现光学字符识别（ocr）带来的错误，但其缺点在于难以处理复杂的版面布局，例如对于多列文本、跨页表格或图文混排的文档，其输出的文本顺序往往是混乱的，无法正确重构文档的阅读顺序。

3、第二类是基于计算机视觉和多模态深度学习的方法。该方法首先将pdf页面渲染成图像，然后利用先进的版面分析模型（如基于transformer或卷积神经网络的模型）来识别页面中的不同区域，如文本块、图片、表格等。这类方法在版面布局识别、表格和图片定位方面具有优势，但其文本内容通常需要通过ocr技术从图像中提取，这不可避免地会引入文字识别错误，尤其是在处理低分辨率或包含特殊字体的文档时，文本提取的准确性会显著下降。

4、例如，中国专利申请cn 121072695 a（d1）公开了一种基于版面识别模型对pdf文档进行区域划分的方案，虽然其整体流程覆盖了从结构识别到排版优化的过程，但仍主要依赖单一的多模态模型，未能根本解决ocr文本提取精度不足的问题。同时，在处理两种不同来源（文本解析与图像分析）的数据时，如何精确对齐它们的异构坐标系，以及如何针对性地修正模型识别的细微错误（如文本块碎片化、页眉页脚误判等），仍然是业界未能有效解决的技术难题。

5、因此，如何有效整合不同提取方法的优势，克服因坐标体系不一致、文本块碎片化、页眉页脚识别不准等因素导致的提取错误，从而在复杂排版的pdf文档中实现高精度、结构清晰的内容提取与重构，是本领域亟待解决的技术问题。

技术实现思路

1、本发明的主要目的在于提供一种用于提取并结构化pdf文档内容的方法、装置、系统及存储介质，用于解决现有技术中因单一模型能力局限或多源数据融合困难而导致的pdf内容提取布局混乱、元素识别不准及结构重构错误的问题。

2、为实现上述目的，本发明提供了一种用于提取并结构化pdf文档内容的方法，该方法应用于电子设备，由所述电子设备的处理器执行，其特征在于，包括：

3、获取待处理的pdf文档；

4、调用第一深度学习模型，对所述pdf文档进行处理，以提取多个文本块以及与所述多个文本块对应的、位于第一坐标系中的第一坐标数据；

5、将所述pdf文档的页面转换为页面图像，并调用第二深度学习模型，对所述 页面图像进行处理，以识别至少一种版面元素以及与所述至少一种版面元素对应的、位于第二坐标系中的第二坐标数据，其中，所述第一坐标系与所述第二坐标系为异构坐标系；

6、根据预设的坐标变换规则，将所述第一坐标数据和所述第二坐标数据对齐至统一坐标系，以生成已对齐的坐标数据；

7、基于所述已对齐的坐标数据，生成结构化的目标文档。

8、优选地，所述基于所述已对齐的坐标数据，生成结构化的目标文档，包括：

9、基于所述已对齐的坐标数据，应用至少一种后置处理策略，对所述多个文本块及所述至少一种版面元素进行修正，以生成经修正的文本内容和经修正的版面结构；

10、整合所述经修正的文本内容与所述经修正的版面结构，以生成结构化的目标文档。

11、优选地，所述根据预设的坐标变换规则，将所述第一坐标数据和所述第二坐标数据对齐至统一坐标系，包括：

12、应用一个预设的变换矩阵，对所述第一坐标数据或所述第二坐标数据进行线性变换，以统一坐标原点和缩放比例。

13、优选地，所述变换矩阵为一个的转换矩阵；并且，在所述文本块包含旋转文本的情况下，所述坐标变换规则进一步包括：的转换矩阵之后，再应用一个与所述旋转文本的旋转角度相对应的逆旋转矩阵，以校正所述旋转文本的坐标。

14、优选地，所述至少一种后置处理策略包括文本块碎片合并策略。

15、优选地，所述文本块碎片合并策略包括：对于任意两个文本块，基于所述已对齐的坐标数据，判断所述两个文本块的纵坐标是否在预设的容差范围内保持一致，且横坐标是否在预设的邻近距离内相接；若判断结果为是，则将所述两个文本块合并为一个文本块。

16、优选地，所述至少一种后置处理策略包括页眉页脚识别策略。

17、优选地，所述页眉页脚识别策略包括：在所述pdf文档的多个连续页面中，分别提取页面顶部预设区域和页面底部预设区域内的文本行；跨越所述多个连续页面，对位于相同预设区域内的文本行进行特征相似性比较，以识别出具有高度相似性的重复文本行作为页眉或页脚。

18、优选地，所述至少一种后置处理策略包括多列布局修正策略。

19、优选地，所述版面元素包括由所述第二深度学习模型识别出的列边界信息；所述多列布局修正策略包括：根据所述列边界信息，将页面内的多个文本块划分至不同的列；对所述多个文本块进行重新排序，以确保同一列内的文本块在垂直方向上优先排序，然后再按从左至右或从右至左的顺序切换至下一列。

20、为实现上述目的，本发明还提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序；其中，所述处理器执行所述计算机程序时，实现如上所述的方法。

21、为实现上述目的，本发明还提供了一种用于处理pdf文档的系统，包括：第一处理模块，配置用于调用第一深度学习模型，以提取多个文本块以及对应的第一坐标数据；第二处理模块，配置用于调用第二深度学习模型，以识别至少一种版面元素以及对应的第二坐标数据；坐标对齐模块，配置用于根据预设的坐标变换规则，将所述第一坐标数据和所述第二坐标数据对齐至统一坐标系；整合模块，配置用于基于已对齐的坐标数据，生成结构化的目标文档。

22、优选地，所述系统还包括：后置处理模块，配置用于基于已对齐的坐标数据，应用至少一种后置处理策略进行修正；所述整合模块，进一步配置为整合经修正的文本内容与版面结构，以生成结构化的目标文档。

23、为实现上述目的，本发明还提供了一种计算机程序产品，包括计算机指令，所述指令被处理器执行时，实现如上所述的方法。

24、为实现上述目的，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如上所述的方法。

25、与现有技术相比，本发明的有益效果在于：

26、1. 本发明创新性地融合了两种深度学习模型，利用第一模型（如“纯文本+文本块坐标”方法）提取高精度文本，避免了ocr引入的文字错误；同时利用第二模型（如“图像+文本多模态”方法）识别复杂的版面结构，两者优势互补，为后续处理提供了高质量的基础数据。

27、2. 通过引入特定的变换矩阵及逆旋转矩阵，本发明解决了两种模型输出的异构坐标系无法对齐的关键技术难题，使得高精度的文本内容能够与准确的版面结构信息在统一的空间基准下进行无缝融合。

28、3. 本发明在模型输出的基础上，设计了多种基于规则的后置处理策略，如文本块碎片合并、高精度页眉页脚识别、多列布局修正等，针对性地解决了模型难以处理的细粒度问题。实验数据表明，这些策略能将文本块合并正确率提升至99%以上，页眉页脚识别准确率从70%-80%提升至97%以上，最终使整体文本提取的完全正确率达到85%以上，可用率达到92%以上，实现了对复杂pdf文档内容的高保真度提取与结构化重构。