基于多模态融合与自适应结构重建的文档表格提取方法

本技术涉及数据提取，更具体地说，涉及一种基于多模态融合与自适应结构重建的文档表格提取方法。

背景技术：

1、随着数字化转型与人工智能技术的深入发展，各类企事业单位及科研机构积累了海量的包含表格的文档数据，这些数据广泛涵盖财务报表、实验记录、统计年鉴、医疗档案、法律合同、招投标文件等多种类型。表格作为结构化信息的重要载体，其自动识别与提取对于实现文档智能处理、构建知识图谱以及开展大数据分析具有至关重要的意义。然而，现有的文档表格提取技术在面对复杂多变的实际应用场景时，仍存在显著的技术缺陷，限制了其进一步的推广应用。

2、首先，现有技术存在明显的多格式文档解析隔离问题。当前主流工具通常针对单一文档类型设计，例如tabula仅能处理pdf文件，paddleocr主要针对图像进行处理，缺乏能够兼容txt、markdown、csv、docx、pdf及图像的统一解析框架。用户在实际操作中往往需要集成多种工具才能完成全格式表格提取。据行业调研数据显示，企业文档处理系统中平均需集成约4.7个不同工具，这不仅导致系统集成复杂度极高，也大幅增加了后期的维护成本。其次，针对pdf文档的解析质量不稳定，且缺乏智能的模态切换机制。pdf文档分为原生嵌入文字的文本型和纯图像的扫描型两类，现有方案要么仅提取pdf嵌入文本导致无法处理扫描件，要么直接对所有pdf页面进行ocr，这会导致文本型pdf的层级结构丢失、公式符号错乱以及排版信息被破坏。现有工具在复杂场景下的表现并不理想，例如camelot的lattice模式在pubtabnet基准上表格结构f1仅为78.5%，stream模式对无线框表格适应性差，而pdfplumber在复杂版式下的f1分数更是低至58.7%。

3、此外，多页文档中的跨页表格处理面临严重的断裂与语义不连续问题。在多页pdf中，连续表格常在分页处被物理截断，现有技术多采用逐页独立处理的方式，缺乏跨页空间坐标统一机制与表头语义连续性检测，导致表头被重复识别、行序错乱甚至数据丢失。最新的开源工具在处理跨页表格时准确率随着页数增加而急剧下降，在跨5页以上时准确率甚至不足40%，无法满足实际业务对数据完整性的需求。同时，现有方案对ocr引擎存在单一依赖，导致对图像退化环境的鲁棒性不足。多依赖单一ocr引擎（如tesseract或商业api），在面对低质量、模糊、复杂背景或光照不均图像时表现不佳，在低质量扫描件及手写表格上的召回率显著下降，单一引擎无法覆盖全部退化场景。

4、最后，表格结构重建算法存在精度低与适应性差的问题。基于简单阈值规则的行聚类方法对单元格合并、跨列文本、不规则表格的适应性较差，而列对齐通常采用固定阈值或简单排序，难以处理复杂版式。虽然基于transformer的方法在标准数据集上表现尚可，但计算开销大，且对中文文档的适应性有限，对合并单元格的检测准确率存在瓶颈。

5、综上所述，现有技术难以在多格式统一接入、pdf双模态智能决策、跨页逻辑保持、复杂环境ocr鲁棒性以及不规则结构高精度重建等方面取得平衡，亟需一种更为全面且智能的解决方案。

技术实现思路

1、有鉴于此，本技术提供一种基于多模态融合与自适应结构重建的文档表格提取方法，以解决上述技术问题。

2、本技术提供的技术方案如下：

3、一种基于多模态融合与自适应结构重建的文档表格提取方法，包括：

4、获取并识别待处理文档；

5、对于识别为文本型文档的页面，通过提取到的原生文字评估页面的原生文本质量，并在所述原生文本质量小于预设阈值时触发ocr回退；

6、对于图像型文档的页面或触发ocr回退的页面，构建包含多种预处理版本的候选图像集合，调用多个ocr引擎对各候选图像并行识别；

7、基于预设的综合评分函数从所有引擎-图像组合中选取最优识别结果，并对不同引擎间空间重叠的文本块进行加权融合；

8、将待处理文档各个页面的识别结果映射至统一的全局坐标系，并基于相邻页面表格特征的相似度检测跨页表格的连续性，对判定为同一表格的跨页内容进行合并处理；

9、对识别得到的单元格集合执行自适应结构重建，所述自适应结构重建包括：基于密度峰值的自适应聚类进行行划分、对行内文本碎片进行合并及语义校验、基于加权鲁棒统计量构建列模型、基于预设的约束条件和代价函数将单元格最优分配至对应的列以及迭代精化列模型，检测合并单元格，最终生成结构化表格数据。

10、其中一种可能的实现方式中，通过提取到的原生文字评估页面的原生文本质量，包括：

11、获取从页面中提取的原生文字的统计特征，所述统计特征包括提取到的文本单元数量、文本总长度、文本单元的空间分布密度、文本区域占页面面积的比例；

12、将所述统计特征输入预设的sigmoid决策函数，计算得到对应页面的原生文本质量。

13、其中一种可能的实现方式中，基于预设的综合评分函数从所有引擎-图像组合中选取最优识别结果，包括：

14、对每个引擎-图像组合的识别结果，计算多维度评分指标，包括单元格文本长度、单元格数量、ocr识别置信度、ascii字符数以及基于n-gram语言模型的困惑度；

15、对各个评分指标分别赋予权重系数并进行加权计算，得到每个引擎-图像组合的综合评分值；

16、选取综合评分值最高的引擎-图像组合对应的识别结果作为最优识别结果。

17、其中一种可能的实现方式中，所述对不同引擎间空间重叠的文本块进行加权融合，包括：

18、当不同ocr引擎对同一候选图像识别出的文本块之间的空间重叠率大于或等于预设重叠阈值时，判定所述文本块为空间重叠的文本块；

19、对于存在空间重叠的文本块，基于对应引擎的历史准确率、ocr识别置信度以及文本块之间的编辑相似度，对所述空间重叠的文本块进行加权融合处理；

20、对于仅被单一ocr引擎检测到的文本块，保留单一ocr引擎的识别结果。

21、其中一种可能的实现方式中，所述将待处理文档各个页面的识别结果映射至统一的全局坐标系，包括：

22、对于文档的第k页，计算该页之前所有页面的渲染高度之和，作为第k页的累积高度偏移量；

23、将第k页内所有单元格的垂直坐标与所述累积高度偏移量相加，得到该单元格在全局坐标系中的垂直坐标。

24、其中一种可能的实现方式中，所述基于相邻页面表格特征的相似度检测跨页表格的连续性，包括：

25、提取相邻页面中前一页末行与后一页首行的表头文本集合；

26、计算两个表头文本集合的jaccard相似系数，并结合两行的单元格数量差异进行调整，得到表头相似度；

27、当所述表头相似度大于等于预设阈值时，判定相邻页面的表格为同一表格的跨页延续，自动去除后一页的重复表头行。

28、其中一种可能的实现方式中，所述基于密度峰值的自适应聚类进行行划分，包括：

29、计算所有单元格的垂直中心点坐标；

30、计算每个单元格的局部密度和相对距离，选取局部密度与相对距离的乘积为峰值的点作为行中心候选；

31、通过自适应行容差进行行边界精化，将垂直中心点与当前行中心距离小于所述自适应行容差的单元格归入当前行，否则创建新行。

32、其中一种可能的实现方式中，所述对行内文本碎片进行合并及语义校验，包括：

33、对每行内按横坐标排序的单元格，计算相邻单元格的间隙距离和垂直重叠率；

34、当所述间隙距离小于预设间隙阈值且垂直重叠率达到预设重叠阈值时，进一步进行语义完整性校验；其中，所述语义完整性校验包括计算两文本的编辑距离相似度，若所述编辑距离相似度大于语义阈值或两文本存在重叠词汇，则执行合并操作。

35、其中一种可能的实现方式中，所述基于预设的约束条件和代价函数将单元格最优分配至对应的列，包括：

36、采用带约束的动态规划算法求解最优列分配方案；

37、定义单元格与列模型的多维匹配代价，所述匹配代价包含位置偏差惩罚、超出有效区间惩罚、宽度差异惩罚以及跨列惩罚；

38、设置最大列跨度约束以防止单元格过度跨列；

39、通过动态规划状态转移求解最小代价的分配路径，得到最优列分配结果。

40、其中一种可能的实现方式中，所述迭代精化列模型及检测合并单元格，包括：

41、将列分配结果按列分组，重新计算每列的加权统计量以更新列模型；

42、当列模型变化量小于预设收敛阈值或达到最大迭代次数时，终止迭代精化；

43、当单元格宽度超过平均列宽的预设倍数且垂直跨度超过预设行数时，将该单元格标记为合并单元格。

44、与现有技术相比，本技术提供的技术方案存在如下有益效果：

45、通过多维度原生文本质量评估实现文本型与图像型文档的自适应双模态智能切换，既充分利用原生文本的高精度优势，又在质量不足时自动回退至ocr识别，兼顾了处理效率与提取准确性；通过构建多候选预处理图像集合并结合多ocr引擎评分优选与加权融合策略，有效提升了模糊、低对比度、退化图像的识别效果，对不同质量文档的鲁棒性显著增强；通过全局坐标映射与表头语义相似度检测实现跨页表格连续性保持，解决了物理分页导致的表格断裂与重复表头问题，大幅提升了长文档跨多页表格的提取准确率；通过基于密度峰值的自适应行聚类、行内碎片语义校验合并、加权鲁棒统计量列模型构建以及带约束动态规划列分配的一体化自适应结构重建算法，对无线框表格、不规则表格、合并单元格等复杂场景具有强适应性，显著提高了表格结构重建的精度与完整性；最终实现了从多格式文档输入到结构化表格输出的端到端高精度智能提取。