基于表格结构与语义理解的招标需求自动抽取方法及系统与流程

本发明涉及表格结构识别，更具体地说，本发明涉及基于表格结构与语义理解的招标需求自动抽取方法及系统。

背景技术：

1、在招投标领域，随着招标文件规模和复杂度不断增加，如何自动从表格中提取结构化信息，已经成为提升招投标效率、降低人工审核成本的重要技术问题。传统做法主要依赖人工阅读和录入，不仅效率低，而且容易出现遗漏和错误，因此业界逐步引入ocr、表格识别和信息抽取等自动化技术。

2、现有技术主要包括三类方案。第一类是基于ocr与规则匹配的方法：先利用ocr识别文字和坐标，再通过行列划分和正则规则提取字段。这类方法对格式固定的表格具有一定效果，但在无边框表格、合并单元格、多级表头以及跨页表格等场景下容易发生行列错位；同时规则难以理解自然语言中的逻辑关系，对不同招标模板的适应性较差，需要频繁维护规则库。第二类是基于端到端多模态大模型的方法：直接将pdf页面或图像输入视觉语言模型，由模型一次性生成结构化结果。虽然减少了人工规则，但存在推理成本高、token消耗大、输出稳定性不足以及易产生幻觉等问题；此外，当扫描质量较差或表格线缺失时，模型对表格结构的理解容易偏差。第三类是基于深度学习的表格结构识别（tsr）方法，如lgpma、tableformer、tatr等。这些方法能够较好地检测单元格边界并生成html结构，但主要关注表格的物理结构，对于招标场景中普遍存在的多级表头、语义继承关系和跨单元格引用缺乏有效处理。例如，“技术要求”作为合并表头时，其语义并不能自动传播到下层数据单元格，导致后续信息抽取缺少完整的层次语义；同时多数tsr方法也未提供结构置信度与后续抽取流程之间的协同机制，难以实现闭环纠错。

3、由此，有必要提供基于表格结构与语义理解的招标需求自动抽取方法及系统解决上述技术问题，为了解决上述问题，现提供一种技术方案。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明提供基于表格结构与语义理解的招标需求自动抽取方法及系统，用于解决现有技术在处理招标表格时，难以有效解析多级表头、合并单元格等复杂结构并传递层次语义，同时缺乏结构置信度与信息抽取流程的协同纠错机制的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、基于表格结构与语义理解的招标需求自动抽取方法，包括以下步骤：

4、获取接收待处理的招标文件，根据招标文件类型选择解析方式定位目标表格区域，生成待结构化处理的目标表格区域集合；

5、基于目标表格区域集合执行ocr结构化处理，构建表格逻辑结构，根据单元格之间的位置关系生成结构化html文档；

6、通过将结构化html文档转换为dag，执行拓扑排序递归语义传播表头语义至叶节点，对每个数据单元格标注层级语义标签作为一级标签，并进行跨单元格语义对齐与补全；

7、通过在执行语义传播过程中，构建语义完整度评价模型，对各数据单元格对应的一级标签进行完整性评估；

8、针对完整性评估合格的一级标签，采用领域持续预训练的编码器，结合层次softmax分类器和对比学习，对每个一级标签进行五类实体抽取；

9、通过对实体抽取结果依次执行schema结构校验、低置信区域二次验证以及规则标准化修正，输出最终实体结果，封装为标准化json输出文件。

10、作为本发明的进一步方案，五类实体具体包括：技术参数实体、数量规格实体、交付要求实体、商务条件实体、资质要求实体。

11、作为本发明的进一步方案，通过将结构化html文档转换为dag，执行拓扑排序递归语义传播表头语义至叶节点，对每个数据单元格标注层级语义标签作为一级标签，具体步骤如下：

12、通过将每个表格单元格作为一个图节点，表头与子表头之间因跨行或跨列形成的包含关系作为有向边，构建dag；

13、对dag执行拓扑排序，按照从顶层表头到叶节点数据单元格的顺序进行语义传播，将父节点语义标签逐层继承至子节点，并与当前节点语义进行组合，使每个数据单元格获得层级语义标签，标记为一级标签。

14、作为本发明的进一步方案，在执行语义传播过程中，构建语义完整度评价模型，对各数据单元格对应的一级标签进行完整性评估，具体步骤如下：

15、获取数据单元格的父节点集合，并提取父节点语义标签，进行标准化处理后，构建当前节点的候选语义标签集合；

16、基于候选语义标签集合计算语义覆盖率指标、深度覆盖因子以及语义匹配度；

17、基于语义覆盖率、深度覆盖因子以及语义匹配度构建语义完整度评价模型，输出语义完整度指标；

18、根据语义完整度指标，评估数据单元格对应一级标签的完整性。

19、作为本发明的进一步方案，基于候选语义标签集合计算语义覆盖率指标、深度覆盖因子以及语义匹配度，具体为：

20、统计当前节点一级标签中的有效语义标签数量，根据历史招标知识库当前业务场景下出现的最大语义标签数量，基于有效语义标签与最大语义标签数据的比值计算语义覆盖率指标。

21、作为本发明的进一步方案，通过将dag中父节点定义为第一层表头节点，记录当前节点距离父节点的最长传播路径长度，根据dag结构统计最大传播深度，基于最长传播路径长度与最大传播深度的比值计算深度覆盖因子。

22、作为本发明的进一步方案，通过将当前节点的有效语义标签组合形成一级语义向量，并从历史招标知识库中提取与当前表格类型对应的标准语义模板向量，构建语义匹配评价机制计算语义匹配度。

23、作为本发明的进一步方案，根据语义完整度指标，评估数据单元格对应一级标签的完整性；具体为：将语义完整度指标与预设完整度阈值进行对比，若语义完整度指标大于等于预设完整度阈值，则数据单元格对应一级标签的完整性合格；若语义完整度指标小于预设完整度阈值，则数据单元格对应一级标签的完整性不合格。

24、基于表格结构与语义理解的招标需求自动抽取系统，应用于上述的基于表格结构与语义理解的招标需求自动抽取方法，包括文档输入接口、表格结构化处理单元、dag层级表格语义传播单元、完整性评估单元、五类实体层次化抽取单元以及后处理与校验单元；

25、文档输入接口用于获取接收待处理的招标文件，根据招标文件类型选择解析方式定位目标表格区域，生成待结构化处理的目标表格区域集合；

26、表格结构化处理单元用于基于目标表格区域集合执行ocr结构化处理，构建表格逻辑结构，根据单元格之间的位置关系生成结构化html文档；

27、dag层级表格语义传播单元用于通过将结构化html文档转换为dag，执行拓扑排序递归语义传播表头语义至叶节点，对每个数据单元格标注层级语义标签作为一级标签，并进行跨单元格语义对齐与补全；

28、完整性评估单元用于通过在执行语义传播过程中，构建语义完整度评价模型，对各数据单元格对应的一级标签进行完整性评估；

29、五类实体层次化抽取单元用于针对完整性评估合格的一级标签，采用领域持续预训练的编码器，结合层次softmax分类器和对比学习，对每个一级标签进行五类实体抽取；

30、后处理与校验单元用于通过对实体抽取结果依次执行schema结构校验、低置信区域二次验证以及规则标准化修正，输出最终实体结果，封装为标准化json输出文件。

31、一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现如上任意一项所述的基于表格结构与语义理解的招标需求自动抽取方法的步骤。

32、本发明基于表格结构与语义理解的招标需求自动抽取方法及系统的技术效果和优点：本发明通过针对不同类型文件进行自适应解析，能够准确定位目标表格区域并完成结构化重建；利用dag语义传播机制和跨单元格语义补全机制，将多级表头、合并单元格以及“同上”“详见上表”等复杂语义关系转化为完整的层级语义标签，有效解决传统ocr仅识别文本而难以理解业务语义的问题；通过语义完整度评价模型动态评估语义继承质量，避免无效传播和语义缺失，提高表格语义建模准确性；结合领域持续预训练编码器、层次softmax分类器和对比学习技术，实现技术参数、数量规格、交付要求、商务条件和资质要求等核心需求信息的精准识别；同时通过schema结构校验、低置信区域二次验证以及规则标准化修正形成闭环质量控制机制，有效降低ocr识别误差、结构解析错误及模型推理偏差带来的影响，从而显著提高招标需求抽取结果的准确性、完整性和一致性，减少人工整理和审核工作量，为智能评标、法规审核、采购分析及招投标数字化管理提供可靠的数据基础。

33、本发明不仅能够实现复杂招标文件需求信息的自动化、结构化抽取，而且能够保证抽取结果的准确性、一致性和可追溯性，大幅降低人工审核和录入工作量，提高招投标业务数字化处理效率，为智能评标、法规审核、采购分析以及招投标知识库建设等应用提供可靠的数据支撑。