一种基于宏微双上下文的长文档结构化提取方法与系统与流程

本技术涉及自然语言处理，尤其是涉及一种基于宏微双上下文的长文档结构化提取方法与系统。

背景技术：

1、近年来，以大语言模型为代表的生成式人工智能在文本理解与指令遵循方面取得了显著突破，推动了大量工业化应用的出现。这些应用能够将财务报表、法律合同、技术手册等非结构化文档自动转换为如json格式层级树一类的结构化数据。

2、早期技术方案主要针对单页短文档，将全文与要求一次性输入模型完成解析。面对当下数十至百页级超长文档，行业主流采用全文全量输入、固定分页拼接、rag局部检索问答三类处理方式。

3、采用全文全量输入方式时存在上下文溢出与输出截断的问题，采用固定分页拼接方式时存在跨页信息硬断裂、重叠区冗余、全局层级错乱的问题，采用rag局部检索问答方式时存在检索结果具有随机性和不完备性的问题。

4、因此，如何在不损失原文语义、不引入跨页冗余信息、不破坏文档全局层级结构的前提下完成处理，已成为当前该领域亟待攻克的核心技术难题。

技术实现思路

1、为了解决上述问题，本技术提供一种基于宏微双上下文的长文档结构化提取方法与系统。

2、第一方面，本技术提供一种基于宏微双上下文的长文档结构化提取方法，采用如下的技术方案：

3、一种基于宏微双上下文的长文档结构化提取方法，所述方法包括：

4、步骤s1、对文本页数组进行分割得到若干个具有重叠页数的文本块；

5、步骤s2、将首个文本块全文注入大语言模型，并分类封装为对应的内容块，从首个文本块中提炼结构化标题，输出初始json层级树并存入全局内存库，同时建立全局节点标识符集合；

6、步骤s3、针对后续每个文本块，分别构建表征当前全局json层级树拓扑信息的宏上下文、以及表征上一文本块处理后活跃节点状态的微上下文，将所述宏上下文、微上下文与当前文本块输入大语言模型，得到对应的增量动作列表；

7、步骤s4、沙盒执行器深拷贝当前全局json层级树生成干净快照并创建沙盒实例，接收所述增量动作列表，对所述沙盒实例执行新增、合并或替换动作，执行完毕后输出沙盒树；对所述沙盒树进行双重质量评估，根据评估结果对所述沙盒树执行提交、回滚或附条件提交操作，得到更新后的当前全局json层级树；

8、步骤s5、递归遍历最终全局json层级树，清除内部调试锚点标签，输出纯净结构化json树。

9、在一种可能的实施方式中，所述文本块的获取步骤如下：

10、将原始长文档按页分割为所述文本页数组，配置单块包含页数与相邻块重叠页数，取所述单块包含页数与相邻块重叠页数的差值作为滑动步长，根据所述滑动步长依次截取所述文本页数组得到若干个所述文本块；

11、其中，所述单块包含页数与相邻块重叠页数的取值被配置为：单个所述文本块原文token数、所述宏上下文与微上下文的token数以及所述增量动作列表的token数之和不超出所述大语言模型的上下文窗口上限。

12、在一种可能的实施方式中，在步骤s2中，所述内容块包括对象块、容器块与标量块，

13、所述对象块的输出格式约束为：以原始长文档中提取的核心名词作为实体锚点，以包含若干属性维度以及对应属性值构成的内嵌字典为值的结构，所述属性值承载无逻辑断点的连续文本且逐字原文摘录；

14、所述容器块的输出格式约束为：以概括性逻辑分类词作为分区标签，以内部包含子要点键值对构成的内嵌数组为值的结构，在单页内聚重构时使用不同子要点键还原原文逻辑关系，在跨页续接截断处强制复用前文已有的子要点键；

15、所述标量块的输出格式约束为：以语义浓缩标签作为键、以纯文本作为值的单一键值结构，若输入对象为所述文本块中的不可分最小文本单元，则采用所述标量块，否则采用所述对象块、容器块。

16、在一种可能的实施方式中，在步骤s3中，对后续每个文本块构建宏上下文包括以下步骤：

17、采用深度优先遍历算法递归处理所述全局json层级树的每一个节点，并保留节点的拓扑标识、层级标题与子节点数量；

18、根据当前递归深度生成对应的缩进字符串，提取节点的所述拓扑标识、层级标题，并判断该节点是否包含子节点；

19、若包含子节点，则在该节点的标题文本后拼接表示子节点数量的信息并继续递归子节点；

20、若无子节点，则在该节点的标题文本后拼接表示该节点内所述内容块的数量信息，最终生成带有层级缩进的纯文本字符串作为所述宏上下文。

21、在一种可能的实施方式中，在步骤s3中，所述微上下文通过提取前序文本块被修改过的活跃节点内容块的标签统计信息以及尾部的固定长度原文预览生成。

22、在一种可能的实施方式中，所述沙盒执行器内部设有完整状态变量清单，所述完整状态变量清单包含所述全局节点标识符集合与当前全局json层级树的内存对象；

23、在步骤s4中，所述沙盒执行器执行新增动作时，执行绝对标识符冲突拦截，具体的：

24、在父节点的子节点列表中检测是否存在标题完全重复或内容指纹重复的已有节点，若存在则直接拦截跳过；

25、提取新增节点携带的标识符并与所述全局节点标识符集合匹配，若命中则触发拦截，并将该新增动作强制降级为合并动作。

26、在一种可能的实施方式中，在步骤s4中，所述沙盒执行器执行合并动作时，采用字符串物理去重算法，其步骤如下：

27、寻找待追加新文本头部与目标节点旧文本尾部的最长公共子串；

28、当所述最长公共子串长度超过预设的安全阈值时，切除新文本头部的重叠部分，得到纯净的增量文本并拼接到目标节点旧文本尾部；

29、若合并目标为对象块，对相同属性的字符串值执行所述字符串物理去重算法，对列表值执行直接追加；

30、每次合并后，递归提取节点内所有文本并剥离latex符号，对剥离后的文本进行包含关系判定，以及穿透容器块内部数组进行同构去重。

31、在一种可能的实施方式中，在步骤s4中，所述双重质量评估包括第一轨道评估，其评估步骤如下：

32、通过所述沙盒执行器内置的规则检查器验证所述增量动作列表的json格式合法性、拦截同一节点的动作冲突及违规合并至根节点的操作；

33、动态统计历史平均每页新增节点数，若当前文本块的节点新增密度超过预设上限倍率或低于预设下限倍率，判定异常并拦截。

34、在一种可能的实施方式中，在步骤s4中，所述双重质量评估包括第二轨道评估，其评估步骤如下：

35、检测是否存在违反输出格式约束的长标量块，所述长标量块的判定条件为：所述长标量块的单值字符串长度超过预设字符数阈值，且该单值字符串内包含预设第一数量以上换行符或预设第二数量以上数字；

36、若未检测到所述长标量块，所述沙盒执行器执行步骤s4中的提交操作，将所述沙盒树提交为新的全局json层级树；

37、若检测到所述长标量块，提取所述长标量块头部预设长度字符作为指纹，在对应的文本块中进行逆向定位，截取定位位置前后各预设长度字符的上下文作为嫌疑切片；

38、将所述嫌疑切片与所述长标量块对应的增量动作输入轻量级反思模型进行诊断，若所述轻量级反思模型输出重试的离散决策，返回至步骤s3；

39、若所述轻量级反思模型输出跳过的离散决策，将所述沙盒树提交为新的全局json层级树，但依赖后续文本块的重叠页数兜底；

40、若所述轻量级反思模型输出回滚的离散决策，丢弃所述沙盒树并恢复至干净快照；

41、若所述轻量级反思模型未在预设时间内输出决策或输出的决策字段不可解析或输出决策不属于所述离散决策中的任一种，则强制将输出决策降级为跳过。

42、在一种可能的实施方式中，在步骤s5中，对所述纯净结构化json树进行无偏见盲预测处理，具体的：

43、屏蔽本方法提取过程中所采用的先验信息，将所述文本块原文与结构化提取流程中取得的所述内容块输入校验模型；

44、将所述校验模型限制为只读判决模式，限制所述校验模型输出修复指令；

45、所述校验模型计算所述纯净结构化json树的信息覆盖率，当所述信息覆盖率小于预设的覆盖率红线阈值时，拦截所述纯净结构化json树输出流程；当所述信息覆盖率不小于预设的覆盖率红线阈值时，通过随机抽样原文比对方式完成全局校验，输出量化校验指标。

46、第二方面，本技术提供一种基于宏微双上下文的长文档结构化提取系统，采用如下的技术方案：

47、所述系统包括：

48、物理切分模块：用于将原始长文档按页分割为文本页数组，根据预设的滑动步长依次截取所述文本页数组，得到若干个具有重叠页数的所述文本块；

49、首块解析模块：将首个文本块的全文注入大语言模型，并将首个文本块分类封装为对应的内容块，从首个文本块中提炼结构化标题，构建初始json层级树并存入全局内存库，同时建立全局节点标识符集合；

50、双上下文构建模块：对后续文本块分别构建表征当前全局json层级树拓扑信息的宏上下文和表征上一文本块处理后活跃节点状态的微上下文；

51、增量提取模块：用于将所述宏上下文、微上下文以及当前文本块原文组装为提示词，输入所述大语言模型并输出增量动作列表；

52、沙盒执行与评估模块：深拷贝当前全局json层级树生成干净快照并创建沙盒实例，接收所述增量动作列表，对所述沙盒实例执行新增、合并或替换动作，执行完毕后输出沙盒树；对所述沙盒树进行双重质量评估，根据评估结果对所述沙盒树执行提交、回滚或附条件提交操作，得到更新后的当前全局json层级树；

53、结果交付模块：所有文本块处理完毕后，递归遍历最终全局json层级树，清除内部调试锚点标签，输出纯净结构化json树。

54、本技术实施例提供的技术方案存在以下技术效果：

55、1、跨页文本的无缝接续与零冗余：相比于现有固定页数切分拼接法中重叠区文本在前后块分别被提取而导致大量冗余节点的缺陷，本技术通过微上下文提供的尾部原文预览，配合沙盒执行器内置的字符串物理去重算法，在字符级别精确识别并切除页间重叠文本；无论跨页表格或段落如何被滑动窗口切断，在最终全局json层级树中均被还原为完整单一的结构单元，彻底消除了重复节点，保证了提取数据的绝对唯一性。

56、2、极致的文本保真度，从根本上抑制提取幻觉：本技术通过内容块输出格式约束中“属性值承载无逻辑断点的连续文本且逐字原文摘录”硬性约束，配合可选的无偏见盲预测处理中“抛弃先验规则的盲测比对”机制，从提取约束和事后审计两个维度构筑了防线，有效杜绝了传统大语言模型在长文本处理中常见的“概括式篡改”和“意译式失真”，满足对数据准确性有严苛要求的业务场景；

57、3、全局结构一致性保障，彻底消除层级错乱：相比于现有固定页数切分法中后续块完全独立处理而导致的“全局失忆”、重复建树及层级挂载错乱问题，本技术通过宏上下文-仅携带节点拓扑标识、层级标题与子节点数量信息的轻量化全局导航地图，使大语言模型在处理每一个后续文本块时持续感知文档已建立的完整章节骨架，配合全局节点标识符集合的绝对标识符冲突拦截机制，确保后续块提取的内容始终被准确挂载至正确的父节点下，从根本上避免层级穿透和节点覆盖；

58、4、基于分块策略的上下文窗口友好性：相比于现有全文全量输入方式中存在的上下文溢出与输出截断的问题，本技术根据滑动步长截取文本页数组的方式，将单次调用输入的文本块原文、宏微双上下文与输出的增量动作列表的总token消耗控制在远低于大语言模型上下文窗口上限的水平，使每次推理均在大语言模型的注意力有效范围内进行，确保了长文档全量结构提取的可行性和稳定性；

59、5、极强的系统鲁棒性与局部错误自愈能力：相较于现有的单页提取异常导致全流程中断、以及全文档重试成本较高的问题，本技术通过双重评估机制实现了错误的精准定位与隔离，严重异常可回滚至干净快照，无关微瑕可跳过并依赖后续文本块的重叠页数兜底；配合无偏见盲预测处理输出包含信息覆盖率和逐字比对保真度的可量化校验指标，实现了提取结果的全程质量可控，使得系统在处理排版混乱的劣质扫描件时，整体提取成功率显著提升，避免了高昂的全文档重试成本。