基于邻域感知上下文重构的超长文档理解方法及系统

本发明属于自然语言处理，具体涉及一种基于邻域感知上下文重构的超长文档理解方法及系统。

背景技术：

1、近年来，大语言模型在自然语言处理领域取得了显著进展，但在面对单篇超长文档（如书籍、法律卷宗、科研论文集、财务报告等文本长度超过模型上下文窗口限制的内容）时仍面临巨大挑战。不同于多篇独立文档的检索场景，单篇超长文档的处理需要完整捕捉文本内部的局部关联与逻辑依赖，从而为大语言模型提供更连贯、逻辑完整的输入信息，以提高其回答的准确率。

2、目前，现有面向大语言模型的超长文档处理技术主要分为两大主流技术路线，分别为上下文窗口扩展技术与分块检索范式，同时衍生出动态分块优化、图结构建模等改进方案，各技术方案均存在自身的技术局限性，无法兼顾超长文档处理的语义完整性、长距离依赖捕捉能力与计算高效性。

3、其中，上下文窗口扩展技术主要从大语言模型原生transformer架构层面进行优化，通过改进注意力计算机制、优化位置编码方式，突破模型预训练阶段固定的上下文长度限制，实现超长文档的直接处理。该技术路线的核心原理为降低长序列输入场景下的计算复杂度与内存开销，适配超长文本输入需求，典型实现方式包括基于插值扩展旋转位置编码的yarn方案、引入注意力权重平滑缩放机制的lm-infinite方案、采用稀疏注意力掩码与层级化注意力设计的infllm方案等。该类技术无需对原始文档进行分割预处理，能够完整保留文档全局上下文信息，但受制于transformer架构的固有特性，自注意力计算复杂度随文本长度呈平方级增长，文档长度越长，计算资源与内存开销越大，极易出现注意力稀释、位置编码偏差等问题，难以精准捕捉超长文档中的长距离语义依赖，落地部署成本高、实用性较差。

4、分块检索范式是当前工业界处理超长文档的主流轻量化方案，核心采用“分块-检索-拼接”的处理流程，无需修改大语言模型原生架构，能够在有限的上下文资源预算内完成超长文本处理。其常规处理流程为：首先将超长文档分割为若干独立文本块，再通过检索算法计算用户问题与各文本块的相关性得分，筛选高关联文本块，最后拼接候选文本块输入大语言模型完成下游任务。根据检索原理不同，主要分为以bm25算法为代表的稀疏检索与以minilm、bge、e5等语义编码模型为核心的稠密检索，前者计算速度快、无需训练，后者可捕捉细粒度语义关联。为解决传统固定长度分块导致的语义边界断裂问题，现有技术进一步提出动态分块与选择（dcs）方案，摒弃固定token分割规则，基于文本语义单元实现动态分块，并通过“问题-文本块”选择器优化候选上下文的语义连贯性，但其仅能小幅缓解局部语义碎片化问题。

5、除此之外，现有技术还提出了基于图结构建模的graphreader长文档处理方案，该方案通过大语言模型抽取文档中的人物、地点、事件、概念等实体及实体间的所属、因果、时序等关联关系，构建以实体为节点、关系为边的文档级实体图，将非结构化超长文本转化为结构化图谱，再通过大语言模型引导图遍历的方式检索用户问题的相关内容，实现跨文本块的关联信息挖掘。

6、综上，现有各类超长文档处理技术虽可在一定程度上解决大语言模型无法处理超长文本的问题，但在实际应用中仍存在诸多核心技术缺陷，无法满足复杂超长文档的高精度、高效率处理需求，具体缺陷如下：

7、第一，存在严重的上下文碎片化、推理链条断裂问题。无论是传统固定分块、动态分块的检索范式，还是常规文本处理方案，本质上均是将完整超长文档切割为多个相互独立的文本片段，未对文本块之间的语义关联、逻辑依赖及篇章指代关系进行建模。在多跳问答、跨段落推理等复杂任务场景中，检索机制仅能依据用户问题与单个文本块的局部相关性筛选内容，无法识别、整合分散在文档不同位置的关联线索，导致关键推理链条断裂。动态分块方案仅优化了文本分割边界，缓解局部语义断裂问题，无法从根本上解决块间关联缺失的核心缺陷，最终导致大语言模型输入信息不完整，频繁出现推理错误、答案关键信息缺失等问题；

8、第二，长距离依赖捕捉能力不足，无法兼顾全局与局部语义特征。超长文档同时存在长距离主题关联与局部位置连续的双重语义特征，而现有技术均无法实现两类特征的同步精准捕捉。分块检索类方案仅聚焦单文本块与用户问题的独立相关性，完全忽略文档跨块、远距离的主题关联；上下文窗口扩展技术虽能覆盖完整文档，但注意力稀释、位置偏差问题突出，难以精准定位长距离语义依赖关系；graphreader图结构方案仅聚焦实体间关系建模，忽视文本原始邻域结构与叙事连续性，无法完整还原文档原生语义结构。各类现有方案均无法高效适配超长文档复杂的语义分布特征；

9、第三，计算效率与处理性能的固有矛盾无法调和，难以适配工业落地需求。现有技术普遍存在“高性能必高开销、高效率必低性能”的缺陷，无法实现性能与效率的平衡。上下文窗口扩展技术、图结构化建模技术虽能提升语义完整性与长距离捕捉能力，但计算复杂度极高，预处理与推理耗时随文档长度急剧增长，硬件资源占用大、实时性差，无法满足工业界高并发、低延迟的使用需求；而传统分块检索、动态分块等轻量化方案虽计算成本低、部署便捷，但受限于上下文碎片化、长距离依赖缺失问题，在复杂超长文档理解任务中性能表现较差，推理精度不足。

10、针对现有超长文档处理技术存在的信息分散、推理链条断裂、长距离依赖捕捉能力弱、效率与性能无法兼顾等技术痛点，目前尚未出现完善、高效的解决方案。因此，亟需设计一种全新的面向单篇超长文档的大语言模型上下文处理方案，在保持轻量化计算优势的前提下，重构文档上下文关联关系，精准捕捉长短距离语义特征，兼顾处理效率与推理性能。

技术实现思路

1、针对分块检索范式固有的信息分散、上下文碎片化、长距离依赖缺失问题，本发明提出一种基于邻域感知上下文重构的超长文档理解方法及系统，通过双层邻域图建模、迭代双池探索、预算感知上下文重构三大核心手段，在无训练、轻量级、低延迟前提下，根据用户问题需求，从超长文档中组织与问题相关的信息，并重构为适用于大语言模型理解的连贯输入上下文，从而提升超长文档阅读理解的准确率、鲁棒性与实用性。

2、为实现上述目的，本发明的技术方案包括以下内容。

3、一种基于邻域感知上下文重构的超长文档理解方法，所述方法包括：

4、将超长文档划分为离散的文本块，并获取每一文本块的主题邻居与物理邻居；

5、根据用户问题与文本块之间的关键词相关性分数，选择若干个文本块送入初始全局池，并构建一个初始化为空的前沿传播池；其中，所述文本块在初始全局池中的分数为该关键词相关性分数；

6、交替从初始全局池与前沿传播池中选中一个分数最高的文本块加入候选文本块集合，并将该文本块的主题邻居加入到前沿传播池；其中，该主题邻居在前沿传播池中的分数为该文本块与用户问题之间的语义相似性分数；

7、根据文本块与用户问题之间的语义相似性分数，从候选文本块集合中选出指定数量的核心文本块，并依据每个核心文本块的物理邻居对核心文本块进行扩展；

8、基于扩展后的核心文本块与候选文本块集合中的其他候选文本块生成输入上下文，并将用户问题与该输入上下文嵌入预设定的提示词模板之后，基于大语言模型生成该用户问题对应的回答。

9、进一步地，获取每一文本块的主题邻居与物理邻居，包括：

10、基于文本块之间的关键词相关性分数，获取每一文本块的主题邻居；

11、根据文本块在超长文档中的物理位置，得到每一文本块的物理邻居。

12、进一步地，交替从初始全局池与前沿传播池中选中一个分数最高的文本块加入候选文本块集合，并将该文本块的主题邻居加入到前沿传播池，包括：

13、从初始全局池选择一个关键词相关性分数最高的文本块，表示文本块在初始全局池中的索引；

14、计算该文本块与用户问题之间的语义相似性分数，并将携带该语义相似性分数的文本块加入到候选文本块集合；

15、将该语义相似性分数赋予给该文本块的主题邻居之后，将所述文本块的主题邻居送入到前沿传播池；

16、从前沿传播池选择一个语义相似性分数最高的文本块加入候选文本块集合，表示文本块在前沿传播池中的索引；

17、计算该文本块与用户问题之间的语义相似性分数，并将携带该语义相似性分数的文本块加入到候选文本块集合；

18、将该语义相似性分数赋予给该文本块的主题邻居之后，将所述文本块的主题邻居送入到前沿传播池；

19、重新执行所述从初始全局池选择一个关键词相关性分数最高的文本块的步骤，直至候选文本块集合中的文本块数量达到设定数量。

20、进一步地，将该主题邻居送入到前沿传播池之后，所述方法还包括：

21、判断该主题邻居是否已存在于前沿传播池中；

22、对于未存在于前沿传播池中的主题邻居，将该主题邻居的语义相似性分数作为该主题邻居的语义相似性分数；其中，；

23、对于已存在于前沿传播池中的主题邻居，将主题邻居的原语义相似性分数与语义相似性分数进行比较，并选择分数较高的语义相似性分数作为该主题邻居的新语义相似性分数。

24、进一步地，依据每个核心文本块的物理邻居对核心文本块进行扩展，包括：

25、获取边界拓展比例；

26、获取核心文本块的物理邻居，所述物理邻居包括文本块和文本块，表示文本块在超长文档中的索引；

27、从文本块中提取边界拓展比例的末尾部分；

28、从文本块中提取边界拓展比例的起始部分；

29、将该末尾部分、核心文本块与该起始部分组合，得到扩展后的核心文本块。

30、进一步地，基于扩展后的核心文本块与候选文本块集合中的其他候选文本块生成输入上下文，包括：

31、将扩展后的核心文本块与候选文本块集合中的其他候选文本块去除重复片段之后，按照文本块在超长文档中的绝对位置进行升序排序，得到重构后的输入上下文。

32、进一步地，计算关键词相关性分数的算法包括：bm25算法。

33、进一步地，所述语义相似性分数的生成过程包括：

34、将用户问题与文本块送入轻量化语义匹配模型，得到语义相似性分数；其中，所述轻量化语义匹配模型包括minilm-l12-v2模型。

35、一种基于邻域感知上下文重构的超长文档理解系统，所述系统包括：

36、双层邻域图文档表示模块，用于将超长文档划分为离散的文本块，并获取每一文本块的主题邻居与物理邻居；

37、迭代双池探索与验证模块，用于根据用户问题与文本块之间的关键词相关性分数，选择若干个文本块送入初始全局池，并构建一个初始化为空的前沿传播池；其中，所述文本块在初始全局池中的分数为该关键词相关性分数；交替从初始全局池与前沿传播池中选中一个分数最高的文本块加入候选文本块集合，并将该文本块的主题邻居加入到前沿传播池；其中，该主题邻居在前沿传播池中的分数为该文本块与用户问题之间的语义相似性分数；

38、预算感知的上下文重构模块，用于根据文本块与用户问题之间的语义相似性分数，从候选文本块集合中选出指定数量的核心文本块，并依据每个核心文本块的物理邻居对核心文本块进行扩展；基于扩展后的核心文本块与候选文本块集合中的其他候选文本块生成输入上下文，并将用户问题与该输入上下文嵌入预设定的提示词模板之后，基于大语言模型生成该用户问题对应的回答。

39、一种计算机设备，其特征在于，所述计算机设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现上述任一项所述的基于邻域感知上下文重构的超长文档理解方法。

40、与现有技术相比，本发明至少具有以下有益效果。

41、（1）本发明的双层邻域图文档表示模块缓解传统分块检索将文档切割为孤立单元、无法同时建模块间长程语义关联与局部位置连续性的问题，为后续关联线索挖掘提供结构化基础，其将文档表示为主题层与物理层结合的双层邻域图，主题层连接主题相似的远距离块以捕捉长程依赖，物理层连接相邻块以保留局部连续性。

42、（2）本发明的迭代双池探索与验证模块提出交替从初始全局池与前沿传播池选择候选块的双池探索策略，结合相关性二次验证机制，既保证全局检索覆盖，又能深入挖掘局部相关内容，同时缓解错误传播。

43、（3）现有技术要么高开销低效率，要么高效率低性能，无法在轻量化前提下解决信息分散、提升理解效果。针对该问题，本发明采用全流程轻量化设计，实现无需模型训练、推理延迟接近纯检索方案，在低计算开销下显著提升大语言模型在超长文档理解中的准确率与鲁棒性。