一种增量检索与可追溯长文本生成方法及系统与流程

本发明涉及自然语言处理，具体公开了一种增量检索与可追溯长文本生成方法及系统。

背景技术：

1、近年来，基于大语言模型的自动化调研与长文本写作系统逐渐普及。现有的典型系统通常采用单向线性的流水线架构，即用户输入触发检索、汇总数据后生成长文。然而，这种静态架构在处理复杂专业调研任务时，存在严重的资源调度与上下文管理缺陷。

2、第一，意图澄清缺乏量化标准，导致无效检索频发。现有系统多依赖预置静态槽位或简单的提示词工程，由于无法根据不同的话题动态量化用户输入的约束完整度与权重，系统常因关键约束（如时间界限、特定对比维度）缺失而发起无效的网络检索，浪费计算资源。

3、第二，多轮检索缺乏结构化的量化终止判据。现有支持多轮检索的系统通常依赖设定固定轮数或大模型的主观判断来终止检索，缺乏对新获取数据的结构化知识增量的客观度量，导致系统要么过早停止遗漏关键事实，要么陷入过度检索，大量消耗接口调用资源。

4、第三，大纲修改引发全量冗余检索。现有系统缺乏对大纲节点与本地缓存知识片段之间细粒度追溯映射的管理，当用户对生成的大纲进行局部增删改时，系统无法判断本地缓存是否足以支撑修改后的节点，往往采用一刀切的全量重新检索策略，导致极大的网络请求冗余与响应延迟。

5、第四，生成阶段事实约束力弱，溯源困难。长文本生成时若一次性输入大量且来源驳杂的检索文本，极易超出模型有效上下文窗口，且模型容易发生误归因或偏离给定事实进行推理，产生事实幻觉。

6、因此，亟需一种能够量化控制检索边界、构建大纲与本地知识多对多绑定机制、实现大纲修改增量调度与受控防幻觉生成的方法及系统，以解决现有技术中存在的上述技术问题。

技术实现思路

1、为了克服上述不足，本发明提供一种增量检索与可追溯长文本生成方法及系统，通过结构化知识增量判定优化检索资源，并通过多对多的可追溯语义绑定实现大纲修改时的最小化网络调用调度，从而解决无效检索频发、检索终止缺乏客观判据、大纲修改引发全量冗余检索以及生成阶段事实幻觉与溯源困难的技术问题。

2、为了实现上述发明目的，本发明采取如下技术方案：

3、第一方面，本发明提供了一种增量检索与可追溯长文本生成方法，所述方法包括：

4、基于用户输入构建任务约束图谱，基于所述任务约束图谱中各约束维度的权重、填充质量和冲突检测结果，确定意图清晰度得分；当所述意图清晰度得分未满足预设任务启动条件时，基于所述权重和所述填充质量确定待补充的约束维度，并获取针对所述待补充的约束维度的补充输入，以更新所述任务约束图谱；

5、在所述意图清晰度得分满足所述预设任务启动条件后，执行多轮检索并对检索结果进行知识抽取，得到知识切片；根据每轮检索得到的知识切片相对于已有知识切片的语义新颖度，确定是否停止检索；

6、停止检索后，基于所述知识切片建立本地知识库，并生成大纲树；建立所述大纲树中的大纲节点与所述本地知识库中的知识切片之间的绑定关系；

7、响应于所述大纲树的修改，确定受影响的大纲节点，并基于所述绑定关系从所述本地知识库中召回相关知识切片；当召回的相关知识切片不满足所述受影响的大纲节点的写作支撑要求时，针对所述受影响的大纲节点执行增量检索，并将增量检索得到的知识切片更新至所述本地知识库；

8、基于各大纲节点绑定的知识切片生成长文本，并输出所述长文本对应的证据索引，所述证据索引用于标识支撑所述长文本的知识切片。

9、可选地，所述基于用户输入构建任务约束图谱包括：

10、根据用户输入确定任务类型；

11、调用与所述任务类型相对应的预设任务类型模板；

12、基于所述用户输入对所述预设任务类型模板进行扩展，得到所述任务约束图谱；

13、其中，所述任务约束图谱包括主题对象、目标读者、文本用途、时间范围、地域范围、文本体裁、篇幅要求、资料来源要求和禁止内容。

14、可选地，所述意图清晰度得分根据各约束维度的权重和填充质量进行加权计算得到，并根据所述冲突检测结果的冲突数量或冲突等级进行惩罚处理；

15、所述确定待补充的约束维度包括：

16、将权重高于预设权重阈值且填充质量低于预设质量阈值的约束维度确定为所述待补充的约束维度。

17、可选地，所述根据每轮检索得到的知识切片相对于已有知识切片的语义新颖度，确定是否停止检索包括：

18、将每轮检索得到的知识切片编码为向量；

19、针对当前轮检索得到的每个知识切片，计算该知识切片的向量与已有知识切片的向量之间的相似度，并将对应的各相似度中的最大值确定为该知识切片的最大相似度；

20、根据该知识切片的最大相似度确定该知识切片的新颖度值；

21、根据当前轮检索得到的各知识切片的新颖度值，确定当前轮检索的语义新颖度；

22、当连续预设轮数的语义新颖度低于预设新颖度阈值时，停止检索。

23、可选地，所述语义新颖度包括平均新颖度指标和最大新颖度指标；

24、单个知识切片的新颖度值按照一减去该知识切片的最大相似度确定；

25、所述平均新颖度指标为一轮检索中各知识切片的新颖度值的平均值；

26、所述最大新颖度指标为该轮检索中各知识切片的新颖度值中的最大值；

27、所述连续预设轮数的语义新颖度低于预设新颖度阈值包括：

28、连续预设轮数的所述平均新颖度指标低于第一新颖度阈值，且所述最大新颖度指标低于第二新颖度阈值。

29、可选地，所述建立所述大纲树中的大纲节点与所述本地知识库中的知识切片之间的绑定关系包括：

30、对大纲节点与知识切片之间的相关性进行评分，得到所述大纲节点与所述知识切片之间的相关度评分；

31、根据所述大纲节点的写作支撑要求，校验候选知识切片对所述大纲节点的覆盖情况，得到覆盖度校验结果；

32、基于所述相关度评分和所述覆盖度校验结果，建立所述大纲节点与所述知识切片之间的多对多映射关系；

33、其中，所述覆盖度校验结果包括候选知识切片覆盖的写作支撑槽位、未覆盖的写作支撑槽位和覆盖度评分；

34、每条映射关系记录包括对应的大纲节点标识、知识切片标识和相关度评分。

35、可选地，所述响应于所述大纲树的修改，确定受影响的大纲节点包括：

36、响应于对所述大纲树的结构或大纲节点内容的修改，通过树差异算法对修改前的大纲树和修改后的大纲树进行比较，并根据节点标识、父子关系、节点标题、节点摘要和节点顺序，确定新增节点、删除节点、移动节点和内容变更节点；

37、根据所述新增节点、删除节点、移动节点和内容变更节点以及对应的绑定关系，确定所述受影响的大纲节点。

38、可选地，所述写作支撑要求通过预设写作支撑槽位模板进行判定；

39、所述当召回的相关知识切片不满足所述受影响的大纲节点的写作支撑要求时，针对所述受影响的大纲节点执行增量检索包括：

40、依据所述预设写作支撑槽位模板，确定各写作支撑槽位是否被召回的相关知识切片覆盖；

41、当存在未被覆盖的写作支撑槽位时，基于未覆盖的写作支撑槽位生成检索查询语句，并基于所述检索查询语句执行增量检索。

42、可选地，所述基于各大纲节点绑定的知识切片生成长文本包括：

43、提取各大纲节点绑定的知识切片作为对应大纲节点的生成上下文；

44、基于所述生成上下文生成长文本内容；

45、对所述长文本内容与对应的知识切片进行事实一致性校验；

46、当所述事实一致性校验表明所述长文本内容与对应的知识切片的事实范围不匹配时，对不匹配的内容进行改写或删除；

47、所述证据索引包括支撑所述长文本的知识切片对应的切片引用索引；所述切片引用索引以知识切片标识符的形式插入或关联至所述长文本中，用于标识所述本地知识库中的对应知识切片。

48、第二方面，本发明提供了一种增量检索与可追溯长文本生成系统，包括：

49、意图处理模块，用于基于用户输入构建任务约束图谱，基于所述任务约束图谱中各约束维度的权重、填充质量和冲突检测结果确定意图清晰度得分，并在所述意图清晰度得分未满足预设任务启动条件时，基于所述权重和所述填充质量确定待补充的约束维度，获取针对所述待补充的约束维度的补充输入以更新所述任务约束图谱；

50、检索终止判定模块，用于在所述意图清晰度得分满足所述预设任务启动条件后执行多轮检索并对检索结果进行知识抽取得到知识切片，根据每轮检索得到的知识切片相对于已有知识切片的语义新颖度确定是否停止检索；

51、绑定模块，用于停止检索后，基于所述知识切片建立本地知识库并生成大纲树，建立所述大纲树中的大纲节点与所述本地知识库中的知识切片之间的绑定关系；

52、增量调度模块，用于响应于所述大纲树的修改确定受影响的大纲节点，基于所述绑定关系从所述本地知识库中召回相关知识切片，当召回的相关知识切片不满足所述受影响的大纲节点的写作支撑要求时，针对所述受影响的大纲节点执行增量检索，并将增量检索得到的知识切片更新至所述本地知识库；

53、受控生成模块，用于基于各大纲节点绑定的知识切片生成长文本，并输出所述长文本对应的证据索引，所述证据索引用于标识支撑所述长文本的知识切片。

54、与最接近的现有技术相比，本发明具有的有益效果：

55、本发明提出一种增量检索与可追溯长文本生成方法及系统，通过构建加权任务约束图谱并计算意图清晰度得分，精准识别高权重的约束缺口并触发自适应澄清，避免了因预置槽位死板或关键约束缺失而盲目发起的无效网络请求，有助于节约前置检索的计算资源。

56、本发明提出基于语义新颖度的检索终止判据及联合终止条件，将检索停止边界从设定固定轮数或模型主观判断升级为客观的数据收敛度量，防止了系统过早停止遗漏信息或陷入过度检索，有助于降低接口调用资源的无效消耗。

57、本发明建立大纲节点与本地知识切片的多对多绑定关系，当用户增删改大纲时，通过树差异算法定位差异节点并进行本地写作支撑槽位覆盖度检测，精准判断本地缓存是否足以支撑修改，仅对真正的知识盲区发起局部增量检索，摒弃了传统改大纲即全盘重搜的策略，有助于提升本地知识复用率。

58、本发明在长文本生成阶段严格提取与当前大纲节点绑定的本地知识切片作为专属生成上下文，避免了一次性输入超长且驳杂的检索文本导致的误归因，同时强制要求正文输出关联切片的证据索引，从机制上限制了模型偏离给定事实进行捏造，有助于降低事实幻觉风险并实现正文内容的逐句溯源。