一种动态知识状态的大模型长文档生成方法及系统与流程

本发明涉及大模型领域，具体涉及一种动态知识状态的大模型长文档生成方法及系统。

背景技术：

1、随着大语言模型技术落地成熟，依靠模型自动生成逻辑层级复杂、篇幅较长的专业文本已成为行业刚需，典型应用包括产业发展规划、科研调研报告、法律合同、成套项目申报材料等长文档撰写。当前业内用于长文本生成的主流实现方案可归纳为四类：一是全文上下文拼接方案，将全部历史生成文本直接拼接至提示词作为模型输入上下文；二是检索增强生成方案，依托向量数据库检索历史文本切片或对历史章节做静态摘要压缩后输入模型；三是阶段性摘要压缩方案，固定章节节点对全部历史文本生成单一摘要以缩短输入长度；四是多智能体串行流水线方案，基于第三方工程框架搭建分工智能体，按串行顺序完成大纲生成、内容填充、文本审校。

2、上述四类主流方案在面向超长、多层逻辑嵌套文档生成任务时，均存在无法根除的共性技术缺陷：其一，缺少统一、结构化的全局状态存储载体，不存在长效知识记忆机制，模型在长序列生成中后期易遗忘前文设定的实体、时间、数值约束，频繁出现主题漂移、指标篡改、跨章节逻辑自相矛盾；其二，自回归逐token生成模式存在固有隐性偏差，即便模型在段落开头输出约束声明，随生成文本量增加注意力偏移会导致正文内容与前置声明相互冲突；其三，全文拼接模式下输入token数量随文档长度线性增长，直接造成transformer架构kv缓存显存持续膨胀，极易触发显存溢出，同时注意力计算量随文本长度呈平方级上升，大幅降低推理速度；其四，文本信息抽取、交叉一致性校验均采用串行执行逻辑，需等待单段文本完整生成后再开展校验，显著抬高端到端推理时延，无法满足工业场景实时性要求；其五，无标准化全局状态管理中心，各章节生成流程无法共享统一约束数据，多份关联业务文档难以同步统一实体、数值指标，同时缺少标准化状态回滚、恢复机制，生成流程可追溯性差。

技术实现思路

1、为了实现上述目的，本发明提供如下技术方案：

2、本发明公开了一种动态知识状态的大模型长文档生成系统，包括编排器、记忆引擎、llm生成器、旁路抽取器、约束引擎；

3、所述编排器，用于接收用户章节生成请求，调度文档生成任务，协调llm生成器、旁路抽取器并行工作以构建异步双轨流水线架构，并向llm生成器分发动态知识状态；

4、所述记忆引擎，用于维护全局动态知识状态st，执行动态知识状态持久化存储、语义压缩以及增量融合更新；

5、所述llm生成器，用于基于结构化思维链s-cot执行自回归文本生成，输出包含状态声明段、正文生成段的双阶段长文档；

6、所述旁路抽取器，用于在llm生成器输出流式正文的过程中，实时对流式文本进行结构化信息抽取，得到实际状态增量；

7、所述约束引擎，用于接收动态知识状态输出的全局历史动态知识状态、llm生成器对应的模型声明状态、旁路抽取器输出的实际状态增量，执行多源状态交叉一致性校验与冲突仲裁所述编排器与记忆引擎双向交互连接，所述编排器还单向调度连接llm生成器；

8、所述记忆引擎维护全局动态知识状态，所述动态知识状态分别单向向llm生成器、约束引擎输出数据；

9、所述llm生成器单向向旁路抽取器输出生成文本；

10、所述旁路抽取器具有两路单向输出链路，一路向编排器反馈并行运行同步信号，另一路向约束引擎输出抽取得到的实际状态增量；

11、所述约束引擎配置两条独立输出链路，第一条为校验通过链路，将合规状态增量回传至记忆引擎；第二条为冲突检测反馈链路，向用户生成请求端回传冲突信号。

12、本发明还公开了一种动态知识状态的大模型长文档生成方法，包括如下步骤：

13、s1、初始化全局动态知识状态：在第t个文档生成阶段中，动态知识状态为由多个子状态构成的结构化多元组，以替代全量历史上下文输入，所述动态知识状态表达式为：

14、其中，为文档结构大纲状态，用于记录章节层级、章节目标及当前生成进度，为长程历史摘要状态，用于存储对历史章节内容的压缩语义摘要，为键值约束状态，以键值对形式维护硬性指标与约束条件，为知识图谱状态，用于维护实体节点及实体关系，为文本风格子状态，用于维护全文写作风格、术语规范及语气参数；

15、s2、构建结构化思维链s-cot训练机制，训练专用模型，所述专用模型在生成正文前先预测状态变化：设置两类专用文本控制标识<|state_update|>与<|content|>，<|state_update|>为状态更新分界标识，<|content|>为正文生成分界标识，将模型生成过程拆分为先预测状态增量、后生成正文的两个阶段过程，并通过联合损失函数进行优化，使模型习得显式状态感知能力；

16、s3、用户提交章节生成请求，编排器接收章节生成请求后，驱动所述专用模型执行异步双轨推理：进入推理阶段，启动异步双轨流水线机制，主干生成轨道由llm生成器负责执行，输出状态声明段落，用于描述当前章节预计新增的实体、摘要及约束信息，随后输出正文内容；同时编排器启动旁路抽取轨道，利用轻量级模型实时抽取正文中的实体、数值及逻辑关系，生成实际状态增量；

17、s4、闭环校验与状态融合：当前章节生成完成后，约束引擎调取步骤s1形成的动态知识状态、llm生成器输出的模型前向声明状态、旁路抽取器输出的状态增量三类状态数据进行交叉一致性比对，依据预设的优先级序列开展冲突仲裁校验；

18、若校验检出冲突，执行全局状态回滚操作，并基于冲突信息更新输入提示词后重新执行步骤s3以重新生成当前章节；

19、若校验通过，调用离散状态融合函数更新全局状态，并将更新后的状态作为下一章节生成的输入，以此循环直至长文档生成完毕，离散状态融合函数公式为：

20、

21、其中，表示预设融合策略集合。

22、进一步地，所述步骤s2中的训练专用模型过程中采用联合损失函数进行优化：

23、其中，为状态声明部分的交叉熵损失，为正文生成部分的交叉熵损失，与为损失权重系数。

24、进一步地，所述步骤s4中预设的优先级序列为知识锚点状态＞历史可信状态＞模型声明状态＞正文抽取状态。

25、进一步地，所述预设融合策略集合包括：对历史摘要执行滑动语义压缩；对新增约束键值执行集合并集更新；对重复键值触发冲突覆写保护机制；对知识图谱执行实体去重与关系融合；对风格参数执行继承与平滑更新。

26、进一步地，所述步骤s3中的旁路抽取轨道采用轻量级序列标注模型或小型transformer模型构建，所述旁路抽取器通过固定长度滑动窗口截获流式输出正文，且所述旁路抽取器的抽取操作与所述专用模型的正文生成操作同步执行。

27、与现有技术相比，本发明的有益效果为：

28、1.硬件资源占用优化：采用结构化多元组替代全文历史文本作为模型输入，消除token线性增长带来的kv缓存显存膨胀问题，降低注意力模块平方级算力开销，支持超长文档高并发推理；

29、2.统一约束管控：多源状态数据按固定优先级完成冲突仲裁，自动识别数值、实体、时间逻辑冲突，实现单文档跨章节、多关联文档全流程指标对齐；

30、3.模型适配成本低：微调流程仅新增文本控制标识，无需修改transformer网络、注意力算子、底层推理框架，可直接兼容各类开源因果大模型基座；

31、4.推理实时性提升：文本生成、状态增量抽取采用异步并行流水线架构，利用时间重叠抵消抽取与校验操作带来的额外耗时，降低端到端推理延迟；

32、5.状态可追溯可恢复：采用显式离散规则完成状态迭代更新，区别于传统向量隐式覆盖更新，支持历史状态持久化存储、异常状态精准回滚；

33、6.适配成套业务文档场景：全局共享状态基态可同步分发统一约束至多份关联业务文档，适用于产业规划、招投标、项目申报等成套文档自动化生成业务。