大语言模型推理增强方法和装置与流程

本技术涉及人工智能，具体地涉及一种大语言模型推理增强方法、装置及存储介质。

背景技术：

1、大语言模型（large language model, llm）基于transformer架构，经由大规模语料预训练而得到，在自然语言理解、文本生成、代码补全等任务上展现出强大能力。然而，大语言模型的本质是基于上下文条件概率的序列预测，其推理是“统计逼近”而非“逻辑演绎”，在需要严格逻辑链条的复杂推理场景中，模型输出的稳定性与可靠性存在本质性局限，其可能以高置信度输出表面合理但实质错误的结论（即幻觉现象），而自身无法感知与修正。

2、围绕大语言模型推理能力的增强，研究者已提出多种技术方案。思维链提示方法通过在提示中加入中间推理步骤示范，引导模型逐步输出推理过程，但推理步骤以自由自然语言形式呈现，缺乏形式化结构与客观验证，错误依赖模型自身无法识别。过程奖励模型对推理中间步骤进行逐步标注与奖励建模，但其验证器为数据驱动的学习型模型，本身可能存在错误，不具备确定性验证能力。自我反思方法使模型根据执行结果产生自然语言反思并指导后续改进，但反馈来源于模型自身，存在“以错纠错”风险。copra系统将大语言模型与coq定理证明器结合，实现了“生成→验证→修正”的基本闭环，但其抽象世界模型为隐式结构，缺乏显式状态表示与路径回溯能力，反馈为原始错误日志的直接传递，缺乏对错误类型的分类、对错误位置的精确识别以及对修正方向的结构化生成，系统仅面向coq证明器，无法扩展至其他验证工具。alphageometry由神经语言模型与符号推演引擎交替协作，是现有最具代表性的神经符号协作推理系统，但其架构与几何领域高度耦合，反馈机制为二元成功/失败信号，模型无法获知具体错误步骤与修正方向，且不具备显式推理状态表示与路径回溯能力。

3、总体而言，现有技术在以下方面存在共同局限：大语言模型的推理结论缺乏外部客观验证机制，错误结论无法被自动识别与纠正；推理中间步骤缺乏任务约束与逻辑关系的结构化表示，各步骤间依赖关系模糊，错误沿推理链积累后难以溯源定位；验证器输出的技术性错误信息以大语言模型难以直接理解的原始日志形式传递，系统无法将验证失败信息转化为包含错误位置与修正方向的结构化反馈以驱动模型进行定向修正；现有系统通常面向特定领域构建，缺乏多类型验证器的统一接入架构，跨领域扩展能力不足；推理中间状态不可追踪，推理路径失败后无法有效回溯至有效节点并探索替代路径，搜索效率低下。

4、综上所述，现有技术无法为大语言模型在复杂推理任务中提供兼具外部客观验证、结构化状态管理、错误精准定位与定向修正能力的通用闭环推理增强框架，难以在保证推理可靠性的同时实现跨领域可扩展性。

技术实现思路

1、本技术实施例的目的是提供一种大语言模型推理增强方法、装置及存储介质。

2、为了实现上述目的，本技术第一方面提供一种大语言模型推理增强方法，所述方法包括：

3、步骤s10：获取用户输入的自然语言任务，将所述自然语言任务转换为预设形式化规范下的形式化任务表示，并基于所述形式化任务表示初始化当前推理进程的状态空间；

4、步骤s20：在所述推理进程中，维护所述状态空间内的状态信息，所述状态信息至少包含当前推理节点、已达成子目标集合以及未达成子目标集合；

5、步骤s30：基于大语言模型，根据所述当前状态信息，迭代地生成用于推进所述推理进程的候选动作序列；

6、步骤s40：对所述候选动作序列执行多重验证，所述多重验证至少包括语法正确性验证和语义逻辑一致性验证；

7、若所述候选动作序列通过所述多重验证，则根据所述候选动作序列更新所述状态信息，并返回步骤s30继续迭代；

8、若所述候选动作序列未通过所述多重验证，则生成对应的失败类别标签及错误上下文信息，并进入步骤s50；

9、步骤s50：根据所述失败类别标签及所述错误上下文信息，基于预设的反馈策略生成结构化修正指令，并将所述结构化修正指令馈送至步骤s30的大语言模型生成过程中，用以指示后续迭代中规避已发生的错误类型并调整候选动作序列的生成方向；

10、步骤s60：监控所述推理进程的迭代轮次，当所述迭代轮次达到预设的上限阈值或所述状态空间判定达成所述自然语言任务对应的目标状态时，终止迭代并输出最终推理结果；

11、其中，所述步骤s30生成的候选动作序列经所述步骤s40验证后，其验证结果通过所述步骤s50转化为修正指令并回馈至所述步骤s30，作为所述步骤s30后续迭代生成的输入依据；所述步骤s30、步骤s40与步骤s50之间构成信息传递的循环路径，所述循环路径的反复执行受所述步骤s60的终止条件控制。

12、在本技术实施例中，所述维护所述状态空间内的状态信息的步骤，包括：

13、步骤s201：维护知识规则库，所述知识规则库用于存储当前推理任务所属领域的公理、引理、推理规则及约束条件；

14、步骤s202：维护当前推理进程的推理状态，所述推理状态至少包括已通过验证的命题集合、待验证的目标命题集合以及当前推理上下文信息；所述当前推理上下文信息至少包含已使用的推理规则集合、已排除的推理路径标识以及当前迭代轮次；

15、步骤s203：响应于每一次候选动作序列通过验证并完成状态更新，执行状态转移操作，将所述推理状态从当前状态转移至下一状态；

16、步骤s204：维护推理路径图谱，所述推理路径图谱以有向无环图结构记录所述推理进程中已探索的全部推理路径；

17、步骤s205：当任一候选动作序列未通过验证时，执行回溯操作，以将当前推理进程回退至先前已验证的推理状态，并引导后续候选动作序列的生成方向避开已失败路径以减少重复性无效尝试。

18、在本技术实施例中，所述当任一候选动作序列未通过验证时，执行回溯操作的步骤，包括：

19、步骤s2051，将当前推理路径中对应的节点标记为失败节点，并记录失败原因；

20、步骤s2052，沿所述推理路径图谱回溯至最近一个验证通过的节点，将该节点作为有效节点；

21、步骤s2053，在所述有效节点处开辟新的推理分支，以引导后续候选动作序列的生成沿所述新分支进行探索；

22、步骤s2054，将所述失败节点的标识信息及失败原因作为禁忌信息存储于所述推理路径图谱中，用于在后续迭代中抑制大语言模型生成与所述失败节点相关联的候选动作序列。

23、在本技术实施例中，所述响应于每一次候选动作序列通过验证并完成状态更新，状态转移操作具体包括：

24、将当前候选动作序列所对应的形式化结论从所述待验证的目标命题集合移入所述已通过验证的命题集合；

25、根据当前候选动作序列所应用的推理规则，更新所述待验证的目标命题集合，移除已被当前验证结果覆盖的子目标，并加入新产生的子目标；

26、更新所述当前推理上下文信息，至少记录当前步骤所使用的推理规则及本次迭代所消耗的轮次信息。

27、在本技术实施例中，所述将自然语言任务转换为预设形式化规范下的形式化任务表示，并基于所述形式化任务表示初始化当前推理进程的状态空间的步骤，包括：

28、步骤s101，对所述自然语言任务执行输入预处理，所述输入预处理至少包括分词处理、命名实体识别以及关系抽取，以提取所述自然语言任务中涉及的关键对象、数量关系与逻辑约束；

29、步骤s102，基于规则匹配与分类模型，将所述自然语言任务归类至预定义的任务类型集合中，所述任务类型集合至少包括：数学证明类任务、程序验证类任务、科学推断类任务以及工程决策类任务；

30、步骤s103，调用与所归类的任务类型相对应的领域本体以及预定义的转换提示模板，通过大语言模型将所述自然语言任务转换为目标领域下的形式化陈述；

31、步骤s104，对所述形式化陈述执行转换结果合法性验证；若验证通过，则进入步骤s105；若验证未通过，则重新触发步骤s103进行重新转换，直至验证通过或重新转换次数达到预设的重试上限，若达到所述重试上限后验证仍未通过，则向用户返回转换失败信息并请求澄清；

32、步骤s105：根据所述形式化陈述，明确定义所述推理进程的终止条件所对应的目标状态，并从所述自然语言任务和/或所述形式化陈述中提取前提条件、约束条件和边界条件，将所述前提条件、约束条件和边界条件作为所述状态空间的初始硬约束写入所述状态空间。

33、在本技术实施例中，所述基于大语言模型，根据所述当前状态信息，迭代地生成用于推进所述推理进程的候选动作序列的步骤，包括：

34、步骤s301：将所述当前状态信息序列化为包含多个固定分区格式的结构化提示，所述结构化提示至少包括任务定义分区、已知条件分区、当前目标分区、可用规则分区、历史失败路径摘要分区以及输出格式分区；

35、步骤s302：基于所述结构化提示，调用所述大语言模型生成预设束宽度k条候选推理步骤；

36、步骤s303：维护k条活跃推理路径，对每条活跃推理路径的当前候选推理步骤分别提交至验证单元进行验证，并根据验证结果执行路径管理操作：

37、步骤s304：响应于接收到的结构化修正指令，将所述结构化修正指令注入所述结构化提示的预设反馈分区，重新调用所述大语言模型，针对指定推理步骤生成修正后的候选推理步骤，并将所述修正后的候选推理步骤提交至验证单元重新验证；其中，所述修正后的候选推理步骤在所述推理路径图谱中记录为新分支，原验证失败的推理步骤对应分支保留于所述推理路径图谱中且不被覆盖。

38、在本技术实施例中，所述所述步骤s303中根据验证结果执行路径管理操作的步骤，包括：

39、步骤s3031，对于验证通过的候选推理步骤，保留对应路径，将所述候选推理步骤对应的形式化结论更新至所述状态空间，并继续推进所述路径的下一轮推理；

40、步骤s3032，对于验证未通过的候选推理步骤，将对应路径的失败信息记录至推理路径图谱，并触发反馈生成流程；

41、步骤s3033，当所有k条活跃推理路径在相同推理步数处均验证失败时，执行全局回溯操作：将各路径回退至最近一个验证通过的公共分叉节点，基于所述推理路径图谱中记录的失败历史信息，引导所述大语言模型在所述分叉节点处生成新的候选推理步骤，沿新分支重新探索；

42、步骤s3034，若所述全局回溯操作的累计次数超过预设的回溯次数上限，则判定当前推理任务在现有推理框架内无法完成，终止推理进程并输出失败报告。

43、在本技术实施例中，所述步骤s40中的多重验证采用插件化验证架构实现，所述插件化验证架构通过统一接口协议接入至少两种不同类型的验证器，所述验证器的类型根据当前推理任务的任务类型进行选择与切换。

44、在本技术实施例中，所述根据所述失败类别标签及所述错误上下文信息，基于预设的反馈策略生成结构化修正指令的步骤，包括：

45、步骤s501：根据所述验证器输出的错误类型字段，将所发生的错误归类至预定义错误类别集合中的对应类别，所述预定义错误类别集合至少包括逻辑层错误、目标层错误、约束层错误及形式层错误；

46、步骤s502：结合所述验证器输出的错误定位信息与当前推理路径图谱，定位引发错误的步骤编号及对应的表达式片段；

47、步骤s503：基于已归类的错误类型以及当前知识规则库，通过规则匹配方式从所述知识规则库中检索与当前错误结构相匹配的候选替代规则，生成至少一条修正方向建议；

48、步骤s504：将所述错误类别、所述错误定位信息以及所述修正方向建议按预设格式组装为结构化反馈信息，所述结构化反馈信息至少包含错误步骤编号、错误类型名称、错误位置表达式片段、错误原因描述、当前未完成目标列表以及修正方向建议列表；

49、步骤s505：监控当前推理进程的迭代轮次与全局回溯次数，当所述迭代轮次达到预设的最大迭代轮次上限或所述全局回溯次数达到预设的最大回溯次数上限时，执行终止操作：从所述推理路径图谱中选取已验证步骤数最多的候选路径，输出该路径的推理过程及当前未完成目标列表，并标注未完成状态。

50、本技术第二方面提供一种大语言模型推理增强装置，包括：存储器，被配置成存储指令；处理器，被配置成从存储器调用指令以及在执行指令时能够实现大语言模型推理增强方法。

51、本技术第三方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行大语言模型推理增强方法。

52、本技术的方法包括：将用户输入的自然语言任务转换为形式化任务表示并初始化状态空间；在推理进程中维护包含当前推理节点、已达成子目标集合及未达成子目标集合的状态信息；基于大语言模型根据当前状态信息迭代生成候选动作序列；对候选动作序列执行至少包含语法正确性验证和语义逻辑一致性验证的多重验证；验证通过则更新状态信息并继续迭代，验证失败则生成失败类别标签及错误上下文信息；根据失败信息生成结构化修正指令并回馈至大语言模型生成过程，用以规避已发生错误并调整生成方向；监控迭代轮次，当达到预设上限或目标状态达成时终止迭代并输出推理结果。本发明通过“生成—验证—反馈—修正”的闭环迭代架构，实现对大语言模型推理过程的外部客观验证与精准定向修正，显著提升了推理的可靠性、准确性和效率。

53、本技术实施例的其他特征和优点将在随后的具体实施方式部分予以详细说明。