一种基于异构逻辑图与关系子图掩码的推理轨迹生成方法及系统

摘要: 本发明涉及属于自然语言处理与人工智能,尤其涉及一种基于异构逻辑图与关系子图掩码的推理轨迹生成方法及系统。背景技术:1、近年来,以transformer架构为基础...
一种基于异构逻辑图与关系子图掩码的推理轨迹生成方法及系统

本发明涉及属于自然语言处理与人工智能,尤其涉及一种基于异构逻辑图与关系子图掩码的推理轨迹生成方法及系统。

背景技术:

1、近年来,以transformer架构为基础的大语言模型在各类自然语言处理任务中取得了突破性进展。然而,现有研究表明,语言模型在涉及严格逻辑约束的多步推理任务中仍存在明显不足。当任务涉及多前提组合、复杂逻辑约束时,模型容易出现中间步骤缺失、关键条件遗漏以及推理链条断裂等问题,具体表现为结论生成但缺乏充分依据、跨前提信息整合不稳定,甚至引入与目标结论无关的干扰性内容。其根本原因在于,自然语言表述具有一定灵活性与歧义性,而语言模型的隐式表征又难以刻画多前提条件下的逻辑连接关系及其组合约束。

2、为缓解上述问题,部分现有技术尝试引入一阶逻辑作为自然语言的中间表示,借助符号推理系统完成后续推导。然而,现有方法仍面临以下挑战:

3、第一,预训练语言模型虽然能够从大规模自然语言语料中学习丰富的语义模式,但其建模过程主要依赖统计相关性,缺乏对蕴含、否定、量词作用域、变量绑定等逻辑关系的显式表示与约束机制。因此,模型往往难以稳定、完整地抽取并保持自然语言中隐含的逻辑信息,从而影响后续逻辑关系建模的可靠性。

4、第二,多步骤逻辑推理依赖命题之间跨步骤、跨层次的信息传播与组合。部分现有技术采用图神经网络对逻辑公式进行图结构编码,但受限于消息传递范式固有的局限性,在建模远距离依赖关系时存在先天不足:随着网络层数增加,不同节点的表示容易逐渐趋同,进而削弱模型对不同逻辑关系及推理状态的区分能力。另一方面,transformer的全局自注意力虽然具备直接建模长距离交互的能力,但在处理逻辑图这类关系稀疏且结构敏感的数据时,往往难以突出其中稀疏但关键的逻辑连接,使条件关系、量词约束等重要信号在大量无关交互中被削弱,从而影响多步演绎过程的稳定性与有效性。

5、第三,现有模型通常直接输出最终判断结果,缺乏可追踪的中间推理链条。在生成式推理设置下,模型还可能产生与前提不一致或缺少证据支撑的中间结论。缺少显式推理轨迹不仅降低了模型输出的可解释性,也使推理错误难以定位、分析和纠正,因而限制了模型推理能力的进一步提升。

技术实现思路

1、针对上述问题,本发明提出了一种基于异构逻辑图与关系子图掩码的推理轨迹生成方法。该方法通过构建覆盖公式内部结构与跨公式关联的双层异构逻辑图,将一阶逻辑前提集中隐含的谓词-项依赖、量词约束及跨公式语义耦合关系显式编码为可计算的图结构;在此基础上,按关系类型将逻辑图分解为多个关系子图,并构造邻接掩码矩阵分配至多头注意力的不同头,使各注意力头在各自分配的逻辑关系子图范围内进行信息聚合,在保留全局交互能力的同时强化稀疏但关键的逻辑依赖;进一步通过多分支融合模块将图级结构信息对齐回token级语义表示;最终以融合记忆为条件,由解码器自回归生成包含中间结论的推理轨迹序列,实现可追溯、可验证的演绎推理过程,适用于需要多步演绎推理且对推理过程可追溯性有较高要求的场景,如法律条文推理、规范符合性判断等。

2、一种基于异构逻辑图与关系子图掩码的推理轨迹生成方法,所述方法包括:

3、步骤s1,构建异构逻辑图:将法律条文转化为一阶逻辑前提公式集,基于一阶逻辑前提公式集,将每条公式内部的谓词、变量、常量及逻辑联结词映射为节点,并将参数位置依赖、量词约束与逻辑连接关系映射为边,构建公式内逻辑图;将跨公式之间通过同名谓词形成的语义耦合关系映射为共享谓词边,并引入全局节点与全局连接边,构建公式间逻辑图;

4、步骤s2,关系子图掩码注意力计算:按关系类型将所述异构逻辑图拆分为多个关系子图,针对每种关系子图构造邻接掩码矩阵,将多头注意力的各个头分别分配给不同的关系子图,以所述掩码矩阵对缩放点积注意力得分进行加性屏蔽,使每个注意力头仅在对应关系子图允许的节点对上进行信息聚合;

5、步骤s3,多分支融合:将经所述关系子图掩码注意力步骤处理后的公式内逻辑图节点表示和公式间逻辑图节点表示分别广播至token级,经门控加权融合后与序列编码器输出的原始语义表示进行残差叠加,得到统一的融合记忆;

6、步骤s4,推理轨迹生成:以所述融合记忆作为解码器的跨注意力键值来源,采用自回归方式逐token生成中间结论序列,将整条推理轨迹拼接为单一输出序列,其中每一步中间结论以步骤分隔符界定;训练阶段以教师强制策略优化token级交叉熵损失,推理阶段按所述步骤分隔符切分生成序列,得到包含最终结论的可解释推理轨迹。

7、进一步地,步骤s1中所述公式内逻辑图的节点类型包括:

8、项节点,用于表示谓词所对应的变量、常量或函数项,其中变量节点附加量词属性,所述量词属性取值为全称量词或存在量词;

9、谓词节点,用于表示原子公式中的谓词符号;

10、公式节点,用于表示当前公式实例的整体结构,作为公式内部各语法成分的全局汇聚点,并承载极性属性;

11、所述公式内逻辑图的边类型包括:

12、参数位置边,为每个参数项与对应谓词之间建立带有参数槽位标记的有向边;

13、逻辑联结边,将逻辑联结词对应的子结构之间的组合关系映射为类型化有向边;

14、公式包含边,从公式节点指向其所包含的局部语法节点,建立整体到局部的隶属关系。

15、进一步地,步骤s1中所述公式间逻辑图的节点集合由全局节点、各公式内逻辑图中的公式节点及谓词节点共同构成;所述公式间逻辑图的边类型包括:

16、共享谓词边,当两条公式中分别存在同名谓词实例时,在对应的谓词节点之间建立连接,用于刻画跨公式的语义耦合关系;

17、全局连接边,在所述全局节点与每条公式的公式节点之间建立双向连接,用于保证无共享谓词的公式之间仍保持连通路径。

18、进一步地,步骤s2中所述关系子图掩码注意力计算,包括:

19、设逻辑图的关系类型集合为,对每种关系类型,抽取子图并构造邻接掩码矩阵:

20、

21、其中,、为异构逻辑图中节点的索引编号;分别代表第个、第个图节点;为第种关系类型对应的边集合;指示函数用于判断节点对是否属于该类边集合,属于则取值为1,否则取值为0;

22、将所述掩码矩阵转换为加性掩码:

23、

24、对于第个注意力头,若其分配的关系类型为,则计算注意力分数矩阵为:

25、

26、其中,、分别为第个注意力头的查询矩阵和键矩阵,为键向量维度,与前面定义的为同一套加性掩码;同时引入全局头,其掩码矩阵全部置0。

27、进一步地,步骤s3中所述多分支融合包括:

28、设公式内逻辑图分支经掩码注意力后得到节点级表示,公式间逻辑图分支得到节点级表示,分别通过广播操作将节点级表示对齐至token级,所述广播操作依据异构逻辑图构建阶段记录的节点-令牌索引映射关系执行,定义门控融合为:

29、

30、其中,为融合后的结构增强表示,β为可学习的标量参数,为可学习的门控系数;

31、将融合结果与序列编码器输出的原始语义表示进行残差叠加与层归一化,得到融合记忆:

32、。

33、其中,代表层归一化操作,为可学习的输出投影权重矩阵,为输入token序列长度,为融合记忆向量的特征维度,为原始语义表示。

34、进一步地,步骤s4中所述推理轨迹生成采用指针生成机制:设解码器在第步的隐藏状态为,对融合记忆的跨注意力权重为,定义词表生成分布和复制分布,其中表示输入序列中token值为的位置集合,定义生成门控系数:

35、

36、其中,为跨注意力上下文向量,最终输出分布为:

37、。

38、进一步地,步骤s4中所述训练阶段采用基于推理深度的课程学习策略:设训练阶段编号为m,每个阶段规定最大允许推理步数阈值,仅使用推理轨迹长度的样本子集进行训练;当模型在当前阶段收敛后,进入下一阶段逐步增大,实现由短轨迹到长轨迹的渐进式学习。

39、进一步地,所述步骤s4中训练阶段的token级交叉熵损失为:

40、

41、其中,是第个位置上真实标注的目标token,是第位之前所有已经生成完毕的历史真实token序列,是给定前文已生成真实序列和全局条件g时,模型在第时刻预测输出正确token 的条件概率。

42、本发明还提供一种基于异构逻辑图与关系子图掩码的推理轨迹生成系统,所述系统包括输入模块、异构逻辑图构建模块、关系子图掩码注意力编码模块、多分支融合模块、推理轨迹生成模块和存储单元,用于实现上述基于异构逻辑图与关系子图掩码的推理轨迹生成方法。

43、与现有技术相比,本发明提供的一种基于异构逻辑图与关系子图掩码的推理轨迹生成方法具有以下有益技术效果:

44、逻辑关系建模能力强:通过构建公式内与公式间两层异构逻辑图,将一阶逻辑的谓词-项依赖、量词约束及跨公式共享谓词关联显式编码为图结构,使模型能够准确感知细粒度的逻辑依赖关系,弥补了纯序列模型对逻辑结构建模不足的问题;

45、关键逻辑关系保持有效:通过按关系类型划分子图并构造掩码注意力,不同注意力头被强制专注于特定逻辑关系的建模,避免了稀疏但关键的逻辑边(如蕴含关系、量词绑定)在全局注意力中被高频结构稀释,从而提升了多步推理的稳定性;

46、推理过程可追溯:通过自回归生成中间结论序列并输出完整推理轨迹,每一步结论均可追溯到具体的前提依据与前序结论,使模型的推理错误可定位、可分析、可纠正,显著提升了系统在专业场景下的可信度与可复核性;

47、符号一致性高:指针生成机制中的复制分支使模型能够从输入前提中直接引用谓词、常量等符号,有效降低了多步推理中常见的符号替换与幻觉现象,保证了推理链条中符号使用的一致性。