面向大模型知识图谱问答的双模态证据检索与推理方法

本发明涉及自然语言处理与知识图谱问答的，特别是涉及面向大模型知识图谱问答的双模态证据检索与推理方法。

背景技术：

1、kgqa经历了从模型内部的“知识内化”向“检索推理分离”框架的重大范式转变，在该框架中，大语言模型作为推理器，基于检索到的证据子图合成答案，然而，从海量知识图谱中有效识别高密度证据仍然是一个基本挑战。

2、现有的基于语义的检索方法往往会产生缺乏显式结构依赖的碎片化证据，相反，基于结构的方法虽然利用了拓扑关系，但随着推理深度的增加，频繁遭遇搜索空间爆炸和噪声积累的问题，当前大模型增强的kgqa范式的一个关键局限在于，缺乏一个能够联合优化语义相关性和结构依赖性的统一机制，大多数方法以解耦的方式对这两个方面进行建模，通常依赖于单向图扩展，这在稀疏或不对称的关系邻域中会导致信息丢失。

3、鉴于这些问题，本发明提出了一种统一证据驱动图推理方法，通过对候选事实的拓扑位置、语义相关性和证据互补性进行联合建模，并利用双向邻域补全、结构指纹表征、查询约束融合及多样性感知采样构建紧凑、高质量的证据子图，以解决上述问题。

技术实现思路

1、为解决上述技术问题，本发明提供一种为下游大语言模型输出高信息密度、低冗余度的紧凑证据上下文，满足当前大规模知识图谱复杂推理场景下对高精度证据检索与高可靠性问答的实际应用需求的面向大模型知识图谱问答的双模态证据检索与推理方法。

2、本发明的面向大模型知识图谱问答的双模态证据检索与推理方法，包括以下步骤：

3、s1、问题解析与候选事实边界构建，接收自然语言问题，并通过多跳扩展方法在知识图谱中构建以种子实体集合为中心的初始局部候选子图；

4、s2、基于双向知识锚定的方法，对于所述候选子图中的实体，同时采集其出度邻域和入度邻域；将入度邻域中的原始关系映射为具有独立关系命名空间的逆向关系类型，使入度边在不丢失方向语义的情况下转换为等效正向表示；随后对出度邻域表示与逆向入度邻域表示进行双向聚合，构建包含双向关系语义和方向结构约束的局部拓扑视图；

5、s3、双模态特征融合与对齐，利用预训练语言模型编码问题与事实的语义相关性，采用以种子实体集合为扩散源的多层标量扩散机制，分别获得候选证据中头实体和尾实体在第0层至第k层的扩散状态，并将头实体扩散状态、尾实体扩散状态及二者的方向差异向量进行组合，生成候选证据的结构指纹，以刻画事实在局部子图中的拓扑可达性，将语义特征与结构指纹通过映射函数投影至统一的高维特征空间中进行融合对齐；

6、s4、采用分层弱监督方案对模型进行训练，利用软标签提供细粒度监督信号，引导模型锚定核心推理链，补充证据采样阶段：计算候选证据与证据集合之间的语义相似度和结构相似度，并将二者加权融合为双模态冗余度；再根据候选证据预测概率与所述双模态冗余度计算综合选择得分，提取高密度的证据子图，建立查询引导的证据提炼与多样性感知采样；

7、s5、证据线性化与大模型推理生成，将提取的子图事实转化为文本进行线性化拼接，并与自然语言问题拼接以构建上下文提示输入大语言模型，当大语言模型初次推理未能给出明确答案时，触发引入思维链指令的回退重提示机制进行二次逻辑演绎，最终提取并生成预测答案。

8、优选的，s2中，基于双向知识锚定的实体表示方法，具体步骤如下：

9、s2.1、对于候选子图中的每个实体，执行双向上下文锚定，不仅考虑其作为头节点向外扩展的出度邻域，同时显式合并其作为尾节点被周围关系证据指向的入度邻域，以此建立双向拓扑感知；

10、s2.2、采用逆向关系注入，为了在不混淆方向语义的前提下引入所述入度邻域，通过逆向关系类型与原始关系类型处于相互独立的关系命名空间中来自动生成显式的逆向关系类型，进而将入度边缘转换为等效的正向表示，以确保双向上下文能够在一致的语义空间内进行对齐；

11、s2.3、基于双向锚定后的实体状态，进一步聚合对齐后的正向和逆向结构表示，以此构建出丰富的实体特征和三元组特征，从而使每个节点均能同时编码并沉淀包含入度和出度的完整关系信号。

12、优选的，s3中，双模态特征融合与对齐，具体步骤如下：

13、s3.1、首先进行语义表示空间构建，采用预训练语言模型分别获取自然语言问题和候选事实的上下文表示，并通过池化操作将其压缩为句子级向量，随后将其输入至语义关联编码器中以显式建模问题与候选事实之间的语义共振，进而输出能够精细反映查询关联的语义相关性特征；

14、s3.2、其次开展拓扑位置建模，以种子实体集作为结构锚点启动标量扩散机制，在初始层时仅将种子实体的标量指示器激活为1而将其他节点置为0，接着在后续的多层传播中使节点同步双向聚合邻居节点的结构信号，通过堆叠多层传播来捕获事实在不同推理深度下的扩散浓度，从而得到实体的多跳状态向量，最终拼接事实中头实体和尾实体的多跳状态向量并通过多层感知机映射生成刻画拓扑可达性的结构指纹；

15、s3.3、进而完成结构语义对齐，首先根据输入自然语言问题的语义特征生成模态融合权重，以自适应确定语义模态与结构模态在不同问题场景下的贡献比例；随后，利用所述融合权重分别对语义相关性特征和结构指纹进行加权处理，再将加权后的多模态特征进行拼接，并通过非线性映射函数整体投影至统一的高维特征表示空间中，从而获得对齐后的跨模态联合表示矩阵。

16、优选的，s4中，查询引导的证据提炼与多样性感知采样具体步骤如下：

17、s4.1、首先执行查询条件相关性评分，在获取自然语言问题的全局语义表示后，引入基于注意力的交互机制来将全局查询约束自适应地注入到各个事实的评估中，并在此基础上通过 sigmoid激活函数计算并输出三元组包含关键推理线索的基础预测概率；

18、s4.2、随后实施分层弱监督训练，采用基于连续概率的软标签对模型进行训练，其中将位于最短推理路径上的三元组标签设为1，而将位于初始候选子图中但不属于最短推理路径的辅助推理三元组，根据其与核心推理路径之间的结构邻近程度设置自适应衰减权重，其余与核心推理路径缺乏有效结构关联的事实标签设为0，最终利用二元交叉熵损失函数对模型实施优化更新，强制模型在锚定核心最短路径的同时具备探索局部邻域内相关辅助证据的灵活性；

19、s4.3、最后进行多样性感知采样，在生成最终证据子集时采用基于最大边际相关性的贪婪迭代策略，通过在最大化候选三元组个体预测评分的同时引入动态惩罚系数，减去该候选三元组与当前已选证据子集在双模态特征空间中的最大余弦相似度，从而动态抑制并过滤结构和语义重叠的冗余事实，从而得到最优证据子集。

20、优选的，s5中，证据线性化与大模型推理生成具体步骤如下：

21、s5.1、将证据块与输入的自然语言问题进行合并，形成完整的查询上下文，同时结合少样本上下文学习机制，为大语言模型提供“定位并推理”的逻辑映射演示示例；

22、s5.2、在大语言模型初始生成响应后系统进行自动检查，若检测到响应中缺失预定义的答案标识符或模型明确声明无法回答时，则自动触发回退机制进入二次评估阶段；

23、s5.3、在二次评估阶段中，将补充的思维链（cot）指令附加到当前上下文中，引导大语言模型在既有事实范围内开展更细粒度的二次逻辑演绎，最终通过规则匹配，准确提取标识符后的文本作为最终预测答案。

24、优选的，s1中，通过实体链接识别自然语言问题中的种子实体，并根据实体链接置信度、问题语义约束和预设跳数阈值确定候选扩展范围；以所述种子实体为结构锚点，在知识图谱中进行多跳邻域扩展，获取与所述种子实体存在可达路径且距离不超过预设跳数的候选实体、候选关系和候选三元组，形成面向候选事实筛选的初始局部候选子图。

25、优选的，s4.2中，辅助推理三元组的软标签权重根据其与最短推理路径之间的结构关联程度确定，所述结构关联程度至少包括辅助推理三元组到最短推理路径的最小图距离、与种子实体集合的可达关系以及与自然语言问题的语义相关性；其中，距离最短推理路径越近、与种子实体集合连通性越强或与自然语言问题语义相关性越高的辅助推理三元组，被赋予越高的连续概率软标签权重。

26、优选的， s3中，所述结构指纹由候选三元组中头实体的多层扩散状态向量、尾实体的多层扩散状态向量、头实体与尾实体多层扩散状态之间的差异向量以及交互向量共同构成，用于同时表征候选三元组相对于种子实体集合的多跳可达性、方向位置关系和局部拓扑依赖关系。

27、优选的，s4.3中，所述多样性感知采样中的冗余惩罚由候选三元组与已选证据集合之间的双模态冗余度确定，所述双模态冗余度由候选三元组之间的语义表示相似度和结构指纹相似度加权融合得到；在贪婪迭代选择过程中，依据候选三元组的预测概率与所述双模态冗余度共同计算综合选择得分，以抑制语义重复或结构重叠的候选事实。

28、优选的，s5中，所述回退重提示机制仅基于经s4筛选得到的证据子图执行二次推理，不引入未经双模态证据评分和多样性感知采样筛选的外部事实；在二次推理过程中，将思维链指令附加至既有证据上下文中，以约束大语言模型在已选证据范围内完成逻辑演绎并生成最终预测答案。

29、与现有技术相比本发明的有益效果为：通过构建双向知识锚定、双模态特征对齐与多样性感知采样机制，采用显式的逆向关系注入、多层标量扩散结合预训练语义的跨模态统一方法，以及分层连续概率软标签与最大边际相关性过滤策略，直接为下游大语言模型输出高信息密度、低冗余度的紧凑证据上下文，满足了当前大规模知识图谱复杂推理场景下对高精度证据检索与高可靠性问答的实际应用需求。