基于知识图谱的多模态检索增强生成结果一致性校验方法

本技术涉及多模态信息处理，尤其涉及一种基于知识图谱的多模态检索增强生成结果一致性校验方法。

背景技术：

1、随着大规模预训练模型与检索增强生成技术的发展，生成式人工智能系统能够借助外部知识库完成问答、内容生成、辅助决策等复杂任务。在多模态场景下，系统通常需要同时处理图像、文本等多种数据，并通过统一的语义空间实现跨模态检索与内容生成。

2、目前，主流的现有多模态检索增强生成方案遵循“多模态输入—向量检索—生成模型输出”的基本流程。该类方案能够在一定程度上借助外部知识提高生成内容的丰富性与相关性，但其核心依赖向量相似度进行证据召回，生成阶段主要依靠模型的参数化知识隐式地融合检索结果，缺乏面向事实关系的结构化约束与验证机制。

3、具体而言，现有方案存在以下技术局限：第一，生成结果缺乏显式的事实一致性校验手段，容易出现事实性错误，即所谓的“模型幻觉”；第二，对于需要通过多条关系链推导的隐式知识关系，仅靠直接向量检索或单跳关系匹配无法判断生成内容是否可被知识库中的多跳路径推理支持；第三，难以识别生成结果内部或生成结果与外部知识之间的逻辑冲突。上述局限导致多模态检索增强生成系统在医疗辅助诊断、临床决策支持、金融风控、法律分析等高可靠性场景中的应用受到严重制约。

4、此外，现有方案在检测到生成结果可能不准确时，通常只能简单地降低置信度或丢弃结果，而无法提供具体的冲突位置、缺失的关系路径或可操作的修正依据，更难以实现自动化的修正与再生成闭环。

5、因此，如何对多模态检索增强生成的结果进行结构化的事实一致性校验，特别是能够同时验证显式事实与隐式事实、识别逻辑冲突，并提供可解释的修正依据，已成为本领域亟待解决的技术问题。

技术实现思路

1、本技术提供了一种基于知识图谱的多模态检索增强生成结果一致性校验方法，降低了模型幻觉，提高了生成初始结果的准确性与可信度。

2、本技术采用的技术方案如下：

3、一种基于知识图谱的多模态检索增强生成结果一致性校验方法，所述方法包括：

4、接收并编码图像数据与文本数据，生成图像向量与文本向量；

5、基于所述图像向量与所述文本向量检索预设数据库，得到候选证据集合，并将所述候选证据集合、所述图像数据与所述文本数据共同输入预设生成模型，生成初始结果；

6、对所述初始结果进行语义解析，提取实体、属性与关系，构建至少一个候选语义三元组；

7、将所述候选语义三元组映射至知识图谱中，并从所述知识图谱中提取局部图谱子结构；

8、基于所述局部图谱子结构，对每个所述候选语义三元组执行一致性校验，所述一致性校验至少包括关系存在性校验、多跳路径推理校验与冲突校验；

9、计算每个所述候选语义三元组的一致性评分，并聚合所有的所述一致性评分，得到整体一致性评分；

10、若存在所述候选语义三元组的一致性校验未通过，或，若所述整体一致性评分低于预设阈值，则对所述初始结果执行修正或重新生成。

11、优选地，所述将所述候选语义三元组映射至知识图谱中，并从所述知识图谱中提取局部图谱子结构，包括：

12、将所述候选语义三元组中的头实体节点和尾实体节点与所述知识图谱中的标准实体节点进行实体链接匹配；

13、并将所述候选语义三元组中的关系类型与所述知识图谱中的标准关系类型进行关系对齐；

14、以实体链接匹配后的所述头实体节点与所述尾实体节点为中心，从所述知识图谱中提取局部图谱子结构，所述局部图谱子结构包括所述头实体节点、所述尾实体节点、与所述头实体节点和所述尾实体节点直接连接的一阶邻居节点及对应关系边，以及通过以所述头实体节点与所述尾实体节点为中心在预设跳数范围内扩展得到的多跳路径信息。

15、优选地，所述对每个所述候选语义三元组执行一致性校验，包括：

16、对每个所述候选语义三元组执行所述关系存在性校验，包括：

17、检查所述局部图谱子结构中是否存在从所述头实体节点指向所述尾实体节点的边，且所述边的关系类型与经关系对齐后的关系类型一致；

18、若存在类型一致的边，或，若不存在类型一致的边，但存在类型为等价关系、上下位关系或预设可替代关系的边，则判定为通过关系存在性校验；

19、若既不存在类型一致的边，也不存在所述等价关系、上下位关系或预设可替代关系的边，则判定为未通过关系存在性校验。

20、优选地，所述对每个所述候选语义三元组执行一致性校验，包括：

21、对每个所述候选语义三元组执行所述多跳路径推理校验，包括：

22、在所述局部图谱子结构中，以所述头实体节点为起点，所述尾实体节点为终点，搜索所述头实体节点与所述尾实体节点之间跳数不超过预设跳数值的候选路径；

23、对于每条所述候选路径，基于路径长度、关系序列与所述候选语义三元组中的关系的语义匹配程度、路径置信度与中间实体节点权重计算路径支持度；

24、若存在一条所述候选路径的所述路径支持度超过预设支持度阈值，则判定为通过多跳路径推理校验；

25、若存在多条所述候选路径的所述路径支持度超过所述预设支持度阈值，则判定为通过多跳路径推理校验，并对多条所述候选路径按所述路径支持度排序以选取最优路径；

26、若不存在所述候选路径的所述路径支持度超过所述预设支持度阈值，则判定为未通过多跳路径推理校验。

27、优选地，所述对每个所述候选语义三元组执行一致性校验，包括：

28、对每个所述候选语义三元组执行所述冲突校验，包括：

29、在所述局部图谱子结构中，检索与所述候选语义三元组具有相同头实体节点和关系的已有事实；

30、若所述已有事实中存在尾实体节点与所述候选语义三元组的尾实体节点互斥的另一候选语义三元组，则判定存在事实冲突；

31、若所述候选语义三元组中的关系属于预设互斥关系对，则判定存在关系冲突；

32、若所述候选语义三元组的语义与所述已有事实或所述多跳路径推理校验得到的路径推理结论相反，则判定存在推理冲突；

33、若存在所述事实冲突、所述关系冲突或所述推理冲突中的任一种，则判定所述候选语义三元组未通过冲突校验，并基于所述局部图谱子结构中的已有事实对所述候选语义三元组进行修正或删除；

34、若不存在所述事实冲突、所述关系冲突及所述推理冲突，则判定通过冲突校验。

35、优选地，所述接收并编码图像数据与文本数据，生成图像向量与文本向量，包括：

36、采用多模态编码模型将所述图像数据与所述文本数据映射到同一共享语义空间，生成所述图像向量与所述文本向量。

37、优选地，所述基于所述图像向量与所述文本向量检索预设数据库，得到候选证据集合，包括：

38、基于向量召回与语义重排序相结合的机制，并基于所述图像向量与所述文本向量，在所述共享语义空间中计算与所述预设数据库中存储的证据向量的相似度，召回初始候选证据；

39、通过关键词匹配或相关性评分对所述初始候选证据进行重排序，得到候选证据集合。

40、优选地，所述计算每个所述候选语义三元组的一致性评分，并聚合所有的所述一致性评分，得到整体一致性评分，包括：

41、基于关系存在性校验评分及其权重、多跳路径推理校验评分及其权重，以及冲突校验评分及其权重，确定每个所述候选语义三元组的一致性评分；

42、基于预设聚合算法聚合所有的所述一致性评分，得到整体一致性评分；

43、其中，所述预设聚合算法包括平均值算法或加权平均值算法或最小值算法。

44、优选地，在所述对所述初始结果执行修正或重新生成之后，所述方法还包括：

45、将修正或重新生成后的结果作为新的初始结果，重复执行语义解析、知识图谱映射、一致性校验与一致性评分的操作；

46、若重新执行后的所述整体一致性评分仍低于所述预设阈值且未达到预设迭代次数，则再次触发修正或重新生成，直至整体一致性评分满足所述预设阈值或达到预设迭代次数。

47、优选地，所述将所述候选证据集合、所述图像数据与所述文本数据共同输入预设生成模型，包括：

48、将所述候选证据集合与所述文本数据组合为文本侧上下文；

49、将所述图像数据转换为结构化语义描述以构建图像语义三元组，作为图像侧上下文；

50、将所述文本侧上下文与所述图像侧上下文拼接为统一格式的多模态提示信息，并输入所述预设生成模型。

51、根据本技术提供的具体实施例，公开了以下技术效果：

52、本技术涉及多模态信息处理技术领域，提供了一种基于知识图谱的多模态检索增强生成结果一致性校验方法，方法包括：接收并编码图像数据与文本数据，生成图像向量与文本向量；基于图像向量与文本向量检索预设数据库，得到候选证据集合，并将候选证据集合、图像数据与文本数据共同输入预设生成模型，生成初始结果；对初始结果进行语义解析，提取实体、属性与关系，构建至少一个候选语义三元组；将候选语义三元组映射至知识图谱中，并从知识图谱中提取局部图谱子结构；基于局部图谱子结构，对每个候选语义三元组执行一致性校验，一致性校验至少包括关系存在性校验、多跳路径推理校验与冲突校验；计算每个候选语义三元组的一致性评分，并聚合所有的一致性评分，得到整体一致性评分；若存在候选语义三元组的一致性校验未通过，或，若整体一致性评分低于预设阈值，则对初始结果执行修正或重新生成。本技术将初始结果解析为候选语义三元组后映射至知识图谱并提取局部图谱子结构，通过关系存在性校验验证显式事实，通过多跳路径推理校验验证隐式知识关系，通过冲突校验排除逻辑矛盾，再计算一致性评分并聚合为整体一致性评分，当存在校验未通过或整体一致性评分低于阈值时触发针对初始结果的修正或重新生成，从而解决背景技术中缺乏结构化验证、无法验证隐式关系、难以识别冲突及缺乏修正依据的问题，降低了模型幻觉，提高了生成初始结果的准确性与可信度。