基于时空感知认知智能体的多模态知识图谱问答系统、方法、电子设备及存储介质与流程

本发明属于人工智能，具体涉及一种基于时空感知认知智能体的多模态知识图谱问答系统、方法、电子设备及存储介质，特别适用于需要处理多模态信息、具备时空感知能力的复杂问答场景。

背景技术：

1、随着人工智能技术的发展，基于检索增强生成（rag）的知识库系统已成为智能问答的主流技术。然而，现有技术仍存在以下不足：

2、1.知识更新滞后：传统rag系统多采用静态知识库，无法及时响应新知识的加入和旧知识的更新。融合动态知识图谱的智能rag系统的更新机制主要基于新数据流的被动接收，缺乏针对当前时间点的主动知识新陈代谢能力。

3、2.推理路径单一：现有系统在处理复杂问题时，多采用前向搜索的路径探索方式，例如决策-评估协同机制，这种线性搜索方式在面对模糊或复杂查询时效率较低，缺乏人类思维中的跳跃式"顿悟"能力。

4、3.多模态支持不足：主要关注数据的统一表示，缺乏针对特定地域场景的多语言混合处理和文化认知能力。

5、4.缺乏实时进化机制：现有系统的反馈优化多为离线训练过程，无法实现基于用户实时交互的系统级进化，难以适应快速变化的应用环境。

6、因此，需要一种具备地域文化感知能力和实时进化能力的智能问答服务，以解决现有技术中存在的上述问题。

技术实现思路

1、本发明的目的是提供一种基于时空感知认知智能体的多模态知识图谱问答系统、方法、电子设备及存储介质，以解决现有技术中存在的知识更新滞后、推理效率低下、场景适应性差等问题，实现具备地域文化感知能力和实时进化能力的智能问答服务。

2、为实现上述目的，本发明提供如下技术方案：

3、本发明第一方面公开一种基于时空感知认知智能体的多模态知识图谱问答系统，包括：

4、动态知识图谱构建模块（1），用于对原始数据进行预处理，构建可动态更新的知识图谱；所述动态知识图谱构建模块（1）包括时空感知权重计算单元，其内置当前时间戳，用于计算知识节点时间与当前时间的差值，并根据知识节点的时效性类别设定衰减系数，当差值超过预设阀值时自动降低该节点权重并触发补充检索；

5、思维图谱推理模块（2），用于生成包含假设性中间节点的推理路径图，并采用锚点回溯算法进行路径匹配验证；所述锚点回溯算法包括：识别查询中的核心语义锚点，直接预测连接该语义锚点的高阶抽象概念作为假设性中间节点；

6、多模态数据处理模块（3），用于处理文本、图像、表格、数学公式等多种异构内容，并提取多模态特征以构建统一的多模态知识图谱；

7、置信度校验模块（4），用于在输出回答前进行逻辑一致性自检和跨模态三角互证，若置信度低于阈值则触发补充检索或直接拒绝回答；

8、反馈优化模块（5），用于基于用户反馈进行系统优化，包括基于实时思维蒸馏算法调整思维图谱推理模块（2）的路径生成策略。

9、进一步的，所述锚点回溯算法具体包括：首先识别问题中的核心语义锚点，然后跳过多步线性推理路径，直接预测可能连接该锚点的高阶抽象概念作为中间假设节点，再从该假设节点正向匹配图谱数据，并反向验证路径可行性，形成双向验证。

10、进一步的，所述多模态数据处理模块（3）集成多语言视觉理解引擎，支持至少三种语言的混合文本同步识别与理解，并能将视觉地标图像特征与知识图谱中的地理位置实体进行关联绑定。

11、进一步的，所述反馈优化模块（5）采用实时思维蒸馏算法，利用用户使用过程中的实时行为数据作为奖励信号，更新所述思维图谱推理模块（2）中路径生成策略的权重参数。

12、进一步的，所述置信度校验模块（4）在输出回答前进行跨模态三角互证：若检索结果包含文本描述和对应的图像数据，利用视觉语言模型对图像进行描述生成，并将该生成描述与检索到的文本描述进行语义比对；若比对差异度超过预设阈值，则判定为认知冲突，拒绝生成回答并标记该知识节点为存疑。

13、进一步的，所述时空感知权重计算单元采用指数衰减公式：

14、计算知识节点的当前权重，其中为基础权重，为根据知识节点时效性类别设定的衰减系数，为当前时间与节点时间戳的时间差。

15、进一步的，所述思维图谱推理模块（2）还包括假设性节点库，用于存储预定义的高阶抽象概念；所述锚点回溯算法在生成假设性中间节点时，从所述假设性节点库中获取可能连接核心语义锚点的高阶抽象概念作为候选假设节点。

16、本发明第二方面还提供一种基于第一方面所述系统的多模态知识图谱问答方法，包括以下步骤：

17、步骤s1：接收用户查询请求，解析查询的语义内容和多模态特征；

18、步骤s2：获取当前时间戳，对相关知识节点基于当前时间进行知识时效性评估，对过时节点触发补充检索；

19、步骤s3：采用锚点回溯算法生成包含假设性中间节点的推理路径，包括：识别查询中的核心语义锚点，预测连接该锚点的高阶抽象概念作为假设节点，再从假设节点正向匹配图谱数据；

20、步骤s4：基于所述推理路径检索多模态数据，并进行跨模态三角互证，验证文本描述与图像内容的一致性；

21、步骤s5：根据跨模态互证的置信度决定输出最终回答或拒绝回答；

22、步骤s6：收集用户对回答的反馈行为，基于实时思维蒸馏算法更新推理路径生成策略。

23、本发明第三方面还提供一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时实现本发明第二方面公开的方法。

24、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明第二方面公开的方法。

25、本发明相比现有技术具有以下显著优势：

26、1.时效性显著提升：通过引入时空衰减因子和主动遗忘机制，系统能够主动识别并更新过时知识，在时间背景下确保输出信息的最新性。

27、2.推理效率倍增：锚点回溯算法模拟人类“顿悟”思维，相比传统前向搜索算法，复杂问题的推理路径搜索效率显著提升。

28、3.场景适应性增强：针对多语言、多文化特点定制的处理引擎，使系统在特定区域的应用准确率大幅提升。

29、4.可信度大幅提高：跨模态三角互证机制有效识别并过滤矛盾信息，将回答的幻觉率显著降低。

30、5.进化能力突破：实时思维蒸馏机制使系统能够在每次用户交互中持续优化推理逻辑，实现真正的在线学习与进化。

1.一种基于时空感知认知智能体的多模态知识图谱问答系统，其特征在于，包括：

2.根据权利要求1所述的系统，其特征在于，所述思维图谱推理模块（2）锚点回溯算法具体包括：首先识别问题中的核心语义锚点，然后跳过多步线性推理路径，直接预测可能连接该锚点的高阶抽象概念作为中间假设节点，再从该假设节点正向匹配图谱数据，并反向验证路径可行性，形成双向验证。

3.根据权利要求1所述的系统，其特征在于，所述多模态数据处理模块（3）集成多语言视觉理解引擎，支持至少三种语言的混合文本同步识别与理解，并能将视觉地标图像特征与知识图谱中的地理位置实体进行关联绑定。

4.根据权利要求1所述的系统，其特征在于，所述反馈优化模块（5）采用实时思维蒸馏算法，利用用户使用过程中的实时行为数据作为奖励信号，更新所述思维图谱推理模块（2）中路径生成策略的权重参数。

5.根据权利要求1所述的系统，其特征在于，所述置信度校验模块（4）在输出回答前进行跨模态三角互证：若检索结果包含文本描述和对应的图像数据，利用视觉语言模型对图像进行描述生成，并将该生成描述与检索到的文本描述进行语义比对；若比对差异度超过预设阈值，则判定为认知冲突，拒绝生成回答并标记该知识节点为存疑。

6.根据权利要求1所述的系统，其特征在于，所述时空感知权重计算单元采用指数衰减公式：计算知识节点的当前权重，其中为基础权重，为根据知识节点时效性类别设定的衰减系数，为当前时间与节点时间戳的时间差。

7.根据权利要求1所述的系统，其特征在于，所述思维图谱推理模块（2）还包括假设性节点库，用于存储预定义的高阶抽象概念；所述锚点回溯算法在生成假设性中间节点时，从所述假设性节点库中获取可能连接核心语义锚点的高阶抽象概念作为候选假设节点。

8.一种基于权利要求1-7任一项所述系统的多模态知识图谱问答方法，其特征在于，包括以下步骤：

9.一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时实现权利要求8所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求8所述的方法。