一种基于分层语义因果图的多层语义提取方法与流程

本发明涉及人工智能与因果推理，尤其涉及一种基于分层语义因果图的多层语义提取方法，适用于面向多智能体协同的场景解释、机器人任务规划、自动驾驶及医学事件因果分析等需要深层动态语义建模的场景。

背景技术：

1、随着深度学习的发展，场景理解与语义提取技术取得了显著进步。传统方法通常构建单一层次的场景图或时序模型，将检测到的对象及其关系直接用于下游任务。然而，这类方法存在以下不足：

2、语义层次单一：现有场景图多关注对象间的静态关系，难以表达事件、行为、意图等更高层次的语义，导致对复杂动态场景的解释能力不足。

3、关联与因果混淆：多数方法仅基于统计相关性或注意力权重构建关系边，无法区分真正的因果关系与虚假相关，导致推理鲁棒性差、可解释性弱。

4、层级扩展困难：针对不同语义粒度需要设计不同的模型结构，缺乏统一的层级构建机制，难以根据任务需求灵活调整抽象深度。

5、时空动态建模不足：现有方法对对象间时空交互的建模主要依赖简单距离或iou，缺乏对未来轨迹预测能力的考量，难以捕捉动态因果关联。

6、特征相似度度量单一：传统相似度计算多采用余弦相似度等固定函数，无法适应跨模态、高维语义空间中的复杂非线性关联。

7、因此，亟需一种能够分层提取语义、区分关联与因果、支持任意深度扩展、并有效融合多种关联信号的方法。

技术实现思路

1、本发明旨在克服上述现有技术的缺陷，提供一种基于分层语义因果图（hscg）的多层语义提取方法，并且，通过同质化可迭代的语义层设计，结合扩展的对象关联分析算子和因果发现算法，实现从底层特征到高层意图的逐层语义抽象，并保证提取的语义具有因果可解释性（参见附图1）。

2、技术方案为实现上述目的，本发明提供如下技术方案：一种基于分层语义因果图的多层语义提取方法，包括以下步骤：

3、步骤1：获取多模态输入数据，提取底层信号特征，构建信号/特征层l0；

4、步骤2：对所述信号/特征层进行目标检测、分割或聚类，构建对象/实体层l1，其中节点为对象或实体，边为对象间的初始关联；

5、步骤3：基于所述对象/实体层，通过对象关联分析算子生成候选语义节点和候选关联边，并通过因果发现算法在候选关联上推断因果方向与强度，构建第一语义层l2；

6、步骤4：以当前语义层为输入，重复执行步骤3的同质化构建过程，逐层生成更高层次的语义层li（i>2），直至满足预设停止条件（参见附图2）；

7、步骤5：自顶向下传播高层语义层的因果先验，对低层关联边进行微调和优化；

8、步骤6：联合优化所有层的参数，输出最终的分层语义因果图。其中，所述对象关联分析算子包括以下至少一种或多种的组合（参见附图3）：

9、神经相似算子：基于特征相似度的神经相似算法，通过可学习神经网络计算节点间的非线性相似度；

10、时空相似算子：基于时空运行轨迹预测的时空相似算法，通过轨迹预测增益评估节点间的动态时空关联；

11、几何关联算子；

12、统计互信息算子；

13、语义相似度算子；

14、注意力关联算子；

15、任务先验关联算子。

16、进一步地，所述神经相似算子（参见附图4）的计算方式为：sijneural = σ(fθ([exi;eyj;exi⊙eyj;||exi−ey||]))

17、其中， exi和eyj分别为节点xi和候选节点yj的语义嵌入，[⋅;⋅]表示向量拼接，⊙表示逐元素乘积，||⋅|| 表示逐元素绝对值差， σ为sigmoid激活函数，fθ为可学习参数 θ的神经网络。

18、进一步地，所述时空相似算子的计算方式为： sijst = max(0,(err(pyj~tt + δt) −err(pyj^tt + δt))/(err ( pyj~tt + δt) + ϵ ))

19、其中，pyj~tt + δt为仅基于节点 yj自身轨迹的预测位置，pyj^tt + δt为同时基于节点xi和yj 轨迹的预测位置， err(⋅)为预测误差函数，ϵ为避免除零的小常数。

20、进一步地，所述因果发现算法包括但不限于notears[1]、dag-gnn[2]、pcmci+[3]、dynotears[4]、lingam[5]、anm[6]中的一种或多种，根据语义层的静态或动态特性进行选择。

21、进一步地，所述步骤4中的停止条件为以下至少之一：

22、达到预设最大语义层数nmax；

23、当前语义层节点数量小于预设阈值δ；

24、语义信息增益低于预设阈值ϵ。

25、进一步地，所述步骤6中联合优化的损失函数包括：

26、关联损失： lassoc = ||a − asupervision||，其中a为关联矩阵， asupervison为监督信号；

27、因果损失：包含有向无环图约束和预测误差；

28、语义损失：下游任务（如解释生成、异常检测）的损失。

29、本发明的系统实现包括：

30、特征提取模块，用于获取多模态输入并提取底层特征，构建信号/特征层；

31、对象构建模块，用于从信号/特征层中检测或分割出对象，构建对象/实体层；

32、语义层迭代构建模块，用于通过对象关联分析算子和因果发现算法，从当前层迭代构建更高层次的语义层；

33、双向传播模块，用于自顶向下传播高层因果先验，优化低层关联；

34、联合优化模块，用于对所有层的参数进行联合训练；输出模块，用于输出最终的分层语义因果图。

35、对比现有因果图构建技术，本发明具有以下优势：

36、深层语义提取：通过同质化可迭代语义层的设计，可以从底层对象逐步提取关系、事件、意图等任意深度的语义，突破了传统方法仅能表达单一层次关系的局限。

37、因果与关联解耦：先通过对象关联分析算子生成候选关联，再通过因果发现算法筛选因果边，有效避免了虚假相关，提升了推理的鲁棒性和可解释性。

38、强大的关联建模能力：通过神经相似算子和时空相似算子，能够捕捉复杂非线性语义关联和动态时空因果交互，显著提升语义提取的准确性。

39、灵活扩展与自适应深度：所有语义层采用相同的构建流程，支持根据任务需求动态调整抽象深度，避免过抽象或欠抽象。

40、双向优化机制：高层因果先验可以反向约束低层关联，形成闭环优化，提高整体图结构的语义一致性。

1.一种基于分层语义因果图的多层语义提取方法，其特征在于，包括以下步骤：获取多模态输入数据，提取底层信号特征，构建信号/特征层；对所述信号/特征层进行目标检测、分割或聚类，构建对象/实体层；基于所述对象/实体层，通过对象关联分析算子生成候选语义节点和候选关联边，并通过因果发现算法在所述候选关联边上推断因果方向与因果强度，构建第一语义层；以当前已构建的语义层作为输入，重复执行所述生成候选语义节点和候选关联边、推断因果方向与因果强度的同质化构建过程，逐层生成更高层次的语义层，直至满足预设停止条件；自顶向下传播最高层语义层的因果先验，对低层关联边进行微调和优化；联合优化所有层的参数，输出最终的分层语义因果图。

2.一种基于分层语义因果图的多层语义提取方法，其特征在于，对象关联分析算子包括神经相似算子，神经相似算子基于特征相似度的神经相似算法，通过可学习神经网络计算节点间的非线性相似度。

3.一种基于分层语义因果图的多层语义提取方法，其特征在于，对象关联分析算子包括时空相似算子，时空相似算子基于时空运行轨迹预测的时空相似算法，通过轨迹预测增益评估节点间的动态时空关联。

4.一种基于分层语义因果图的多层语义提取方法，其特征在于，神经相似算子的计算方式为：sijneural = σ(fθ([exi;eyj;exi⊙eyj;||exi−ey||]))  。其中， exi和eyj分别为节点xi和候选节点yj的语义嵌入，[⋅;⋅]表示向量拼接，⊙表示逐元素乘积，||⋅|| 表示逐元素绝对值差， σ为sigmoid激活函数，fθ为可学习参数 θ的神经网络。

5.一种基于分层语义因果图的多层语义提取方法，其特征在于，时空相似算子的计算方式为： sijst = max(0,(err(pyj~tt + δt) − err(pyj^tt + δt))/(err ( pyj~tt + δt) + ϵ ))。其中，pyj~tt + δt为仅基于节点 yj自身轨迹的预测位置，pyj^tt + δt为同时基于节点xi和yj轨迹的预测位置， err(⋅)为预测误差函数，ϵ为避免除零的小常数。

6.一种基于分层语义因果图的多层语义提取方法，其特征在于，对于静态语义层选用基于有向无环图约束的因果发现算法，对于动态语义层选用基于时序条件独立性或动态贝叶斯网络的因果发现算法

7.一种基于分层语义因果图的多层语义提取方法，其特征在于，系统实现包括：1.特征提取模块，用于获取多模态输入并提取底层特征，构建信号/特征层；2.对象构建模块，用于从所述信号/特征层中检测、分割或聚类出对象，构建对象/实体层；3.语义层迭代构建模块，用于通过对象关联分析算子和因果发现算法，从当前层迭代构建更高层次的语义层；所述语义层迭代构建模块包括：候选节点生成单元，用于对低层节点进行聚类或子图模式挖掘，生成候选语义节点；关联计算单元，用于计算低层节点与候选语义节点之间的关联得分，包括神经相似算子和时空相似算子中的至少一种；因果发现单元，用于在候选关联边上运行因果发现算法，得到层内因果图；语义标注单元，用于对语义层节点进行类型标注，所述类型包括关系、事件或意图；4.双向传播模块，用于自顶向下传播高层语义层的因果先验，对低层关联边进行微调和优化；5.联合优化模块，用于对所有层的参数进行联合训练；6.输出模块，用于输出最终的分层语义因果图。

8.一种基于分层语义因果图的多层语义提取方法，其特征在于，所述关联计算单元具体包括：神经相似计算子单元，用于通过可学习神经网络计算低层节点与候选语义节点之间的非线性相似度；时空相似计算子单元，用于基于轨迹预测增益计算低层节点与候选语义节点之间的动态时空关联。

9.一种基于分层语义因果图的多层语义提取方法，其特征在于，支持n层语义层，n的最大值（预设停止条件）包括：1.达到预设最大语义层数nmax；2.当前语义层节点数量小于预设阈值δ；语义信息增益低于预设阈值ϵ，所述语义信息增益基于图结构熵或语义覆盖度计算。