一种基于元路径混合专家机制和类型感知全局门控的异构图节点分类方法

摘要: 本发明涉及到人工智能与图数据分析,尤其涉及到一种基于元路径混合专家机制和类型感知全局门控的异构图节点分类方法。背景技术:1、随着信息技术的发展,图数据已广泛应用...
一种基于元路径混合专家机制和类型感知全局门控的异构图节点分类方法

本发明涉及到人工智能与图数据分析,尤其涉及到一种基于元路径混合专家机制和类型感知全局门控的异构图节点分类方法。

背景技术:

1、随着信息技术的发展,图数据已广泛应用于社交网络、推荐系统、知识图谱、金融分析以及生物信息处理等领域。图神经网络(graph neural network,gnn)通过学习图结构中节点之间的关联关系及节点属性信息,实现对图数据的有效表示。其中,节点分类任务旨在利用已知节点信息预测未知节点类别,是图数据分析中的重要应用。实际应用中的图数据通常包含多种类型的节点和边,不同类型节点之间具有不同的属性特征和语义关联关系,该类图结构称为异构图(heterogeneous graph)。相比同构图,异构图能够更准确地描述现实场景中的复杂实体关系,因此其节点分类方法得到广泛应用。

2、现有异构图节点分类方法通常利用元路径(meta-path)描述不同类型节点之间的高阶语义关系,并基于图神经网络聚合元路径邻居信息,以获取包含高阶语义信息的节点表示。然而,由于不同节点对元路径语义信息的依赖程度存在差异,现有方法多采用固定权重或统一融合策略,难以根据节点特征自适应选择和融合不同元路径语义信息,容易引入无关信息并产生语义冗余。此外,现有方法主要依赖局部邻域聚合进行节点表示学习,对跨类型节点之间的全局语义关联建模不足。近年来,部分图表示学习方法引入transformer结构增强节点关系建模能力,但在大规模异构图场景下仍存在计算复杂度和存储开销较高的问题,同时对节点类型信息利用不足,难以兼顾节点语义关系、类型关系以及全局语义信息的协同建模。

3、综上,现有异构图节点分类方法主要存在以下不足:(1)不同元路径包含的语义信息具有差异性,现有方法难以针对不同节点实现元路径语义信息的自适应选择与融合;(2)现有方法主要依赖局部邻域结构信息,难以有效获取不同类型节点之间的全局语义关联;(3)现有关系建模方法在处理大规模异构图时计算开销较高,且对节点类型信息的利用不充分。因此,亟须提出一种能够根据节点特征自适应选择元路径语义信息,并融合局部结构信息、类型级全局语义信息以及节点关系信息的异构图节点分类方法,以提升异构图节点表示效果和分类准确性。

技术实现思路

1、为应对上述问题,本发明提出了一种基于元路径混合专家机制和类型感知全局门控的异构图节点分类方法,通过动态选择最适合的元路径语义以及全局类型语义,完成复杂的节点分类任务,在保障精度的情况下,效率可被接受。

2、为达到上述目的,本发明的具体实施步骤如下:

3、步骤1,给定异构图数据,其中,和分别表示节点集和边集,表示节点特征矩阵,为统一的特征维度,每个节点对应一个特征向量;与分别为节点类型映射函数和边类型映射函数,其中与表示预定义节点类型集合与边类型集合,。根据节点所属类型分别建立对应的特征映射函数,对不同类型节点的原始特征进行映射,使不同类型节点特征投影至统一特征空间,获得统一维度的节点初始表示;

4、步骤2,依据目标节点类型预先构建不同语义关系的元路径,并根据各元路径分别生成对应的元路径语义子图,针对各个元路径语义子图分别建立对应的图神经网络专家,每个图神经网络专家负责学习对应元路径下的节点语义表示,从而形成多个具有不同语义感知能力的元路径专家;同时,对原始异构图进行局部拓扑信息聚合,获得反映节点邻域结构特征的局部结构表示,所述局部结构表示为后续元路径专家动态选择的路由依据;

5、步骤3,依据节点的局部结构表示计算各元路径专家对目标节点的重要性评分,并依据重要性评分生成各元路径专家对应的路由权重,依据所述路由权重自适应选择与目标节点关联度最高的预设数量元路径专家参与节点表示学习,对所选元路径专家进行加权融合生成元路径融合表示,并结合局部结构表示进行自适应融合,获得节点融合特征;

6、步骤4,依据节点所属类型构建全局语义表示,并结合节点类型信息计算节点表示与对应类型级全局语义表示之间的相关性,根据所述相关性生成类型感知全局门控系数,利用所述类型感知全局门控系数对节点类型表示与类型级全局语义进行自适应融合,获得类型增强节点表示;

7、步骤5,将步骤3中所述的节点融合特征与步骤4中的类型增强节点表示输入类型感知关系模块,通过联合建模节点语义关系与节点类型关系,更新目标节点表示,获得融合局部结构信息、元路径语义信息以及类型级全局语义信息的目标节点最终表示;

8、步骤6,根据目标节点最终表示完成节点类别预测,并依据预测结果与真实标签构建监督损失函数,对整个节点分类模型进行训练。

9、步骤1中,根据节点类型分别建立对应的映射函数,利用所述特征投影函数将不同类型节点原始特征映射到统一特征空间,以获得具有统一特征维度的节点初始表示,为后续节点表示学习提供统一输入了,本发明选用带有偏置项的特征投影的过程如下:

10、

11、其中是一个可学习的参数矩阵,是一个可学习的偏差项。

12、步骤2中,目的是为了获得异构图的拓扑结构特征以及具有不同语义感知能力的元路径专家,具体步骤如下:

13、步骤2-1,给定图及第层的节点表示,采用图卷积网络(gcn)对节点邻域信息进行聚合来更新节点表示,以此来获得目标节点的拓扑结构特征,其计算过程定义为:

14、

15、其中,为加上自环的邻接矩阵,是的度矩阵,是可学习的线性变换参数,表示非线性激活函数。

16、步骤2-2,给定元路径集,在数据预处理阶段构建每条元路径对应的邻接矩阵,并生成元路径子图。对各个元路径语义子图分别建立对应的图神经网络专家,每个图神经网络专家负责学习对应元路径下的节点语义表示,从而形成多个具有不同语义感知能力的元路径专家:

17、

18、其中,表示第层的统一节点表示,在首层由异构图特征投影模块输出,之后由上一层更新结果提供。

19、步骤3中,通过元路径混合专家融合模块将步骤2-1与步骤2-2输出的节点特征进行融合,具体步骤如下:

20、步骤3-1,首先,将各元路径专家输出组成元路径专家候选集:

21、

22、其中为节点数,为元路径的数量,为隐藏维度。

23、步骤3-2,将步骤2-1得到的结构表示与对应的节点类型嵌入作为输入,计算每个节点对不同元路径专家的偏好得分,并采用top-k稀疏路由,仅保留与目标节点最相关的k条元路径专家:

24、

25、

26、其中,表示节点所选择的专家索引集合,表示预设的元路径专家数量,且,以此来选择最相关的元路径专家语义,解决多条元路径语义相互干扰的问题。

27、步骤3-3,仅对所选的个专家执行softmax归一化,未被选中的专家权重置为零,根据计算得到的权重对各元路径表示进行加权聚合,得到节点的元路径语义表示:

28、

29、

30、其中,表示节点在第条元路径下编码得到的节点表示。

31、步骤3-4,引入由结构特征学习到的自适应平衡因子用于融合结构特征与元路径专家混合机制得到的节点表示:

32、

33、步骤4中,类型感知全局语义门控模块,从类型级别建模节点的全局上下文,实现节点语义与类型级全局语义的深度融合,具体步骤如下:

34、步骤4-1,首先对于每个节点,根据其类型索引,从类型嵌入矩阵中获取对应的类型嵌入向量,对属于同一类型的所有节点的类型嵌入进行聚合,构建类型级全局上下文向量:

35、

36、其中表示类型的节点集合,表征了该类型在全局尺度下的语义中心。

37、步骤4-2,将节点类型嵌入映射到query与key空间,采用缩放点积方式计算节点类型与类型级全局上下文之间的相关性得分,自适应地平衡类型先验与对应的类型级全局上下文:

38、

39、

40、其中,和分别表示query和key的特征投影矩阵,表示缩放因子,门控系数用于衡量节点级类型先验与类型级全局语义上下文之间的相关性强度,并据此对节点的类型嵌入与其对应的类型级全局上下文进行融合:

41、

42、其中,表示节点所属类型对应的类型级全局语义表示。

43、步骤5中,采用基于邻域采样的序列构建策略,构建两种互补的节点序列表示,由元路径专家混合机制生成的节点表示序列,由类型感知全局语义门控模块生成的类型表示序列,之后具体步骤如下:

44、步骤5-1,首先,以节点表示序列为输入构建节点级自注意力机制,通过线性投影计算节点语义注意力得分:

45、

46、其中,和分别表示投影矩阵,表示非线性激活函数。

47、步骤5-2,同时,对类型表示序列引入类型感知关系注意力机制,采用缩放点积注意力计算类型级注意力得分:

48、

49、其中,和分别表示投影矩阵;

50、步骤5-3,引入超参数对节点语义注意力与类型关系注意力进行自适应平衡,并采用温度系数对融合后的注意力得分进行缩放,最终得到归一化的注意力权重:

51、

52、步骤5-4,利用融合后的注意力权重对节点特征进行加权聚合,并依次经过线性变换、残差连接以及层归一化处理,得到最终的节点表示:

53、

54、其中,与表示线性变换矩阵,表示层归一化操作。

55、步骤6中,针对步骤5输出的最终节点表示,其中每个节点序列的第一个位置对应目标节点,采用具有参数的多层感知机(mlp)来预测节点的标签分布:

56、

57、其中,表示节点的预测标签分布,表示类别数量。针对多类节点分类任务,采用交叉熵损失函数作为模型的训练目标:

58、

59、其中,是在训练节点集上计算的最终损失,是节点的真实标签。

60、与现有技术相比,本发明具有以下优点和效果:本发明通过构建基于混合专家机制的元路径语义融合模块,对不同元路径对应的语义信息进行独立编码,并结合类型感知门控机制,根据节点结构特征和类型信息动态选择与融合不同元路径特征,实现节点级别的自适应语义建模,降低了固定融合方式带来的语义冗余和噪声影响,提高了节点高阶语义表示能力。同时,本发明通过类型感知全局语义门控模块,根据节点类型信息构建类型级全局上下文表示,并融合节点类型特征与全局语义信息,使节点表示能够同时包含局部语义特征和类型级全局语义特征,增强了异构图中跨类型节点关系的建模能力。此外,本发明采用基于邻域采样的类型感知关系transformer模块,对节点语义关系和类型关系进行联合建模,避免直接对大规模异构图进行全局注意力计算造成的高计算开销,提高了模型处理复杂异构图数据的效率和适用性。通过融合局部结构信息、元路径高阶语义信息以及类型级全局关系信息,本发明能够获得更加全面和有效的节点表示,从而提高异构图节点分类任务的准确性和鲁棒性。