一种基于混合专家的异构图表示学习模型构建方法及系统

本发明涉及人工智能和图神经网络，尤其涉及一种基于混合专家的异构图表示学习模型构建方法及系统。

背景技术：

1、随着人工智能技术在复杂决策系统（如金融风控、社交网络分析及工业代码分析等）中的广泛应用，现实世界中的系统往往需要被构建为包含多种节点类型和关系类型的异构图数据。在这类复杂的异构图系统中，不同类型的实体往往蕴含着截然不同的逻辑语义，且对信息捕获范围的需求各不相同。例如，在银行流水图谱中，大额对公转账模式与个人消费脉络在行为逻辑上存在本质差异。

2、传统图神经网络（如gcn[1]、gin[2]、gat[3]、gatedgcn[4]等）处理图结构数据时采用消息传递范式，通过迭代聚合邻居节点特征来更新中心节点表示。这类方法在处理同构图时成效显著，但在异构图上却存在以下固有局限：一方面，所有节点共享同一套参数和聚合逻辑，无法根据节点类型动态调整建模策略；另一方面，消息传递受限于局部感受野，堆叠多层易出现过平滑以及信息衰减问题，难以捕获长程依赖。

3、为突破传统gnn的局部性限制，近年来许多研究尝试引入transformer架构（如san[5]、graphormer[6]），其通过自注意力机制允许任意两个节点直接交互，具备捕获全局依赖的能力。然而，纯transformer架构往往忽视了图的局部拓扑精细结构，在需要刻画节点邻域模式的任务中表现不佳。为此，交替混合架构（如graphgps[7]、transgnn[8]）被提出，通过交替堆叠transformer与gnn实现全局依赖与局部拓扑的协同建模。

4、为打破单一图模型在复杂数据上的容量限制和同质化表达，研究者开始将混合专家（mixture of experts, moe）机制引入图学习领域。moe的核心思想是通过门控网络为每个输入动态选择若干专家模块，实现分而治之的建模策略。代表性工作gmoe[9]首次将moe引入图学习，通过多个参数不共享的gnn专家和门控机制为每个节点动态选择最适合其邻域模式的专家。其门控网络以中心节点特征为输入，通过mlp计算路由得分，选择top-k个专家进行加权求和作为该节点的局部聚合输出。在此基础上，moe-hct[10]将节点类型标签引入门控网络，通过显式注入节点类型嵌入来激活特定专家，初步实现了节点类型的专门化。其门控网络输入为节点特征与类型嵌入的融合向量，底层采用异构图注意力网络进行一阶邻域聚合。

5、尽管现有的图表示学习技术在处理复杂数据时取得了一定进展，但在应对具有复杂语义的大规模异构图时，仍存在以下不足：

6、首先，现有的全局-局部交替架构缺乏异构特异性建模能力，导致局部特征同质化。近年来交替堆叠transformer与gnn层的混合架构被证明能有效结合两者的优势，但这些架构中负责提取局部拓扑特征的gnn模块仍为单一固定结构，即所有节点均使用相同的gnn聚合器进行局部特征提取，无法适应异构图中多样化的节点群体。这种全局有、局部粗的局部建模方式导致局部特征提取精度不足，限制了模型的整体表达能力。

7、其次，现有图混合专家模型的门控机制缺乏微观拓扑环境感知能力，导致专家分配精度低。现有引入混合专家机制的图模型，其门控网络在计算路由得分时，输入域通常仅依赖节点的原始特征，或者简单引入静态的节点类型标签，完全忽视了节点所处的真实微观拓扑环境。这种缺乏关系上下文的单一维度门控网络，使得模型无法精准洞察节点正处于何种逻辑子图环境中，从而无法为处于不同复杂连通环境下的同类节点提供高特异性的局部专家动态派发，限制了异构图表示学习的准确率。

8、最后，现有技术缺乏全局视野捕获与局部异构感知的有机结合。现有异构图混合专家方法在特征映射层引入了类型感知的专家选择机制，但底层架构仍基于局部异构图注意力网络，局限于一阶邻域的注意力聚合，无法跨越多跳拓扑捕获长程依赖。而现有交替混合架构实现了全局视野与局部建模的协同，但其局部模块缺乏异构感知能力。两种技术路径各自解决了问题的一个方面，未能实现全局视野与局部异构感知的有机融合。

技术实现思路

1、术语解释：

2、1.异构图：指包含两种或两种以上节点类型，和/或两种或两种以上边（关系）类型的图数据结构。例如，学术网络中可同时包含作者、论文、会议等多种节点类型，以及撰写、引用、发表于等多种边类型。在现实场景中，不同类型的节点往往代表着不同性质的实体，且具有不同的特征空间与行为逻辑。

3、2.图神经网络（gnn）：一种专门用于处理图结构数据的深度学习架构。其核心机制为消息传递，即通过迭代聚合节点自身及其邻居节点的特征来更新该目标节点的特征表示，从而捕捉图的局部拓扑结构信息。常见的gnn模型包括gcn（图卷积网络）、gin（图同构网络）、gat（图注意力网络）等。

4、3.transformer：一种基于自注意力机制的神经网络架构，通过允许序列中任意两个位置之间直接交互来捕获长程依赖关系。在本发明中，transformer用于捕获图节点间的全局依赖关系，突破gnn局部感受野的限制。

5、4.混合专家模型（moe）：一种稀疏激活的神经网络架构，包含一个门控网络和多个相互独立的子网络（称为专家）。对于每个输入样本，门控网络根据输入特征动态计算路由得分，仅稀疏激活少数几个最相关的专家进行计算，将其输出按权重融合后作为最终输出，从而在不显著增加单次推理计算量的前提下提升模型的整体表达能力。

6、5.门控网络：在moe架构中负责计算每个专家激活权重的子网络。对于当前节点，门控网络根据其输入信息（如节点特征、类型、邻域上下文等）输出该节点对各专家的激活得分，选取得分最高的若干专家进行加权聚合。

7、6.位置编码：通过预计算图的全局拓扑属性生成的向量。在本发明中，通过在transformer模块中将其与节点特征相加后输入，可作为结构先验帮助原本不感知图结构的transformer能够感知节点在全局图中的相对位置。

8、7.邻域关系上下文向量：本发明中提出的概念，指对目标节点一阶邻域内各类型节点的分布进行统计编码后得到的低维定长向量。该向量显式地量化了节点所处的局部微观拓扑环境。

9、本发明的目的在于克服现有技术的不足，提供一种基于混合专家的异构图表示学习模型构建方法及系统，解决现有交替混合架构中局部gnn特征提取同质化、现有图混合专家模型门控机制缺乏微观拓扑环境感知能力，以及现有技术无法有机结合全局视野捕获与局部异构感知的问题。

10、在处理复杂的大规模异构图数据时，现有的图表示学习方法主要存在两大技术缺陷。首先是交替架构的局部特征提取同质化。现有融合了全局注意力与局部图神经网络的交替架构，其局部gnn模块往往采用固定且参数共享的单一专家网络。由于异构图中的节点可能分属不同类别、处于不同的局部子图结构中，它们对聚合方式的需求本不相同，这种单一结构gnn的同质化设计无法根据异构图中多样化的节点类型动态调整建模策略，导致局部特征提取粗糙。其次，图混合专家的门控机制缺乏微观环境感知。现有引入了混合专家机制的图模型，其门控网络在计算专家路由得分时，往往仅孤立地依赖中心节点自身的静态特征或身份标签，忽视了节点所处的真实拓扑微环境，即缺乏对邻域关系上下文的感知。由于这种信息的缺失，当两个节点具有相同的类型标签但处于完全不同的局部子图环境中时，门控网络无法区分它们的差异，会为它们激活相同的专家，导致专家选择与节点实际所处环境不匹配，进一步限制了模型在异构图上的整体表达能力。

11、针对上述现有技术的缺陷，本发明的目的在于提供一种基于混合专家的异构图表示学习模型构建方法。本发明旨在通过构建全局transformer与异构感知moe-gnn交替堆叠的模型架构，突破传统单专家图网络的表达瓶颈，在捕获全局宏观拓扑依赖的同时，实现对局部异构特异性的高精度协同建模；另一方面，重构现有的静态孤立门控机制，提出一种多维异构感知门控网络。通过联合输入节点的原始特征、类型嵌入以及邻域关系上下文向量，赋予模型动态感知局部微观拓扑环境的能力，从而为不同节点精准匹配最契合的特征聚合专家，解决因环境信息缺失导致的专家误匹配问题，显著提升模型在复杂异构图场景下的整体准确率与表达能力。

12、本发明提出了基于混合专家的异构图表示学习模型构建方法及系统，该方法首先对输入的异构图数据提取节点基础特征、节点类型标识并预计算结构位置编码及邻域关系上下文向量；随后将上述特征送入全局transformer与局部moe-gnn解耦交替堆叠的深度架构中。其中，全局模块用于跨越拓扑局限捕获宏观长程趋势；局部模块则由多维异构感知门控网络驱动，联合节点特征、类型及邻域上下文计算路由得分，将节点动态派发至非共享参数的gnn专家池中执行局部拓扑特征聚合。最后通过多层交替协同与端到端反向传播微调，完成异构图模型的构建。

13、本发明提出的基于混合专家的异构图表示学习模型构建方法，包括以下步骤：

14、s1、图数据获取与预处理：获取原始异构图数据，构建节点属性特征张量与邻接矩阵；对全图节点计算结构位置编码，同时遍历每个目标节点的一阶邻居感受野，统计不同类别邻居节点的连通分布频率，生成该节点的邻域关系上下文向量；

15、s2、三元驱动的局部门控打分：进入第l层交替处理层，构建包含自适应加噪分支的可学习单层线性异构感知门控网络，将节点的当前输入特征、对应类别标签可学习映射得到的节点类型嵌入，以及s1中构建的邻域关系上下文向量在特征维度上进行拼接，经由softmax函数计算得到当前节点在局部专家池中对应各专家的激活分布得分；

16、s3、局部moe-gnn专家池微观特异性聚合：在局部模块中构建包含k个参数互不共享的gnn专家，这些专家在宏观网络类型上是同构的，均采用相同的gcn网络结构，但各专家的权重矩阵参数独立初始化且互不共享，仅通过参数独立性与随机初始化的多样性保证各专家在梯度下降中收敛至不同的局部特征子空间，即自适应地分化为不同的聚合模式；根据s2中的激活分布得分采用topk策略选取专家；被稀疏激活的局部gnn专家仅沿着底层真实的物理拓扑边执行有限跳数内的邻居信息聚合，将各个被激活专家的输出结合激活分布得分进行加权求和，输出捕获了高度特异性的微观精细节点特征；本发明是交替架构，单层moe-gnn只做一阶邻居的聚合，长程依赖交给了后面的transformer，所以有限跳数内的邻居信息聚合是单跳（1-hop）的一阶邻居信息聚合。

17、s4、注入结构先验的全局注意力长程建模：接收s3输出的局部微观精细节点特征，将s1中预计算的全局图结构位置编码与该局部特征相加融合，随后馈入全局transformer层；通过计算图中任意节点对之间的长程注意力交互得分，捕获全局宏观趋势，生成该层最终的全局增强输出表示；

18、s5、层级堆叠循环与任务联合微调：将s2至s3的局部处理与s4的全局处理作为一个串联子单元，循环堆叠l层；两个模块顺序执行、交替运行，前一个模块的输出是后一个模块的输入，后一个模块的输出又作为下一层moe-gnn的输入；模块内部及模块之间嵌入残差连接与混合归一化；在归一化策略上，各项归一化操作分别独立发生于各个模块内部，即局部gnn专家内部包含批归一化，全局transformer内部包含层归一化，模块之间不额外设置层归一化；残差连接发生于模块处理之后，且包含两重连接：第一重为模块级残差，将moe-gnn的输出特征与transformer的输出特征相加融合；第二重为层级跳跃残差，将当前交替层的初始输入特征直接与经历激活函数处理后的模块级残差输出相加，形成最终的跨层融合表示；最终将第l层全局transformer输出的表征送入预测器，结合图任务真实标签计算损失函数，通过反向传播完成端到端模型优化。

19、本发明所述s1中的结构位置编码包括随机游走位置编码和拉普拉斯位置编码。

20、其中，所述拉普拉斯位置编码的计算方式为：

21、首先计算图的度矩阵d和邻接矩阵a；计算图的拉普拉斯矩阵，对l进行特征分解，取其最小的m个非零特征值对应的特征向量作为各节点的拉普拉斯位置编码。

22、其中，所述随机游走位置编码的计算方式为：

23、首先计算转移矩阵，对于节点i，第t步的随机游走特征值为，即从节点i出发经过t步随机游走后回到节点i的概率；得到长度为l_walk的特征序列后，取概率最大的步数索引作为类别，通过一个可学习的embedding层映射为随机游走位置编码；

24、本发明所述s1中的邻域关系上下文向量为对目标节点一阶邻域内各类型节点的分布进行统计编码后得到的低维定长向量。

25、本发明所述s2中的异构门控网络输入为节点特征、节点类型嵌入与邻域关系上下文向量三者的拼接向量，输出为各专家的激活概率分布。

26、本发明所述s3中的gnn专家为参数独立初始化的图卷积网络层，各专家之间参数不共享。

27、本发明所述s3中采用topk策略选取激活得分最高的k个专家，满足，其中e为专家池中的专家总数。

28、本发明所述s5中的损失函数为总损失；其中，为任务损失，为负载均衡损失，λ为负载均衡损失权重系数；负载均衡损失为各专家的门控概率总和与加噪期望选中率的变异系数平方和。

29、本发明所述s5中的残差连接为跨越局部处理和全局处理两个层级的跳跃连接，将模块输入特征直接与transformer输出特征相加融合。残差连接具体包含两重融合路径：第一重为模块级残差，将局部moe-gnn模块的输出特征与全局transformer模块的输出特征直接进行残差相加；第二重为层级跳跃残差，将当前交替层的初始输入节点特征，与经历非线性激活函数处理后的模块级残差输出进行第二次相加，形成最终的跨层融合表示。

30、基于以上，本发明还提出了一种基于混合专家的异构图表示学习系统，包括：

31、多维先验与特征构建模块，用于从原始异构图中抽取节点语义矩阵、连边邻接矩阵，并计算节点的位置编码以及表征微观连通频率的邻域关系上下文特征；

32、微观局部异构特征提取模块，包含由加噪单层线性映射网络构成的三元融合门控器，以及由并行的k个非共享参数的图神经网络构成的混合专家池；所述三元融合门控器以节点特征、节点类型嵌入与邻域关系上下文向量拼接作为输入，计算专家分配概率权重；所述混合专家池根据分配概率权重将节点动态路由至对应的gnn专家，执行图邻域内的拓扑特征消息传递；

33、长程宏观注意力建模模块，内部封装有多头自注意力计算网络，用于接收局部模块输出的精细化节点特征，融合结构位置编码后执行全局长程注意力交互；

34、模型交替协调与梯度训练模块，用于管理局部网络层到全局网络层的深度交替堆叠次序，在网络中嵌入层归一化与跳跃残差路径，结合任务预测层计算的目标损失，控制整个神经网络架构的反向传播梯度更新。

35、本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明所述的基于混合专家的异构图表示学习模型构建方法的步骤。

36、本发明还提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明所述的基于混合专家的异构图表示学习模型构建方法的步骤。

37、本发明提出的基于混合专家的异构图表示学习模型构建方法及系统与现有技术相比，具有以下有益效果：

38、针对现有图交替处理模型在局部特征聚合阶段往往采用单调或固定的非异构感知机制、导致复杂图拓扑特征表达同质化的缺陷，本发明创新性地提出了先局部异构多专家池、后全局自注意力网络的升维协同架构。在交替架构的局部模块中采用多专家moe-gnn替代原有的单专家固定gnn，每个专家参数独立、不共享，通过不同的随机初始化使各专家在训练中自然形成差异化的聚合模式，由门控网络为不同节点动态选择最适配的专家组合。

39、由于异构图中的节点群体具有不同的局部结构特征，单一固定的gnn无法同时满足所有群体的需求。采用多专家moe后，不同专家可以专注于不同类型的局部模式，通过门控网络的路由实现差异化的聚合，使交替架构的局部模块获得了对多样化节点群体的自适应建模能力。

40、本发明交替架构的异构感知升级，提出了全局transformer与局部moe-gnn交替堆叠的协同建模架构。打破了现有前沿交替模型中局部gnn为参数共享的单专家同质化局限，通过稀疏激活特定的gnn专家，使交替架构的局部模块具备对多样化节点群体的自适应建模能力，实现了全局长程依赖与微观异构特异性的互补建模。

41、本发明提出多维微观环境感知门控机制。重构了混合专家模型的路由决策空间，构建了融合节点原始特征、节点类型嵌入、邻域关系上下文向量的三元联合门控网络。打破了现有门控孤立感知中心节点的缺陷，使模型能够根据真实微观逻辑子图环境动态匹配局部特征提取策略。

42、本发明针对现有图网络路由或门控机制仅孤立依赖节点自身属性打分、缺乏对微观连通子图环境（邻里分布）动态感知的缺陷，本发明设计了微观环境感知的门控网络，通过在网络输入中引入邻域上下文向量，使门控网络同时感知节点的类型信息（类型嵌入）和环境信息（邻域类型分布），实现了从单维度身份感知到多维度环境感知的升级。

43、由于门控网络在决策时能够获知节点所处的局部拓扑环境（一阶邻域中各类节点的分布情况），当两个同类型节点处于不同环境中时，门控网络能够为其指派不同的专家，而非不加区分地激活同一组专家。这使得每个节点能够获得与其实际局部模式更匹配的聚合结果，从而提高局部特征提取的精度。

44、本发明针对现有图模型通常陷入单一范式局限：单纯图神经网络受限于有限消息传递层数而无法捕获全局长程依赖，或单纯图transformer缺乏图拓扑归纳偏置而忽视局部异构特征提取，以及部分现有混合模型只是机械拼接二者导致全局和局部特征提取都不够精细的缺陷，本发明创新性地提出了异构感知moe-gnn与全局transformer交替堆叠的协同建模架构。在同一模型框架内构建了先微观局部打磨、再宏观长程交互的互补机制，实现了局部异构感知与全局视野捕获两种核心能力的互补建模。

45、由于大规模异构图既蕴含复杂的底层局部拓扑逻辑，又存在跨越跳数限制的宏观长程关联，单一计算范式无法兼顾。采用交替堆叠架构后，全局transformer层接收的不再是粗糙同质的节点表征，而是经过异构专家深度提纯与去噪的高质量局部特征；同时，全局自注意力为跨区域节点搭建了信息直达捷径，克服了传统图网络深层堆叠带来的过度平滑瓶颈。两类模块在框架内有序协作、互补优化，使模型获得了既能识别微观异构特异性，又能掌控全局长程依赖的综合表征能力。

46、为验证本发明的有效性，本发明所构建的基于混合专家的异构图表示学习模型（transgmoe）在公开图基准（ogb）的多个数据集上进行了严格的实证评测，并与最接近的现有技术gmoe进行了对比。在训练集上均训练80个epoch且经过五次以上独立实验结果求平均的客观标准下，本发明获得了显著的技术进步，实验结果数据如下表：

47、

数据集

任务类型

评价指标

gmoe

transgmoe（本发明）

ogbg-molhiv

二分类

roc-auc

0.7354

0.7786

ogbg-molesol

回归

rmse（越低越好）

1.2816

1.0113

ogbg-moltoxcast

多标签分类

roc-auc

0.6046

0.6471

48、在ogbg-molhiv数据集（阳性样本仅占约3%）上，本发明的roc-auc指标相比gmoe提升了约5.9%，表明本发明在极端不平衡数据上具有明显的性能优势。在ogbg-molesol图回归任务数据集上，本发明的rmse指标达到1.0113，相比gmoe降低了约21.1%，表明本发明在回归任务上同样具有显著的精度提升。在ogbg-moltoxcast数据集（多标签分类任务，617个子任务）上，本发明的roc-auc达到0.6471，相比gmoe提升了约7.0%，表明本发明在多标签分类任务预测场景下同样有效。本发明所提出的异构图表示学习方法同样适用于包含单一节点类型但节点属性具有显著异质性（即节点间存在本质差异）的图数据。通常图神经网络领域会把分子图当成同构图，但实际上，分子图中包含不同的原子种类（如碳c、氧o、氮n）且不同原子本身具有不同的化学属性和物理意义，这些差异通过节点特征中的原子类型编码（如原子序数、手性等）得以显式表达。本发明将原子类型视为节点类型标识，将含有不同原子属性和化学键类型的分子图视为一种典型的异构图，因此“异构感知”在这个场景下，感知的是节点的化学身份差异，而不是图结构的节点类型差异。

49、上述实验数据表明，本发明在分类任务、回归任务以及多任务场景下均一致性地优于最接近的现有技术gmoe，验证了本发明技术方案的有效性与泛化能力。此外，对测试集稳定跑满80个epoch的平均收敛表现可得出，该方案在显著扩大深度图模型整体参数表达空间与性能上限的同时，有效规避了稠密全连接计算所造成的梯度爆炸和特征冗余，保障了深度学习训练过程中的高收敛率与鲁棒稳定性，具备突出的工程落地价值。