一种面向异构图数据的个性化联邦图学习方法及系统

摘要: 本发明涉及联邦学习与图神经网络,具体而言,涉及一种面向异构图数据的个性化联邦图学习方法及系统。背景技术:1、图数据能够表达复杂关系与结构特征,在分子化学、生物医...
一种面向异构图数据的个性化联邦图学习方法及系统

本发明涉及联邦学习与图神经网络,具体而言,涉及一种面向异构图数据的个性化联邦图学习方法及系统。

背景技术:

1、图数据能够表达复杂关系与结构特征,在分子化学、生物医药、社交网络、金融系统等领域具有广泛应用。传统集中式图学习通常需要将原始图数据汇聚至中心服务器进行训练,容易引发用户隐私与机构数据保密等问题。为缓解上述隐私风险,联邦图学习通过多方在不共享原始数据的前提下协同训练图神经网络模型,实现跨客户端知识共享与模型泛化提升。然而,在真实联邦场景中,各客户端图数据往往存在显著异质性,导致本地模型更新方向冲突并破坏全局优化稳定性,从而引发表征语义不一致与客户端漂移等问题,最终造成联邦图学习性能下降。异质性通常体现在:不同客户端的图结构差异(如节点度分布、子图模体不同),特征空间与标签语义不一致,以及数据规模与类别比例不平衡等方面;此外,图数据还可能来自不同领域或随时间演化。上述异质因素会削弱跨客户端表征一致性,阻碍有效协同训练。近年来,原型方法通过引入类别级语义锚点促进客户端间知识对齐,从而缓解异质性影响。但现有原型联邦方法多依赖单一粒度或对不同客户端采用统一全局原型,难以充分整合跨粒度语义信息并适配多样化客户端分布,因此在异构联邦图学习场景下仍存在不足。

技术实现思路

1、本发明要解决的技术问题是:

2、为了解决异构图数据联邦学习过程中语义不一致与客户端漂移的问题,本发明提出一种面向异构图数据的面向异构图数据的个性化联邦图学习方法pfedcpg,通过跨粒度原型引导的本地优化机制与全局原型分发及模型聚合策略相结合,实现跨客户端一致语义表征学习与客户端自适应个性化协同训练。

3、本发明为解决上述技术问题所采用的技术方案:

4、本发明提供了一种面向异构图数据的个性化联邦图学习方法,每个客户端持有本地分子图数据,分子图中节点表示原子或官能团,边表示化学键或原子间结构关系,图表示分子整体结构;所述方法包括如下步骤:

5、s1.服务器初始化联邦训练轮数和全局模型参数,并将所述全局模型参数作为各客户端的初始本地模型参数;在每一通信轮中,服务器接收各客户端上传的跨粒度类别原型以及语义特征向量,所述语义特征向量用于后续客户端相似度计算和模型参数个性化聚合;所述跨粒度类别原型以及语义特征向量基于本地分子图结构构建;

6、s2.服务器对各客户端上传的跨粒度类别原型进行聚合并在原型空间执行自适应聚类处理,得到分子图在节点粒度、边粒度与图粒度上的不同类别的全局原型中心集合;

7、s3.服务器针对每一客户端,从所述全局原型中心集合中为客户端选择语义最相近的全局原型中心作为客户端的个性化全局原型,并向客户端下发全局原型以及模型参数;

8、s4.客户端基于本地分子图数据执行跨粒度原型提取,过程中引入边注意力机制实现跨粒度语义交互,获得节点粒度类别原型、边粒度类别原型与图粒度类别原型,对各粒度类别原型进行平滑更新,并基于跨粒度类别原型构建用于服务器侧语义相似度聚合的语义特征向量;

9、s5.客户端进行本地模型训练,模型采用门控双路径分类头,第一分支通过多层感知机对嵌入进行非线性变换,第二分支将嵌入投影至原型空间并计算与可学习类别原型的相似度,然后融合两分支结果得到预测结果;通过构建由分类损失与跨粒度原型对齐损失组成的联合优化目标函数更新本地模型参数,其中,跨粒度原型对齐损失用于度量本地跨粒度类别原型与服务器下发的全局原型之间的差异;

10、s6.客户端在本地训练完成后,将更新后的本地模型参数、平滑后的跨粒度类别原型以及根据跨粒度类别原型构建的语义特征向量上传至服务器;

11、s7.服务器依据各客户端语义特征向量之间的相似度计算客户端间的聚合权重,并按所述聚合权重对各客户端模型参数进行加权聚合,同时对聚合结果进行动量平滑更新,得到针对每一客户端的聚合模型参数;

12、s8.重复执行上述步骤s2-s7,直至训练终止,得到各客户端最终模型。

13、进一步地,步骤s4中所述基于本地分子图数据执行跨粒度原型提取,包括边注意力消息传递与残差反馈交互过程,具体为:针对任意边(u,v),将其两端节点嵌入和拼接后输入边注意力网络以计算边注意力权重与边嵌入,其中,

14、

15、其中为逐元素 sigmoid 激活函数,为可学习注意力向量,为可学习投影矩阵,||表示向量拼接符号;

16、所述边粒度类别原型为关键边嵌入的均值,具体为:对于类别c,以属于类别c的关键边集合中各边嵌入的均值作为边粒度类别原型,即:

17、

18、节点粒度类别原型的计算包括:将节点的邻域聚合结果与所述关键边嵌入累加以形成增强节点嵌入,并对类别内增强节点嵌入求均值得到节点粒度类别原型,具体为:

19、

20、其中n(v)为节点v的一阶邻居节点集合,为依据边注意力权重选取的关键边集合;

21、对于类别c,节点粒度类别原型为:

22、

23、其中为类别c的节点集合;

24、图粒度类别原型的计算方法包括:通过注意力池化得到分子图的图嵌入,节点注意力系数与图嵌入g分别并对类别为:

25、

26、其中为可学习参数向量,v为单个分子图中的节点集合;

27、类别c内图嵌入求均值得到图粒度类别原型:

28、。

29、进一步地,步骤s4中对跨粒度类别原型进行平滑更新,具体为:对任一类别原型,将提取原型与上一轮平滑原型按系数α更新为:

30、

31、其中α为指数滑动平均。

32、进一步地,步骤s4中所述基于跨粒度类别原型构建用于服务器侧语义相似度聚合的语义特征向量,具体为:将节点粒度类别原型、边粒度类别原型与图粒度类别原型分别在所有类别上求均值后拼接,得到客户端i的语义特征向量,即:

33、

34、其中c为类别数,,,分别表示客户端i在类别c下的节点粒度类别原型、边粒度类别原型与图粒度类别原型。

35、进一步地,步骤s5中所述目标函数为:

36、

37、其中为交叉熵分类损失;分别为节点粒度类别原型、边粒度类别原型与图粒度类别原型的对齐损失;λ1、λ2、λ3分别为权重超参数;

38、其中,

39、

40、其中为客户端i在类别c下的本地节点粒度类别原型,为服务器为客户端i分发的节点粒度个性化全局原型;

41、边粒度对齐损失与图粒度对齐损失分别为:

42、

43、其中、分别为客户端i在类别c下的本地边、图粒度类别原型,、为服务器为客户端i分发的边、图粒度个性化全局原型。

44、进一步地步骤s3中,对于任一客户端i、任一粒度r以及任一类别c,服务器计算客户端本地原型与全局原型中心之间的余弦相似度:

45、

46、并选择相似度最大的的全局原型中心作为客户端i在粒度r、类别c下的个性化目标原型:

47、

48、其中,r∈{n,e,g},n、e、g分别表示节点粒度、边粒度与图粒度;表示客户端i在类别c、粒度r下的本地类别原型;表示类别c、粒度r下的第k个全局原型中心;表示服务器为客户端i 分发的个性化全局原型。

49、进一步地,步骤s7中,对于目标客户端i,服务器根据客户端i的语义特征向量与客户端j的语义特征向量之间的余弦相似度,计算客户端j对目标客户端i的聚合权重:

50、

51、其中,

52、

53、其中,τ为温度参数,n为客户端数量;

54、按所述聚合权重对客户端模型参数进行加权聚合,得到客户端i的聚合模型参数:

55、

56、其中,表示客户端j上传的本地模型参数,表示针对目标客户端i得到的个性化聚合模型参数。

57、进一步地,步骤s7中所述对聚合结果进行动量平滑更新,具体为:

58、

59、其中β为预设动量系数,用于控制上一轮个性化聚合模型参数在当前更新中的保留比例,表示客户端i在第t轮的个性化模型参数,表示动量平滑后的下一轮个性化模型参数,表示当前通信轮中根据语义相似度加权聚合得到的个性化聚合模型参数。

60、本发明提供了一种面向异构图数据的个性化联邦图学习系统,该系统具有与上述技术方案任一项所述方法的步骤对应的程序模块,运行时执行上述的面向异构图数据的个性化联邦图学习方法中的步骤。

61、本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序配置为由处理器调用时实现上述技术方案中任一项所述的面向异构图数据的个性化联邦图学习方法中的步骤。

62、相较于现有技术,本发明的有益效果是:

63、本发明提出了一种面向异构图数据的个性化联邦图学习方法,在客户端通过构建节点、边及图粒度的类别原型,并引入边注意力机制实现跨粒度语义交互;针对本地原型随训练震荡的问题,采用指数滑动平均对原型进行平滑更新;在原型对齐方面,通过将本地跨粒度原型与服务器分发的个性化全局原型进行一致性约束,抑制由数据异质性引起的语义漂移;在分类阶段,通过门控方式融合基于特征的分类分支与基于原型距离的度量分支,提高异构条件下的判别稳定性;在服务器通过对客户端上传的多粒度原型进行凝聚并基于语义相似度进行分发,实现个性化原型引导,并进一步基于客户端语义相似度对模型参数进行加权聚合,从而缓解传统平均聚合在异构场景下的性能退化问题。