基于对比学习的异构图表示学习方法、系统、设备和介质

摘要: 本发明涉及异构图网络,具体涉及基于对比学习的异构图表示学习方法、系统、设备和介质。背景技术:1、异构图由多种类型节点和边构成,能对社交网络、bibliograp...
基于对比学习的异构图表示学习方法、系统、设备和介质

本发明涉及异构图网络,具体涉及基于对比学习的异构图表示学习方法、系统、设备和介质。

背景技术:

1、异构图由多种类型节点和边构成,能对社交网络、bibliographic数据库等多领域的复杂结构化数据进行表示。然而,现有基于异构图网络的表示学习方法,往往难以同时捕捉长距离语义依赖和局部结构模式。

2、近期的异构图表示学习方法主要分为监督学习、生成模型和对比学习这三种范式。监督学习方法(如hgt)通常依赖标记数据,设计类型感知的神经架构来进行端到端训练,虽在有足够标记时表现良好,但在低标记或归纳场景下常面临困难,还可能过度拟合特定任务信号。生成模型(如hgmae)旨在重构图结构或特征分布,通过建模数据生成过程来学习节点表示,在有限监督下有较好的泛化能力,不过可能存在训练不稳定或可扩展性问题。对比学习方法(如heco)作为一种不严重依赖标记数据的强大范式,通过构建图的多个视图并优化正样本对的一致性,同时区分负样本对,但往往需要精心设计正负样本采样策略,且对视图构建较为敏感。

3、此外,传统方法在应用中还存在其他问题。例如,直接将mamba应用于异构图效果不佳,它缺乏建模细粒度局部模式所需的归纳偏置,且因其单向扫描机制,无法考虑元路径中至关重要的方向语义。同时,现有方法常常不能充分整合语义和结构信息,像一些模型强调结构建模却可能未充分利用丰富的语义上下文,另一些方法优先考虑语义对齐,却在捕捉细微结构依赖方面存在困难。这些问题使得现有异构图表示学习方法在性能和应用范围上受到限制,亟需一种新的方法来解决这些不足。

4、现有基于异构图网络(hgns)的表示学习方法难以同步捕捉长距离语义依赖与局部结构模式。例如,监督学习方法在低标签场景下泛化能力不足且易过拟合;生成模型存在训练不稳定与大规模图场景下的可拓展性问题;对比学习方法高度依赖人工精心设计的正负样本采样策略,且模型性能对所构建的视图形式非常敏感。

5、直接应用状态空间模型(如mamba)于异构图时,因缺乏建模细粒度局部模式的归纳偏置,且单向扫描机制无法保留元路径中的方向语义信息,导致语义建模不充分。

6、此外,传统方法在融合语义与结构信息时存在明显不足:hgt等模型侧重结构建模却忽视语义上下文,heco等方法优先语义对齐却难以捕捉细微结构依赖,致使表示学习的全面性与鲁棒性受限。

7、现有技术中,无论是单一依赖消息传递的gnn模型,还是基于静态元路径注意力的方法,均无法有效平衡长距离语义建模效率与局部结构捕获能力,且缺乏对异构图中类型多样性与关系复杂性的系统性处理方案,亟待更优的技术方案予以解决。

技术实现思路

1、本发明所要解决的技术问题是难以同步捕捉长距离语义依赖与局部结构模式,语义建模不充分,忽视语义上下文,目的在于提供基于对比学习的异构图表示学习方法、系统、设备和介质,通利用状态空间模型线性复杂度高效捕捉异构图长距离语义依赖,并通过多分辨率融合与方向感知位置编码增强局部与方向语义建模,解决全局语义建模效率低的问题,基于关系图卷积网络实现类型感知消息传递,结合自适应残差连接稳定训练,有效捕获局部结构依赖与关系模式,弥补类型约束处理不足,最后基于双向对比学习机制,通过对称对比损失对齐语义与结构视图的节点表示,相互增强并保留各自归纳偏置,解决信息融合不充分与表示一致性差的问题,提升下游任务性能。

2、本发明通过下述技术方案实现:

3、本发明第一方面提供基于对比学习的异构图表示学习方法,包括以下具体步骤:

4、获取待处理异构图,所述异构图包含多种类型节点与多种类型边,并构建各节点的初始隐藏状态表示;

5、获取异构图的节点序列,对各分支序列进行序列特征提取;

6、使用注意力机制对序列特征进行加权求和,得到语义视图嵌入;

7、将所述初始隐藏状态表示输入heterorgcn block,输出结构特征;

8、通过残差聚合将初始隐藏状态表示与结构特征进行融合,得到异构图的结构视图嵌入;

9、通过双向对比学习,将所述语义视图嵌入与所述结构视图嵌入相互对齐,得到融合了语义依赖与局部结构模式的优化节点表示。

10、进一步的,所述获取异构图的节点序列,对各分支序列进行序列特征提取,包括:

11、根据预定义的多种元路径对异构图进行采样,构建出n个并行的节点序列分支;

12、对各分支序列进行序列特征提取,包括:

13、基于mamba的动态参数化和选择性循环机制,捕捉长距离依赖,输出中间隐藏特征;

14、对中间隐藏特征进行深度可分离卷积,提取局部语义特征;

15、对中间隐藏特征进行全局池化,捕获全局语义特征;

16、融合所述局部语义特征和所述全局语义特征,得到多分辨率融合特征;

17、将可学习位置嵌入、多分辨率融合特征与中间隐藏特征进行聚合,得到序列特征。

18、进一步的,所述使用注意力机制对序列特征进行加权求和,得到语义视图嵌入,包括:

19、计算每个序列特征的注意力分数,使用softmax函数归一化,得到各元路径的注意力权重;

20、结合每个元路径的序列特征以及其对应的注意力权重,生成各元路径的加权语义嵌入;

21、对所有元路径的加权语义嵌入进行加权求和,得到语义视图嵌入。

22、进一步的,所述将所述初始隐藏状态表示输入heterorgcn block,输出结构特征,包括:

23、在所述heterorgcn block内部依次执行:

24、基于节点类型和边类型约束,按边类型聚合邻居消息,更新节点表示,输出图嵌入表示;

25、对图嵌入表示进行线性变换;

26、对线性变换后的结果进行非线性激活,得到异构图的结构特征。

27、进一步的,所述基于节点类型和边类型约束,按边类型聚合邻居消息,更新节点表示,输出图嵌入表示,包括:

28、针对异构图中的每一种边类型,确定与目标节点u通过所述边类型直接相连的所有邻居节点;

29、对于每一邻居节点,根据该邻居节点在上一层的特征表示以及当前边类型对应的可学习权重矩阵,计算当前层该邻居节点传递至目标节点u的消息;

30、将同一关系类型下所有邻居节点所传递的消息进行聚合,得到当前层该关系类型对目标节点u的消息传递结果;

31、聚合不同关系类型对目标节点的消息传递结果,得到当前层目标节点的隐藏状态表示;

32、经过多层消息传递,得到异构图的图嵌入表示。

33、进一步的,所述通过残差聚合将初始隐藏状态表示与最终输出的节点结构特征进行融合,得到异构图的图结构嵌入,包括:将所述初始节点隐藏状态表示与heterorgcnblock输出的结构特征进行聚合,生成结构视图嵌入,所述结构视图嵌入编码了节点的结构上下文和图连接性。

34、进一步的,所述通过双向对比学习,将所述语义视图嵌入与所述结构视图嵌入相互对齐,得到融合了语义依赖与局部结构模式的优化节点表示,包括:

35、将所述语义视图嵌入和所述结构视图嵌入,分别输入各自的投影头并映射至对比空间,得到投影后的语义视图特征和投影后的结构视图特征

36、使用点积相似度计算投影后的语义视图特征和投影后的结构视图特征之间的相似度,并以温度参数进行缩放,得到语义到结构方向的相似度矩阵与结构到语义方向的相似度矩阵;

37、基于语义到结构方向的相似度矩阵与结构到语义方向的相似度矩阵,分别计算语义到结构方向的损失与结构到语义方向的损失;

38、将两个方向的损失进行加权求和,得到总对比损失,并通过反向传播更新模型参数,以最大化语义视图与结构视图之间的特征一致性。

39、本发明第二方面提供一种基于对比学习的异构图表示学习系统,包括:

40、数据获取模块,用于获取待处理异构图,所述异构图包含多种类型节点与多种类型边,并构建各节点的初始隐藏状态表示;

41、语义元路径mamba编码器,用于获取异构图的节点序列,对各分支序列进行序列特征提取,使用注意力机制对序列特征进行加权求和,得到语义视图嵌入;

42、图模式视图编码器,用于将所述初始隐藏状态表示输入heterorgcn block,输出结构特征,通过残差聚合将初始隐藏状态表示与结构特征进行融合,得到异构图的结构视图嵌入;

43、双向对比学习模块,用于通过双向对比学习,将所述语义视图嵌入与所述结构视图嵌入相互对齐,得到融合了语义依赖与局部结构模式的优化节点表示。

44、本发明第三方面提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现基于对比学习的异构图表示学习方法。

45、本发明第四方面提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现基于对比学习的异构图表示学习方法。

46、本发明与现有技术相比,具有如下的优点和有益效果:

47、1.本发明实现了异构图中长距离语义依赖与局部结构特征的深度协同建模,有效提升了节点表示对复杂语义关系的综合表达能力;

48、2.通过强制对齐同一节点的不同视图表示,显著增强了特征表示的一致性与鲁棒性,有助于提升下游任务的性能;

49、3.突破了传统方法在大规模图场景下的计算瓶颈,实现了高效的长距离依赖建模与稳定的深层网络训练,极大地提升了模型在大规模异构图上的适用性,且模块化设计支持灵活扩展;

50、4.实现了对不同节点类型和边类型的显式建模,有效捕捉了异构图中复杂的类型约束与关系模式,进一步提升了表示学习的针对性与准确性。