一种基于预训练与提示学习的异质图少样本节点分类方法

摘要: 本发明涉及异质图节点分类,具体为一种基于预训练与提示学习的异质图少样本节点分类方法。背景技术:1、异质图是一类同时包含多种节点类型和多种关系类型的图结构数据。与...
一种基于预训练与提示学习的异质图少样本节点分类方法

本发明涉及异质图节点分类,具体为一种基于预训练与提示学习的异质图少样本节点分类方法。

背景技术:

1、异质图是一类同时包含多种节点类型和多种关系类型的图结构数据。与同质图相比,异质图能够描述更复杂的语义关系。例如在学术网络中,节点可以包括论文、作者、主题、关键词、会议或期刊;边可以包括撰写、引用、属于主题、发表在会议等关系。异质图少样本节点分类的目标是在每个类别仅有极少量标注样本的情况下,对目标节点类型中的未标注节点进行分类。由于标注数据稀缺,模型不仅需要从图结构中挖掘丰富语义,还需要使预训练阶段学习到的节点表示能够有效适配下游少样本分类任务,并具备较强的抗过拟合能力。

2、元路径是异质图神经网络中的重要语义建模工具。元路径本质上是定义在节点类型和边类型模式上的路径序列,能够刻画不同类型实体之间的高阶语义关系。例如在以paper为目标节点的学术网络中,p-a-p表示两篇论文由同一作者关联,p-t-p表示两篇论文共享相同关键词或术语,p-v-p表示两篇论文发表在相同会议或期刊。通过给定元路径刻画目标节点之间的高阶语义关联,可以将原始异质图中的多类型节点和多类型边映射为以目标节点为中心的同质语义图。每一条元路径对应一种特定语义关系,每一张元路径诱导图对应一个语义视图,模型可在不同语义视图上分别进行图卷积聚合,并进一步融合多视图表示。

3、然而,现有异质图学习方法中的元路径设计通常依赖人工经验。对于不同异质图数据集,其节点类型、边类型以及目标节点类型往往存在差异,人工预设的元路径难以保证能够准确覆盖与目标任务相关的有效语义关系。同时,随着路径跳数增加,候选元路径数量会迅速扩张,其中部分路径虽然在理论层面合法,但其诱导的目标节点同质语义图可能过于稠密,或者与其他路径表达高度相似的语义关系,从而引发过平滑、语义冗余融合以及较高的计算和存储开销。尤其在少样本场景下,标注样本数量有限,模型难以依靠少量监督信号纠正预训练阶段引入的结构噪声或语义偏差,进而导致预训练表示与下游分类所需的类别判别目标之间存在不一致。

4、近年来,图预训练和图提示学习为少样本图学习任务提供了新的技术思路。图预训练通常利用结构预测、对比学习、特征重构等自监督目标,在标注信息有限的情况下学习节点表示;图提示学习则通过少量可学习参数或提示向量,对预训练模型进行轻量化任务适配。与同质图不同,异质图同时包含多种节点类型和多种边类型,不同关系模式往往对应不同的语义含义。因此,将图预训练和图提示学习应用于异质图少样本节点分类时,不能仅依赖统一的图结构建模方式,还需要充分考虑目标节点类型、元路径语义选择以及多语义视图之间的差异与互补关系。一方面,预训练阶段若未能筛选出与目标节点分类任务相关的有效异质语义关系,学习到的节点表示可能包含冗余结构信息或语义噪声;另一方面,下游阶段的类别原型仅由少量已知标签节点构建,容易受到样本噪声和类内分布偏差影响。因此,异质图少样本节点分类需要一种能够自动选择有效元路径语义、增强预训练表示与目标节点分类任务匹配程度,并以轻量方式修正类别原型的技术方案。

技术实现思路

1、本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。

2、为解决上述技术问题,根据本发明的一个方面,本发明提供了如下技术方案:

3、一种基于预训练与提示学习的异质图少样本节点分类方法,包括以下步骤:

4、s1:元路径自动选择:从异质图模式层中自动确定与目标节点分类任务相关的有效语义路径,仅生成首尾为目标节点类型的候选元路径,综合评价元路径质量,判断过平滑风险;再融合质量得分、冗余惩罚与互补奖励筛选元路径,剔除冗余,选出兼顾语义质量与多样性的元路径;

5、s2:异质图预训练:用于在元路径自动选择得到的有效语义路径基础上学习目标节点表示;每一条选中元路径对应一个独立的语义视图和一组独立的图神经网络编码层,建立基于元路径诱导图的完整预训练模型;构建一种用于节点规模较大或元路径诱导图构造开销较高情形的面向大规模异质图的高效预训练版本;

6、s3:残差原型提示分类:用于在预训练得到的目标节点表示基础上完成标注样本有限条件下的节点分类;基于已知标签节点计算各类别基础原型,引入残差原型提示机制,搭配可学习门控系数控制残差强度,对基础原型进行轻量修正;再结合节点表征计算分类得分确定预测类别,依靠交叉熵损失训练参数,适配少量标注样本下的节点分类任务。

7、作为本发明所述的一种基于预训练与提示学习的异质图少样本节点分类方法的一种优选方案,其中,所述s1的具体方法为,设异质图表示为,其中表示节点集合,表示边集合,表示节点类型集合,表示边类型集合;设目标节点类型为,目标节点集合为,目标节点数量为,目标节点特征矩阵为,其中表示输入特征维度;

8、候选元路径集合表示为:

9、

10、其中,表示第条候选元路径,表示第个关系类型,表示该元路径的长度,表示最大搜索跳数,表示第一条关系的源节点类型,表示最后一条关系的目标节点类型;

11、对于每条候选元路径,构建其诱导的目标节点同质语义图;若两个目标节点之间存在符合所定义关系模式的连接,则在中形成对应的语义边;计算其相对密度:

12、

13、其中,表示第条元路径诱导图中的边数,表示该语义图的连接密度;

14、在候选路径质量评估阶段,元路径质量得分表示为:

15、

16、其中,表示第条候选元路径的综合质量得分;表示覆盖性指标;表示特征平滑性指标;表示重构一致性指标;表示语义区分度指标;表示第条候选元路径对应语义视图的有效秩指标,用于衡量该语义视图中节点表示的维度丰富性和表示多样性;表示第条候选元路径对应语义视图的均匀性指标,用于衡量目标节点表示在嵌入空间中的分布均匀程度;表示过平滑风险;为对应指标的权重系数;

17、在冗余感知选择阶段,采用质量得分、冗余惩罚和互补奖励相结合的方式确定最终元路径集合。

18、作为本发明所述的一种基于预训练与提示学习的异质图少样本节点分类方法的一种优选方案,其中,所述最终元路径集合的确定方法为,设已选元路径集合为,候选路径的选择增益表示为:

19、

20、其中,表示候选路径在当前已选集合下的选择增益;表示该路径与已选路径之间的冗余程度;表示该路径带来的新颖性或互补性;为冗余惩罚系数,为互补奖励系数;通过该选择机制,最终获得兼顾语义质量与互补性的元路径集合。

21、作为本发明所述的一种基于预训练与提示学习的异质图少样本节点分类方法的一种优选方案,其中,所述s2中,设最终选中的元路径集合为,其中表示选中元路径数量;对于第条元路径,构建其诱导的目标节点同质语义图,并得到对应的邻接矩阵;加入自连接并进行归一化后,得到。

22、作为本发明所述的一种基于预训练与提示学习的异质图少样本节点分类方法的一种优选方案,其中,所述完整预训练模型的建立方法为,设目标节点原始特征矩阵为,第个语义视图在第层的表示为,则该视图的图卷积编码过程表示为:

23、

24、其中,表示第个语义视图在第层中的可学习参数,表示编码层数,表示非线性激活函数;经过层编码后,得到第个元路径语义视图下的目标节点表示:

25、

26、为每个语义视图设置可学习的重要性参数,并通过归一化得到视图融合权重:

27、

28、最终的目标节点预训练表示为:

29、

30、其中,表示融合后的目标节点表示;引入跨视图对比损失,对于任意两个语义视图和,同一目标节点在两个视图下的表示和构成正样本对,其他目标节点构成负样本,视图对比损失表示为:

31、

32、其中,表示目标节点数量,表示相似度函数,表示对比学习温度系数;为不同视图对设置可学习权重,总体跨视图对比损失为:

33、

34、引入结构邻域损失,对于第个语义视图,从其元路径诱导图中采样中心目标节点、语义邻近节点以及非邻近节点,使模型在表示空间中拉近与的距离,并拉远与的距离;该损失表示为:

35、

36、其中,表示节点表示之间的距离度量,表示间隔系数;结合各元路径视图的重要性权重,结构邻域损失表示为:

37、

38、设置半自适应结构损失门控,设表示由覆盖率、可达性、有效秩和平滑性正向质量信号得到的综合值,表示由过平滑风险、结构密度和路径重复程度负向质量信号得到的综合值,结构门控系数表示为:

39、

40、其中,表示数据集结构先验,表示质量调节强度;最终预训练目标函数为:

41、。

42、作为本发明所述的一种基于预训练与提示学习的异质图少样本节点分类方法的一种优选方案,其中,所述高效预训练版本的构建方法为,对于第条选中元路径,预先利用其归一化邻接矩阵对目标节点原始特征进行语义聚合,得到第个语义视图的预处理特征:

43、

44、其中,表示第个元路径语义视图下的预处理特征;随后,模型直接以作为该视图的输入,通过轻量编码函数得到视图表示:

45、

46、其中,表示第个语义视图对应的编码函数,表示其可学习参数;多个预处理视图仍然通过语义权重进行融合:

47、

48、其中,表示高效预处理版本得到的目标节点表示,表示第个语义视图的融合权重。

49、作为本发明所述的一种基于预训练与提示学习的异质图少样本节点分类方法的一种优选方案,其中,所述各类别基础原型的计算方法为,设已知标签节点集合为,其中表示第个已知标签节点,表示其类别标签,表示已知标签节点数量;设类别数为,第类对应的已知标签节点集合为:

50、

51、其中,表示类别的已知标签节点集合;基于预训练表示,节点的表示记为;类别的基础原型表示为:

52、

53、其中,表示类别的基础原型,表示归一化操作;基础原型反映了该类别已知标签节点在预训练表示空间中的中心位置。

54、作为本发明所述的一种基于预训练与提示学习的异质图少样本节点分类方法的一种优选方案,其中,所述对基础原型进行轻量修正的具体方法为,设残差提示函数为,类别的残差方向为:

55、

56、其中,表示类别的原型修正方向;使用可学习门控系数控制残差强度,提示后类别原型为:

57、

58、其中,表示提示后的类别原型,表示残差提示门控系数。

59、作为本发明所述的一种基于预训练与提示学习的异质图少样本节点分类方法的一种优选方案,其中,对于任一待分类目标节点,其属于类别的分类得分表示为:

60、

61、其中,表示节点属于类别的分类得分,表示节点的预训练表示,表示分类温度系数;最终预测类别为:

62、

63、其中,表示节点的预测类别;残差原型提示分类器通过已知标签节点上的交叉熵损失进行训练:

64、

65、其中,表示分类损失,表示节点在真实类别上的分类得分。

66、与现有技术相比,本发明具有的有益效果是:

67、第一,降低人工元路径设计成本。现有异质图学习方法通常需要研究人员根据具体数据集手工指定元路径,而本发明能够根据目标节点类型和异质图模式自动生成候选元路径,并通过无监督质量评价和冗余筛选机制确定有效语义路径,从而减少人工经验依赖,提高方法在不同异质图数据集上的通用性。

68、第二,提高目标节点表示与下游分类任务的匹配程度。本发明在预训练阶段同时考虑多语义视图之间的一致性和元路径诱导结构信息,使目标节点表示不仅能够保留异质图中的结构关系,还能够增强与类别判别相关的语义表达能力;在下游分类阶段,通过残差原型提示对由少量已知标签节点得到的类别原型进行轻量修正,使类别原型更适合标注样本有限条件下的目标节点分类任务。

69、第三,提高大规模异质图训练效率和可扩展性。本发明采用基于元路径语义的预处理机制,预先沿选定元路径聚合目标节点邻域信息,并缓存不同元路径对应的语义视图特征;在后续预训练和分类过程中,模型可直接利用预处理后的多语义视图特征进行编码、融合和分类,避免在每轮训练中重复执行完整的异质图邻域传播,从而降低显存占用和计算开销,提高方法在较大规模异质图数据集上的适用性。

70、第四,提高元路径选择过程和预训练过程的可解释性。本发明能够输出候选元路径的覆盖情况、结构密度、质量得分、冗余程度、有效秩以及最终选中结果,使研究人员能够了解模型选择特定语义路径的依据;同时,结构损失门控信息能够反映当前数据集中的结构信号是否适合参与预训练,有助于分析预训练过程中的语义贡献和结构影响。