一种面向大规模异质异配图节点分类的关系结构蒸馏方法

本发明涉及图神经网络与知识蒸馏，尤其涉及一种面向大规模异质异配图节点分类的关系结构蒸馏方法及系统。

背景技术：

1、目前，异质图节点分类技术领域中，为处理包含多种类型节点和多种类型关系的图数据，现有技术提出了基于元路径、关系类型编码、类型感知聚合或异质图transformer的节点分类方案。该类方案通过区分不同节点类型和关系类型，对异质图中的多类型结构进行建模，能够在一定程度上提高节点分类模型对异质结构的表达能力。然而，上述异质图节点分类方案在大规模图场景下通常需要在线推理阶段访问目标节点的多跳邻居、执行邻居采样、维护多类型边索引，并进行复杂的注意力计算或关系级消息传递，带来较高的显存占用、计算开销和图数据访问成本。

2、为降低复杂模型部署成本，知识蒸馏技术被用于将教师模型的知识迁移到轻量学生模型中。现有蒸馏方法通常以教师模型输出的类别概率、logits或中间节点表示作为蒸馏信号，使学生模型学习教师模型的分类边界或表示空间。在异构图知识蒸馏领域，hire（high-order relational knowledge；liu j , zheng t , hao q .hire: distillinghigh-order relational knowledge from heterogeneous graph neural networks[j].neurocomputing, 2022.doi:10.48550/arxiv.2207.11887.以及cn115115862a）是首个在异构图上的高阶关系知识蒸馏框架。hire执行一阶节点级知识蒸馏（以教师hgnn的预测logits编码语义信息）和二阶关系级知识蒸馏（模仿教师hgnn生成的不同类型节点嵌入之间的关系相关性）。其学生模型以节点特征为输入，以教师模型的分类结果和关系相关性为蒸馏目标进行训练。

3、然而，上述异质图节点分类及知识蒸馏技术仍存在以下不足：

4、第一，图神经网络模型若采用统一邻居平滑或简单聚合方式，难以有效表达异配连接中的判别结构信息。在异配连接普遍存在的场景中，不同关系类型所承载的分类语义并不一致，简单的关系聚合或弱化关键关系结构可能导致目标节点分类结果不稳定。

5、第二，复杂异质图模型在大规模图场景下的在线推理依赖多跳邻居采样、大规模图结构访问和关系级计算，随着图规模、关系类型数量和采样邻居数量增加，推理延迟和系统部署难度显著上升。

6、第三，现有知识蒸馏方法用于异质异配图节点分类时，仅对齐分类输出或节点表示，难以明确约束学生模型学习各关系类型对目标节点分类的贡献。即便如hire等方案引入了关系级蒸馏，其关系级知识仍以蒸馏目标的形式存在，学生模型在推理阶段无法直接感知目标节点在各关系类型下的邻域分布信息。同时，上述方案未针对异配场景进行专门设计，其关系级知识定义基于“不同类型节点之间的相关性”，而非面向异配连接中“邻居标签不同”的特点。

技术实现思路

1、有鉴于此，本发明的目的在于提出一种面向大规模异质异配图节点分类的关系结构蒸馏方法，使模型既能够充分利用多类型关系和异配连接中的判别信息，又能够在在线推理阶段减少对多跳邻居采样、大规模图访问和复杂图神经网络计算的依赖，从而实现可部署的轻量化节点分类。

2、根据本发明的一个方面，提供一种面向大规模异质异配图节点分类的关系结构蒸馏方法，包括以下步骤：

3、获取异质图数据，所述异质图数据包括节点、边、节点属性、节点类型、关系类型以及目标节点标签；

4、以待分类节点作为目标节点，按照关系类型分别组织所述目标节点的邻域连接信息，构建目标节点样本；

5、训练异质图教师模型，所述教师模型用于对异质图中的节点属性和关系结构进行编码，输出教师节点表示；

6、根据所述目标节点在各关系类型下的邻域连接分布，生成关系结构摘要；

7、基于所述教师节点表示，计算所述目标节点与同一关系类型内邻居节点之间的表示差异能量，并按关系类型进行统计，生成关系结构目标；

8、构建轻量学生模型，所述轻量学生模型以所述目标节点的节点特征和所述关系结构摘要作为输入，输出节点分类结果和关系结构预测结果；

9、利用所述目标节点标签和所述关系结构目标，通过节点分类监督损失和关系结构蒸馏损失联合训练所述轻量学生模型；

10、在线推理阶段，获取待分类目标节点的节点特征和关系结构摘要，输入训练完成的所述轻量学生模型，输出节点分类结果；

11、所述训练异质图教师模型、生成关系结构摘要和关系结构目标、训练轻量学生模型在离线阶段执行；所述在线推理阶段与所述离线阶段分离，不依赖所述异质图教师模型和原始图结构访问。

12、在上述技术方案中，提供一种面向大规模异质异配图节点分类的关系结构蒸馏方法，通过获取异质图数据后，按照关系类型组织目标节点邻域信息，在离线阶段完成异质图教师模型训练、关系结构摘要与关系结构目标的生成、以及轻量学生模型的蒸馏训练，在线推理阶段以目标节点特征和关系结构摘要作为学生模型输入，输出节点分类结果，且在线阶段不依赖教师模型和原始图结构访问。

13、与最接近的现有技术hire相比，本权利要求的实质特点体现在三个方面。

14、其一，本方案将按关系类型统计的邻域连接分布作为关系结构摘要，直接作为学生模型的可输入特征，而hire的关系级知识仅以蒸馏目标形式存在。由此，学生模型在推理阶段即可感知各关系类型下的邻域分布信息，无需在在线阶段查询原始图结构。该区别使得在线推理的计算复杂度与图规模解耦，推理延迟不再随邻居跳数或关系类型数量增长。

15、其二，本方案基于教师节点表示计算目标节点与同一关系类型内邻居之间的表示差异能量，按关系类型统计生成关系结构目标，而hire的关系级蒸馏模仿的是不同类型节点嵌入之间的相关性。在异配场景中，目标节点与邻居在教师表示空间中的距离本身就反映了异配连接的判别强度——距离越大，异配信号越强。这一设计使蒸馏目标与异配场景的物理特性直接适配，相比相关性能量，差异能量对异配邻居的分类贡献具有更强的表征能力。

16、其三，本方案在离线阶段完成教师模型训练、摘要与目标生成以及学生模型训练后，在线阶段仅依赖节点特征和预计算的关系结构摘要完成推理，不依赖教师模型和原始图结构访问。hire等现有方案虽也有离线教师训练和在线学生推理的基本范式，但学生模型缺乏可直接感知关系结构信息的输入特征，在线阶段仍需以其他方式获取结构信息或依赖蒸馏过程中习得的知识，未实现对本方案不依赖原始图结构访问的完全解耦。本方案通过将关系结构信息预先编码为摘要特征并作为学生模型输入，使在线推理与原始图结构之间形成数据依赖隔离。

17、基于上述三点，本方案实现了复杂结构建模与在线高效推理的兼顾，其各特征之间相互配合——关系结构摘要提供输入层的关系信息载体，表示差异能量提供蒸馏层的适配异配场景的监督信号，离线-在线分离架构提供系统层的部署框架——形成了从结构学习到轻量推理的完整技术链路，该方法能够有效降低在线推理对大规模图存储访问和复杂图模型计算的依赖。

18、综上，本权利要求通过按关系类型组织邻域信息生成关系结构摘要作为学生模型输入，配合基于教师表示差异能量的关系结构目标进行联合蒸馏训练，并结合离线-在线分离的推理架构，有效解决了大规模异质异配图节点分类中复杂结构建模与在线推理效率难以兼顾的技术问题，在保持异质关系结构知识迁移效果的同时，实现了在线阶段对原始图结构和复杂教师模型的解耦。

19、在一些实施例中，所述关系结构摘要包括所述目标节点在各关系类型下的邻居数量统计量。

20、在上述技术方案中，进一步限定所述关系结构摘要具体包括目标节点在各关系类型下的邻居数量统计量。该统计量以数值化方式表征目标节点在各关系维度上的邻域连接分布，作为轻量学生模型的可输入特征。

21、与最接近的现有技术hire相比，本权利要求的实质特点在于：将“按关系类型统计的邻居数量”作为学生模型的输入特征，而非如hire及其后续工作（如hg2m、hgkd）中将结构信息仅作为蒸馏监督信号。这一形式转化带来的差异在于——学生模型在推理阶段无需访问原始图结构，即可直接感知目标节点在各关系类型下的邻域分布密度，例如在风险检测场景中，“登录”关系下有5个邻居设备、“转账”关系下有20个邻居账户，这些数量信息可直接输入学生模型参与分类决策。

22、该邻居数量统计量具备计算成本极低的特性——在线阶段仅需统计一跳邻居数量，不涉及多跳采样、注意力计算或图transformer前向传播。本方案将关系结构信息以统计量的形式预先编码并作为输入特征，使在线推理的图数据访问开销从o(多跳子图加载+关系级消息传递)降低为o(一跳邻居计数或缓存读取)。现有异质图知识蒸馏方案（hire、hg2m等）的学生模型在推理阶段均以节点特征为唯一输入，其学习到的结构知识以隐式方式存储在模型参数中，在线阶段无法显式感知目标节点在各关系类型下的邻域分布差异。本方案通过将上述统计量作为输入特征，使学生模型的分类决策可显式依赖关系级邻域分布信息，同时保持在线阶段与原始图结构的解耦。

23、在异配场景中，不同关系类型下的邻居数量本身就携带判别信息——某关系类型下邻居数量异常偏高或偏低，可能意味着该关系维度对分类具有不同贡献。本方案通过直接输入该统计量，使学生模型无需从隐层表示中重新提取该信息。

24、在一些实施例中，所述邻居数量统计量为各关系类型下邻居数量的对数计数。

25、在上述技术方案中，进一步限定所述邻居数量统计量为各关系类型下邻居数量的对数计数。该对数计数形式将目标节点在各关系类型下的原始邻居数量变换为，以压缩动态范围后的数值作为关系结构摘要的具体取值。

26、与最接近的现有技术hire相比，本权利要求的实质特点在于：将各关系类型下的邻居数量进行对数变换后作为摘要分量。该对数变换的技术意义在于——异质异配图中，不同关系类型下的节点度数分布通常呈现长尾特性，例如“转账”关系可能连接数百个邻居，而“共享设备”关系可能仅连接数个邻居。若不进行变换，大度数关系类型的摘要分量将主导学生模型输入，而小度数但可能具有强判别性的关系类型（如“登录”关系在风险检测中往往比“转账”关系更具判别力）对分类决策的贡献被相对稀释。

27、本方案采用形式，其中加1处理确保当=0时对数值为0，避免了数学上未定义的问题，同时使稀疏关系类型下的小度数变化在摘要中产生相对更大的贡献波动。例如，从1增至2时增量约为0.405，从100增至101时增量约为0.005——该变换使学生模型对稀疏但关键关系类型的邻域数量变化更为敏感，而对已高度连接的关系类型则保持一定的饱和性，使其不至于淹没其他关系维度的信号。

28、对数变换本身虽为本领域公知的数学操作，但将其应用于异质异配图关系结构摘要的生成，并以压缩长尾分布、平衡各关系类型对分类决策的贡献为目的，在现有异质图知识蒸馏文献中未见揭示。hire的学生模型无法直接输入任何形式的邻域数量信息，也不存在针对长尾分布的对数变换设计。

29、在一些实施例中，所述邻居数量统计量为各关系类型下邻居数量的归一化比例。

30、在上述技术方案中，进一步限定所述邻居数量统计量为各关系类型下邻居数量的归一化比例。该归一化比例形式将目标节点在各关系类型下的邻居数量进行归一化处理，即，使各关系类型对应的摘要分量之和为1（在可忽略时），以相对占比形式表征目标节点的邻域连接分布。

31、与前述的对数计数形式相比，本权利要求采用归一化比例作为统计量形式。归一化比例的实质在于：其表征的是目标节点在各关系类型上的连接密度相对分布，而非绝对数量。具体而言，其核心在于强调相对关系——当包含种关系类型时，归一化比例向量构成一个概率单纯形（，其物理含义是：目标节点在各关系维度上的连接倾向在整体连接行为中所占的份额。

32、归一化比例的技术优势体现为：其一，不同目标节点之间的摘要向量可直接进行余弦相似度或欧氏距离比较，不受各自总度数差异的影响，这使得学生模型在分类时能够识别“连接行为模式”的相似性，而非被绝对数量大小所主导；其二，归一化比例自带尺度不变性——在异配图中，两个目标节点的绝对邻居数量可能相差百倍（如活跃用户与潜水用户），但其关系类型分布模式（如80%的连接来自“登录”关系）可能高度相似，归一化比例能够捕获这种模式层面的相似性，而对数计数仍保留绝对数量信息，适用场景不同——对数计数适合需要保留数量级差异信息的场景，归一化比例适合需要强调关系分布模式的场景。

33、hire的学生模型以节点特征为唯一输入，hg2m的学生mlp同样仅以节点特征输入，其结构知识以蒸馏目标形式隐式存储于模型参数中，不存在将归一化比例显式作为输入特征的设计。该归一化比例与对数计数分别服务于不同场景需求——对数计数适用于“关系类型绝对连接强度”与分类相关度高的场景，归一化比例适用于“关系类型分布结构”与分类相关度高的场景。

34、在一些实施例中，所述表示差异能量为教师节点表示之间的范数距离。

35、在上述技术方案中，进一步限定所述表示差异能量为教师节点表示之间的范数距离。即对于目标节点和其同一关系类型内的邻居节点，表示差异能量具体定义为（欧氏距离的平方），以目标节点与邻居在教师表示空间中的几何距离度量二者之间的判别分离程度。

36、与最接近的现有技术hire相比，本权利要求的实质特点在于对“关系级知识”的定义方式的差异。hire的关系级蒸馏目标为“不同类型节点嵌入之间的相关性”（relationalcorrelation），其物理含义是度量两个节点表示在方向上的相似性——相关性越高，表示越相似；而本方案的表示差异能量为教师节点表示之间的范数距离，其物理含义是度量两个节点表示在空间中的绝对分离程度——距离越大，表示差异越大。

37、该差异在异配场景中具有实质性技术意义。在异配图中，相连节点往往属于不同类别，其教师表示在理想情况下应呈现分离状态——即异配邻居与目标节点在表示空间中的距离越大，意味着教师模型对该异配关系的判别信号捕捉越充分。范数距离直接量化了这一分离程度：距离越大，异配邻居携带的判别信息越强。相比之下，相关性度量的是方向一致性，在异配场景中，不同类别的节点表示在方向上可能并非完全正交，相关性难以有效区分“同配相似”与“异配相异”两种不同的结构语义。本方案采用范数距离作为表示差异能量的具体形式，使关系结构目标直接反映异配连接的判别强度——当同一关系类型下的邻居与目标节点在教师表示空间中的范数距离普遍较大时，表明该关系类型承载了较强的异配判别信号；反之则表明该关系类型的判别贡献较弱。

38、范数距离本身虽为本领域常用的相似性/差异性度量手段，但将其作为异质异配图关系级蒸馏目标的核心定义形式，并替代hire等现有方案中所采用的相关性度量，在现有异质图知识蒸馏文献中未见明确揭示。hire在定义关系级知识时明确选择了相关性路径而非距离路径，说明在该技术领域内存在多种可选的度量方式，本方案选择范数距离是出于对异配场景物理特性的适配考量——距离度量对应“分离程度”，与异配连接中“邻居标签不同”的特性匹配。

39、在一些实施例中，所述按关系类型进行统计包括：计算同一关系类型内所有邻居的表示差异能量的均值。

40、在上述技术方案中，进一步限定所述按关系类型进行统计包括计算同一关系类型内所有邻居的表示差异能量的均值。对于目标节点和关系类型，该统计量为，即以同一关系类型内所有邻居的表示差异能量的算术平均值，经对数变换后作为该关系类型对应的关系结构目标分量。

41、与最接近的现有技术hire相比，本权利要求的实质特点在于：hire的关系级蒸馏目标模仿的是不同类型节点嵌入之间的相关性——该统计量不涉及对同一类型关系内多个邻居的聚合统计；而本方案进一步限定了对同一关系类型内全部邻居的差异能量取均值。该均值统计量刻画的是目标节点与该关系类型下全体邻居之间差异程度的集中趋势——其物理含义为：该关系类型整体上对目标节点分类提供了多强的判别信号。

42、该设计的机制在于：在异配图中，同一关系类型下的不同邻居对目标节点的判别贡献可能存在差异，但个别强信号邻居的差异能量过高可能导致统计量不稳定。均值统计通过将同一关系类型内所有邻居的差异能量进行平均，消除了个体噪声和极端值的影响，使该关系类型的关系结构目标分量反映的是该关系维度的整体判别强度，而非受个别强信号邻居或噪声邻居主导。同时，对数变换压缩了均值的动态范围，使不同关系类型之间的目标分量在数值上具有可比性。

43、均值的核心贡献在于将关系级知识从节点对层面的差异能量汇总为关系类型层面的综合判别强度指标——这是一个从“微观”（逐对邻居）到“宏观”（按类型聚合）的信息抽象过程，使学生模型能够以关系类型为粒度学习教师模型的结构判别知识。

44、在一些实施例中，所述按关系类型进行统计包括：计算同一关系类型内所有邻居的表示差异能量的最大值。

45、在上述技术方案中，进一步限定：所述按关系类型进行统计包括计算同一关系类型内所有邻居的表示差异能量的最大值。对于目标节点和关系类型，该统计量为，即以同一关系类型内所有邻居中表示差异能量的最大值，经对数变换后作为该关系类型对应的关系结构目标分量。

46、与前述均值统计相比，本权利要求采用最大值作为统计量，二者在信息维度上存在区别。均值反映的是同一关系类型内全体邻居差异能量的集中趋势，而最大值捕获的是该关系类型内最具判别性的那个邻居所产生的峰值信号。在异配图节点分类场景中，同一关系类型下的不同邻居对目标节点的判别贡献往往并非均匀分布——可能存在少数“强异配”邻居（其表示与目标节点高度分离）承载了该关系维度的主要判别信息，而多数邻居的差异能量处于中等或较低水平。在此情况下，均值统计可能因大量低差异能量邻居的稀释而弱化该关系类型的判别信号强度，而最大值统计能够直接捕获该峰值信号，使蒸馏目标更敏锐地反映关系类型内最具判别力的结构信息。

47、最大值与均值的互补性体现在：当关系类型内邻居的判别贡献较为均匀时，均值能够稳定反映整体水平，最大值可能因单个离群值而产生偏差；当关系类型内存在少数高判别力邻居时，最大值能够捕捉峰值信号，均值可能因稀释效应而低估该关系类型的判别强度。两者服务于不同的应用场景——均值适用于邻居贡献分布较为均匀的情形，最大值适用于少数强信号邻居主导判别的情形——本领域技术人员在实际实施时可根据数据分布特征选择适配的统计方式，或在不同阶段分别使用。

48、根据本发明的另一个方面，提供一种面向大规模异质异配图节点分类的关系结构蒸馏系统，基于上述方法，包括：

49、数据处理模块，用于获取异质图数据，所述异质图数据包括节点、边、节点属性、节点类型、关系类型以及目标节点标签；

50、目标节点构建模块，用于以待分类节点作为目标节点，按照关系类型分别组织所述目标节点的邻域连接信息，构建目标节点样本；

51、教师结构学习模块，用于训练异质图教师模型，所述教师模型用于对异质图中的节点属性和关系结构进行编码，输出教师节点表示；

52、关系结构知识生成模块，用于根据所述目标节点在各关系类型下的邻域连接分布生成关系结构摘要，以及基于所述教师节点表示计算所述目标节点与同一关系类型内邻居节点之间的表示差异能量并按关系类型统计生成关系结构目标；

53、学生蒸馏训练模块，用于构建轻量学生模型，所述轻量学生模型以所述目标节点的节点特征和所述关系结构摘要作为输入，输出节点分类结果和关系结构预测结果，并利用所述目标节点标签和所述关系结构目标，通过节点分类监督损失和关系结构蒸馏损失联合训练所述轻量学生模型；

54、在线节点分类模块，用于在推理阶段，获取待分类目标节点的节点特征和关系结构摘要，输入训练完成的所述轻量学生模型，输出节点分类结果；

55、所述教师结构学习模块、所述关系结构知识生成模块和所述学生蒸馏训练模块部署于离线阶段，所述在线节点分类模块部署于在线阶段；所述关系结构知识生成模块生成的关系结构摘要被缓存以供所述在线节点分类模块调用。

56、在上述技术方案中，为了更好的使用上述方法，本技术提出一种面向大规模异质异配图节点分类的关系结构蒸馏系统，各个模块对应上述方法的各个步骤，其具体的原理已在上文中描述，此处不再赘述。

57、根据本发明的又一个方面，提供一种面向大规模异质异配图节点分类的关系结构蒸馏设备，包括：

58、至少一个处理器以及与所述至少一个处理器通信连接的存储器；

59、其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。

60、在上述技术方案中，为了更好的运行和处理该方法，将上述方法存储至存储器，并利用处理器来执行存储的方法。需要注意的是，每个步骤的原理和效果已在上文描述，此处不再展开说明。

61、根据本发明的再一个方面，提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

62、在上述技术方案中，为了更好的运行和使用该方法，将上述方法存储至计算机可读存储介质，并利用处理器来实现上述方法。需要注意的是，每个步骤的原理和效果已在上文描述，此处不再展开说明。