一种聚合高阶邻居节点的异构图神经网络计算方法与流程

1.本发明涉及神经网络计算的技术领域，特别涉及一种聚合高阶邻居节点的异构图神经网络计算方法。


背景技术：

2.图(graph)作为计算机数据结构中的一种基础结构，相对其他数据结构更加灵活，因此常被用来描述和建模较为复杂的系统。对图进行多角度、多层次的分析能够帮助用户更深入地了解数据背后所隐含的内容，从而使其可以作用于各业务场景的后续任务中，如节点分类、链接预测、节点相似度分析、节点推荐等。图嵌入(graph embedding)将图数据转换到一个低维空间，在这个空间中图的结构信息和属性被最大限度地保留，能够解决图数据难以高效输入机器学习算法的问题。
3.目前存在的图嵌入方法可分为两类，即浅层嵌入学习和图神经网络。node2vec是较为典型浅层嵌入学习方法。图神经网络的概念是由m gori等人首次提出的，该研究扩展了递归神经网络，使其应用于不规则的图数据，并做了进一步的阐述。随后，有大量关于图神经网络的研究出现。wu等人将现有的图神经网络分为四类，即递归图神经网络、卷积图神经网络、图自动编码器、时空图神经网络。但是，大多数图神经网络模型都是针对同构图的神经网络。
4.近年来，越来越多的研究开始专注于挖掘异构图中的丰富信息。异构图中不同类型的边隐含着不同的语义，而聚合语义信息对异构图嵌入来说至关重要。常见的探索不同语义的方法有元路径、元关系、元图等。hgt通过基于元关系三元组分解每条边，使模型在捕获不同关系之间的模式时所用的参数更少或相等。meta-gnn提出元图的概念，并以此定义目标节点在进行卷积时周围的感受野。由于在探索语义时受到元路径、元关系、元图等的限制，使得模型至多只能聚合目标节点一阶同类型邻居内所蕴含的信息。
5.池化操作在图像处理中展现出优越的能力，图池也随之发展起来。由于池化和上采样操作无法自然地使用到图数据上，gao等人提出gpool和gunpool，使编码器-解码器架构u-nets应用于图嵌入。reppool通过节点重要性和节点代表性这两个维度对图进行粗化，使得神经网络可以学习图的层次表示，并用于图分类任务上。kgcn-pl引入池化层得到邻居的差异化权值，实现知识图推荐。然而这些模型都是针对同构图的池化操作，很少有针对异构图的池化操作。


技术实现要素：

6.针对现有技术中存在的不足之处，本发明的目的是提供一种聚合高阶邻居节点的异构图神经网络计算方法，结合gcn生成了异构图高阶邻居节点中的复杂结构信息，实现了异构图节点在低维空间中的表示。为了实现根据本发明的上述目的和其他优点，提供了一种聚合高阶邻居节点的异构图神经网络计算方法，包括：
7.s1、引入目标节点基于元路径的k阶邻居子图；
8.s2、根据邻居节点在k阶邻居子图中出现的频率计算其重要性，与池化层中的节点代表性形成组合分数；
9.s3、通过该组合分数对k阶邻居子图进行下采样，并结合gcn学习目标节点的复杂结构特征；
10.s4、使用注意力机制与han学习到的低阶语义信息进行融合，得到节点的最终表示。
11.优选的，包括语义学习阶段、结构学习阶段及信息融合阶段，所述语义学习阶段通过元路径聚合目标节点直接邻居的han模型，han将注意力机制用在了节点级和语义级两方面，分别学习节点和元路径的重要性。
12.优选的，所述结构学习阶段包括：
13.s11、通过构造目标节点的子图，使gcn通过卷积子图来实现节点嵌入；
14.s12、池化层通过重要性分数与代表性分数形成的组合分数选择节点；
15.s13、完成节点选择后，将根据所选节点生成一个池化后的粗子图，对粗子图进行卷积操作学习到图中更高阶的信息；
16.s14、使用gcn对原始子图和粗化后的子图进行学习，进而使用max pool对卷积后的结果进行降维。
17.优选的，信息融合阶段包括将得到目标节点的语义和拓扑结构，使用注意力机制将两者进行融合。
18.优选的，通过给定异构图一条具体的元路径，构造出一个基于该元路径的子图的集合，所述集合中的一个子图被定义为通过元路径与目标节点相连的k阶邻居所组成的图。
19.优选的，不同的元路径构造出不同的集合，即所有节点分别基于所有元路径的子图的集合，且子图仅包括与目标节点类型相同的邻居节点。
20.本发明与现有技术相比，其有益效果是：
21.(1)提出了一种基于元路径的构造节点高阶邻居子图的方法，及面向异构图的池化层，结合gcn生成了异构图高阶邻居节点中的复杂结构信息。
22.(2)一种能够聚合高阶邻居节点中复杂结构信息的异构图嵌入计算的方法，实现了异构图节点在低维空间中的表示。
23.(3)提出了基于元路径的高阶邻居子图和面向异构图的池化层池化层，采用gcn学习复杂的结构信息；其次采用han学习基于元路径的语义信息；最后通过注意力机制得到节点的嵌入表示，实现了异构图嵌入目的。
附图说明
24.图1为根据本发明的聚合高阶邻居节点的异构图神经网络计算方法的整体框架图；
25.图2为根据本发明的聚合高阶邻居节点的异构图神经网络计算方法的生成子图的过程图；
26.图3为根据本发明的聚合高阶邻居节点的异构图神经网络计算方法的结构学习阶段框架图。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.参照图1-3，一种聚合高阶邻居节点的异构图神经网络计算方法，包括：s1、引入目标节点基于元路径的k阶邻居子图；
29.s2、根据邻居节点在k阶邻居子图中出现的频率计算其重要性，与池化层中的节点代表性形成组合分数；
30.s3、通过该组合分数对k阶邻居子图进行下采样，并结合gcn学习目标节点的复杂结构特征；
31.s4、使用注意力机制与han学习到的低阶语义信息进行融合，得到节点的最终表示。
32.进一步的，包括语义学习阶段、结构学习阶段及信息融合阶段，所述语义学习阶段通过元路径聚合目标节点直接邻居的han模型，han将注意力机制用在了节点级和语义级两方面，分别学习节点和元路径的重要性。
33.进一步的，所述结构学习阶段包括：
34.s11、通过构造目标节点的子图，使gcn通过卷积子图来实现节点嵌入，元路径能够很好地描述图的异构性，基于不同元路径的子图将具有不同的语义。不同语义对目标节点的影响可能不同，在考虑结构性的同时也要考虑到异构性。所以在预处理过程中首先根据元路径p生成节点vi的k阶邻居的子图该子图的节点集合为边集合为通过不同的元路径可以生成不同的子图其中l是元路径的个数。通过以下公式将这些子图合并成g
i-k
，即目标节点vi基于不同元路径的k阶邻居子图，
[0035][0036][0037]
其中，v
i-k
是g
i-k
中节点的集合，e
i-k
是g
i-k
中边的集合。由于g
i-k
是根据元路径所生成的子图，所以g
i-k
中的每一个节点类型与目标节点类型相同。根据子图g
i-k
可以轻易得到邻接矩阵a
i-k
，x
i-k
则在矩阵x中选取与v
i-k
对应的特征向量并组成新的矩阵；
[0038]
s12、池化层通过重要性分数与代表性分数形成的组合分数选择节点，节点重要性：对目标节点而言，需要引入一个全局分数来评估它的重要性。一般来说，如果某邻居节点在目标节点的各个语义情况下都有出现，那么这个节点所包含的信息对目标节点而言更重要。因此，在生成目标节点子图的同时，需要计算子图中各节点的重要性，一个节点在同一目标节点基于不同元路径所捕获到的邻居集合中出现过几次，就给该节点赋值几分。若vj仅在中出现过一次，则vj得1分；若vj在都出现过，则vj得l分。用sem(vi)来表示节点vj的语义代表性，则：
[0039][0040]
如果一个节点的语义代表性得分较高，且其邻居的语义代表性得分也很高，则意味着该节点包含更丰富的信息，更为重要。具体地说，公式(6)与公式(7)描述了k阶邻居子图中节点重要性的计算。节点vj的重要性得分sj为：
[0041][0042]
其中，n(vj)是节点vj的直接邻居，m(v
t
)的定义如下：
[0043][0044]
其中，x
t
是节点v
t
的输入特征，即特征矩阵x
i-k
的第t行。m∈rd是一个可学习的向量，将x
t
投影到m(v
t
)。
[0045]
b.节点代表性：由于仅根据重要性选择节点可能会使所选节点局限于子图中的某些子结构，而忽略其他子结构，但这些具有偏向性的信息聚合已经在语义学习部分完成了。因此除节点重要性分数外，为了学习到更高阶的结构特征，还需要代表性分数使选取的节点覆盖更多子结构，即选取那些远离已选节点的节点，以此保证能学习到子图中更丰富结构信息。
[0046]
在选择节点时需要对节点逐一进行选择。具体地说，假如已经选择了一组节点，其索引集表示为idx，则候选节点vj的代表性得分δj为：
[0047][0048]
其中，h(.)是测量vi于vj之间距离的函数，f(.)是定义vj与已选择的所有节点之间的距离函数。根据经验，将h(.)定义为vi于vj之间的最短路径，f(.)定义为vj与idx各节点的最小成对路径较为有效。因此，公式(9)可写作：
[0049][0050]
这使得越靠近已选节点的候选节点获得的代表性分数越低，而距离已选节点越远的候选节点获得的代表性分数越高。
[0051]
c.节点选择算法：通过结合节点重要性分数与代表性分数，可以得到节点选择的分数γj：
[0052]
γj＝g(sj,δj)
ꢀꢀꢀꢀꢀꢀꢀ
(10)
[0053]
其中，g(.)是组合重要性分数与代表性分数的函数，可以选择设置为线性组合、神经网络等。本专利设置γj＝sj*δj。
[0054]
在进行节点选择时，首先计算重要性分数sj，并选取重要性分数最高的节点作为初始选择节点，其索引存入idx集合。其次，计算其余节点对已选节点vi(i∈idx)而言的代表性分数δj。接下来，将重要性分数与代表性分数合并得到γj，选择γj最大的节点vj,并将其索引存入idx中。将上述过程重复(α-1)次，节点将以贪婪算法的思想逐一进行选择，最终
会得到包括初始选择节点在内共α个节点；
[0055]
s13、完成节点选择后，将根据所选节点生成一个池化后的粗子图，对粗子图进行卷积操作学习到图中更高阶的信息；
[0056]
s14、使用gcn对原始子图和粗化后的子图进行学习，进而使用max pool对卷积后的结果进行降维。
[0057]
进一步的，信息融合阶段包括将得到目标节点的语义和拓扑结构，使用注意力机制将两者进行融合。
[0058]
将最终的嵌入向量用于节点分类任务，并根据分类的结果对节点的嵌入向量表示进行训练，通过反向传播与早停法优化模型。
[0059]
进一步的，通过给定异构图一条具体的元路径，构造出一个基于该元路径的子图的集合，所述集合中的一个子图被定义为通过元路径与目标节点相连的k阶邻居所组成的图，不同的元路径构造出不同的集合，即所有节点分别基于所有元路径的子图的集合，且子图仅包括与目标节点类型相同的邻居节点，为了保证图的连通性，基于元路径的子图中包括目标节点vi自己，下文将k阶同类型邻居子图简称为k阶邻居子图。
[0060]
图2是生成目标节点vi的二阶邻居子图的过程，其中矩形表示类型为论文的节点，圆形表示类型为作者的节点；空心表示已被选择的节点，实心表示未被选择的节点。首先，目标节点vi基于元路径pap得到一阶邻居子图如图2(b)所示。令并通过元路径pap得到g'中各节点的一阶邻居子图那么，目标节点vi基于元路径的pap的二阶邻居子图，其实就是由vi,与共同组成的集合即如图2(c)所示。仅保留与目标节点同类型的邻居节点，最终得到基于元路径pap的二阶同类型邻居子图如图2(e)所示。
[0061]
根据以上定义，本专利所研究的问题是：给定一个异构图g＝(v,e)，其网络模式为tg(q,r)，且存在φ:v
→
q,ψ:e
→
r。p是在模式tg＝(q,r)上定义的所有元路径的集合，p是p中某一条具体的元路径。通过不同元路径得到各个节点的k阶子图的集合为g
sub.k
。a表示图g的邻接矩阵，可通过v,e得到，x∈r
n*h
表示图g的特征矩阵，其中n＝|v|，并假设每个节点都有h个特征。a
sub.k
表示节点基于元路径的k阶子图的邻接矩阵。那么，通过基于元路径的池化操作改进后的异构图嵌入可以表示为：
[0062]
z∈f(v,e,q,r,p,g
sub.k
,a
sub.k
,x)
ꢀꢀꢀꢀꢀꢀ
(2)
[0063]
其中，模型所得到的嵌入向量z∈r
n*d
，d是嵌入维度。
[0064]
这里说明的设备数量和处理规模是用来简化本发明的说明的，对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
[0065]
尽管本发明的实施方案已公开如上，但其并不仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。