基于关系表征图神经网络的异质图节点分类装置及方法

1.本发明涉及图表示学习技术领域，具体而言，涉及基于关系表征图神经网络的异质图节点分类装置及方法。


背景技术：

2.当前图神经网络已经在图表示学习领域展现了卓越的表示建模能力。进而图神经网络也被广泛应用到多样的下游应用中，例如社交网络分析，生物信息预测，交通预测，药品发现等。
3.然而，大部分传统的图神经网络的设计仅针对同质图，即该类型的图仅包含类型的节点和节点之间的关系，忽略了节点类型和关系类型的多样性。而异质图包含多种类型的节点或\和节点之间的关系，从而能够表示更加复杂的数据。所以异质图具有重要的研究和应用价值。目前，虽然国内外提出了多种异质图神经网络方法使图神经网络能够处理异质图，然而相比同质图神经网络，这些方法引入了很多额外的计算模块，因而使得模型变得非常复杂，具有很多的冗余计算。
4.为此提出基于关系表征图神经网络的异质图节点分类装置及方法，以解决上述问题。


技术实现要素：

5.本发明旨在提供基于关系表征图神经网络的异质图节点分类装置及方法，以解决或改善上述技术问题中的至少之一。
6.有鉴于此，本发明的第一方面在于提供基于关系表征图神经网络的异质图节点分类装置。
7.本发明的第二方面在于提供基于关系表征图神经网络的异质图节点分类方法
8.本发明的第一方面提供了基于关系表征图神经网络的异质图节点分类装置，包括：异质节点特征投影模块、异质关系表征模块、自链接关系表征模块、表征参数梯度放缩模块、同质图神经网络模块；所述异质节点特征投影模块用于将异质图所有的节点的原始特征投影到同一个特征空间；其中，对相同类型的节点采用同一个可学习的线性投影矩阵；所述异质关系表征模块用于为每个类型节点的关系采用一个可学习的参数变量表征节点类型的重要性，并通过一个解析函数为每种类型节点的关系产生一个非负的权重；所述自链接关系表征模块用于为每个节点添加自链接关系，并且根据节点的类型标明自链接关系的类型，采用一个可学习的参数变量表征自链接关系的重要性，并通过解析函数为每种类型的自链接产生一个非负的权重，得到一个异质图；所述表征参数梯度放缩模块用于引入梯度放缩因子，对自链接关系和关系的参数变量学习的尺度进行放缩，以保证自链接关系和关系的参数变量能够和图神经网络模块中的参数共同地被网络所学习；所述同质图神经网络模块用于使用同质图神经网络作为骨干网络，处理带有权重的同质图，进而完成异质图节点分类。
9.进一步的，所述异质节点特征投影模块将每个类型节点的原始特征线性投影到指定维度的特征空间。
10.具体的，所述指定维度在下述范围中选取：{16，64，128，256，512，1024}。
11.进一步的，所述同质图神经网络模块采用的同质图神经网络，包括图卷积网络或图注意力网络。
12.本发明的第二方面提供了基于关系表征图神经网络的异质图节点分类方法，包括如下步骤：s1:构建具有不同类型节点和关系的训练数据集的异质图；s2:将步骤s1中节点的特征，按照节点的类型，使用不同的线性变换矩阵投影至同一个维度的空间中，输出的同质节点的特征为x∈r
n*d
，其中n为节点的个数，d为投影后的空间维度；s3:将步骤s1中异质图内不同类型的关系进行赋权，为每一个类型的关系设置一个可学习的权重参数ei，ei∈r1表示第i类关系的重要性，用ai表示第i类关系的邻接矩阵；s4:根据步骤s3中设置的权重参数ei，计算每个类型的关系的权重τ(ei)，其中τ(
·
)为聚合权重的函数，设置τ为leakyrelu函数以保证权重的非负性；s5:为每个节点添加自链接关系，使用sj∈r1来表示第j类节点自链接关系的权重参数，ij表示第j类自链接关系的邻接矩阵；s6:根据步骤s5中设置的权重参数sj，计算每个类型的关系的权重τ(sj)，其中τ为leakyrelu函数；s7:对节点类型关系的权重参数ei和自链接关系的权重参数sj进行梯度放缩，以获得τ(αi)和τ(βj)；s8:根据步骤s7中得到的τ(αi)和τ(βj)，计算最终的邻接矩阵：其中是关系类型的集合，是节点类型的集合，赋权邻接矩阵；s9:根据步骤s2中得到的同质节点特征x和步骤s7中得到的赋权邻接矩阵通过同质图神经网络进行建模，并进行训练；s10:通过训练后的同质图神经网络对节点进行分类，将结果输出；其中，所述基于关系表征图神经网络的异质图节点分类方法通过如第一方面中任一项所述的基于关系表征图神经网络的异质图节点分类装置实现。
13.进一步的，所述s1的步骤，具体包括：s101：针对当前处理的任务，将不同类型的节点根据节点之间不同的关系构建异质图，并标注节点的类型和关系的类型；s102：将每个类型的节点根据常见规则提取相关信息作为节点的特征；
14.具体的，对于文献节点，常见规则采用bag of words(bow)方法提取特征。
15.进一步的，所述s7的步骤，具体包括：s701:引入预设的梯度放缩因子λ》0，以使关系的权重参数和图神经网络参数能够同时训练，将关系的权重参数ei进行放缩，使αi＝λei，然后将τ(αi)作为第i类节点类型关系的权重；s702:引入预设的梯度放缩因子λ》0，以使自链接关系的权重参数和图神经网络参数能够同时训练，将自链接关系的权重参数sj进行放缩，使βj＝λsj，然后将τ(βj)作为第j类自链接关系的权重；s703:每个类型关系的权重参数ei和自链接关系的权重参数sj初始化为使τ(αi)和τ(βj)均初始化为1，以保证权重初始化与未进行梯度放缩之前保持一致。
16.进一步的，所述s9的步骤，具体包括：s901:使用同质图神经网络，对步骤s2中得到的同质节点特征x和步骤s7中得到的赋权邻接矩阵进行建模，每层中间层特征为其中h
(0)
＝x，gnnlayer(
·
)为同质图神经网络；s902:
将步骤s901中得到的最后一层的h
(l)
表示为分类置信度，用于获得最后的分类结果；s903:根据损失函数对同质图神经网络进行训练。
17.进一步的，所述步骤s9中的同质图神经网络使用4层的同质图神经网络层；其中，当所述同质图神经网络为图卷积神经网络时，每个中间层具有64个神经元，或当所述同质图神经网络为图注意力网络时，每个中间层具有64个神经元以及4个注意力头。
18.进一步的，所述步骤s903中的损失函数为交叉熵损失函数，具体为：其中，为分类置信度，y为步骤s1获得的节点类别的标注，y＝{y1；y2；
…yn
}，n为节点的个数,yn表示第n个节点的标注，表示第n个节点的分类结果，1≤n≤n，1≤c≤c，具体的，n和c为哑变量，n用于枚举节点数，c用于枚举特征数，n和c为正整数。
19.本发明与现有技术相比所具有的有益效果：
20.通过将将不同类型的节点的原始特征投影到同一个特征空间，并对相同类型的节点采用同一个可学习的线性投影矩阵，使得关系表征图神经网络可以有效的使同质图神经网络处理具有更加复杂关系的异质图；
21.本发明设计的表征参数梯度放缩模块可以使不同类型的参数：关系表征参数和图神经网络参数，能够在同一个优化框架中均被优化至较佳的结果；
22.在梯度放缩之前，异质关系表征模块和自链接关系表征模块仅为每种类型的关系和自链接关系引入一个可学习的参数，使得本发明的设计方式简单有效，仅仅引入极少的参数，方法复杂度远低于主流异质图神经网络。
23.根据本发明的实施例的附加方面和优点将在下面的描述部分中变得明显，或通过根据本发明的实施例的实践了解到。
附图说明
24.附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制。
25.图1为本发明的基于关系表征图神经网络的异质图节点分类装置的结构图；
26.图2为本发明的基于关系表征图神经网络的异质图节点分类方法的示意图。
具体实施方式
27.为了可以更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
28.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
29.请参阅图1，本发明的第一方面提供了基于关系表征图神经网络的异质图节点分类装置，包括：异质节点特征投影模块、异质关系表征模块、自链接关系表征模块、表征参数梯度放缩模块、同质图神经网络模块；
30.所述异质节点特征投影模块用于将不同类型的节点的原始特征投影到同一个特
征空间；其中，对相同类型的节点采用同一个可学习的线性投影矩阵；
31.所述异质关系表征模块用于为每个类型节点的关系，采用一个可学习的参数变量表征节点类型的重要性，并通过一个解析函数为每种类型节点的关系产生一个非负的权重；
32.所述自链接关系表征模块用于为每个节点添加自链接关系，并且根据节点的类型标明自链接关系的类型，采用一个可学习的参数变量表征自链接关系的重要性，并通过解析函数为每种类型的自链接产生一个非负的权重；
33.所述表征参数梯度放缩模块用于引入梯度放缩因子，对自链接关系和关系的参数变量学习的尺度进行放缩，以保证自链接关系和关系的参数变量能够和图神经网络中的其他参数共同地被网络所学习；
34.所述同质图神经网络模块用于使用同质图神经网络作为骨干网络，处理带有权重的同质图，进而完成异质图节点分类。
35.进一步地，异质节点特征投影模块将每个类型的原始特征线性投影到指定维度的特征空间。
36.进一步地，异质关系表征模块和自链接关系表征模块仅为每种关系类型引入一个可学习的参数。
37.进一步地，同质图神经网络模块可以采用绝大部分主流同质图神经网络，例如图卷积网络、图注意力网络。
38.请参阅图2，本发明的第二方面提供了基于关系表征图神经网络的异质图节点分类方法，包括如下步骤：
39.s1:构建具有不同类型节点和关系的训练数据集的异质图；
40.s101：针对当前处理的任务，将不同类型的节点根据节点之间不同的关系构建异质图，并标注节点的类型和关系的类型；
41.s102：将每个类型的节点根据常见规则提取相关信息作为节点的特征。
42.s2:将步骤s1中节点的特征，按照节点的类型，使用不同的线性变换矩阵投影至同一个维度的空间中，输出的同质节点的特征为x∈r
n*d
，其中n为节点的个数，d为投影后的空间维度。
43.s3:将步骤s1中异质图内不同类型的关系进行赋权，为每一个类型的关系设置一个可学习的权重参数ei，ei∈r1表示第i类关系的重要性，用ai表示第i类关系的邻接矩阵。
44.s4:根据步骤s3中设置的权重参数ei，计算每个类型的关系的权重τ(ei)，其中τ(
·
)为聚合权重的函数，设置τ为leakyrelu函数以保证权重的非负性。
45.s5:为每个节点添加自链接关系，使用sj∈r1来表示第j类节点自链接关系的权重参数，ij表示第j类自链接关系的邻接矩阵。
46.s6:根据步骤s5中设置的权重参数sj，计算每个类型的关系的权重τ(sj)，其中τ为leakyrelu函数。
47.s7:对节点类型关系的权重参数ei和自链接关系的权重参数sj进行梯度放缩，以获得τ(αi)和τ(βj)；
48.进一步地，s701:引入预设的梯度放缩因子λ》0，以使关系的权重参数和图神经网络参数能够同时训练，将关系的权重参数ei进行放缩，使αi＝λei，然后将τ(αi)作为第i类节
点类型关系的权重；
49.s702:引入预设的梯度放缩因子λ》0，以使自链接关系的权重参数和图神经网络参数能够同时训练，将自链接关系的权重参数sj进行放缩，使βj＝λsj，然后将τ(βj)作为第j类自链接关系的权重；
50.s703:每个类型关系的权重参数ei和自链接关系的权重参数sj初始化为,使τ(αi)和τ(βj)均初始化为1，以保证权重初始化与未进行梯度放缩之前保持一致。
51.s8:根据步骤s7中得到的τ(αi)和τ(βj)，计算最终的邻接矩阵：其中是关系类型的集合，是节点类型的集合，赋权邻接矩阵。
52.s9:根据步骤s2中得到的同质节点特征x和步骤s7中得到的赋权邻接矩阵通过同质图神经网络进行建模，并进行训练；
53.进一步地，s901:使用同质图神经网络，对步骤s2中得到的同质节点特征x和步骤s7中得到的赋权邻接矩阵进行建模，每层中间层特征为其中h
(0)
＝x，gnnlayer(
·
)为同质图神经网络；
54.具体地，采用图卷积网络作为骨干网络，每层中间层特征为其中σ为非线性激活函数relu，是的归一化后的结果，具体来说，是的度数矩阵；
55.s902:将步骤s901中得到的最后一层的h
(l)
表示为分类置信度，用于获得最后的分类结果；
56.具体地，采用图卷积网络，为每个节点对于每个类别的置信度，根据置信度可得最终的节点分类结果，w是网络的参数，l是网络的层数；
57.s903:根据损失函数对同质图神经网络进行训练。
58.进一步地，同质图神经网络使用4层的同质图神经网络层；其中，当所述同质图神经网络为图卷积神经网络时，每个中间层具有64个神经元，或当所述同质图神经网络为图注意力网络时，每个中间层具有64个神经元以及4个注意力头。
59.进一步地，损失函数为交叉熵损失函数，具体为：进一步地，损失函数为交叉熵损失函数，具体为：其中，为步骤s902中输出的分类置信度，y为步骤s1获得的节点类别的标注，y＝{y1；y2；
…yn
}，n为节点的个数,yn表示第n个节点的标注，表示第n个节点的分类结果，1≤n≤n，1≤c≤c。
60.s10:通过训练后的同质图神经网络对节点进行分类，将结果输出。
61.实施例1
62.为了验证本发明的有效性和实用性，以acm作为验证数据集，acm是一个学术合作异质图，其包含3个类别的节点，包括作者(a)，文章(p)，主体(s)，其中a类型节点7167个，p类型节点4019个，s类型节点60个；包含3个类型的关系，包括文章与文章之间的引用关系，作者与文章之间的撰写关系，文章与主题之间的所属关系；目标是对文章领域的类别进行分类。依照步骤s2-步骤s9训练模型，使用adam作为模型的优化器，学习率设定为0.001，权重衰减系数设定为0.001，训练200次迭代，最终保存验证集评测指标最好的模型作为最终结果。最终结果显示，macro-f1指标为94.54，micro-f1指标为94.47，属于较好的结果，说明本发明有效可行。
63.在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
64.以上的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。