图神经网络的拓扑结构设计方法和系统与流程

1.本公开总体来说涉及图神经网络设计领域，更具体地讲，涉及一种图神经网络的拓扑结构设计方法和系统。


背景技术：

2.图(graph)是现实世界和科学领域里非常普遍的一种数据模型，比如交通网络、社交网络、知识图谱和分子结构等，都可以建模成图。基于不同的图数据设计不同的神经网络，解决不同的任务，也就是图神经网络(graph neural network,gnn)研究的问题。现有的gnn的模型预测能力主要依赖聚合操作和拓扑结构这两个模块。现有的拓扑结构可以分位两大类：串行地堆叠聚合操作的深度图神经网络和并行地堆叠多个聚合操作的浅层图神经网络；前者会导致过平滑(over-smoothing)问题而后者在访问远端邻居信息的时候需要大量计算资源。


技术实现要素：

3.本公开提出一种图神经网络的拓扑结构设计方法和系统，用于至少解决上述问题，也可不解决上述问题。
4.根据本公开的一方面，提供一种图神经网络的拓扑结构设计方法，所述拓扑结构设计方法包括：获取图数据；将所述图数据输入有向无环的特征融合框架，其中，所述特征融合框架包括一个输入块、预定数量个有序的聚合块和一个输出块，其中，任意一个聚合块的输入包括所述输入块的输出和该聚合块之前的每个聚合块的输出，所述输出块的输入包括所述输入块的输出和所述预定数量个聚合块的输出；基于神经网络结构搜索，确定所述特征融合框架的特征选择策略和特征融合策略，其中，所述特征选择策略包括所述预定数量个聚合块和所述输出块的特征选择操作，所述特征融合策略包括所述预定数量个聚合块和所述输出块的特征融合操作；基于确定的所述特征选择策略和所述特征融合策略，获取自动化设计的所述拓扑结构。
5.可选地，所述图数据可包括学术网络图数据和/或商品网络图数据。
6.可选地，所述学术网络图数据的节点特征可包括基于论文关键词的词袋特征向量，所述学术网络图数据的边可表示论文之间的引用关系，以及，所述商品网络图数据的节点特征可包括基于商品属性的词袋特征向量，所述商品网络图数据的边可表示商品之间的共同购买关系。
7.可选地，所述输入块的操作可包括用于支持后续操作的预处理操作，所述聚合块的操作可包括一个特征融合操作、一个聚合操作和至少一个特征选择操作，所述输出块的操作可包括预定数量加一个特征选择操作和一个特征融合操作，其中，所述特征选择操作用于进行特征选择，所述特征融合操作用于整合特征选择的结果，所述聚合操作用于从邻居节点聚合信息。
8.可选地，所述基于神经网络结构搜索，确定所述特征融合框架的特征选择策略和
特征融合策略的步骤可包括：设置搜索空间，其中，所述搜索空间包括特征选择操作集和特征融合操作集；基于可微搜索算法，在所述搜索空间中对所述预定数量个聚合块和所述输出块的每个特征选择操作和特征融合操作进行搜索；基于搜索到的每个特征选择操作和特征融合操作，确定所述特征融合框架的特征选择策略和特征融合策略。
9.可选地，所述特征选择操作集可包括选择操作和不选操作，所述特征融合操作集可包括求和操作、平均值操作、最大值操作、最小值操作、串联操作、长短期记忆单元操作和注意力机制操作中的至少一个。
10.可选地，所述可微搜索算法可包括松弛函数，所述松弛函数用于将离散的特征选择操作松弛为连续的，从而得到有序的特征选择操作的结果，其中，所述松弛函数表示如下：
[0011][0012]
其中，|o|表示操作集中的操作数量，ck表示第k个操作的权重，αk表示与ck对应的可学习的参数，λ表示用于缓解优化间隔的温度参数。
[0013]
可选地，所述拓扑结构设计方法还可包括：基于神经网络结构搜索，确定所述特征融合框架的聚合操作策略，其中，所述聚合操作策略包括所述预定数量个聚合块的聚合操作；基于确定的所述聚合操作策略，获取自动化设计的所述聚合操作；基于自动化设计的所述拓扑结构和所述聚合操作，获取自动化设计的所述图神经网络。
[0014]
可选地，所述搜索空间还可包括聚合操作集，所述基于神经网络结构搜索，确定所述特征融合框架的聚合操作策略的步骤可包括：基于可微搜索算法，在所述搜索空间中对所述预定数量个聚合块的每个聚合操作进行搜索；基于搜索到的每个聚合操作，确定所述聚合操作策略。
[0015]
可选地，所述聚合操作集可包括基于图卷积网络的聚合操作、基于图注意力网络的聚合操作、基于图同构网络的聚合操作和基于图样本与聚合的聚合操作中的至少一个。
[0016]
可选地，所述拓扑结构设计方法还可包括：基于自动化设计的所述图神经网络，获取基于所述学术网络图数据的论文领域数据和/或基于所述商品网络图数据的商品种类数据。
[0017]
根据本公开的另一方面，提供一种图神经网络的拓扑结构设计系统，其中，所述拓扑结构设计系统包括：数据获取单元，被配置为获取图数据；统一框架单元，被配置为将所述图数据输入有向无环的特征融合框架，其中，所述特征融合框架包括一个输入块、预定数量个有序的聚合块和一个输出块，其中，任意一个聚合块的输入包括所述输入块的输出和该聚合块之前的每个聚合块的输出，所述输出块的输入包括所述输入块的输出和所述预定数量个聚合块的输出；策略选择单元，被配置为基于神经网络结构搜索，确定所述特征融合框架的特征选择策略和特征融合策略，其中，所述特征选择策略包括所述预定数量个聚合块和所述输出块的特征选择操作，所述特征融合策略包括所述预定数量个聚合块和所述输出块的特征融合操作；拓扑设计单元，被配置为基于确定的所述特征选择策略和所述特征融合策略，获取自动化设计的所述拓扑结构。
[0018]
可选地，所述图数据可包括学术网络图数据和/或商品网络图数据。
[0019]
可选地，所述学术网络图数据的节点特征可包括基于论文关键词的词袋特征向量，所述学术网络图数据的边可表示论文之间的引用关系，以及，所述商品网络图数据的节点特征可包括基于商品属性的词袋特征向量，所述商品网络图数据的边可表示商品之间的共同购买关系。
[0020]
可选地，所述输入块的操作可包括用于支持后续操作的预处理操作，所述聚合块的操作可包括一个特征融合操作、一个聚合操作和至少一个特征选择操作，所述输出块的操作可包括预定数量加一个特征选择操作和一个特征融合操作，其中，所述特征选择操作用于进行特征选择，所述特征融合操作用于整合特征选择的结果，所述聚合操作用于从邻居节点聚合信息。
[0021]
可选地，策略选择单元可被配置为：设置搜索空间，其中，所述搜索空间包括特征选择操作集和特征融合操作集；基于可微搜索算法，在所述搜索空间中对所述预定数量个聚合块和所述输出块的每个特征选择操作和特征融合操作进行搜索；基于搜索到的每个特征选择操作和特征融合操作，确定所述特征融合框架的特征选择策略和特征融合策略。
[0022]
可选地，所述特征选择操作集可包括选择操作和不选操作，所述特征融合操作集可包括求和操作、平均值操作、最大值操作、最小值操作、串联操作、长短期记忆单元操作和注意力机制操作中的至少一个。
[0023]
可选地，所述可微搜索算法可包括松弛函数，所述松弛函数用于将离散的特征选择操作松弛为连续的，从而得到有序的特征选择操作的结果，其中，所述松弛函数表示如下：
[0024][0025]
其中，|o|表示操作集中的操作数量，ck表示第k个操作的权重，αk表示与ck对应的可学习的参数，λ表示用于缓解优化间隔的温度参数。
[0026]
可选地，所述拓扑结构设计系统还可包括：聚合设计单元，被配置为：基于神经网络结构搜索，确定所述特征融合框架的聚合操作策略，其中，所述聚合操作策略包括所述预定数量个聚合块的聚合操作；基于确定的所述聚合操作策略，获取自动化设计的所述聚合操作；基于自动化设计的所述拓扑结构和所述聚合操作，获取自动化设计的所述图神经网络。
[0027]
可选地，所述搜索空间还可包括聚合操作集，聚合设计单元可被配置为：基于可微搜索算法，在所述搜索空间中对所述预定数量个聚合块的每个聚合操作进行搜索；基于搜索到的每个聚合操作，确定所述聚合操作策略。
[0028]
可选地，所述聚合操作集可包括基于图卷积网络的聚合操作、基于图注意力网络的聚合操作、基于图同构网络的聚合操作和基于图样本与聚合的聚合操作中的至少一个。
[0029]
可选地，所述拓扑结构设计系统还可包括：数据处理单元，被配置为：基于自动化设计的所述图神经网络，获取基于所述学术网络图数据的论文领域数据和/或基于所述商品网络图数据的商品种类数据。
[0030]
根据本公开的另一方面，提供一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计
neighborhood for graph neural network”和“graphnas:graph neural architecture search with reinforcement”提出的方法，多是基于堆叠聚合操作来设计gnn，不能完全涵盖现有的gnn方案；而论文“don’t stack layers in graph neural networks,wire them randomly”提出的方法只考虑了聚合操作之间的连接，无法完全描述gnn的拓扑结构。同时，通过对现有gnn模型进行对比，可以观测到，除了聚合函数设计的不同，特征选择和融合策略导致了gnn之间的主要差异。
[0043]
因此，本公开通过一个统一的特征融合框架来涵盖现有的拓扑结构设计方式，可以将现有的拓扑设计与特征选择和融合策略统一起来，从而将gnn的拓扑结构设计转化为特征选择和融合策略的选择。并且，本公开基于上述特征融合框架提出了一个基于神经网络结构搜索(neural architecture search，nas)的gnn拓扑结构设计方案，这个方案中包含有效的搜索空间(search space)和基于梯度下降的可微搜索算法(differentiable search algorithm)，可以在短时间内搜索到一个性能更好的gnn拓扑结构，从而自动化设计gnn的拓扑结构，在扬长避短的同时产生了性能更好的gnn，并在不同的数据集上超过了人类专家设计的最佳gnn的效果。
[0044]
同时，根据本公开的示例性实施例的图神经网络的拓扑结构设计方法和系统，可以在基于gnn的各类任务中得到应用，例如应用于节点分类、图分类、链路预测和知识图谱等任务中。
[0045]
下面参照图1至图5详细描述根据本公开的示例性实施例的图神经网络的拓扑结构设计方法和系统。
[0046]
图1是示出根据本公开的示例性实施例的图神经网络的拓扑结构设计方法的流程图。
[0047]
参照图1，在步骤s101中，可获取图数据。这里，图数据可包括学术网络图数据和/或商品网络图数据。具体地讲，图数据可表示为g＝(a,h)，其中可表示邻接矩阵，n可表示节点个数，可表示节点的特征矩阵,以及d可表示特征维度。更具体地讲，学术网络图数据的节点特征可包括基于论文关键词的词袋特征向量，学术网络图数据的边可表示论文之间的引用关系，以及，商品网络图数据的节点特征可包括基于商品属性的词袋特征向量，商品网络图数据的边可表示商品之间的共同购买关系。作为示例，在学术网络cora中，每个论文都被抽象成一个节点，节点的特征是根据论文中的关键词生成的词袋特征向量，节点之间的边代表了论文之间的引用关系，可以根据节点的特征和引用关系来判断该论文的领域；另外，在商品网络computer中，每个节点代表一种商品，节点的特征是根据商品属性生成的词袋特征向量，两个节点之间存在边，则代表这两个商品被共同购买过，可以根据商品属性和商品之间的购买特性来判断商品的种类。
[0048]
接下来，在步骤s102中，可将图数据输入有向无环的特征融合框架。这里，现有的拓扑结构包括堆叠聚合操作结构和多重聚合操作结构，可通过将现有的拓扑结构统一表示为一个特征融合框架，来涵盖堆叠聚合操作结构和多重聚合操作结构等现有的拓扑结构，从而将基于不同的特征选择和融合策略的拓扑设计统一起来，然后将面向学术网络或商品网络等实际应用中的图数据输入特征融合框架，并在此基础上进行拓扑结构的设计。在不失一般性的情况下，特征融合框架可表示为有向无环图(directed acyclic graph，dag)，
由有序的块序列构成。
[0049]
根据本公开的示例性实施例，特征融合框架可包括一个输入块、预定数量n个有序的聚合块和一个输出块。这里，任意一个聚合块的输入可包括输入块的输出和该聚合块之前的每个聚合块的输出，输出块的输入可包括输入块的输出和预定数量n个聚合块的输出。进一步讲，预定数量n可由本领域的技术人员根据实际情况来设置。
[0050]
根据本公开的示例性实施例，输入块的操作可包括用于支持后续操作的预处理操作，聚合块的操作可包括一个特征融合操作、一个聚合操作和至少一个特征选择操作，输出块的操作可包括预定数量加一(即n 1)个特征选择操作和一个特征融合操作。这里，特征选择操作可用于进行特征选择，特征融合操作可用于整合特征选择的结果，聚合操作可用于从邻居节点聚合信息，以及对于任意一个聚合块的特征选择操作的数量取决于该聚合块之前的聚合块的数量，具体地讲，在任意一个聚合块中，对于输入该聚合块的每个特征，各自执行一个特征选择操作，从而对每个特征都进行处理。进一步讲，输入块的预处理操作可通过多层感知器(multilayer perceptron，mlp)来实现；输出块也可通过mlp对n 1个特征选择操作和一个特征融合操作后的信息进行进一步的后处理操作，从而提高模型能力。下面参照图2详细描述根据本公开的示例性实施例的特征融合框架。
[0051]
图2是示出根据本公开的示例性实施例的特征融合框架的示意图。
[0052]
参照图2，特征融合框架可表示为一个dag，包括一个输入块、n个聚合块(作为示例，图2(a)统一框架中的n值为4)和一个输出块。输入块0可包括一个用于进行简单的预处理操作的mlp，以支持后续的各个块。聚合块包括特征选择操作、特征融合操作和聚合操作。对于图2(b)聚合块所示的聚合块i，针对之前的i个块的输出结果，可利用i个特征选择操作fs来进行处理。具体来讲，对于聚合块4，可以利用4个特征选择操作fs来对输入块0、聚合块1、聚合块2和聚合块3的输出结果进行处理。然后，可通过一个特征融合操作ff来整合特征选择的结果，随后可通过一个聚合操作fa从邻居聚合信息。另外，在输出块5中，可对输入块0、聚合块1、聚合块2、聚合块3和聚合块4的输出结果进行5个特征选择操作，随后进行一个特征融合操作，然后利用一个mlp对5个特征选择操作和一个特征融合操作后的信息进行进一步的后处理操作。在此基础上，可通过等式(1)来表示聚合块i的输出特征hi：
[0053][0054]
返回参照图1，在步骤s103中，可基于神经网络结构搜索，确定特征融合框架的特征选择策略和特征融合策略。这里，特征选择策略可包括输出块和预定数量个聚合块的特征选择操作，特征融合策略可包括输出块和预定数量个聚合块的特征融合操作。一般地，神经网络结构搜索方法是使用搜索算法在预定义的搜索空间中自动查找sota(state-of-the-art)神经网络。下面参照图3描述根据本公开的示例性实施例的图1的步骤s102。
[0055]
图3是示出根据本公开的示例性实施例的图1的步骤s102的流程图。
[0056]
参照图3，在步骤s301中，可设置搜索空间。这里，搜索空间可包括特征选择操作集os和特征融合操作集of。
[0057]
根据本公开的示例性实施例，特征选择操作集可包括选择操作和不选操作。具体地讲，选择操作可表示为identity，不选操作可表示为zero，并且，可通过等式(2)表示选择操作，以及通过等式(3)表示不选操作：
[0058]
f(h)＝h(2)
[0059]
f(h）＝0
·
h(3)
[0060]
这里，h可表示特征向量。
[0061]
根据本公开的示例性实施例，特征融合操作集可以但不限于包括求和操作、平均值操作、最大值操作、最小值操作、串联操作、长短期记忆单元操作和注意力机制操作中的至少一个，进一步地，特征融合操作集中的操作可由本领域的技术人员根据实际情况进行设置。具体地讲，求和操作可表示为sum，平均值操作可表示为mean，最大值操作可表示为max，最小值操作可表示为min，串联操作可表示为concat，长短期记忆单元操作可表示为lstm，以及注意力机制操作可表示为att。
[0062]
接下来，在步骤s302中，可基于可微搜索算法，在搜索空间中对预定数量个聚合块和输出块的每个特征选择操作和特征融合操作进行搜索。通过使用可微搜索算法，能够保证搜索的效率和有效性。
[0063]
根据本公开的示例性实施例，在可微搜索算法中，可定义超网(supernet)来包含在上述特征融合框架和搜索空间基础上的所有模型，并通过混合候选操作(mixingthecandidateoperations)来实现。混合候选操作的结果可通过将所有候选操作加权求和来计算，并且可通过等式(4)表示混合候选操作：
[0064][0065]
这里，x可表示进行混合候选操作的特征，ck∈(0,1)可表示第k个候选操作ok(
·
)的权重，|o|可表示操作集中的操作数量。一般地，操作权重ck可由一个松弛函数(relaxationfunction)来表示，可通过等式(5)表示松弛函数：
[0066][0067]
这里，αk可表示与ck对应的可学习超网参数(learnablesupernetparameter)。
[0068]
基于松弛函数，可以将离散的特征选择操作松弛为连续的，从而在输出块中逐步生成最终结果。在此基础上，可通过梯度下降来优化超网，从而大大加速搜索过程。在完成搜索过程后，可保留每个混合候选操作中权重最大的操作，从而最终可得到搜索到的gnn。
[0069]
尽管可以在搜索过程中优化超网，然后在搜索完成后推导出gnn，但是由于在搜索过程中优化了超网，而在最终只选择了子网(childnet)，因此很难从最佳超网中生成最佳子网，这称为优化间隔(optimizationgap)。具体地讲，由于特征选择操作集包括两个相反的操作，即zero和identity，因此在特征融合框架基础上的优化间隔导致的性能下降非常明显。
[0070]
一般地，对于块i生成的特征，块j(j》i)中混合选择操作的结果可以表示为zero和identity操作的加权求和。这里，混合选择操作可通过等式(6)来表示：
[0071][0072]
这里，可表示块j中对于块i生成的特征的混合选择操作，xi可表示由块i生成并在块j中进行混合选择操作的特征。
[0073]
接下来，块j中混合融合操作的结果可以通过等式(7)来表示：
[0074][0075]
这里，可表示块j中的第k个特征融合操作。
[0076]
一般地，当zero操作权重c1大于identity操作权重c2时，在子网中，对于等式(6)，预期通过zero操作得到一个zero张量(zero tensor)结果；同时，在等式(7)中，如果在块中没有特征被选择，那么也预期获得一个zero张量结果。然而，在超网中，对于等式(6)，zero操作的混合运算结果却是也就是说，在这种情况下，对于每个混合选择操作，当期望得到一个zero张量结果时，却实际得到了可见，在等式(6)中，identity操作对zero操作的影响很大，并且这种影响将随着特征融合框架中的特征选择操作的进行而不断累积。由于特征选择操作集包括两个相反的操作，即zero和identity，所以特征融合框架中的超网的结果和子网的结果之间的差距非常明显，并且由于这种差距而无法从最佳超网中推导出最佳子网，从而在特征融合框架基础上的优化间隔导致的性能下降非常明显。
[0077]
因此，考虑到identity操作的影响，可以在松弛函数中加入一个温度参数。具体地讲，可微搜索算法可包括松弛函数，松弛函数用于将离散的特征选择操作松弛为连续的，从而得到有序的特征选择操作的结果，这里，可通过等式(8)表示松弛函数：
[0078][0079]
这里，|o|可表示操作集中的操作数量，ck可表示第k个操作的权重，αk可表示与ck对应的可学习的参数，λ可表示用于缓解优化间隔的温度参数。
[0080]
通过在松弛函数中加入数值较小的λ,，操作权重向量c更接近于独热向量，并且对于等式(6)，当进行zero操作时，混合选择操作的结果更接近于zero张量。这里，λ的数值可以设置为0.001，也可由本领域的技术人员根据实际情况来设置。
[0081]
接下来，在步骤s303中，可基于搜索到的每个特征选择操作和特征融合操作，确定特征融合框架的特征选择策略和特征融合策略。
[0082]
返回参照图1，在步骤s104中，可基于确定的特征选择策略和特征融合策略，获取自动化设计的拓扑结构。进一步地，可对聚合操作进行选择，然后在每个聚合块中使用所选择的聚合操作，例如在每个聚合块中使用基于图样本与聚合(graph sample and aggregate，graphsage)的聚合操作，从而基于自动化设计的拓扑结构和所选择的聚合操作，得到一个全新设计的图神经网络。
[0083]
根据本公开的示例性实施例，如上所述的搜索空间还可包括聚合操作集oa。具体地讲，聚合操作集可以但不限于包括基于图卷积网络(graph convolution network，gcn)的聚合操作、基于图注意力网络(graph attention network，gat)的聚合操作、基于图同构网络(graph isomorphism network，gin)的聚合操作和基于graphsage的聚合操作中的至少一种，进一步地，聚合操作集中的操作可由本领域的技术人员根据实际情况进行设置。具体地讲，基于gcn的聚合操作可表示为gcn，基于gat的聚合操作可表示为gat，基于gin的聚合操作可表示为gin，以及基于graphsage的聚合操作可表示为sage。
[0084]
在此基础上，作为示例，还可基于神经网络结构搜索，确定特征融合框架的聚合操
作策略，这里，聚合操作策略包括预定数量个聚合块的聚合操作。具体地讲，可基于可微搜索算法，在搜索空间中对预定数量个聚合块的每个聚合操作进行搜索；然后，可基于搜索到的每个聚合操作，确定聚合操作策略。接下来，可基于确定的聚合操作策略，获取自动化设计的聚合操作。再接下来，可基于自动化设计的拓扑结构和聚合操作，获取自动化设计的图神经网络。
[0085]
根据本公开的示例性实施例，可基于自动化设计的图神经网络，获取基于学术网络图数据的论文领域数据和/或基于商品网络图数据的商品种类数据。
[0086]
根据本公开的示例性实施例的图神经网络的拓扑结构设计方法，能够自适应地利用不同层的特征，可以在享有现有的拓扑结构设计方式好处的同时弥补其不足，尤其是大大缓解了过平滑问题。
[0087]
图4是示出根据本公开的示例性实施例的图神经网络的拓扑结构设计系统的框图。
[0088]
参照图4，根据本公开的示例性实施例的图神经网络的拓扑结构设计系统400可包括数据获取单元401、统一框架单元402、策略选择单元403和拓扑设计单元404。
[0089]
数据获取单元401可获取图数据。这里，图数据可包括学术网络图数据和/或商品网络图数据。具体地讲，学术网络图数据的节点特征可包括基于论文关键词的词袋特征向量，学术网络图数据的边可表示论文之间的引用关系，以及，商品网络图数据的节点特征可包括基于商品属性的词袋特征向量，商品网络图数据的边可表示商品之间的共同购买关系。
[0090]
统一框架单元402可将图数据输入有向无环的特征融合框架。这里，特征融合框架可由有序的块序列构成，可包括一个输入块、预定数量n个有序的聚合块和一个输出块。进一步讲，任意一个聚合块的输入可包括输入块的输出和该聚合块之前的每个聚合块的输出，输出块的输入可包括输入块的输出和预定数量n个聚合块的输出。更进一步讲，预定数量n可由本领域的技术人员根据实际情况来设置。
[0091]
根据本公开的示例性实施例，输入块的操作可包括用于支持后续操作的预处理操作，聚合块的操作可包括一个特征融合操作、一个聚合操作和至少一个特征选择操作，输出块的操作可包括预定数量加一(即n 1)个特征选择操作和一个特征融合操作。这里，特征选择操作可用于进行特征选择，特征融合操作可用于整合特征选择的结果，聚合操作可用于从邻居节点聚合信息。
[0092]
策略选择单元403可基于神经网络结构搜索，确定特征融合框架的特征选择策略和特征融合策略。这里，特征选择策略可包括输出块和预定数量个聚合块的特征选择操作，特征融合策略可包括输出块和预定数量个聚合块的特征融合操作。
[0093]
根据本公开的示例性实施例，策略选择单元402可设置搜索空间。这里，搜索空间可包括特征选择操作集os和特征融合操作集of。进一步地，特征选择操作集可包括选择操作和不选操作。同时，特征融合操作集可以但不限于包括求和操作、平均值操作、最大值操作、最小值操作、串联操作、长短期记忆单元操作和注意力机制操作中的至少一个，更进一步地，特征融合操作集中的操作可由本领域的技术人员根据实际情况进行设置。
[0094]
根据本公开的示例性实施例，策略选择单元402可基于可微搜索算法，在搜索空间中对预定数量个聚合块和输出块的每个特征选择操作和特征融合操作进行搜索。这里，可
微搜索算法可包括松弛函数，松弛函数用于将离散的特征选择操作松弛为连续的，从而得到有序的特征选择操作的结果，进一步地，可通过如上所述的等式(8)表示松弛函数。
[0095]
根据本公开的示例性实施例，策略选择单元402可基于搜索到的每个特征选择操作和特征融合操作，确定特征融合框架的特征选择策略和特征融合策略。
[0096]
拓扑设计单元404可基于确定的特征选择策略和特征融合策略，获取自动化设计的拓扑结构。
[0097]
根据本公开的示例性实施例，如上所述的搜索空间还可包括聚合操作集oa。这里，聚合操作集可以但不限于包括基于gcn的聚合操作、基于gat的聚合操作、基于gin的聚合操作和基于graphsage的聚合操作中的至少一种，进一步地，聚合操作集中的操作可由本领域的技术人员根据实际情况进行设置。
[0098]
在此基础上，根据本公开的示例性实施例的图神经网络的拓扑结构设计系统400还可包括聚合设计单元和数据处理单元。
[0099]
根据本公开的示例性实施例，聚合设计单元可基于神经网络结构搜索，确定特征融合框架的聚合操作策略，这里，聚合操作策略包括预定数量个聚合块的聚合操作。具体地讲，聚合设计单元可基于可微搜索算法，在搜索空间中对预定数量个聚合块的每个聚合操作进行搜索；然后，聚合设计单元可基于搜索到的每个聚合操作，确定聚合操作策略。接下来，聚合设计单元可基于确定的聚合操作策略，获取自动化设计的聚合操作。再接下来，聚合设计单元可基于自动化设计的拓扑结构和聚合操作，获取自动化设计的图神经网络。
[0100]
根据本公开的示例性实施例，数据处理单元可基于自动化设计的所述图神经网络，获取基于所述学术网络图数据的论文领域数据和/或基于所述商品网络图数据的商品种类数据。
[0101]
根据本公开的示例性实施例的图神经网络的拓扑结构设计方法和系统，能够自适应地利用不同层的特征，不仅可以在获取更高级的特征的同时提取局部邻居信息，还可以在节约计算资源的基础上提升图神经网络的性能，尤其是大大缓解了过平滑问题。下面参照图5详细描述根据本公开的示例性实施例的模型性能提升效果。
[0102]
图5是示出根据本公开的示例性实施例的模型性能提升效果的示意图。
[0103]
参照图5，作为示例，“sage”部分的模型的聚合操作策略是使用基于graphsage的聚合操作；“gat”部分的模型的聚合操作策略是使用基于gat的聚合操作；“learnable”部分的模型的聚合操作策略是根据本公开的示例性实施例进行自动化设计的。另外，对于模型f2sage、f2gat和f2gnn，其拓扑结构是根据本公开的示例性实施例进行自动化设计的，而其他模型的拓扑结构均是现有设计的拓扑结构。如图所示，基于根据本公开的示例性实施例进行自动化设计的拓扑结构，对于学术网络cora、pubmed、dblp和physics以及商品网络computer来说，模型f2sage、f2gat和f2gnn取得了最优结果，在各自部分的性能对比中排名第一，且相比较于现有的gnn，准确率有至少2％的提升，且无需专家针对特征数据集设计gnn的结构，更省时省力；同时，根据本公开的示例性实施例进行拓扑结构自动化设计的gnn具有普适性，可以广泛应用于各种图数据中。此外，根据本公开的示例性实施例能够自动化设计gnn的拓扑结构，具有极佳的扩展性，可以很方便的应用到其他gnn能被应用的领域，并且在其他类型的图数据上，也能够取得好的效果提升。
[0104]
以上已参照图1至图5描述了根据本公开示例性实施例的图神经网络的拓扑结构
设计方法和系统。
[0105]
图4所示出的图神经网络的拓扑结构设计系统中的各个单元可被配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如，各个单元可对应于专用的集成电路，也可对应于纯粹的软件代码，还可对应于软件与硬件相结合的模块。此外，各个单元所实现的一个或多个功能也可由物理实体设备(例如，处理器、客户端或服务器等)中的组件来统一执行。
[0106]
此外，参照图1所描述的图神经网络的拓扑结构设计方法可通过记录在计算机可读存储介质上的程序(或指令)来实现。例如，根据本公开的示例性实施例，可提供存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行根据本公开的辅助人工文本标注的方法。
[0107]
上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，应注意，计算机程序还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理，这些附加步骤和进一步处理的内容已经在参照图1进行相关方法的描述过程中提及，因此这里为了避免重复将不再进行赘述。
[0108]
应注意，根据本公开示例性实施例的图神经网络的拓扑结构设计系统中的各个单元可完全依赖计算机程序的运行来实现相应的功能，即，各个单元在计算机程序的功能架构中与各步骤相应，使得整个系统通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。
[0109]
另一方面，图4所示的各个单元也可以通过硬件、软件、固件、中间件、微代码或其任意组合来实现。当以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得处理器可通过读取并运行相应的程序代码或者代码段来执行相应的操作。
[0110]
例如，本公开的示例性实施例还可以实现为计算装置，该计算装置包括存储部件和处理器，存储部件中存储有计算机可执行指令集合，当计算机可执行指令集合被处理器执行时，执行根据本公开的示例性实施例的图神经网络的拓扑结构设计方法。
[0111]
具体说来，计算装置可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点装置上。此外，计算装置可以是pc计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。
[0112]
这里，计算装置并非必须是单个的计算装置，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。计算装置还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。
[0113]
在计算装置中，处理器可包括中央处理器(cpu)、图形处理器(gpu)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
[0114]
根据本公开示例性实施例的图神经网络的拓扑结构设计方法中所描述的某些操作可通过软件方式来实现，某些操作可通过硬件方式来实现，此外，还可通过软硬件结合的方式来实现这些操作。
[0115]
处理器可运行存储在存储部件之一中的指令或代码，其中，存储部件还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
[0116]
存储部件可与处理器集成为一体，例如，将ram或闪存布置在集成电路微处理器等之内。此外，存储部件可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储部件和处理器可在操作上进行耦合，或者可例如通过i/o端口、网络连接等互相通信，使得处理器能够读取存储在存储部件中的文件。
[0117]
此外，计算装置还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。计算装置的所有组件可经由总线和/或网络而彼此连接。
[0118]
根据本公开示例性实施例的图神经网络的拓扑结构设计方法可被描述为各种互联或耦合的功能块或功能示图。然而，这些功能块或功能示图可被均等地集成为单个的逻辑装置或按照非确切的边界进行操作。
[0119]
因此，参照图1所描述的图神经网络的拓扑结构设计方法可通过包括至少一个计算装置和至少一个存储指令的存储装置的系统来实现。
[0120]
根据本公开的示例性实施例，至少一个计算装置是根据本公开示例性实施例的用于执行图神经网络的拓扑结构设计方法的计算装置，存储装置中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个计算装置执行时，执行参照图1所描述的图神经网络的拓扑结构设计方法。
[0121]
以上描述了本公开的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本公开不限于所披露的各示例性实施例。在不偏离本公开的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本公开的保护范围应该以权利要求的范围为准。