图神经网络结构搜索方法和系统与流程

1.本技术涉及图神经网络技术，更具体地讲，涉及一种图神经网络结构搜索方法和系统。


背景技术：

2.在现实生活领域和科学研究领域中，通常可利用图(graph)来表示数据。例如，利用图来表示交通网络，利用图来表示社交网络，利用图来表示知识图谱，利用图来表示分子结构等。图可包括图节点和边，其中，边表示两个或更多个图节点之间的关系。基于图设计不同的神经网络，解决不同的任务，这是图神经网络(graph neural network，gnn)研究的问题。基于图神经网络的机器学习模型可称为图神经网络模型。现有的图神经网络模型大多采用了一种邻居聚合的框架，通过聚合邻居图节点的特征来学习当前图节点的表达，并将其作为特征来解决各种任务。
3.现有的图神经网络模型通常由专家根据经验来设计，例如，给定不同的任务，专家根据经验来设计图神经网络模型的初始网络结构，并且在执行机器学习任务时，还需要专家基于数据进行训练和调优，以得到最佳图神经网络模型。由于专家的经验是有限的，因此由经验有限的专家来设计的图神经网络模型也是有限的。此外，不同场景下的最优网络结构不相同且对应参数也不相同，因此，这种有限的图神经网络模型只能适用于有限的应用场景。
4.由此可见，如何自动搜索最优图神经网络结构已经成为一个非常重要的问题。


技术实现要素：

5.根据本公开的示例性实施例，提供了一种图神经网络结构搜索方法，所述方法包括：针对特定图数据集，在针对图神经网络模型的结构搜索空间中搜索最优图神经网络结构；基于所述特定图数据集，对具有所述最优图神经网络结构的图神经网络模型进行训练；以及利用经过训练的图神经网络模型获得所述特定图数据集的各个图节点的嵌入表示，其中，所述结构搜索空间由节点聚合算子、层聚合算子以及跳跃连接聚合算子构建，其中，图神经网络结构包括输入层、一个或更多个中间层、与所述一个或更多个中间层中的至少一个中间层跳跃连接的连接层、以及输出层，所述输入层与所述一个或更多个中间层中的第一个中间层连接，所述连接层位于所述一个或更多个中间层中的最后一个中间层与输出层之间，其中，中间层的运算函数对应于节点聚合算子，连接层的运算函数对应于跳跃连接聚合算子，并且输出层的运算函数对应于层聚合算子。
6.搜索最优图神经网络结构的步骤还可包括：对所述特定图数据集进行采样以获得子图数据集，其中，所述最优图神经网络结构是针对所述子图数据集的结构。
7.搜索最优图神经网络结构的步骤可包括：将从以下表达式(1)确定的最佳图神经网络结构α
*
确定为最优图神经网络结构：
8.9.其中，a表示针对图神经网络模型的结构搜索空间，α表示属于所述结构搜索空间的图神经网络结构，w表示图神经网络模型的模型参数集合，是训练损失函数并指示使用训练数据集对基于模型参数集合w和结构α的图神经网络模型进行模型训练所获得的损失，是验证损失函数并指示使用验证数据集对基于模型参数集合w
*
和结构α的图神经网络模型进行验证所获得的损失，w
*
是基于结构α使最小的图神经网络模型的模型参数集合，α
*
是基于模型参数集合w
*
使最小的图神经网络结构。所述训练数据集和所述验证数据集可以是所述特定图数据集的子数据集。
10.可使用强化学习算法来从表达式(1)确定最佳图神经网络结构。
11.使用强化学习算法确定最佳图神经网络结构的步骤可包括：对所述结构搜索空间中的各个图神经网络结构进行概率化以获得按照概率分布控制参数被参数化的结构分布；通过对所述结构分布进行训练来确定与在验证数据集上具有最高期望验证准确度的结构对应的最优概率分布控制参数，并确定按照最优概率分布控制参数而被参数化的最优结构分布；基于最优结构分布获得多个候选图神经网络结构；对分别具有所述多个候选图神经网络结构的多个候选图神经网络模型进行训练来确定最佳图神经网络结构。
12.确定最优概率分布控制参数的步骤可包括：确定初始概率分布控制参数；对所述初始概率分布控制参数进行至少一次迭代更新操作，并将最终更新得到的概率分布控制参数确定为最优概率分布控制参数，其中，每次迭代更新操作包括以下步骤：基于按照当前概率分布控制参数被参数化的结构分布，从所述结构搜索空间采样获得当前图神经网络结构；使用训练数据集对具有当前图神经网络结构的图神经网络模型进行训练，并获得经过训练的图神经网络模型在验证数据集上的验证准确度；基于所述验证准确度来更新所述当前概率分布控制参数。
13.基于所述验证准确度来更新所述当前概率分布控制参数的步骤可包括：基于所述验证准确度，按照基于策略梯度算法确定的梯度来更新所述当前概率分布控制参数。
14.所述梯度可由以下表达式(2)表示：
[0015][0016]
其中，表示所述梯度，θc指示当前概率分布控制参数，p(α；θc)表示按照当前概率分布控制参数θc被参数化的结构分布，指示所述验证准确度，指示验证数据集上的期望验证准确度，g指示从所述结构搜索空间采样获得的针对当前图神经网络结构的运算动作的数量，每个运算动作指示对应层的聚合算子，αs指示第s个运算动作，α
1：s-1
指示第1个运算动作至第s-1个运算动作的集合。
[0017]
所述梯度可由以下表达式(3)表示：
[0018][0019]
其中，表示所述梯度，θc指示当前概率分布控制参数，p(α；θc)表示按照当前概率分布控制参数θc被参数化的结构分布，m指示在迭代更新操作中从所述结构搜索空间采样获得的当前图神经网络结构的数量，b表示先前图神经网络结构的验证准确度的指数移动平均，指示第k个当前图神经网络结构的验证准确度，g指示从所述结构搜索空间采样获得的针对对应当前图神经网络结构的运算动作的数量，每个运算动作指示对应层的聚合算子，αs指示第s个运算动作，α
1：s-1
指示第1个运算动作至第s-1个运算动作的集合，其中，g、s、m和k为正整数。
[0020]
确定最优概率分布控制参数的步骤还可包括：在采样获得当前图神经网络结构之后，加载并使用先前存储的针对在当前图神经网络结构中使用的聚合算子的参数；以及在使用训练数据集对具有当前图神经网络结构的图神经网络模型进行训练之后，更新并保存针对当前图神经网络结构训练获得的所有聚合算子的参数。
[0021]
所述特定图数据集可以是针对以下场景中的至少一个场景的图数据集：金融反欺诈场景、商品推荐场景、以及社交网络分析场景，其中，在金融反欺诈场景下，所述特定图数据集包括用户转账数据集，该数据集的对应标签集中的标签表示是否存在欺诈用户或是否存在欺诈交易，其中，在商品推荐场景下，所述特定图数据集包括用户针对商品的行为数据集，该数据集的对应标签集中的标签表示用户与商品之间是否存在关联，其中，在社交网络分析场景下，所述特定图数据集包括用户之间的行为数据集，该数据集的对应标签集中的标签表示用户之间是否存在关联。
[0022]
根据本发明的另一示例性实施例，提供了一种图神经网络结构搜索系统，所述系统包括：搜索装置，被配置为针对特定图数据集，在针对图神经网络模型的结构搜索空间中搜索最优图神经网络结构；训练装置，被配置为基于所述特定图数据集，对具有所述最优图神经网络结构的图神经网络模型进行训练；以及处理装置，被配置为利用经过训练的图神经网络模型获得所述特定图数据集的各个图节点的嵌入表示，其中，所述结构搜索空间由节点聚合算子、层聚合算子以及跳跃连接聚合算子构建，其中，图神经网络结构包括输入层、一个或更多个中间层、与所述一个或更多个中间层中的至少一个中间层跳跃连接的连接层、以及输出层，所述输入层与所述一个或更多个中间层中的第一个中间层连接，所述连接层位于所述一个或更多个中间层中的最后一个中间层与输出层之间，其中，中间层的运算函数对应于节点聚合算子，连接层的运算函数对应于跳跃连接聚合算子，并且输出层的运算函数对应于层聚合算子。
[0023]
搜索装置还可被配置为：对所述特定图数据集进行采样以获得子图数据集，其中，所述最优图神经网络结构是针对所述子图数据集的结构。
[0024]
搜索装置还被配置为将从以下表达式(1)确定的最佳图神经网络结构α
*
确定为最优图神经网络结构：
[0025]
[0026]
其中，a表示针对图神经网络模型的结构搜索空间，α表示属于所述结构搜索空间的图神经网络结构，w表示图神经网络模型的模型参数集合，是训练损失函数并指示使用训练数据集对基于模型参数集合w和结构α的图神经网络模型进行模型训练所获得的损失，是验证损失函数并指示使用验证数据集对基于模型参数集合w
*
和结构α的图神经网络模型进行验证所获得的损失，w
*
是基于结构α使最小的图神经网络模型的模型参数集合，α
*
是基于模型参数集合w
*
使最小的图神经网络结构。所述训练数据集和所述验证数据集可以是所述特定图数据集的子数据集。
[0027]
搜索装置可被配置为使用强化学习算法来从表达式(1)确定最佳图神经网络结构。
[0028]
搜索装置可被配置为通过以下操作来使用强化学习算法确定最佳图神经网络结构：对所述结构搜索空间中的各个图神经网络结构进行概率化以获得按照概率分布控制参数被参数化的结构分布；通过对所述结构分布进行训练来确定与在验证数据集上具有最高期望验证准确度的结构对应的最优概率分布控制参数，并确定按照最优概率分布控制参数而被参数化的最优结构分布；基于最优结构分布获得多个候选图神经网络结构；对分别具有所述多个候选图神经网络结构的多个候选图神经网络模型进行训练来确定最佳图神经网络结构。
[0029]
搜索装置可被配置为通过以下操作来确定最优概率分布控制参数：确定初始概率分布控制参数；对所述初始概率分布控制参数进行至少一次迭代更新操作，并将最终更新得到的概率分布控制参数确定为最优概率分布控制参数，其中，每次迭代更新操作包括以下步骤：基于按照当前概率分布控制参数被参数化的结构分布，从所述结构搜索空间采样获得当前图神经网络结构；使用训练数据集对具有当前图神经网络结构的图神经网络模型进行训练，并获得经过训练的图神经网络模型在验证数据集上的验证准确度；基于所述验证准确度来更新所述当前概率分布控制参数。
[0030]
搜索装置可被配置为基于所述验证准确度，按照基于策略梯度算法确定的梯度来更新所述当前概率分布控制参数。
[0031]
所述梯度可由以下表达式(2)表示：
[0032][0033]
其中，表示所述梯度，θc指示当前概率分布控制参数，表示按照当前概率分布控制参数θc被参数化的结构分布，指示所述验证准确度，指示验证数据集上的期望验证准确度，g指示从所述结构搜索空间采样获得的针对当前图神经网络结构的运算动作的数量，每个运算动作指示对应层的聚合算子，αs指示第s个运算动作，α
1：s-1
指示第1个运算动作至第s-1个运算动作的集合。
[0034]
所述梯度可由以下表达式(3)表示：
[0035][0036]
其中，表示所述梯度，θc指示当前概率分布控制参数，表示按照当前概率分布控制参数θc被参数化的结构分布，m指示在迭代更新操作中从所述结构搜索空间采样获得的当前图神经网络结构的数量，b表示先前图神经网络结构的验证准确度的指数移动平均，指示第k个当前图神经网络结构的验证准确度，g指示从所述结构搜索空间采样获得的针对对应当前图神经网络结构的运算动作的数量，每个运算动作指示对应层的聚合算子，αs指示第s个运算动作，α
1：s-1
指示第1个运算动作至第s-1个运算动作的集合，其中，g、s、m和k为正整数。
[0037]
搜索装置还可被配置为：在采样获得当前图神经网络结构之后，加载并使用先前存储的针对在当前图神经网络结构中使用的聚合算子的参数；以及在使用训练数据集对具有当前图神经网络结构的图神经网络模型进行训练之后，更新并保存针对当前图神经网络结构训练获得的所有聚合算子的参数。
[0038]
所述特定图数据集可以是针对以下场景中的至少一个场景的图数据集：金融反欺诈场景、商品推荐场景、以及社交网络分析场景，其中，在金融反欺诈场景下，所述特定图数据集可包括用户转账数据集，该数据集的对应标签集中的标签表示是否存在欺诈用户或是否存在欺诈交易，其中，在商品推荐场景下，所述特定图数据集可包括用户针对商品的行为数据集，该数据集的对应标签集中的标签表示用户与商品之间是否存在关联，其中，在社交网络分析场景下，所述特定图数据集可包括用户之间的行为数据集，该数据集的对应标签集中的标签表示用户之间是否存在关联。
[0039]
根据本发明的另一示例性实施例，一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如前述图神经网络结构搜索方法。
[0040]
根据本发明的另一示例性实施例，一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行前述图神经网络结构搜索方法。
[0041]
有益效果
[0042]
通过应用根据本发明的示例性实施例的图神经网络结构搜索方法和系统，能够有效地优化结构搜索空间，使得该结构搜索空间变得简单但是表现力不减，并且不仅包含经典gnn模型结构，还能够针对特定数据任务发现全新的更适合的gnn结构。
[0043]
此外，根据本发明的示例性实施例的图神经网络结构搜索方法和系统无需人力投入，而是能够基于上述结构搜索空间，针对特定数据任务自动搜索出具有良好表现的相应gnn结构，并且还能够进一步通过权重共享机制来加速搜索过程。
附图说明
[0044]
从下面结合附图对本公开实施例的详细描述中，本公开的这些和/或其他方面和
优点将变得更加清楚并更容易理解，其中：
[0045]
图1是示出根据本公开的示例性实施例的图神经网络结构搜索系统的框图；
[0046]
图2是示出根据本发明的示例性实施例的图神经网络结构的示例；
[0047]
图3是示出根据本公开的示例性实施例的图神经网络结构搜索方法的流程图。
[0048]
在整个附图中，应注意，相同的参考标号用于表示相同或相似的元件、特征和结构。
具体实施方式
[0049]
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明的示例性实施例作进一步详细说明。
[0050]
图1是示出根据本公开的示例性实施例的图神经网络结构搜索系统100的框图。
[0051]
参照图1，根据本公开的示例性实施例的图神经网络结构搜索系统100可包括搜索装置110、训练装置120以及处理装置130。
[0052]
根据本发明的示例性实施例的搜索装置110可针对特定数据任务(例如，特定图数据集)，在针对图神经网络模型的结构搜索空间中搜索最优图神经网络结构，从而相应地确定针对该特定数据任务的最优图神经网络模型。在本发明的示例性实施例中，所述结构搜索空间可由节点聚合算子、层聚合算子以及跳跃连接聚合算子构建而成。所述节点聚合算子关注于如何对邻居图节点的特征进行聚合，所述层聚合算子关注于要使用的邻居图节点的范围。
[0053]
此外，根据本发明的示例性实施例的图神经网络结构可包括输入层、一个或更多个中间层、与所述一个或更多个中间层中的至少一个中间层跳跃连接的连接层、以及输出层。所述输入层可与所述一个或更多个中间层中的第一个中间层连接，所述连接层可位于所述一个或更多个中间层中的最后一个中间层与输出层之间。此外，中间层的运算函数可对应于节点聚合算子，连接层的运算函数可对应于跳跃连接聚合算子，并且输出层的运算函数可对应于层聚合算子。输入层的输入可以是所述特定图数据集中的当前图节点和邻居图节点的相关特征，输出层的输出可以是当前图节点的特征表示(即，嵌入表示)。
[0054]
这里，为便于理解，下面参照图2对图神经网络结构进行解释。
[0055]
图2是示出根据本发明的示例性实施例的图神经网络结构的示例。图2示出了使用2层gnn作为主干的图神经网络结构。
[0056]
如图2中所示，h0、h1、h2、h3、h0分别是输入层、第一中间层、第二中间层、连接层以及输出层。然而，应该理解，图2中所示的图神经网络结构仅是示例，在其他实施例中，还可增加或减少一个或更多个中间层。
[0057]
参照图2，在输入层h0可接收图节点的特征并对其进行预处理；在第一中间层h1，可对输入层h0提供的图节点的特征应用节点聚合算子进行聚合运算，并将该聚合运算的聚合结果作为输入提供给第二中间层h2，并且类似地，在第二中间层h2，可对第一中间层h1提供的聚合结果再次应用节点聚合算子进行聚合运算，并将该聚合运算的聚合结果作为输入提供给连接层h3；在连接层h3，可对第一中间层h1以及第二中间层h2提供的聚合结果应用跳跃连接聚合算子进行聚合运算，并将该聚合运算的聚合结果作为输入提供输出层h0；最后，在输出层h0，可对连接层h3提供的聚合结果应用层聚合算子进行聚合运算，并将该聚合运算的
聚合结果作为最终输出。
[0058]
因此，根据本发明的实施例的在结构搜索空间中搜索图神经网络结构的过程实际是在所述结构搜索空间中搜索k层(这里，k可以是预设值或者是预设范围内可变的值)gnn结构中的各层的连接关系以及对应聚合算子(即，运算函数)的过程。在本发明的示例性实施例中，所述图神经网络结构中的相邻两层之间存在连接，每个中间层与连接层之间存在跳跃连接。
[0059]
在本发明的示例性实施例中，所述结构搜索空间可由12种节点聚合算子、3种层聚合算子和2种跳跃连接聚合算子构建，各个聚合算子名称及作用如以下的表1中所示：
[0060]
表1
[0061][0062][0063]
这里，对于针对跳跃连接的跳跃连接聚合算子，zero实际表示不存在对应层之间的连接。
[0064]
应该理解，所述结构搜索空间中所包括的聚合算子的类型不限于表1中所示的，而
是还可根据先例、计算资源限制、新技术的出现等因素而包括更多或更少的聚合算子。
[0065]
此外，在本发明的示例性实施例中，当所述特定图数据集中的图节点较少时，搜索装置110可针对该特定图数据集直接搜索最优图神经网络结构。然而，当所述特定图数据集中的图节点较多(例如，当所述特定图数据集包括十几万个至几百万个图节点)时，使用这样大量的图节点进行图神经网络结构的搜索将耗费较长的时间。因此，在本发明的一个示例性实施例中，搜索装置110可对原始的体量较大的特定图数据集(例如，包括十几万个至几百万个图节点的图数据集)进行采样以获得体量较小的子图数据集(例如，包括几千个图节点的子图数据集)，然后针对子图数据集搜索最优图神经网络结构。之后，搜索装置110可利用具有这样的针对子图数据集搜索到的最优图神经网络结构的图神经网络模型，基于原始的特定图数据集对该图神经网络模型重新进行训练、调优和测试。通过这种方式，可整体上提高计算效率。
[0066]
在下文中将详细解释搜索装置110在结构搜索空间中搜索最优图神经网络结构的方法。
[0067]
在本发明的示例性实施例中，搜索装置110可将从以下表达式(1)确定的图神经网络结构α
*
确定为最优图神经网络结构：
[0068][0069]
在表达式(1)中，a表示针对图神经网络模型的结构搜索空间，α表示属于所述结构搜索空间的图神经网络结构，w表示图神经网络模型的模型参数集合，是训练损失函数并指示使用训练数据集对基于模型参数集合w和结构α的图神经网络模型进行模型训练所获得的损失，是验证损失函数并指示使用验证数据集对基于模型参数集合w
*
和结构α的图神经网络模型进行验证所获得的损失，w
*
是基于结构α使最小的图神经网络模型的模型参数集合，α
*
是基于模型参数集合w
*
使最小的图神经网络结构。
[0070]
在本发明的示例性实施例中，搜索装置110中所使用的训练数据集和验证数据集可以是所述特定图数据集的子数据集，或者，当如上所述针对从所述特定图数据集采样的子图数据集搜索最优图神经网络结构时，所述训练数据集和所述验证数据集分别是所述子图数据集的子数据集。
[0071]
从表达式(1)可知，搜索最优图神经网络结构的处理实际隐含了两级优化。首先，可基于训练数据集对具有图神经网络结构α的图神经网络模型进行训练并获得使训练损失函数最小的模型参数集合w
*
，然后基于验证数据集对使用模型参数集合w
*
和结构α的图神经网络模型进行验证，由此可将使验证损失函数最小的图神经网络结构α
*
确定为所述最优图神经网络结构。然而，当直接利用上述表达式(1)寻找最优图神经网络结构α
*
时，搜索过程可能相当复杂，可能难以在结构搜索空间中快速方便地搜索到最优图神经网络结构α
*
。
[0072]
可选择地，根据本发明的示例性实施例，搜索装置110可使用强化学习算法来从表达式(1)确定最优图神经网络结构。
[0073]
仅作为示例，下面将结合示例性的算法1来对搜索装置110搜索最优图神经网络结构的处理进行描述。
[0074][0075]
如以上算法1中所示，在使用强化学习算法确定最佳图神经网络结构时，搜索装置110可首先对所述结构搜索空间中的各个图神经网络结构进行概率化以获得按照概率分布控制参数θc被参数化的结构分布p(α；θc)，然后对所述结构分布p(α；θc)进行训练来确定与在验证数据集上具有最高期望验证准确度的结构对应的最优概率分布控制参数(即，上述算法1中的步骤1至步骤7)，由此确定按照最优概率分布控制参数而被参数化的最优结构分布(即，上述算法1中所指的经过训练的p(α；θc))。之后，搜索装置110可基于最优结构分布获得多个候选图神经网络结构(即，上述算法1中的步骤8)，并对分别具有所述多个候选图神经网络结构的多个候选图神经网络模型从头开始进行训练从而确定最佳图神经网络结构(即，上述算法1中的步骤9)。
[0076]
更详细地，在搜索装置110确定最优概率分布控制参数的过程中，搜索装置110可首先确定(例如，随机确定或根据经验确定)一初始概率分布控制参数，然后可对所述初始概率分布控制参数进行至少一次迭代更新操作，并将最终更新得到的概率分布控制参数确定为最优概率分布控制参数。这里，参照上述算法1，每次迭代更新操作可包括以下步骤：
[0077]
(s1)基于按照当前概率分布控制参数被参数化的结构分布，从所述结构搜索空间采样获得当前图神经网络结构(算法1中的步骤2)；
[0078]
(s2)使用训练数据集对具有当前图神经网络结构的图神经网络模型进行训练(例如，预定的ta次训练)，并获得经过训练的图神经网络模型在验证数据集上的验证准确度(算法1中的步骤3)；
[0079]
(s3)基于所述验证准确度来更新所述当前概率分布控制参数(算法1中的步骤5)。
[0080]
在本发明的示例性实施例中，搜索装置110可基于所述验证准确度，按照基于策略梯度算法确定的梯度来更新所述当前概率分布控制参数。
[0081]
仅作为示例，所述梯度可由以下表达式(2)表示：
[0082][0083]
其中，表示所述梯度，指示所述验证准确度，指示验证数据集上的期望验证准确度，g指示从所述结构搜索空间采样获得的针对当前图神经网络结构的运算动作的数量，每个运算动作指示对应层的聚合算子，αs指示第s个运算动作，α
1：s-1
指示第1个运算动作至第s-1个运算动作的集合。
[0084]
优选地，为了进一步提高运算效率，在强化学习中，上述表达式(2)可被近似为下面的表达式(3)
[0085][0086]
在表达式(3)，m指示在迭代更新操作中从所述结构搜索空间采样获得的当前图神经网络结构的数量并且可以为1或其他预设值，b表示先前图神经网络结构的验证准确度的指数移动平均并且在这里用来降低梯度估计的方差，并且指示第k个当前图神经网络结构的验证准确度，g指示从所述结构搜索空间采样获得的针对对应当前图神经网络结构的运算动作的数量。这里，g、s、m和k均为正整数。
[0087]
可选择地，在本发明的示例性实施例中还可应用权重共享机制。在上面确定最优概率分布控制参数的过程中，搜索装置110可在采样获得当前图神经网络结构之后，加载并使用先前存储的针对在当前图神经网络结构中使用的聚合算子的参数(即，上述表达式(1)中的模型参数集合w中的对应参数)(即，算法1中的步骤3)，并且在使用训练数据集对具有当前图神经网络结构的图神经网络模型进行训练之后，更新并保存针对当前图神经网络结构训练获得的所有聚合算子的参数(即，算法1中的步骤6)。通过这样的权重共享机制，由于在确定最优概率分布控制参数的过程中强制所有采样的图神经网络结构共享权重(即，op参数)，因此无需对采样的图神经网络结构从头开始进行训练，因此有利于加速搜索过程，大幅降低时间开销。
[0088]
此外，应该理解以上算法1中的各个步骤中使用的算法或方法仅是为了使本领域技术人员便于理解和实施而列举的示例，本技术不限于此，还可使用各种其他合适的算法或方法来进行替换或补充。
[0089]
返回参照图1，在搜索出最优图神经网络结构之后，训练装置120可基于所述特定图数据集，对具有所述最优图神经网络结构的图神经网络模型进行训练。之后，处理装置130可利用经过训练的图神经网络模型获得所述特定图数据集的各个图节点的嵌入表示。
[0090]
图3是示出根据本公开的示例性实施例的基于关系认知的知识图谱嵌入方法300的流程图。
[0091]
如图3所示，在步骤s310，针对特定图数据集，可通过搜索单元110在针对图神经网
络模型的结构搜索空间中搜索最优图神经网络结构。
[0092]
在步骤s320，训练单元120可基于所述特定图数据集，对具有所述最优图神经网络结构的图神经网络模型进行训练。
[0093]
最后，在步骤s330，可由处理单元130利用经过训练的图神经网络模型获得所述特定图数据集的各个图节点的嵌入表示。
[0094]
以上已结合图1详细描述了根据本公开的示例性实施例的图神经网络结构搜索系统100的上述组成元件所执行的详细操作的具体过程，因此为了简明，在此将不再赘述。
[0095]
此外，作为示例，具有根据本发明的示例性实施例的图神经网络结构搜索方法搜索出的图神经网络结构的图神经网络模型可被应用于以下场景中的至少一个场景：金融反欺诈场景、商品推荐场景、以及社交网络分析场景。在金融反欺诈场景下，所述特定图数据集可包括用户转账数据集，该数据集的对应标签集中的标签可表示是否存在欺诈用户或是否存在欺诈交易；在商品推荐场景下，所述特定图数据集可包括用户针对商品的行为数据集，该数据集的对应标签集中的标签可表示用户与商品之间是否存在关联，在社交网络分析场景下，所述特定图数据集可包括用户之间的行为数据集，该数据集的对应标签集中的标签可表示用户之间是否存在关联。然而，应该理解，以上各个场景仅是示例，本发明的图神经网络结构搜索方法和系统还可应用于各种其他使用图的场景中。
[0096]
通过应用根据本发明的示例性实施例的图神经网络结构方法和系统，能够有效地优化结构搜索空间，使得该搜索空间变得简单但是表现力不减，由此不仅包含经典gnn模型结构，还能够针对特定数据任务发现全新的更适合的gnn结构。此外，根据本发明的示例性实施例的图神经网络结构方法和系统无需人力投入，而是能够基于上述结构搜索空间，针对特定数据任务自动搜索出具有良好表现的gnn结构，并且还能够通过权重共享机制来加速搜索过程。
[0097]
以上已参照图1至图3描述了根据本公开的示例性实施例的图神经网络结构搜索方法和系统。然而，应理解的是：附图中示出的装置和系统可被分别配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如，这些系统、装置可对应于专用的集成电路，也可对应于纯粹的软件代码，还可对应于软件与硬件相结合的模块。此外，这些系统或装置所实现的一个或多个功能也可由物理实体设备(例如，处理器、客户端或服务器等)中的组件来统一执行。
[0098]
此外，上述方法可通过记录在计算机可读存储介质上的指令来实现，例如，根据本技术的示例性实施例，可提供一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行以下步骤：针对特定图数据集，在针对图神经网络模型的结构搜索空间中搜索最优图神经网络结构；基于所述特定图数据集，对基于所述最优图神经网络结构的图神经网络模型进行训练；以及利用经过训练的图神经网络模型获得所述特定图数据集的各个图节点的嵌入表示。
[0099]
上述计算机可读存储介质中存储的指令可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，应注意，所述指令还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理，这些附加步骤和进一步处理的内容已经在参照图1至图3进行相关方法的描述过程中提及，因此这里为了避免重复将不再进行赘述。
[0100]
应注意，根据本公开示例性实施例的图神经网络结构搜索系统可完全依赖计算机程序或指令的运行来实现相应的功能，即，各个装置在计算机程序的功能架构中与各步骤相应，使得整个系统通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。
[0101]
另一方面，当图1所示的系统和装置以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得至少一个处理器或至少一个计算装置可通过读取并运行相应的程序代码或者代码段来执行相应的操作。
[0102]
例如，根据本技术示例性实施例，可提供一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行下述步骤：针对特定图数据集，在针对图神经网络模型的结构搜索空间中搜索最优图神经网络结构；基于所述特定图数据集，对基于所述最优图神经网络结构的图神经网络模型进行训练；以及利用经过训练的图神经网络模型获得所述特定图数据集的各个图节点的嵌入表示。
[0103]
具体说来，上述系统可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点上。此外，所述系统可以是pc计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。此外，所述系统还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。另外，所述系统的所有组件可经由总线和/或网络而彼此连接。
[0104]
这里，所述系统并非必须是单个系统，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。所述系统还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。
[0105]
在所述系统中，所述至少一个计算装置可包括中央处理器(cpu)、图形处理器(gpu)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，所述至少一个计算装置还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。计算装置可运行存储在存储装置之一中的指令或代码，其中，所述存储装置还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，所述网络接口装置可采用任何已知的传输协议。
[0106]
存储装置可与计算装置集成为一体，例如，将ram或闪存布置在集成电路微处理器等之内。此外，存储装置可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储装置和计算装置可在操作上进行耦合，或者可例如通过i/o端口、网络连接等互相通信，使得计算装置能够读取存储在存储装置中的指令。
[0107]
以上描述了本技术的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本技术不限于所披露的各示例性实施例。在不偏离本技术的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本技术的保护范围应该以权利要求的范围为准。