一种基于神经通路的图垂直联邦数据增强方法与装置

1.本发明属于网络安全技术领域，具体涉及一种基于神经通路的图垂直联邦数据增强方法与装置。


背景技术：

2.图神经网络已经在图表示学习领域中取得了引人瞩目的成绩，它可以高效地对非规则的图结构数据进行处理和分析，并极大地便利了下游应用的使用，例如节点分类、图分类以及链路预测等。图卷积模型是其中一种经典的图神经网络。然而，现有的图神经网络依赖于完整的节点连接信息以及丰富的节点特征信息，这在现实生活中往往是难以达到的。不同的机构拥有的数据信息可能不完全相同，由于隐私限制以及竞争关系的存在，这些数据往往不能被直接共享，造成了“数据孤岛”的现象，这导致图神经网络难以最大程度地发挥其作用。而图垂直联邦学习的提出，正是为了解决这种数据隔离的问题。在图垂直联邦学习中，不同图数据拥有者可以通过交换模型计算的中间结果，在保证数据隐私不出本地的情况下，共同维护一个可靠的中心模型，并提高本地端模型的质量，从而获得较仅有本地数据的情况下更好的结果。
3.然而，在一些联邦学习框架中，中心服务器将根据不同参与方上传数据的质量计算各参与方的贡献度，并通过该贡献度指标为不同参与方分配不同的奖励，以此促进参与者提供更优质的数据，而优质数据将进一步提高中心服务器模型的业务能力，以获得更多的收益。因此，如何通过数据增强的方式，提高参与方在图垂直联邦场景中的贡献度，以获得更好的模型预测能力以及更多的奖励具有重要的现实意义。


技术实现要素：

4.在图垂直联邦模型在多方联合训练的场景中，其中可能存在一些参与方数据质量较差的情况，为了提高这些参与方在图垂直联邦模型中的贡献度，提高中心服务器模型的业务能力，获取更多的收益，本发明提供了一种基于神经通路的图垂直联邦数据增强方法，通过本地模型的神经通路逆向寻找最有利于服务器模型性能的图结构和节点特征，并进行数据增强，从而提高该参与方在图垂直联邦模型中的贡献度。
5.为实现上述发明，本发明提供的技术方案为：
6.本发明实施例的第一方面提出了一种基于神经通路的图垂直联邦数据增强方法，包括以下步骤：
7.步骤s1，定义奖励机制，基于若干本地模型参与方与一中心服务器组成图垂直联邦学习框架；
8.步骤s2，通过计算本地模型神经元激活值，根据其与本地模型每一层输入的梯度关系，获得本地模型的逆向神经通路，通过该逆向神经通路寻找图拓扑结构；
9.步骤s3，基于步骤s2得到的逆向神经通路寻找有利于中心服务器模型性能的目标修改节点的节点特征；
10.步骤s4，基于步骤s2和步骤s3得到的图拓扑结构和节点特征，对本地数据进行数据增强。
11.进一步地，所述本地模型具体为图神经网络，所述本地模型的输出的本地节点嵌入向量e为：
[0012][0013][0014]
其中，ρ(
·
)代表relu激活函数，x为节点特征矩阵，w1和w2分别为第1层和第2层的模型参数，a为图结构对应的邻接矩阵；in为n
×
n的对角矩阵，n为节点数量；
[0015]
为节点的度矩阵。
[0016]
进一步地，所述中心服务器模型具体为：本地模型将本地节点嵌入向量e上传至中心服务器模型，所述中心服务器模型对上传的本地节点嵌入向量进行拼接处理后生成全局节点嵌入向量e
global
：
[0017]eglobal
＝e1||...||em[0018]
其中，||为拼接操作符，m为参与方数量；
[0019]
利用全局节点嵌入向量e
global
训练中心服务器模型；
[0020]
所述中心服务器的训练目标为：
[0021][0022]
其中，{v
l
}为带标签的节点集合，|p|为图中节点的类别数。y为节点的真实标签。中心服务器模型以上述训练目标，更新中心服务器模型参数[θ1...θ
l
]。
[0023]
进一步地，所述奖励机制具体为：所述中心服务器根据各本地模型的贡献度分配奖励，第i个参与方的贡献度ci计算公式为：
[0024][0025]
其中，acci代表仅有第i个参与方数据情况下服务器的预测准确率，η为贡献度放缩常数，m为参与方数量；
[0026]
所述本地模型的贡献度进行奖励分配的计算公式为：
[0027][0028]
其中，r
total
为总体奖励值，m为参与方数量。
[0029]
进一步地，所述步骤s2具体为：训练中央服务器模型，选取一本地模型作为数据增强方，数据增强方对上传的本地节点嵌入向量取最大值对应的神经元作为逆向神经通路的起始神经元，并将该神经元激活值m对上一层输入求梯度，获得神经元梯度矩阵g
neural
，则第l-1层梯度矩阵为：
[0030][0031]
其中，m
l
为第l层神经元激活最大值：
[0032][0033]
其中，h
l
代表模型第l层神经元激活值。获得上一层重要神经元直至获得输入层神经元，形成逆向神经通路；
[0034]
将所有样本进行上述测试，获得每个样本的重要输入层神经元，统计得到同类节点中的重要输入神经元，并取对应神经元激活值最小的k个节点作为目标修改节点集合{vs}，取输入层神经元激活值m
in
最大的节点作为目标生成节点v
t
；
[0035]
将目标生成节点对应神经元激活值对输入的邻接矩阵求导，获得连边梯度矩阵g
edge
：
[0036][0037]
选择目标生成节点v
t
在g
edge
中梯度最大的k条连边集合{ed}和对应的节点集合{vd}，(
·
)
t
代表矩阵转置操作，得到图拓扑结构。
[0038]
进一步地，所述步骤s3具体为：
[0039]
根据步骤s2获得的逆向神经通路、目标修改节点集合{vs}、目标生成节点v
t
以及对应的神经元激活值m
in
，将目标生成节点对应神经元激活值对输入的节点特征矩阵求导，获得特征梯度矩阵g
attri
：
[0040][0041]
选择目标生成节点上梯度最大的特征集合{fd}作为目标修改节点需要添加的节点特征。
[0042]
进一步地，所述步骤s4具体为：
[0043]
将图拓扑结构对应的节点与目标修改节点相连接：
[0044]
{v
nei
}＝{v
ori
}∪{vd}
[0045]
{e
nei
}＝{e
ori
}∪{ed}
[0046]
其中，{v
nei
}为目标修改节点的邻居节点集合，{v
ori
}为原有的邻居节点集合，{e
nei
}为目标修改节点的连边集合，{e
ori
}为原有的连边集合；
[0047]
将目标修改节点的特征中添加步骤s3获得的节点特征，完成本地数据的数据增强，公式如下：
[0048]
{f}＝{f
ori
}∪{fd}
[0049]
其中，{f}为目标修改节点的经数据增强后的节点特征集合，{f
ori
}为原有的节点特征集合，{fd}为目标修改节点。
[0050]
进一步地，将经过增强后的本地数据用于训练图垂直联邦学习框架。
[0051]
本发明实施例的第二方面提供了一种基于神经通路的图垂直联邦数据增强，包括存储器和处理器，其中，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数
据，所述处理器用于执行所述程序数据以实现上述的基于神经通路的图垂直联邦数据增强方法。
[0052]
本发明实施例的第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现上述的基于神经通路的图垂直联邦数据增强方法。
[0053]
与现有技术相比，本发明具有的有益效果至少包括：本发明提供的基于神经通路的图垂直联邦数据增强方法，通过计算神经元激活值，根据其与模型每一层输入的梯度关系，获得本地模型的逆向神经通路；通过找到的神经通路寻找最有利于中心服务器模型性能的图拓扑结构和节点特征；基于寻找到的图拓扑结构和节点特征对本地数据进行数据增强；最后将经过增强后的本地数据继续用于图垂直联邦学习模型的训练，从而提高本地参与方在图垂直联邦模型中的贡献度。
附图说明
[0054]
图1是基于神经通路的图垂直联邦数据增强方法的整体框架示意图；
[0055]
图2为本发明装置的示意图。
具体实施方式
[0056]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
[0057]
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0058]
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0059]
下面结合附图，对本发明的基于神经通路的图垂直联邦数据增强进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
[0060]
为使本发明的目的、技术方案及优点更加清楚明白，下面结合附图对本发明作进一步详细描述。
[0061]
参照图1，本发明实施例提出了一种基于神经通路的图垂直联邦数据增强方法，包括以下步骤：
[0062]
1)构建具有奖励机制的图垂直联邦学习模型；
[0063]
如图1所示，由各训练参与方以及一个中心服务器模型共同构建图垂直联邦学习框架。
[0064]
具体包括以下子步骤：
[0065]
1.1)构建基于图神经网络的本地模型；
[0066]
训练参与方本地端使用图神经网络作为本地模型，本发明实施例以其中一个参与方并以双层图卷积网络模型为例，其本地模型输出的本地节点嵌入向量e为：
[0067][0068]
其中，ρ(
·
)代表relu激活函数，x为节点特征矩阵，w1和w2分别为图卷积模型第1层和第2层的参数，a为图结构对应的邻接矩阵。in为n
×
n的对角矩阵(n为图中包含的节点数量)，代表了节点的自连接。此外为图中节点的度矩阵。
[0069]
在训练过程中，训练参与方向中心服务器模型上传本地节点嵌入向量e，用于中心服务器模型的训练，并通过中心服务器模型反馈的梯度信息，更新本地图卷积模型参数w1和w2。其余训练参与方均以相同的方式构建与训练本地模型。
[0070]
1.2)构建中心服务器模型；
[0071]
中心服务器模型对各训练参与方上传的本地节点嵌入向量进行拼接处理后生成全局节点嵌入向量e
global
：
[0072]eglobal
＝e1||...||emꢀꢀꢀꢀ
(2)
[0073]
其中，||为拼接操作符，m为参与方数量。
[0074]
根据全局节点嵌入向量e
global
训练中心服务器模型，这里中心服务器模型以l层的多层感知机为例，输出置信度y'：
[0075]
y'＝f(θ
l
·
ρ(...ρ(θ1·eglobal
)))
ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0076]
其中，θ
l
为第l层的模型参数，f(
·
)为softmax函数，ρ(
·
)代表relu激活函数。
[0077]
中心服务器的训练目标为：
[0078][0079]
其中，{v
l
}为带标签的节点集合，|p|为图中节点的类别数。y为节点的真实标签。中心服务器模型以上述训练目标，更新中心服务器模型参数[θ1...θ
l
]。
[0080]
1.3)建立基于贡献度的奖励机制；
[0081]
中心服务器向各训练参与方本地模型反馈梯度以及置信度信息，并根据各训练参与方的贡献度，为训练参与方分配奖励，第i个参与方的贡献度计算公式为：
[0082][0083]
其中，acci代表仅有第i个参与方数据情况下，服务器的预测准确率，η为贡献度放缩常数，m为参与方数量。
[0084]
基于训练参与方的贡献度进行奖励分配的计算公式为：
[0085]
[0086]
其中，r
total
为总体奖励值，m为参与方数量。
[0087]
2)通过计算本地模型神经元激活值，根据其与模型每一层输入的梯度关系，获得本地模型的逆向神经通路，通过模型神经通路寻找最有利于中心服务器模型性能的图拓扑结构；具体为：
[0088]
首先，在中央服务器模型进行训练后，选取一本地模型作为数据增强方，数据增强方对上传的本地节点嵌入向量取最大值对应的神经元作为逆向神经通路的起始神经元，并将该神经元激活值m对上一层输入求梯度，获得神经元梯度矩阵g
neural
，则第l-1层梯度矩阵为：
[0089][0090]
其中，m
l
为第l层神经元激活最大值：
[0091][0092]
其中，h
l
代表模型第l层神经元激活值。根据公式(7)和(8)获得上一层重要神经元直至获得输入层神经元，形成逆向神经通路。
[0093]
将所有训练样本均进行上述步骤测试，获得每个样本的重要输入层神经元，并按训练节点的标签进行统计，得到同类节点中的重要输入神经元，并取对应神经元激活值最小的k个节点作为目标修改节点集合{vs}，取输入层神经元激活值m
in
最大的节点作为目标生成节点v
t
。
[0094]
将目标生成节点对应神经元激活值对输入的邻接矩阵求导，获得连边梯度矩阵g
edge
：
[0095][0096]
选择目标生成节点v
t
在g
edge
中梯度最大的k条连边集合{ed}和对应的节点集合{vd}，(
·
)
t
代表矩阵转置操作，得到有利于中心服务器模型性能的图拓扑结构。
[0097]
3)根据步骤2)得到的逆向神经通路，通过模型神经通路寻找最有利于训练中心服务器模型性能的目标修改节点的节点特征；
[0098]
根据步骤2)获得的逆向神经通路、目标修改节点集合{vs}、目标生成节点v
t
以及对应的神经元激活值m
in
。将目标生成节点对应神经元激活值对输入的节点特征矩阵求导，获得特征梯度矩阵g
attri
：
[0099][0100]
选择特征梯度矩阵g
attri
中梯度最大的特征集合{fd}作为目标修改节点需要添加的节点特征，所述目标修改节点的节点特征有利于提升中心服务器模型性能。
[0101]
4)基于步骤2)和步骤3)寻找到的图拓扑结构和节点特征，对本地数据进行数据增强；
[0102]
根据步骤2)和步骤3)获得有利于中心服务器模型性能的图拓扑结构和目标修改
节点的节点特征，以及目标修改节点。
[0103]
将图拓扑结构对应的节点与目标修改节点相连接：
[0104]
{v
nei
}＝{v
ori
}∪{vd}
ꢀꢀꢀ
(11)
[0105]
{e
nei
}＝{e
ori
}∪{ed}
ꢀꢀꢀꢀ
(12)
[0106]
其中，{v
nei
}为目标修改节点的邻居节点集合，{v
ori
}为原有的邻居节点集合，{e
nei
}为目标修改节点的连边集合，{e
ori
}为原有的连边集合。
[0107]
将目标修改节点的特征中添加步骤3)获得的节点特征：
[0108]
{f}＝{f
ori
}∪{fd}
ꢀꢀꢀꢀꢀ
(13)
[0109]
其中，{f}为目标修改节点的经过数据增强后的节点特征集合，{f
ori
}为原有的节点特征集合，最终完成对本地数据的数据增强。
[0110]
5)将经过增强后的本地数据继续用于图垂直联邦学习框架的训练；
[0111]
经过步骤4)获得经过数据增强后的本地图结构数据和节点特征数据，在接下来的训练中使用增强后的数据继续训练图垂直联邦模型，以提高数据增强参与方在图垂直联邦模型中的贡献度。
[0112]
与前述基于神经通路的图垂直联邦数据增强方法的实施例相对应，本发明还提供了基于神经通路的图垂直联邦数据增强装置的实施例。
[0113]
参见图2，本发明实施例提供的一种基于神经通路的图垂直联邦数据增强装置，包括一个或多个处理器，用于实现上述实施例中的基于神经通路的图垂直联邦数据增强方法。
[0114]
本发明基于神经通路的图垂直联邦数据增强装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图2所示，为本发明基于神经通路的图垂直联邦数据增强装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图2所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
[0115]
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
[0116]
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0117]
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于神经通路的图垂直联邦数据增强方法。
[0118]
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力
的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡(smart media card，smc)、sd卡、闪存卡(flash card)等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
[0119]
综上所述，本发明提供的基于神经通路的图垂直联邦数据增强方法，通过计算神经元激活值，根据其与模型每一层输入的梯度关系，获得本地模型的逆向神经通路；通过找到的神经通路寻找最有利于中心服务器模型性能的图拓扑结构和节点特征；基于寻找到的图拓扑结构和节点特征对本地数据进行数据增强；最后将经过增强后的本地数据继续用于图垂直联邦学习模型的训练，从而提高本地参与方在图垂直联邦模型中的贡献度。
[0120]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。