一种基于意见演化的图嵌入方法及系统与流程

1.本发明涉及深度学习技术，网络表征领域，尤其涉及一种基于意见演化的图嵌入方法及装置。


背景技术：

2.图(又称网络)是一种重要的数据表示形式，广泛存在于现实场景中。有效的图分析可以帮助用户理解隐藏在数据背后的信息，有利于完成节点分类、链接预测等任务。图嵌入是解决图分析问题的一种非常有效的方法。它将图数据映射到低维空间中，最大限度地保留了图的结构和属性信息。图被广泛应用于现实世界的各种场景中，如社交网络、电信网络、生物网络、知识图等。它们存在于广泛的实际应用中。通过对它们的分析，我们可以深入了解社会结构、语言和不同的交际方式。因此，图一直是学术研究的焦点。图分析任务大致可以抽象为以下四类:(a)节点分类，(b)链路预测，(c)节点聚类，(d)可视化。其中，节点分类是根据其他被标记节点和网络拓扑来确定节点的标签。链接预测是指预测未来可能缺失或可能存在的链接的任务。节点聚类是用来找到相似节点的子集并将它们组合在一起。可视化有助于洞察网络结构。
3.在过去几年里，有许多很好的方法被提出来解决上述任务。我们的研究重点是节点分类的任务。对于基于节点分类任务的图嵌入方法，一般可以分为三类:基于因式分解的方法，基于随机游走的方法，基于深度学习的方法。
4.基于因式分解的方法将节点之间的连接表示为矩阵形式，然后对得到的矩阵进行因式分解得到节点嵌入。相关矩阵包括节点邻接矩阵、拉普拉斯矩阵、katz相似度矩阵和节点转移概率矩阵等。基于因式分解的方法通过判断得到的矩阵的性质，利用相应的手段。如果得到的矩阵是半正定矩阵，如拉普拉斯矩阵，则可以通过特征值分解得到嵌入。如果得到的矩阵是非结构化的，可以用梯度下降法在线性时间内得到嵌入。虽然矩阵分解被证明是有效的，但现有的分解方法存在计算和存储成本高的问题。
5.基于随机游走的方法是采用适当的抽样方法来逼近图的许多性质，如节点之间的相似性[12]和节点的中心性。当图的信息太大，或者人们不能直接观察整个图的信息时，基于随机行走的方法可以显示出很大的优势，使用不同的邻居采样策略获得节点嵌入，典型的模型是node2vec模型和deepwalk模型。
[0006]
深度学习模型的权重矩阵图上的所有节点映射到低维空间保持图像在低维空间信息,这种想法可以建模的非线性结构图表数据,通过图形信息表示为一个(或一群)低维向量。然后利用节点间正向传播和梯度下降算法对设计的目标函数进行优化，得到节点嵌入。然而，现存的深度学习方法，存在注意力计算的可解释不足，以及节点的感受野不足，需要手动堆叠的缺陷。


技术实现要素：

[0007]
本发明的目的是提出一种新的网络嵌入方法，来增强以往深度学习模型的可解释
性问题，以及增强模型节点的感受野，并设置规则，使信息聚合到收敛状态。
[0008]
为实现上述目的，一方面，本发明提供了一种基于意见演化的图嵌入方法，所述方法包括：将带有稀疏属性和标签的网络中的节点，通过全局共享的可训练权重矩阵映射到低维空间；通过邻接矩阵计算图上所有节点和邻居的欧式距离；设置超参数，根据超参数和欧氏距离的比较，让图上节点形成置信邻居的集合；设置新的节点信息聚合规则，邻居聚合权重由其欧式距离归一化所得；通过每一轮置信邻居更加严格的要求，让信息聚合达到稳定状态。欧式距离可以扩展成布雷格曼散度距离，并且利用拼接的方式加强模型的表达。利用矩阵计算，让图上求距离的操作切实可行，通过欧氏距离为邻居分配权重，增加模型的可解释性，通过新的信息聚合规则以及置信邻居的设置，来确定图上节点的感受野，解决了需要手动堆叠隐藏层的缺陷。
[0009]
优选地，利用规则化权重矩阵初始化方法，让映射后的节点均匀分布在空间中，保证节点之间的距离在一定范围之内，以便于和后面设置的参数比较。
[0010]
优选地，图上节点属性矩阵h，先计算hh
t
,在取hh
t
对角线形成行向量全全1行向量o，图上所有节点距离可由矩阵计算：再根据邻接矩阵a求得所有节点和邻居的距离。
[0011]
优选地，我们设置超参数ρ和β,根据dist和βρ的大小，形成置信邻居的集合β＞0,ρ∈(0,1)，我们根据置信邻居的距离求得聚合权重：
[0012]
优选地，我们设置独立的自注意力机制：规避了自身聚合权重过大的问题。
[0013]
另一方面，本发明提供了一种基于意见演化的图嵌入系统，该系统包括：映射单元、求距离单元、设置置信邻居单元、求权重单元和判断单元；
[0014]
所述映射单元，用于将带有稀疏属性和标签的网络中的节点，通过全局共享的可训练权重矩阵映射到低维空间；
[0015]
所述求距离单元，用于通过邻接矩阵计算图上所有节点和邻居的欧式距离；
[0016]
所述置信邻居单元，用于设置超参数，根据超参数和欧氏距离的比较，让图上节点形成置信邻居的集合；
[0017]
所述求权重单元，用于设置新的节点信息聚合规则，邻居聚合权重由其欧式距离归一化所得；所述判断单元，用于通过每一轮置信邻居更加严格的要求，让信息聚合达到稳定状态。
[0018]
本发明将带有稀疏属性和标签的网络中的节点，通过全局共享的可训练权重矩阵映射到低维空间；通过邻接矩阵计算图上所有节点和邻居的欧式距离；设置超参数，根据超参数和欧氏距离的比较，让图上节点形成置信邻居的集合；设置新的节点信息聚合规则，邻居聚合权重由其欧式距离归一化所得；通过每一轮置信邻居更加严格的要求，让信息聚合
达到稳定状态。欧式距离可以扩展成布雷格曼散度距离，并且利用拼接的方式加强模型的表达。利用矩阵计算，让图上求距离的操作切实可行，通过欧氏距离为邻居分配权重，增加模型的可解释性，通过新的信息聚合规则以及置信邻居的设置，来确定图上节点的感受野，解决了需要手动堆叠隐藏层的缺陷，模型的收敛状态是可证明的，同时方法具有良好的可扩展性，更高效的处理复杂的网络。
附图说明：
[0019]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
[0020]
图1为本发明实施例提供的一种基于意见演化的图嵌入方法流程图；
[0021]
图2为随着聚合轮次的增加以及置信邻居的要求越来越高，节点置信邻居的变化；
[0022]
图3为本发明实施例输入层，隐藏层，输出层示意图；
[0023]
图4将欧式距离和余弦距离的注意力进行拼接示意图；
[0024]
图5a为两个稀疏数据集；
[0025]
图5b为两个密集数据集，节点分类精准度随聚合轮次变化，数据集分别在(cora:8,citeseer:4,amazon
‑
photo:6,amazon
‑
computer:5)达到最优效果，使用欧式距离，余弦距离拼接的方式可以使得，精准的得到提高；
[0026]
图6展示了模型的结果与相应的方法的比较；
[0027]
图7为本发明实施例提供的一种基于意见演化的图嵌入系统结构示意图。
具体实施方式
[0028]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0029]
图1为本发明实施例提供的一种基于意见演化的图嵌入方法流程图。如图1所示，图嵌入方法包括以下步骤：
[0030]
步骤一，将带有稀疏属性和标签的网络中的节点(例如：cora数据集中，每个节点向量有1433维度的稀疏属性，其中大量为0，少量为1，并且每个节点都有自己所属的类别)，通过全局共享的可训练权重矩阵映射到低维空间。
[0031]
具体地，利用规则化权重矩阵初始化方法，让映射后的节点均匀分布在空间中，保证节点之间的距离在一定范围之内，以便于和后面设置的参数比较。
[0032]
公式中，是节点i的f维度稀疏属性向量，w
e
是大小为f'
×
f,有关于欧式距离的权重矩阵。
[0033]
步骤二，通过邻接矩阵计算图上所有节点和邻居的欧式距离。
[0034]
具体地，假设图上节点属性矩阵h，先计算hh
t
,在取hh
t
对角线形成行向量全1行向量o，图上所有节点距离可由邻接矩阵计算：再根据邻接矩阵和
映射后的特征矩阵计算节点于邻居的欧氏距离：其中j为节点i的邻居节点。
[0035]
根据所得欧氏距离，进行softmax函数归一化分配聚合权重：
[0036]
利用求得的每个节点与邻居的距离d
ij
进行softmax归一化求权重，t代表聚合轮次，表示i节点t时刻置信邻居的结合，如此可以保证所有邻居的总权重之和为1。
[0037]
本发明实施例设置了独立的自注意力机制，以规避自身聚合权重过大的问题：其中t表示聚合轮次，对于公式每个节点都有属于自己独立的聚合权重c，而将自己上一轮次的聚合权重c设置为可训练的来提升模型的效果，而图上所有节点共享βρ
t
，当图上所有节点与邻居的距离都大于这个值时，信息聚合停止，从而达到稳定状态。
[0038]
图上节点随着聚合轮次t的增加，βρ
t
的值会越来越小，对应的解释是，每一轮对置信邻居的要求会更加严格，以此来得到更加有效的图上节点的嵌入。
[0039]
图3为意见演化图嵌入系统示意图。输入层是f维特征的图(边以黑线表示)，opinion dynamics将它们映射到f维，并将相邻特征聚合到一个稳定状态，然后使用softmax函数将结果输入到全连接层进行分类。
[0040]
步骤三，设置超参数，根据超参数和欧氏距离的比较，让图上节点形成置信邻居的集合(如图2所示)；
[0041]
具体地，设置超参数ρ和β,根据dist和βρ的大小，形成置信邻居的集合β＞0,ρ∈(0,1)，其中，ρ在欧式距离中设置为0.9来保证第一轮聚合所有邻居的信息，β设置为映射后的维度。根据置信邻居的距离求得聚合权重：
[0042]
步骤四，设置新的节点信息聚合规则，邻居聚合权重由其欧式距离归一化所得。
[0043]
具体地，根据设置的信息聚合规则，节点之间的欧氏距离直接影响着聚合权重，通过将欧氏距离扩展为满足布雷格曼散度的距离(例如：余弦距离(范围：0
‑
2))，并且通过多种距离求权重的节点属性矩阵拼接起来，从各个方面考虑注意力，具有良好的可解释性，得到更加客观的节点嵌入。
[0044]
图4为通过不同的权重矩阵映射计算不同类型的距离，并将结果拼接在一起。并利用softmax函数将结果输入到全连接层进行分类。
[0045]
步骤五，通过每一轮置信邻居更加严格的要求，让信息聚合达到稳定状态。
[0046]
本发明实施例所述节点信息聚合收敛状态的证明：
[0047]
收敛状态：(表示节点i在t时刻和t 1时刻之间的距离，超参数β＞0，ρ∈(0，1))
[0048]
证明：引入ω(x)＝||x||2来计算矢量之间的距离，对于
[0049][0050]
且
[0051]
由上面可得：
[0052][0053]
所述距离推广到布雷格曼散度距离的证明：
[0054]
收敛状态：布雷格曼散度距离：
[0055]
证明：引入非负凹函数：根据非负凹函数的性质：
[0056][0057]
对于
[0058]
表示向量对位相乘，表示对函数求导
[0059][0060]
图6展示了所有节点利用所发明方法进行信息聚合达到稳定状态返回属性矩阵h，最后利用带标签的节点的预测损失利用梯度下降的方式更新权重矩阵：
[0061]
其中，b表示节点所属类别的标签，y
lb
表示所有节点的输出，y'
lb
表示带标签节点的输出。
[0062]
表1和表2展示了模型的结果与相应的方法的比较。
[0063]
表1稀疏数据集效果
[0064][0065][0066]
图5a为两个稀疏数据集上，不同聚合轮次的实验效果。
[0067]
表2密集数据集效果
[0068][0069][0070]
图5b为在两个密集数据集上，不同聚合轮次的实验效果。
[0071]
本发明实施例利用矩阵计算，让图上求距离的操作切实可行，通过欧氏距离为邻居分配权重，增加模型的可解释性，通过新的信息聚合规则以及置信邻居的设置，来确定图上节点的感受野，解决了需要手动堆叠隐藏层的缺陷，模型的收敛状态是可证明的，同时方法具有良好的可扩展性，更高效的处理复杂的网络。
[0072]
相应地，本发明实施例提供了一种基于意见演化的图嵌入系统。图7为本发明实施例提供的一种基于意见演化的图嵌入系统结构示意图。如图7所示，该系统包括：映射单元71、求距离单元72、设置置信邻居单元73、求权重单元74和判断单元75。
[0073]
映射单元71，用于利用可训练的权重矩阵，将带稀疏高维属性的图上节点映射到低维空间，让图上节点拥有更加精炼的表达；
[0074]
求距离单元72，用于利用图上节点的邻接矩阵以及映射后的精炼表达，用矩阵计算的形式求得图上节点与邻居的距离；
[0075]
置信邻居单元73，用于利用设置的超参数与所求距离的比较，让距离小于所设超
参数的邻居留下，用形成置信邻居的集合；
[0076]
求权重单元74，用于利用求得的图上节点与置信邻居的距离，使用归一化函数获得节点接受邻居传来信息的权重，并使用拼接的方式，增加注意力类型，增强模型表达；
[0077]
判断单元75，即当图上节点都不存在置信邻居后，信息聚合达到稳定状态。所设规则增加了模型的可解释性，并解决了需要手动堆叠层的缺陷。
[0078]
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执轨道，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0079]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。