基于多阶邻居信息传递融合聚类网络的图聚类方法和装置

1.本技术涉及数据处理技术领域，特别是涉及一种基于多阶邻居信息传递融合聚类网络的图聚类方法和装置。


背景技术：

2.随着深度学习技术的不断发展，深度聚类通过神经网络能充分利用未标记的数据将数据分成多个不相交的组。由于无需耗时耗力的数据标记工作，深度聚类方法在人脸识别、社交网络分析和异常检测等各种应用中得到了广泛关注并取得了巨大成功，而优化目标和特征提取方式这两个因素在提升深度聚类方法的性能上起了重要作用。具体来说，在无监督聚类场景中，在没有标签指导的情况下，设计一个精妙的目标函数和网络架构，使网络能够收集更全面和更有辨别力的信息来揭示数据内在结构是极其关键和具有挑战性的。
3.近年来，图结构数据在深度学习中展现了强大的优势，然而由于非欧式的拓扑图结构和复杂的节点属性，现有的大多数深度聚类方法不能直接分析此类图结构数据。因此，图卷积神经网络(graph convolutional networks，gcns)被提出并得到了大量关注与发展。gcns旨在聚合来自邻居节点的信息以进行节点表示学习，并在面向节点的聚类任务中显示出强大的功能。例如：深度注意力嵌入式图聚类(daegc)，它将节点属性和拓扑结构编码为紧凑的嵌入，并通过自优化嵌入方法重构相邻矩阵；遵循daegc的原理，对抗性正则化图自动编码器(arga)，在对抗性学习机制的指导下学习节点表示；多视图图表示学习(mvgrl)使用基于gcns的编码器进行跨视图对比学习，以进一步提高节点表示的质量，从而增强聚类性能。
4.现有的基于gcns的方法仍然存在一些局限性。首先，大多数方法很少考虑原始图结构的准确性，在gcns聚合邻域消息的过程中，这些不可靠的连接可能会误导节点表示学习，并进一步影响聚类性能；其次，现有方法缺乏跨模态的动态信息融合和处理机制，它们将来自节点信息和结构信息的两种学习表示直接连接或对齐，导致信息交互和合并的不足；第三，现有方法的目标分布生成过程没有充分利用来自两个不同来源的信息，导致网络训练不够全面和精确，两个信息源之间的交互受阻，使得聚类性能不理想。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种基于多阶邻居信息传递融合聚类网络的图聚类方法和装置。
6.一种基于多阶邻居信息传递融合聚类网络的图聚类方法，所述方法包括：
7.对原始图数据样本进行随机游走，得到优化邻接矩阵；
8.构建深度融合聚类网络；所述深度融合聚类网络包括第一图编码器和第二图编码器，通过所述第一图编码器，获取所述原始图数据样本的节点特征编码信息；通过所述第二图编码器，获取所述原始图数据样本的全局拓扑结构信息，将所述优化邻接矩阵作为权重，对所述全局拓扑结构信息进行加权，得到所述原始图数据样本的结构编码信息；
9.对所述节点特征编码信息和所述结构编码信息进行融合，得到融合编码信息；
10.对所述融合编码信息进行软分配矩阵和目标分布矩阵构建，得到软分配矩阵；所述软分配矩阵用于表示所述原始图数据样本的样本分布；再通过软分配矩阵生成目标分布矩阵；
11.根据预先设置的损失函数，对所述深度融合聚类网络进行训练，利用训练好的深度融合聚类网络输出图数据对应的节点表示进行k-means聚类。
12.在其中一个实施例中，还包括：针对原始图数据样本中的每个节点，以节点为起点进行k步随机游走，并且重复m次，得到随机游走矩阵；所述随机游走矩阵中的元素是根据游走时是否经过预设节点的信息确定的；
13.根据所述随机游走矩阵，计算平均游走矩阵；所述平均游走矩阵表示随机游走时到达预设节点的平均次数；
14.根据所述平均游走矩阵，得到优化邻接矩阵。
15.在其中一个实施例中，还包括：将所述原始图数据样本中节点特征进行不同映射，得到询问矩阵q和键矩阵k为：
[0016][0017][0018]
其中，l表示网络层数，表示第l层网络参数，z
(l-1
)表示上一层网络输出，z
(0)
为节点特征矩阵x，σ为非线性激活函数tanh；
[0019]
根据所述询问矩阵q和所述键矩阵k，得到全局结构拓扑信息为：
[0020][0021]
其中，d
(l)
表示第l层隐层表示的维度。
[0022]
在其中一个实施例中，还包括：将所述优化邻接矩阵作为权重，对所述全局拓扑结构信息进行加权为：
[0023][0024]
其中，
⊙
表示哈达玛积，表示优化邻接矩阵，g
(l)
表示全局拓扑结构信息，表示加权全局拓扑结构信息；
[0025]
根据所述键矩阵k，得到值矩阵v为：
[0026][0027]
其中，表示第l层的网络参数，σ为非线性激活函数tanh；
[0028]
对所述加权全局拓扑结构信息和所述值矩阵v引入自注意力机制，得到结构编码信息为：
[0029]
[0030][0031]
其中，z
(l)
表示结构编码信息。
[0032]
在其中一个实施例中，还包括：对所述节点特征编码信息和所述结构编码信息进行融合，得到融合编码信息为：
[0033]
zi＝αz
ae
(1-α)z
tgae
，
[0034][0035]
其中，α为可学习的参数，用于平衡两个表示的重要程度，表示融合编码信息，z
ae
表示节点特征编码信息，z
tgae
表示结构编码信息。
[0036]
在其中一个实施例中，还包括：对所述融合编码信息进行软分配矩阵计算，得：
[0037][0038]
其中，q
ij
表示软分配矩阵中第i个节点属于第j个预计算聚类中心uj的概率，v表示分布的自由度；
[0039]
对所述融合编码信息进行目标分布生成，得到目标分配矩阵为：
[0040][0041]
具体来说，0≤p
ij
≤1是生成的目标分布p∈rn×
k中的一个元素，表示第i个样本属于第j个聚类中心的概率。
[0042]
在其中一个实施例中，所述损失函数包括：第一重构损失、第二重构损失以及聚类损失；
[0043]
所述第一重构损失为：
[0044][0045]
其中，为重构节点特征矩阵；
[0046]
所述第二重构损失为：
[0047][0048]
其中，γ为预定义超参数，表示重构的加权节点特征矩阵和表示重构的邻接矩阵；
[0049]
所述聚类损失为：
[0050][0051]
其中，q’，q”分别表示所述节点特征编码信息z
ae
和所述结构编码信息z
tgae
对应的软分配矩阵。
[0052]
一种基于多阶邻居信息传递融合聚类网络的图聚类装置，所述装置包括：
[0053]
预处理模块，用于对原始图数据样本进行随机游走，得到优化邻接矩阵；
[0054]
网络构建模块，用于构建深度融合聚类网络；所述深度融合聚类网络包括第一图编码器和第二图编码器，通过所述第一图编码器，获取所述原始图数据样本的节点特征编码信息；通过所述第二图编码器，获取所述原始图数据样本的全局拓扑结构信息，将所述优化邻接矩阵作为权重，对所述全局拓扑结构信息进行加权，得到所述原始图数据样本的结构编码信息；
[0055]
融合模块，用于对所述节点特征编码信息和所述结构编码信息进行融合，得到融合编码信息；
[0056]
分布矩阵构建模块，用于对所述融合编码信息进行软分配矩阵和目标分布矩阵构建，得到软分配矩阵；所述软分配矩阵用于表示所述原始图数据样本的样本分布；再通过软分配矩阵生成目标分布矩阵；
[0057]
聚类模块，用于根据预先设置的损失函数，对所述深度融合聚类网络进行训练，利用训练好的深度融合聚类网络输出图数据对应的节点表示进行k-means聚类。
[0058]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0059]
对原始图数据样本进行随机游走，得到优化邻接矩阵；
[0060]
构建深度融合聚类网络；所述深度融合聚类网络包括第一图编码器和第二图编码器，通过所述第一图编码器，获取所述原始图数据样本的节点特征编码信息；通过所述第二图编码器，获取所述原始图数据样本的全局拓扑结构信息，将所述优化邻接矩阵作为权重，对所述全局拓扑结构信息进行加权，得到所述原始图数据样本的结构编码信息；
[0061]
对所述节点特征编码信息和所述结构编码信息进行融合，得到融合编码信息；
[0062]
对所述融合编码信息进行软分配矩阵和目标分布矩阵构建，得到软分配矩阵；所述软分配矩阵用于表示所述原始图数据样本的样本分布；再通过软分配矩阵生成目标分布矩阵；
[0063]
根据预先设置的损失函数，对所述深度融合聚类网络进行训练，利用训练好的深度融合聚类网络输出图数据对应的节点表示进行k-means聚类。
[0064]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0065]
对原始图数据样本进行随机游走，得到优化邻接矩阵；
[0066]
构建深度融合聚类网络；所述深度融合聚类网络包括第一图编码器和第二图编码器，通过所述第一图编码器，获取所述原始图数据样本的节点特征编码信息；通过所述第二图编码器，获取所述原始图数据样本的全局拓扑结构信息，将所述优化邻接矩阵作为权重，
对所述全局拓扑结构信息进行加权，得到所述原始图数据样本的结构编码信息；
[0067]
对所述节点特征编码信息和所述结构编码信息进行融合，得到融合编码信息；
[0068]
对所述融合编码信息进行软分配矩阵和目标分布矩阵构建，得到软分配矩阵；所述软分配矩阵用于表示所述原始图数据样本的样本分布；再通过软分配矩阵生成目标分布矩阵；
[0069]
根据预先设置的损失函数，对所述深度融合聚类网络进行训练，利用训练好的深度融合聚类网络输出图数据对应的节点表示进行k-means聚类。
[0070]
上述基于多阶邻居信息传递融合聚类网络的图聚类方法、装置、计算机设备和存储介质，一方面，通过随机游走进行预处理，可以过滤原始邻接中的错误关系或降低这些错误关系的权重，同时增加一些可信赖的关系，从而可以提高聚类的准确性，另一方面，通过节点特征相似度建立了全局拓扑关系，并用新建的邻接矩阵作为拓扑权重，使得节点间的拓扑关系同时融入了节点特征信息和结构信息。加入自注意力机制的gcns能够在单层网络中进行更远距离的节点之间的信息传递，学习到更高质量的节点表示，最终通过信息融合的方式，也进一步提高的聚类的准确性。
附图说明
[0071]
图1为一个实施例中基于多阶邻居信息传递融合聚类网络的图聚类方法的流程示意图；
[0072]
图2为一个实施例中基于多阶邻居信息传递融合聚类网络的图聚类装置的结构框图；
[0073]
图3为一个实施例中计算机设备的内部结构图。
具体实施方式
[0074]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0075]
在一个实施例中，如图1所示，提供了一种基于多阶邻居信息传递融合聚类网络的图聚类方法，包括以下步骤：
[0076]
步骤102，对原始图数据样本进行随机游走，得到优化邻接矩阵。
[0077]
随机游走指的是从节点i随机游走k步，多次游走，通过统计经过每个节点的平均次数，反映出节点i的局部邻居节点的关系，通过计算每个节点局部邻居信息的相似性得到新的邻接关系，从而过滤掉原始邻接矩阵中的错误关系。
[0078]
步骤104，构建深度融合聚类网络。
[0079]
深度融合聚类网络包括第一图编码器和第二图编码器，具体而言，第一图编码器为自编码器ae，第二图编码器为基于transformer的图自编码器tgae。
[0080]
具体的，自注意力变换网络(transformer)是由自注意力机制(self-attention)和前馈神经网络组成。它先将数据特征分别映射到q(query)，k(key)，v(value)三个矩阵，然后通过将q，k进行矩阵乘来获得全局的拓扑结构，如下述公式所示，其中dk是k的维度。
[0081][0082]
通过这个公式，即可通过自注意力机制获得隐空间数据表示。
[0083]
通过第一图编码器，获取原始图数据样本的节点特征编码信息；通过第二图编码器，获取原始图数据样本的全局拓扑结构信息，将优化邻接矩阵作为权重，对全局拓扑结构信息进行加权，得到原始图数据样本的结构编码信息。
[0084]
步骤106，对节点特征编码信息和结构编码信息进行融合，得到融合编码信息。
[0085]
步骤108，对所述融合编码信息进行软分配矩阵和目标分布矩阵构建，得到软分配矩阵；
[0086]
所述软分配矩阵用于表示所述原始图数据样本的样本分布；再通过软分配矩阵生成目标分布矩阵。
[0087]
步骤110，根据预先设置的损失函数，对深度融合聚类网络进行训练，利用训练好的深度融合聚类网络输出图数据对应的节点表示矩阵进行k-means聚类。
[0088]
上述基于多阶邻居信息传递融合聚类网络的图聚类方法中，一方面，通过随机游走进行预处理，可以过滤原始邻接中的错误关系或降低这些错误关系的权重，同时增加一些可信赖的关系，另一方面，通过节点特征相似度建立了全局拓扑关系，并用新建的邻接矩阵作为拓扑权重，使得节点间的拓扑关系同时融入了节点特征信息和结构信息。加入自注意力机制的gcns能够在单层网络中进行更远距离的节点之间的信息传递，学习到更高质量的节点表示，最终通过信息融合的方式，也进一步提高的聚类的准确性。
[0089]
在其中一个实施例中，针对原始图数据样本中的每个节点，以节点为起点进行k步随机游走，并且重复m次，得到随机游走矩阵；随机游走矩阵中的元素是根据游走时是否经过预设节点的信息确定的；根据随机游走矩阵，计算平均游走矩阵；平均游走矩阵表示随机游走时到达预设节点的平均次数；根据平均游走矩阵，得到优化邻接矩阵。
[0090]
具体的，给定无向图具体的，给定无向图是点集合，是点集合，是边集合，m，a是原始邻接矩阵，a
ij
＝1表示节点i和节点j之间有边，否则a
ij
＝0。通过从每个节点出发进行k步随机游走并重复m次，可以获得m个随机游走矩阵f＝f1,
…
,fm,fa∈rn×n表示第a次随机游走矩阵，表示在第a次随机游走时，从节点i经过了节点j，否则为0。然后得到平均游走矩阵游走矩阵f
i,j
表示m次随机游走后，从节点i到达节点j的平均次数，fi则表示节点i的k阶邻接信息。最后，通过获得节点i和j之间新的邻接关系。
[0091]
在其中一个实施例中，将原始图数据样本中节点特征进行不同映射，得到询问矩阵q和键矩阵k为：
[0092][0093]
[0094]
其中，l表示网络层数，表示第l层网络参数，z
(l-1)
表示上一层网络输出，z
(0)
为节点特征矩阵x，σ为非线性激活函数tanh；
[0095]
根据询问矩阵q和键矩阵k，得到全局结构拓扑信息为：
[0096][0097]
其中，d
(l)
表示第l层隐层表示的维度。
[0098]
在另一个实施例中，将优化邻接矩阵作为权重，对全局拓扑结构信息进行加权为：
[0099][0100]
其中，
⊙
表示哈达玛积，表示优化邻接矩阵，g
(l)
表示全局拓扑结构信息，表示加权全局拓扑结构信息；
[0101]
根据键矩阵k，得到值矩阵v为：
[0102][0103]
其中，表示第l层的网络参数，σ为非线性激活函数tanh；
[0104]
对加权全局拓扑结构信息和所述值矩阵v引入自注意力机制，得到结构编码信息为：
[0105][0106][0107]
其中，z
(l)
表示结构编码信息。
[0108]
在其中一个实施例中，对节点特征编码信息和结构编码信息进行融合，得到融合编码信息为：
[0109]
zi＝αz
ae
(1-α)z
tgae
，
[0110][0111]
其中，α为可学习的参数，用于平衡两个表示的重要程度，表示融合编码信息，z
ae
表示节点特征编码信息，z
tgae
表示结构编码信息。
[0112]
具体的，可以通过结构和特征信息融合模块(structure and attribute information fusion,saif)实现融合。
[0113]
在其中一个实施例中，对融合编码信息进行软分配矩阵计算：
[0114][0115]
其中，q
ij
表示软分配矩阵中第i个节点属于第j个预计算聚类中心uj的概率，v表示
分布的自由度。
[0116]
具体的，第一步，使用学生t分布计算融合嵌入空间中第i个样本和第j个预先计算的聚类中心uj之间的相似度，v是学生t分布的自由度，q
ij
表示将第i个节点分配给第j个中心的概率(即软分配)。因此，询问矩阵q∈rn×k反映了所有样本的分布，k是聚类中心数。第二步，为了增加聚类分配的置信度，我们引入下式来驱动所有样本更接近聚类中心：
[0117][0118]
具体来说，0≤p
ij
≤1是生成的目标分布p∈rn×k中的一个元素，表示第i个样本属于第j个聚类中心的概率。
[0119]
跟生成询问矩阵q一样，通过z
tgae
和z
ae
可以生成两个询问矩阵q’，q”。为了在统一的框架中训练网络并提高每个组件的表达能力，我们通过采用以下形式的kl-divergence来设计三元组聚类损失：
[0120][0121]
在这个公式中，z
ae
、z
tgae
和融合表示的软分配分布的总和同时与目标分布对齐。由于目标分布是在没有人工指导的情况下生成的，我们将损失函数命名为三元聚类损失以及相应的训练机制称为三元组自监督策略。
[0122]
在其中一个实施例中，损失函数包括三部分，ae的重构损失、tgae的重构损失和kl损失，λ是预定义的超参数：
[0123]
l＝l
ae
l
tgae
λl
kl
。
[0124]
l
ae
是ae的重构损失，以节点特征矩阵x为输入，经过编码器获得隐层表示z
ae
，然后以融合表示作为解码器的输入，获得重构的节点特征矩阵
[0125][0126]
l
tgae
是tgae的重构损失，以节点特征矩阵x和通过随机游走构造的邻接矩阵为输入，经过编码器获得隐层表示z
tgae
，然后以融合表示作为解码器的输入，获得重构的加权节点特征矩阵和重构的邻接矩阵
[0127][0128]
其中，γ是预定义的超参数。
[0129]
l
kl
以在上述内容解释，表示聚类损失：
[0130][0131]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分
步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0132]
在一个实施例中，如图2所示，提供了一种基于多阶邻居信息传递融合聚类网络的图聚类装置，包括：预处理模块202、网络构建模块204、融合模块206、分布矩阵构建模块208和聚类模块210，其中：
[0133]
预处理模块，用于对原始图数据样本进行随机游走，得到优化邻接矩阵；
[0134]
网络构建模块，用于构建深度融合聚类网络；所述深度融合聚类网络包括第一图编码器和第二图编码器，通过所述第一图编码器，获取所述原始图数据样本的节点特征编码信息；通过所述第二图编码器，获取所述原始图数据样本的全局拓扑结构信息，将所述优化邻接矩阵作为权重，对所述全局拓扑结构信息进行加权，得到所述原始图数据样本的结构编码信息；
[0135]
融合模块，用于对所述节点特征编码信息和所述结构编码信息进行融合，得到融合编码信息；
[0136]
分布矩阵构建模块，用于对所述融合编码信息进行软分配矩阵和目标分布矩阵构建，得到软分配矩阵；所述软分配矩阵用于表示所述原始图数据样本的样本分布；再通过软分配矩阵生成目标分布矩阵；
[0137]
聚类模块，用于根据预先设置的损失函数，对所述深度融合聚类网络进行训练，利用训练好的深度融合聚类网络输出图数据对应的节点表示进行k-means聚类。
[0138]
关于基于多阶邻居信息传递融合聚类网络的图聚类装置的具体限定可以参见上文中对于基于多阶邻居信息传递融合聚类网络的图聚类方法的限定，在此不再赘述。上述基于多阶邻居信息传递融合聚类网络的图聚类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0139]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于多阶邻居信息传递融合聚类网络的图聚类方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0140]
本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0141]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有
计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
[0142]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
[0143]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0144]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0145]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。