一种基于元社区一致性的集成社区检测方法及系统与流程

1.本发明属于集成社区检测领域，尤其涉及一种基于元社区一致性的集成社区检测方法及系统。


背景技术：

2.在集成社区检测的研究中，比较经典的有lf consensus方法。该方法对多次社区划分中节点成对出现在同一社区的频率做统计，以此构建“共识图”，而后在共识图上运行社区检测算法，并对此过程进行循环迭代。近期提出的medoc是另一种集成方法
49.，该方法首先将一组基本社区检测算法运行多次，获得基本社区，再根据这些社区彼此间的相似性构建一个多部图，以基本社区为节点，社区间的相似性为边；随后再以某个社区检测算法划分此多部图，获得“社区”的社区，称为“元社区”；最后以“相关函数”计算网络节点与元社区间的相关性，构成相关矩阵，从相关矩阵中提取最终的划分。这两种方法分别单独利用了节点间的相似性与社区间的相似性，二者都损失了集成中的一部分信息，造成检测结果不准确。


技术实现要素：

3.为解决上述技术问题，本发明提出了一种基于元社区一致性的集成社区检测方法及系统。
4.一方面为实现上述目的，本发明提供了一种基于元社区一致性的集成社区检测方法，包括：
5.对原网络进行社区划分，基于不同社区之间的相似性，构建一个多部图；
6.对所述多部图进行重划分，获取元社区；
7.基于网络节点在所述元社区中的隶属关系，构建元共识网络；
8.基于所述元共识网络获取所述原网络的社区结构，完成集成社区检测。
9.可选地，根据社区检测算法对所述原网络进行社区划分；
10.所述社区检测算法包括：基于模块度的方法、基于信息论的方法、标签传播方法和基于物理模型的方法。
11.可选地，获取所述不同社区之间的相似性包括：
12.对所述不同社区之间绘制连边；
13.对所述连边根据相似性度量进行加权，获取所述不同社区之间的相似性。
14.可选地，所述相似性度量为：
[0015][0016]
其中，sq()为基于模块性的相似度，ci与cj为两个不同的社区，m为原网络的边数，u为从ci里面取的一个节点，v为从cj里面取的一个节点，sq
uv
为u和v的相似度。
[0017]
可选地，对所述多部图进行重划分的方式为：选用ralgo算法。
[0018]
可选地，所述隶属关系为：所述网络节点隶属于所述多部图后，又隶属于所述元社区。
[0019]
可选地，构建所述元共识网络包括：
[0020]
基于所述隶属关系，统计网络节点对在所述元社区中共同出现的次数，构建元共识矩阵；
[0021]
对所述元共识矩阵寻找三元闭包进行采样，获得所述元共识网络。
[0022]
可选地，对所述元共识矩阵寻找三元闭包进行采样包括：
[0023]
在所述元共识矩阵中，计算互为邻居的节点对被划分到同一社区的频率；
[0024]
预设频率阈值，对所述频率小于所述频率阈值的进行过滤，获取过滤后的所述元共识矩阵；
[0025]
对过滤后的所述元共识矩阵中的每个节点选择一对邻居，完成所述元共识矩阵采样。
[0026]
另一方面为实现上述目的，本发明还提供了一种基于元社区一致性的集成社区检测系统，包括：第一构建模块、重划分模块、第二构建模块和输出模块；
[0027]
所述第一构建模块用于对原网络进行社区划分，基于不同社区之间的相似性，构建一个多部图；
[0028]
所述重划分模块用于对所述多部图进行重划分，获取元社区；
[0029]
所述第二构建模块用于基于网络节点在所述元社区中的隶属关系，构建元共识网络；
[0030]
所述输出模块用于基于所述元共识网络获取所述原网络的社区结构，完成集成社区检测。
[0031]
与现有技术相比，本发明具有如下优点和技术效果：
[0032]
本发明首先将m个基算法的k次运行结果进行集成，根据集成构建一个多部图；而后通过对多部图的重划分得到元社区；通过节点对在元社区中的共现关系构建元共识网络；最后通过对元共识网络的重划分得出社区结构。构建元共识图的过程中使用了一种基于三元闭包的采样方法，以减少计算代价。提出了一种考虑了局部拓扑特性的社区相似性度量，使得结果更为准确。
附图说明
[0033]
构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0034]
图1为本发明实施例1的一种基于元社区一致性的集成社区检测方法流程示意图；
[0035]
图2为本发明实施例1的mecon具体工作流示意图；
[0036]
图3为本发明实施例2的一种基于元社区一致性的集成社区检测系统示意图。
具体实施方式
[0037]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
[0038]
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0039]
实施例1
[0040]
本发明提供了一种基于元社区一致性的集成社区检测方法，包括：
[0041]
对原网络进行社区划分，基于不同社区之间的相似性，构建一个多部图；
[0042]
对多部图进行重划分，获取元社区；
[0043]
基于网络节点在元社区中的隶属关系，构建元共识网络；
[0044]
基于元共识网络获取原网络的社区结构，完成集成社区检测。
[0045]
进一步地，根据社区检测算法对原网络进行社区划分；
[0046]
社区检测算法包括：基于模块度的方法、基于信息论的方法、标签传播方法和基于物理模型的方法。
[0047]
进一步地，获取不同社区之间的相似性包括：
[0048]
对不同社区之间绘制连边；
[0049]
对连边根据相似性度量进行加权，获取不同社区之间的相似性。
[0050]
进一步地，相似性度量为：
[0051][0052]
其中，sq()为基于模块性的相似度，ci与cj为两个不同的社区，m为原网络的边数，u为从ci里面取的一个节点，v为从cj里面取的一个节点，sq
uv
为u和v的相似度。
[0053]
进一步地，对多部图进行重划分的方式为：选用ralgo算法。
[0054]
进一步地，
[0055]
隶属关系为：网络节点隶属于多部图后，又隶属于元社区。
[0056]
进一步地，构建元共识网络包括：
[0057]
基于隶属关系，统计所有网络节点对在元社区中共同出现的次数，构建元共识矩阵；
[0058]
对元共识矩阵寻找三元闭包进行采样，获得元共识网络。
[0059]
进一步地，对元共识矩阵寻找三元闭包进行采样包括：
[0060]
在元共识矩阵中，计算互为邻居的节点对被划分到同一社区的频率；
[0061]
预设频率阈值，对频率小于频率阈值的进行过滤，获取过滤后的元共识矩阵；
[0062]
对过滤后的元共识矩阵中的每个节点选择一对邻居，完成元共识矩阵采样。
[0063]
如图1所示，本实施例提供了一种基于元社区一致性的集成社区检测方法(简称mecon)，具体包括：
[0064]
(1)构建多部网络。对于输入网络g《v,e》，mecon将基算法族运行k次，生成集成其中代表算法alm第k次运行得到的社区划分，以如下方式构建p-部图gp：节点由构成，即集成中的每个
社区是gp的一个节点；可以从社区到社区绘制一条连边，在这条边上，可以根据相似性度量进行加权。s的定义将在后面阐述。在同一划分中的任何顶点都是不连通的，因为同一划分中的每个社区是不相交的，没有相似性。
[0065]
其中，基算法族为4种基本社区检测算法包括：基于模块度的方法、基于信息论的方法、标签传播方法和基于物理模型的方法，对4种算法同时运行若干次，取综合的结果。
[0066]
(2)对于多部图的重划分。此步中，在多部网络gp上运行社区检测算法ralgo，输出由l个社区组成的社区结构由于是从第一步获得的多部图进行划分，本步中得到的社区都可以称为“元社区”(或社区的社区)。
[0067]
(3)构建元共识网络。在步骤1中，获得集成后，每个节点在每次划分中都隶属于某个社区经过步骤2，集成γ中的社区被重新分组为元社区，因此原网络中的每个节点都隶属于某个元社区基于这样的隶属关系，统计节点对在元社区中共同出现的次数，构建n
×
n的元共识矩阵其中代表节点i和j被划分到同一社区的频率。如果对网络中的每对节点都作统计的话，构建的时间复杂度将达到o(n2)(n为网络的节点数)。根据网络的拓扑结构寻找三元闭包进行采样即可。具体的方法分为以下3步：
[0068]
(i)仅对在g中互为邻居的节点对i和j计算
[0069]
(ii)阈值过滤。设置阈值τ，将小于τ值的矩阵项置零。此步骤可以移除弱连接以过滤确定性不高的共现关系。通过这一步，有可能会产生一些孤立节点。如果某个节点真的断开了连接，通过恢复其权重最高的一条连边来将它连回图中，以便让图始终处于连通状态。
[0070]
(iii)随机选择输入网络g中的m(网络的边数)个节点，为其中的每个节点随机选择一对邻居，分别为节点j和k；如果矩阵项则将其置为节点j与k共同出现在同一元社区的频率。
[0071]
(4)最终得出社区结构。对元共识网络执行普通社区检测算法来获得原网络的社区结构。
[0072]
关于上述提到的社区间的相似性s，本实施例提出一种基于模块度的社区相似性度量sq。一个划分的模块度可按下式计算：
[0073][0074]
从单个节点的角度看，模块度实际上定义了一种节点相似性的度量，节点i和j之间的相似度可以写成：
[0075]
[0076]
直接将上式作为节点的相似性度量存在以下问题：由于邻接矩阵中有所以节点与自身的相似度为负，即针对此问题，本文将节点相似度定义为：
[0077][0078]
依据上式，社区ci与间cj的相似度可定义为：
[0079][0080]
本实施例为输入mecon的划分设计了一个筛选过程，从基算法生成的mk个基本划分中，筛选s个作为mecon的输入。筛选的标准同时将划分的质量以及划分之间的差异性作为依据，可计算如下：
[0081][0082]
其中q和nmi分别指模块度和归一化互信息，pi,pj指的是集成中的基本划分。
[0083]
利用穷举法求解score的最大值计算复杂度过高，本实施例根据贪心策略求解：先将集成中的所有划分依据q降序排序，将q最大的划分加入候选集，然后逐渐向候选集中添加划分，每一次都添加使下式最大的那个划分，直到选出s个划分为止。
[0084][0085]
其中代表候选集。
[0086]
在本实施例中还提供一个简单的实例来表述mecon算法的具体工作流程。如图2所示，虚线代表算法划分出的社区边界。假设基算法在第一步中生成了三个不同的社区结构，对于每个社区进行分组编号，划分1中的两个社区分别标为c
11
和c
12
，划分2中的两个社区则标为c
21
和c
22
，以此类推。使用雅卡尔系数(jc)作为社区间相似度的度量，对于每个社区，只计算它与其他划分中的社区的相似度，忽略同一划分中的社区之间的相似度；随后以社区为节点，社区间相似度为边构建一个新的图，该图显然为一个三部图。从图2中可以看出，社区c
11
与划分2中的c
21
，划分3中的c
31
和c
32
之间有连边，而与c
22
无连边，因为c
11
与c
22
之间的相似度为0。
[0087]
mecon算法的第二步是在得出的三部图上运行标准社区检测算法，输出的社区结构即为“元社区”。可以看到，三部图中的节点c
11
,c
21
和c
31
被划分到了同一元社区，可以标记为mc1，而节点c
12
，c
22
，c
32
和c
33
被划分到了另一元社区mc2。第三步是根据节点在元社区中的多次不同分配情况提取元共识网络。从图2可以看出，原始网络节点d与节点b,c被划分到同一元社区(mc1)中一次，所以元共识图的边权值而d与e,f被划分到同一元社区(mc2)中两次，所以元共识图的构建并不需要计算每一对节
点，而是根据原始网络的连边关系构建三元闭包进行采样即可，采样的结果在图2中以小框内的内容表示，并在的邻接矩阵中有所体现。由于d,e,f更频繁地被分配到一起，所以最终结果中它们也被划分到同一个社区。
[0088]
时间复杂度分析
[0089]
mecon算法中计算成本较高的主要有两个过程：在第一步中构建多部图的过程和在第三步中构建元共识矩阵的过程。这两个过程的时间复杂度可估计如下：
[0090]
(1)对于前者来说，最坏的情况是：一个划分中的每个节点都连接到另一个划分的每个节点上。当基算法的数量为m，每个算法运行次数为k，每个划分的平均大小为时(即该划分中有个社区)，在上述情况下，构建多部图的时间复杂度为其中其中m，k＜＜m。
[0091]
(2)对于后者来说，由于利用了三元闭包采样的过程来代替对每一对顶点进行计算，时间复杂度降低至近似线性的o(m)，m为输入网络的边数。
[0092]
mecon算法的平均时间复杂度受实验中的实际参数影响。如人工网络的实验中，参数会影响真实网络的实验中，数据集的不同也会影响m是基算法的数量，一般选择3～5个。k是一个可以自由调整的参数，其设置见4.3节的实验。mecon的复杂度在连边密集的网络中有较大的可能为o(n)，而在连边稀疏的网络中有较大的可能为综上，mecon总体的时间复杂度为
[0093]
实施例2
[0094]
如图3所示，本实施例提供了一种基于元社区一致性的集成社区检测系统，包括：第一构建模块、重划分模块、第二构建模块和输出模块；
[0095]
第一构建模块用于对原网络进行社区划分，基于不同社区之间的相似性，构建一个多部图；
[0096]
重划分模块用于对多部图进行重划分，获取元社区；
[0097]
第二构建模块用于基于网络节点在元社区中的隶属关系，构建元共识网络；
[0098]
输出模块用于基于元共识网络获取原网络的社区结构，完成集成社区检测。
[0099]
实施例3
[0100]
社团检测算法旨于划分复杂网络的社团结构，获得高质量的社团划分结构，根据划分的社团结构可以实现众多实际应用。好友推荐，商品推荐，短视频推荐等是当前的大数据时代最为热点的应用方向，本实施例以好友推荐作为示例，介绍社团检测算法在好友推荐中的应用流程:
[0101]
mecon算法首先将m个基算法的k次运行结果进行集成，根据集成构建一个多部图；而后通过对多部图的重划分得到元社区；通过节点对在元社区中的共现关系构建元共识网络；最后通过对元共识网络的重划分得出社区结构。构建元共识图的过程中使用了一种基于三元闭包的采样方法，以减少计算代价。提出了一种考虑了局部拓扑特性的社区相似性度量，使得结果更为准确。将mecon算法在好友推荐中进行应用的流程如下：
[0102]
1.mecon算法的输入数据为邻接矩阵，对应复杂网络的结构信息，因此在进行信息采集时，需要获取用户的好友信息，用户的好友信息量化获得复杂网络的邻接矩阵。
[0103]
2.根据获得的复杂网络执行mecon算法。首先根据集成构建多部图，其中多部图中不同部分之间的边权值代表社区相似度，可直接以jaccard相似度计算，也可利用本文提出的相似度计算；而后对多部图进行重划分得到元社区；再然后根据元社区构建元共识网络；最后划分元共识网络得到社团划分结果。
[0104]
3.根据社团划分结果，每个用户具有划分结果的集合，与用户当前好友的集合进行对比，取两集合的差集作为用户好友推荐的内容。mecon算法简化了好友推荐的步骤。
[0105]
以上，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。