一种基于模体和混合专家网络的属性图聚类方法
本技术涉及图神经网络与属性图聚类,特别是涉及一种基于模体和混合专家网络的属性图聚类方法。
背景技术:
1、属性图聚类是一项基础的无监督学习任务,旨在利用图结构与节点属性将节点划分为具有紧密内在联系的语义组群,在社交网络分析、学术引文网络和生物信息学等领域具有广泛的应用价值。然而,属性图聚类的一个关键挑战在于缺乏直接的监督信息,这使得学习到能有效融合结构与属性、具有判别力的节点表示变得十分困难。
2、近年来,针对属性图聚类的挑战,现有技术提出了多种基于深度学习的方法。一类方法基于图自编码器,通过重建图结构或节点属性来指导节点表示的学习,例如gae和arga。另一类深度聚类方法,如daegc和sdcn,通过联合优化表示学习与聚类目标,迭代增强表示的判别性。此外,自监督学习通过构建辅助任务来克服监督信息缺失的问题。例如,dgi和infograph通过最大化互信息来指导表示学习;而autossl则探索在单个图上同时学习多个自监督学习任务,并通过自动搜索任务权重融合多样化的自监督信号,以增强表示的判别性。
3、然而,现有的大多数属性图聚类方法仍主要依赖一阶邻域聚合的消息传递机制,这限制了模型对高阶拓扑结构的捕获能力。高阶结构往往承载着重要的社区组织信息与语义线索。研究表明,用模体构建的高阶结构能揭示网络中稳定且语义丰富的连接模式。因此,越来越多的研究尝试将模体信息显式引入图表示学习,例如,mgnn通过对多种三节点模体分别构建模体邻接矩阵,并在不同模体空间上进行信息聚合,以提升对局部高阶结构的捕获能力;mcn则专注于设计模体感知的注意力机制,进一步增强节点在高阶语境下的表达能力。但是,将模体信息单一地并入现有聚类框架仍有局限:一方面,仅利用模体可能忽视基于属性或低阶邻接的互补信息;另一方面,现有的大多数多任务自监督学习框架主要集中于融合既定任务,缺乏有效利用由模体生成的高阶多视图信息的能力。此外,当融合高阶模体视图时,视图内信息冗余和视图间表示不一致的问题会进一步放大,难以施加强判别性约束。
4、同时,传统对比学习方法通常将批次内除自身外的所有样本视为负样本,这会导致假负问题,即将真正语义相近的节点错误地视为负样本,从而损害聚类性能。现有方法对于如何在属性图聚类场景下构建可靠的正负样本对,尚缺乏系统有效的解决方案。
技术实现思路
1、本发明为克服上述现有技术高阶拓扑信息捕获不足、假负样本影响聚类性能以及缺乏节点级动态融合机制的技术问题,提供一种基于模体和混合专家网络的属性图聚类方法。
2、为解决上述技术问题,本发明的技术方案如下:
3、一种基于模体和混合专家网络的属性图聚类方法,包括以下步骤:
4、s1:获取属性图,基于所述属性图获取原始视图,并基于预设的模体结构匹配生成所述属性图对应的多个模体视图;
5、s2:构建属性图聚类模型,包括依次连接的视图编码模块、视图特征融合模块、视图级对比学习模块和聚类对齐模块;
6、s3:将所述原始视图和多个模体视图输入所述视图编码模块进行编码,得到多个初始嵌入;
7、s4:将所述多个初始嵌入输入所述视图特征融合模块进行自监督学习,得到多个融合嵌入,基于各融合嵌入计算跨视图统一嵌入,并构建自监督损失;
8、s5:视图级对比学习模块基于所述多个视图初始嵌入和视图融合嵌入,构建对比学习损失;
9、s6:聚类对齐模块基于跨视图统一嵌入计算聚类对齐损失;
10、s7:基于聚类对齐损失、自监督损失和对比学习损失构建总损失函数,并基于总损失函数对属性图聚类模型进行优化,得到统一节点嵌入,基于所述统一节点嵌入计算得到属性图聚类结果。
11、优选地,所述步骤s1中,定义属性图,其中,为n个节点的集合,为边集合,为节点特征矩阵;
12、基于属性图获取邻接矩阵,所述邻接矩阵与节点特征矩阵构成原始视图。
13、优选地,预设的模体结构包括:和,其中,为三个节点两两存在双向连接所构成的闭环结构,为一个中心节点与两个邻居节点构成的开链结构;
14、遍历属性图,匹配属性图中符合三角形模体结构的属性图子图作为其对应的模体实例图;
15、整合所有模体实例图分别得到、三角形模体结构对应的模体实例集,遍历邻接矩阵,计算节点间在模体实例集中共同参与的次数,构建模体邻接矩阵:
16、
17、其中,,为从邻接矩阵中提取的双向边子图,当且仅当节点与之间存在双向连接时;
18、各模体邻接矩阵和节点特征矩阵构成各模体结构对应的模体视图。
19、优选地,所述步骤s3中,视图编码模块采用变分图自编码器对所述原始视图和多个模体视图进行编码处理,得到分别与所述原始视图和多个模体视图对应的多个初始嵌入。
20、优选地,所述步骤s4中,所述视图特征融合模块基于混合专家网络,对多个初始嵌入进行自监督学习:
21、对每个视图设置个专家网络,每个专家网络是一个独立的gcn层,生成自监督任务特定的嵌入:
22、
23、其中,为第i个视图的第k个专家网络,,为的对称归一化矩阵,为第i个视图的初始嵌入,为第k个专家网络的可学习参数,为激活函数;
24、第个视图的总自监督损失为所有个专家网络的损失之和:
25、
26、其中,为第个专家网络的损失函数,为第个视图第个专家网络中,图卷积特征变换层的可学习参数,为第个视图第个专家网络中,为对应任务判别头的可学习参数;
27、混合专家网络损失为:
28、
29、为视图的混合专家网络设置独立的门控网络,并为该视图中每个节点动态生成个专家网络的权重:
30、
31、其中,是节点的初始嵌入向量,是门控网络的可学习参数;
32、获得专家特征和门控权重后,通过加权求和为各模体视图每个节点生成节点融合嵌入:
33、
34、其中,是节点对专家的权重,是专家为节点生成的嵌入向量;
35、将所有节点融合嵌入堆叠,得到融合嵌入;对所有融合嵌入取平均,得到跨视图统一嵌入。
36、优选地,所述步骤s5中,构建对比学习损失包括:
37、分别计算各视图之间融合嵌入的相似度矩阵、各视图内初始嵌入和融合嵌入的相似度矩阵;
38、构建各视图的转移矩阵,基于所述转移矩阵与多步随机游走策略生成各视图的伪目标矩阵;
39、基于所述各视图之间融合嵌入的相似度矩阵、各视图内初始嵌入和融合嵌入的相似度矩阵和伪目标矩阵构建对比学习损失,所述对比学习损失包括模体视图内对比损失和模体视图间对比损失。
40、优选地,对比学习损失表示为:
41、
42、
43、
44、其中,为视图内对比损失,为视图间对比损失,为视图内初始嵌入和融合嵌入的相似度矩阵,为视图间融合嵌入的相似度矩阵,为视图的融合嵌入,为交叉熵函数,为伪目标矩阵,为视图数量。
45、优选地,所述步骤s6中,聚类对齐损失表示为:
46、
47、
48、
49、其中,kl为kullback-leibler散度,为当前多视图下的节点软分配概率分布矩阵,为第个节点属于第个聚类中心的软分配概率,所述软分配概率基于跨视图统一嵌入与聚类中心计算得来,为通过对软分配概率分布进行强化处理后构建的目标分布矩阵,为目标分布中第个节点属于第个聚类中心的概率,为跨视图统一嵌入,为聚类中心。
50、优选地,基于所述统一节点嵌入计算得到多视图图聚类结果包括:基于所述统一节点嵌入计算与聚类中心的软分配概率,以软分配概率最大的聚类簇作为对应节点的所属类别,整合得到属性图聚类结果。
51、优选地,所述步骤s7中,总损失函数表示为:
52、
53、其中,和为平衡不同损失项权重的超参数,为自监督损失,为对比学习损失,为聚类对齐损失。
54、与现有技术相比,本发明技术方案的有益效果是:
55、本发明通过引入模体结构生成多个模体视图,有效捕获高阶拓扑信息;采用自监督学习任务构建融合嵌入,并基于所述融合嵌入计算跨视图统一嵌入,增强嵌入的判别性;设计基于高阶随机游走的对比学习,缓解假负样本问题,促进多视图信息对齐;联合优化聚类对齐损失、自监督损失和对比学习损失,得到统一节点嵌入,基于所述统一节点嵌入计算得到多视图图聚类结果,本发明能够有效提取图高阶结构,实现节点嵌入自适应特征融合,缓解对比学习中的假负样本问题,从而提升属性图聚类的精度与判别性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com