融合图神经网络的大数据关联挖掘与知识推理方法及装置与流程

摘要: 本发明涉及数据挖掘推理,具体的说,涉及了一种融合图神经网络的大数据关联挖掘与知识推理方法及装置。背景技术:1、大数据环境下,数据间的关联关系日益复杂,图结构成为...
融合图神经网络的大数据关联挖掘与知识推理方法及装置与流程

本发明涉及数据挖掘推理,具体的说,涉及了一种融合图神经网络的大数据关联挖掘与知识推理方法及装置。

背景技术:

1、大数据环境下,数据间的关联关系日益复杂,图结构成为表示实体及其交互的自然形式。典型的图数据包括社交网络(用户-关注关系)、知识图谱(实体-关系-实体)、电商交互网络(用户-商品-属性)等。从这些图中挖掘有价值的知识,例如发现频繁出现的子图模式或预测缺失的链接,是数据挖掘领域的重要任务。

2、以电商平台为例,用户与商品之间的交互形成了包含数亿节点和边的异构图。从该图中挖掘出“购买某商品的用户也倾向于购买另一商品”的关联模式,可以直接用于推荐系统;同时,推理出“用户可能对尚未浏览的商品感兴趣”的知识,有助于个性化营销。因此,同时解决关联挖掘与知识推理问题具有重要的理论价值和实际意义。

3、现有方法面临三大挑战:

4、真实图通常包含数百万节点和边,传统图神经网络(gnn)的全图训练方式因内存和计算开销过大而不可行。

5、节点和边往往具有多种类型,特征空间异构,统一建模困难。例如,电商图中用户、商品、品牌三类节点的特征维度各不相同。

6、关联挖掘与推理的目标不同——前者关注结构频次,后者关注语义合理性,难以联合优化。

7、为了解决以上存在的问题,人们一直在寻求一种理想的技术解决方案。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种融合图神经网络的大数据关联挖掘与知识推理方法及装置。

2、为了实现上述目的,本发明第一方面提供一种融合图神经网络的大数据关联挖掘与知识推理方法,包括:

3、接收原始异构图后,采用自适应采样方法对原始异构图进行采样,获得小批量子图;

4、采用包括类型投影和多头注意力聚合的异构编码层对小批量子图进行处理;

5、处理后的结果分别送入到关联挖掘分支和推理分支,其中,关联挖掘分支用于输出子图显著性评分,推理分支输出三元组真实性评分;

6、对关联挖掘分支和推理分支计算加权联合损失,并进行反向传播:

7、为了实现上述目的,本发明第二方面提供一种融合图神经网络的大数据关联挖掘与知识推理装置,包括:

8、输入层,用于接收原始异构图;

9、自适应采样模块,用于采用自适应采样方法对原始异构图进行采样,获得小批量子图;

10、异构编码层,包括类型投影和多头注意力,用于对不同节点类型的小批量子图统一编码到同一个语义空间;

11、关联挖掘分支,用于输出子图显著性评分;

12、推理分支,用于输出三元组真实性评分;

13、联合损失函数模块,用于对关联挖掘分支和推理分支计算加权联合损失,并进行反向传播。

14、为了实现上述目的,本发明第三方面提供一种计算机设备,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口以及存储器通过通信总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现如第一方面所述的融合图神经网络的大数据关联挖掘与知识推理方法的步骤。

15、为了实现上述目的,本发明第四方面提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的融合图神经网络的大数据关联挖掘与知识推理方法的步骤。

16、为了实现上述目的,本发明第五方面提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面所述的融合图神经网络的大数据关联挖掘与知识推理方法的步骤。

17、本发明的有益效果为:

18、本发明设计自适应采样策略以支持大规模图的 mini-batch 训练;其次,构建基于注意力机制的异构信息编码模块,融合节点类型与边类型特征;再次,引入可微分关联挖掘模块与知识推理模块,并通过多任务学习联合优化。

1.一种融合图神经网络的大数据关联挖掘与知识推理方法,其特征在于,包括:

2.根据权利要求1所述的一种融合图神经网络的大数据关联挖掘与知识推理方法,其特征在于,所述自适应采样为:对于每个节点,采样邻居数量s(v)根据其度数动态调整,公式为:

3.根据权利要求1或2所述的一种融合图神经网络的大数据关联挖掘与知识推理方法,其特征在于,所述多头注意力以标准gat为基础,引入边类型嵌入,第层的注意力系数计算如下:

4.根据权利要求1所述的一种融合图神经网络的大数据关联挖掘与知识推理方法,其特征在于,所述关联挖掘分支采用sum与max的拼接作为读出函数:

5.根据权利要求1所述的一种融合图神经网络的大数据关联挖掘与知识推理方法,其特征在于,所述推理分支的单跳推理评分函数为:

6.根据权利要求1所述的一种融合图神经网络的大数据关联挖掘与知识推理方法,其特征在于,所述联合损失计算公式为:

7.一种融合图神经网络的大数据关联挖掘与知识推理装置,其特征在于:

8.一种计算机设备,其特征在于:包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口以及存储器通过通信总线完成相互间的通信;

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的融合图神经网络的大数据关联挖掘与知识推理方法的步骤。

10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的融合图神经网络的大数据关联挖掘与知识推理方法的步骤。