基于低通滤波和l1范数的图神经网络系统

1.本发明属于机器学习领域，特别是一种基于低通滤波和l1范数的图神经网络系统。


背景技术：

2.随着大数据时代的到来，机器学习已然为许多领域带来了巨大变革，例如图像分类、视频处理、语音识别和自然语言处理等。启发于传统机器学习中的诸如卷积神经网络、周期神经网络、生成对抗网和自动编码器等的传统方法，图神经网络以其能够有效处理复杂的图数据而备受关注。图神经网络在2005年由gori等人提出，并在2009年由scarselli等人进一步阐明的，其最初研究目的是使用神经网络来学习图，提取和发掘图数据中的特征和模式，满足聚类、分类、预测、分割和生成等图学习任务需求。


技术实现要素：

3.基于图神经网络的学习，本发明提出了一种基于低通滤波和l1范数的图神经网络系统。首先，本发明公开的一种基于低通滤波和l1范数的图神经网络系统按照数据流的走向分为输入(input)模块、随机失活(dropout)模块、图卷积神经网络(gcn)模块、动态线性整流(dynamic relu)模块、图卷积神经网络(gcn)模块、一种基于低通滤波和l1范数的图神经网络模块、归一化指数函数(softmax)模块和输出(output)模块；其次，本发明公开的一种基于低通滤波和l1范数的图神经网络系统中的一种基于低通滤波和l1范数的图神经网络模块分为三部分，第一部分是采用低通滤波处理的，并编码原始特征矩阵信息到目标特征矩阵信息的拟合项，第二部分是具有全局光滑作用的图拉普拉斯正则项，第三部分是具有局部光滑自适应性的l1范数项；再者，采用近端交替预测校正算法对本发明公开的一种基于低通滤波和l1范数的图神经网络系统中的一种基于低通滤波和l1范数的图神经网络模块进行求解；最后，使用本发明提出的基于低通滤波和l1范数的图神经网络系统对多个经典的图数据集进行图节点分类，并最终通过与现有的经典图神经网络进行对比表明本发明提出的一种基于低通滤波和l1范数的图神经网络系统的有效性。
4.本发明提供一种基于低通滤波和l1范数的图神经网络系统，按照对图信号处理的流程，包括输入模块、随机失活模块、第一图卷积神经网络模块、动态线性整流模块、第二图卷积神经网络模块、基于低通滤波和l1范数的图神经网络模块、归一化指数函数模块和输出模块；
5.所述输入模块，用于接收图信号以及表征图拓扑结构的邻接矩阵；
6.所述随机失活模块，用于随机丢弃图信号中的少部分特征，防止过拟合问题的出现；
7.所述第一图卷积神经网络模块，用于对图信号进行第一次学习，提取图信号的特征；
8.所述动态线性整流模块，用于增加图神经网络各层之间的非线性关系，使得图神
经网络可以更好地解决较为复杂的问题；
9.所述第二图卷积神经网络模块，用于对图信号进行第二次学习，提取图信号的特征；
10.所述基于低通滤波和l1范数的图神经网络模块，用于采用优化的思想对图信号进行学习，提取图信号的特征；
11.所述归一化指数函数模块，用于将图节点分类的结果以概率的形式展现出来；
12.所述输出模块，用于输出图节点的类别。
13.进一步的，所述基于低通滤波和l1范数的图神经网络模块包括：拟合项、图拉普拉斯正则项和l1范数项；
14.所述拟合项，采用低通滤波处理，并编码原始特征矩阵信息到目标特征矩阵信息；所述图拉普拉斯正则项，是具有全局光滑作用的图拉普拉斯正则项；
15.所述l1范数项，是具有局部光滑自适应性的l1范数项。
16.进一步的，所述基于低通滤波和l1范数的图神经网络模块包括采用近端交替预测校正算法进行求解。
17.进一步的，所述基于低通滤波和l1范数的图神经网络模块对应的优化方程如下所示：
[0018][0019]
其中，x表示输入到图神经网络中的原始信号，y是图神经网络模型经过k步迭代之后的最终表示信号，μ,ρ1和ρ2分别为平衡参数，为正则化的邻接矩阵，是度矩阵，a为图的邻接矩阵，i为单位矩阵，tr(
·
)是矩阵的迹，为图的拉普拉斯矩阵，||
·
||1为l1范数，vi是图的第i个顶点，vj是图的第j个顶点，di是度的第i个元素值，dj是度的第j个元素值，yi和yj是y的第i个和j个元素值。
[0020]
进一步的，采用近端交替预测校正算法对式(1)进行求解，其求解过程如下所示：
[0021]
将式(1)对应的优化方程分为两项，具体如下所示：
[0022][0023][0024]
于是，式(1)变为：
[0025]
[0026]
其中，由于较难直接求解于是将的求解问题转换为对的共轭函数进行求解，转换后的问题具体如下式所示：
[0027][0028]
其中，为上确界，g
*
(z)为的共轭函数，z为新引入的待求解矩阵变量；于是式(2)转换为以下问题求解：
[0029][0030]
进一步的，采用最速下降法求解y
k 1
，求解过程如下所示：
[0031][0032]
其中，k，k 1分别表示求解过程的第k，k 1步，为的转置；
[0033][0034]
令则可得：
[0035][0036]
所以，最终得到y
k 1
为：
[0037][0038]
进一步的，采用最速上升法求解z
k 1
，具体分为两个步骤求解：
[0039]
s1、根据最速上升法求解
[0040][0041]
s2、因为g
*
(z)是对应的共轭函数，且是关于的l1范数，所以最终可以按列求得对应的z
k 1
，具体表达式如下所示：
[0042][0043]
其中min(,)是求最小值函数，sign(
·
)为符号函数。
[0044]
进一步的，重新更新变量y
k 1
，求解过程如下所示：
[0045][0046]
本发明的有益效果是：采用本文提出的一种基于低通滤波和l1范数的图神经网络系统，可以有效的对图节点进行分类。
附图说明
[0047]
图1是一种基于低通滤波和l1范数的图神经网络系统的结构框图；
[0048]
图2是一种基于低通滤波和l1范数的图神经网络模块求解流程图。
具体实施方式
[0049]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0050]
如图1所示，是一种基于低通滤波和l1范数的图神经网络系统的结构框图。从该图可以看出，构建一种基于低通滤波和l1范数的图神经网络系统，该系统按照数据流的走向分为输入(input)模块、随机失活(dropout)模块、第一图卷积神经网络(gcn)模块、动态线性整流(dynamic relu)模块、第二图卷积神经网络(gcn)模块、基于低通滤波和l1范数的图神经网络模块、归一化指数函数(softmax)模块和输出(output)模块。
[0051]
图2是一种基于低通滤波和l1范数的图神经网络模块求解流程图。从该图可以看出基于低通滤波和l1范数的图神经网络模块分为三部分，第一部分是采用低通滤波处理的，并编码原始特征矩阵信息到目标特征矩阵信息的拟合项，第二部分是具有全局光滑作用的图拉普拉斯正则项，第三部分是具有局部光滑自适应性的l1范数项。
[0052]
基于低通滤波和l1范数的图神经网络模块包括采用近端交替预测校正算法进行求解。
[0053]
基于低通滤波和l1范数的图神经网络模块对应的优化方程如下所示：
[0054][0055]
其中，x表示输入到图神经网络中的原始信号，y是图神经网络模型经过k步迭代之后的最终表示信号，μ,ρ1和ρ2分别为平衡参数，为正则化的邻接矩阵，是度矩阵，a为图的邻接矩阵，i为单位矩阵，tr(
·
)是矩阵的迹，为图的拉普拉斯矩阵，||
·
||1为l1范数，vi是图的第i个顶点，vj是图的第j个顶点，di是度的第i个元素值，dj是度的第j个元素值，yi和yj是y的第i个和j个元素值。
[0056]
采用近端交替预测校正算法对式(1)进行求解，其求解过程如下所示：
[0057]
将式(1)对应的优化方程分为两项，具体如下所示：
[0058][0059][0060]
于是，式(1)变为：
[0061][0062]
其中，由于较难直接求解于是将的求解问题转换为对的共轭函数进行求解，转换后的问题具体如下式所示：
[0063][0064]
其中，为上确界，g
*
(z)为的共轭函数，z为新引入的待求解矩阵变量；于是式(2)转换为一下问题求解：
[0065][0066]
采用最速下降法求解y
k 1
，求解过程如下所示：
[0067][0068]
其中，k，k 1分别表示求解过程的第k，k 1步，为的转置；
[0069][0070]
令则可得：
[0071][0072]
所以，最终得到y
k 1
为：
[0073][0074]
采用最速上升法求解z
k 1
，具体分为两个步骤求解：
[0075]
s1、根据最速上升法求解
[0076][0077]
s2、因为g
*
(z)是对应的共轭函数，且是关于的l1范数，所以最终可以按列求得对应的z
k 1
，具体表达式如下所示：
[0078][0079]
其中min(,)是求最小值函数，sign(
·
)为符号函数。
[0080]
重新更新变量y
k 1
，求解过程如下所示：
[0081][0082]
表1为采用不同的图神经网络进行图分类效果对比表，ourgnn为本发明提出的新的图神经网络系统，相较于其他经典图神经网络gcn(图卷积神经网络)、gat(图注意力神经网络)、sgc(简化图卷积网络)、appnp(加速的神经预测个性化传播)、graphsage(图抽样聚合神经网络)所进行的图节点分类，使用本发明提出的基于低通滤波和l1范数的图神经网络系统对多个经典的图数据集进行图节点分类，并最终通过与现有的经典图神经网络进行对比表明了本发明提出的一种基于低通滤波和l1范数的图神经网络系统的有效性。
[0083]
表1
[0084]
图数据集ourgnngcngatsgcappnpgraphsagecora82.57
±
0.5879.6
±
1.180.1
±
1.280.2
±
1.582.2
±
1.379.0
±
1.1citeseer70.98
±
1.5368.9
±
1.268.9
±
1.868.9
±
1.370.4
±
1.267.5
±
2.0pubmed79.72
±
2.0977.6
±
2.377.6
±
2.275.5
±
2.978.9
±
2.277.6
±
2.0cs92.75
±
0.5591.6
±
0.691.1
±
0.590.1
±
1.392.5
±
0.391.7
±
0.5physics94.51
±
0.4593.3
±
0.893.3
±
0.793.1
±
0.693.7
±
0.792.5
±
0.8computers81.54
±
1.8979.8
±
1.679.3
±
2.473.0
±
2.080.1
±
2.180.7
±
1.7photo91.61
±
1.6690.3
±
1.289.6
±
1.683.5
±
2.990.8
±
1.390.9
±
1.0
[0085]
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。