一种基于多核宽度图神经网络特征提取与分类方法

1.本发明涉及一种基于多核宽度图神经网络特征提取与分类方法，属于人工神经网络技术领域。


背景技术：

2.卷积神经网络(convolutional neural network,cnn)对图像(image)、自然语言序列等结构化数据特征提取与分类效果显著，已广泛应用于图像分类、语义分割及自然语言处理等领域。在一些其他领域，如分子结构、社会网络、生物蛋白质-蛋白质网络、推荐系统等领域数据除了数据本身特征外，还具有复杂的空间几何邻接关系，需要以图(graph)形式建模。图学习是机器学习领域中的一个重要分支，与图像与序列等结构化数据不同，图具有复杂的空间结构，图中节点与节点间拥有复杂的连接关系。因此，图学习是一项复杂的任务。
3.近几年，图表示学习任务吸引了越来越多研究关注。kipf等人提出图卷积神经网络(graph convolutional networks,gcn)，通过聚合和转换其原始邻居或基于元路径邻居的信息来学习与更新节点自身表征，取得了非常好的效果。petar等人提出图注意力神经网络(graph attention networks,gat)，引入注意力机制来学习邻居对自身的注意力权重，在计算节点表征时，通过注意力权重来聚合与转换邻居表征信息并更新节点自身表征。zhang等人提出门控注意力图神经网络(gated graph attention networks,gaan)，不同于传统多头注意力机制，使用一个卷积算子网络来控制每个注意力头部的重要性，以此来提升模型特征提取与分类的精度。
4.研究表明，图神经网络遵循的消息传递机制特性不可避免地出现深层特征过平滑问题，导致增加gcn层数时，不仅无法提升模型性能，甚至使模型效果比传统非图神经网络模型更差。因此，如何保证gcn在过参数化时对模型训练与拟合不产生负面影响，突破gcn的模型加深限制，提升网络对数据的非线性拟合与表征能力是一个关键科学问题。


技术实现要素：

5.本发明要解决的技术问题是本发明要解决的技术问题是提供一种基于多核宽度图神经网络特征提取与分类方法，以用于解决深度图神经网络特征过平滑等问题，增加图神经网络模型的信息容量大小以及增强图神经网络对数据的非线性拟合能力。
6.本发明的技术方案是：一种基于多核宽度图神经网络特征提取与分类方法，其特征在于：首先以图结构形式对输入数据进行建模，生成数据特征矩阵与邻接矩阵；对数据特征矩阵中的每个向量vi进行线性变换，生成线性映射向量hi；
7.构造扩展基核集k，从扩展基核集中抽取一个核函数，利用选定核函数对线性映射矩阵进行非线性特征映射，计算图核注意力权重，构建图核注意力机制下的空域图卷积，使用扩展基核集k中所有核函数计算特征向量拼接生成特征扩展向量构成特征扩展矩阵hk；
8.构造增强基核集ke，从增强基核集中抽取一个核函数，利用选定核函数对特征扩展矩阵hk进行增强映射，计算图核注意力权重，构建图核注意力机制下的空域图卷积，计算特征增强向量构成特征增强矩阵
9.将特征扩展矩阵hk与所有得到的特征增强矩阵并列放置，得到表征矩阵集合x，设计一组科学系权重ω，对表征矩阵集合中所有表征矩阵进行加权聚合，得到节点表征矩阵
10.通过自注意力机制特征映射，将节点表征矩阵映射到类别概率输出空间，得到数据中每个节点对应任务中所有类别的概率输出，得到图数据分类结果，进而得到原始输入数据的分类结果。
11.具体步骤为：
12.step1：将输入数据建模为图模型g＝(v,e)，具体表现为数据特征矩阵与邻接矩阵，将数据特征矩阵与邻接矩阵输入到网络。
13.step2：构建一个可学习的线性特征变换矩阵w∈rf×f，将节点表征向量vi线性变换到另一个特征空间，得到线性映射向量hi，表示为hi＝wvi∈rf。
14.step3：设计自注意力机制attn:rf×
rf→
r，利用核函数作非线性特征映射，为目标节点邻域n(i)节点学习一个注意力权值构成多核注意力图特征映射机制。
15.step4：利用softmax函数对目标点注意力权重进行归一化，表示为对于选定的一个特定核函数km，目标点注意力权重表示为
16.step5：构建图核注意力机制下的空域图卷积运算，表示为
17.step6：从候选核函数组中选取任意数量的核函数，并依据先验知识设定核函数参数，构造一组扩展基核集k＝{k1,k2,
…
,km}。
18.step7：以多核方式扩展图注意力网络数据特征域，从扩展基核集k中抽取一个核函数km，使用step5中的空域图卷积运算，计算得到核函数km映射下的特征扩展向量
19.step8：重复step7，直到使用扩展基核集k中所有核函数计算特征向量将得到的所有特征向量进行特征域拼接，生成特征扩展向量由所有特征扩展向量构成特征扩展矩阵
20.step9：从候选核函数组中选取任意数量的核函数，并依据先验知识设定核函数参数，构造一组增强基核集ke＝{k
1e
,k
2e
,
…
,k
pe
}。
21.step10：以多核方式进行网络宽度扩展，从增强基核集ke中抽取一个核函数k
pe
，使用step5中的空域图卷积运算看，计算得到核函数k
pe
映射下的特征增强向量由所有当
前核函数下的特征增强向量构成特征增强矩阵
22.step11：重复step10，直到使用增强基核集ke中所有核函数计算并构成特征增强矩阵由特征扩展矩阵hk与计算得到的所有特征增强矩阵并列放置，构成表征矩阵集合
23.step12：设计一组可学习权重ω＝{μ1,μ2,...,μq}∈r
x
，满足将表征矩阵集合x通过可学习权重ω加权聚合，得到节点表征矩阵
24.step13：利用节点表征矩阵通过自注意力机制特征映射，计算得到数据中每个节点对应任务中所有类别的概率输出，得到图数据节点分类结果，进而得到原始输入数据的分类结果。
25.进一步地，step6和step9中所述的候选核函数组，包含以下核函数：
26.线性核k(x,x
′
)＝x
t
x
′
c、多项式核k(x,x
′
)＝(x
t
x
′
c)d、sigmoid核k(x,x
′
)＝tanh(βx
t
x
′
c)、高斯核
27.其中，线性核中包含核函数参数c，多项式核中包含核函数参数c和d，sigmoid核中包含核函数参数β和c，高斯核中包含核函数参数γ。
28.其中x和x’是维数相同的特征向量，构建基核集时，相同核函数、不同核参数在基核集中对应不同核函数。
29.进一步地，所述step12中的加权聚合，具体为：
30.设表征矩阵集合表示为x＝{x1,x2,...,xq}，则对于任意矩阵中元素加权聚合计算为
31.进一步地，不同于增加网络深度的方法，step7中通过图核注意力机制生成用于扩展网络宽度的特征扩展矩阵，step10中并将特征扩展矩阵hk与所有特征增强矩阵平行放置，通过一组可学习权重ω进行加权聚合。达到效果为，采用多核学习及宽度扩展方式增强非线性信息提取能力，挖掘数据中的非线性分布信息，在增大图神经网络模型对数据的非线性信息拟合能力的同时避免了深度图神经网络中的特征过平滑问题。
32.进一步地，所述step6采用图核注意力方式进行特征域扩展，具体扩展方式为向量拼接，维度坐标是1，即列扩展。
33.本发明采用宽度扩展方式增强非线性信息提取能力，挖掘数据中的非线性分布信息，在增大图神经网络模型对数据的非线性信息拟合能力的同时避免了深度图神经网络中的特征过平滑问题。
34.本发明的有益效果是：本发明引入多核学习及宽度学习系统，增强图神经网络对非线性信息的提取与拟合能力。本发明与现有技术相比，主要解决深度图神经网络特征过平滑，容量不足等现象，增加图神经网络模型的信息容量大小以及增强图神经网络对数据的非线性拟合能力。
附图说明
35.图1是本发明的步骤流程图；
36.图2是本发明的模型网络结构图；
37.图3是实施例中托伯莫里海港数据集真实地物分布图。
具体实施方式
38.下面结合附图和具体实施方式，对本发明作进一步说明。
39.实施例1：如图1所示，一种基于多核宽度图神经网络特征提取与分类方法，其特征在于：首先以图结构形式对输入数据进行建模，生成数据特征矩阵与邻接矩阵。对数据特征矩阵中的每个向量vi进行线性变换，生成线性映射向量hi。
40.构造扩展基核集k，从扩展基核集中抽取一个核函数，利用选定核函数对线性映射矩阵进行非线性特征映射，计算图核注意力权重，构建图核注意力机制下的空域图卷积，使用扩展基核集k中所有核函数计算特征向量拼接生成特征扩展向量构成特征扩展矩阵hk。
41.构造增强基核集ke，从增强基核集中抽取一个核函数，利用选定核函数对特征扩展矩阵hk进行增强映射，计算图核注意力权重，构建图核注意力机制下的空域图卷积，计算特征增强向量构成特征增强矩阵
42.将特征扩展矩阵hk与所有得到的特征增强矩阵并列放置，得到表征矩阵集合x，设计一组科学系权重ω，对表征矩阵集合中所有表征矩阵进行加权聚合，得到节点表征矩阵
43.通过自注意力机制特征映射，将节点表征矩阵映射到类别概率输出空间，得到数据中每个节点对应任务中所有类别的概率输出，得到图数据分类结果，进而得到原始输入数据的分类结果。
44.具体步骤为：
45.step1：将输入数据建模为图模型g＝(v,e)，具体表现为数据特征矩阵与邻接矩阵，将数据特征矩阵与邻接矩阵输入到网络。
46.step2：构建一个可学习的线性特征变换矩阵w∈rf×f，将节点表征向量vi线性变换到另一个特征空间，得到线性映射向量hi，表示为hi＝wvi∈rf。
47.step3：设计自注意力机制attn:rf×
rf→
r，利用核函数作非线性特征映射，为目标节点邻域n(i)节点学习一个注意力权值构成多核注意力图特征映射机制。
48.step4：利用softmax函数对目标点注意力权重进行归一化，表示为对于选定的一个特定核函数km，目标点注意力权重表示为
49.step5：构建图核注意力机制下的空域图卷积运算，表示为
50.step6：从候选核函数组中选取任意数量的核函数，并依据先验知识设定核函数参数，构造一组扩展基核集k＝{k1,k2,
…
,km}。
51.step7：以多核方式扩展图注意力网络数据特征域，从扩展基核集k中抽取一个核函数km，使用step5中的空域图卷积运算，计算得到核函数km映射下的特征扩展向量
52.step8：重复step7，直到使用扩展基核集k中所有核函数计算特征向量将得到的所有特征向量进行特征域拼接，生成特征扩展向量由所有特征扩展向量构成特征扩展矩阵
53.step9：从候选核函数组中选取任意数量的核函数，并依据先验知识设定核函数参数，构造一组增强基核集ke＝{k
1e
,k
2e
,
…
,k
pe
}。
54.step10：以多核方式进行网络宽度扩展，从增强基核集ke中抽取一个核函数k
pe
，使用step5中的空域图卷积运算看，计算得到核函数k
pe
映射下的特征增强向量由所有当前核函数下的特征增强向量构成特征增强矩阵
55.step11：重复step10，直到使用增强基核集ke中所有核函数计算并构成特征增强矩阵由特征扩展矩阵hk与计算得到的所有特征增强矩阵并列放置，构成表征矩阵集合
56.step12：设计一组可学习权重ω＝{μ1,μ2,...,μq}∈r
x
，满足将表征矩阵集合x通过可学习权重ω加权聚合，得到节点表征矩阵
57.step13：利用节点表征矩阵通过自注意力机制特征映射，计算得到数据中每个节点对应任务中所有类别的概率输出，得到图数据节点分类结果，进而得到原始输入数据的分类结果。
58.下面在实施例1记载的基础上，通过实验的方式来说明本发明是切实可行的：
59.1、实验数据
60.cora数据集：该数据集是用于文献分类的引文网络，共有2708个论文，5429条引用连接，是一个经典非欧式数据节点分类任务数据集，数据集中的节点和边分别对应文档和引用连接，该数据集将论文分为7类，分别为基于案例、遗传算法、神经网络、概率方法、强化学习、规则学习和理论。构图时，将数据中引用连接作为标准构建数据集的邻接矩阵，进行分类实验。
61.托伯莫里海港数据集：该数据集场景是位于加拿大托伯莫里的一个小型海港，由optech titan激光雷达采集的三波段点云数据，波长分别为1550nm、1064nm和532nm，数据集可视化效果如图3所示。根据土地覆盖的高度、材料和语义信息将研究区域划分为9类，分别为裸地、草地、不透水道路、建筑物、树木、水、电线、汽车和船舶。使用超体素分割方法，将原始点云4855839点分割为24458个超体素点，并通过下采样方式抽取10000个点进行构图。
构图时使用高斯核算子度量样本点云在希尔伯特空间相似性，利用空间相似性描述样本的形态学特征并构建数据集的邻接矩阵，进行分类实验。
62.2、实验内容
63.在实验中，采用本发明方法和已有3种方法对以上数据集进行分类验证。本发明方法中测试了单核分类效果以及多核宽度扩展实验效果，单核方法包含四种常用核：多项式核、线性核、sigmoid核和高斯核；已有3种方法包括图卷积神经网络(gcn)、图注意力神经网络(gat)、门控图注意力神经网络(gaan)。实验中，cora数据集按照每类20个节点作为训练集，500个与1000个节点分别作为验证集和测试集进行划分，用于训练、验证和测试的节点共享相同的图结构。托伯莫里海港数据集则抽取5000个节点，其中2000个节点作为训练集，1000个节点作为验证集，2000个节点作为测试集，用于训练、验证和测试的节点共享相同的图结构。在pytorch上实现了本发明方法网络模型，使用一台配备了16gb显卡的计算机进行实验。对cora数据集，学习率设置0.005，权重衰减设置0.0005，丢弃率dropout设置0.5，leakyrelu激活函数的参数α设置0.2，模型迭代次数设置500；对托伯莫里海港数据集，学习率设置0.002，权重衰减设置0.0005，丢弃率dropout设置0.6，leakyrelu激活函数的参数α设置0.2，模型迭代次数设置700。使用分类精度评估分类结果，表1为不同方法在不同数据集下总体分类准确率精度。
[0064][0065]
表1：不同方法在不同数据集下总体分类准确率精度
[0066]
实验结果表明，本发明方法在cora数据集及托伯莫里海港数据集上效果均比单核方法及已有3种方法超出1～2个百分点，证明本发明一种基于多核宽度图神经网络的特征提取与分类方法非线性拟合能力强，能有效提高分类精度。
[0067]
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。