基于局部几何与全局结构联合学习的3D图卷积分类方法

基于局部几何与全局结构联合学习的3d图卷积分类方法
技术领域
1.本发明涉及一种3d图卷积分类方法，尤其涉及一种基于局部几何与全局结构联合学习的3d图卷积分类方法。


背景技术：

2.近年来，卷积神经网络在自然语言处理﹑图像识别等领域得到了广泛的应用。然而，传统的卷积神经网络只能处理有规则结构的欧几里德域数据，而现实生活中的许多数据(cad模型、三维场景、交通网络、社交网络等)都是图表示的空间结构数据，具有无序性及拓扑多样性，对现有的深度学习方法提出了巨大的挑战。目前，众多学者利用图卷积神经网络建模图上的复杂信息进而对空间结构数据进行分类，而现有的图卷积神经网络分为谱方法和空间方法两类。
3.谱方法(谱域图卷积)是把原始的空域数据转化到频谱上做处理。最早的图数据学习模型是谱图卷积神经网络spectral cnn；chebnet和gcn对谱方法中的卷积核进行参数化；ppnp和sgc则是对一阶图卷积神经网络方法进行分析并提出了一些简化和变体；localspecgcn不再在大图上进行卷积，而是通过在局部图上使用谱图卷积结合递归聚类和池化策略。agcn通过图的邻接矩阵学习未知的隐藏结构关系。谱域图卷积衍生出的各种方法从卷积核到空间结构方面都有不同的创新，但是各自不同程度存在着计算复杂度高、图结构固定以及局部和全局特征学习不全面或融合性能有待提高等问题。
4.空间方法(空域图卷积)直接在空间上定义卷积操作，相比谱方法灵活性强。gnn根据随机游走将一个图结构的数据变化为一个类似规则的数据，从而实现一维的卷积；graphsage学习的是聚合函数，能够利用顶点的属性信息产生未知顶点嵌入，训练无需依赖于具体图结构的局限；gat利用注意力机制对邻域节点有区别地聚合；fastgcn对每个图卷积层独立地采集固定数量的节点，层之间的连接可能是稀疏的。as-gcn提出了一种自适应分层采样方法，其中下层的节点根据上层节点为条件进行采样，与fastgcn相比是以采用更复杂的采样方案为代价，获得了更高的精度；stogcn的随机训练使用历史节点表示作为控制变量，将图卷积的感知域大小降低到任意小的范围，但是对于大型图数据来说是消耗内存的。
5.同时，pointnet提出了直接在点云数据上应用深度学习模型的方法，通过 mlp提取模型的全局特征，缺失了局部特征。针对此问题，pointnet 在pointnet 的基础上作出了改进，然而pointnet 单独处理局部点集中的每个点，忽略了点与其邻居点之间的关系；a-cnn定义了一种环形卷积，更好地捕获每个点的局部邻域几何；densepoint选用了球体区域，设计了一种可以描述区域内点云形状的编码。此外，pointasnl设计了自动采样模块用于调整采样点的坐标和特征，local-nonelocal模块用于捕获采样点的邻域和远程依赖关系；mg-sagc 提出了一种多尺度图生成方法和自适应图卷积方法，最后采用最大池化法对不同比例尺度图的特征进行综合，生成点云特征。
6.总之，现有方法往往未遵循从局部到全局的层次结构学习策略，忽视了全局结构
的相关性，分类准确度低；图卷积算子通常需要邻域搜索、特征求解、特征聚合及降采样等操作，不可避免的带来冗余的存储和大量的计算消耗，甚至信息的丢失，从而降低了学习效率。


技术实现要素：

7.本发明是为了解决现有技术所存在的上述技术问题，提供一种基于局部几何与全局结构联合学习的3d图卷积分类方法。
8.本发明的技术解决方案是：一种基于局部几何与全局结构联合学习的3d图卷积分类方法，是将待分类的3d模型输入至分类模型中进行分类，其特征在于所述分类模型是依次按照如下步骤建立：
9.a.用多层感知机mlp为模型提取底层特征
10.a.1采集关键点：输入点云模型bx1024x3，运用最远点采样法从1024个点里采集512个样点为关键点，得到bx512x3维度的关键点集合；
11.a.2找关键点邻域：以每个关键点为中心，以0.2为半径，运用ball query 方法，查找每个关键点周围的32个最近邻居点，即获得关键点邻域；
12.a.3提取特征：以每个关键点邻域为单位，构造三层mlp学习层，依次得到 64、64、128维度的特征，所得128维度的特征即底层特征cm；
13.b.提取局部谱图卷积层特征
14.b.1令m个关键点为a.1步骤所得512个关键点，p个样点为128个样点， k个最近邻居点为32个最近邻居点；
15.b.2运用最远点采样法从m个关键点中采集p个样点；
16.b.3以每个样点为中心，运用ball query方法，为每个样点查找周围的k个最近邻居点，构成邻居点集合{xi}，i＝1,2,3
……
k；
17.b.4计算邻居点xi与其它邻居点xj坐标之间的欧式距离，得到邻接矩阵 a＝dist(xi,xj)，所述j＝1,2,3
……
k且j≠i；基于邻接矩阵a计算拉普拉斯矩阵， l
local
＝i-d-1/2
a d-1/2
，其中i是单位矩阵，d∈r
kxk
是对角度矩阵，所述拉普拉斯矩阵即局部谱图l
local
；
18.b.5运用切比雪夫多项式展开来近似卷积核g
θ
，按照公式构建局部谱图卷积，式中f
l
为输入特征,w
l
是可学习的权重矩阵，σ(
·
)为relu函数；g
θ
(
·
)是局部谱图卷积算子；
19.b.6得到局部谱图卷积层输出特征c
l1
；
20.b.7令m个关键点为b.2步骤得到的128个关键点，p个样点为32个样点， k个最近邻居点为8个最近邻居点，重复步骤b.2-b.5，得到局部谱图卷积层输出特征c
l2
；
21.b.8取原点(0,0,0)作为邻域中心点，把b.7步骤得到的32个关键点作为邻域，构成邻居点集合{xi}，i＝1,2,3
……
k，重复步骤b.4-b.5，得到局部谱图卷积层输出特征c
l3
；
22.c.提取全局谱图卷积层特征；
23.c.1令m’个关键点为a.1步骤所得512个关键点，p’为128个关键样点；
24.c.2运用随机采样为模型从m’个关键点中均匀采样，得到p’个关键样点；
25.c.3以p’个采样点为单位，通过度量每个采样点x
i'
与其它采样点x
j'
两点之间特征的余弦相似度，构建邻接矩阵wh∈rs×s，所述i'＝1,2,3
……
p’，j'＝1,2,3
……
p’， i'≠j'；
基于邻接矩阵wh计算拉普拉斯矩阵l
global
，即得到全局谱图l
global
；
26.c.4运用切比雪夫多项式展开来近似卷积核gf，按照公式构建全局谱图卷积，式中gf(
·
)为基于特征空间度量矩阵的全局谱图卷积算子，fh为输入特征，wh是可学习的权重矩阵，σ(
·
)为relu函数；
27.c.5得到全局谱图卷积层256维度的输出特征c
g1
；
28.c.6令m’个关键点为c.2步骤所得128个关键样点，p’为32个关键样点，重复步骤c.2-c.4，得到全局谱图卷积层512维输出特征c
g2
；
29.d.对每层特征cm、c
l1
、c
l2
、c
l3
、c
g1
、c
g2
均施加非线性转换，然后用tanh 函数获得特征cm的权重值w是权重矩阵，b是偏置向量，q
t
是共享的注意力向量，同理，可以得到其他各层的权重值，用softmax函数对权重值进行归一化，获得各个结构特征的权重特征的权重特征的权重最后，每层特征加权并求和，得到最终的注意力值
30.e.对最终的注意力值n施加线性变换，采用交叉熵损失函数进行训练并通过反向传播优化，得到分类模型。
31.本发明与现有技术相比具有如下优点：第一，从局部几何及全局结构两方面构造谱图，局部谱图基于空间域度量采样点的几何相似性，而全局谱图则基于特征域度量内蕴结构的相似性。联合学习机制不仅揭示了局部几何特征，而且更有效的结合全局上下文结构特征，生成的形状描述符更具有稳定性及区分性；第二，构建了自适应动态谱图卷积网络。引入注意力层，将每层网络卷积特征通过权值判定进行特征融合。每一层网络根据现有拓扑结构以及特征信息进行动态更新，提取的深度特征对于非刚性变换及复杂几何形状具有更强的鲁棒性，有效提高了3d模型的分类精度及效率。
具体实施方式
32.本发明的一种基于局部几何与全局结构联合学习的3d图卷积分类方法，是将待分类的3d模型输入至分类模型中进行分类，其特征在于所述分类模型是依次按照如下步骤建立：
33.a.用多层感知机mlp为模型提取底层特征
34.a.1采集关键点：输入点云模型bx1024x3，运用最远点采样法(fps)从1024 个点里采集512个样点为关键点，得到bx512x3维度的关键点集合；
35.a.2找关键点邻域：以每个关键点为中心，以0.2为半径，运用ball query 方法，查找每个关键点周围的32个最近邻居点，即获得关键点邻域；
36.a.3提取特征：以每个关键点邻域为单位，构造三层mlp学习层，依次得到 64、64、128维度的特征，所得128维度的特征即底层特征cm；
37.b.提取局部谱图卷积层特征
38.b.1令m个关键点为a.1步骤所得512个关键点，p个样点为128个样点， k个最近邻
居点为32个最近邻居点；
39.b.2运用最远点采样法从m个关键点中采集p个样点；
40.b.3以每个样点为中心，运用ball query方法，为每个样点查找周围的k个最近邻居点，构成邻居点集合{xi}，i＝1,2,3
……
k；
41.b.4计算邻居点xi与其它邻居点xj坐标之间的欧式距离，得到邻接矩阵 a＝dist(xi,xj)，所述j＝1,2,3
……
k且j≠i；基于邻接矩阵a计算拉普拉斯矩阵， l
local
＝i-d-1/2
a d-1/2
，其中i是单位矩阵，d∈r
kxk
是对角度矩阵，所述拉普拉斯矩阵即局部谱图l
local
；
42.b.5运用切比雪夫多项式展开来近似卷积核g
θ
，按照公式构建局部谱图卷积，式中f
l
为输入特征,w
l
是可学习的权重矩阵，σ(
·
)为relu函数；g
θ
(
·
)是局部谱图卷积算子；
43.b.6得到局部谱图卷积层输出特征c
l1
；
44.b.7令m个关键点为b.2步骤得到的128个关键点，p个样点为32个样点， k个最近邻居点为8个最近邻居点，重复步骤b.2-b.5，得到局部谱图卷积层输出特征c
l2
；
45.b.8取原点(0,0,0)作为邻域中心点，把b.7步骤得到的32个关键点作为邻域，构成邻居点集合{xi}，i＝1,2,3
……
k，重复步骤b.4-b.5，得到局部谱图卷积层输出特征c
l3
；
46.c.提取全局谱图卷积层特征；
47.c.1令m’个关键点为a.1步骤所得512个关键点，p’为128个关键样点；
48.c.2运用随机采样为模型从m’个关键点中均匀采样，得到p’个关键样点；
49.c.3以p’个采样点为单位，通过度量每个采样点x
i'
与其它采样点x
j'
两点之间特征的余弦相似度，构建邻接矩阵wh∈rs×s，所述i'＝1,2,3
……
p’，j'＝1,2,3
……
p’，i'≠j'；基于邻接矩阵wh计算拉普拉斯矩阵l
global
，即得到全局谱图l
global
；
50.c.4运用切比雪夫多项式展开来近似卷积核gf，按照公式构建全局谱图卷积，式中gf(
·
)为基于特征空间度量矩阵的全局谱图卷积算子，fh为输入特征，wh是可学习的权重矩阵，σ(
·
)为relu函数；
51.c.5得到全局谱图卷积层256维度的输出特征c
g1
；
52.c.6令m’个关键点为c.2步骤所得128个关键样点，p’为32个关键样点，重复步骤c.2-c.4，得到全局谱图卷积层512维输出特征c
g2
；
53.d.对每层特征cm、c
l1
、c
l2
、c
l3
、c
g1
、c
g2
均施加非线性转换，然后用tanh 函数获得特征cm的权重值w是权重矩阵，b是偏置向量，q
t
是共享的注意力向量，同理，可以得到其他各层的权重值，用softmax函数对权重值进行归一化，获得各个结构特征的权重特征的权重特征的权重最后，每层特征加权并求和，得到最终的注意力值
54.e.对最终的注意力值n施加线性变换，采用交叉熵损失函数进行训练并通过反向传播优化，得到分类模型。
55.实验：
56.1.分别对局部几何学习、全局结构学习和本发明实施例在modelnet数据集上进行分类性能测试，结果如表1。结果表明，不论是modelnet10还是 modelnet40，全局结构学习网络都比局部几何学习网络的训练精度更胜一筹，提高了平均0.3％的精度；而本发明实施例将二者融合以后，显然精度进一步提高。
57.表1分类精度
[0058][0059]
2.分别将本发明实施例与pointnet、pointnet 、mg-sagc、a-cnn、 pointasnl、densepoint的方法在modelnet数据集上进行分类性能测试，结果如表2。
[0060]
表2不同方法的分类精度
[0061][0062][0063]
结果表明：本发明实施例与a-cnn方法相比，在modelnet10数据上，本发明实施例的分类精度高出0.19％，在modelnet40数据上分类精度高出0.71％；同时比pointnet、pointnet 、densepoint方法准确率分别高出4.11％、1.41％、 0.11％。在modelnet10数据上，本发明实施例比pointasnl稍低0.21％，但是比mg-sagc高出1.39％，且在modelnet40数据集上，本发明实施例比这两种方法平均高出0.46％。