一种基于深度学习的残缺钟乳石点云的形状修复方法与流程

1.本发明属于残缺钟乳石点云形状修复技术领域，具体涉及一种基于深度学习的残缺钟乳石点云的形状修复方法。


背景技术：

2.钟乳石是岩溶洞穴中的重要构成要素，获取完整的钟乳石三维空间结构，对于岩溶洞穴旅游开发中的景观设计具有重要意义。目前三维激光扫描技术是获取岩溶洞穴内钟乳石三维数据的主要手段，但是受制于三维激光扫描技术的局限性(无法获取遮挡区域的点云数据)和岩溶洞穴内复杂的空间结构，往往无法获得完整的钟乳石点云数据。基于残缺的点云数据，想要获得完整的钟乳石三维重建，利用人工交互的方法虽然能够取得较好的效果，但往往费时费力。传统的方法如：基于泊松表面重建、基于对称的修复方法往往只能修复模型表面较小的空洞，针对结构性的缺失，往往无法取得较好的修复结果。而基于模型匹配的方法则依赖于建立的三维模型库中有大量的相同或相似三维模型，难以泛化。
3.近年来随着计算机图形学和深度学习技术的发展，越来越多研究者尝试运用深度学习技术来修复三维对象，并取得了一定的成果。如：nguyen等提出了一种基于几何和多视图rgb数据修复3d形状的方法。sharma等提出了一种全卷积体素自动编码器，该编码器能通过估计体素网格从噪声数据中学习体素表示。dai等提出了通过结合体素深层神经网络和3d形状综合来引入一种数据驱动的方法来补全3d形状。varley等将从单个角度捕获的2.5d点云输入到3d cnn中，完成遮挡区域的三维修复。yang等提出了3d
‑
recgan 方法，该方法将3d编码器/解码器与条件对抗网络框架相结合，推断高维体素空间中对象的精细3d结构。虽然以上基于多视图和体素的学习方法易于卷积神经网络的学习，在残缺3d模型的修复上取得了一定成果，但受制于体素表示数据的稀疏性和3d卷积的计算成本，往往无法获得高分辨率的完整三维形状补全。
4.受到目前基于点云模型补全相关工作的启发，本发明构建了一种用于钟乳石三维点云修复补全的网络结构。该网络以残缺点云作为输入，仅输出缺失部分点云，这使得修复后的点云能够保留原始点云的几何特征；同时，有助于网络专注于感知缺失点云的位置和结构，从而得到更好的修复结果。本发明的贡献在于：(1)网络直接以残缺的点云数据作为输入，可以实现残缺钟乳石点云的修复补全；(2)网络能够有效获取残缺点云的局部和全局信息，得到缺失部分的点云输出。(3)构建了用于网络训练的钟乳石点云数据集。


技术实现要素：

5.钟乳石的形成机理决定了其表面的不规则体征，要对其进行形状修复就要求网络能够提取到更为精细的局部特征，并能得到精细的修复结果作为网络的输出，基于此，本发明构建了用于钟乳石修复的深度学习网络；
6.一种基于深度学习的残缺钟乳石点云的形状修复方法，其特征在于，包括以下步骤：
7.s1：先对钟乳石点云进行三次ifps采样得到三个不同分辨率的钟乳石点云模型，以此作为编码器的输入；
8.s2：编码器对三个不同分辨率的钟乳石点云进行cmlp处理输出三个潜在多维特征向量(维数为：1920)，然后将三个潜在多维特征向量融合得到3
×
1920的特征向量，最后通过mlp得到最终的多维特征向量(维数为：1920)；
9.s3：解码器将s2中编码器输出的特征向量通过两个全连接层得到两个特征层f
i
(f
i
＝1024,512；i＝1,2)，接着运用全连接网络重构一个m1×
3的矩阵，得到一个具有m1个点的残缺部分粗略点云y
c
；
10.s4：针对s3中残缺部分粗略点云y
c
中的每个点p
i
通过结合详细特征向量的折叠操作在以p
i
为中心的局部坐标中生成y＝t2的点填充，将局部填充转换为全局坐标，最终将p
i
和y组合形成详细的残缺部分输出y
d
；
11.s5：判别器输入s4中残缺部分输出y
d
，通过串联的lmp结构对点云进行编码[64
‑
64
‑
128
‑
256]，然后将网络的最后三层输出进行最大池化，输出一个448维的特征向量；再通过全连接网络进行处理[256,128,16,1]，最终使用sigmoid分类器进行判别；
[0012]
优选的，所述s1中三次ifps采样的三个点云的点数分别为k，其中k为第一个点云的点数，n为采样率；
[0013]
优选的，所述s3中是将全连接的解码器和基于折叠的方法相结合。
[0014]
本发明的有益效果是：
[0015]
本发明提出了一种能够实现钟乳石点云模型有效修复的神经网络结构，该网络采用编码器、解码器、鉴别器结构。编码器对不同分辨率的点云模型进行特征提取，能够有效捕获钟乳石点云模型的局部、全局特征。解码器结合了全连接网络和基于折叠网络的优势能够输出较高分辨率的残缺部分点云。判别器通过判别点云是真实点云还是输出点云能够使网络的输出点云更加逼真。经过试验发现，运用本文的方法可以实现残缺钟乳石点云的修复补全，并且针对不同程度的点云缺失具有较好的鲁棒性。
附图说明
[0016]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]
图1是本文构建了用于钟乳石修复的深度学习网络结构示意图；
[0018]
图2是不同迭代次数下的点云结果示意图；
[0019]
图3是点云修复结果示意图；
[0020]
图4是不同完整度点云补全效果示意图；
[0021]
图5是不同方法修复结果对比示意图；
具体实施方式
[0022]
通过以下实施例对本发明的方法和效果进行说明；
[0023]
实施例1
[0024]
1)数据预处理及数据集构建
[0025]
本文从云南九乡三角洞，云南坝美桃园洞、汤那洞采集了包含石钟乳、石笋、石柱等不同形态的100个完整的钟乳石点云用于构建数据集。再进行网络训练前，对采集到的100个钟乳石点云模型进行了数据预处理和数据集构建；
[0026]
数据预处理：数据采集时采用的坐标系为1980西安坐标系，高程为1985国家高程基准，为了便于网络训练，进行坐标归一化处理，以每个钟乳石点云的重心为坐标系原点，将各点坐标分量归一化至[
‑
1,1]区间，再将每个钟乳石点云降采样到16384个点得到真实点云数据；
[0027]
数据集构建及划分：由于采集样本有限，为了能使网络取得较好的修复效果，对完整钟乳石选取9个不同部位，针对每个部位分别以5％、10％、15％、20％、25％和30％的残缺度进行裁剪处理，得到残缺点云和缺失部分点云，以实现对数据集的扩充。按照机器学习对数据集的划分标准，将样本按照8:2划分训练集与测试集，其中训练样本3600个，测试样本900个。并对残缺点云的点数归一化处理为12288个点，作为网络最高分辨率点云输入，基于此点云进行两次ifps降采样得到其余两个分辨率的输入。
[0028]
2)实验环境及网络训练
[0029]
我们在windows10系统下实现本文的方法，硬件环境为：cpu处理器intel(r)xeon(r)cpu e5
‑
2630，主频2.20ghz；gpu为nvidia rtx2080，内存64.0g；开发平台为python 3.7.4和pytorch 1.0.1；
[0030]
通过使用β1＝0.9和β2＝0.999的adam优化器交替训练编码器
‑
解码器和判别器，初始学习率为0.001，批次大小为20，持续50个周期。在编码器中，设置n＝2。因为判别器的学习速度比生成器快，所以训练时首先单独训练编码器
‑
解码器结构，并将学习率设置为5
×
10
‑5单独训练40个周期。接着将编码器
‑
解码器和判别器网络共同训练50个周期，并设置编码器
‑
解码器的学习速率为10
‑4，判别器的学习率为10
‑5。当共同训练时，采用自适应训练策略：只有在每一周期的最后一个批次中判别器的准确率不高于80％时，才更新判别器。
[0031]
实施例2
[0032]
通过本发明的方法对不同形态的钟乳石模型进行修复，部分点云修复结果如图3所示，运用本文提出的修复网络能够有效修复不同形态的残缺钟乳石点云。得到的修复结构能够很好的保持钟乳石形状结构，且输出的残缺点云分布较为均匀。由于网络输出为残缺部分点云，不进行整个点云重构，因而结果保留了原始点云的结构特征，同时网络可以更加关注缺失部分的结构修复，得到较好的修复结果。
[0033]
不同残缺度点云修复结果：
[0034]
对于不同残缺程度的修复，分别对残缺度为25％、50％和75％的对钟乳石进行修复，得到的修复结果如图4所示。
[0035]
从图4可以看出，缺失度为25％的钟乳石点云，网络可以得到较好的补全结果。对于缺失度为50％的钟乳石点云，得到的修复结果在细节上会有一些损失，而对于缺失度为75％的点云，网络的修复结果能得到钟乳石残缺部分的大体结构，对于表面的凸起和凹陷网络无法得到很好的修复效果，而且点的分布较为稀疏。
[0036]
实施例3
[0037]
不同网络修复结果对比
[0038]
为了对比不同网络对钟乳石的修复效果，本研究以相同的钟乳石点云数据集分别对foldingnet[55]、pcn[56]网络进行了训练，将两个网络的修复结果与本研究网络所得的修复结果进行了比较。部分修复结果对比如图5所示：
[0039]
从图5中可以看出，运用foldingnet网络得到的修复效果，可以得到钟乳石的粗略形状，但修复表面有大量的游离点，结果不是很理想。究其原因，在于foldingnet网络通过自动编码器瓶颈层输出特征码字(512维)，解码器以瓶颈层输出的特征码字作为施加于2d网格点的“力”，将2d网格点阵变形、切割、拉伸到3d表面上实现缺失点云的修复。其瓶颈层输出的特征码字维度较低，会导致采样点特征的丢失，使得修复效果不佳。采用pcn网络得到的修复结果损失了钟乳石的部分结构信息，也只能得到钟乳石的大体结构。其原因在于钟乳石表面存在许多细小的凹凸不平的结构，而pcn网络对这种细小结构的特征拟合能力不足，因此只能拟合出钟乳石表面的粗略结构。相较于foldingnet和pcn网络的修复效果，采用本章提出的网络对钟乳石进行修复，虽然会产生许多细节的损失，但网络不会对整个点云进行重构，从而有效保留了输入点云的整体结构，结果相对较好。
[0040]
为了定量评价不同网络的修复效果，选取了5个钟乳石样本，基于foldingnet、pcn和本研究网络所得的修复结果，求取了网络修复得到的残缺部分点云与真实点云的cd值，如表1所示，cd值越接近于0说明网络得到的修复结果与真实点云越相近。
[0041]
表1不同修复方法的cd统计
[0042][0043]
从表中可以看出，从测试数据中选取的五个样本，用foldingnet、pcn和本研究网络修复后残缺部分的cd值均值分别为0.08696、0.07954、0.05768。从而可以看出，运用本研究网络进行修复的精度要优于foldingnet和pcn网络的修复精度。其原因在于，本研究网络具有融合多尺度特征的能力，并且组合了高级特征和低级特征，有效提高了钟乳石整体和细节的修复能力。