一种基于锚点检测的点云补全方法

1.本发明属于点云补全领域，具体涉及一种基于锚点检测的点云补全方法。


背景技术：

2.预测完整的3d点云是许多计算机视觉的核心任务。
3.现有方法通常基于深度学习，从不完整点云中提取全局特征，用于还原完整点云。尽管它们在一定程度上做到了预测完整点云，但无法准确生成该对象的结构细节，且存在疏密不均的问题。
4.将深度学习技术应用于点云数据，是近几年兴起的方向。对于点云补全任务，可以训练神经网络实现目的，即：输入不完整的点云结构，生成完整的点云结构。
5.目前，基于深度学习的大多数网络模型对点云补全的效果不佳，其原因是这些模型单纯的将点云补全的任务归类为回归问题，并训练神经网络预测点云坐标，因此只能生成大体上正确，而形状并不规整的点云。为此，有必要实现形状规整，密度均匀的点云补全。


技术实现要素：

6.为了克服现有技术中局部特征提取的不足，本发明提出了一种基于锚点检测的点云补全方法，并设计了与之配合的网络结构，可以生成规整、均匀的点云坐标。实验证明该发明在视觉和指标上都有很优秀的效果。
7.本发明采用的技术方案为：
8.一种基于锚点检测的点云补全方法，包括以下步骤：
9.s1、数据集获取与数据预处理：获取点云公共数据集shapenet，使用局部删除操作，在完整点云数据中删除局部点云，以此构建不完整点云；
10.s2、神经网络模型构建：基于由粗略到精细的点云补全思想，先通过锚点的正负性判断得出形状规整密度均匀的稀疏点云，再由稀疏点云的扩散得到密集点云，为实现该思想构建gcnet网络模型；
11.s3、模型训练与模型保存：使用adam优化器训练网络，降低损失函数，提高点云补全效果，当模型的损失函数趋于稳定后，保存模型。
12.所述步骤s1中，所述公共数据集shapenet，包含16个种类的点云数据，所有种类的每一个单独点云数据文件(.pts)都由三维坐标系中n个点云坐标x、y、z构成，n的值并不相同。
13.所述步骤s1中，所述局部删除操作的具体方法有关键点定义与选取、关键点邻近点云删除。
14.所述步骤s1中，所述关键点定义与选取的具体方法为：以(1,0,0)、(0,0,1)、(1,0,1)、(-1,0,0)4个点为关键点，()中的三个数字表示三维坐标系中x、y、z的坐标；为模拟缺失不同部位的不完整点云，我们依次使用4个关键点作为中心点，并删除中心点位置附近的点云数据；所述关键点邻近点云删除操作的具体步骤为：计算点云中所有点与中心的距离，
删除最靠近中心点的512个点云。
15.所述步骤s2中，所述通过锚点的正负性判断得出形状规整密度均匀的稀疏点云中，由于空间中负样本的数量远远多于正样本，过多的负样本对于网络的训练并无收益，因此为了解决负样本过多的问题，我们在负样本中只选取正样本数量的三倍用于训练。此外，在选中的负样本中，我们通过设置阈值d，进一步将负样本划分为难训练负样本和易训练负样本，距离小于阈值d的为难训练负样本；大于阈值d的易训练负样本，其中难训练负样本与易训练负样本的数量比为2：1。
16.所述步骤s2中，所述由稀疏点云的扩散得到密集点云中，由于稀疏点云只能在整体上表示点云的形状结构，而不能显示其具体细节，因此我们在稀疏点云(正锚点样本)的基础上通过神经网络生成各正锚点邻域内的点云坐标，并通过tanh限制邻域的最大范围，使其不超过两个锚点间距的一半。
17.所述步骤s2中，所述gcnet包含编码器与解码器两部分，所述编码器部分的具体目标是：提取输入的不完整点云的坐标特征；所述编码器部分的具体结构是：输入点云坐标首先通过一层卷积层，得到点云的特征向量，接着将点云所在空间划分为w
×w×
w个锚点，锚点所对应的网格内的向量取平均，以此实现特征的网格结构化，最后通过3d卷积和残差连接提取高维特征；所述解码器部分的具体目标是：通过解码器部分提取的高维特征生成缺失部分的点云坐标；所述解码器部分的具体结构是：输入的高维特征首先通过3d转置卷积，实现特征的上采样，用于预测锚点的正负性和正锚点邻域内的扩散点云坐标信息，生成最终的完整点云。
18.所述步骤s3中，所述损失函数包含bceloss和cd，bceloss的具体公式为：
[0019][0020]
其中xi为预测值，yi为标签，cd的具体公式为：
[0021][0022]
其中cd(s1,s2)表示预测生成的点云集合s1和真实的点云集合s2之间的欧式空间平均最近距离；x、y分别表示点云集合中的一个点云，由x、y、z三个坐标组成。
[0023]
本发明与现有技术相比所具有的有益效果为：
[0024]
本发明摒弃了纯回归思路预测点云坐标的思路，训练神经网络gcnet，该神经网络模型能够判断锚点的正负性以及生成锚点扩散的三维坐标信息，实现了端到端的点云补全，并解决了现有方法只依靠神经网络回归生成点云坐标而导致的补全效果不佳的问题。提高了点云补全的效果。
附图说明
[0025]
图1为本发明的流程图；
[0026]
图2为本发明gcnet结构图；
[0027]
图3为实施例1中飞机点云补全效果；
[0028]
图4为实施例2中飞机点云补全效果；
[0029]
图5为实施例3中飞机点云补全效果；
具体实施方式
[0030]
为使本发明实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0031]
一种基于锚点检测的点云补全方法，使用shapenet数据集进行点云补全的训练，该数据集包含16类，共有15011个点云数据，其中训练集12137个点云数据，测试集2874个点云数据。对每一个点云数据通过视点操作做预处理得到网络输入的不完整点云。将不完整点云输入gcnet，使用bceloss和cd损失函数进行训练，100轮训练后保存效果最好的权重。如图1所示，详细过程包括以下步骤：
[0032]
s1、数据集获取与数据预处理：获取点云公共数据集shapenet，使用局部删除操作，在完整点云数据中删除局部点云，以此构建不完整点云；
[0033]
s2、神经网络模型构建：基于由粗略到精细的点云补全思想，先通过锚点的正负性判断得出形状规整密度均匀的稀疏点云，再由稀疏点云的扩散得到密集点云，为实现该思想构建gcnet网络模型；
[0034]
s3、模型训练与模型保存：使用adam优化器训练网络，降低损失函数，提高点云补全效果，当模型的损失函数趋于稳定后，保存模型。
[0035]
所述步骤s1中，所述公共数据集shapenet，包含16个种类的点云数据，所有种类的每一个单独点云数据文件(.pts)都由三维坐标系中n个点云坐标x、y、z构成，n的值并不相同。
[0036]
所述步骤s1中，所述局部删除操作的具体方法有关键点定义与选取、关键点邻近点云删除。
[0037]
所述步骤s1中，所述关键点定义与选取的具体方法为：以(1,0,0)、(0,0,1)、(1,0,1)、(-1,0,0)4个点为关键点，()中的三个数字表示三维坐标系中x、y、z的坐标；为模拟缺失不同部位的不完整点云，我们依次使用4个关键点作为中心点，并删除中心点位置附近的点云数据；所述关键点邻近点云删除操作的具体步骤为：计算点云中所有点与中心的距离，删除最靠近中心点的512个点云。
[0038]
所述步骤s2中，所述通过锚点的正负性判断得出形状规整密度均匀的稀疏点云中，由于空间中负样本的数量远远多于正样本，过多的负样本对于网络的训练并无收益，因此为了解决负样本过多的问题，我们在负样本中只选取正样本数量的三倍用于训练。此外，在选中的负样本中，我们通过设置阈值d，进一步将负样本划分为难训练负样本和易训练负样本，距离小于阈值d的为难训练负样本；大于阈值d的易训练负样本，其中难训练负样本与易训练负样本的数量比为2：1。
[0039]
所述步骤s2中，所述由稀疏点云的扩散得到密集点云中，由于稀疏点云只能在整体上表示点云的形状结构，而不能显示其具体细节，因此我们在稀疏点云(正锚点样本)的基础上通过神经网络生成各正锚点邻域内的点云坐标，并通过tanh限制邻域的最大范围，使其不超过两个锚点间距的一半。
[0040]
所述步骤s2中，gcnet结构如图2所示，所述gcnet包含编码器与解码器两部分，所述编码器部分的具体目标是：提取输入的不完整点云的坐标特征；所述编码器部分的具体
结构是：输入点云坐标首先通过一层卷积层，得到点云的特征向量，接着将点云所在空间划分为w
×w×
w个锚点，锚点所对应的网格内的向量取平均，以此实现特征的网格结构化，最后通过3d卷积和残差连接提取高维特征；所述解码器部分的具体目标是：通过解码器部分提取的高维特征生成缺失部分的点云坐标；所述解码器部分的具体结构是：输入的高维特征首先通过3d转置卷积，实现特征的上采样，用于预测锚点的正负性和正锚点邻域内的扩散点云坐标信息，生成最终的完整点云。
[0041]
所述步骤s3中，所述损失函数包含bceloss和cd，bceloss的具体公式为：
[0042][0043]
其中xi为预测值，yi为标签，cd的具体公式为：
[0044][0045]
其中cd(s1,s2)表示预测生成的点云集合s1和真实的点云集合s2之间的欧式空间平均最近距离；x、y分别表示点云集合中的一个点云，由x、y、z三个坐标组成。
[0046]
本发明使用实施例1-3直观展示gcnet的补全效果。所述gcnet模型在训练集中训练完成后。
[0047]
实施例1：
[0048]
选择测试集中一个不完整的飞机点云作为输入，输出锚点和完整的飞机点云。补全效果如图3所示。
[0049]
实施例2：
[0050]
选择测试集中一个不完整的飞机点云作为输入，输出锚点和完整的飞机点云。补全效果如图4所示。
[0051]
实施例3：
[0052]
选择测试集中一个不完整的飞机点云作为输入，输出锚点和完整的飞机点云。补全效果如图5所示。
[0053]
以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。