一种基于深度学习的点云稠密补全方法与流程

1.本发明涉及计算机视觉技术领域，具体涉及的是一种基于深度学习的点云稠密补全方法。


背景技术：

2.随着lidar，深度相机等实时3d传感器的快速发展，3d数据在计算机视觉和机器人技术中越来越受到关注。作为一种能够比2d图像更好地描述场景空间结构的数据形式，3d点云已广泛应用于slam和目标检测等应用中。然而，由于分辨率和遮挡的限制，直接从传感器获取的点云往往是不完整且稀疏的。因此，从不完整的残缺模型中恢复完整的稠密模型一直是一项重要且具有挑战性的任务，称为点云补全。
3.自pcn的工作以来，许多基于深度学习的研究已经在3d点云补全工作上进行了探索。其中一些方法基于3d网格和3d卷积神经网络(cnn)。例如grnet，grnet将点云投影到三维网格上，进而直接基于3d cnn进行处理，但它具有相当庞大的参数量。
4.其他的方法建立在pointnet和pointnet 的结构基础上，例如topnet和sanet。topnet设计了一种分层根树结构作为解码器，以在补全任务中生成不同分辨率的模型。sanet采用常用的u
‑
net结构，带有自注意力模块来补全缺失的特征，它在具有稀疏点的数据集上表现良好。canet增加了级联细化模块，通过多次提升以小上采样率实现从粗到细的转换，它在shapenet上的性能优于pcn和topnet，但它需要形状先验特征才能补全模型。形状先验特征需要对每个类别通过预训练获取，因此这一方法难以用于未知类别物体的形状补全。
5.这些工作往往不够关注输入的残缺模型的细节，这会导致输出失真。这些网络往往需要高维全局特征或多个局部特征来从输入中获取足够的形状信息。这会导致高昂的时间和显存消耗。


技术实现要素：

6.本发明的目的在于针对目前3d点云补全工作存在的不足，设计了一个基于深度学习的稠密点云补全框架，利用这种框架提供一种基于深度学习的点云稠密补全方法，该方法可以端到端地直接将输入的残缺不全的点云补全为完整的点云模型。克服了其他方法中参数量大，显存占用高，输出模型失真等问题，且具有更高的补全精度。该方法逐级递归地将输入的残缺模型补全成稠密的完整模型。每一级的输出模型和残缺模型混合并作为下一级的输入模型。最后一级的输出即为最终的补全结果。
7.本发明解决其技术问题所采用的技术方案是：一种基于深度学习的点云稠密补全方法，该方法步骤如下：端到端的前向递归处理过程，将输入的残缺点云输入网络后直接输出稠密补全点云；对于神经网络的训练采用有监督的训练方法，根据损失函数通过网络梯度反向传
播调整网络参数直至收敛。
8.进一步的，从输入的原始残缺点云开始，进行逐级向前的点云补全框架，在每一层中融合原始点云与该层输出的补全结果，并作为下一层的输入；所述点云补全框架包括特征提取网络、生成与扩展网络以及可微分点云融合算法。
9.进一步的，所述特征提取网络通过多层感知机(mlps)和最大池化操作(max pooling)从每一层输入的残缺点云中提取状态特征。
10.这一状态特征实际上隐含了模型当前的补全状态，将在不同层之间传递来指导下一次的特征提取；下一层的特征提取网络将会拼接状态特征与输入模型，并据此提取新的状态特征；由于状态特征中隐含的模型信息不完整难以直接用于生成补全模型，另一组多层感知机被用来聚合模型中的信息以补全状态特征；特征提取网络中的特征都是全局特征，没有引入任何的k近邻操作来获取局部特征，因此速度较快。
11.进一步的，生成与扩展网络为在整个逐级向前的点云补全框架的第一层，根据特征提取网络提取出的特征向量生成多个种子点，并在点云补全框架的后续层中逐渐对种子点进行扩展得到更加稠密的模型；种子点包含由原始残缺点云中直接采样得到的用于描述残缺模型轮廓的部分以及通过全连接网络生成的补全部分；点云补全框架第二层后的部分采用16组参数独立的多层感知机扩展第一层生成的种子点，最终得到稠密的补全模型；为了记录扩展状态，每一层的生活或扩展网络也会输出一个状态特征，这一状态特征将会传递到下一层帮助进行下一步的扩展。
12.进一步的，所述可微分点云融合算法为：将生成模型中的点向着它在原始残缺模型中的最近邻进行移动，移动的距离根据两点之间的距离决定，随着距离的增大生成点的移动距离逐渐减小直至趋近于0；每一层融合的衰减速度由分别由一个可学习的变量σ决定，这实际上代表了只对小于一定距离的两点进行融合；用公式可以表示为：其中：代表融合后的点云，p0代表残缺模型，p代表补全模型；可以发现σ越大，模型融合的衰减速度越慢，融合范围越大；由于这样的距离计算方式过于粗略，因此对融合后点云中的每个点与提取的特征拼接后输入网络预测偏移量对点的坐标和对应的状态特征进行微调。
13.进一步的，在所述方法中：针对多级补全的框架设计合适的损失函数来确保网络
迅速，正确地收敛；所述损失函数包括多级基础损失，多级平衡扩展约束，融合范围约束，最终损失为这几部分的求和。
14.进一步的，所述多级基础损失对于补全框架第一层稀疏的种子点，采用earth mover distance距离计算与对应分辨率的真值降采样结果的损失，而对于之后几层稠密的种子点，采用chamfer distance距离计算与真值降采样结果的损失进行约束；所有层的损失相加构成多级基础损失。
15.进一步的，所述平衡扩展约束在逐级点云补全框架第二层后的结构通过多组参数独立的多层感知机进行扩展；约束每一层的扩展点云的范围能够帮助生成连续的局部形状而非空间中的离散点；由于每一层的扩展范围必然大于0，因此直接约束扩展范围可能会造成网络的震荡；通过低分辨率模型与高分辨率模型之间的平均匹配距离可以估计所需要的扩展距离；使用这一估计的距离可以平衡扩展范围约束使其最小值接近0；用公式可以表达为：用公式可以表达为：l
bec
＝relu(l
ec
‑
∈
·
e(l
ec
))；其中：s和分别是扩展前后的补全点云；s0和是对应的训练数据中的真值；∈是用来调节平衡项的调节系数。
16.进一步的，所述融合范围约束使用可学习变量σ控制补全模型与残缺模型中间的融合范围；在训练起始阶段，融合范围应该较小来主要提升补全模型的精度；而在训练的后期，融合范围应该大一些来提升融合模型的效果；融合范围约束表示为：其中：ε是一个退火变量(随着迭代次数的增加减小以增大融合范围(0.15m次迭代前设置为0.01，后设置为0.001)。
17.进一步的，所述训练方法采用稠密点云补全任务中常用的稠密shapenet补全数据集，采用有监督方法对模型进行训练，并计算网络的误差损失；获取训练误差后，网络将沿梯度进行方向传播，对网络的参数进行更新，迭代至收敛。
18.本发明与现有技术相比，有益效果是：相比于基于三维卷积的补全方法，本方法具
有更少的参数量需求，模型更加轻量化；相比于其他基于pointnet以及pointnet 提取高维特征或者多个局部特征的深度学习方法，本方法具有更少的参数量和更低的显存消耗；相比于其它通过直接生成稠密模型进行补全的方法，本方法通过融合残缺模型来避免了生成结果的失真；相比于其他现有的补全方法，本方法具有更高的补全精度。
19.本发明提出的基于深度学习的高效稠密点云补全框架，逐级递归地将输入的残缺模型补全成稠密的完整模型。每一级的输出模型和残缺模型混合并作为下一级的输入模型。最后一级的输出即为最终的补全结果。该方法得到的稠密点云模型可以广泛应用到机器人导航、自动驾驶等任务中。
附图说明
20.图1是本发明一种基于深度学习的高效稠密点云补全框架示意图。
21.图2是本发明一种特征提取网络示意图。
22.图3是本发明一种生成网络示意图。
23.图4是本发明一种扩展网络示意图。
24.图5是本发明的预测结果的实际效果图。
具体实施方式
25.现在将进一步细化基于附图所示的代表性实施方案。应当理解，以下描述并非旨在将实施方案限制于一个优选实施方案。相反，其旨在涵盖可被包括在由所附权利要求限定的所述实施方案的实质和范围内的替代形式、修改形式和等同形式。
26.一种基于深度学习的点云稠密补全方法，该方法步骤如下：端到端的前向递归处理过程，将输入的残缺点云输入网络后直接输出稠密补全点云；对于神经网络的训练采用有监督的训练方法，根据损失函数通过网络梯度反向传播调整网络参数直至收敛。
27.具体的如下。
28.其中，从输入的原始残缺点云开始，进行逐级向前的点云补全框架，在每一层中融合原始点云与该层输出的补全结果，并作为下一层的输入；所述点云补全框架包括特征提取网络、生成与扩展网络以及可微分点云融合算法。
29.首先，关于特征提取网络，如图2所示，所述特征提取网络通过多层感知机(mlps)和最大池化操作(max pooling)从每一层输入的残缺点云中提取状态特征，这一状态特征实际上隐含了模型当前的补全状态，将在不同层之间传递来指导下一次的特征提取；下一层的特征提取网络将会拼接状态特征与输入模型，并据此提取新的状态特征；由于状态特征中隐含的模型信息不完整难以直接用于生成补全模型，另一组多层感知机被用来聚合模型中的信息以补全状态特征；特征提取网络中的特征都是全局特征，没有引入任何的k近邻操作来获取局部特征，因此速度较快。
30.第二，关于生成与扩展网络，如图3和图4所示，在整个逐级向前的点云补全框架的
第一层，根据特征提取网络提取出的特征向量生成多个种子点，并在点云补全框架的后续层中逐渐对种子点进行扩展得到更加稠密的模型；种子点包含由原始残缺点云中直接采样得到的用于描述残缺模型轮廓的部分以及通过全连接网络生成的补全部分；点云补全框架第二层后的部分采用16组参数独立的多层感知机扩展第一层生成的种子点，最终得到稠密的补全模型；为了记录扩展状态，每一层的生活或扩展网络也会输出一个状态特征，这一状态特征将会传递到下一层帮助进行下一步的扩展。
31.关于可微分点云融合算法，所述可微分点云融合算法为：将生成模型中的点向着它在原始残缺模型中的最近邻进行移动，移动的距离根据两点之间的距离决定，随着距离的增大生成点的移动距离逐渐减小直至趋近于0；每一层融合的衰减速度由分别由一个可学习的变量σ决定，这实际上代表了只对小于一定距离的两点进行融合；用公式可以表示为：其中：代表融合后的点云，p0代表残缺模型，p代表补全模型；可以发现σ越大，模型融合的衰减速度越慢，融合范围越大；由于这样的距离计算方式过于粗略，因此对融合后点云中的每个点与提取的特征拼接后输入网络预测偏移量对点的坐标和对应的状态特征进行微调。
32.在所述方法中：针对多级补全的框架设计合适的损失函数来确保网络迅速，正确地收敛；所述损失函数包括多级基础损失，多级平衡扩展约束，融合范围约束，最终损失为这几部分的求和。
33.关于多级基础损失，所述多级基础损失对于补全框架第一层稀疏的种子点，采用earth mover distance距离计算与对应分辨率的真值降采样结果的损失，而对于之后几层稠密的种子点，采用chamfer distance距离计算与真值降采样结果的损失进行约束；所有层的损失相加构成多级基础损失。
34.关于平衡扩展约束，所述平衡扩展约束在逐级点云补全框架第二层后的结构通过多组参数独立的多层感知机进行扩展；约束每一层的扩展点云的范围能够帮助生成连续的局部形状而非空间中的离散点；由于每一层的扩展范围必然大于0，因此直接约束扩展范围可能会造成网络的震荡；通过低分辨率模型与高分辨率模型之间的平均匹配距离可以估计所需要的扩展距离；
使用这一估计的距离可以平衡扩展范围约束使其最小值接近0；用公式可以表达为：用公式可以表达为：l
bec
＝relu(l
ec
‑
∈
·
e(l
ec
))；其中：s和分别是扩展前后的补全点云；s0和是对应的训练数据中的真值；∈是用来调节平衡项的调节系数。
35.关于融合范围约束，所述融合范围约束使用可学习变量σ控制补全模型与残缺模型中间的融合范围；在训练起始阶段，融合范围应该较小来主要提升补全模型的精度；而在训练的后期，融合范围应该大一些来提升融合模型的效果；融合范围约束表示为：其中：ε是一个退火变量(随着迭代次数的增加减小以增大融合范围(0.15m次迭代前设置为0.01，后设置为0.001))。
36.关于训练方法，所述训练方法采用稠密点云补全任务中常用的稠密shapenet补全数据集，采用有监督方法对模型进行训练，并计算网络的误差损失；获取训练误差后，网络将沿梯度进行方向传播，对网络的参数进行更新，迭代至收敛。
37.如图1所示，一种基于深度学习的高效稠密点云补全框架示意图，包括特征提取网络，生成与扩展网络，以及可微分的点云融合算法。
38.使用shapenet稠密补全数据集中的点云数据，共有30974个点云模型，每个模型具有8个视角下观察得到的残缺模型以及对应的真值，因此共有231792组训练数据。验证集包括800组与训练集不同的残缺模型以及对应的真值。
39.按照附图1搭建稠密点云补全网络，输入残缺模型依次通过多级框架中每一级的特征提取网络，生成与扩展网络，并与残缺模型进行融合，最终输出稠密补全结果。根据补全结果与数据集中的真值计算点云补全网络的误差，并按照梯度反向传播的方法进行参数的迭代更新，并利用gpu进行加速，直到网络的误差降低到设定的阈值之内或者网络迭代的次数满足要求时停止训练。采用上述方法最终的结果如图5所示。
40.上述实施例用来解释说明本发明，而不是对本发明的限制，在本发明的精神和权利要求的保护范围内，对本发明的任何修改和改变，都落入本发明的保护范围。