三维点云补全方法、装置及设备与流程

1.本发明涉及计算机视觉识别技术领域，尤其涉及一种三维点云补全方法、装置及设备。


背景技术：

2.点云补全技术是指以目标不完整点云作为输入，通过修复、补全缺失点云进而估计完整点云，提升点云质量，有助于采用较小的数据量描述三维物体，在空间目标探测、识别领域具有广泛的应用前景。
3.目前，为更好地实现点云补全，通常结合深度学习实现点云补全，且高分辨率形状补全模型解决了三维模型大面积缺失区域的修复问题。其中，foldingnet模型采用一种折叠解码器，通过学习二维平面与三维曲面的折叠映射关系补全缺失点云，pcn模型直接对三维点云进行特征提取、映射，通过粗处理、优化实现补全点云。
4.但是，无论是foldingnet模型还是pcn模型其对目标局部缺失点云恢复能力以及整体点云补全精度都有较大提升空间，无法满足高精度点云补全的需要。


技术实现要素：

5.本发明提供一种三维点云补全方法、装置及设备，用以解决现有技术中点云补全精度低的缺陷，实现准确、快速的完成点云补全操作。
6.本发明提供一种三维点云补全方法，包括：
7.采集待识别的不完整点云数据；
8.输入所述不完整点云数据至三维点云补全模型，输出所述不完整点云数据对应的完整目标点云数据；其中，所述三维点云补全模型为不完整点云数据样本和完整点云数据标签进行训练后得到的。
9.根据本发明提供的一种三维点云补全方法，所述采集待识别的不完整点云数据之前，还包括：
10.获取初始训练数据，并对所述初始训练数据进行预处理；
11.对所述预处理之后的数据进行预设次数的迭代最远点采样，得到与所述预设次数对应的目标数量的次级训练数据；
12.基于多层感知机，根据所述目标数量的次级训练数据和所述初始训练数据，得到目标特征向量；
13.将所述目标特征向量与单位正方形随机采样点坐标进行级联，根据所述级联后的结果构建机器学习模型，对所述机器学习模型进行训练，得到三维点云补全模型。
14.根据本发明提供的一种三维点云补全方法，所述基于多层感知机，根据所述目标数量的次级训练数据和所述初始训练数据，得到目标特征向量，包括：
15.将所述目标数量的次级训练数据和所述初始训练数据分别通过组合多层感知机，得到初级特征向量；
16.对所述初级特征向量进行级联，得到特征图；
17.将所述特征图通过多层感知机，得到整合特征向量，以所述整合特征向量作为目标特征向量。
18.根据本发明提供的一种三维点云补全方法，所述根据所述级联后的结果构建机器学习模型，包括：
19.将级联后的输出结果与所述初始训练数据相结合，并对结合后的数据进行基于预设密度的采样；
20.将所述采样的结果通过残差网络进行训练，构建机器学习模型。
21.根据本发明提供的一种三维点云补全方法，所述将所述采样的结果通过残差网络进行训练之后，还包括：
22.通过建立代价函数对残差网络训练后的模型进行参数优化处理。
23.根据本发明提供的一种三维点云补全方法，所述对所述机器学习模型进行训练，得到三维点云补全模型，包括：
24.设置目标参数；
25.基于目标训练数据和所述目标参数，对所述机器学习模型进行训练，得到三维点云补全模型，所述目标训练数据包括所述初始训练数据和所述次级训练数据。
26.根据本发明提供的一种三维点云补全方法，所述得到三维点云补全模型之后，还包括：
27.通过emd指标和cd指标对所述三维点云补全模型进行评价。
28.根据本发明提供的一种三维点云补全方法，所述对所述初始训练数据进行预处理，包括：
29.基于预设关联关系，对所述初始训练数据进行归一化处理，得到点云三维坐标。
30.本发明还提供一种三维点云补全装置，包括：
31.采集模块，用于采集待识别的不完整点云数据；
32.补全模块，用于输入所述不完整点云数据至三维点云补全模型，输出所述不完整点云数据对应的完整目标点云数据；其中，所述三维点云补全模型为不完整点云数据样本和完整点云数据标签进行训练后得到的。
33.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述三维点云补全方法的步骤。
34.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述三维点云补全方法的步骤。
35.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述三维点云补全方法的步骤。
36.本发明提供的一种三维点云补全方法、装置及设备，方法通过采集待识别的不完整点云数据；输入所述不完整点云数据至三维点云补全模型，输出所述不完整点云数据对应的完整目标点云数据；其中，所述三维点云补全模型为不完整点云数据样本和完整点云数据标签进行训练后得到的，由于本技术中的三维点云补全模型结合了多种模型的优点，克服了不同模型对点云补全精度不高的问题，在能够保证点云补全的速度的同时，有效地
提高了点云补全精度，提高了视觉识别的效果。
附图说明
37.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1是本发明提供的三维点云补全方法的流程示意图之一；
39.图2是本发明提供的三维点云补全方法的流程示意图之二；
40.图3是本发明提供的三维点云补全装置的结构示意图；
41.图4是本发明提供的电子设备的结构示意图。
具体实施方式
42.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.下面结合图1-图4描述本发明的三维点云补全方法、装置及设备。
44.图1是本发明提供的三维点云补全方法的流程示意图之一。
45.如图1所示，本发明实施例提供的一种三维点云补全方法，包括以下步骤：
46.101、采集待识别的不完整点云数据。
47.采集的方式在本实施例中不再进行具体限定，不完整点云数据指的是通过不完整点云不能完全的看出目标物品的形状，以小刀为例说明，完整的小刀点云数据便是包括小刀的各个部分，包括刀把、刀身和刀尖，不完整点云指的是缺少其中的一部分点云数据，例如可能是缺少刀尖的某一部分，也就是没有获取到全部的点云数据，本技术的目的便是将不完整的点云数据补全，从而使得在图像识别的过程中更加的准确。
48.102、输入不完整点云数据至三维点云补全模型，输出不完整点云数据对应的完整目标点云数据；其中，三维点云补全模型为不完整点云数据样本和完整点云数据标签进行训练后得到的。
49.采集到不完整点云数据之后，便可以直接将其输入至三维点云补全模型，然后三维点云补全模型经过对不完整点云数据的运算处理，对不完整点云数据的缺失部分进行补全，最终得到完整的点云数据输出，实现了对不完整点云的补全操作，而三维点云补全模型为不完整点云数据样本和完整点云数据标签进行训练后得到的。
50.本发明实施例提供的一种三维点云补全方法，通过采集待识别的不完整点云数据；输入所述不完整点云数据至三维点云补全模型，输出所述不完整点云数据对应的完整目标点云数据；其中，所述三维点云补全模型为不完整点云数据样本和完整点云数据标签进行训练后得到的，由于本技术中的三维点云补全模型结合了多种模型的优点，克服了不同模型对点云补全精度不高的问题，在能够保证点云补全的速度的同时，有效地提高了点云补全精度。
51.图2是本发明提供的三维点云补全方法的流程示意图之二。
52.如图2所示，本发明实施例提供的一种三维点云补全方法，包括以下步骤：
53.201、获取初始训练数据，并对初始训练数据进行预处理。
54.在shapenet数据集或其他数据集上准备初始训练数据，然后对初始训练数据进行预处理操作，具体为基于预设关联关系，对初始训练数据进行归一化处理，得到点云三维坐标，其中预设关联关系如公式(1)：
[0055][0056]
式中：x
*
,y
*
,z
*
为归一化后点云三维坐标；x，y，z为归一化前点云三维坐标；分别为原始点云每一维度坐标均值；m为未归一化点云中点的模的最大值。例如，可以通过均匀降采样至1792(假设真实云数量为2048)，随后采取指定视角缺失的方法继续降采样至1536，即为不完整点云数据。
[0057]
202、对预处理之后的数据进行预设次数的迭代最远点采样，得到与预设次数对应的目标数量的次级训练数据。
[0058]
在对初始训练数据进行预处理之后，首先对初始训练数据进行预设次数的迭代最远点采样，以2次为例进行说明，2次迭代采样之后便可以得到两个次级训练数据，结合初始训练数据，便得到了3个训练数据。
[0059]
203、基于多层感知机，根据目标数量的次级训练数据和初始训练数据，得到目标特征向量。
[0060]
具体为，将目标数量的次级训练数据和初始训练数据分别通过组合多层感知机，得到初级特征向量；也就是将2个次级训练数据和1个初始训练数据分别通过3个组合的多层感知机，通过拼接操作获得3组形状为1920
×
1的初级特征向量，对初级特征向量进行级联，得到1920
×
3特征图；将特征图通过一个多层感知机，得到1920
×
1形状的整合特征向量，以整合特征向量作为目标特征向量。
[0061]
204、将目标特征向量与单位正方形随机采样点坐标进行级联，根据级联后的结果构建机器学习模型，对机器学习模型进行训练，得到三维点云补全模型。
[0062]
具体的，将目标特征向量与单位正方形随机采样点坐标进行级联形成1922
×
n的输入，进而通过k个共享的多层感知机生成k
×
n个点，其组合结果作为机器学习模型，然后对机器学习模型进行训练，训练过程具体为设置目标参数；基于目标训练数据和目标参数，对机器学习模型进行训练，得到三维点云补全模型，目标训练数据包括初始训练数据和次级训练数据。而具体的目标参数包括：恢复后点云总数2048；点云缺失数512；batchsize设置为48；epoch设置为200；用于粗糙输出的表面数量8；原始及降采样指标分别为2048、1024、512；初始训练学习率0.01，梯度优化算法为adam,距初始间隔20个epoch学习率下降至0.001，距初始间隔55个epoch学习率下降至0.0001，从而对机器学习模型进行数据训练，
得到三维点云补全模型。
[0063]
而在训练得到三维点云补全模型之前，构建机器学习模型完成之后，还包括着将级联后的输出结果与初始训练数据相结合，并对结合后的数据进行基于预设密度的采样，例如可以是最小密度的采样，再将结果通过由共享权重的一维卷积组成的残差网络继续训练，构建机器学习模型。
[0064]
同样为了提高点云补全模型精度，还包括通过建立代价函数对机器学习模型参数进行优化，减少模型在进行点云补全时的误差。可通过两个代价函数对机器学习模型参数进行优化处理，如公式(2)和公式(3)：
[0065][0066]
其中，k为生成表面的多层感知机个数；n为每个表面元素生成点云数量；为每个mlp产生点云的最小生成树；dis(u,v)表示两节点的欧式距离；li表示中所有边长的平均长度；f为指示函数，用于过滤距离小于等于λli的边(λ取1.5)。
[0067][0068]
其中，s
coarse
是生成的粗糙点云；s
final
最终输出结果；s
gt
是真实的完整点云；α为预设值0.1，β为预设值1.0，l
emd
是基于搬土距离(earth mover’s distance，emd)指标的代价计算。
[0069]
205、采集待识别的不完整点云数据。
[0070]
206、输入不完整点云数据至三维点云补全模型，输出不完整点云数据对应的完整目标点云数据；其中，三维点云补全模型为不完整点云数据样本和完整点云数据标签进行训练后得到的。
[0071]
其中，关于步骤205和206在上述实施例中对应的101和102中已经做了详尽的说明，因此在本实施例中不再进行具体介绍。
[0072]
进一步的，在得到三维点云补全模型之后，还包括：通过emd指标和倒角距离(chamfer distance，cd)指标对三维点云补全模型进行评价，从而计算得到本技术中的三维点云补全模型的准确度。
[0073]
下面对本发明提供的三维点云补全装置进行描述，下文描述的三维点云补全装置与上文描述的三维点云补全方法可相互对应参照。
[0074]
图3是本发明提供的三维点云补全装置的结构示意图。
[0075]
如图3所示，本发明实施例提供的一种三维点云补全装置，包括：
[0076]
采集模块31，用于采集待识别的不完整点云数据；
[0077]
补全模块32，用于输入不完整点云数据至三维点云补全模型，输出不完整点云数据对应的完整目标点云数据；其中，三维点云补全模型为不完整点云数据样本和完整点云数据标签进行训练后得到的。
[0078]
本发明实施例提供的一种三维点云补全装置，通过采集待识别的不完整点云数据；输入所述不完整点云数据至三维点云补全模型，输出所述不完整点云数据对应的完整目标点云数据；其中，所述三维点云补全模型为不完整点云数据样本和完整点云数据标签进行训练后得到的，由于本技术中的三维点云补全模型结合了多种模型的优点，克服了不
同模型对点云补全精度不高的问题，在能够保证点云补全的速度的同时，有效地提高了点云补全精度。
[0079]
进一步的，本实施例中还包括模型建立模块，包括：
[0080]
数据预处理模块，用于获取初始训练数据，并对初始训练数据进行预处理；
[0081]
编码器单元，用于对预处理之后的数据进行预设次数的迭代最远点采样，得到与预设次数对应的目标数量的次级训练数据；基于多层感知机，根据目标数量的次级训练数据和初始训练数据，得到目标特征向量；
[0082]
解码器单元，用于将目标特征向量与单位正方形随机采样点坐标进行级联，根据级联后的结果构建机器学习模型，对机器学习模型进行训练，得到三维点云补全模型。
[0083]
进一步的，本实施例中的编码器单元，具体用于：
[0084]
将目标数量的次级训练数据和初始训练数据分别通过组合多层感知机，得到初级特征向量；
[0085]
对初级特征向量进行级联，得到特征图；
[0086]
将特征图通过多层感知机，得到整合特征向量，以整合特征向量作为目标特征向量。
[0087]
进一步的，本实施例中的解码器单元，具体用于：
[0088]
将级联后的输出结果与初始训练数据相结合，并对结合后的数据进行基于预设密度的采样；
[0089]
将采样的结果通过残差网络进行训练，构建机器学习模型。
[0090]
进一步的，本实施例中的解码器单元，具体还用于：
[0091]
通过建立代价函数对残差网络训练后的模型进行参数优化处理。
[0092]
进一步的，本实施例中的解码器单元，具体还用于：
[0093]
设置目标参数；
[0094]
基于目标训练数据和目标参数，对机器学习模型进行训练，得到三维点云补全模型，目标训练数据包括初始训练数据和次级训练数据。
[0095]
进一步的，本实施例中还包括指标评价模块，用于：
[0096]
通过emd指标和cd指标对三维点云补全模型进行评价。
[0097]
进一步的，本实施例中的数据预处理模块，具体用于：
[0098]
基于预设关联关系，对初始训练数据进行归一化处理，得到点云三维坐标。
[0099]
图4是本发明提供的电子设备的结构示意图。
[0100]
如图4所示，该电子设备可以包括：处理器(processor)810、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行三维点云补全方法，该方法包括：采集待识别的不完整点云数据；输入所述不完整点云数据至三维点云补全模型，输出所述不完整点云数据对应的完整目标点云数据；其中，所述三维点云补全模型为不完整点云数据样本和完整点云数据标签进行训练后得到的。
[0101]
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本
发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0102]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的三维点云补全方法，该方法包括：采集待识别的不完整点云数据；输入所述不完整点云数据至三维点云补全模型，输出所述不完整点云数据对应的完整目标点云数据；其中，所述三维点云补全模型为不完整点云数据样本和完整点云数据标签进行训练后得到的。
[0103]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的三维点云补全方法，该方法包括：采集待识别的不完整点云数据；输入所述不完整点云数据至三维点云补全模型，输出所述不完整点云数据对应的完整目标点云数据；其中，所述三维点云补全模型为不完整点云数据样本和完整点云数据标签进行训练后得到的。
[0104]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0105]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0106]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。