一种深度学习自适应特征维度的点云几何编码方法及系统与流程

1.本发明涉及3d点云数字化领域，具体涉及一种深度学习自适应特征维度的点云几何编码方法及系统。


背景技术：

2.点云对三维的真实世界的数字化采样，形式上，是一对点的集合，每一个点由几何信息(x,y,z)和属性信息(例如，r,g,b,反射强度等)组成。3d点云数字化重建了真实的三维世界。目前已经广泛应用于虚拟现实和增强现实、无人驾驶、医疗以及高精度地图等领域。然而，相比传统的2d的图像，2d图像是排列规则的属性信息(颜色信息比如：r,g,b或者灰度值)的集合，点云则是无序点的集合且数量级至少超过2d图像一个数量级，因此，有效的点云压缩是十分具有挑战性的，对点云的存储和传输是必不可少。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种深度学习自适应特征维度的点云几何编码方法及系统，以解决上述问题。
4.为实现上述目的，本发明采用如下技术方案：
5.一种深度学习自适应特征维度的点云几何编码方法，包括以下步骤：
6.步骤s1:将原始点云进行分块和体素化处理；
7.步骤s2:根据步骤s1得到的体素化点云，通过自编码器进行点云编码和重建；
8.步骤s3:计算不同特征维度n下重建点云和原始点云的均方误差mse
n
以及相应的码率之间构成的代价函数s(n)，将代价函数最小对应的特征维度作为最佳特征维度n
*
；
9.步骤s4:对最佳特征维度对应的比特流熵解码，并把得到的整数反量化为原来的浮点数系数，把特征系数输入到三层的自编码器对应的解码器，使得特征系数映射回点云,得到最终的重建点云；
10.步骤s5:对步骤s1得到的整块点云的最小值进行熵编码；
11.步骤s6:基于步骤s4得到的最终的重建点云和步骤s5熵解码的最小值还原的原始的块点云，进一步融合块点云形成了最终的解码点云。
12.进一步的，所述步骤s1具体为：将原始点云均匀分割成64*64*64的块，并采用3d卷积提取点云特征，对点云体素化，有点用“1”表示，没有则用“0”表示。
13.进一步的，所述步骤s2具体为：
14.s201:对输入的64*64*64体素化的点云，采用32个5*5*5的3d卷积核学习体素化的点云的特征，步长为2，输出的的特征向量变为32*32*32*32，激活函数采用sigmoid函数；
15.s202:采用32个5*5*5的3d卷积核学习体素化的点云的特征，步长为2，因此，输出的的特征向量变为32*16*16*16；
16.s203:采用n个5*5*5的3d卷积核学习体素化的点云的特征，步长为2，因此，输出的的特征向量变为n*8*8*8；
17.s204:对n*8*8*8的为浮点数的特征系数采用均匀量化到22到2
16
的整数；
18.s205:熵编码量化后的特征系数；
19.s206:解码出特征系数；
20.s207：反量化回原来的浮点数；
21.s208:采用n个5*5*5的3d反卷积核学习体素化的点云的特征，步长为2，因此，输出的的特征向量变为n*16*16*16，激活函数采用sigmoid函数；
22.s209:采用32个5*5*5的3d反卷积核学习体素化的点云的特征，步长为2，因此，输出的的特征向量变为32*32*32*32，激活函数采用sigmoid函数；
23.s210：采用1个5*5*5的3d反卷积核学习体素化的点云的特征，步长为2，因此，输出的的特征向量变为1*64*64*64，激活函数采用sigmoid函数，输出结果四舍五入变为体素化的0和1。
24.进一步的，所述代价函数s(n),具体如下：
25.n
*
＝argmins(n)＝argmin(mse
n
α*rate
n
)
[0026][0027]
其中，n
*
为求解的最佳特征维度；n是不同的特征维度,其取值为8、16、32、64、128、256；mse
n
是原始点云和重建点云之间的均方误差；α是为了使得码率和均方误差处于同一个数量级的系数，如上式所示，α＝10
λ
，λ取值为
‑
4到4的且满足上式的整数；rate
n
是特征维度为n时对应的码率大小。
[0028]
进一步的，所述步骤s4具体为：
[0029]
步骤s401:对输出的比特流进行解码，还原量化后的特征系数；
[0030]
步骤s402:把整数的特征系数反量化为原来的浮点数；
[0031]
步骤s403:采用n个5*5*5的3d反卷积核学习体素化的点云的特征，步长为2，因此，输出的的特征向量变为n*16*16*16，激活函数采用sigmoid函数；
[0032]
步骤s404:采用32个5*5*5的3d反卷积核学习体素化的点云的特征，步长为2，因此，输出的的特征向量变为32*32*32*32，激活函数采用sigmoid函数；
[0033]
步骤s405:采用1个5*5*5的3d反卷积核学习体素化的点云的特征，步长为2，因此，输出的的特征向量变为1*64*64*64，激活函数采用sigmoid函数，输出结果四舍五入变为体素化的0和1。
[0034]
一种深度学习自适应特征维度的点云几何编码系统，包括处理器、存储器以及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时，具体执行如权利要求上述的点云几何编码方法中的步骤。
[0035]
本发明与现有技术相比具有以下有益效果：
[0036]
本发明优化点云的失真和码率的大小，能够快速获取最佳特征维度，进一步提高点云压缩效率及质量。
附图说明
[0037]
图1是本发明总体流程图。
[0038]
图2是本发明一实施例中基于自编码器的点云编码和重建流程图。
[0039]
图3是本发明一实施例中基于特征向量的点云重建流程图。
具体实施方式
[0040]
下面结合附图及实施例对本发明做进一步说明。
[0041]
请参照图1，本发明提供一种深度学习自适应特征维度的点云几何编码方法，包括以下步骤：
[0042]
步骤s1:将原始点云进行分块和体素化处理；把点云均匀分割成64*64*64的块。为了后续使用3d卷积提取点云特征，首先对点云体素化，有点用“1”表示，没有则用“0”表示。
[0043]
步骤s2:对体素化的点云使用三层的自编码器的编码器，把点云映射到特征空间，特征是n*2*2*2大小的一组系数，进一步对浮点数的系数均匀量化到22到2
16
的整数，对量化后的系数直接熵编码，输出比特流。重构端熵解码，反量化，对特征系数使用三层的自编码器对应的解码器，把特征系数映射回点云。
[0044]
步骤s3:计算不同特征维度(n＝16、32、64、128、256)下重建点云和原始点云的均方误差mse
n
以及相应的码率之间构成的代价函数s(n)如下式所示，代价函数最小对应的特征维度n
*
即为所求，输出此时对应的熵编码的比特流和二进制化n
*
。
[0045]
n
*
＝argmins(n)＝argmin(mse
n
α*rate
n
)
[0046][0047]
其中，n
*
为求解的最佳特征维度；n是不同的特征维度,其取值为8、16、32、64、128、256；mse
n
是原始点云和重建点云之间的均方误差；α是为了使得码率和均方误差处于同一个数量级的系数，如上式所示，α＝10
λ
，λ取值为
‑
4到4的且满足上式的整数；rate
n
是特征维度为n时对应的码率大小。
[0048]
步骤s4:基于特征向量的点云重建首先对特征维度n
*
对应的比特流熵解码，然后把得到的整数反量化为原来的浮点数系数，把特征系数输入到三层的自编码器对应的解码器，使得特征系数映射回点云；
[0049]
步骤s5:由于学习体素化点云时，把整块点云左下角移到了原点，因此需要记录移动的坐标，所以对整块点云的最小值进行熵编码；
[0050]
步骤s6:步骤m4重建的点云加上了从步骤m5熵解码的最小值则还原了原始的块点云，进一步融合块点云形成了最终的解码点云。
[0051]
在本实施例中，优选的，参考图2，基于自编码器的点云编码和重建通过如下步骤完成：
[0052]
步骤s201:对输入的64*64*64体素化的点云，采用32个5*5*5的3d卷积核学习体素化的点云的特征，步长为2，因此，输出的的特征向量变为32*32*32*32，激活函数采用sigmoid函数。
[0053]
步骤s202:采用32个5*5*5的3d卷积核学习体素化的点云的特征，步长为2，因此，输出的的特征向量变为32*16*16*16，激活函数采用sigmoid函数。
[0054]
步骤s203:采用n个5*5*5的3d卷积核学习体素化的点云的特征，步长为2，因此，输出的的特征向量变为n*8*8*8。
[0055]
步骤s204:对n*8*8*8的为浮点数的特征系数采用均匀量化到22到2
16
的整数。
[0056]
步骤s205:熵编码量化后的特征系数。
[0057]
步骤s206:解码出特征系数。
[0058]
步骤s207：反量化回原来的浮点数。
[0059]
步骤s208:采用n个5*5*5的3d反卷积核学习体素化的点云的特征，步长为2，因此，输出的的特征向量变为n*16*16*16，激活函数采用sigmoid函数。
[0060]
步骤s209:采用32个5*5*5的3d反卷积核学习体素化的点云的特征，步长为2，因此，输出的的特征向量变为32*32*32*32，激活函数采用sigmoid函数。
[0061]
步骤s210：采用1个5*5*5的3d反卷积核学习体素化的点云的特征，步长为2，因此，输出的的特征向量变为1*64*64*64，激活函数采用sigmoid函数，输出结果四舍五入变为体素化的0和1。
[0062]
在本实施例中，优选的，参考图3，基于特征向量的点云重建通过如下步骤完成：
[0063]
步骤s401:对输出的比特流进行解码，还原量化后的特征系数。
[0064]
步骤s402:把整数的特征系数反量化为原来的浮点数。
[0065]
步骤s403:采用n个5*5*5的3d反卷积核学习体素化的点云的特征，步长为2，因此，输出的的特征向量变为n*16*16*16，激活函数采用sigmoid函数。
[0066]
步骤s404:采用32个5*5*5的3d反卷积核学习体素化的点云的特征，步长为2，因此，输出的的特征向量变为32*32*32*32，激活函数采用sigmoid函数。
[0067]
步骤s405:采用1个5*5*5的3d反卷积核学习体素化的点云的特征，步长为2，因此，输出的的特征向量变为1*64*64*64，激活函数采用sigmoid函数，输出结果四舍五入变为体素化的0和1。
[0068]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0069]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0070]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0071]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0072]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。