基于稀疏卷积神经网络的点云几何无损压缩方法与流程

1.本发明涉及点云编码领域，特别涉及一种基于稀疏卷积神经网络的点云几何无损压缩方法。


背景技术：

2.点云是一种三维数据格式，它用大量三维坐标点(x,y,z)的集合表示物体及场景的三维信息。它的数据量庞大，所以需要高性能的压缩算法。现有的代表性点云压缩算法是由国际动态图像专家组(moving picture experts group，mpeg)所开发的两种技术方案，分别是基于视频的点云压缩(video
‑
based point cloud compression,v
‑
pcc)和基于几何的点云压缩(geometry
‑
based point cloud compression，g
‑
pcc)。g
‑
pcc中的几何压缩主要通过八叉树模型和/或三角形表面模型实现。v
‑
pcc主要通过三维到二维的投影和视频压缩实现。
3.按照压缩内容，点云压缩可以分为几何压缩和属性压缩。目前新兴的有利用神经网络和深度学习的点云几何压缩技术，可分为基于三维卷积神经网络(3d convolution neural network,3d cnn)的体积模型压缩技术，直接对点坐标集合利用基于多层感知机(multi
‑
layer perceptron,mlp)的神经网络的压缩技术，以及对八叉树的节点符号利用mlp或3d cnn进行概率估计和熵编码的压缩技术。这些方法往往能获得优于传统方法的压缩性能，有着良好的应用前景。但是现有基于神经网络和深度学习的压缩方法存在一些缺陷：基于体积模型的方法需要存储和处理空间立方体中的所有体素，存储和计算复杂度高；而基于点坐标的方法无法做到无损压缩；基于八叉树的方法复杂度较低但是压缩性能差。


技术实现要素：

4.针对以上现有技术存在的缺陷，本发明的目的是利用稀疏卷积神经网络，提出一种无损点云几何压缩方法。
5.本发明采用的技术方案为：
6.基于稀疏卷积神经网络的点云几何无损压缩方法，该方法包括以下步骤：
7.s1，将点云数据转换成稀疏张量形式，并通过体素下采样生成多个尺度的点云数据；
8.s2，基于稀疏卷积神经网络建立概率预测模型，用于估计体素的占据概率；所述概率预测模型采用基于隐层特征的概率预测模型或者基于邻居上下文的概率预测模型；
9.s3，将低尺度点云输入所述概率预测模型中，预测出高尺度点云中每个体素被占据的概率，根据概率对体素的实际占用符号用熵编码无损压缩，输出最终编码码流。
10.进一步地，步骤s2中，所述基于隐层特征的概率预测模型为一个由稀疏卷积神经网络构建的自编码器结构，该结构包括用于体积隐层表征的编码器和基于隐层表征进行重建的解码器。进一步地，步骤s3中，使用所述基于隐层特征的概率预测模型的处理步骤如下：将步骤s1原尺度的点云输入到所述编码器中，得到低尺度的点云，隐层特征即为该低尺
度点云的属性信息，然后再将该低尺度点云输入所述解码器中，输出高尺度点云的每个体素被占据的概率。
11.进一步地，步骤s3中，使用所述基于邻居上下文的概率预测模型的处理步骤如下：
12.s11，将同一尺度的点云按照坐标(x,y,z)的奇偶性分成多层；
13.s12，根据步骤s11中划分的层次，逐层利用基于神经网络的解码器从前一层生成后一层，并预测后一层中每个体素的占据概率。
14.本发明的压缩方法相比其它现有方法的优点在于：和传统g
‑
pcc方法比，由于使用了神经网络和深度学习，本发明具有更好的压缩性能，例如在标准测试集8i人物点云上，能比g
‑
pcc节省20％以上的码率。和其它基于神经网络和深度学习的方法相比，由于使用了高效的稀疏卷积，本发明能够减少编解码复杂度，例如在标准测试集8i人物点云上，本发明解码仅需约几秒钟，而其它方法则需要约1分钟，且本方法压缩性能更好。本发明具体提出的两种概率预测模型：基于隐层特征的模型和基于邻居上下文的模型，以g
‑
pcc为参照分别能够带来20％和28％以上的码率节省。
附图说明
15.图1是稀疏张量表征和其它体素表征的对比示意图，(a)普通体素表征，(b)八叉树表征，(c)稀疏张量表征。
16.图2是本发明方法的原理图。
17.图3是编码器的结构图。
18.图4是解码器的结构图。
19.图5是分类器的结构图。
20.图6是深度残差网络的神经网络结构图。
21.图7是基于隐层特征的概率预测模型的流程图。
22.图8是基于邻居上下文的概率预测模型的层次划分图。
23.图9是基于邻居上下文的概率预测模型的流程图。
24.图10是基于隐层表征的整体多尺度无损压缩流程图。
25.图11和基于邻居上下文的整体多尺度无损压缩流程图。
具体实施方式
26.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方法做进一步地详细描述。
27.本实施例的基于稀疏卷积神经网络的点云几何无损压缩方法，包括以下步骤：
28.s1.将点云数据转换成稀疏张量形式，并通过体素下采样生成多个尺度的点云数据。稀疏张量表征如图1所示。普通体素表征需要用网格存储空间中所有体素的位置，而稀疏表征只需要存储被占据体素的位置；八叉树表征用树结构表示空间体素的不规则划分，难以应用卷积网络，而稀疏表征可以利用稀疏卷积网络进行高效处理，具有更好的空间建模能力。
29.s2.基于稀疏卷积神经网络建立概率预测模型，用于估计体素被占据的概率；本发明共提出了两种不同的概率预测模型，分别是采用基于隐层特征的概率预测模型和基于邻
居上下文的概率预测模型。
30.s3.将低尺度点云输入所述一种概率预测模型中，预测出高尺度点云中每个体素被占据的概率，根据概率对体素的实际占用符号用熵编码无损压缩，输出最终编码码流。该步骤的基本原理如图2所示。即输入为低尺度点云，经过神经网络的上采样，输出高尺度点云中每个体素的占据概率，即(0,1)之间的浮点数。该概率将用于实际二值占据符号的无损熵编码。该编码方法可用于多个尺度之间，且每一个尺度的压缩互相独立，因此可以实现尺度可伸缩的编码。
31.本发明中所用的神经网络结构如图3、4、5所示，分别是编码器网络(encoder)，解码器网络(decoder)，分类器网络(classifier)。其中编码器和解码器都用到了深度残差网络(irn)单元，其结构如图6所示。编码器主要由一个下采样卷积层和两个irn单元组成，其中下采样卷积的卷积核大小和步长均为2，用于将点云下采样2*2*2倍。解码器主要由一个转置卷积和两个irn单元组成，其中转置卷积的卷积核大小为k，步长为s，设置不同的k和s值，可以实现不同层次和倍数的上采样。分类器主要由3层卷积和一个sigmoid激活函数组成，通过sigmoid激活函数可以输出每个体素被占据的概率。
32.基于隐层特征的概率预测模型基本流程如图7所示，原始点云经过自编码器(autoencoder,ae)中的编码器，输出一个低尺度点云，然后经过解码器，从该低尺度点云中重建高尺度点云，并预测高尺度点云中每个体素被占据的概率。在该过程中，低尺度点云的属性信息就是隐层特征，它包含通过神经网络提取到的局部几何细节信息，相比于仅仅使用几何信息，使用隐层特征能够更准确的估计体素占据概率，带来显著压缩增益。
33.基于邻域上下文的概率预测模型如图9所示，它并不是利用嵌入在低尺度点云中的隐层特征帮助预测高尺度点云，而是利用高尺度点云中已经解码的体素预测其余未解码体素的占据概率。首先它需要将高尺度点云中的体素按照坐标(x,y,z)的奇偶性分成4层，如图8所示，其中a、b、c、d层分别对应坐标为(0,0,0)、(1,0,0)、(x,1,0)、(x,x,1)的体素(0代表偶数，1代表奇数，x代表奇偶均可)。如图9所示，邻域上下文模型在a、b、c、d层之间依次解码，每次解码过程都利用前面层已解码的信息帮助预测当前层，在同一层内的所有体素则同时并行解码。
34.本发明的整体无损编码流程如图10，11所示，分别是利用隐层特征模型和邻域上下文模型的框架。该图以4个尺度作为示例，但也可用其它数量的尺度。其中最低尺度的点云数据量很小，所以直接使用八叉树编码器无损压缩。其余尺度数据量大，使用本发明中的概率预测模型估计体素占据概率并无损压缩。