基于连续子空间图变换的点云属性编码方法及解码方法与流程

1.本发明涉及点云处理技术领域，特别涉及一种基于连续子空间图变换的点云属性编码方法及解码方法。


背景技术：

2.三维点云是现实世界数字化的重要表现形式。随着三维扫描设备(如激光、雷达等)的快速发展，点云的精度和分辨率变得更高。高精度点云广泛应用于城市数字化地图的构建，在智慧城市、无人驾驶、文物保护等众多热门研究中起技术支撑作用。点云是三维扫描设备对物体表面采样所获取的，一帧点云的点数一般是百万级别，其中每个点包含几何信息和颜色、反射率等属性信息，数据量十分庞大。三维点云庞大的数据量给数据存储、传输等带来了巨大挑战，因此对点云进行压缩编码变得十分重要。
3.在现有技术中，点云编码常使用raht(基于区域自适应的分层变换)方法进行点云属性编码，但是，raht作为一种多层次分层变换，每次变换沿着x，y和z方向，寻找两个变换点进行变换，这就会涉及到寻找方向的顺序问题，不是最佳解的寻找方向会导致点云编码效果差。
4.因此，现有技术还有待改进和提高。


技术实现要素：

5.针对现有技术的上述缺陷，本发明提供基于连续子空间图变换的点云属性编码方法及解码方法，旨在解决现有技术中采用raht方法进行点云属性编码时寻找方向的顺序影响点云编码效果的问题。
6.为了解决上述技术问题，本发明所采用的技术方案如下：
7.本发明的第一方面，提供一种基于连续子空间图变换的点云属性编码方法，包括：
8.根据目标点云内点的位置将所述目标点云划分为多层级结构，所述多层级结构包括m个层级，每级中包括至少两个点云空间，每一级的点云空间是对上一级的点云空间进行划分得到的，其中，m为大于1的整数；
9.对于所述多层级结构中的每一个目标点云空间，获取所述目标点云空间的子空间，根据所述子空间构建图模型，其中，所述目标点云空间为所述多层级结构中第一级之外的层级中的点云空间；
10.根据所述图模型对所述子空间的第一属性系数进行变换，获取所述目标点云空间的第一属性系数和第二属性系数；
11.根据所述多层级结构中的第m级中的点云空间的第一属性系数、以及所述多层级结构中各个所述目标点云空间的第二属性系数对所述目标点云进行属性编码；
12.其中，所述多层级结构中的第一级中的点云空间的第一属性系数为点云空间的原始属性值。
13.本发明的第二方面，提供一种基于连续子空间图变换的点云属性解码方法，包括：
14.根据目标点云内点的位置将所述目标点云划分为多层级结构，所述多层级结构包括m个层级，每级中包括至少两个点云空间，每一级的点云空间是对上一级的点云空间进行划分得到的，其中，m为大于1的整数；
15.对于所述多层级结构中的每一个目标点云空间，获取所述目标点云空间的子空间，根据所述子空间构建图模型，其中，所述目标点云空间为所述多层级结构中第一级之外的层级中的点云空间；
16.对所述目标点云的编码码流进行解码，获取所述多层级结构的第m级中的点云空间的第一属性系数和各个所述目标点云空间分别对应的第二属性系数，并根据所述图模型对所述目标点云空间的第一属性系数和第二属性系数进行变换，获取各个所述子空间的第一属性系数；
17.根据所述多层级结构中的第一级中各个点云空间的第一属性系数获取所述目标点云的属性值。
18.本发明的第三方面，提供一种终端，所述终端包括处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令，所述处理器适于调用所述存储介质中的指令，以执行实现上述的基于连续子空间图变换的点云属性编码方法的步骤和/或上述的基于连续子空间图变换的点云属性解码方法的步骤。
19.本发明的第四方面，提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的基于连续子空间图变换的点云属性编码方法的步骤和/或上述的基于连续子空间图变换的点云属性解码方法的步骤。
20.与现有技术相比，本发明提供了基于连续子空间图变换的点云属性编码方法及解码方法，通过将目标点云划分为多层级结构，对多层级结构的第二级以及第二级以上的目标点云空间，都由该目标点云空间在下一级的子空间的第一属性系数进行图变换得到该节点的第一属性系数和第二属性系数，目标点云空间的第一属性系数在上一级继续被变换，这样进行连续变换后，最终得到所述目标点云的第一属性系数和各个目标点云空间的第二属性系数，再根据所述目标点云的第一属性系数和各个目标点云空间的第二属性系数进行点云属性编码，在编码的过程中，不涉及寻找变换点的过程，避免了寻找方向的顺序影响点云属性编码效果，保证了点云属性编码质量。
附图说明
21.图1为本发明提供的基于连续子空间图变换的点云属性编码方法的实施例的流程图；
22.图2为本发明提供的基于连续子空间图变换的点云属性编码方法的实施例中多层级结构的示意图；
23.图3为本发明提供的基于连续子空间图变换的点云属性编码方法的实施例中图模型的示意图；
24.图4为本发明提供的基于连续子空间图变换的点云属性编码方法的实施例的效果示意图；
25.图5为本发明提供的基于连续子空间图变换的点云属性解码方法的实施例的流程
图；
26.图6为本发明提供的终端的实施例的原理示意图。
具体实施方式
27.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
28.本发明提供的基于连续子空间图变换的点云属性编码方法及解码方法，可以是应用在终端中，终端可以通过本发明提供的基于连续子空间图变换的点云属性编码方法及解码方法进行点云属性编码和点云属性解码。终端可以但不限于是各种计算机、手机、平板电脑、车载电脑和便携式可穿戴设备。
29.实施例一
30.如图1所示，本发明提供的基于连续子空间图变换的点云属性编码方法的一个实施例中，包括步骤：
31.s110、根据目标点云内点的位置将所述目标点云划分为多层级结构。
32.所述多层级结构包括m个层级，每级中包括至少两个点云空间，每一级的点云空间是对上一级的点云空间进行划分得到的，其中，m为大于1的整数。将目标点云看做是一个根空间，可以根据空间位置将所述目标点云划分为多个点云空间，每个点云空间可以继续划分为下一级的点云空间。如图2所示，图2中是一个4级的多层级结构，g
01
为给多层级结构中的所述目标点云，位于多层级结构的第4级。
33.具体地，所述所述根据目标点云内点的位置将所述目标点云划分为多层级结构，包括：
34.对点云空间进行划分，得到k个子空间，每个子空间的空间大小相等或包含的数据点数量相等，每个子空间内包括至少一个所述目标点云的数据点，其中，k为大于1的整数；
35.当点云空间内包含的数据点的数量为1时，不再继续划分。
36.也就是说，在所述多层级结构中的第1级中的点云空间中包含1个数据点。在每次对点云空间进行划分，得到k个子空间时，k的数量可以自行设定。
37.s120、对于所述多层级结构中的每一个目标点云空间，获取所述目标点云空间的子空间，根据所述子空间构建图模型。
38.所述目标点云空间为所述多层级结构中第一级之外的层级中的点云空间，也就是说，位于所述多层级结构的第2级及第2级以上的层级中的点云空间均为目标点云空间。所述目标点云空间的子空间时对所述目标点云空间进行划分后得到的点云空间，对于每个目标点云空间，通过下面的步骤s300和s400进行处理，获取该目标点云空间对应的第一属性系数和第二属性系数，具体将在后文被说明。不难看出，所述目标点云也是目标点云空间。具体地，所述根据所述子空间构建图模型包括：
39.将所述子空间作为所述图模型中的顶点，将所述子空间两两连接的连接线作为所述图模型中的边。也就是说，当所述目标点云空间有n个所述子空间，那么，所述图模型中的顶点的个数为n，每个顶点都分别通过边与其他的各个顶点连接，值得说明的是，在所述图模型中，认为每个顶点还存在和自身连接的边，即所述图模型中共有n*(n-1)/2 n条边。
40.假设目标点云空间有三个被占据的子空间v1、v2和v3，那么可以构建图模型如图3所示。
41.s130、根据所述图模型对所述子空间的第一属性系数进行变换，获取所述目标点云空间的第一属性系数和第二属性系数。
42.具体地，所述步骤s130包括子步骤：
43.s131、根据各个所述子空间之间的距离获取所述图模型中每条边的权重。
44.所述根据各个所述子空间之间的距离获取所述图模型中每条边的权重包括：
45.根据预设公式获取所述图模型中每条边的权重；
46.所述预设公式为：
47.其中，w(i,j)表示连接顶点i和顶点j的边的权重，ai、aj分别为顶点i和顶点j对应的点云子空间内包含的点数，xi、xj分别为顶点i和顶点j对应的点云子空间的位置,α为预设参数，α为可调值，控制权重随两点距离的增加而减小的速度。
48.从上面说明不难看出，本发明提供的点云属性编码方法中引入了点间距离的信息，从而可以更加准确地表达点间关系，实现更好的变换效果。
49.s132、根据所述图模型中每条边的权重获取所述图模型对应的归一化对称图拉普拉斯矩阵。
50.在获取到所述图模型中每条边的权重后，可以获取所述图模型对应的归一化对称图拉普拉斯矩阵，此为现有技术，在此不再赘述。
51.s133、将所述归一化对称图拉普拉斯矩阵对应的特征向量组作为变换矩阵，对所述子空间的第一属性系数进行图傅里叶变换，获取所述目标点云空间的第一属性系数和第二属性系数。
52.在获取到所述归一化对称图拉普拉斯矩阵后，求解所述归一化对称图拉普拉斯矩阵的特征向量组，将所述特征向量组作为变换矩阵，对所述子空间的第一属性系数进行图傅里叶变换，变换后可以得到所述第一属性系数和所述第二属性系数。变换可用公式表示为：c＝f
×
a，其中，a为变换矩阵，c为所述目标点云空间的属性系数(包括第一属性系数和第二属性系数)组成的向量，f为所述子空间的第一属性系数组成的向量。
53.所述第一属性系数是所述特征向量组中特征值为0的向量对应的变换结果，所述第二属性系数为所述特征向量组中特征值不为0的特征向量对应的变换结果，具体地，拉普拉斯矩阵对应的特征向量组里，一定有一个特征值为0的特征向量，所述第一属性系数的数量为1个，所述第二属性系数的数量可以有多个。将所述第一属性系数记为dc系数(直流系数)，将所述第二属性系数记为ac系数(交流系数)。
54.从上面的说明不难看出，在从所述多层级结构的第二级开始，对于所述多层级结构中的每一级进行逐层变换的过程中，每个点云空间的第一属性系数会在上一级中继续被变换，最终会得到一个第一属性系数和多个第二属性系数，即所述多层级结构中的所述目标点云的第一属性系数，以及各个所述目标点云空间的第二属性系数。
55.所述多层级结构中的第一级中的点云空间的第一属性系数为点云空间中的数据
点的属性值。在逐层变换后，最终获取的第一属性系数和第二属性系数能够实现保留原有属性信息的基础上尽可能地去冗余，提高了存储和传输效率。
56.在对所述多层级结构逐层变换完成后，本实施例提供的基于连续子空间图变换的点云属性编码方法还包括步骤：
57.s140、根据所述多层级结构中的第m级中的点云空间的第一属性系数、以及所述多层级结构中各个所述目标点云空间的第二属性系数对所述目标点云进行属性编码。
58.所述多层级结构中的第m级中的点云空间即为所述目标点云，根据所述多层级结构中的第m级中的点云空间的第一属性系数、以及所述多层级结构中各个所述目标点云空间的第二属性系数对所述目标点云进行属性编码，可以是将第一属性系数和第二属性系数作为编码系数，进行量化后再熵编码，或者直接熵编码。
59.在一种可能的实现方式中，为了使得在对所述目标点云进行属性编码后得到的码流进行解码后得到的属性值能够尽可能地更接近所述目标点云的属性值，所述所述根据所述多层级结构中的第m级中的点云空间的第一属性系数、以及所述多层级结构中各个所述目标点云空间的第二属性系数对所述目标点云进行属性编码之后，包括：
60.对所述第m级中的点云空间的第一属性系数、以及所述多层级结构中各个所述目标点云的第二属性系数进行量化得到量化属性系数，对所述量化属性系数进行逆量化得到重建属性系数，根据所述图模型对所述重建属性系数进行逆变换，获取所述多层级结构中第1级的点云空间分别对应的重建属性值；
61.计算所述多层级结构中第1级的点云空间分别对应的所述原始属性值与所述重建属性值的差值作为属性残差值；
62.对所述属性残差值进行量化后再进行熵编码，得到属性残差码流；
63.或者，直接对所述属性残差值进行熵编码得到属性残差码流；
64.或者，对所述属性残差值进行量化得到属性残差量化系数并获取量化过程得到的余数，对所述属性量化残差系数进行熵编码得到属性残差码流，对所述余数进行熵编码，得到残差量化余数码流。
65.不难看出，所述第m级中的点云空间的第一属性系数、以及所述多层级结构中各个所述目标点云的第二属性系数分别对应有一个重建属性系数，所述根据所述图模型对所述重建属性系数进行逆变换，是指对于每个所述目标点云空间，都通过所述归一化对称图拉普拉斯矩阵对应的特征向量组的转置对所述目标点云空间的重建第一属性系数和第二属性系数对应的重建属性系数进行逆图傅里叶变换，得到所述目标点云空间的子空间的重建第一属性系数，这样逐层逆变换，最终得到所述多层级结构中第1级的点云空间的重建第一属性系数，将所述第1级的点云空间的重建第一属性系数作为对应的重建属性值。
66.所述属性残差码流、所述残差量化余数码流可以与对所述目标点云进行属性编码之后得到的重建点云的码流一同被存储，在对所述重建点云进行解码时被应用。具体在实施例二中被说明。
67.本实施例提供的基于连续子空间图变换的点云属性编码方法的效果图可以如图4所示，图4中是采用本发明提供的基于连续子空间图变换的点云属性编码方法和raht方法对同一点云进行颜色属性编码的效果图，图4中的横坐标标识压缩率，纵坐标表示颜色的亮度成分的失真程度，四条曲线中最下面一条为raht方法对应的曲线，上面三条至上而下分
别为本发明提供的方法中多层级结构的中子空间大小为8x8x8个体素、4x4x4个体素、2x2x2个体素对应的曲线，可以看到，本发明提供的编码方法相对于raht方法，具有更小的压缩率和更低失真程度，具有更好的压缩效果。
68.实施例二
69.基于实施例一中提供的基于连续子空间图变换的点云属性编码方法，本发明还提供了一种基于连续子空间图变换的点云属性解码方法，如图5所示，本发明提供的基于连续子空间图变换的点云属性解码方法的一个实施例中，包括步骤：
70.s210、根据目标点云内点的位置将所述目标点云划分为多层级结构。s220、对于所述多层级结构中的每一个目标点云空间，获取所述目标点云空间的子空间，根据所述子空间构建图模型。
71.所述多层级结构包括m个层级，每级中包括至少两个点云空间，每一级的点云空间是对上一级的点云空间进行划分得到的，其中，m为大于1的整数。步骤s210以及步骤s220的具体说明可以参照实施例一中步骤s110和s120的说明。值得说明的是，在本实施例提供的基于连续子空间图变换的点云属性解码方法中，将所述目标点云进行划分得到的多层级结构应与对所述目标点云进行属性编码时对所述目标点云进行划分得到的多层级结构一致，二者中的点云空间一一对应。
72.s230、对所述目标点云的编码码流进行解码，获取所述多层级结构的第m级中的点云空间的第一属性系数和各个所述目标点云空间分别对应的第二属性系数，并根据所述图模型对所述目标点云空间的第一属性系数和第二属性系数进行变换，获取各个所述子空间的第一属性系数。
73.在本实施例中，所述目标点云的码流是通过实施例一中提供的基于连续子空间图变换的点云属性编码方法编码得到的，对所述目标点云的码流进行解码，可以获取到所述多层级结构的第m级中的点云空间的第一属性系数和各个所述目标点云空间分别对应的第二属性系数。
74.对所述目标点云的码流进行解码的方法根据对所述目标点云进行编码生成码流的方式确定，当对所述目标点云进行属性编码时，是将属性系数进行量化后再熵编码时，那么解码时是先对点云码流进行熵解码再进行逆量化，当对所述目标点云进行属性编码时，是直接将属性系数进行熵编码，那么解码使对点云码流进行熵解码即可。
75.所述根据所述子空间构建图模型可以参照实施例一中对步骤s120的说明。所述根据所述图模型对所述目标点云空间的第一属性系数和第二属性系数进行变换，获取各个所述子空间的第一属性系数，包括：
76.s231、根据各个所述子空间之间的距离获取所述图模型中每条边的权重；
77.s232、根据所述图模型中每条边的权重获取所述图模型对应的归一化对称图拉普拉斯矩阵；
78.s233、将所述归一化对称图拉普拉斯矩阵对应的特征向量组的转置作为变换矩阵，对所述目标点云空间的第一属性系数和第二属性系数进行逆图傅里叶变换，获取各个所述子空间的第一属性系数。
79.所述步骤s231、步骤s232的具体说明可以参照实施例一中对步骤s131、步骤s132的说明。
80.在获取到所述归一化对称图拉普拉斯矩阵后，求解所述归一化图拉普拉斯矩阵的特征向量组的转置作为变换矩阵，将所述目标点云空间的第一属性系数和第二属性系数作为输入进行逆图傅里叶变换，得到各个所述子空间的第一属性系数。
81.具体地，逆变换可用公式表示为：f＝c
×at
，其中，a
t
为变换矩阵，是归一化对称图拉普拉斯矩阵的转置，c为所述目标点云空间的属性系数(包括第一属性系数和第二属性系数)组成的向量，f为所述子空间的第一属性系数组成的向量。
82.请再次参阅图5，本实施例提供的基于连续子空间图变换的编码方法中还包括步骤：
83.s240、根据所述多层级结构中的第一级中各个点云空间的第一属性系数获取所述目标点云的属性值。
84.对所述目标点云进行属性编码后得到的码流进行解码，目的是为了获取所述目标点云的属性值。从上面的说明不难看出，在经过对所述多层级结构中从所述目标点云开始到第2级的目标点云空间逐级进行变换后，最终可以得到所述多层级结构中的第一级中的点云空间的第一属性系数，在一种可能的实现方式中，可以直接将所述多层级结构中的第一级中的点云空间的属性系数作为点云空间的属性值，这样就获取到了所述目标点云中各个数据点的属性值，完成对所述目标点云对应的属性编码码流进行解码的过程。
85.而在本实施例中，为了使得解码后的到所述目标点云的属性值能够尽可能地接近真实值，降低编解码带来的失真程度，还通过对所述目标点云进行属性编码时生成的属性残差值等参数来获取所述目标点云的属性值，具体地，根据所述多层级结构中的第一级中各个点云空间的第一属性系数获取所述目标点云的属性值包括：
86.获取所述目标点云对应的属性残差码流，对所述属性残差码流进行熵解码后再进行逆量化操作，得到属性残差值，获取所述属性残差值和所述多层级结构中的第一级中各个点云空间的第一属性系数的和作为所述目标点云的属性值；
87.或者，获取所述目标点云对应的属性残差码流，直接对所述属性残差码流进行熵解码，得到属性残差值，获取所述属性残差值和所述多层级结构中的第一级中各个点云空间的第一属性系数的和作为所述目标点云的属性值；
88.或者，获取所述目标点云对应的属性残差码流以及残差量化余数码流，对所述属性残差码流和所述残差量化余数码流进行熵解码得到属性残差量化系数和量化过程得到的余数，对所述属性参数量化系数进行逆量化后与所述余数相加，得到属性残差值，获取所述属性残差值和所述多层级结构中的第一级中各个点云空间的第一属性系数的和作为所述目标点云的属性值。
89.从实施例一的说明中不难看出，所述属性残差值包括多个值，分别与所述多层级结构中第1级的点云空间一一对应，在获取所述属性残差值与所述多层级结构中的第一级中各个点云空间的第一属性系数的和时，是根据点云空间将属性残差值和第一属性系数对应相加，即，对于某一个点云空间来说，将该点云空间对应的属性残差值和对应的第一属性系数进行相加，得到该点云空间对应的属性值。综上所述，本发明提供了一种基于连续子空间图变换的点云属性编码方法及解码方法，通过将目标点云划分为多层级结构，对多层级结构的第二级以及第二级以上的目标点云空间，都由该目标点云空间在下一级的子空间的第一属性系数进行图变换得到该节点的第一属性系数和第二属性系数，目标点云空间的第
一属性系数在上一级继续被变换，这样进行连续变换后，最终得到所述目标点云的第一属性系数和各个目标点云空间的第二属性系数，再根据所述目标点云的第一属性系数和各个目标点云空间的第二属性系数进行点云属性编码，在编码的过程中，不涉及寻找变换点的过程，避免了寻找方向的顺序影响点云属性编码效果，保证了点云属性编码质量。
90.应该理解的是，虽然本发明说明书附图中给出的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
91.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
92.实施例三
93.基于上述实施例，本发明还相应提供了一种终端，如图6所示，所述终端包括处理器10以及存储器20。可以理解的是，图6仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
94.所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一些实施例中，存储器20上存储有计算机程序30，该计算机程序30可被处理器10所执行，从而实现本技术中基于连续子空间图变换的点云属性编码方法和/或基于连续子空间图变换的点云属性解码方法。
95.所述处理器10在一些实施例中可以是一中央处理器(central processing unit,cpu)，微处理器或其他芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于连续子空间图变换的点云属性编码方法和/或基于连续子空间图变换的点云属性解码方法等。
96.实施例四
97.本发明还提供一种存储介质，其中，存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的基于连续子空间图变换的点云属性编码方法的步骤。
98.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。