用于点云属性压缩的微补块卷积的制作方法

摘要: 背景技术:1、3d应用的使用每天都变得越来越流行,并且为了能够利用所述应用,正在使用不同的数据格式。一种主要的数据格式是点云。点云(pc)是一组坐标为x、y、z...
用于点云属性压缩的微补块卷积的制作方法

背景技术:

1、3d应用的使用每天都变得越来越流行,并且为了能够利用所述应用,正在使用不同的数据格式。一种主要的数据格式是点云。点云(pc)是一组坐标为x、y、z的与点在空间中的位置及其属性(除了别的之外尤其诸如颜色和法向量)相对应的无序点。

2、这种新类型数据的使用需要创建新的压缩方法来有效地存储和传输数据,尤其是因为点云可能具有数百万个点。已经提出了不同的压缩属性的方法,并且在那些方法之中,基于学习的架构正在获得优势。那些架构通常是2d图像域中基于学习的方法的扩展。

技术实现思路

1、本文描述的实施例包括在视频编码和解码(统称为“编解码”)中使用的方法。

2、根据一些实施例的第一示例方法可以包括:获得对应于点云的信息;从对应于所述信息的多个点云点中选择考察点;确定与所述考察点的补块集合相对应的索引集合,其中所述补块集合是从所述多个点云点中选择的一组数据点,并且其中所述补块集合对应于所述考察点;使用所确定的索引集合和所述多个点云点的子集来执行补块卷积;使用所述补块卷积的输出生成潜空间;以及将潜空间数据编码为编码器比特流。

3、对于第一示例方法的一些实施例,所述补块卷积是微补块卷积。

4、对于第一示例方法的一些实施例,生成所述潜空间包括对所述补块卷积的输出执行第一整流器线性过程(relu)。

5、对于第一示例方法的一些实施例,生成所述潜空间进一步包括:对所述第一整流器线性过程的输出执行第二补块卷积;对所述第二补块卷积的输出执行第二整流器线性过程;以及对所述第二整流器线性过程的输出执行下采样。

6、第一示例方法的一些实施例可以进一步包括:确定与所述考察点的补块集合相对应的第二索引集合,其中所述第二索引集合包括基于所述第一索引集合生成的下采样索引集合,其中生成所述潜空间包括执行两个编码子过程,并且其中第一编码子过程对应于所述第一索引集合,并且第二编码子过程对应于所述第二索引集合。

7、对于第一示例方法的一些实施例,在执行两个编码子过程之前,执行确定所述第二索引集合。

8、对于第一示例方法的一些实施例,在执行两个编码子过程中的至少一个之后,执行确定所述第二索引集合。

9、对于第一示例方法的一些实施例,将所述潜空间数据编码为所述编码器比特流包括使用变分自编码器(vae)。

10、对于第一示例方法的一些实施例,将所述潜空间数据编码为所述编码器比特流包括使用归一化流(nf)过程。

11、对于第一示例方法的一些实施例,将所述潜空间数据编码为所述编码器比特流包括使用小波过程。

12、对于第一示例方法的一些实施例,将所述潜空间数据编码为所述编码器比特流包括使用微补块卷积。

13、对于第一示例方法的一些实施例,将对所述潜空间数据进行编码作为人工智能点云压缩(ai-pcc)算法的部分来执行。

14、对于第一示例方法的一些实施例,执行所述补块卷积包括执行二维(2d)卷积。

15、第一示例方法的一些实施例可以进一步包括确定所述考察点的补块集合。

16、对于第一示例方法的一些实施例,确定所述考察点的补块集合包括:确定所述考察点周围的点的邻域,以及确定所述补块集合是从所述点的邻域中选择的一个或多个点。

17、对于第一示例方法的一些实施例,确定所述补块集合进一步包括向所述点的邻域添加一个或多个点。

18、对于第一示例方法的一些实施例,确定与所述考察点的补块集合相对应的索引集合包括:使用从所述多个点云点中选择的占用点来填充与所述补块集合相对应的索引集合的第一子集;以及使用填充算法来填充与所述补块集合相对应的索引集合的第二子集。

19、对于第一示例方法的一些实施例,所述填充算法是在与所述补块集合相对应的索引集合的第一子集上执行的镜像操作。

20、对于第一示例方法的一些实施例,所述填充算法是零填充操作。

21、对于第一示例方法的一些实施例,所述填充算法是在与所述补块集合相对应的索引集合的第一子集上执行的最近邻轴顺序填充操作。

22、对于第一示例方法的一些实施例,所述填充算法是对从与所述补块集合相对应的索引集合的第一子集中选择的最近邻域执行的最近邻域平均操作。

23、对于第一示例方法的一些实施例,所述填充算法是对与所述补块集合相对应的索引集合的第一子集执行的全局平均操作。

24、对于第一示例方法的一些实施例,所述填充算法是对从与所述补块集合相对应的索引集合的第一子集中选择的最近邻域执行的插值操作。

25、根据一些实施例的第一示例装置可以包括:处理器;以及存储指令的非暂时性计算机可读介质,当由所述处理器执行时,所述指令可操作以使所述装置执行上面列出的方法中的任一种。

26、根据一些实施例的第二示例方法可以包括:获得对应于点云的信息;从对应于所述信息的多个点云点中选择考察点;确定与所述考察点的补块集合相对应的索引集合,其中所述补块集合是从所述多个点云点中选择的一组数据点,并且其中所述补块集合对应于所述考察点;使用所确定的索引集合和所述多个点云点的子集来生成潜空间,其中生成所述潜空间包括使用所确定的索引集合和所述多个点云点的子集来执行补块卷积;以及将潜空间数据编码为编码器比特流。

27、根据一些实施例的第二示例装置可以包括:处理器;以及存储指令的非暂时性计算机可读介质,当由所述处理器执行时,所述指令可操作以使所述装置执行上面列出的方法中的任一种。

28、根据一些实施例的第三示例方法可以包括:获得对应于点云几何的第一信息;获得对应于点云潜空间的第二信息;从对应于所述第一信息的多个点云点中选择考察点;确定与所述考察点的补块集合相对应的索引集合,其中所述补块集合是从所述多个点云点中选择的一组数据点,并且其中所述补块集合对应于所述考察点;使用所确定的索引集合和对应于所述点云潜空间的第二信息来执行补块卷积;以及使用所述补块卷积的输出来生成重构点云。

29、第三示例方法的一些实施例可以进一步包括:对解码器比特流进行解码以生成对应于点云几何的信息和对应于所述点云潜空间的信息。

30、对于第三示例方法的一些实施例,所述补块卷积是微补块卷积。

31、对于第三示例方法的一些实施例,生成所述重构点云包括对所述补块卷积的输出执行整流器线性过程。

32、对于第三示例方法的一些实施例,生成所述重构点云进一步包括:对所述第一整流器线性过程的输出执行第二补块卷积;对所述第二补块卷积的输出执行第二整流器线性过程;以及对所述第二整流器线性过程的输出执行上采样。

33、第三示例方法的一些实施例可以进一步包括:确定与所述考察点的补块集合相对应的第二索引集合,其中所述第二索引集合包括基于所述第一索引集合生成的上采样索引集合,其中生成所述重构点云包括执行两个解码子过程,并且其中第一解码子过程对应于所述第一索引集合,并且第二解码子过程对应于所述第二索引集合。

34、对于第三示例方法的一些实施例,在执行所述两个解码子过程之前,执行确定所述第二索引集合。

35、对于第三示例方法的一些实施例,在执行所述两个解码子过程中的至少一个之后,执行确定所述第二索引集合。

36、对于第三示例方法的一些实施例,获得对应于所述点云潜空间的信息包括使用变分自解码器(vad)。

37、对于第三示例方法的一些实施例,获得对应于所述点云潜空间的信息包括使用归一化流(nf)过程。

38、对于第三示例方法的一些实施例,获得对应于所述点云潜空间的信息包括使用小波过程。

39、对于第三示例方法的一些实施例,获得对应于所述点云潜空间的信息包括使用微补块卷积。

40、对于第三示例方法的一些实施例,作为人工智能点云压缩(ai-pcc)算法的部分来执行获得对应于所述点云潜空间的信息。

41、对于第三示例方法的一些实施例,执行所述补块卷积包括执行二维(2d)卷积。

42、第三示例方法的一些实施例可以进一步包括确定所述考察点的补块集合。

43、对于第三示例方法的一些实施例,确定所述考察点的补块集合包括:确定所述考察点周围的点的邻域,以及确定所述补块集合是从所述点的邻域中选择的一个或多个点。

44、对于第三示例方法的一些实施例,确定所述补块集合进一步包括向所述点的邻域添加一个或多个点。

45、根据一些实施例的第三示例装置可以包括:处理器;以及存储指令的非暂时性计算机可读介质,当由所述处理器执行时,所述指令可操作以使所述装置执行上面列出的方法中的任一种。

46、根据一些实施例的第四示例方法可以包括:获得对应于点云几何的信息;获得对应于点云潜空间的信息;从对应于所述信息的多个点云点中选择考察点;确定与所述考察点的补块集合相对应的索引集合,其中所述补块集合是从所述多个点云点中选择的一组数据点,并且其中所述补块集合对应于所述考察点;以及使用所确定的索引集合和所述点云潜空间来生成重构点云,其中生成所述重构点云包括使用所确定的索引集合和对应于所述点云潜空间的第二信息来执行补块卷积。

47、根据一些实施例的第四示例装置可以包括:处理器;以及存储指令的非暂时性计算机可读介质,当由所述处理器执行时,所述指令可操作以使所述装置执行上面列出的方法中的任一种。

48、根据一些实施例的第五示例方法可以包括:通过将n×n×n体素缩减为n×n投影来对点云进行下采样;将所述n×n×n点云中的占用索引复制到所述n×n投影中的对应位置;以及使用算法来填充所述n×n投影中的未占用索引。

49、根据一些实施例的第五示例装置可以包括:处理器;以及存储指令的非暂时性计算机可读介质,当由所述处理器执行时,所述指令可操作以使所述装置执行上面列出的方法中的任一种。

50、根据一些实施例的第六示例方法可以包括:通过对于所述点云的多个点中的每个点迭代地进行以下操作来对所述点云进行下采样:将以所述点为中心的n×n×n体素缩减为以所述点为中心的n×n投影,其中所述n×n投影包括通过以下操作获得的n×n索引位置:将占用以所述点为中心的对应n×n切片中的且在所述n×n×n体素内的索引的邻近点复制到所述n×n投影中的对应索引位置;以及使用算法将未占用索引(如果有的话)从所述对应n×n切片填充到对应索引位置处的n×n投影中。

51、对于第六示例方法的一些实施例,将所述n×n×n体素缩减为所述n×n投影进一步包括:忽略所述n×n×n体素内位于所述n×n切片之外的附加邻近点,使得所述n×n投影不包括这样的邻近点。

52、根据一些实施例的第六示例装置可以包括:处理器;以及存储指令的非暂时性计算机可读介质,当由所述处理器执行时,所述指令可操作以使所述装置执行上面列出的方法中的任一种。

53、根据一些实施例的第七示例装置可以包括至少一个处理器,其被配置为执行上面列出的方法中的任一种。

54、根据一些实施例的第八示例装置可以包括存储指令的计算机可读介质,所述指令使一个或多个处理器执行上面列出的方法中的任一种。

55、根据一些实施例的第九示例装置可以包括至少一个处理器和至少一个存储指令的非暂时性计算机可读介质,所述指令用于使所述至少一个处理器执行上面列出的方法中的任一种。

56、根据一些实施例的示例信号可以包括根据上面列出的方法中的任一种生成的编码器比特流。

57、在附加的实施例中,提供编码器和解码器装置来执行本文描述的方法。编码器或解码器装置可以包括被配置为执行本文描述的方法的处理器。该装置可以包括存储用于执行本文描述的方法的指令的计算机可读介质(例如,非暂时性介质)。在一些实施例中,计算机可读介质(例如,非暂时性介质)存储使用本文描述的方法中的任一种编码的视频。

58、本实施例中的一个或多个还提供了一种计算机可读存储介质,其上存储有用于根据上述方法中的任一种来执行双向光流、对视频数据进行编码或解码的指令。本实施例还提供了一种计算机可读存储介质,其上存储有根据上述方法生成的比特流。本实施例还提供了一种用于传输根据上述方法生成的比特流的方法和装置。本实施例还提供了一种计算机程序产品,其包括用于执行所描述的方法中的任一种的指令。