V-DMC八面体法线译码的制作方法

摘要: 本公开涉及基于视频的动态网格译码。背景技术:1、网格可用于表示三维空间的物理内容。网格在各式各样的情况下发挥作用。例如,可在表示环境的物理内容的上下文中使用网格...
V-DMC八面体法线译码的制作方法

本公开涉及基于视频的动态网格译码。

背景技术:

1、网格可用于表示三维空间的物理内容。网格在各式各样的情况下发挥作用。例如,可在表示环境的物理内容的上下文中使用网格,以便在扩展现实(例如,增强现实(ar)、虚拟现实(vr)或混合现实(mr))应用中定位虚拟对象。网格压缩是用于对网格进行编码和解码的过程。对网格进行编码可减少存储和发送网格所需的数据量。

技术实现思路

1、一般来讲,本公开描述了对针对基于视频的动态网格译码(v-dmc)的基础网格的当前顶点或当前面的法线向量进行编码和解码的技术。当前面可以是由多个顶点形成的三角形。例如,该技术描述了以二维(2d)八面体表示对基础网格的当前顶点或当前面的法线向量进行编码或解码的方式。当前顶点或当前面的法线向量可以是3d的(例如,x、y和z坐标),其从当前顶点或当前面延伸并且垂直于当前顶点或当前面。当前面的法线向量可以是从当前面内的一点(诸如中点或另一点)延伸的法线向量。法线向量是当前顶点或当前面的属性的一个示例并且作为基础网格的编码和解码的一部分来进行编码和解码。

2、在3d法线向量的2d八面体表示中,与3d法线向量相比,可存在较少的值(例如,两个坐标而不是三个坐标)。通过以2d八面体表示来对法线向量进行编码和解码,待发信号通知的值可能较少,从而节省信令带宽。因此,示例技术可通过使用2d八面体表示执行法线向量编码和解码来改善v-dmc的技术。

3、在一个示例中,本公开描述了一种对基础网格进行编码或解码的方法,该方法包括:确定预测向量的二维(2d)八面体表示,以用于预测基础网格的当前顶点或当前面的三维(3d)法线向量的2d八面体表示,法线向量从当前顶点或当前面向外延伸并且垂直于当前顶点或当前面;以及基于预测向量的2d八面体表示来对当前顶点或当前面的3d法线向量进行编码或解码。

4、在一个示例中,本公开描述了一种用于对基础网格进行编码或解码的设备,该设备包括:一个或多个存储器,该一个或多个存储器被配置为存储用于基础网格的数据;和处理电路,该处理电路耦合到一个或多个存储器,其中处理电路被配置为:确定预测向量的二维(2d)八面体表示,以用于预测基础网格的当前顶点或当前面的三维(3d)法线向量的2d八面体表示,法线向量从当前顶点或当前面向外延伸并且垂直于当前顶点或当前面;以及基于预测向量的2d八面体表示来对当前顶点或当前面的3d法线向量进行编码或解码。

5、在一个示例中,本公开描述了一种在其上存储指令的计算机可读存储介质,该指令在被执行时使一个或多个处理器:确定预测向量的二维(2d)八面体表示,以用于预测基础网格的当前顶点或当前面的三维(3d)法线向量的2d八面体表示,法线向量从当前顶点或当前面向外延伸并且垂直于当前顶点或当前面;以及基于预测向量的2d八面体表示来对当前顶点或当前面的3d法线向量进行编码或解码。

6、在附图和以下描述中阐述一个或多个示例的细节。根据描述、附图以及权利要求书,其他特征、目的和优点将是显而易见的。

1.一种对基础网格进行编码或解码的方法,所述方法包括:

2.根据权利要求1所述的方法,其中编码或解码包括:对所述当前顶点或所述当前面的所述法线向量进行解码,所述方法还包括:

3.根据权利要求2所述的方法,其中所述残差信息是第一残差信息,并且其中根据所述当前顶点或所述当前面的所述3d法线向量的所述2d八面体表示来重建所述当前顶点或所述当前面的所述3d法线向量包括:

4.根据权利要求2所述的方法,所述方法还包括:

5.根据权利要求1所述的方法,其中编码或解码包括:对所述当前顶点或所述当前面的所述法线向量进行编码,所述方法还包括:

6.根据权利要求5所述的方法,其中所述残差信息包括第一残差信息,所述方法还包括:

7.根据权利要求5所述的方法,所述方法还包括:

8.根据权利要求1所述的方法,其中确定所述预测向量的所述2d八面体表示包括:

9.根据权利要求1所述的方法,其中确定所述预测向量的所述2d八面体表示包括:

10.根据权利要求1所述的方法,其中确定所述预测向量的所述2d八面体表示包括:

11.根据权利要求1所述的方法,所述方法还包括:

12.一种用于对基础网格进行编码或解码的设备,所述设备包括:

13.根据权利要求12所述的设备,其中为了编码或解码,所述处理电路被配置为对所述当前顶点或所述当前面的所述法线向量进行解码,并且其中所述处理电路被配置为:

14.根据权利要求13所述的设备,其中所述残差信息是第一残差信息,并且其中为了根据所述当前顶点或所述当前面的所述3d法线向量的所述2d八面体表示来重建所述当前顶点或所述当前面的所述3d法线向量,所述处理电路被配置为:

15.根据权利要求13所述的设备,其中所述处理电路被配置为:

16.根据权利要求12所述的设备,其中为了编码或解码,所述处理电路被配置为对所述当前顶点或所述当前面的所述法线向量进行编码,并且其中所述处理电路被配置为:

17.根据权利要求16所述的设备,其中所述残差信息包括第一残差信息,并且其中所述处理电路被配置为:

18.根据权利要求16所述的设备,其中所述处理电路被配置为:

19.根据权利要求13所述的设备,其中所述处理电路被配置为进行以下中的至少一项:

20.一种在其上存储指令的计算机可读存储介质,所述指令在被执行时使一个或多个处理器: