用于将体积数据编码到包括子网格数据的经编码网格位流中或从该经编码网格位流中解码体积数据的方法、装置和计算机程序与流程

摘要: 本发明涉及用于将3d数据(也称为体积数据)编码到包括子网格数据的经编码网格位流中或从包括子网格数据的经编码网格位流解码3d数据(也称为体积数据)的方法、装置和计...
用于将体积数据编码到包括子网格数据的经编码网格位流中或从该经编码网格位流中解码体积数据的方法、装置和计算机程序与流程

本发明涉及用于将3d数据(也称为体积数据)编码到包括子网格数据的经编码网格位流中或从包括子网格数据的经编码网格位流解码3d数据(也称为体积数据)的方法、装置和计算机程序。

背景技术:

1、处理速度、增强的存储容量以及用于从3d数据(或体积数据)进行实时真实感渲染的复杂算法的可用性的进步正在推动其跨虚拟和增强现实、动画电影和新兴元宇宙(metaverse)等的应用的快速激增。

2、体积数据的主要格式是基于点云、以这些点云为基础的网格数据以及提供颜色信息的纹理的。网格数据可以包括用以基于点云的点来描述或定义表面的任何形式的连接性。它可以特别地包括三角形的网格。

3、为了解决迅速交换体积数据的需要,正在定义新的方法来以压缩形式对体积数据进行编码,然后对它们进行解码以再次恢复原始体积数据。

4、用于沉浸式媒体的编码表示的国际标准(mpeg-i)的第5部分(part-5)(被称为“基于视觉体积视频的编码(v3c)和基于视频的点云压缩(v-pcc)”)例如指定了用于视觉体积视频编码(即,基于视觉体积视频的编码)的通用机制。该标准通常被表示为iso/iec23090-5或mpeg-i部分5。简言之,mpeg-i part-5定义v3c位流。

5、v3c位流(基于视觉体积视频的编码位流)是形成编码体积帧和关联数据的表示的位序列,该编码体积帧和关联数据的表示形成一个或多于一个编码v3c序列(cvs)。通用机制可以由以诸如点云、具有深度的沉浸式视频、视觉体积帧的网格表示等的体积内容为目标的应用来使用。mpeg-i part-5还包括专用于针对基于视频的点云压缩(被称为v-pcc)的点云的具体定义。mpeg-i的第二部分(part-12)(iso/iec 23090-12)包含被编码为mpeg沉浸式视频(miv)的体积媒体,miv也可以在通用v3c位流结构内被描述。

6、用于沉浸式媒体的编码表示的国际标准(mpeg-i)的另一部分(part-29,正在定义中)(被称为“基于视频的动态网格编码(v-dmc)”)指定了用于基于视频的动态网格编码(v-dmc)方法的句法、语义和解码。此外,该part-29指定了视觉体积媒体的重构可能需要的处理,并且还可以包括诸如后解码、预重构、后重构和适配等的附加处理。简而言之,part-29定义了v-dmc位流,v-dmc位流是经编码网格位流的主要示例之一。part-29的句法和语义被指定为part-5的扩展。

7、虽然v3c位流已经混合了数种位流或子位流(例如图集子位流与视频子位流(针对几何形状、属性和占用)),但是v-dmc正在定义附加类型的位流或子位流,因此需要v3c位流描述中的修改和附加参数以公开给向媒体播放器和解码器。作为示例,v-dmc正在考虑两个附加的子位流,分别是基础网格子位流(或分量)和位移子位流。基础网格子位流是初始网格的简化低分辨率近似,并且位移子位流提供位移矢量,以细化基础网格来更好地拟合初始网格。这使得能够向经编码网格提供空间/质量可缩放性。使用任何视频编解码器(诸如hevc、vvc等)或算术编解码器来指定位移子位流的编码。对于基础网格子位流,v-dmc规范引入新的位流格式。对于诸如hevc或在v3c中使用的图集子位流等的视频编码格式,这种新的位流格式也使用nal(网络抽象层)单元。还指定高级别句法(hls)结构或诸如基础网格序列参数集(bmsps)、基础网格帧参数集(bmfps)或表示v-dmc位流的一些nal单元的内容的子网格层原始字节序列有效载荷(rbsp)句法结构等的句法结构。在这些句法结构中,子网格层rbsp使得能够将网格分段成多个较小的分区(称为子网格)。这些子网格可以完全独立地被解码,从而提供部分解码和空间随机接入。此外,当被约束为使用相同的编码顺序和相同的参考时,其还可以提供随机接入能力。

8、图7例示了如iso/iec 23090 part-29中指定的cvs(经编码v3c序列)的格式。如该图的上部所示,这样的cvs由v3c单元的集合组成,各个v3c单元由v3c单元头(或单元头)(由700、710、720或730表示)、随后的v3c单元有效载荷(或单元有效载荷)(由705、715、725或735表示)来描述。v3c单元头包含指示v3c单元有效载荷的类型的信息。它使得能够识别有效载荷是对应于描述性信息的类型(例如,诸如v3c参数集(v3c_vps)等),还是对应于经压缩体积数据(也称为编码层)或v3c子位流(或分量)(例如,图集数据、基础网格数据、位移数据或属性数据)。在图7中,第一个v3c单元(700、705)可以表示v3c参数集。v3c单元(710、715)可以表示图集数据分量,v3c单元(720、725)可以对应于基础网格数据分量,并且v3c单元(730、735)可以表示位移数据或属性数据分量,例如纹理属性。可以存在更多v3c单元,以使得能够针对例如位移数据分量和属性数据分量这两者进行编码,或者提供其他属性数据分量信息。

9、在不同分量中,图7的下部特别示出了基础网格数据子位流725(或更简单地,基础网格子位流725)。

10、基础网格子位流725由nal单元(例如,基础网格nal单元)的集合组成,各nal单元由nal单元头(或nal头)(由750、760、770或780表示)、随后的nal单元有效载荷(或nal有效载荷)(由755、765、775或785表示)来描述。

11、nal单元头包含指示nal单元有效载荷的类型的信息,例如作为被称为bmesh_nal_unit_type的句法元素。它使得能够识别有效载荷是对应于描述性信息(诸如基础网格序列参数集(nal_bmsps,也表示为bmsps)、基础网格帧参数集(nal_bmfps,也表示为bmfps)等),还是对应于经编码子网格层单元(也称为经编码子网格层nal单元、基础网格编码层或nal_bmcl(也表示为bmcl))。在以下描述中,与属于nal单元类型类“非bmcl”的参数集、定界符或补充增强信息nal单元相对地,nal_bmcl(或更简单地,bmcl)是属于nal单元类型类“bmcl”的经编码子网格层nal单元的通用名称。

12、nal_bmcl可以对应于不同(数个)nal单元类型nal_xxx,其中xxx定义如基础网格子位流的描述中所指定的nal单元的类型。它可以是nal单元类型类“bmcl”的任何nal单元类型,例如如iso/iec 23090 part-29中定义的nal_idr_n_lp或nal_cra。

13、当基础网格由数个子网格组成时,nal_bmfps包含指示子网格数量的信息,例如,作为在基础网格子位流中描述的被称为bmsi_num_submeshes_minus2的句法元素。

14、此外,各nal_bmcl包含两条信息,分别指示该nal_bmcl对应于哪个子网格以及它对应于哪个帧(简言之,帧标识符、帧索引或帧计数)。例如,这两条信息可以表示为分别称为bmsh_id和bmsh_mesh_frm_order_cnt_lsb的句法元素。

15、例如,如图7的下部所示,假设基础网格子位流包括分解为n个子网格的一个基础网格帧,则第一个nal单元(750、755)可以表示nal_bmsps或nal_bmfps。以下nal单元(760、765)是作为第一个子网格的nal_bmcl的经编码表示。以下nal单元(770、775)……至(780、785)是分别表示第二子网格、第三子网格……直至第n子网格的nal_bmcl。

16、图7例示了单个经编码基础网格帧。为此,所有nal_bmcl的帧标识符具有相同的值。然而,应当注意,基础网格子位流可以包括多个基础网格帧,各基础网格帧然后可能被分解为多个子网格。

17、还应当注意,可以存在更多nal单元,例如提供如(一个或多于一个)补充信息nal单元的描述性信息(nal_sei)或针对各个子网格的附加nal_bmcl,从而提供时间层或增强层。还可以注意到,表示帧内的子网格的经编码数据可以被携载到数个nal_bmcl单元中,例如以限制nal单元的大小。为了简单和清楚起见,在图7上,描述子网格的经编码数据通过每子网格仅一个nal_bmcl单元来例示,但是应当理解,即使对于单个帧,子网格的经编码数据也可以由多个nal_bmcl单元携载。还应注意,nal_bmsps或nal_bmfps可以在基础网格子位流中仅出现一次。

18、为了在包括多个子网格并定义多个基础网格帧的v3c位流基础网格数据中进行编码,上述符合v3c或符合v-dmc的格式提出如下组织nal_bmcl。经编码nal单元的组织大体上与图7上所示的组织相同。然而,网格数据包括针对多个基础网格帧的针对多个子网格的nal_bmcl。因此(如被称为tmm6的v-dmc的测试模型所提出的),首先将基础网格子位流中的第一个子网格的所有nal_bmcl单元存储在基础网格子位流中;然后将第二子网格的所有nal_bmcl单元存储在基础网格子位流中,然后是第三子网格的所有nal_bmcl单元……等等。对于各个子网格,按帧索引或帧计数对不同nal_bmcl单元进行排序。

19、因此,基础网格子位流表现出“帧顺序优先”组织,这意味着在基础网格子位流中,针对一个子网格,nal_bmcl首先按帧顺序进行分组。顺便提及,对于所考虑的子网格的不同nal_bmcl组,bmcl优选地按子网格标识符排序。

20、然而,这样的组织具有一些缺点。

21、首先,当cvs已经以这种方式被编码时,针对第一体积帧或实际上针对任何体积帧的计算(无论是用于编码还是解码)只有在几乎整个体积帧序列已被接收或可用时才可以进行,这是因为通常所有子网格都对各个帧有贡献。因此,这种组织需要更多的存储器存储。

22、此外,虽然这种组织可能似乎便于将子网格数据编码到位流中,但是对于重构全网格的解码器或对于进行多轨道封装的isobmff解析器或对于在全网格基础上处理位流的任何实体或应用来说,这实际上可能是有问题的。实际上,这种组织可能需要许多解析操作和到存储器中的缓冲,以例如用于确定基础网格轨道的样本(换句话说,收集与整个网格的帧相对应的nal单元)或者用于在将子网格存储在专用子网格轨道中时确定组成子网格子位流的所有帧。

23、特别地,为了确定组成子网格子位流的所有帧,这种组织需要解析所有nal头以识别与各个子网格相对应的nal_bmcl的开始和结束。

24、在体积数据包括数个子网格的情况下,v-dmc规范提出了位流的另一可能组织。实际上,该规范支持生成具有数个连续cvs的位流的可能性。因此,如果位流包括数个经编码基础网格帧,则可以将这些多个经编码基础网格帧(无论它们是否包括多个子网格)描述为多个cvs,根据v3c规范(iso/iec 23090-5),各个cvs以v3c_vps开始。

25、然而,由于v3c_vps的大部分重复,这导致位流效率较低。此外,由于与不同帧相关的数据存放在位流的不同cvs部分中,因此难以执行暗示多个帧的任何计算。

26、因此,将网格数据编码到位流中或从位流解码网格数据,特别是在网格数据形成被分区为多个子网格的多个网格帧的情况下,可能需要更多的时间、更多的计算能力,并因此可能会带来更高的成本。这显然是媒体文件的制作和消费中的主要问题。

27、因此,需要如下的方法和装置,该方法和装置使得可以减少对包括网格数据的媒体文件进行编码或解码所需的时间和成本,其中该网格数据形成被分区为多个子网格的多个网格帧。

技术实现思路

1、已经设计了本发明以应对一个或多于一个前述问题。

2、已经发现,通过在v3c位流的基础网格子位流中高效地组织一个或多于一个经编码子网格层nal单元内的、与帧和子网格这两者相关联的网格数据,可以缓解这些问题,其中这些nal单元(也表示为数据单元)在本文中被称为‘nal_bmcl’。

3、实际上,当基础网格帧被分段为数个子网格时,对应的nal单元存在不同的可能组织或排序。

4、有利地,下面提出的组织减少了用以确定属于相同帧或相同子网格的nal单元的存储器和处理时间的需要。它们还使得能够使用子网格的并行处理。在一些情况下,如下文将解释,可以提供位流中的附加信号通知以促进编码器、解码器或负责处置囊媒体文件中所封装的位流的更广泛的任何文件生成器或解析器对多个帧(或样本)的处置。

5、特别地,媒体文件可以是符合iso基础媒体文件格式(isobmff)的媒体文件。

6、根据本发明的第一方面,提供了一种用于在处理装置中将体积数据编码到经编码网格位流中的方法,

7、所述体积数据包括网格数据,所述网格数据形成被分区为多个子网格的多个网格帧,

8、所述方法包括:

9、将与帧和子网格这两者相关联的所述网格数据编码在一个或多于一个编码层数据单元内;以及

10、对所述网格数据进行编码,使得针对所考虑的覆盖多个帧的时间段:

11、  - 所述编码层数据单元按子网格被分组,

12、  针对所考虑的子网格的各个组包括针对所述时间段中的存在所考虑的子网格的所有帧的、针对所考虑的子网格的编码层数据单元,以及

13、  在与不同子网格相关联的组中,任何两个组被分隔符彼此分隔开;或者

14、  - 所述编码层数据单元按帧被分组,针对所考虑的帧的各个组包括针对所考虑的帧的、针对所有子网格或者至少存在的(一个或多于一个)子网格的编码层数据单元。

15、在编码期间,网格数据通常被编码在至少一个网格位流(在经编码网格位流以符合v3c规范的方式被编码的情况下,优选为子位流)中。

16、在大多数情况下,经编码网格位流定义至少两个帧,各个帧包括至少两个子网格。

17、以上定义的方法提出了用以在经编码网格位流内组织编码层数据单元的两种可能性。

18、根据第一可能性,编码层数据单元在经编码网格位流中按子网格分组,即“按子网格的组”,并且提供分隔符以使相邻组分隔开。因此,促进了相对于特定子网格的网格数据的按子网格的检索。

19、根据第二可能性,编码层数据单元在经编码网格位流中按帧分组,即“按帧的组”。针对各个帧,与各个子网格相关的所有编码层数据单元形成组,并且这些组彼此分隔开。有利地,通过针对相应帧形成分隔开的组,促进了相对于一个或多于一个特定帧的网格数据的按帧的检索。

20、在以上定义的第二替代方案的一些实施例中,所述经编码网格位流包括多个子位流;以及在所述编码的步骤期间,针对相应子网格的各个组组成所述经编码网格位流的相应子位流,各个子位流被携载在专用数据单元中,其中,所述分隔符优选地是所述专用数据单元的头。

21、例如,经编码网格位流可以是符合v3c的位流,并且专用数据单元可以是v3c单元。

22、在这些实施例中(其中构成编码层数据单元的按帧的组),与不同子网格相关联的网格数据因此被存储在经编码v3c序列内的不同基础网格子位流中,从而促进按子网格或按帧的数据的检索。

23、在一些实施例中,分隔符是非编码层数据单元。非编码层数据单元通常是不对网格数据进行编码的数据单元,并且可以包括描述或定义编码层数据单元的内容的参数。

24、在一些实施例中,在所述编码的步骤期间,针对各个子网格,在各个组内,与不同帧相关的所述编码层数据单元在该组内按帧顺序被编码。

25、在一些实施例中,针对各个子网格,与子网格相关的编码层数据单元优选地顺序地记录在位流中以形成组。

26、以上提出的方法是针对经编码网格位流内的编码层数据单元的不同可能组织来定义的。

27、在一些情况下,组织是预先选择的并且是固定的(例如,由标准施加)。

28、在一些其他情况下,对于组织的选择允许一些灵活性。为了解决这些情况,在一些实施例中,所述位流被编码有指示,所述指示用于至少针对所考虑的时间段而指示是所述编码层数据单元按子网格被分组、还是所述编码层数据单元按帧被分组。

29、例如,如果经编码网格位流符合v3c,则所述至少一个指示可以在位流的参数集类型v3c单元中,或者在基础网格子位流的参数集类型nal单元中。

30、该指示可以例如是v3c参数集单元中所包括的指示符,该指示符定义位流是否包括多个基础网格子位流,并且可选地指示基础网格子位流的数量。

31、在这些实施例的一些变形中,所述指示还定义不同子网格的编码层数据单元被存储为在不同专用数据单元中携载的不同子位流,或者还定义不同子网格的编码层数据单元针对所考虑的时间段被存储在单个子位流中、但是被非编码层数据单元分隔开。

32、在一些实施例中,所述分隔符包括与接在该分隔符之后的编码层数据单元的组相关联的子网格的标识符。

33、为了对经编码网格位流(其通过使用按帧的组对编码层数据单元进行编码而被编码)进行解码,提出了以下方法。

34、该方法是一种用于在处理装置中对经编码网格位流进行解码的方法,所述方法包括:

35、检索编码层数据单元的组或者编码层数据单元的组的一部分;

36、所述经编码网格位流的编码层数据单元定义被编码在所述经编码网格位流中的体积数据;

37、所述体积数据包括网格数据,所述网格数据形成被分区为多个子网格的多个网格帧;

38、各个编码层数据单元定义与帧和子网格这两者相关联的网格数据;

39、所述编码层数据单元的组包括仅针对一个帧中存在的(一个或多于一个)子网格的编码层数据单元、或者针对该帧的所有子网格的编码层数据单元;

40、基于所检索到的组、或者组的所检索到的一部分来生成所述一个帧或所述一个帧的一部分。

41、优选地,在覆盖时间段的经编码网格位流的一部分上,与关于该时间段的帧相关联的所有编码层数据单元被分组在按帧分组的经编码网格位流中。

42、另一方面,为了对经编码网格位流(其通过使用按帧的组对编码层数据单元进行编码而被编码)进行解码,提出了以下方法。

43、该方法是一种用于在处理装置中对经编码网格位流进行解码的方法,所述方法包括:

44、识别所述经编码网格位流中的分隔符;

45、所述分隔符使编码层数据单元的两个组分隔开;

46、所述经编码网格位流的编码层数据单元定义被编码在所述经编码网格位流中的体积数据;

47、所述体积数据包括网格数据,所述网格数据形成被分区为多个子网格的多个网格帧;

48、各个编码层数据单元定义与帧和子网格这两者相关联的网格数据;

49、所述两个组中的各组是针对时间段来定义的,并且包括针对所述时间段中的存在所考虑的子网格的所有帧的、仅针对所考虑的子网格的编码层数据单元;以及

50、基于所述分隔符来检索编码层数据单元的所述两个组中的一个组;以及

51、基于所检索到的编码层数据单元来生成至少一个帧或一个帧的一部分。

52、优选地,至少针对所述时间段,按子网格对经编码网格位流中的所有编码层数据单元进行分组。

53、该时间段对于两个组或对于所有组可以是共同的。

54、检索编码层数据单元的组可以通过首先基于分隔符而定位该组、然后检索其包含的编码层数据单元来进行。

55、在一些实施例中,所述分隔符包括与接在该分隔符之后的编码层数据单元的组相关联的子网格的标识符。

56、在一些实施例中,在所述两个组中的至少一个组内,所述编码层数据单元按帧顺序被排序。

57、在一些实施例中,所述经编码网格位流包括多个子位流;各个所述子位流包括仅针对所考虑的子网格的编码层数据单元,并且被携载在专用数据单元中,其中,所述分隔符优选地是所述专用数据单元的头。

58、特别地,经编码网格位流可以是符合v3c的位流,并且专用数据单元可以是v3c单元。

59、在一些实施例中,在编码层数据单元按子网格进行分组的情况下,所述分隔符可以优选地是非编码层数据单元。

60、为了对可以将不同组织用于编码层数据单元的经编码网格位流进行解码,提出了以下方法。

61、该方法是一种用于在处理装置中对经编码网格位流进行解码的方法,其包括:

62、识别被编码在所述经编码网格位流中的编码层数据单元的组织,

63、所述编码层数据单元定义被编码在所述经编码网格位流中的体积数据;

64、所述体积数据包括网格数据,所述网格数据形成被分区为多个子网格的多个网格帧;

65、各个编码层数据单元定义与帧和子网格这两者相关联的网格数据;

66、所述组织至少定义至少针对所考虑的覆盖多个帧的时间段,

67、  - 所述编码层数据单元按子网格被分组,

68、  针对所考虑的子网格的各个组包括针对所述时间段中的存在所考虑的子网格的所有帧的编码层数据单元,以及

69、  在与不同子网格相关联的组中,任何两个组被分隔符彼此分隔开;或者

70、  - 所述编码层数据单元按帧被分组,

71、  针对所考虑的帧的各个组包括针对所考虑的帧的、针对所有子网格或者至少存在的(一个或多于一个)子网格的编码层数据单元。

72、基于所识别出的组织来检索一个或多于一个编码层数据单元;以及

73、基于所检索到的编码层数据单元来生成至少一个帧或帧的一部分(例如,仅包括一个或多于一个子网格)。

74、在一些实施例中,所确定的组织还定义所述编码层数据单元在所述组内按什么顺序被排序,是关于子网格的顺序被排序还是关于帧的顺序被排序。

75、在一些实施例中,基于一个或多于一个指示来确定所述编码层数据单元的组织,所述一个或多于一个指示用于指示至少针对所考虑的时间段、所述编码层数据单元是按子网格被分组还是按帧被分组。

76、作为替代方案,可以通过解析第一个编码层数据单元来识别组织。

77、在本文提出的不同方法中,经编码网格位流可以特别是符合v3c的位流。

78、在本文提出的不同方法中,网格数据可以被编码在至少一个网格子位流中,优选地编码在至少一个基础网格子位流中。基础网格子位流描述了作为原始网格的简化低分辨率近似的基础网格。

79、根据本发明的其他方面,提供了一种处理装置,包括处理单元,所述处理单元被配置为执行上述方法的各步骤。本公开的其他方面具有类似于上述的第一方面和第二方面的可选特征和优点。

80、根据本发明的方法的至少一部分可以是计算机实现的。因此,本发明可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施例的形式,这些软件和硬件方面在本文中通常都可以被称为“电路”、“模块”或“系统”。此外,本发明可以采取体现在任何有形表达介质中的计算机程序产品的形式,该有形表达介质具有体现在该介质中的计算机可用程序代码。

81、由于本发明可以在软件中实现,因此本发明可以体现为用于在任何合适的载体介质上提供给可编程设备的计算机可读代码。有形载体介质可包括存储介质,诸如软盘、cd-rom、硬盘驱动器、磁带装置或固态存储器装置等。瞬态载体介质可以包括诸如电信号、电子信号、光信号、声信号、磁信号或电磁信号(例如微波或rf信号)等的信号。