用于流合并的可配置nal和切片码点机制
1.本技术涉及一种用于指示视频数据流的视频编码单元的编码单元类型和特性的数据结构。
2.已知的是，图片类型是在携带图片切片的nal单元的nal单元标头中指示的。由此，nal单元有效载荷的基本属性在非常高的水平上可用于供应用使用。
3.图片类型包括以下：
‑ꢀ
随机访问点（rap）图片，其中解码器可以开始对编码的视频序列解码。这些被称为内部随机存取图片（irap）。存在三种irap图片类型：瞬时解码器刷新（idr）、干净随机存取（cra）和断开链接存取（bla）。编码视频序列的解码过程总是在irap处开始。
[0004]-前导图片，其在输出顺序上在随机访问点图片之前，但是在编码视频序列中在它之后被编码。独立于编码顺序中随机访问点之前的图片的前导图片被称为随机访问可解码前导图片（radl）。如果解码在对应的irap处开始，则使用按照编码顺序在随机访问点之前的图片进行预测的前导图片可能被破坏。这些被称为随机存取跳过前导图片（rasl）。
[0005]
‑ꢀ
尾随（trail）图片，其在输出和显示顺序二者上都跟随irap和前导图片。
[0006]
‑ꢀ
在其处解码器可以切换编码视频序列的时间分辨率的图片：时间子层访问（tsa）和逐步时间子层访问（stsa）。
[0007]
因此，nal单元的数据结构是流合并的重要因素。
[0008]
本技术的主题的目的是提供一种通过读取指示替代编码单元类型的标识符来导出视频数据流的视频编码单元的必要信息的解码器，以及一种导出视频数据流的特性的解码器。
[0009]
本技术主题的另外目的是提供一种通过使用标识符来指示视频编码单元的替代编码单元类型的编码器和一种指示视频数据流特性的编码器。
[0010]
该目的通过本技术的权利要求的主题来实现。
[0011]
根据本技术的实施例，一种视频解码器，被配置为通过对来自与相应图片相关联的视频数据流的访问单元内的一个或多个视频编码单元的每个图片进行解码对包括来自视频数据流的多个图片的视频进行解码；从视频数据流的参数集单元中读取替代编码单元类型；对于每个预定视频编码单元，从相应视频编码单元读取编码单元类型标识符（100），例如nal单元标头中包括的语法元素；检查编码单元标识符是标识一个或多个编码单元类型的第一子集（102）之中的编码单元类型——例如指示nal单元是否为可映射vcl（视频编码层）单元类型，还是标识编码单元类型的第二子集（104）之中的编码单元类型——例如指示nal单元类型，如果编码单元标识符标识一个或多个编码单元类型的第一子集之中的编码单元类型，则将相应预定视频编码单元归属于替代编码单元类型；如果编码单元标识符标识编码单元类型的第二子集之中的编码单元类型，则将相应预定视频编码单元归属于由编码单元标识符标识的编码单元类型的第二子集之中的编码单元类型。也就是说，相应的nal单元类型由标识符、编码单元类型的第一子集和编码单元类型的第二子集来指示，即，nal单元类型在编码单元类型的第一和第二子集的指示之后被重写。因此，可能的是改进合并效率。
[0012]
根据本技术的实施例，视频解码器被配置为：以取决于归属于相应视频编码单元的编码单元类型的方式从每个视频编码单元解码与相应视频编码单元相关联的区域。视频解码器可以被配置以使得替代编码单元类型在视频编码类型的第二子集之中。视频解码器可以被配置以使得替代编码单元类型在视频编码类型的第三子集之中，例如非vcl单元类型，其包括视频编码类型的第二子集不包括的至少一个视频编码类型。根据本技术，可能的是改进编码效率。
[0013]
根据本技术的实施例，预定视频编码单元携带图块分区数据、块相关预测参数和预测残差数据。当图片包含具有第一子集的编码单元类型的一个或多个视频编码单元（例如，切片）和具有第二子集的编码单元类型的一个或多个视频编码单元（例如，切片）两者时，后一视频编码单元具有等于替代编码单元类型的编码单元类型。替代编码单元类型是随机访问点（rap）编码类型。替代编码单元类型是不同于随机访问点rap编码类型的编码类型。也就是说，替代编码单元类型被标识，并且具有相同替代编码单元类型的视频编码单元被合并，并且因此，合并效率被适当地改进。
[0014]
根据本技术的实施例，每个预定视频编码单元与图片的不同区域相关联，该图片与相应的预定视频编码单元所在的访问单元相关联。视频数据流的参数集单元具有覆盖图片序列、一个图片或一个图片之中的切片集的范围。参数集单元以视频数据流简档特定的方式指示替代编码单元类型。也就是说，可能的是高效地合并切片，并且因此改进编码效率。
[0015]
根据本技术的实施例，视频数据流的参数集单元是：参数集单元，其具有覆盖图片序列的范围；或者访问单元定界符，其具有覆盖与访问单元相关联的一个或多个图片的范围。也就是说，图片的顺序被适当地指示，并且因此，可能的是高效地解码需要被渲染的图片。
[0016]
根据本技术的实施例，参数集单元指示视频数据流中的替代编码单元类型，预定视频编码单元是被用作用于解码视频的视频序列的刷新起始点，例如rap类型，即包括瞬时解码刷新idr，还是用于解码视频的视频序列的连续起始点，例如非rap类型，即不包括idr。也就是说，可能的是通过使用参数集单元来指示编码单元是否是视频序列的第一图片。
[0017]
根据本技术的实施例，一种视频解码器被配置为通过对来自与相应图片相关联的视频数据流的访问单元内的一个或多个视频编码单元的每个图片进行解码对包括来自视频数据流的多个图片的视频进行解码，其中每个视频编码单元携带图块分区数据、块相关预测参数和预测残差数据，并且与图片的不同区域相关联，该图片与相应的预定视频编码单元所在的访问单元相关联；从预定视频编码单元中的每个读取一个多个语法元素的n元集合，例如两个旗标，每个是2元的，使得该对是4元映射（200），例如所述映射可以默认是固定的；替换地，它被用数据流发信号通知，或者二者，这通过：将值范围、一个多个语法元素的n元集合拆分成一个或多个特性（202）的m元集合，例如三个二进制特性，每个二进制特性因此是2元的，使得三元组是8元的，每个特性以在预定视频编码单元中的对应数据的情况下冗余的方式描述，即，所述特性可以从更深编码数据的检查中推导，关于视频如何相对于图片被编码到视频数据流中，该图片与预定视频编码单元所在的访问单元相关联，其中m》n；或者从每个预定的视频编码单元中读取n个语法元素（210），例如n=2个旗标，每个是2元的，其中n》0，从视频数据流中读取关联信息，取决于关联信息进行关联，即将它们视为关联
特性的变量，n个语法元素中的每个都具有关于m个特性之一的信息，例如m=3个二进制特性，因此每个都是2元关联信息将具有3种可能性将两个旗标与3个特性中的2个、即个特性相关联，每个特性以在预定视频编码单元中的对应数据的情况下冗余的方式描述关于视频如何相对于图片被编码到视频数据流中，该图片与预定视频编码单元所在的访问单元相关联，其中m》n。也就是说，例如，视频数据流条件——即视频如何相对于访问单元中的图片被编码到视频数据流中——由映射和旗标指示，可能的是高效地提供额外的信息。
[0018]
根据本技术的实施例，映射被包括在参数集单元中，并且指示所映射特性的位置。该映射在数据流中用信号通知，并且指示所映射特性的位置。n个语法元素指示特性的存在。也就是说，将旗标和映射组合，存在在参数集处指示旗标的灵活性。
[0019]
根据本技术的实施例，视频编码器被配置为通过将每个图片编码到与相应图片相关联的视频数据流的访问单元内的一个或多个视频编码单元中，将包括多个图片的视频编码到视频数据流中；指示视频数据流的参数集单元中的替代编码单元类型；对于每个预定视频编码单元，将相应视频编码单元的编码单元类型标识符（100）编码到视频数据流中，其中编码单元标识符标识一个或多个编码单元类型的第一子集（102）之中或编码单元类型的第二子集（104）之中的编码单元类型，其中如果编码单元标识符标识一个或多个编码单元类型的第一子集之中的编码单元类型，则相应预定视频编码单元将被归属于替代编码单元类型；如果编码单元标识符标识编码单元类型的第二子集之中的编码单元类型，则相应预定视频编码单元将归属于由编码单元标识符标识的编码单元类型的第二子集之中的编码单元类型，其中替代编码单元类型是rap类型，并且视频编码器被配置为将rap图片的视频编码单元标识为预定视频编码单元，并且例如直接编码用于标识rap类型的非rap图片的纯内编码视频编码单元的编码单元类型标识符。也就是说，在视频数据流的参数集单元中指示编码单元类型，并且因此，可能的是改进编码效率，即，不必在idr图片的情况下对每个片段进行编码。
[0020]
根据本技术的实施例，一种视频合成器被配置为合成具有视频的视频数据流，该视频包括编码在其中的多个图片，每个图片被分成视频数据流的访问单元内的一个或多个视频编码单元，该一个或多个视频编码单元与图片被细分成的每个铺块（tile）的相应图片相关联；将视频数据流的参数集单元中的替代编码单元类型从指示rap类型改变以便指示非rap类型；在v d s 图片中标识其标识符（100）编码到视频数据流中的专门编码的视频编码单元，编码单元类型标识rap图片；其中对于视频数据流的每个预定视频编码单元，相应p视频编码单元的标识符（100）编码到视频数据流中，编码单元类型标识一个或多个编码单元类型的第一子集（102）之中或编码单元类型的第二子集（104）之中的编码单元类型，其中如果编码单元标识符标识一个或多个编码单元类型的第一子集之中的编码单元类型，则相应预定视频编码单元将归属于替代编码单元类型；如果编码单元标识符标识编码单元类型的第二子集之中的编码单元类型，则相应预定视频编码单元将归属于由编码单元标识符标识的编码单元类型的第二子集之中的编码单元类型。通过使用标识符、编码单元类型的第一和第二子集来标识视频编码单元的类型，并且因此，例如由多个铺块构造的视频图片被高效地合成。
[0021]
根据本技术的实施例，一种视频编码器被配置为通过将每个图片编码到与相应图
片相关联的视频数据流的访问单元内的一个或多个视频编码单元中，将包括多个图片的视频编码到视频数据流中，其中每个视频编码单元携带图块分区数据、块相关预测参数和预测残差数据，并且与图片的不同区域相关联，该图片与相应的预定视频编码单元所在的访问单元相关联；将一个多个语法元素的n元集合指示到预定视频编码单元中的每个中，例如两个旗标，每个是2元的，使得该对是4元映射（200），所述映射可以默认是固定的；替换地，它被用数据流发信号通知，或者二者，这通过：将值范围、一个多个语法元素的n元集合拆分成一个或多个特性（202）的m元集合，例如三个二进制特性，每个二进制特性因此是2元的，使得三元组是8元的，每个特性以在预定视频编码单元中的对应数据的情况下冗余的方式描述，即，所述特性可以从更深编码数据的检查中推导，关于视频如何相对于图片被编码到视频数据流中，该图片与预定视频编码单元所在的访问单元相关联，其中m》n；或者向每个预定的视频编码单元中指示n个语法元素（210），例如n=2个旗标，每个是2元的，其中n》0，向视频数据流中指示关联信息，取决于关联信息进行关联，即将它们视为关联特性的变量，n个语法元素中的每个都具有关于m个特性之一的信息，例如m=3个二进制特性，因此每个都是2元关联信息将具有3种可能性将两个旗标与3个特性中的2个、即个特性相关联，每个特性以在预定视频编码单元中的对应数据的情况下冗余的方式描述关于视频如何相对于图片被编码到视频数据流中，该图片与预定视频编码单元所在的访问单元相关联，其中m》n。也就是说，例如，编码视频序列的每个视频编码单元的特性通过使用旗标来指示，并且因此，可能的是高效地提供额外的信息。
[0022]
根据本技术的实施例，一种方法包括：通过对来自与相应图片相关联的视频数据流的访问单元内的一个或多个视频编码单元的每个图片进行解码，对包括来自视频数据流的多个图片的视频进行解码；从视频数据流的参数集单元中读取替代编码单元类型；对于每个预定的视频编码单元，从相应的视频编码单元读取编码单元类型标识符；检查编码单元标识符是标识一个或多个编码单元类型的第一子集之中的编码单元类型，还是标识编码单元类型的第二子集之中的编码单元类型，如果编码单元标识符标识一个或多个编码单元类型的第一子集之中的编码单元类型，则将相应视频编码单元归属于替代编码单元类型；如果编码单元标识符标识编码单元类型的第二子集之中的编码单元类型，则将相应视频编码单元归属于由编码单元标识符标识的编码单元类型的第二子集之中的编码单元类型。
[0023]
根据本技术的实施例，一种方法包括：通过对来自与相应图片相关联的视频数据流的访问单元内的一个或多个视频编码单元的每个图片进行解码，对包括来自视频数据流的多个图片的视频进行解码，其中每个视频编码单元携带图块分区数据、块相关预测参数和预测残差数据，并且与图片的不同区域相关联，该图片与相应的预定视频编码单元所在的访问单元相关联；从预定视频编码单元中的每个读取一个多个语法元素的n元集合，例如两个旗标，每个是2元的，使得该对是4元映射，所述映射可以默认是固定的；替换地，它被用数据流发信号通知，或者二者，这通过：将值范围、一个多个语法元素的n元集合拆分成一个或多个特性的m元集合，例如三个二进制特性，每个二进制特性因此是2元的，使得三元组是8元的，每个特性以在预定视频编码单元中的对应数据的情况下冗余的方式描述——即，所述特性可以从更深编码数据的检查中推导——关于视频如何相对于图片被编码到视频数据流中，该图片与预定视频编码单元所在的访问单元相关联，其中m》n；或者从每个预定的
视频编码单元中读取n个语法元素，例如n=2个旗标，每个是2元的，其中n》0，从视频数据流中读取关联信息，取决于关联信息进行关联，即，将它们视为关联特性的变量，n个语法元素中的每个都具有关于m个特性之一的信息，例如m=3个二进制特性，因此每个都是2元关联信息将具有3种可能性将两个旗标与3个特性之中的2个、即个特性相关联，每个特性以在预定视频编码单元中的对应数据的情况下冗余的方式描述关于视频如何相对于图片被编码到视频数据流中，该图片与预定视频编码单元所在的访问单元相关联，其中m》n。
[0024]
根据本技术的实施例，一种方法包括：通过将每个图片编码到与相应图片相关联的视频数据流的访问单元内的一个或多个视频编码单元中，将包括多个图片的视频编码到视频数据流中；指示视频数据流的参数集单元中的替代编码单元类型；对于每个预定视频编码单元，定义相应视频编码单元的编码单元类型标识符（100），其中编码单元标识符标识一个或多个编码单元类型的第一子集（102）之中或编码单元类型的第二子集（104）之中的编码单元类型，如果编码单元标识符标识一个或多个编码单元类型的第一子集之中的编码单元类型，则将相应视频编码单元归属于替代编码单元类型；如果编码单元标识符标识编码单元类型的第二子集之中的编码单元类型，则将相应视频编码单元归属于由编码单元标识符标识的编码单元类型的第二子集之中的编码单元类型。
[0025]
根据本技术的实施例，一种方法包括：合成具有视频的视频数据流，该视频包括编码在其中的多个图片，每个图片被分成视频数据流的访问单元内的一个或多个视频编码单元，该一个或多个视频编码单元与图片被细分成的每个铺块的相应图片相关联；将视频数据流的参数集单元中的替代编码单元类型从指示rap类型改变以便指示非rap类型；在v d s 图片中标识其标识符（100）编码到视频数据流中的专门编码的视频编码单元，编码单元类型标识rap图片；其中对于视频数据流的每个预定视频编码单元，相应p视频编码单元的标识符（100）编码到视频数据流中，编码单元类型标识一个或多个编码单元类型的第一子集（102）之中或编码单元类型的第二子集（104）之中的编码单元类型，其中如果编码单元标识符标识一个或多个编码单元类型的第一子集之中的编码单元类型，则相应预定视频编码单元将归属于替代编码单元类型；如果编码单元标识符标识编码单元类型的第二子集之中的编码单元类型，则相应预定视频编码单元将归属于由编码单元标识符标识的编码单元类型的第二子集之中的编码单元类型。
[0026]
根据本技术的实施例，一种方法包括：通过将每个图片编码到与相应图片相关联的视频数据流的访问单元内的一个或多个视频编码单元中，将包括多个图片的视频编码到视频数据流中，其中每个视频编码单元携带图块分区数据、块相关预测参数和预测残差数据，并且与图片的不同区域相关联，该图片与相应的预定视频编码单元所在的访问单元相关联；将一个多个语法元素的n元集合指示到预定视频编码单元中的每个中，例如两个旗标，每个是2元的，使得该对是4元映射（200），所述映射可以默认是固定的；替换地，它被用数据流发信号通知，或者二者，这通过：将值范围、一个多个语法元素的n元集合拆分成一个或多个特性（202）的m元集合，例如三个二进制特性，每个二进制特性因此是2元的，使得三元组是8元的，每个特性以在预定视频编码单元中的对应数据的情况下冗余的方式描述——即，所述特性可以从更深编码数据的检查中推导——关于视频如何相对于图片被编码到视频数据流中，该图片与预定视频编码单元所在的访问单元相关联，其中m》n；或者向
每个预定的视频编码单元中指示n个语法元素（210），例如n=2个旗标，每个是2元的，其中n》0，向视频数据流中指示关联信息，取决于关联信息进行关联，即，将它们视为关联特性的变量， n个语法元素中的每个都具有关于m个特性之一的信息，例如m=3个二进制特性，因此每个都是2元关联信息将具有3种可能性将两个旗标与3个特性中的2个、即个特性相关联，每个特性以在预定视频编码单元中的对应数据的情况下冗余的方式描述关于视频如何相对于图片被编码到视频数据流中，该图片与预定视频编码单元所在的访问单元相关联，其中m》n。
[0027]
下面参照各图描述了本技术的优选实施例，其中：图1示出了图示用于虚拟现实应用的客户端和服务器系统的示意图，作为关于可以有利地使用以下各图中阐述的实施例的示例；图2示出了指示以两种分辨率在立方体映射投影中并且被平铺成可以装配到图1的系统的6
×
4的铺块的360度视频的示例的示意图示；图3示出了指示如图2中所指示的360度视频流的用户视点和铺块选择的示例的示意图示；图4示出了指示在合并操作之后在联合比特流中的图3中指示的铺块的结果所得铺块布置（封装）的示例的示意图示；图5示出了将具有低分辨率回退的平铺示例指示为360度视频流式传输的单个铺块的示意图示；图6示出了指示基于铺块的流式传输中的铺块选择的示例的示意图示；图7示出了指示基于铺块的流式传输中的铺块选择的另一示例的示意图示，其具有每个铺块的不相等rap（随机访问点）周期；图8示出了指示根据本技术实施例的nal（网络自适应层）单元标头的示例的示意图；图9示出了根据本技术实施例的指示包含在nal单元中的rbsp（行字节序列有效载荷）数据结构的类型的表的示例；图10示出了根据本技术实施例的指示nal单元类型被映射的序列参数集的示例的示意图；图11示出了指示在切片标头中指示的切片的特性的示例的示意图；图12示出了根据本技术实施例的示意图，该示意图指示了指示序列参数集中切片的特性的映射的示例；图13示出了根据本技术实施例的指示图12的序列参数集中的映射所指示的特性的示例的示意图；图14示出了根据本技术实施例的指示通过使用语法结构指示的关联信息的示例的示意图；图15示出了根据本技术实施例的指示序列参数集中切片特性的映射的另一示例的示意图；图16示出了根据本技术实施例的指示图15的参数集中的映射所指示的特性的另一示例的示意图；
图17示出了根据本技术实施例的指示映射的另外示例的示意图，该映射指示切片片段标头中的切片特性；和图18示出了根据本技术实施例的指示图17的切片片段标头中的映射所指示的特性的另外示例的示意图。
[0028]
在以下描述中，相同或等同的元件或具有相同或等同功能的元件由相同或等同的附图标记标示。
[0029]
在以下描述中，阐述了多个细节以提供对本技术的实施例的更透彻的解释。然而，对于本领域技术人员将清楚的是可以在没有这些具体细节的情况下实践本技术的实施例。在其他情况下，为了避免模糊本技术的实施例，公知的结构和设备以框图形式示出，而不是详细示出。此外，下文描述的不同实施例的特征可以彼此组合，除非另外特别指出。
[0030]
引言在下文中，应当注意，本文描述的个体方面可以单独使用或组合使用。因此，可以将细节添加到所述个体方面中的每一个，而不将细节添加到所述方面中的另一个。
[0031]
还应当注意，本公开明确或隐含地描述了可用于视频解码器（用于基于编码表示提供视频信号的解码表示的装置）中的特征。因此，本文描述的任何特征都可以用在视频解码器的上下文中。
[0032]
此外，本文公开的与方法相关的特征和功能也可以用在（被配置为执行这样的功能的）装置中。此外，本文公开的关于装置的任何特征和功能也可以在对应的方法中使用。换句话说，本文公开的方法可以由关于装置描述的任何特性和功能来补充。
[0033]
为了易于理解关于本技术的各个方面的本技术的实施例的描述，图1示出了本技术的随后描述的实施例可以被应用和有利地使用的环境的示例。特别地，图1示出了由客户端10和服务器20组成的系统，客户端10和服务器20经由自适应流式传输进行交互。例如，http上的动态自适应流式传输（dash）可以用于客户端10和服务器20之间的通信22。然而，随后概述的实施例不应被解释为限于dash的使用，并且类似地，诸如媒体呈现描述（mpd）之类的术语应被理解为宽泛的，以便还覆盖与dash中不同地定义的清单文件。
[0034]
图1图示了被配置为实现虚拟现实应用的系统。也就是说，该系统被配置为向佩戴平视显示器24的用户，即经由平视显示器24的内部显示器26，呈现时变空间场景30之中的视图区段28，该区段28对应于由诸如平视显示器24的惯性传感器之类的内部取向传感器32示例性测量的平视显示器24的取向。也就是说，呈现给用户的区段28形成空间场景30的区段，其空间位置对应于平视显示器24的取向。在图1的情况下，时变空间场景30被描绘为全向视频或球形视频，但是图1的描述和随后解释的实施例也可容易地转移到其他示例，诸如呈现视频之中的区段，其中区段28的空间位置由面部进入或眼睛进入与虚拟或真实投影器墙壁等的交点来确定。此外，传感器32和显示器26可以例如分别由不同设备包括，诸如遥控器和对应的电视，或者它们可以是诸如移动设备（诸如平板计算机或移动电话）之类的手持设备的一部分。最后，应当注意，稍后描述的一些实施例也可以应用于呈现给用户的区域28持续覆盖整个时变空间场景30的情景，其中呈现时变空间场景方面的不均匀性与例如空间场景上质量的不均匀分布有关。
[0035]
关于服务器20、客户端10以及在服务器20处提供空间内容30的方式的另外细节在图1中图示，并在下文中描述。然而，这些细节也不应当被视为限制随后解释的实施例，而是
应当作为如何实现任何随后解释的实施例的示例。
[0036]
特别地，如图1中所示，服务器20可以包括存储装置34和控制器36，诸如适当编程的计算机、专用集成电路等。存储装置34具有存储在其上的表示时变空间场景30的媒体片段。下面将参照图1的图示更详细地概述具体的示例。控制器36通过向客户端10重新发送所请求的媒体片段、媒体呈现描述来应答客户端10发送的请求，并且可以自己向客户端10发送另外的信息。这方面的细节也在下面阐述。控制器36可以从存储装置34中取回所请求的媒体片段。在该存储装置中，还可以在从服务器20发送到客户端10的其他信号中存储其他信息，诸如媒体呈现描述或其部分。
[0037]
如图1中所示，服务器20可以可选地另外包括流修改器38，该流修改器38响应于来自客户端10的请求，修改从服务器20发送到客户端10的媒体片段，以便在客户端10处产生媒体数据流，该媒体数据流形成由一个相关联的解码器可解码的单个媒体流，尽管例如客户端10以这种方式检索的媒体片段实际上是从几个媒体流聚集的。然而，这样的流修改器38的存在是可选的。
[0038]
图1的客户端10被示例性地描绘为包括客户端设备或控制器40或多个解码器42和重投影器44。客户端设备40可以是适当编程的计算机、微处理器、诸如fpga或专用集成电路等编程的硬件设备。客户端设备40承担从服务器20处提供的多个媒体片段46之中选择要从服务器20检索的片段的责任。为此，客户端设备40首先从服务器20检索清单或媒体呈现描述。从服务器20，客户端设备40获得用于计算多个媒体片段46之中的媒体片段的地址的计算规则，这些媒体片段对应于空间场景30的某些所需的空间部分。客户端设备40通过向服务器20发送相应的请求，从服务器20检索如此选择的媒体片段。这些请求包含计算的地址。
[0039]
客户端设备40如此检索的媒体片段被后者转发到一个或多个解码器42进行解码。在图1的示例中，对于每个时间单位，如此检索和解码的媒体片段仅表示时变空间场景30之中的空间区段48，但是如上面已经指出的，这可以根据其他方面而不同，其中例如要呈现的视图区段28持续覆盖整个场景。重投影器44可以可选地在所选择的、检索的和解码的媒体片段的检索和解码场景内容之中重投影和剪切出要向用户显示的视图区段28。为此，如图1中所示，客户端设备40可以例如响应于来自传感器32的用户取向数据来持续跟踪和更新视图区段28的空间位置，并且例如向重投影器44通知场景区段28的该当前空间位置以及将被应用到检索和解码的媒体内容上以便被映射到形成视图区段28的区域上的重投影映射。因此，重投影器44可以将映射和插值应用到例如要在显示器26上显示的规则的像素网格上。
[0040]
图1图示了已经使用立方映射将空间场景30映射到铺块50上的情况。因此，铺块被描绘为立方体的矩形子区域，具有球体形式的场景30已经被投影到该立方体上。重投影器44反转该投影。然而，也可以应用其他示例。例如，可以使用到截棱锥或没有被截的棱锥上的投影来代替立方投影。此外，尽管图1的铺块被描绘为在空间场景30的覆盖方面不重叠，但是细分成铺块可能涉及相互的铺块重叠。并且如将在下面更详细概述的，如下面进一步解释的，将场景30在空间上细分成铺块50、其中每个铺块形成一个表示也不是强制性的。
[0041]
因此，如图1中描绘的，整个空间场景30在空间上被细分成铺块50。在图1的示例中，立方体的六个面中的每个都被细分成4个铺块。出于说明的目的，枚举了铺块。对于每个铺块50，服务器20提供如图1中描绘的视频52。更精确地，服务器20甚至为每个铺块50提供多于一个的视频52，这些视频在质量q#方面不同。更进一步，视频52在时间上被细分成时间
片段54。所有铺块t#的所有视频52的时间片段54分别形成或被编码到存储在服务器20的存储装置34中的多个媒体片段46的媒体片段之一中。
[0042]
再次强调的是，即使是图1中图示的基于铺块的流式传输的示例也仅仅形成了一个示例，许多与该示例的偏离是可能的。例如，尽管图1似乎暗示了与较高质量下的场景30的表示有关的媒体片段涉及与具有以质量q1编码到其中的场景30的媒体片段所属的铺块相一致的铺块，但是这种一致不是必须的，并且不同质量的铺块甚至可以对应于场景30的不同投影的铺块。此外，尽管到目前为止还没有讨论，但是对应于图1中描绘的不同质量水平的媒体片段可能在空间分辨率和/或信噪比和/或时间分辨率等方面不同。
[0043]
最后，与基于铺块的流式传输概念——根据基于铺块的流式传输概念，可以由设备40从服务器20单独检索的媒体片段与场景30在空间上被细分成的铺块50相关——不同，在服务器20处提供的媒体片段可以替换地，例如，每个具有以空间上变化的采样分辨率以空间上完整的方式编码到其中的场景30，然而，在场景30中的不同空间位置处具有最大采样分辨率。例如，这可以通过在服务器20处提供与场景30在截棱锥上的投影相关的片段54的序列来实现，该截棱锥的截尖端将向互相不同的方向取向，从而导致不同取向的分辨率峰值。
[0044]
此外，关于可选地存在的流修改器38，应注意，流修改器38可以替换地是客户端10的部分，或者流修改器38甚至可以定位在客户端10和服务器20经由其交换本文描述的信号的网络设备内在客户端10和服务器20之间。
[0045]
存在某些基于视频的应用，其中多个编码的视频比特流将被联合解码，即被合并成联合比特流并被馈送到单个解码器中，诸如：
·
多方会议：其中来自多个参与者的编码视频流在单个端点上进行处理
·
或者基于铺块的流式传输：例如用于vr应用中的360度平铺视频回放在后者中，360度视频在空间上被分割，并且每个空间片段以不同空间分辨率的多个表示被提供给流式传输客户端，如图2中图示的。图2（a）示出了高分辨率铺块，并且图2（b）示出了低分辨率铺块。图2、即图2（a）和（b）示出了以两种分辨率被划分成6
×
4空间片段的立方体图投影360度视频。为简单起见，这些独立的可解码空间片段在本说明书中被称为铺块。
[0046]
当使用现有技术的头戴式显示器时，用户通常通过表示90
×
90度视野的立体视口边界80仅观看构成整个360度视频的铺块的子集，如图3（a）中图示的。对应的铺块在图（b）中由附图标记82指示，以最高分辨率被下载。
[0047]
然而，客户端应用还将必须下载和解码当前视口之外的其他铺块的表示，如图3（c）中的附图标记84所指示，以便处理用户的突然取向改变。如图3（c）中所指示，这样的应用中的客户端将因此以最高分辨率下载覆盖其当前视口的铺块，并以相对较低的分辨率下载其当前视口之外的铺块，同时铺块分辨率的选择不断适应用户的取向。在客户端侧下载之后，将下载的铺块合并到单个比特流中以用单个解码器进行处理是解决具有有限计算和功率资源的典型移动设备的约束的手段。图4图示了上述示例的联合比特流中可能的铺块布置。生成联合比特流的合并操作必须通过压缩域处理来实行，即，避免通过代码转换对像素域进行处理。
[0048]
虽然来自图4的示例图示了所有铺块（高分辨率和低分辨率）覆盖整个360度空间
并且没有铺块重复覆盖相同区域的情况，但是也可以如图5中描绘那样使用另一铺块分组。它将视频的整个低分辨率部分定义为“低分辨率回退”层，如图5（b）中所指示，其可以与覆盖360度视频子集的图5（a）的高分辨率铺块合并。如图5（c）中所指示，整个低分辨率回退视频可以被编码为单个铺块，而高分辨率铺块在渲染过程的最后阶段被渲染为视频的低分辨率部分的叠加。
[0049]
如图6中所图示，客户端通过下载所有期望的铺块轨道，根据他的铺块选择开始流式传输会话，其中客户端从由在图6（a）中的附图标记90指示的铺块0和由附图标记92指示的铺块1开始会话。每当发生视口改变时（即，用户将他的头转变以看向另一个方向），在下一个发生的时间片段改变铺块选择，即，由图6（a）中的附图标记94指示的铺块0和铺块2，并且在下一个可用片段，客户端改变铺块2的位置并用铺块1替换铺块0，如图6（b）中所指示。重要的是要注意，对于任何新的铺块选择和铺块的位置改变，所有的片段都需要以idr（瞬时解码器刷新）图片——即预测链重置图片开始，否则将引起预测失配、伪像和漂移。
[0050]
就比特率而言，在idr图片的情况下编码每个片段是高成本的。片段潜在地可以在持续时间上非常短，例如，以快速对取向改变做出反应，这就是为什么编码具有变化的idr（或rap：随机访问点）周期的多个变体是合期望的，如图7中图示的。例如，如图7（b）中所指示，在时间实例t1，没有理由中断铺块0的预测链，因为铺块0已经在时间实例t0被下载并且被放置在相同的位置，这就是为什么客户端可以选择不以服务器处可用的rap开始的片段。
[0051]
然而，仍然存在的一个问题是，编码图片内的切片（铺块）要服从某些约束。它们中的一个是图片不能同时包含rap和非rap nal单元类型的nal（网络抽象层）单元。因此，对于应用来说，仅两个不太合期望的选项存在来解决上述问题。首先，客户端可以在rap图片与非rap nal单元合并成图片时重写所述rap图片的nal单元类型。第二，服务器可以从一开始就通过使用非rap来模糊这些图片的rap特性。然而，这阻碍了处理这些编码视频的系统中的rap特性的检测，例如对于文件格式封装。
[0052]
本发明是一种nal单元类型映射，它允许通过可容易重写的语法结构将一个nal单元类型映射到另一个nal单元类型。
[0053]
在本发明的一个实施例中，nal单元类型被指定为可映射的，并且所映射的类型在参数集中被指定——例如如下基于vvc（通用视频编码）规范的草案6 v14——具有突出显示的编辑。
[0054]
图8示出了nal单元标头语法。语法nal_unit_type（即标识符100）指定了nal单元类型，即，如图9中指示的表中所指定的包含在nal单元中的rbsp（行字节序列有效载荷）数据结构的类型。
[0055]
变量nalunittype定义如下：当nal_unit_type != map_nutnalunittype等于nal_unit_type否则（nal_unit_type == map_nut）nalunittype等于mapped_nut
[0056]
该规范中对语法元素nal_unit_type的所有引用都被替换为对变量nalunittype的引用，如例如在以下约束中：对于图片的所有编码的切片nal单元，nalunittype的值应是相同的。图片或层访
问单元被称为具有与图片或层访问单元的编码切片nal单元相同的nal单元类型。即，如图9中所描绘的，编码单元类型的第一子集102指示“nal_unit_type”12，即“map_nut”和“vcl”作为nal单元类型类。因此，编码单元类型的第二子集104将“vcl”指示为nal单元类型类，即，如标识符100的数字0到15指示的图片的所有编码的切片nal单元具有与编码单元类型的第一子集102的编码单元类型相同的nal单元类型类，即vcl。
[0057]
图10示出了包括mapped_nut的序列参数集rbsp语法，如参考符号106所指示的，其指示具有的nal_unit_type等于map_nut的nal单元的nalunittype。
[0058]
在另一个实施例中，mapped_nut语法元素被携带在访问单元定界符aud中。
[0059]
在另一个实施例中，比特流一致性的要求是mapped_nut的值必须是vcl nal单元类型。
[0060]
在另一个实施例中，具有的nal_unit_type等于map_nut的nal单元的nalunittype的映射由简档信息实行。这样的机制可以允许具有多于一个可映射的nal单元类型，而不是具有单个map_nut，并且在简单的简档机制或单个语法元素mapped_nut_space_idc内指示可映射nal单元的nalunittypes的所需解释。
[0061]
在另一个实施例中，映射机制用于扩展当前限制为32的nalunittypes的值范围（因为它是u（5），如例如图10中所指示）。映射机制可以指示任何无限制的值，只要所需的nalunittypes的数量不超过为可映射的nal单元保留的值的数量。
[0062]
在一个实施例中，当图片同时包含替代编码单元类型的切片和常规编码单元类型的切片（例如，vcl类别的现有nal单元）时，以导致图片的所有切片实际上具有相同编码单元类型属性的方式来实行映射，即，替代编码单元类型等于常规编码类型的非替代切片的编码单元类型。此外，上述实施例仅适用于具有随机存取属性的图片或不具有随机存取属性的图片。
[0063]
除了所描述的关于合并场景中的nal单元类型和nal单元类型可扩展性以及对应解决方案的问题之外，还存在几种视频应用，其中系统集成和传输或操纵需要与视频相关的信息以及视频是如何被编码的，诸如实时适配。
[0064]
在过去的几年内，已经建立了一些通用信息，所述信息在工业中被广泛使用，并且被明确规定，并且为此类目的使用了特定的比特值。其示例有：
·
nal单元标头处的临时id
·
nal单元类型，包括idr，cra，trail，
…
或sps（序列参数集），pps（图片参数集）等。
[0065]
然而，存在几个情景，其中附加信息可以有帮助。另外类型的nal单元没有被广泛使用，但是在一些情况下发现了某种有用性，例如bla、用于子图片的部分rap nal单元、子层非参考nal单元等。如果使用上述可扩展性机制，可以实现那些nal单元类型中的一些。然而，另一替代方案是在切片标头内使用一些字段。
[0066]
过去，附加信息被保留在用于指示切片的特定特性的切片标头处：
·
可丢弃旗标：指定编码图片不被用作间预测（inter prediction）的参考图片，并且不被用作层间预测的源图片。
[0067]
·
cross_layer_bla_flag：影响分层编码的输出图片的导出，其中在较高层的rap之前的图片可能不被输出。
[0068]
可以为即将到来的视频编解码器标准设想类似的机制。然而，那些机制的一个限制是，所定义的旗标占据了切片标头内的特定位置。在下文中，那些旗标在hevc中的使用在图11中示出。
[0069]
如以上所见，这样的解决方案的问题在于，额外的切片标头比特的位置是渐进分配的，并且对于使用更少信息的应用来说，旗标将可能出现在较后的位置，从而增加了需要在额外比特中发送的比特数（例如，在hevc的情况下为“discardable_flag”和“cross_layer_bla_flag”）。
[0070]
替换地，遵循针对nal单元类型所描述的类似机制，可以在参数集处定义切片标头中的额外切片标头比特中的旗标的映射。示例如图12所示。
[0071]
图12示出了包括使用“extra_slice_header_bits_mapping_space_idc”来指示关联信息的映射的序列参数集的示例，即，如参考符号200所指示的映射，其指示切片标头中的额外比特的映射空间。
[0072]
图13示出了由图12的“extra_slice_header_bits_mapping_space_idc”200指示的比特到旗标存在的映射。如图13中描绘的，二进制特性202以在预定视频编码单元中的对应数据的情况下冗余的方式进行描述。在图13中，描绘了三个二进制特性202，即“0”、“1”和“2”。二进制特性的数量可以取决于旗标的数量而变化。
[0073]
在另一个实施例中，在语法结构（例如，如图14中描绘）中实行该映射，该语法结构指示在切片标头中的额外比特中存在语法元素（例如，如图11中描绘）。也就是说，例如，如图11中描绘，存在旗标上的条件控制切片标头中的额外比特中的语法元素的存在，即“num_extra_slice_header_bits＞i”和“i《num_extra_slice_header_bits; i ”。在图11中，如上面解释的，额外比特中的每个语法元素被放置在切片标头中的特定位置，然而，在该实施例中，例如“discardable_flag”、“cross_layer_bla_flag”或“slice_reserved_flag[i]”之类的语法元素不必占据该特定位置。取而代之，当第一语法元素（例如，图11中的“discardable_flag”）在检查特定存在旗标（例如，图14中的“discardable_flag_present_flag”）的值上的条件时被指示为不存在时，随后的第二语法元素在存在时占用第一语法元素在切片标头中的位置。此外，通过指示例如“sps_extra_ph_bit_present_flag [i]”之类的旗标，额外比特中的语法元素可以存在于图片标头中。此外，语法结构（例如，语法元素的数量，即，呈现的旗标的数量）指示特定特性的存在/呈现或者额外比特中呈现的语法元素的数量。也就是说，在额外比特中呈现的特定特性或语法元素的数量通过计数呈现了多少语法元素（旗标）来指示。在图14中，每个语法元素的存在由旗标210指示。也就是说，210中的每个旗标指示预定视频编码单元的特定特性的切片标头指示的存在。此外，如图14中所指示的并且对应于图11的切片标头中的“slice_reserved_flag[i]”语法元素的另外语法“[
…
]//further flags”被用作指示额外比特中的语法元素的存在/呈现的占位符，或者被用作另外的旗标的存在/呈现的指示。
[0074]
在另一个实施例中，如例如图15中所示，旗标类型映射是针对参数集中的每个额外的切片标头比特来发信号通知的。如图15中所指示，语法“extra_slice_header_bit_mapping_idc”（即映射200）在序列参数集中用信号通知，并指示映射特性的位置。
[0075]
图16示出了由图15的“extra_slice_header_bits_mapping_space_idc”指示的比特到旗标存在的映射。也就是说，在图16中描绘了对应于图15中所指示的映射200的二进制
特性202。
[0076]
在另一个实施例中，切片标头扩展比特由表示某个旗标值组合的idc信令替换，例如，如图17中所示。如图17中描绘的，映射200（即“extra_slice_header_bit_idc”）被指示在切片片段标头中，即，映射200指示如图18中所示的特性的存在。
[0077]
图18示出了由“extra_slice_header_bit_idc”的某个值表示的旗标值（即二进制特性202）或者在参数集中用信号通知，或者在规范中预定义（已知先验）。
[0078]
在一个实施例中，“extra_slice_header_bit_idc”的值空间（即映射200的值空间）被划分成两个范围。一个范围表示先验已知的旗标值组合，并且一个范围表示参数集中用信号通知的旗标值组合。
[0079]
尽管已经在装置的上下文中描述了一些方面，但是清楚的是，这些方面也表示对应方法的描述，其中块或设备对应于方法步骤或方法步骤的特性。类似地，在方法步骤的上下文中描述的方面也表示对应装置的对应块或项目或特性的描述。一些或所有方法步骤可以通过（或使用）硬件装置来执行，例如像微处理器、可编程计算机或电子电路。在一些实施例中，一个或多个最重要的方法步骤可以由这样的装置执行。
[0080]
本发明的数据流可以存储在数字存储介质上，或者可以在传输介质上传输，诸如无线传输介质或有线传输介质，诸如因特网。
[0081]
取决于某些实现要求，应用的实施例可以用硬件或软件来实现。可以使用其上存储有电子可读控制信号的数字存储介质（例如软盘、dvd、蓝光、cd、rom、prom、eprom、eeprom或闪存存储器）来执行该实现，该数字存储介质与可编程计算机系统协作（或能够与其协作），使得执行相应的方法。因此，数字存储介质可以是计算机可读的。
[0082]
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，该数据载体能够与可编程计算机系统协作，使得执行本文描述的方法之一。
[0083]
一般而言，本技术的实施例可以被实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，该程序代码可操作用于执行方法之一。例如，程序代码可以存储在机器可读载体上。
[0084]
其他实施例包括存储在机器可读载体上的用于执行本文描述的方法之一的计算机程序。
[0085]
换句话说，因此，本发明方法的实施例是一种计算机程序，该计算机程序具有程序代码，当该计算机程序在计算机上运行时，该程序代码用于执行本文描述的方法之一。
[0086]
因此，本发明方法的另外实施例是一种数据载体（或数字存储介质，或计算机可读介质），其包括记录在其上的用于执行本文描述的方法之一的计算机程序。数据载体、数字存储介质或记录介质通常是有形的和/或非过渡性的。
[0087]
因此，本发明方法的另外实施例是表示用于执行本文描述的方法之一的计算机程序的数据流或信号序列。数据流或信号序列可以例如被配置为经由数据通信连接、例如经由互联网来传送。
[0088]
另外的实施例包括处理装置，例如计算机或可编程逻辑器件，其被配置为或适于执行本文描述的方法之一。
[0089]
另外的实施例包括计算机，其上安装有用于执行本文描述的方法之一的计算机程序。
[0090]
根据本发明的另外实施例包括一种装置或系统，其被配置为将用于执行本文描述的方法之一的计算机程序传送（例如，电子地或光学地）到接收器。例如，接收器可以是计算机、移动设备、存储器设备等。该装置或系统可以例如包括用于将计算机程序传送到接收器的文件服务器。
[0091]
在一些实施例中，可编程逻辑器件（例如现场可编程门阵列）可以用于执行本文描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作，以便执行本文描述的方法之一。通常，所述方法优选地由任何硬件装置来执行。
[0092]
本文描述的装置可以使用硬件装置、或使用计算机、或使用硬件装置和计算机的组合来实现。
[0093]
本文描述的装置或本文描述的装置的任何组件可以至少部分地用硬件和/或软件来实现。
1.本技术涉及一种用于指示视频数据流的视频编码单元的编码单元类型和特性的数据结构。
2.已知的是，图片类型是在携带图片切片的nal单元的nal单元标头中指示的。由此，nal单元有效载荷的基本属性在非常高的水平上可用于供应用使用。
3.图片类型包括以下：
‑ꢀ
随机访问点（rap）图片，其中解码器可以开始对编码的视频序列解码。这些被称为内部随机存取图片（irap）。存在三种irap图片类型：瞬时解码器刷新（idr）、干净随机存取（cra）和断开链接存取（bla）。编码视频序列的解码过程总是在irap处开始。
[0004]-前导图片，其在输出顺序上在随机访问点图片之前，但是在编码视频序列中在它之后被编码。独立于编码顺序中随机访问点之前的图片的前导图片被称为随机访问可解码前导图片（radl）。如果解码在对应的irap处开始，则使用按照编码顺序在随机访问点之前的图片进行预测的前导图片可能被破坏。这些被称为随机存取跳过前导图片（rasl）。
[0005]
‑ꢀ
尾随（trail）图片，其在输出和显示顺序二者上都跟随irap和前导图片。
[0006]
‑ꢀ
在其处解码器可以切换编码视频序列的时间分辨率的图片：时间子层访问（tsa）和逐步时间子层访问（stsa）。
[0007]
因此，nal单元的数据结构是流合并的重要因素。
[0008]
本技术的主题的目的是提供一种通过读取指示替代编码单元类型的标识符来导出视频数据流的视频编码单元的必要信息的解码器，以及一种导出视频数据流的特性的解码器。
[0009]
本技术主题的另外目的是提供一种通过使用标识符来指示视频编码单元的替代编码单元类型的编码器和一种指示视频数据流特性的编码器。
[0010]
该目的通过本技术的权利要求的主题来实现。
[0011]
根据本技术的实施例，一种视频解码器，被配置为通过对来自与相应图片相关联的视频数据流的访问单元内的一个或多个视频编码单元的每个图片进行解码对包括来自视频数据流的多个图片的视频进行解码；从视频数据流的参数集单元中读取替代编码单元类型；对于每个预定视频编码单元，从相应视频编码单元读取编码单元类型标识符（100），例如nal单元标头中包括的语法元素；检查编码单元标识符是标识一个或多个编码单元类型的第一子集（102）之中的编码单元类型——例如指示nal单元是否为可映射vcl（视频编码层）单元类型，还是标识编码单元类型的第二子集（104）之中的编码单元类型——例如指示nal单元类型，如果编码单元标识符标识一个或多个编码单元类型的第一子集之中的编码单元类型，则将相应预定视频编码单元归属于替代编码单元类型；如果编码单元标识符标识编码单元类型的第二子集之中的编码单元类型，则将相应预定视频编码单元归属于由编码单元标识符标识的编码单元类型的第二子集之中的编码单元类型。也就是说，相应的nal单元类型由标识符、编码单元类型的第一子集和编码单元类型的第二子集来指示，即，nal单元类型在编码单元类型的第一和第二子集的指示之后被重写。因此，可能的是改进合并效率。
[0012]
根据本技术的实施例，视频解码器被配置为：以取决于归属于相应视频编码单元的编码单元类型的方式从每个视频编码单元解码与相应视频编码单元相关联的区域。视频解码器可以被配置以使得替代编码单元类型在视频编码类型的第二子集之中。视频解码器可以被配置以使得替代编码单元类型在视频编码类型的第三子集之中，例如非vcl单元类型，其包括视频编码类型的第二子集不包括的至少一个视频编码类型。根据本技术，可能的是改进编码效率。
[0013]
根据本技术的实施例，预定视频编码单元携带图块分区数据、块相关预测参数和预测残差数据。当图片包含具有第一子集的编码单元类型的一个或多个视频编码单元（例如，切片）和具有第二子集的编码单元类型的一个或多个视频编码单元（例如，切片）两者时，后一视频编码单元具有等于替代编码单元类型的编码单元类型。替代编码单元类型是随机访问点（rap）编码类型。替代编码单元类型是不同于随机访问点rap编码类型的编码类型。也就是说，替代编码单元类型被标识，并且具有相同替代编码单元类型的视频编码单元被合并，并且因此，合并效率被适当地改进。
[0014]
根据本技术的实施例，每个预定视频编码单元与图片的不同区域相关联，该图片与相应的预定视频编码单元所在的访问单元相关联。视频数据流的参数集单元具有覆盖图片序列、一个图片或一个图片之中的切片集的范围。参数集单元以视频数据流简档特定的方式指示替代编码单元类型。也就是说，可能的是高效地合并切片，并且因此改进编码效率。
[0015]
根据本技术的实施例，视频数据流的参数集单元是：参数集单元，其具有覆盖图片序列的范围；或者访问单元定界符，其具有覆盖与访问单元相关联的一个或多个图片的范围。也就是说，图片的顺序被适当地指示，并且因此，可能的是高效地解码需要被渲染的图片。
[0016]
根据本技术的实施例，参数集单元指示视频数据流中的替代编码单元类型，预定视频编码单元是被用作用于解码视频的视频序列的刷新起始点，例如rap类型，即包括瞬时解码刷新idr，还是用于解码视频的视频序列的连续起始点，例如非rap类型，即不包括idr。也就是说，可能的是通过使用参数集单元来指示编码单元是否是视频序列的第一图片。
[0017]
根据本技术的实施例，一种视频解码器被配置为通过对来自与相应图片相关联的视频数据流的访问单元内的一个或多个视频编码单元的每个图片进行解码对包括来自视频数据流的多个图片的视频进行解码，其中每个视频编码单元携带图块分区数据、块相关预测参数和预测残差数据，并且与图片的不同区域相关联，该图片与相应的预定视频编码单元所在的访问单元相关联；从预定视频编码单元中的每个读取一个多个语法元素的n元集合，例如两个旗标，每个是2元的，使得该对是4元映射（200），例如所述映射可以默认是固定的；替换地，它被用数据流发信号通知，或者二者，这通过：将值范围、一个多个语法元素的n元集合拆分成一个或多个特性（202）的m元集合，例如三个二进制特性，每个二进制特性因此是2元的，使得三元组是8元的，每个特性以在预定视频编码单元中的对应数据的情况下冗余的方式描述，即，所述特性可以从更深编码数据的检查中推导，关于视频如何相对于图片被编码到视频数据流中，该图片与预定视频编码单元所在的访问单元相关联，其中m》n；或者从每个预定的视频编码单元中读取n个语法元素（210），例如n=2个旗标，每个是2元的，其中n》0，从视频数据流中读取关联信息，取决于关联信息进行关联，即将它们视为关联
特性的变量，n个语法元素中的每个都具有关于m个特性之一的信息，例如m=3个二进制特性，因此每个都是2元关联信息将具有3种可能性将两个旗标与3个特性中的2个、即个特性相关联，每个特性以在预定视频编码单元中的对应数据的情况下冗余的方式描述关于视频如何相对于图片被编码到视频数据流中，该图片与预定视频编码单元所在的访问单元相关联，其中m》n。也就是说，例如，视频数据流条件——即视频如何相对于访问单元中的图片被编码到视频数据流中——由映射和旗标指示，可能的是高效地提供额外的信息。
[0018]
根据本技术的实施例，映射被包括在参数集单元中，并且指示所映射特性的位置。该映射在数据流中用信号通知，并且指示所映射特性的位置。n个语法元素指示特性的存在。也就是说，将旗标和映射组合，存在在参数集处指示旗标的灵活性。
[0019]
根据本技术的实施例，视频编码器被配置为通过将每个图片编码到与相应图片相关联的视频数据流的访问单元内的一个或多个视频编码单元中，将包括多个图片的视频编码到视频数据流中；指示视频数据流的参数集单元中的替代编码单元类型；对于每个预定视频编码单元，将相应视频编码单元的编码单元类型标识符（100）编码到视频数据流中，其中编码单元标识符标识一个或多个编码单元类型的第一子集（102）之中或编码单元类型的第二子集（104）之中的编码单元类型，其中如果编码单元标识符标识一个或多个编码单元类型的第一子集之中的编码单元类型，则相应预定视频编码单元将被归属于替代编码单元类型；如果编码单元标识符标识编码单元类型的第二子集之中的编码单元类型，则相应预定视频编码单元将归属于由编码单元标识符标识的编码单元类型的第二子集之中的编码单元类型，其中替代编码单元类型是rap类型，并且视频编码器被配置为将rap图片的视频编码单元标识为预定视频编码单元，并且例如直接编码用于标识rap类型的非rap图片的纯内编码视频编码单元的编码单元类型标识符。也就是说，在视频数据流的参数集单元中指示编码单元类型，并且因此，可能的是改进编码效率，即，不必在idr图片的情况下对每个片段进行编码。
[0020]
根据本技术的实施例，一种视频合成器被配置为合成具有视频的视频数据流，该视频包括编码在其中的多个图片，每个图片被分成视频数据流的访问单元内的一个或多个视频编码单元，该一个或多个视频编码单元与图片被细分成的每个铺块（tile）的相应图片相关联；将视频数据流的参数集单元中的替代编码单元类型从指示rap类型改变以便指示非rap类型；在v d s 图片中标识其标识符（100）编码到视频数据流中的专门编码的视频编码单元，编码单元类型标识rap图片；其中对于视频数据流的每个预定视频编码单元，相应p视频编码单元的标识符（100）编码到视频数据流中，编码单元类型标识一个或多个编码单元类型的第一子集（102）之中或编码单元类型的第二子集（104）之中的编码单元类型，其中如果编码单元标识符标识一个或多个编码单元类型的第一子集之中的编码单元类型，则相应预定视频编码单元将归属于替代编码单元类型；如果编码单元标识符标识编码单元类型的第二子集之中的编码单元类型，则相应预定视频编码单元将归属于由编码单元标识符标识的编码单元类型的第二子集之中的编码单元类型。通过使用标识符、编码单元类型的第一和第二子集来标识视频编码单元的类型，并且因此，例如由多个铺块构造的视频图片被高效地合成。
[0021]
根据本技术的实施例，一种视频编码器被配置为通过将每个图片编码到与相应图
片相关联的视频数据流的访问单元内的一个或多个视频编码单元中，将包括多个图片的视频编码到视频数据流中，其中每个视频编码单元携带图块分区数据、块相关预测参数和预测残差数据，并且与图片的不同区域相关联，该图片与相应的预定视频编码单元所在的访问单元相关联；将一个多个语法元素的n元集合指示到预定视频编码单元中的每个中，例如两个旗标，每个是2元的，使得该对是4元映射（200），所述映射可以默认是固定的；替换地，它被用数据流发信号通知，或者二者，这通过：将值范围、一个多个语法元素的n元集合拆分成一个或多个特性（202）的m元集合，例如三个二进制特性，每个二进制特性因此是2元的，使得三元组是8元的，每个特性以在预定视频编码单元中的对应数据的情况下冗余的方式描述，即，所述特性可以从更深编码数据的检查中推导，关于视频如何相对于图片被编码到视频数据流中，该图片与预定视频编码单元所在的访问单元相关联，其中m》n；或者向每个预定的视频编码单元中指示n个语法元素（210），例如n=2个旗标，每个是2元的，其中n》0，向视频数据流中指示关联信息，取决于关联信息进行关联，即将它们视为关联特性的变量，n个语法元素中的每个都具有关于m个特性之一的信息，例如m=3个二进制特性，因此每个都是2元关联信息将具有3种可能性将两个旗标与3个特性中的2个、即个特性相关联，每个特性以在预定视频编码单元中的对应数据的情况下冗余的方式描述关于视频如何相对于图片被编码到视频数据流中，该图片与预定视频编码单元所在的访问单元相关联，其中m》n。也就是说，例如，编码视频序列的每个视频编码单元的特性通过使用旗标来指示，并且因此，可能的是高效地提供额外的信息。
[0022]
根据本技术的实施例，一种方法包括：通过对来自与相应图片相关联的视频数据流的访问单元内的一个或多个视频编码单元的每个图片进行解码，对包括来自视频数据流的多个图片的视频进行解码；从视频数据流的参数集单元中读取替代编码单元类型；对于每个预定的视频编码单元，从相应的视频编码单元读取编码单元类型标识符；检查编码单元标识符是标识一个或多个编码单元类型的第一子集之中的编码单元类型，还是标识编码单元类型的第二子集之中的编码单元类型，如果编码单元标识符标识一个或多个编码单元类型的第一子集之中的编码单元类型，则将相应视频编码单元归属于替代编码单元类型；如果编码单元标识符标识编码单元类型的第二子集之中的编码单元类型，则将相应视频编码单元归属于由编码单元标识符标识的编码单元类型的第二子集之中的编码单元类型。
[0023]
根据本技术的实施例，一种方法包括：通过对来自与相应图片相关联的视频数据流的访问单元内的一个或多个视频编码单元的每个图片进行解码，对包括来自视频数据流的多个图片的视频进行解码，其中每个视频编码单元携带图块分区数据、块相关预测参数和预测残差数据，并且与图片的不同区域相关联，该图片与相应的预定视频编码单元所在的访问单元相关联；从预定视频编码单元中的每个读取一个多个语法元素的n元集合，例如两个旗标，每个是2元的，使得该对是4元映射，所述映射可以默认是固定的；替换地，它被用数据流发信号通知，或者二者，这通过：将值范围、一个多个语法元素的n元集合拆分成一个或多个特性的m元集合，例如三个二进制特性，每个二进制特性因此是2元的，使得三元组是8元的，每个特性以在预定视频编码单元中的对应数据的情况下冗余的方式描述——即，所述特性可以从更深编码数据的检查中推导——关于视频如何相对于图片被编码到视频数据流中，该图片与预定视频编码单元所在的访问单元相关联，其中m》n；或者从每个预定的
视频编码单元中读取n个语法元素，例如n=2个旗标，每个是2元的，其中n》0，从视频数据流中读取关联信息，取决于关联信息进行关联，即，将它们视为关联特性的变量，n个语法元素中的每个都具有关于m个特性之一的信息，例如m=3个二进制特性，因此每个都是2元关联信息将具有3种可能性将两个旗标与3个特性之中的2个、即个特性相关联，每个特性以在预定视频编码单元中的对应数据的情况下冗余的方式描述关于视频如何相对于图片被编码到视频数据流中，该图片与预定视频编码单元所在的访问单元相关联，其中m》n。
[0024]
根据本技术的实施例，一种方法包括：通过将每个图片编码到与相应图片相关联的视频数据流的访问单元内的一个或多个视频编码单元中，将包括多个图片的视频编码到视频数据流中；指示视频数据流的参数集单元中的替代编码单元类型；对于每个预定视频编码单元，定义相应视频编码单元的编码单元类型标识符（100），其中编码单元标识符标识一个或多个编码单元类型的第一子集（102）之中或编码单元类型的第二子集（104）之中的编码单元类型，如果编码单元标识符标识一个或多个编码单元类型的第一子集之中的编码单元类型，则将相应视频编码单元归属于替代编码单元类型；如果编码单元标识符标识编码单元类型的第二子集之中的编码单元类型，则将相应视频编码单元归属于由编码单元标识符标识的编码单元类型的第二子集之中的编码单元类型。
[0025]
根据本技术的实施例，一种方法包括：合成具有视频的视频数据流，该视频包括编码在其中的多个图片，每个图片被分成视频数据流的访问单元内的一个或多个视频编码单元，该一个或多个视频编码单元与图片被细分成的每个铺块的相应图片相关联；将视频数据流的参数集单元中的替代编码单元类型从指示rap类型改变以便指示非rap类型；在v d s 图片中标识其标识符（100）编码到视频数据流中的专门编码的视频编码单元，编码单元类型标识rap图片；其中对于视频数据流的每个预定视频编码单元，相应p视频编码单元的标识符（100）编码到视频数据流中，编码单元类型标识一个或多个编码单元类型的第一子集（102）之中或编码单元类型的第二子集（104）之中的编码单元类型，其中如果编码单元标识符标识一个或多个编码单元类型的第一子集之中的编码单元类型，则相应预定视频编码单元将归属于替代编码单元类型；如果编码单元标识符标识编码单元类型的第二子集之中的编码单元类型，则相应预定视频编码单元将归属于由编码单元标识符标识的编码单元类型的第二子集之中的编码单元类型。
[0026]
根据本技术的实施例，一种方法包括：通过将每个图片编码到与相应图片相关联的视频数据流的访问单元内的一个或多个视频编码单元中，将包括多个图片的视频编码到视频数据流中，其中每个视频编码单元携带图块分区数据、块相关预测参数和预测残差数据，并且与图片的不同区域相关联，该图片与相应的预定视频编码单元所在的访问单元相关联；将一个多个语法元素的n元集合指示到预定视频编码单元中的每个中，例如两个旗标，每个是2元的，使得该对是4元映射（200），所述映射可以默认是固定的；替换地，它被用数据流发信号通知，或者二者，这通过：将值范围、一个多个语法元素的n元集合拆分成一个或多个特性（202）的m元集合，例如三个二进制特性，每个二进制特性因此是2元的，使得三元组是8元的，每个特性以在预定视频编码单元中的对应数据的情况下冗余的方式描述——即，所述特性可以从更深编码数据的检查中推导——关于视频如何相对于图片被编码到视频数据流中，该图片与预定视频编码单元所在的访问单元相关联，其中m》n；或者向
每个预定的视频编码单元中指示n个语法元素（210），例如n=2个旗标，每个是2元的，其中n》0，向视频数据流中指示关联信息，取决于关联信息进行关联，即，将它们视为关联特性的变量， n个语法元素中的每个都具有关于m个特性之一的信息，例如m=3个二进制特性，因此每个都是2元关联信息将具有3种可能性将两个旗标与3个特性中的2个、即个特性相关联，每个特性以在预定视频编码单元中的对应数据的情况下冗余的方式描述关于视频如何相对于图片被编码到视频数据流中，该图片与预定视频编码单元所在的访问单元相关联，其中m》n。
[0027]
下面参照各图描述了本技术的优选实施例，其中：图1示出了图示用于虚拟现实应用的客户端和服务器系统的示意图，作为关于可以有利地使用以下各图中阐述的实施例的示例；图2示出了指示以两种分辨率在立方体映射投影中并且被平铺成可以装配到图1的系统的6
×
4的铺块的360度视频的示例的示意图示；图3示出了指示如图2中所指示的360度视频流的用户视点和铺块选择的示例的示意图示；图4示出了指示在合并操作之后在联合比特流中的图3中指示的铺块的结果所得铺块布置（封装）的示例的示意图示；图5示出了将具有低分辨率回退的平铺示例指示为360度视频流式传输的单个铺块的示意图示；图6示出了指示基于铺块的流式传输中的铺块选择的示例的示意图示；图7示出了指示基于铺块的流式传输中的铺块选择的另一示例的示意图示，其具有每个铺块的不相等rap（随机访问点）周期；图8示出了指示根据本技术实施例的nal（网络自适应层）单元标头的示例的示意图；图9示出了根据本技术实施例的指示包含在nal单元中的rbsp（行字节序列有效载荷）数据结构的类型的表的示例；图10示出了根据本技术实施例的指示nal单元类型被映射的序列参数集的示例的示意图；图11示出了指示在切片标头中指示的切片的特性的示例的示意图；图12示出了根据本技术实施例的示意图，该示意图指示了指示序列参数集中切片的特性的映射的示例；图13示出了根据本技术实施例的指示图12的序列参数集中的映射所指示的特性的示例的示意图；图14示出了根据本技术实施例的指示通过使用语法结构指示的关联信息的示例的示意图；图15示出了根据本技术实施例的指示序列参数集中切片特性的映射的另一示例的示意图；图16示出了根据本技术实施例的指示图15的参数集中的映射所指示的特性的另一示例的示意图；
图17示出了根据本技术实施例的指示映射的另外示例的示意图，该映射指示切片片段标头中的切片特性；和图18示出了根据本技术实施例的指示图17的切片片段标头中的映射所指示的特性的另外示例的示意图。
[0028]
在以下描述中，相同或等同的元件或具有相同或等同功能的元件由相同或等同的附图标记标示。
[0029]
在以下描述中，阐述了多个细节以提供对本技术的实施例的更透彻的解释。然而，对于本领域技术人员将清楚的是可以在没有这些具体细节的情况下实践本技术的实施例。在其他情况下，为了避免模糊本技术的实施例，公知的结构和设备以框图形式示出，而不是详细示出。此外，下文描述的不同实施例的特征可以彼此组合，除非另外特别指出。
[0030]
引言在下文中，应当注意，本文描述的个体方面可以单独使用或组合使用。因此，可以将细节添加到所述个体方面中的每一个，而不将细节添加到所述方面中的另一个。
[0031]
还应当注意，本公开明确或隐含地描述了可用于视频解码器（用于基于编码表示提供视频信号的解码表示的装置）中的特征。因此，本文描述的任何特征都可以用在视频解码器的上下文中。
[0032]
此外，本文公开的与方法相关的特征和功能也可以用在（被配置为执行这样的功能的）装置中。此外，本文公开的关于装置的任何特征和功能也可以在对应的方法中使用。换句话说，本文公开的方法可以由关于装置描述的任何特性和功能来补充。
[0033]
为了易于理解关于本技术的各个方面的本技术的实施例的描述，图1示出了本技术的随后描述的实施例可以被应用和有利地使用的环境的示例。特别地，图1示出了由客户端10和服务器20组成的系统，客户端10和服务器20经由自适应流式传输进行交互。例如，http上的动态自适应流式传输（dash）可以用于客户端10和服务器20之间的通信22。然而，随后概述的实施例不应被解释为限于dash的使用，并且类似地，诸如媒体呈现描述（mpd）之类的术语应被理解为宽泛的，以便还覆盖与dash中不同地定义的清单文件。
[0034]
图1图示了被配置为实现虚拟现实应用的系统。也就是说，该系统被配置为向佩戴平视显示器24的用户，即经由平视显示器24的内部显示器26，呈现时变空间场景30之中的视图区段28，该区段28对应于由诸如平视显示器24的惯性传感器之类的内部取向传感器32示例性测量的平视显示器24的取向。也就是说，呈现给用户的区段28形成空间场景30的区段，其空间位置对应于平视显示器24的取向。在图1的情况下，时变空间场景30被描绘为全向视频或球形视频，但是图1的描述和随后解释的实施例也可容易地转移到其他示例，诸如呈现视频之中的区段，其中区段28的空间位置由面部进入或眼睛进入与虚拟或真实投影器墙壁等的交点来确定。此外，传感器32和显示器26可以例如分别由不同设备包括，诸如遥控器和对应的电视，或者它们可以是诸如移动设备（诸如平板计算机或移动电话）之类的手持设备的一部分。最后，应当注意，稍后描述的一些实施例也可以应用于呈现给用户的区域28持续覆盖整个时变空间场景30的情景，其中呈现时变空间场景方面的不均匀性与例如空间场景上质量的不均匀分布有关。
[0035]
关于服务器20、客户端10以及在服务器20处提供空间内容30的方式的另外细节在图1中图示，并在下文中描述。然而，这些细节也不应当被视为限制随后解释的实施例，而是
应当作为如何实现任何随后解释的实施例的示例。
[0036]
特别地，如图1中所示，服务器20可以包括存储装置34和控制器36，诸如适当编程的计算机、专用集成电路等。存储装置34具有存储在其上的表示时变空间场景30的媒体片段。下面将参照图1的图示更详细地概述具体的示例。控制器36通过向客户端10重新发送所请求的媒体片段、媒体呈现描述来应答客户端10发送的请求，并且可以自己向客户端10发送另外的信息。这方面的细节也在下面阐述。控制器36可以从存储装置34中取回所请求的媒体片段。在该存储装置中，还可以在从服务器20发送到客户端10的其他信号中存储其他信息，诸如媒体呈现描述或其部分。
[0037]
如图1中所示，服务器20可以可选地另外包括流修改器38，该流修改器38响应于来自客户端10的请求，修改从服务器20发送到客户端10的媒体片段，以便在客户端10处产生媒体数据流，该媒体数据流形成由一个相关联的解码器可解码的单个媒体流，尽管例如客户端10以这种方式检索的媒体片段实际上是从几个媒体流聚集的。然而，这样的流修改器38的存在是可选的。
[0038]
图1的客户端10被示例性地描绘为包括客户端设备或控制器40或多个解码器42和重投影器44。客户端设备40可以是适当编程的计算机、微处理器、诸如fpga或专用集成电路等编程的硬件设备。客户端设备40承担从服务器20处提供的多个媒体片段46之中选择要从服务器20检索的片段的责任。为此，客户端设备40首先从服务器20检索清单或媒体呈现描述。从服务器20，客户端设备40获得用于计算多个媒体片段46之中的媒体片段的地址的计算规则，这些媒体片段对应于空间场景30的某些所需的空间部分。客户端设备40通过向服务器20发送相应的请求，从服务器20检索如此选择的媒体片段。这些请求包含计算的地址。
[0039]
客户端设备40如此检索的媒体片段被后者转发到一个或多个解码器42进行解码。在图1的示例中，对于每个时间单位，如此检索和解码的媒体片段仅表示时变空间场景30之中的空间区段48，但是如上面已经指出的，这可以根据其他方面而不同，其中例如要呈现的视图区段28持续覆盖整个场景。重投影器44可以可选地在所选择的、检索的和解码的媒体片段的检索和解码场景内容之中重投影和剪切出要向用户显示的视图区段28。为此，如图1中所示，客户端设备40可以例如响应于来自传感器32的用户取向数据来持续跟踪和更新视图区段28的空间位置，并且例如向重投影器44通知场景区段28的该当前空间位置以及将被应用到检索和解码的媒体内容上以便被映射到形成视图区段28的区域上的重投影映射。因此，重投影器44可以将映射和插值应用到例如要在显示器26上显示的规则的像素网格上。
[0040]
图1图示了已经使用立方映射将空间场景30映射到铺块50上的情况。因此，铺块被描绘为立方体的矩形子区域，具有球体形式的场景30已经被投影到该立方体上。重投影器44反转该投影。然而，也可以应用其他示例。例如，可以使用到截棱锥或没有被截的棱锥上的投影来代替立方投影。此外，尽管图1的铺块被描绘为在空间场景30的覆盖方面不重叠，但是细分成铺块可能涉及相互的铺块重叠。并且如将在下面更详细概述的，如下面进一步解释的，将场景30在空间上细分成铺块50、其中每个铺块形成一个表示也不是强制性的。
[0041]
因此，如图1中描绘的，整个空间场景30在空间上被细分成铺块50。在图1的示例中，立方体的六个面中的每个都被细分成4个铺块。出于说明的目的，枚举了铺块。对于每个铺块50，服务器20提供如图1中描绘的视频52。更精确地，服务器20甚至为每个铺块50提供多于一个的视频52，这些视频在质量q#方面不同。更进一步，视频52在时间上被细分成时间
片段54。所有铺块t#的所有视频52的时间片段54分别形成或被编码到存储在服务器20的存储装置34中的多个媒体片段46的媒体片段之一中。
[0042]
再次强调的是，即使是图1中图示的基于铺块的流式传输的示例也仅仅形成了一个示例，许多与该示例的偏离是可能的。例如，尽管图1似乎暗示了与较高质量下的场景30的表示有关的媒体片段涉及与具有以质量q1编码到其中的场景30的媒体片段所属的铺块相一致的铺块，但是这种一致不是必须的，并且不同质量的铺块甚至可以对应于场景30的不同投影的铺块。此外，尽管到目前为止还没有讨论，但是对应于图1中描绘的不同质量水平的媒体片段可能在空间分辨率和/或信噪比和/或时间分辨率等方面不同。
[0043]
最后，与基于铺块的流式传输概念——根据基于铺块的流式传输概念，可以由设备40从服务器20单独检索的媒体片段与场景30在空间上被细分成的铺块50相关——不同，在服务器20处提供的媒体片段可以替换地，例如，每个具有以空间上变化的采样分辨率以空间上完整的方式编码到其中的场景30，然而，在场景30中的不同空间位置处具有最大采样分辨率。例如，这可以通过在服务器20处提供与场景30在截棱锥上的投影相关的片段54的序列来实现，该截棱锥的截尖端将向互相不同的方向取向，从而导致不同取向的分辨率峰值。
[0044]
此外，关于可选地存在的流修改器38，应注意，流修改器38可以替换地是客户端10的部分，或者流修改器38甚至可以定位在客户端10和服务器20经由其交换本文描述的信号的网络设备内在客户端10和服务器20之间。
[0045]
存在某些基于视频的应用，其中多个编码的视频比特流将被联合解码，即被合并成联合比特流并被馈送到单个解码器中，诸如：
·
多方会议：其中来自多个参与者的编码视频流在单个端点上进行处理
·
或者基于铺块的流式传输：例如用于vr应用中的360度平铺视频回放在后者中，360度视频在空间上被分割，并且每个空间片段以不同空间分辨率的多个表示被提供给流式传输客户端，如图2中图示的。图2（a）示出了高分辨率铺块，并且图2（b）示出了低分辨率铺块。图2、即图2（a）和（b）示出了以两种分辨率被划分成6
×
4空间片段的立方体图投影360度视频。为简单起见，这些独立的可解码空间片段在本说明书中被称为铺块。
[0046]
当使用现有技术的头戴式显示器时，用户通常通过表示90
×
90度视野的立体视口边界80仅观看构成整个360度视频的铺块的子集，如图3（a）中图示的。对应的铺块在图（b）中由附图标记82指示，以最高分辨率被下载。
[0047]
然而，客户端应用还将必须下载和解码当前视口之外的其他铺块的表示，如图3（c）中的附图标记84所指示，以便处理用户的突然取向改变。如图3（c）中所指示，这样的应用中的客户端将因此以最高分辨率下载覆盖其当前视口的铺块，并以相对较低的分辨率下载其当前视口之外的铺块，同时铺块分辨率的选择不断适应用户的取向。在客户端侧下载之后，将下载的铺块合并到单个比特流中以用单个解码器进行处理是解决具有有限计算和功率资源的典型移动设备的约束的手段。图4图示了上述示例的联合比特流中可能的铺块布置。生成联合比特流的合并操作必须通过压缩域处理来实行，即，避免通过代码转换对像素域进行处理。
[0048]
虽然来自图4的示例图示了所有铺块（高分辨率和低分辨率）覆盖整个360度空间
并且没有铺块重复覆盖相同区域的情况，但是也可以如图5中描绘那样使用另一铺块分组。它将视频的整个低分辨率部分定义为“低分辨率回退”层，如图5（b）中所指示，其可以与覆盖360度视频子集的图5（a）的高分辨率铺块合并。如图5（c）中所指示，整个低分辨率回退视频可以被编码为单个铺块，而高分辨率铺块在渲染过程的最后阶段被渲染为视频的低分辨率部分的叠加。
[0049]
如图6中所图示，客户端通过下载所有期望的铺块轨道，根据他的铺块选择开始流式传输会话，其中客户端从由在图6（a）中的附图标记90指示的铺块0和由附图标记92指示的铺块1开始会话。每当发生视口改变时（即，用户将他的头转变以看向另一个方向），在下一个发生的时间片段改变铺块选择，即，由图6（a）中的附图标记94指示的铺块0和铺块2，并且在下一个可用片段，客户端改变铺块2的位置并用铺块1替换铺块0，如图6（b）中所指示。重要的是要注意，对于任何新的铺块选择和铺块的位置改变，所有的片段都需要以idr（瞬时解码器刷新）图片——即预测链重置图片开始，否则将引起预测失配、伪像和漂移。
[0050]
就比特率而言，在idr图片的情况下编码每个片段是高成本的。片段潜在地可以在持续时间上非常短，例如，以快速对取向改变做出反应，这就是为什么编码具有变化的idr（或rap：随机访问点）周期的多个变体是合期望的，如图7中图示的。例如，如图7（b）中所指示，在时间实例t1，没有理由中断铺块0的预测链，因为铺块0已经在时间实例t0被下载并且被放置在相同的位置，这就是为什么客户端可以选择不以服务器处可用的rap开始的片段。
[0051]
然而，仍然存在的一个问题是，编码图片内的切片（铺块）要服从某些约束。它们中的一个是图片不能同时包含rap和非rap nal单元类型的nal（网络抽象层）单元。因此，对于应用来说，仅两个不太合期望的选项存在来解决上述问题。首先，客户端可以在rap图片与非rap nal单元合并成图片时重写所述rap图片的nal单元类型。第二，服务器可以从一开始就通过使用非rap来模糊这些图片的rap特性。然而，这阻碍了处理这些编码视频的系统中的rap特性的检测，例如对于文件格式封装。
[0052]
本发明是一种nal单元类型映射，它允许通过可容易重写的语法结构将一个nal单元类型映射到另一个nal单元类型。
[0053]
在本发明的一个实施例中，nal单元类型被指定为可映射的，并且所映射的类型在参数集中被指定——例如如下基于vvc（通用视频编码）规范的草案6 v14——具有突出显示的编辑。
[0054]
图8示出了nal单元标头语法。语法nal_unit_type（即标识符100）指定了nal单元类型，即，如图9中指示的表中所指定的包含在nal单元中的rbsp（行字节序列有效载荷）数据结构的类型。
[0055]
变量nalunittype定义如下：当nal_unit_type != map_nutnalunittype等于nal_unit_type否则（nal_unit_type == map_nut）nalunittype等于mapped_nut
[0056]
该规范中对语法元素nal_unit_type的所有引用都被替换为对变量nalunittype的引用，如例如在以下约束中：对于图片的所有编码的切片nal单元，nalunittype的值应是相同的。图片或层访
问单元被称为具有与图片或层访问单元的编码切片nal单元相同的nal单元类型。即，如图9中所描绘的，编码单元类型的第一子集102指示“nal_unit_type”12，即“map_nut”和“vcl”作为nal单元类型类。因此，编码单元类型的第二子集104将“vcl”指示为nal单元类型类，即，如标识符100的数字0到15指示的图片的所有编码的切片nal单元具有与编码单元类型的第一子集102的编码单元类型相同的nal单元类型类，即vcl。
[0057]
图10示出了包括mapped_nut的序列参数集rbsp语法，如参考符号106所指示的，其指示具有的nal_unit_type等于map_nut的nal单元的nalunittype。
[0058]
在另一个实施例中，mapped_nut语法元素被携带在访问单元定界符aud中。
[0059]
在另一个实施例中，比特流一致性的要求是mapped_nut的值必须是vcl nal单元类型。
[0060]
在另一个实施例中，具有的nal_unit_type等于map_nut的nal单元的nalunittype的映射由简档信息实行。这样的机制可以允许具有多于一个可映射的nal单元类型，而不是具有单个map_nut，并且在简单的简档机制或单个语法元素mapped_nut_space_idc内指示可映射nal单元的nalunittypes的所需解释。
[0061]
在另一个实施例中，映射机制用于扩展当前限制为32的nalunittypes的值范围（因为它是u（5），如例如图10中所指示）。映射机制可以指示任何无限制的值，只要所需的nalunittypes的数量不超过为可映射的nal单元保留的值的数量。
[0062]
在一个实施例中，当图片同时包含替代编码单元类型的切片和常规编码单元类型的切片（例如，vcl类别的现有nal单元）时，以导致图片的所有切片实际上具有相同编码单元类型属性的方式来实行映射，即，替代编码单元类型等于常规编码类型的非替代切片的编码单元类型。此外，上述实施例仅适用于具有随机存取属性的图片或不具有随机存取属性的图片。
[0063]
除了所描述的关于合并场景中的nal单元类型和nal单元类型可扩展性以及对应解决方案的问题之外，还存在几种视频应用，其中系统集成和传输或操纵需要与视频相关的信息以及视频是如何被编码的，诸如实时适配。
[0064]
在过去的几年内，已经建立了一些通用信息，所述信息在工业中被广泛使用，并且被明确规定，并且为此类目的使用了特定的比特值。其示例有：
·
nal单元标头处的临时id
·
nal单元类型，包括idr，cra，trail，
…
或sps（序列参数集），pps（图片参数集）等。
[0065]
然而，存在几个情景，其中附加信息可以有帮助。另外类型的nal单元没有被广泛使用，但是在一些情况下发现了某种有用性，例如bla、用于子图片的部分rap nal单元、子层非参考nal单元等。如果使用上述可扩展性机制，可以实现那些nal单元类型中的一些。然而，另一替代方案是在切片标头内使用一些字段。
[0066]
过去，附加信息被保留在用于指示切片的特定特性的切片标头处：
·
可丢弃旗标：指定编码图片不被用作间预测（inter prediction）的参考图片，并且不被用作层间预测的源图片。
[0067]
·
cross_layer_bla_flag：影响分层编码的输出图片的导出，其中在较高层的rap之前的图片可能不被输出。
[0068]
可以为即将到来的视频编解码器标准设想类似的机制。然而，那些机制的一个限制是，所定义的旗标占据了切片标头内的特定位置。在下文中，那些旗标在hevc中的使用在图11中示出。
[0069]
如以上所见，这样的解决方案的问题在于，额外的切片标头比特的位置是渐进分配的，并且对于使用更少信息的应用来说，旗标将可能出现在较后的位置，从而增加了需要在额外比特中发送的比特数（例如，在hevc的情况下为“discardable_flag”和“cross_layer_bla_flag”）。
[0070]
替换地，遵循针对nal单元类型所描述的类似机制，可以在参数集处定义切片标头中的额外切片标头比特中的旗标的映射。示例如图12所示。
[0071]
图12示出了包括使用“extra_slice_header_bits_mapping_space_idc”来指示关联信息的映射的序列参数集的示例，即，如参考符号200所指示的映射，其指示切片标头中的额外比特的映射空间。
[0072]
图13示出了由图12的“extra_slice_header_bits_mapping_space_idc”200指示的比特到旗标存在的映射。如图13中描绘的，二进制特性202以在预定视频编码单元中的对应数据的情况下冗余的方式进行描述。在图13中，描绘了三个二进制特性202，即“0”、“1”和“2”。二进制特性的数量可以取决于旗标的数量而变化。
[0073]
在另一个实施例中，在语法结构（例如，如图14中描绘）中实行该映射，该语法结构指示在切片标头中的额外比特中存在语法元素（例如，如图11中描绘）。也就是说，例如，如图11中描绘，存在旗标上的条件控制切片标头中的额外比特中的语法元素的存在，即“num_extra_slice_header_bits＞i”和“i《num_extra_slice_header_bits; i ”。在图11中，如上面解释的，额外比特中的每个语法元素被放置在切片标头中的特定位置，然而，在该实施例中，例如“discardable_flag”、“cross_layer_bla_flag”或“slice_reserved_flag[i]”之类的语法元素不必占据该特定位置。取而代之，当第一语法元素（例如，图11中的“discardable_flag”）在检查特定存在旗标（例如，图14中的“discardable_flag_present_flag”）的值上的条件时被指示为不存在时，随后的第二语法元素在存在时占用第一语法元素在切片标头中的位置。此外，通过指示例如“sps_extra_ph_bit_present_flag [i]”之类的旗标，额外比特中的语法元素可以存在于图片标头中。此外，语法结构（例如，语法元素的数量，即，呈现的旗标的数量）指示特定特性的存在/呈现或者额外比特中呈现的语法元素的数量。也就是说，在额外比特中呈现的特定特性或语法元素的数量通过计数呈现了多少语法元素（旗标）来指示。在图14中，每个语法元素的存在由旗标210指示。也就是说，210中的每个旗标指示预定视频编码单元的特定特性的切片标头指示的存在。此外，如图14中所指示的并且对应于图11的切片标头中的“slice_reserved_flag[i]”语法元素的另外语法“[
…
]//further flags”被用作指示额外比特中的语法元素的存在/呈现的占位符，或者被用作另外的旗标的存在/呈现的指示。
[0074]
在另一个实施例中，如例如图15中所示，旗标类型映射是针对参数集中的每个额外的切片标头比特来发信号通知的。如图15中所指示，语法“extra_slice_header_bit_mapping_idc”（即映射200）在序列参数集中用信号通知，并指示映射特性的位置。
[0075]
图16示出了由图15的“extra_slice_header_bits_mapping_space_idc”指示的比特到旗标存在的映射。也就是说，在图16中描绘了对应于图15中所指示的映射200的二进制
特性202。
[0076]
在另一个实施例中，切片标头扩展比特由表示某个旗标值组合的idc信令替换，例如，如图17中所示。如图17中描绘的，映射200（即“extra_slice_header_bit_idc”）被指示在切片片段标头中，即，映射200指示如图18中所示的特性的存在。
[0077]
图18示出了由“extra_slice_header_bit_idc”的某个值表示的旗标值（即二进制特性202）或者在参数集中用信号通知，或者在规范中预定义（已知先验）。
[0078]
在一个实施例中，“extra_slice_header_bit_idc”的值空间（即映射200的值空间）被划分成两个范围。一个范围表示先验已知的旗标值组合，并且一个范围表示参数集中用信号通知的旗标值组合。
[0079]
尽管已经在装置的上下文中描述了一些方面，但是清楚的是，这些方面也表示对应方法的描述，其中块或设备对应于方法步骤或方法步骤的特性。类似地，在方法步骤的上下文中描述的方面也表示对应装置的对应块或项目或特性的描述。一些或所有方法步骤可以通过（或使用）硬件装置来执行，例如像微处理器、可编程计算机或电子电路。在一些实施例中，一个或多个最重要的方法步骤可以由这样的装置执行。
[0080]
本发明的数据流可以存储在数字存储介质上，或者可以在传输介质上传输，诸如无线传输介质或有线传输介质，诸如因特网。
[0081]
取决于某些实现要求，应用的实施例可以用硬件或软件来实现。可以使用其上存储有电子可读控制信号的数字存储介质（例如软盘、dvd、蓝光、cd、rom、prom、eprom、eeprom或闪存存储器）来执行该实现，该数字存储介质与可编程计算机系统协作（或能够与其协作），使得执行相应的方法。因此，数字存储介质可以是计算机可读的。
[0082]
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，该数据载体能够与可编程计算机系统协作，使得执行本文描述的方法之一。
[0083]
一般而言，本技术的实施例可以被实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，该程序代码可操作用于执行方法之一。例如，程序代码可以存储在机器可读载体上。
[0084]
其他实施例包括存储在机器可读载体上的用于执行本文描述的方法之一的计算机程序。
[0085]
换句话说，因此，本发明方法的实施例是一种计算机程序，该计算机程序具有程序代码，当该计算机程序在计算机上运行时，该程序代码用于执行本文描述的方法之一。
[0086]
因此，本发明方法的另外实施例是一种数据载体（或数字存储介质，或计算机可读介质），其包括记录在其上的用于执行本文描述的方法之一的计算机程序。数据载体、数字存储介质或记录介质通常是有形的和/或非过渡性的。
[0087]
因此，本发明方法的另外实施例是表示用于执行本文描述的方法之一的计算机程序的数据流或信号序列。数据流或信号序列可以例如被配置为经由数据通信连接、例如经由互联网来传送。
[0088]
另外的实施例包括处理装置，例如计算机或可编程逻辑器件，其被配置为或适于执行本文描述的方法之一。
[0089]
另外的实施例包括计算机，其上安装有用于执行本文描述的方法之一的计算机程序。
[0090]
根据本发明的另外实施例包括一种装置或系统，其被配置为将用于执行本文描述的方法之一的计算机程序传送（例如，电子地或光学地）到接收器。例如，接收器可以是计算机、移动设备、存储器设备等。该装置或系统可以例如包括用于将计算机程序传送到接收器的文件服务器。
[0091]
在一些实施例中，可编程逻辑器件（例如现场可编程门阵列）可以用于执行本文描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作，以便执行本文描述的方法之一。通常，所述方法优选地由任何硬件装置来执行。
[0092]
本文描述的装置可以使用硬件装置、或使用计算机、或使用硬件装置和计算机的组合来实现。
[0093]
本文描述的装置或本文描述的装置的任何组件可以至少部分地用硬件和/或软件来实现。
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
