多层视频流的补充增强信息的制作方法

多层视频流的补充增强信息
1.相关申请的交叉引用
2.根据适用的专利法和/或符合巴黎公约的规则，本技术是为了及时要求2020年9月29日提交的美国临时专利申请no.63/084,953的优先权和利益。出于根据法律的所有目的，前述申请的全部公开内容通过引用而并入作为本技术的公开内容的一部分。
技术领域
3.本专利文档涉及数字视频编解码技术，包括视频编码、转码或解码。


背景技术：

4.数字视频占互联网和其他数字通信网络上最大的带宽使用。随着能够接收和显示视频的连接用户设备的数量增加，预期数字视频使用的带宽需求将继续增长。


技术实现要素：

5.本文档公开了可以由视频编码器和解码器用于根据文件格式处理视频或图像的编解码表示的技术。
6.在一个示例方面，公开了一种处理视觉媒体数据的方法。该方法包括：根据格式规则执行在视觉媒体数据和视觉媒体数据的包括多层的比特流之间的转换；其中，所述格式规则规定补充增强信息(sei)消息被包括在比特流中，以指示允许解码器解码1)与sei消息相关联的层中的依赖随机访问点(drap)图片和/或2)包括在该层中并且按照解码顺序和输出顺序在drap图片之后的图片，而不必解码该层中除了与drap图片相关联的帧内随机访问点(irap)图片之外的其他图片。
7.在另一个示例方面，公开了另一种处理视觉媒体数据的方法。该方法包括：根据格式规则执行在视觉媒体数据和视觉媒体数据的比特流之间的转换，其中，格式规则规定不同于第一类型的补充增强信息(sei)消息的第二类型的sei消息是否以及如何被包括在比特流中，并且其中，第一类型的sei消息和第二类型的sei消息分别指示第一类型的依赖随机访问点(drap)图片和第二类型的drap图片。
8.在另一个示例方面，公开了另一种处理视觉媒体数据的方法。该方法包括：根据格式规则执行在视觉媒体数据和视觉媒体数据的比特流之间的转换，其中，格式规则规定指代依赖随机访问点(drap)图片的补充增强信息(sei)消息被包括在比特流中，并且其中，格式规则还规定sei消息包括语法元素，该语法元素指示在与依赖随机访问点(drap)图片相同的编解码层视频序列(clvs)内的帧内随机访问点(irap)图片或drap图片的数量。
9.在又一示例方面，公开了一种视频处理装置。该视频处理装置包括被配置为实施上述方法的处理器。
10.在又一示例方面，公开了一种将视觉媒体数据存储到包括一个或多个比特流的文件中的方法。该方法对应于上述方法，并且还包括将一个或多个比特流存储到非暂时性计算机可读记录介质。
11.在又一示例方面，公开了一种存储比特流的计算机可读介质。根据上述方法生成比特流。
12.在又一示例方面，公开了一种存储比特流的视频处理装置，其中，该视频处理装置被配置为实施上述方法。
13.在又一示例方面，公开了一种计算机可读介质，在该计算机可读介质上，比特流符合根据上述方法生成的文件格式。
14.贯穿本文档描述了这些以及其他特征。
附图说明
15.图1是示例视频处理系统的框图。
16.图2是视频处理装置的框图。
17.图3是视频处理的示例方法的流程图。
18.图4是示出根据本公开的一些实施例的视频编解码系统的框图。
19.图5是示出根据本公开的一些实施例的编码器的框图。
20.图6是示出根据本公开的一些实施例的解码器的框图。
21.图7至图9是基于所公开技术的一些实施例的处理视觉媒体数据的示例方法的流程图。
具体实施方式
22.为了便于理解，在本文档中使用了章节标题，并且不将每个章节中公开的技术和实施例的适用性仅限于该章节。此外，在一些描述中使用h.266术语仅仅是为了便于理解，而不是为了限制所公开的技术的范围。这样，本文描述的技术也适用于其他视频编解码器协议和设计。在本文档中，相对于vvc规范的当前草案，通过指示删除文本的删除线和指示添加文本的突出显示(包括粗体斜体)来示出对文本的编辑改变。
23.1.初步讨论
24.本文档涉及视频编解码技术。具体地，本文档涉及基于补充增强信息(sei)消息的视频编解码中对跨随机访问点(rap)参考的支持。这些思想可以单独或以各种组合的方式应用于任何视频编解码标准或非标准视频编解码器，例如最近定稿的通用视频编解码(vvc)。
25.2.缩写
26.act
ꢀꢀꢀꢀ
自适应颜色变换
27.alf
ꢀꢀꢀꢀ
自适应环路滤波器
28.amvr
ꢀꢀꢀ
自适应运动矢量分辨率
29.aps
ꢀꢀꢀꢀ
自适应参数集
30.au
ꢀꢀꢀꢀꢀ
访问单元
31.aud
ꢀꢀꢀꢀ
访问单元分割符
32.avc
ꢀꢀꢀꢀ
高级视频编解码(rec.itu-t h.264|iso/iec 14496-10)
33.b
ꢀꢀꢀꢀꢀꢀ
双向预测
34.bcw
ꢀꢀꢀꢀ
带有cu级别权重的双向预测
35.bdof
ꢀꢀꢀ
双向光流
36.bdpcm
ꢀꢀ
基于块的增量脉冲编解码调制
37.bp
ꢀꢀꢀꢀꢀ
缓冲时段
38.cabac
ꢀꢀ
基于上下文的自适应二进制算术编解码
39.cb
ꢀꢀꢀꢀꢀ
编解码块
40.cbr
ꢀꢀꢀꢀ
恒定比特率
41.ccalf
ꢀꢀ
跨分量自适应环路滤波器
42.clvs
ꢀꢀꢀ
编解码层视频序列
43.clvss
ꢀꢀ
编解码层视频序列开始
44.cpb
ꢀꢀꢀꢀ
编解码图片缓冲区
45.cra
ꢀꢀꢀꢀ
干净随机访问(clean random access)
46.crc
ꢀꢀꢀꢀ
循环冗余校验
47.ctb
ꢀꢀꢀꢀ
编解码树块
48.ctu
ꢀꢀꢀꢀ
编解码树单元
49.cu
ꢀꢀꢀꢀꢀ
编解码单元
50.cvs
ꢀꢀꢀꢀ
编解码视频序列
51.cvss
ꢀꢀꢀ
编解码视频序列起始
52.dpb
ꢀꢀꢀꢀ
解码图片缓冲区
53.dci
ꢀꢀꢀꢀ
解码能力信息
54.drap
ꢀꢀꢀ
依赖随机访问点
55.du
ꢀꢀꢀꢀꢀ
解码单元
56.dui
ꢀꢀꢀꢀ
解码单元信息
57.eg
ꢀꢀꢀꢀꢀ
指数哥伦布(golomb)
58.egk
ꢀꢀꢀꢀ
k阶指数哥伦布
59.eob
ꢀꢀꢀꢀ
比特流结束
60.eos
ꢀꢀꢀꢀ
序列结束
61.fd
ꢀꢀꢀꢀꢀ
填充数据
62.fifo
ꢀꢀꢀ
先进先出
63.fl
ꢀꢀꢀꢀꢀ
固定长度
64.gbr
ꢀꢀꢀꢀ
绿色、蓝色和红色
65.gci
ꢀꢀꢀꢀ
一般约束信息
66.gdr
ꢀꢀꢀꢀ
逐渐解码刷新
67.gpm
ꢀꢀꢀꢀ
几何分割模式
68.hevc
ꢀꢀꢀ
高效视频编解码(rec.itu-t h.265|iso/iec 23008-2)
69.hrd
ꢀꢀꢀꢀ
假设参考解码器
70.hss
ꢀꢀꢀꢀ
假设流调度器
71.i
ꢀꢀꢀꢀꢀꢀ
帧内
72.ibc
ꢀꢀꢀꢀ
帧内块复制
73.idr
ꢀꢀꢀꢀ
即时解码刷新
74.ilrp
ꢀꢀꢀ
层间参考图片
75.irap
ꢀꢀꢀ
帧内随机访问点
76.lfnst
ꢀꢀ
低频不可分变换
77.lps
ꢀꢀꢀꢀ
最不可能符号
78.lsb
ꢀꢀꢀꢀ
最低有效位
79.ltrp
ꢀꢀꢀ
长期参考图片
80.lmcs
ꢀꢀꢀ
带有色度缩放的亮度映射
81.mip
ꢀꢀꢀꢀ
基于矩阵的帧内预测
82.mps
ꢀꢀꢀꢀ
最大可能符号
83.msb
ꢀꢀꢀꢀ
最高有效位
84.mts
ꢀꢀꢀꢀ
多变换选择
85.mvp
ꢀꢀꢀꢀ
运动矢量预测
86.nal
ꢀꢀꢀꢀ
网络抽象层
87.ols
ꢀꢀꢀꢀ
输出层集
88.op
ꢀꢀꢀꢀꢀ
操作点
89.opi
ꢀꢀꢀꢀ
操作点信息
90.p
ꢀꢀꢀꢀꢀꢀ
预测
91.ph
ꢀꢀꢀꢀꢀ
图片头
92.poc
ꢀꢀꢀꢀ
图片顺序计数
93.pps
ꢀꢀꢀꢀ
图片参数集
94.prof
ꢀꢀꢀ
利用光流的预测细化
95.pt
ꢀꢀꢀꢀꢀ
图片时序
96.pu
ꢀꢀꢀꢀꢀ
图片单元
97.qp
ꢀꢀꢀꢀꢀ
量化参数
98.radl
ꢀꢀꢀ
随机访问可解码引导(图片)
99.rap
ꢀꢀꢀꢀ
随机访问点
100.rasl
ꢀꢀꢀ
随机访问跳过引导(图片)
101.rbsp
ꢀꢀꢀ
原始字节序列有效载荷
102.rgb
ꢀꢀꢀꢀ
红色、绿色和蓝色
103.rpl
ꢀꢀꢀꢀ
参考图片列表
104.sao
ꢀꢀꢀꢀ
样点自适应偏移
105.sar
ꢀꢀꢀꢀ
样点宽高比
106.sei
ꢀꢀꢀꢀ
补充增强信息
107.sh
ꢀꢀꢀꢀꢀ
条带头
108.sli
ꢀꢀꢀꢀ
子图片级别信息
109.sodb
ꢀꢀꢀ
数据位串
110.sps
ꢀꢀꢀꢀ
序列参数集
111.strp
ꢀꢀꢀ
短期参考图片
112.stsa
ꢀꢀꢀ
逐步时域子层访问
113.tr
ꢀꢀꢀꢀꢀ
截断莱斯(truncated rice)
114.tu
ꢀꢀꢀꢀꢀ
变换单元
115.vbr
ꢀꢀꢀꢀ
可变比特率
116.vcl
ꢀꢀꢀꢀ
视频编解码层
117.vps
ꢀꢀꢀꢀ
视频参数集
118.vsei
ꢀꢀꢀ
通用补充增强信息(rec.itu-t h.274|iso/iec 23002-7)
119.vui
ꢀꢀꢀꢀ
视频可用性信息
120.vvc
ꢀꢀꢀꢀ
通用视频编解码(rec.itu-t h.266|iso/iec 23090-3)
121.3.视频编解码介绍
122.3.1.视频编解码标准
123.视频编解码标准已经主要通过众所周知的itu-t和iso/iec标准的开发而演变。itu-t制定了h.261和h.263，iso/iec制定了mpeg-1和mpeg-4 visual，并且这两个组织联合制定了h.262/mpeg-2视频和h.264/mpeg-4高级视频编解码(avc)和h.265/hevc标准。自h.262以来，视频编解码标准基于混合视频编解码结构，其中利用了时域预测加变换编解码。为了探索超越hevc的未来视频编解码技术，由vceg和mpeg在2015年联合创立了联合视频探索小组(jvet)。此后，许多新的方法已经被jvet采用，并被放入名为联合探索模型(jem)的参考软件中。当通用视频编解码(vvc)项目正式启动时，jvet后来被重命名为联合视频专家小组(jvet)。vvc是已经由jvet在2020年7月1日结束的第19次会议上最终确定的新编解码标准，其目标是与hevc相比降低50％的比特率。
124.通用视频编解码(vvc)标准(itu-t h.266|iso/iec 23090-3)和相关联的通用补充增强信息(vsei)标准(itu-t h.274|iso/iec 23002-7)已经被设计用于最广泛范围的应用，包括传统用途(诸如电视广播、视频会议或从存储介质回放)以及更新和更高级的用例(诸如自适应比特率流式传输、视频区域提取、来自多个编解码视频比特流的内容的合成和合并、多视图视频、可缩放分层编解码和视口自适应360
°
沉浸式媒体)。
125.3.2.hevc和vvc中的图片顺序计数(poc)
126.在hevc和vvc，在解码过程的许多部分，包括dpb管理，其中一部分是参考图片管理，poc基本上用作图片的标识的图片id。
127.对于新引入的ph，在vvc中，poc最低有效位(lsb)的信息是在ph中信令通知的，与hevc不同，在hevc中，它是在sh中信令通知的，该lsb用于推导poc值，并且对于图片的所有条带具有相同的值。vvc还允许信令通知ph中的poc最高有效位(msb)周期值，以启用对poc值的推导，而不跟踪poc msb，这依赖于早期解码图片的poc信息。例如，这允许在多层比特流中au内混合irap和非irap。hevc和vvc的poc信令之间的额外区别是，在hevc中，没有为idr图片信令通知poc lsb，这使得在hevc的多层扩展的后期开发期间示出一些缺点，以便能够在au内混合idr和非idr图片。因此，在vvc中，为每一个图片信令通知poc lsb信息，包括idr图片。idr图片的poc lsb信息的信令通知还使得支持将来自不同比特流的idr图片和非idr图片合并成一个图片变得更容易，否则处理合并图片中的poc lsb将需要一些复杂的设计。
128.3.3.hevc和vvc的随机访问及其支持
129.随机访问是指从按照解码顺序不是比特流的第一个图片的图片开始访问和解码
比特流。为了支持广播/多播和多方视频会议中的调谐和频道切换、本地回放和流式传输中的搜索以及流式传输中的流适配，比特流需要包括频繁的随机访问点，这些随机访问点通常是帧内编解码的图片，但也可以是帧间编解码的图片(例如，在逐渐解码刷新的情况下)。
130.hevc通过nal单元类型，包括对nal单元头中的帧内随机访问点(irap)图片的信令通知。支持三种类型的irap图片，即瞬时解码器刷新(idr)、干净随机访问(cra)和断链访问(bla)图片。idr图片约束图片间预测结构不引用当前图片组(gop)之前的任何图片，传统上称为封闭式gop随机访问点。通过允许某些图片参考当前gop之前的图片，cra图片的限制较少，在随机访问的情况下，所有图片都被丢弃。cra图片传统上称为开放式gop随机访问点。bla图片通常源自两个比特流或其一部分在cra图片处的剪接(splicing)，例如在流切换期间。为了使系统能够更好地使用irap图片，总共定义了六个不同的nal单元来信令通知irap图片的属性，这些属性可用于更好地匹配iso基媒体文件格式(isobmff)中定义的流访问点类型，这用于支持http的动态自适应流式传输(dash)。
131.vvc支持三种类型的irap图片，两种类型的idr图片(一种类型有或另一种类型没有关联的radl图片)和一种类型的cra图片。这些与hevc中基本相同。vvc不包括hevc中的bla图片类型，主要有两个原因：i)bla图片的基本功能可以通过cra图片加上序列结束nal单元来实现，它的存在指示后续图片在单层比特流中开始新的cvs；ii)在开发vvc期间，期望指定比hevc更少的nal单元类型，nal单元头中nal单元类型字段使用五位而不是六位就指示了这一点。
132.vvc和hevc在随机访问支持方面的另一个关键区别是：在vvc中gdr的支持是以更规范的方式。在gdr中，比特流的解码可以从帧间编解码的图片开始，并且尽管在开始时不是整个图片区域可以被正确解码，但是在若干图片之后，整个图片区域将是正确的。avc和hevc也支持gdr，为gdr随机访问点和恢复点的信令通知使用恢复点sei消息。在vvc中，新的nal单元类型被指定用于指示gdr图片，并且恢复点在图片头语法结构中被信令通知。允许cvs和比特流从gdr图片开始。这意味着允许整个比特流仅包含帧间编解码图片，而没有单个帧内编解码图片。以这种方式指定gdr支持的主要好处是为gdr提供了一致性行为。gdr使编码器能够通过在多个图片中分布帧内编解码的条带或块来平滑比特流的比特率，而不是对整个图片进行帧内编解码，从而显著降低端到端延迟，随着无线显示、在线游戏、基于无人机的应用变得越来越流行，这在当今被认为比以前更重要。
133.在vvc中另一个与gdr相关的特征是虚拟边界信令通知。在gdr图片和其恢复点之间的图片上，刷新区域(即正确解码的区域)和未刷新区域之间的边界可以被信令通知为虚拟边界，并且当信令通知时，将不会应用跨边界的环内滤波，因此不会出现边界处或边界附近的一些样点的解码失配。当应用程序确定在gdr过程期间显示正确解码的区域时，这可能很有用。
134.irap图片和gdr图片可以统称为随机访问点(rap)图片。
135.3.4.vui和sei消息
136.vui是作为sps的一部分发送的语法结构(也可能在hevc的vps中)。vui携带的信息不会影响规范的解码过程，但该信息对于正确渲染编解码的视频可能很重要。
137.sei协助与解码、显示或其他目的相关的过程。和vui一样，sei也不影响规范的解码过程。在sei消息中携带sei。sei消息的解码器支持是可选的。然而，sei消息确实影响比
特流一致性(例如，如果比特流中sei消息的语法不符合规范，则比特流是不一致的)，并且在hrd规范中需要一些sei消息。
138.与vvc一起使用的vui语法结构和大多数sei消息没有在vvc规范中规定，而是在vsei规范中规定。vvc规范中规定了hrd一致性测试所需的sei信息。vvc v1定义了5个与hrd一致性测试相关的sei消息，并且vsei v1规定了20个附加的sei消息。vsei规范中携带的sei消息不会直接影响一致的解码器行为并且已经被定义，因此它们可以以编解码格式不可知的方式使用，允许vsei将来与vvc之外的其他视频编解码标准一起使用。vsei规范不是具体指代vvc语法元素名称，而是指代变量，其值是在vvc规范中设置的。
139.与hevc相比，vvc的vui语法结构仅关注与图片的正确渲染相关的信息，而不包含任何定时信息或比特流限制指示。在vvc中，在sps中信令通知vui，sps在vui语法结构之前包含一个长度字段，信令通知以字节为单位的vui有效负载的长度。这使得解码器能够容易地跳过信息，更重要的是，通过以类似于sei消息语法扩展的方式，直接向vui语法结构的末尾添加新的语法元素，从而允许方便的未来vui语法扩展。
140.vui语法结构包含以下信息:
141.·
内容是隔行或逐行的；
142.·
内容是否包含帧打包立体视频或投影全向视频；
143.·
样点宽高比；
144.·
内容是否适合过扫描显示；
145.·
颜色描述，包括原色、矩阵和传输特性，这对于能够信令通知超高清(uhd)和高清(hd)颜色空间以及高动态范围(hdr)尤为重要；
146.·
与亮度相比的色度位置(与hevc相比，为渐进内容澄清信令通知)。
147.当sps不包含任何vui时，该信息被认为是未规定的，并且如果比特流的内容意图呈现在显示器上，则必须通过外部手段传送或由应用程序指定该信息。
148.表1列出了为vvc v1规定的所有sei消息，以及包含它们的语法和语义的规范。在vsei规范中规定的20个sei消息中，许多是从hevc继承的(例如，填充有效载荷和用户数据sei消息)。一些sei消息对于编解码视频内容的正确处理或呈现至关重要。例如，这是主要显示器颜色体积、内容光级信息或与hdr内容特别相关的替代传输特性sei消息的情况。其他示例包括球面(equirectangular)投影、球体旋转、区域打包或全向视口sei消息，这些消息与360
°
视频内容的信令通知和处理相关。
149.表1:vvc v1中的sei消息列表
150.[0151][0152]
为vvc v1规定的新sei消息包括帧-场信息sei消息、样点宽高比信息sei消息和子图片级别信息sei消息。
[0153]
帧-场信息sei消息包含指示关联图片应该如何显示的信息(例如场奇偶校验或帧重复周期)、关联图片的源扫描类型以及关联图片是否是先前图片的副本。在先前的视频编解码标准中，该信息与关联图片的定时信息一起可以用于在图片定时sei消息中信令通知。然而，观察到帧-场信息和定时信息是两种不同的信息，它们不一定一起信令通知。一个典型的示例是在系统级信令通知定时信息，但在比特流中信令通知帧-场信息。因此，决定从图片定时sei消息中移除帧-场信息，并改为在专用sei消息中信令通知它。这一改变还使得可以修改帧-场信息的语法以向显示器传达额外的且更清晰的指令，例如将场配对在一起，或者帧重复的更多值。
[0154]
样点宽高比sei消息能够为同一序列内的不同图片信令通知不同的样点宽高比，而vui中包含的相应信息应用于整个序列。当使用具有缩放因子的参考图片重采样功能时，这可能会导致同一序列的不同图片具有不同的样点宽高比。
[0155]
子图片级别信息sei消息提供子图片序列的级别信息。
[0156]
3.5.跨rap参考
[0157]
jvet-m0360、jvet-n0119、jvet-o0149和jvet-p0114中提出了一种基于跨rap参考(crr)的视频编解码方法，也称为外部解码刷新(edr)。
[0158]
这种视频编解码方法的基本思想如下。不是将随机访问点编解码为帧内编解码的irap图片(除了比特流中的第一个图片)，而是使用帧间预测对它们进行编解码，以克服如果将随机访问点编解码为irap图片时早期图片的不可用性。技巧在于通过单独的视频比特流提供有限数量的早期图片，通常表示视频内容的不同场景，该视频比特流可以被称为外部装置。这种早期图片被称为外部图片。因此，每个外部图片可以被跨随机访问点的图片用于帧间预测参考。编解码效率增益来自于将随机访问点编解码为帧间预测图片，并且对于按照解码顺序在edr图片之后的图片具有更多可用的参考图片。
[0159]
如下所述，用这种视频编解码方法编解码的比特流可以用在基于isobmff和dash的应用中。
[0160]
dash内容准备操作
[0161]
1)视频内容被编码成一个或多个表示，每个表示具有特定的空域分辨率、时域分辨率和质量。
[0162]
2)视频内容的每个特定表示由主流表示，也可以由外部流表示。主流包含编解码图片，该编解码图片可以包含或可以不包含edr图片。当主流中包括至少一个edr图片时，外部流也存在并包含外部图片。当主流中不包含edr图片时，外部流不存在。
[0163]
3)每个主流都在主流表示(main stream representation msr)中携带。msr的每一个edr图片都是段(segment)的第一个图片。
[0164]
4)每个外部流(如果存在的话)都被携带在外部流表示(external stream representation，esr)中。
[0165]
5)对于以edr图片开始的msr中的每个段，在相应的esr中存在一个段具有从mpd推导的相同的段开始时间，携带解码该edr图片所需的外部图片以及在msr携带的比特流中按解码顺序的后续图片。
[0166]
6)同一视频内容的msr被包括在一个自适应集(adaptation set，as)中。同一视频内容的esr被包括在一个as中。
[0167]
dash流式传输操作
[0168]
1)客户端获得dash媒体表示的mpd，解析该mpd，选择msr，并确定要消费内容的起始表示时间。
[0169]
2)客户端请求msr的段，从包括其表示时间等于(或足够接近)起始表示时间的图片的段开始。
[0170]
a.如果起始段中的第一个图片是edr图片，则也请求关联esr中的对应段(具有从mpd推导的相同段起始时间)，优选在请求msr段之前。否则，不会请求关联esr的任何段。
[0171]
3)当切换到不同的msr时，客户端从第一个段开始请求切换到msr的段，该第一个段的段起始时间大于最后一个请求从msr切换的段的起始时间。
[0172]
a.如果切换到msr的起始段中的第一个图片是edr图片，则还会请求关联esr中的相应段，优选是在请求msr段之前。否则，不会请求关联esr的任何段。
[0173]
4)当对同一msr连续操作时(在搜索或流切换操作后解码起始段后)，不需要请求关联esr的任何段，包括当请求以edr图片起始的任何段时。
[0174]
3.6.drap指示sei消息
[0175]
vsei规范包括drap指示sei消息，具体如下:
[0176]
dependent_rap_indication(payloadsize){描述符} [0177]
与依赖随机访问点(drap)指示sei消息相关联的图片被称为drap图片。
[0178]
drap指示sei消息的存在指示本条款中规定的图片顺序和图片参考的约束适用。这些约束可以使解码器能够以解码顺序和输出顺序正确地解码drap图片及其之后的图片，而不需要解码除了drap图片的关联irap图片之外的任何其他图片。
[0179]
drap指示sei消息的存在指示如下约束，这些约束都适用：
[0180]
–
drap图片是后置图片(trailing picture)；
[0181]
–
drap图片的时域子层标识符等于0；
[0182]
–
除了drap图片的关联irap图片之外，drap图片在其参考图片列表的有效条目(active entry)中不包括任何图片；
[0183]
–
按照解码顺序和输出顺序在drap图片之后的任何图片在其参考图片列表的有效条目中不包括按照解码顺序或输出顺序在drap图片之前的任何图片，但drap图片的关联irap图片除外。
[0184]
4.所公开的技术解决方案解决的技术问题
[0185]
drap指示sei消息的功能可以被认为是crr方法的子集。为简单起见，与drap指示sei消息相关联的图片被称为类型1 drap图片。
[0186]
从编码的角度来看，虽然在jvet-p0114或更早的jvet贡献中提出的crr方法没有被vvc采用，但是编码器仍然可以以这样的方式编码视频比特流，使得某些图片仅依赖于为帧间预测参考的关联irap图片(比如由drap sei消息指示的类型1 drap图片)，并且某些其他图片(例如，被称为类型2drap图片)仅依赖于由关联irap图片和一些其他(类型1或类型2)drap图片组成的图片集中的一些图片。
[0187]
然而，给定vvc比特流，不知道比特流中是否存在这种类型2 drap图片。此外，即使当已知比特流中存在这种类型2 drap图片时，为了根据基于这种vvc比特流的isobmff和dash媒体表示来组成媒体文件以实现crr或edr流式传输操作，文件和dash媒体表示编辑器将需要解析和推导大量信息，包括poc值和参考图片列表中的有效条目，以确定特定图片是否是类型2 drap图片，如果是，则需要哪个较早的irap或drap图片来从该特定图片随机访问，使得适当的图片集可以包括在单独的、时间同步的文件轨道和dash表示中。
[0188]
还有一个问题是drap指示sei消息的语义只适用于单层比特流。
[0189]
5.解决方案列表
[0190]
为了解决以上问题，以及其他，公开了如下总结的方法。这些项应该被认为是解释一般构思的示例，并且不应该被狭义地解释。此外，这些项可以单独地或以任何方式组合应用。
[0191]
1)在一个示例中，drap指示sei消息的语义被改变，使得该sei消息可以应用于多层比特流，即，该语义使得解码器能够正确地解码drap图片(即，与drap指示sei消息相关联的图片)和在同一层中并且按照解码顺序和输出顺序在drap之后的图片，而不需要解码除了drap图片的关联irap图片之外的同一层中的任何其他图片。
[0192]
a.例如，要求除了drap图片的关联irap图片之外，drap图片在其参考图片列表的有效条目中不包括同一层中的任何图片。
[0193]
b.在一个示例中，要求在同一层中并且按照解码顺序和输出顺序在drap图片之后的任何图片在其参考图片列表的有效条目中不包括在同一层中并且按照解码顺序或输出顺序在drap图片之前的任何图片，除了drap图片的关联irap图片之外。
[0194]
2)在一个示例中，对于drap图片的rap图片id在drap指示sei消息中被信令通知，以规定rap图片的标识符，rap图片可以是irap图片或drap图片。
[0195]
a.在一个示例中，指示rap图片id是否存在于drap指示中的存在标志被信令通知，并且当该标志等于特定值，例如1时，rap图片id在drap指示sei消息中被信令通知，并且当该标志等于另一个值，例如0时，rap图片id不在drap指示sei消息中被信令通知。
[0196]
3)在一个示例中，与drap指示sei消息相关联的drap图片允许指代关联irap图片或按照解码顺序的前一图片，该图片是为帧间预测参考，其ph_recovery_poc_cnt等于0的gdr图片。
[0197]
4)在一个示例中，新的sei消息，例如命名为类型2 drap指示sei消息，并且与该新的sei消息相关联的每个图片被称为特殊类型的图片，例如类型2 drap图片。
[0198]
5)在一个示例中，规定类型1 drap图片(与drap指示sei消息相关联)和类型2 drap图片(与类型2 drap指示sei消息相关联)统称为drap图片。
[0199]
6)在一个示例中，类型2 drap指示sei消息包括rap图片id，例如表示为rappicid，以规定rap图片的标识符，rap图片可以是irap图片或drap图片，以及语法元素(例如t2drap_num_ref_rap_pics_minus1)，该语法元素指示与类型2 drap图片在同一clvs内并且可以被包括在类型2drap图片的参考图片列表的有效条目中的irap或drap图片的数量。
[0200]
a.在一个示例中，指示该数量的语法元素(例如，t2drap_num_ref_rap_pics_minus1)使用3位被编解码为u(3)。
[0201]
b.可选地，指示该数量的语法元素(例如，t2drap_num_ref_rap_pics_minus1)被编解码为ue(v)。
[0202]
7)在一个示例中，对于drap图片的rap图片id，在drap指示sei消息或类型2 drap指示sei消息中，以下一种或多种方法适用:
[0203]
a.在一个示例中，信令通知rap图片id的语法元素使用16位编解码为u(16)。
[0204]
i.可替换地，信令通知rap图片id的语法元素使用ue(v)来编解码。
[0205]
b.在一个示例中，代替在drap指示sei消息中信令通知rap图片id，例如使用se(v)或i(32)信令通知drap图片的poc值。
[0206]
i.可选地，例如使用ue(v)或u(16)信令通知相对于关联irap图片的poc值的poc增量。
[0207]
8)在一个示例中，规定作为irap或drap的每个irap或drap图片与rap图片id rappicid相关联。
[0208]
a.在一个示例中，规定irap图片的rappicid的值被推断为等于0。
[0209]
b.在一个示例中，规定clvs内任意两个irap或drap图片的rappicid值应该不同。
[0210]
c.此外，在一个示例中，clvs内的irap和drap图片的rappicid的值将随着irap或drap图片的解码顺序的增加而增加。
[0211]
d.此外，在一个示例中，在同一clvs内，drap图片的rappicid应当比按照解码顺序在前的irap或drap图片的rappicid大1。9)在一个示例中，类型2 drap指示sei消息还包括
rap图片id的列表，
[0212]
一个列表对于与类型2 drap图片在同一clvs内并且可以被包括在类型2 drap图片的参考图片列表的有效条目中的irap或drap图片中的每一个。
[0213]
a.在一个示例中，rap图片id列表中的每一个被编解码为与类型2drap指示sei消息相关联的drap图片的rap图片id相同。
[0214]
b.可选地，要求rap图片id列表的值按照列表索引i的值的递增顺序递增，并使用ue(v)编解码第i个drap pic的rappicid值和1)第i-1个drap或irap pic的rappicid值之间的增量(当i大于0时)或2)0(当i等于0时)。
[0215]
c.可选地，rap图片id列表中的每一个被编解码以表示rap图片的poc值，例如被编解码为se(v)或i(32)。
[0216]
d.可选地，rap图片id列表中的每一个被编解码以表示相对于关联irap图片的poc值的poc增量，例如使用ue(v)、u(16)来信令通知。
[0217]
e.可选地，rap图片id列表中的每一个被编解码以表示当前图片的poc值相对于1)第i-1个drap或irap pic的poc值(当i大于0时)或2)irap图片的poc值(当i等于0时)之间的poc增量，例如使用ue(v)或u(16)。
[0218]
f.可选地，此外，要求对于列表索引值i和j的任意两个值，对于rap图片id的列表，当i小于j时，第i个irap或drap图片应当按照解码顺序在第j个irap或drap图片之前。
[0219]
6.实施例
[0220]
以下是上面章节5中总结的一些发明方面的一些示例实施例，其可以被应用于vsei规范。改变的文本基于jvet-s2007-v7中最新的vsei文本。已经添加或修改的大多数相关部分通过粗体斜体来突出显示，并且一些删除的部分通过双括号来标记(例如，[[a]]表示删除字母“a”)。可能有编辑性质的一些其他改变，因此没有突出显示。
[0221]
6.1.第一实施例
[0222]
该实施例是对于现有drap指示sei消息的改变。
[0223]
6.1.1.依赖随机访问点指示sei消息语法
[0224][0225]
6.1.2.依赖随机访问点指示sei消息语义
[0226]
与依赖随机访问点(drap)指示sei消息相关联的图片被称为类型1drap图片。
[0227]
类型1 drap图片和类型2 drap图片(与类型2 drap指示sei消息相关联)统称为drap图片。
[0228]
drap指示sei消息的存在指示此子条款中规定的对图片顺序和图片参考的约束适用。这些约束可以使解码器能够正确地解码类型1 drap图片和在同一层中并且按照解码顺序和输出顺序在该类型1 drap图片之后的图片，而不需要解码同一层中除了类型1 drap图
片的关联irap图片之外的任何其他图片。
[0229]
drap指示sei消息的存在所指示的约束如下，这些约束都适用：
[0230]
–
类型1 drap图片是后置图片。
[0231]
–
类型1 drap图片的时域子层标识符等于0。
[0232]
–
除了类型1 drap图片的关联irap图片之外，类型1 drap图片不包括在同一层中的、在其参考图片列表的有效条目中的任何图片。
[0233]
–
在同一层中并且按照解码顺序和输出顺序在类型1 drap图片之后的任何图片在其参考图片列表的有效条目中不包括在同一层中并且按照解码顺序或输出顺序在类型1 drap图片之前的任何图片，除了类型1 drap图片的关联irap图片之外。
[0234]
drap_rap_id_in_clvs规定类型1 drap图片的rap图片id，表示为rappicid。
[0235]
每个irap图片或drap图片，作为irap或者drap，都与rappicid相关联。irap图片的rappicid值被推断为等于0。clvs内任意两个irap图片或drap图片的rappicid值应该不同。
[0236]
6.2.第二实施例
[0237]
该实施例是对于新的类型2 drap指示sei消息。
[0238]
6.2.1.类型2 drap指示sei消息语法
[0239][0240][0241]
6.2.2.类型2 drap指示sei消息语义
[0242]
与类型2 drap指示sei消息相关联的图片被称为类型2 drap图片。
[0243]
类型1 drap图片(与drap指示sei消息相关联)和类型2 drap图片统称为drap图片。
[0244]
类型2 drap指示sei消息的存在指示此子章节中规定的对图片顺序和图片参考的约束适用。这些约束可以使解码器能够正确地解码类型2 drap图片和在同一层中并且按照解码顺序和输出顺序在该类型2 drap图片之后的图片，而不需要解码同一层中的任何其他图片，除了图片列表referenceablepictures之外，图片列表referenceablepictures由在同一clvs内的、由t2drap_ref_rap_id[i]语法元素标识的、按照解码顺序的irap图片或drap图片的列表组成。
[0245]
类型2 drap指示sei消息的存在所指示的约束如下，这些约束都适用：
[0246]
–
类型2 drap图片是后置图片；
[0247]
–
类型2 drap图片的时域子层标识符等于0；
[0248]
–
类型2 drap图片在其参考图片列表的有效条目中不包括同一层中的任何图片，
除了referenceablepictures；
[0249]
–
在同一层中并且按照解码顺序和输出顺序在类型2 drap图片之后的任何图片，在其参考图片列表的有效条目中，不包括在同一层中并且按照解码顺序或输出顺序在类型2 drap图片之前的任何图片，除了referenceablepictures之外；
[0250]
–
列表referenceablepictures中的任何图片在其参考图片列表的有效条目中不包括位于同一层并且不是处于列表referenceablepictures中较早位置的图片的任意图片。
[0251]
注－因此，referenceablepictures中的第一个图片，即使它是drap图片而不是irap图片，在其参考图片列表的有效条目中也不包括同一层的任何图片。
[0252]
t2drap_rap_id_in_clvs规定类型2drap图片的rap图片标识符，表示为rappicid。
[0253]
每个irap图片或drap图片，作为irap或drap，都与rappicid相关联。irap图片的rappicid值被推断为等于0。clvs内任意两个irap图片或drap图片的rappicid值应该不同。
[0254]
在符合此规范的此版本的比特流中，t2drap_reserved_zero_13bits应等于0。t2drap_reserved_zero_13bits的其他值被保留以供itu-t|iso/iec将来使用。解码器应忽略t2drap_reserved_zero_13bits的值。
[0255]
t2drap_num_ref_rap_pics_minus1加1指示与类型2 drap图片在同一clvs内并且可以被包括在类型2 drap图片的参考图片列表的有效条目中的irap图片或drap图片的数量。
[0256]
t2drap_ref_rap_id[i]指示与类型2 drap图片在同一clvs内并且可以被包括在类型2 drap图片的参考图片列表的有效条目中的第i个irap图片或drap图片的rappicid。
[0257]
图1是示出可以在其中实施本文公开的各种技术的示例视频处理系统1900的框图。各种实施方式可以包括系统1900的一些或所有组件。系统1900可以包括用于接收视频内容的输入1902。视频内容可以以例如8或10比特多分量像素值的原始或未压缩格式而接收，或者可以是压缩或编码格式。输入1902可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(passive optical network，pon)等的有线接口和诸如wi-fi或蜂窝接口的无线接口。
[0258]
系统1900可以包括可以实施本文档中描述的各种编解码或编码方法的编解码组件1904。编解码组件1904可以将来自输入1902的视频的平均比特率减小到编解码组件1904的输出，以产生视频的编解码表示。编解码技术因此有时被称为视频压缩或视频转码技术。编解码组件1904的输出可以被存储，或者经由如由组件1906表示的通信连接而发送。在输入1902处接收的视频的存储或通信传送的比特流(或编解码)表示可以由组件1908用于生成像素值或传送到显示接口1910的可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是将理解，编解码工具或操作在编码器处被使用，并且反转编解码结果的对应的解码工具或操作将由解码器执行。
[0259]
外围总线接口或显示接口的示例可以包括通用串行总线(usb)、或高清晰度多媒体接口(high definition multimedia interface，hdmi)、或显示端口(displayport)等。存储接口的示例包括sata(serial advanced technology attachment，串行高级技术附件)、pci、ide接口等。本文档中描述的技术可以体现在各种电子设备中，诸如移动电话、膝
上型电脑、智能电话、或能够执行数字数据处理和/或视频显示的其他设备。
[0260]
图2是视频处理装置3600的框图。装置3600可以用于实施本文描述的一种或多种方法。装置3600可以体现在智能手机、平板电脑、计算机、物联网(iot)接收器等中。装置3600可以包括一个或多个处理器3602、一个或多个存储器3604和视频处理硬件3606。(多个)处理器3602可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)604可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件606可以用于在硬件电路系统中实施本文档中描述的一些技术。在一些实施例中，视频处理硬件3606可以至少部分被包括在处理器3602(例如，图形协处理器)中。
[0261]
图4是示出可以利用本公开的技术的示例视频编解码系统100的框图。
[0262]
如图4所示，视频编解码系统100可以包括源设备110和目标设备120。源设备110生成编码视频数据，其中该源设备110可以被称为视频编码设备。目标设备120可以解码由源设备110生成的编码视频数据，目标设备120可以被称为视频解码设备。
[0263]
源设备110可以包括视频源112、视频编码器114和输入/输出(i/o)接口116。
[0264]
视频源112可以包括源，诸如视频捕捉设备、从视频内容提供器接收视频数据的接口、和/或用于生成视频数据的计算机图形系统、或这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关数据。编解码图片是图片的编解码表示。相关数据可以包括序列参数集、图片参数集和其他语法结构。i/o接口116可以包括调制器/解调器(调制解调器)和/或发射器。编码视频数据可以通过网络130a经由i/o接口116直接传输到目标设备120。编码视频数据也可以存储在存储介质/服务器130b上，以供目标设备120访问。
[0265]
目标设备120可以包括i/o接口126、视频解码器124和显示设备122。
[0266]
i/o接口126可以包括接收器和/或调制解调器。i/o接口126可以从源设备110或存储介质/服务器130b获取编码视频数据。视频解码器124可以对编码视频数据进行解码。显示设备122可以向用户显示解码视频数据。显示设备122可以与目标设备120集成，或者可以在被配置为与外部显示设备接口的目标设备120的外部。
[0267]
视频编码器114和视频解码器124可以根据视频压缩标准进行操作，例如高效视频编解码(hevc)标准、通用视频编解码(vvm)标准和其他当前和/或另外的标准。
[0268]
图5是示出视频编码器200的示例的框图，视频编码器200可以是图4所示的系统100中的视频编码器114。
[0269]
视频编码器200可以被配置为执行本公开的任何或所有技术。在图5的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
[0270]
视频编码器200的功能组件可以包括分割单元201、预测单元202(其可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206)、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲区213和熵编码单元214。
[0271]
在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在示例中，预测单元202可以包括帧内块复制(ibc)单元。ibc单元可以执行ibc模式下的预测，其中至
少一个参考图片是当前视频块所在的图片。
[0272]
此外，诸如运动估计单元204和运动补偿单元205的一些组件可以高度集成，但是为了解释的目的，在图5的示例中分开表示。
[0273]
分割单元201可以将图片分割为一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。
[0274]
模式选择单元203可以基于误差结果选择编解码模式(例如，帧内或帧间)之一，并且将作为结果的帧内编解码块或帧间编解码块提供给残差生成单元207以生成残差块数据，以及提供给重构单元212以重构编码块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测模式的组合(ciip)，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以选择块的运动矢量的分辨率(例如，子像素或整数像素精度)。
[0275]
为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲区213的一个或多个参考帧与当前视频块进行比较，来生成当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲区213的除了与当前视频块相关联的图片之外的图片的解码样点，来确定当前视频块的预测视频块。
[0276]
运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作，例如，取决于当前视频块是在i条带、p条带还是b条带中。
[0277]
在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以为当前视频块的参考视频块搜索列表0或列表1的参考图片。运动估计单元204然后可以生成指示列表0或列表1中的参考图片的参考索引，该参考索引包含参考视频块和指示当前视频块和参考视频块之间的空域位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
[0278]
在其他示例中，运动估计单元204可以对当前视频块执行双向预测，运动估计单元204可以在列表0中的参考图片中搜索当前视频块的参考视频块，并且还可以在列表1中搜索当前视频块的另一个参考视频块。运动估计单元204然后可以生成参考索引，该参考索引指示包含参考视频块的列表0和列表1中的参考图片以及指示参考视频块和当前视频块之间的空间位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
[0279]
在一些示例中，运动估计单元204可以输出完整的运动信息集，以用于解码器的解码处理。
[0280]
在一些示例中，运动估计单元204可以不输出当前视频的完整的运动信息集。而是运动估计单元204可以参考另一个视频块的运动信息信令通知当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与邻近视频块的运动信息足够相似。
[0281]
在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中指示值，该值向视频解码器300指示当前视频块具有与另一个视频块相同的运动信息。
[0282]
在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(mvd)。运动矢量差指示当前视频块的运动矢量和所指示的视频
块的运动矢量之间的差。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
[0283]
如上所讨论的，视频编码器200可以预测性地信令通知运动矢量。可以由视频编码器200实施的预测信令通知技术的两个示例包括高级运动矢量预测(amvp)和merge模式信令通知。
[0284]
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可以基于同一图片中的其他视频块的解码样点来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
[0285]
残差生成单元207可以通过从当前视频块中减去(例如，由减号指示)当前视频块的(多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括与当前视频块中样点的不同样点分量相对应的残差视频块。
[0286]
在其他示例中，例如在跳过模式中，对于当前视频块可能没有当前视频块的残差数据，并且残差生成单元207可能不执行减去操作。
[0287]
变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来为当前视频块生成一个或多个变换系数视频块。
[0288]
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(qp)值来量化与当前视频块相关联的变换系数视频块。
[0289]
逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重构残差视频块。重构单元212可以将重构后的残差视频块添加到来自预测单元202生成的一个或多个预测视频块的对应样点，以产生与当前块相关联的重构视频块，用于存储在缓冲区213中。
[0290]
在重构单元212重构视频块之后，可以执行环路滤波操作，以减少视频块中的视频块效应。
[0291]
熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收到数据时，熵编码单元214可以执行一个或多个熵编码操作，以生成熵编码数据，并输出包括该熵编码数据的比特流。
[0292]
图6是示出视频解码器300的示例的框图，视频解码器300可以是图4所示的系统100中的视频解码器114。
[0293]
视频解码器300可以被配置为执行本公开的任何或所有技术。在图6的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
[0294]
在图6的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305以及重构单元306和缓冲区307。在一些示例中，视频解码器300可以执行通常与针对视频编码器200(图5)描述的编码过程相反的解码过程。
[0295]
熵解码单元301可以检索编码比特流。编码比特流可以包括熵编解码的视频数据(例如，视频数据的编码块)。熵解码单元301可以解码熵编解码的视频数据，并且根据熵解码的视频数据，运动补偿单元302可以确定包括运动矢量、运动矢量精度、参考图片列表索
引和其他运动信息的运动信息。运动补偿单元302可以例如通过执行amvp和merge模式来确定这样的信息。
[0296]
运动补偿单元302可以产生运动补偿块，可以基于插值滤波器执行插值。要以子像素精度使用的插值滤波器的标识符可以包括在语法元素中。
[0297]
运动补偿单元302可以使用如视频编码器200在视频块的编码期间使用的插值滤波器来计算参考块的子整数像素的插值。运动补偿单元302可以根据所接收的语法信息确定视频编码器200使用的插值滤波器，并使用该插值滤波器来产生预测块。
[0298]
运动补偿单元302可以使用一些语法信息来确定用于对编码视频序列的(多个)帧和/或(多个)条带进行编码的块的尺寸、描述编码视频序列的图片的每个宏块如何被分割的分割信息、指示每个分割如何被编码的模式、每个帧间编码块的一个或多个参考帧(和参考帧列表)以及用于对编码视频序列进行解码的其他信息。
[0299]
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空间上相邻的块形成预测块。逆量化单元303对在比特流中提供并由熵解码单元301解码的量化后的视频块系数进行逆量化，即，解量化。逆变换单元303应用逆变换。
[0300]
重构单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的对应预测块相加，以形成解码块。如果需要，还可以应用去块滤波器来滤波解码块，以便移除块效应。解码的视频块然后被存储在缓冲区307中，为随后的运动补偿/帧内预测提供参考块，并且还产生解码的视频以在显示设备上呈现。
[0301]
接下来提供一些实施例优选的解决方案列表。
[0302]
下面提供第一组解决方案，以下解决方案示出了在前一章节(例如，项1)中讨论的技术的示例实施例。
[0303]
1.一种视频处理方法(例如，图3中描述的方法700)，包括：执行(702)在包括多层的视频和该视频的编解码表示之间的转换，其中，编解码表示根据格式规则组织；其中，格式规则规定补充增强信息(sei)被包括在编解码表示中，其中，sei信息携带信息，该信息足以使解码器解码依赖随机访问点(drap)图片和/或解码按照解码顺序和输出顺序、在一层中的图片，而不需要解码该层中的其他图片，除了drap图片的帧内随机访问图片(irap)之外。
[0304]
2.根据解决方案1的方法，其中，drap图片从参考图片列表中排除该层中的任何图片，除了irap之外。
[0305]
以下解决方案示出了在前一节(例如，项2)中讨论的技术的示例实施例。
[0306]
3.一种视频处理方法，包括：执行在包括多层的视频和该视频的编解码表示之间的转换，其中，编解码表示根据格式规则组织；其中，该格式规则规定补充增强信息(sei)消息被包括在依赖随机访问点(drap)图片的编解码表示中，其中，该sei消息包括随机访问点(rap)图片的标识符。
[0307]
4.根据解决方案3的方法，其中，rap是帧内随机访问图片。
[0308]
5.根据解决方案3的方法，其中，rap是依赖随机访问图片(drap)。
[0309]
以下解决方案示出了在前一章节(例如，项3)中讨论的技术的示例实施例。
[0310]
6.根据解决方案5的方法，其中，允许drap图片指代关联的帧内随机访问图片或者按照解码顺序的先前图片，该先前图片是渐进解码刷新图片。
[0311]
以下解决方案示出了在前一节(例如，项4-6)中讨论的技术的示例实施例。
[0312]
7.一种视频处理方法，包括：执行在包括多层的视频和视频的编解码表示之间的转换，其中，编解码表示根据格式规则组织；其中，格式规则规定指代依赖随机访问图片(drap)的类型2补充增强信息(sei)消息是否以及如何被包括在编解码表示中。
[0313]
8.根据解决方案7的方法，其中，格式规则规定类型2sei消息和与该消息相关联的每个图片作为特殊类型的图片来处理。
[0314]
9.根据解决方案7的方法，其中，格式规则规定类型2sei消息包括被称为类型2rap图片的随机访问图片(rap)的标识符，以及指示与随机访问图片在同一编解码视频层中的图片数量的语法元素，使得图片被包括在类型2rap图片的有效参考图片列表中。
[0315]
10.根据解决方案1-9中任一项的方法，其中，转换包括从视频生成编解码表示。
[0316]
11.根据解决方案1-9中任一项的方法，其中，转换包括解码编解码表示以生成视频。
[0317]
12.一种视频解码装置，包括处理器，该处理器被配置为实施解决方案1至11中的一个或多个中所述的方法。
[0318]
13.一种视频编码装置，包括处理器，该处理器被配置为实施解决方案1至11中的一个或多个中所述的方法。
[0319]
14.一种其上存储有计算机代码的计算机程序产品，当该代码由处理器执行时，使得处理器实施解决方案1至11中任一个所述的方法。
[0320]
15.一种计算机可读介质，存储根据解决方案1至11中的任一个生成的编解码表示。
[0321]
16.本文档中描述的方法、装置或系统。
[0322]
第二组解决方案提供了在前一节(例如，项1、1.a、1.b、2、2.a、3)中讨论的技术的示例实施例。
[0323]
1.一种处理视觉媒体数据的方法(例如，如图7所示的方法710)，包括：根据格式规则执行(712)视觉媒体数据和包括多层的视觉媒体数据的比特流之间的转换；其中，格式规则规定补充增强信息(sei)消息被包括在比特流中，以指示允许解码器解码1)与sei消息相关联的层中的依赖随机访问点(drap)图片和/或2)被包括在该层中并且按照解码顺序和输出顺序在drap图片之后的图片，而不必解码该层中除了与drap图片相关联的帧内随机访问点(irap)图片之外的其他图片。
[0324]
2.根据解决方案1的方法，其中，除了irap图片之外，drap图片从drap图片的参考图片列表的有效条目中排除该层中的图片。
[0325]
3.根据解决方案1的方法，其中，包括在该层中并且按照解码顺序和输出顺序在drap图片之后的第一图片从第一图片的参考图片列表的有效条目中排除包括在该层中并且按照解码顺序和输出顺序在drap图片之前的第二图片，除了irap图片之外。
[0326]
4.根据解决方案1所述的方法，其中，格式规则还规定sei消息包括随机访问点(rap)图片的标识符。
[0327]
5.根据解决方案4的方法，其中，rap图片是irap图片或drap图片。
[0328]
6.根据解决方案4的方法，其中，格式规则还规定指示在sei消息中存在rap图片的标识符的存在标志被包括在比特流中。
[0329]
7.根据解决方案6的方法，其中，具有等于第一值的值的存在标志指示rap图片的标识符存在于sei消息中。
[0330]
8.根据解决方案6的方法，其中，具有等于第二值的值的存在标志指示从sei消息中省略rap图片的标识符。
[0331]
9.根据解决方案1的方法，其中，允许drap图片指代irap图片或者按照解码顺序的先前图片，该先前图片是按照输出顺序其解码图片的恢复点等于0的渐进解码刷新(gdr)图片。
[0332]
10.根据解决方案1至9中任一项的方法，其中，比特流是通用视频编解码比特流。
[0333]
11.根据解决方案1至10中任一项的方法，其中，执行转换包括从视觉媒体数据生成比特流。
[0334]
12.根据解决方案1至10中任一项的方法，其中，执行转换包括从比特流重构视觉媒体数据。
[0335]
13.一种处理视觉媒体数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中，指令在由处理器执行时使得处理器：根据格式规则执行视觉媒体数据和视觉媒体数据的包括多层的比特流之间的转换；其中，格式规则规定补充增强信息(sei)消息被包括在比特流中，以指示允许解码器解码1)与sei消息相关联的层中的依赖随机访问点(drap)图片和/或2)被包括在该层中并且按照解码顺序和输出顺序在drap图片之后的图片，而不必解码该层中除了与drap图片相关联的帧内随机访问点(irap)图片之外的其他图片。
[0336]
14.根据解决方案13的装置，其中，除了irap图片之外，drap图片从drap图片的参考图片列表的有效条目中排除该层中的图片。
[0337]
15.根据解决方案13的装置，其中，包括在该层中并且按照解码顺序和输出顺序在drap图片之后的第一图片从第一图片的参考图片列表的有效条目中排除包括在该层中并且按照解码顺序和输出顺序在drap图片之前的第二图片，除了irap图片之外。
[0338]
16.根据解决方案13的装置，其中，比特流是通用视频编解码比特流。
[0339]
17.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器:根据格式规则执行视觉媒体数据和视觉媒体数据的包括多层的比特流之间的转换；其中，格式规则规定补充增强信息(sei)消息被包括在比特流中，以指示允许解码器解码1)与sei消息相关联的层中的依赖随机访问点(drap)图片和/或2)被包括在该层中并且按照解码顺序和输出顺序在drap图片之后的图片，而不必解码该层中除了与drap图片相关联的帧内随机访问点(irap)图片之外的其他图片。
[0340]
18.根据解决方案17的非暂时性计算机可读存储介质，其中，比特流是通用视频编解码比特流。
[0341]
19.一种存储由视觉媒体数据处理装置执行的方法来生成的视觉媒体数据的比特流的非暂时性计算机可读存储介质，其中，所述方法包括：确定补充增强信息(sei)消息被包括在比特流中，允许解码器解码1)与sei消息相关联的层中的依赖随机访问点(drap)图片和/或2)被包括在该层中并且按照解码顺序和输出顺序在drap图片之后的图片，而不必解码该层中除了与drap图片相关联的帧内随机访问点(irap)图片之外的其他图片；以及基于该确定生成比特流。
[0342]
20.根据解决方案19的非暂时性计算机可读存储介质，其中，比特流是通用视频编
解码比特流。
[0343]
21.一种视觉媒体数据处理装置，包括处理器，该处理器被配置为实施解决方案1至12中的任何一个或多个中所述的方法。
[0344]
22.一种存储视觉媒体数据比特流的方法，包括解决方案1至12中任一项所述的方法，还包括将比特流存储到非暂时性计算机可读存储介质。
[0345]
23.一种存储程序代码的计算机可读介质，当该程序代码被执行时，使得处理器实施解决方案1至12中的任何一个或多个所述的方法。
[0346]
24.一种存储根据任何上述方法生成的比特流的计算机可读介质。
[0347]
25.一种存储比特流的视觉媒体数据处理装置，其中，所述视觉媒体数据处理装置被配置为实施解决方案1至12中的任何一个或多个中所述的方法。
[0348]
26.一种计算机可读介质，其上的比特流符合根据解决方案1至12中任一项所述的格式规则。
[0349]
第三组解决方案提供了在前一节中(例如，项4至项8)讨论的技术的示例实施例。
[0350]
1.一种处理视觉媒体数据的方法(例如，如图8所示的方法800)，包括：根据格式规则执行802视觉媒体数据和视觉媒体数据的比特流之间的转换，其中，格式规则规定与第一类型的补充增强信息(sei)消息不同的第二类型的sei消息是否以及如何被包括在比特流中，并且其中，第一类型的sei消息和第二类型的sei消息分别指示第一类型的依赖随机访问点(drap)图片和第二类型的drap图片。
[0351]
2.根据解决方案1所述的方法，其中，所述格式规则还规定所述第二类型的sei消息包括随机访问点(rap)图片标识符。
[0352]
3.根据解决方案1的方法，其中，对于第一类型的drap图片或第二类型的drap图片，随机访问点(rap)图片标识符被包括在比特流中。
[0353]
4.根据解决方案3的方法，其中，rap图片标识符被编解码为u(16)，u(16)是使用16位的无符号整数，或者rap图片标识符被编解码为ue(v)，ue(v)是使用指数golomb码的无符号整数。
[0354]
5.根据解决方案1所述的方法，其中，所述格式规则还规定，所述第一类型的sei消息或所述第二类型的sei消息包括关于所述第一类型的drap图片或所述第二类型的drap图片的图片顺序计数(poc)值的信息。
[0355]
6.根据解决方案1的方法，其中，格式规则还规定每个irap图片或drap图片与随机访问点(rap)图片标识符相关联。
[0356]
7.根据解决方案6的方法，其中，格式规则还规定irap图片的rap图片标识符的值被推断为等于0。
[0357]
8.根据解决方案6的方法，其中，格式规则还规定在编解码层视频序列(clvs)内任意两个irap或drap图片的rap图片标识符的值彼此不同。
[0358]
9.根据解决方案6的方法，其中，格式规则还规定编解码层视频序列(clvs)内的irap或drap图片的rap图片标识符的值按照irap图片或drap图片的解码顺序递增。
[0359]
10.根据解决方案6的方法，其中，格式规则还规定drap图片的rap图片标识符的值比在编解码层视频序列(clvs)内的按照解码顺序的先前irap图片或drap图片的值大一。
[0360]
11.根据解决方案1至10中任一项的方法，其中，执行转换包括从视觉媒体数据生
成比特流。
[0361]
12.根据解决方案1至10中任一项的方法，其中，执行转换包括从比特流重构视觉媒体数据。
[0362]
13.一种处理视觉媒体数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由所述处理器执行时使得所述处理器：根据格式规则执行在视觉媒体数据和视觉媒体数据的比特流之间的转换，其中，格式规则规定与第一类型的补充增强信息(sei)消息不同的第二类型的sei消息是否以及如何被包括在比特流中，并且其中，第一类型的sei消息和第二类型的sei消息分别指示第一类型的依赖随机访问点(drap)图片和第二类型的drap图片。
[0363]
14.根据解决方案13所述的装置，其中，所述格式规则还规定所述第二类型的sei消息包括随机访问点(rap)图片标识符。
[0364]
15.根据解决方案13的装置，其中，对于第一类型的drap图片或第二类型的drap图片，随机访问点(rap)图片标识符被包括在比特流中，rap图片标识符被编解码为u(16)，u(16)是使用16位的无符号整数，或者rap图片标识符被编解码为ue(v)，ue(v)是使用指数golomb码的无符号整数。
[0365]
16.根据解决方案13所述的装置，其中，所述格式规则还规定每个irap图片或drap图片与随机访问点(rap)图片标识符相关联，并且所述格式规则还规定所述irap图片的rap图片标识符的值被推断为等于0。
[0366]
17.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：根据格式规则执行在视觉媒体数据和视觉媒体数据的比特流之间的转换，其中，所述格式规则规定与第一类型的补充增强信息(sei)消息不同的第二类型的sei消息是否以及如何被包括在比特流中，并且其中，所述第一类型的sei消息和所述第二类型的sei消息分别指示第一类型的依赖随机访问点(drap)图片和第二类型的drap图片。
[0367]
18.根据解决方案17的非暂时性计算机可读存储介质，其中，格式规则还规定第二类型的sei消息包括随机访问点(rap)图片标识符，并且其中，对于第一类型的drap图片或第二类型的drap图片，随机访问点(rap)图片标识符被包括在比特流中，rap图片标识符被编解码为u(16)，其是使用16位的无符号整数，或者被编解码为ue(v)，其是使用指数golomb码的无符号整数，并且其中，格式规则还规定每个irap图片或drap图片与随机访问点(rap)图片标识符相关联，并且格式规则还规定irap图片的rap图片标识符的值被推断为等于0。
[0368]
19.一种存储由视觉媒体数据处理装置执行的方法来生成的视觉媒体数据的比特流的非暂时性计算机可读存储介质，其中，该方法包括确定与第一类型的补充增强信息(sei)消息不同的第二类型的sei消息是否以及如何被包括比特流中；以及基于该确定生成比特流。
[0369]
20.根据解决方案19的非暂时性计算机可读存储介质，其中，格式规则还规定第二类型的sei消息包括随机访问点(rap)图片标识符，并且其中，对于第一类型的drap图片或第二类型的drap图片，随机访问点(rap)图片标识符被包括在比特流中，rap图片标识符被编解码为u(16)，其是使用16位的无符号整数，或者被编解码为ue(v)，其是使用指数golomb码的无符号整数，并且其中，格式规则还规定每个irap图片或drap图片与随机访问点(rap)图片标识符相关联，并且格式规则还规定irap图片的rap图片标识符的值被推断为等于0。
[0370]
21.一种视觉媒体数据处理装置，包括处理器，该处理器被配置为实施解决方案1至12中的任何一个或多个中所述的方法。
[0371]
22.一种存储视觉媒体数据比特流的方法，包括解决方案1至12中任一项所述的方法，还包括将比特流存储到非暂时性计算机可读存储介质。
[0372]
23.一种存储程序代码的计算机可读介质，当该程序代码被执行时，使得处理器实施解决方案1至12中的任何一个或多个所述的方法。
[0373]
24.一种存储根据任何上述方法生成的比特流的计算机可读介质。
[0374]
25.一种存储比特流的视觉媒体数据处理装置，其中，所述视频处理装置被配置为实施解决方案1至12中的任何一个或多个所述的方法。
[0375]
26.一种计算机可读介质，其上的比特流符合根据解决方案1至12中任一项所述的格式规则。
[0376]
第四组解决方案提供了在前一节中(例如，项6和项9)讨论的技术的示例实施例。
[0377]
1.一种处理视觉媒体数据的方法(例如，如图9所示的方法900)，包括：根据格式规则执行902视觉媒体数据和视觉媒体数据的比特流之间的转换，其中，格式规则规定指代依赖随机访问点(drap)图片的补充增强信息(sei)消息被包括在比特流中，并且其中，格式规则还规定所述sei消息包括语法元素，所述语法元素指示与所述drap图片在同一编解码层视频序列(clvs)内的帧内随机访问点(irap)图片或依赖随机访问点(drap)图片的数量。
[0378]
2.根据解决方案1的方法，其中，允许irap图片或drap图片被包括在drap图片的参考图片列表的有效条目中。
[0379]
3.根据解决方案1的方法，其中，语法元素被编解码为u(3)，u(3)是使用3位的无符号整数，或者语法元素被编解码为ue(v)，ue(v)是使用指数golomb码的无符号整数。
[0380]
4.根据解决方案1的方法，其中，格式规则还规定sei消息还包括与所述drap图片在同一编解码层视频序列(clvs)内的irap图片和drap图片的随机访问点(rap)图片标识符的列表。
[0381]
5.根据解决方案4的方法，其中，允许irap图片或drap图片被包括在drap图片的参考图片列表的有效条目中。
[0382]
6.根据解决方案4的方法，其中，rap图片标识符的列表中的每一个被编解码为与sei消息相关联的drap图片的rap图片标识符相同。
[0383]
7.根据解决方案4的方法，其中，该列表中的标识符具有与第i个rap图片对应的值，i等于或大于0，并且其中，rap图片标识符的值按照值i的递增顺序递增。
[0384]
8.根据解决方案7的方法，其中，使用第i个drap图片标识符的值和1)第(i-1)个drap图片或irap图片标识符的值之间的增量的ue(v)，其中，i大于0，或者和2)0之间的增量的ue(v)，其中i等于0，来编解码列表中的每个标识符。
[0385]
9.根据解决方案4的方法，其中，列表中的每一个标识符被编解码以表示rap图片的图片顺序计数(poc)值。
[0386]
10.根据解决方案4的方法，其中，列表中的每一个标识符被编解码以表示相对于与sei消息相关联的irap图片的图片顺序计数(poc)值的poc增量信息。
[0387]
11.根据解决方案4的方法，其中，列表中的每一个标识符被编解码以表示当前图片的图片顺序计数(poc)值和1)第(i-1)个drap图片或irap图片的poc值之间的poc增量信
息，其中，i大于0，或者2)与sei消息相关联的irap图片的poc值之间的poc增量信息。
[0388]
12.根据解决方案4的方法，其中，所述列表包括对应于第i个rap图片、第j个rap图片的标识符，其中i小于j，并且其中，按照解码顺序第i个rap图片在第j个rap图片之前。
[0389]
13.根据解决方案1至12中任一项的方法，其中，执行转换包括从视觉媒体数据生成比特流。
[0390]
14.根据解决方案1至12中任一项的方法，其中，执行转换包括从比特流重构视觉媒体数据。
[0391]
15.一种处理视觉媒体数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由所述处理器执行时使得所述处理器：根据格式规则执行视觉媒体数据和视觉媒体数据的比特流之间的转换，其中，格式规则规定指代依赖随机访问点(drap)图片的补充增强信息(sei)消息被包括在比特流中，并且其中，格式规则还规定所述sei消息包括语法元素，所述语法元素指示与所述drap图片在同一编解码层视频序列(clvs)内的帧内随机访问点(irap)图片或依赖随机访问点(drap)图片的数量。
[0392]
16.根据解决方案15的装置，其中，允许irap图片或drap图片被包括在drap图片的参考图片列表的有效条目中，其中，语法元素被编解码为u(3)，u(3)是使用3位的无符号整数，或者语法元素被编解码为ue(v)，ue(v)是使用指数golomb码的无符号整数，其中，格式规则还规定sei消息还包括与所述drap图片在同一编解码层视频序列(clvs)内的irap图片或者drap图片的随机访问点(rap)图片标识符的列表，其中，允许所述irap图片或所述drap图片被包括在所述drap图片的参考图片列表的有效条目中，并且其中，所述rap图片标识符列表中的每一个标识符被编解码为与所述sei消息相关联的drap图片的rap图片标识符相同。
[0393]
17.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器:根据格式规则执行视觉媒体数据和视觉媒体数据的比特流之间的转换，其中，格式规则规定指代依赖随机访问点(drap)图片的补充增强信息(sei)消息被包括在比特流中，并且其中，格式规则还规定所述sei消息包括语法元素，所述语法元素指示与所述drap图片在同一编解码层视频序列(clvs)内的帧内随机访问点(irap)图片或依赖随机访问点(drap)图片的数量。
[0394]
18.根据解决方案17的非暂时性计算机可读存储介质，其中，允许irap图片或drap图片被包括在drap图片的参考图片列表的有效条目中，其中，语法元素被编解码为u(3)，u(3)是使用3位的无符号整数，或者语法元素被编解码为ue(v)，ue(v)是使用指数golomb码的无符号整数，其中，格式规则还规定sei消息还包括与所述drap图片在同一编解码层视频序列(clvs)内的irap图片或者drap图片的随机访问点(rap)图片标识符的列表，其中，允许所述irap图片或所述drap图片被包括在所述drap图片的参考图片列表的有效条目中，并且其中，所述rap图片标识符列表中的每一个标识符被编解码为与所述sei消息相关联的drap图片的rap图片标识符相同。
[0395]
19.一种存储由视觉媒体数据处理装置执行的方法来生成的视觉媒体数据的比特流的非暂时性计算机可读存储介质，其中，该方法包括：确定指代依赖随机访问点(drap)图片的补充增强信息(sei)消息被包括在比特流中；以及基于该确定生成比特流。
[0396]
20.根据解决方案19的非暂时性计算机可读存储介质，其中，允许irap图片或drap图片被包括在drap图片的参考图片列表的有效条目中，其中，语法元素被编解码为u(3)，u
(3)是使用3位的无符号整数，或者语法元素被编解码为ue(v)，ue(v)是使用指数golomb码的无符号整数，其中，格式规则还规定sei消息还包括与所述drap图片在同一编解码层视频序列(clvs)内的irap图片或者drap图片的随机访问点(rap)图片标识符的列表，其中，允许所述irap图片或所述drap图片被包括在所述drap图片的参考图片列表的有效条目中，并且其中，所述rap图片标识符列表中的每一个标识符被编解码为与所述sei消息相关联的drap图片的rap图片标识符相同。
[0397]
21.一种视觉媒体数据处理装置，包括处理器，该处理器被配置为实施解决方案1至14中的任何一个或多个中所述的方法。
[0398]
22.一种存储视觉媒体数据比特流的方法，包括解决方案1至14中任一项所述的方法，还包括将比特流存储到非暂时性计算机可读存储介质。
[0399]
23.一种存储程序代码的计算机可读介质，当该程序代码被执行时，使得处理器实施解决方案1至14中的任何一个或多个所述的方法。
[0400]
24.一种存储根据任何上述方法生成的比特流的计算机可读介质。
[0401]
25.一种用于存储比特流的视觉媒体数据处理装置，其中，所述视频处理装置被配置为实施解决方案1至14中的任何一个或多个所述的方法。
[0402]
26.一种计算机可读介质，其上的比特流符合根据解决方案1至14中任一项所述的格式规则。
[0403]
在本文描述的解决方案中，视觉媒体数据对应于视频或图像。在本文描述的解决方案中，编码器可以通过根据格式规则产生编解码表示来符合格式规则。在本文描述的解决方案中，解码器可以在根据格式规则了解语法元素的存在和不存在的情况下，使用格式规则来解析编解码表示中的语法元素，以产生解码的视频。
[0404]
在本文档中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，可以在从视频的像素表示到对应比特流表示的转换期间应用视频压缩算法，反之亦然。当前视频块的比特流表示可以例如对应于比特流内的并置的或散布在不同地方的比特，如语法所定义的。例如，宏块可以根据变换和编解码后的误差残差值并且还使用比特流中的头和其他字段中的比特来编码。此外，在转换期间，解码器可以基于该确定，在知道一些字段可能存在或不存在的情况下解析比特流，如以上解决方案所述。类似地，编码器可以确定包括或不包括某些语法字段，并通过包括语法字段或从编解码表示中排除语法字段来相应地生成编解码表示。
[0405]
本文档中描述的所公开的以及其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路中、或者在计算机软件、固件或硬件(包括本文档中公开的结构及其结构等同物)中、或者在它们中的一个或多个的组合中被实施。所公开的以及其他实施例可以被实施为一个或多个计算机程序产品，即在计算机可读介质上编码的计算机程序指令的一个或多个模块，该计算机程序指令用于由数据处理装置运行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或它们中的一个或多个的组合。术语“数据处理装置”包含用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，装置还可以包括为所讨论的计算机程序创建运行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。传播信号
是被生成以对信息进行编码以用于发送到合适的接收器装置的人工生成的信号，例如机器生成的电信号、光学信号或电磁信号。
[0406]
计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写，并且其可以以任何形式部署，包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，存储在专用于所讨论的程序的单个文件中，或存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署以在一个计算机上或在位于一个站点上或跨多个站点分布并通过通信网络互连的多个计算机上运行。
[0407]
本文档书中描述的过程和逻辑流程可以由运行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行，并且装置也可以被实施为专用逻辑电路，例如，fpga(field programmable gate array，现场可编程门阵列)或asic(专用集成电路)。
[0408]
适合于运行计算机程序的处理器包括例如通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或可操作地耦合以从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传递数据、或者从其接收数据并向其传递数据。然而，计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如eprom、eeprom和闪存设备；磁盘，例如内部硬盘或可换式磁盘；磁光盘；以及cd rom和dvd-rom磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
[0409]
虽然本专利文档包含许多细节，但这些细节不应被解释为对任何主题或可能要求保护的范围的限制，而是作为指定于特定技术的特定实施例的特征的描述。在本专利文档中在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合实施。此外，尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。
[0410]
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为需要以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离。
[0411]
仅描述了一些实施方式和示例，并且可以基于本专利文档中描述和示出的内容来进行其他实施方式、增强和变化。