编解码视频中的帧间层参考图片的标识的制作方法

编解码视频中的帧间层参考图片的标识
1.相关申请的交叉引用
2.根据适用的专利法和/或依据巴黎公约的规则，本技术适时要求于2020年5月26日提交的美国临时专利申请no.63/030,106的优先权和权益。出于根据法律的所有目的，前述申请的全部公开通过引用而并入作为本技术的公开的一部分。
技术领域
3.本专利文档涉及图像和视频编解码与解码。


背景技术：

4.在互联网和其他数字通信网络中，数字视频占用了最大的带宽。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。


技术实现要素：

5.本文档公开了可以由视频编码器和解码器用于执行视频编码或解码的技术。
6.在一个示例方面，公开了一种处理视频数据的方法。该方法包括根据规则来执行视频和视频的比特流之间的转换。比特流包括参考一个或多个参数集的一个或多个视频图片。一个或多个参数集中的至少一个包括包含定时和假想参考解码器hrd参数的通用语法结构。该规则指定，响应于(1)第二语法标志指定网络抽象层nal hrd参数不存在于通用语法结构中并且(2)第三语法标志指定视频编解码层vcl hrd参数不存在于通用语法结构中，第一语法标志不包括在通用语法结构中。第一语法标志指定相同的图片级别定时信息适用于比特流中的所有输出层集。
7.在另一个示例方面，公开了一种处理视频数据的方法。该方法包括根据规则来执行视频和视频的比特流之间的转换。该规则指定比特流中包含帧间层参考图片ilrp的层的索引基于直接参考层的列表的逆序来确定。
8.在另一个示例方面，公开了一种处理视频数据的方法。该方法包括根据规则来执行视频的当前图片和视频的比特流之间的转换。该规则指定，响应于帧间层参考图片的层索引在转换中可推导，指定关于帧间层参考图片的直接参考层的列表的索引的第一语法元素不存在于比特流中。
9.在另一个示例方面，公开了一种处理视频数据的方法。该方法包括根据规则来执行视频的当前图片和视频的比特流之间的转换。该规则指定，指定关于帧间层参考图片的直接参考层的列表的索引的第一语法元素的值范围独立于包含当前图片的层的直接参考层的数量。
10.在另一个示例方面，公开了一种处理视频数据的方法。该方法包括根据规则来执行视频的当前图片和视频的比特流之间的转换。该规则指定包含帧间层参考图片ilrp的层的索引基于当前图片的层索引和帧间层参考图片的层索引之间的差来确定。
11.在另一个示例方面，公开了一种视频处理方法。该方法包括执行包括包含一个或
多个视频图片的一个或多个视频层的视频和视频的编解码表示之间的转换，其中编解码表示符合格式规则，格式规则指定指示帧间层参考图片是否用于转换的第一语法元素的第一值控制指示参考图片列表是否被包括在编解码表示中的第二语法元素的第二值或存在。
12.在另一个示例方面，公开了另一种视频处理方法。该方法包括执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的编解码表示之间的转换，其中编解码表示符合格式规则，格式规则指定，在第一语法元素指示参考图片列表的语法元素不包括在编解码表示中并且混合网络抽象层单元被允许在编解码表示中并且参考图片列表语法元素不包括在图片标头中的情况下，即时解码器参考图片类型网络抽象层单元的使用在编解码表示中被禁用。
13.在另一个示例方面，公开了另一种视频处理方法。该方法包括执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的编解码表示之间的转换，其中编解码表示符合格式规则，格式规则指定以下约束：(a)指示视频参数集中的给定层id的独立层激活标志的第一语法元素的值控制指示对帧间层参考图片的激活的第二语法元素的值，或者(b)指示序列参数集中的参考图片列表的数量的第一语法元素的值控制指示用于当前视频单元的转换的参考图片列表的第二语法元素的值。
14.在另一个示例方面，公开了另一种视频处理方法。该方法包括执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的编解码表示之间的转换，其中该转换根据规则，该规则指定在当前图片是编解码层视频序列的起始图片的情况下当前图片的参考列表中的帧间层图片被认为是长期参考图片。
15.在另一个示例方面，公开了另一种视频处理方法。该方法包括执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的编解码表示之间的转换，其中编解码表示符合格式规则，该格式规则指定在信令通知根据第一字段有条件地信令通知的帧间层图片的存在的第二字段之前信令通知指示参考图片列表信息的存在的第一字段。
16.在另一个示例方面，公开了另一种视频处理方法。该方法包括执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的编解码表示之间的转换，其中编解码表示符合格式规则，该格式规则指定，为了信令通知帧间层参考图片ilrp，ilrp图片所属的层的索引被信令通知给参考层列表的逆序列表。
17.在另一个示例方面，公开了另一种视频处理方法。该方法包括执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的编解码表示之间的转换，其中编解码表示符合指定使用参考层的逆序列表的索引来信令通知视频的编解码特性的格式规则。
18.在又一个示例方面，公开了一种视频编码器装置。视频编码器包括被配置为实施上述方法的处理器。
19.在又一个示例方面，公开了一种视频解码器装置。视频解码器包括被配置为实施上述方法的处理器。
20.在又一个示例方面，公开了一种存储有代码的计算机可读介质。该代码以处理器可执行代码的形式体现本文描述的方法之一。
21.这些以及其他特征将在本文档中描述。
附图说明
22.图1是示出根据本公开的一些实施例的视频编解码系统的框图；
23.图2是用于视频处理的一个示例硬件平台的框图；
24.图3是视频处理的一个示例方法的流程图；
25.图4是示出一个示例视频编解码系统的框图；
26.图5是示出根据本公开的一些实施例的一个编码器的框图；
27.图6是示出根据本公开的一些实施例的一个解码器的框图；
28.图7是根据本公开的一个或多个实施例的一种用于视频处理的方法的流程图表示；
29.图8是根据本公开的一个或多个实施例的另一种用于视频处理的方法的流程图表示；
30.图9是根据本公开的一个或多个实施例的另一种用于视频处理的方法的流程图表示；
31.图10是根据本公开的一个或多个实施例的另一种用于视频处理的方法的流程图表示；以及
32.图11是根据本公开的一个或多个实施例的又一种用于视频处理的方法的流程图表示。
具体实施方式
33.在本文档中使用章节标题以易于理解，并且不将每个章节中公开的技术和实施例的应用性仅限制于该章节。此外，在一些描述中使用h.266技术术语仅仅是为了易于理解，而不是为了限制所公开的技术的范围。因此，本文描述的技术也适用于其他视频编解码器协议和设计。
34.1.概述
35.本专利文档涉及视频编解码技术。具体地，它是关于参考图片列表的设计和定时信息的信令的一些改进。该思想可以单独或以各种组合应用于支持多层视频编解码的任何视频编解码标准或非标准视频编解码器，例如正在开发的多功能视频编解码(vvc)。
36.2.缩写
37.aps
ꢀꢀꢀꢀ
自适应参数集
38.au
ꢀꢀꢀꢀꢀ
接入单元
39.aud
ꢀꢀꢀꢀ
接入单元分隔符
40.avc
ꢀꢀꢀꢀ
高级视频编解码
41.clvs
ꢀꢀꢀ
编解码层视频序列
42.clvss
ꢀꢀ
clvs起始
43.cpb
ꢀꢀꢀꢀ
编解码图片缓冲区
44.cra
ꢀꢀꢀꢀ
完全随机接入
45.ctu
ꢀꢀꢀꢀ
编解码树单元
46.cvs
ꢀꢀꢀꢀ
编解码视频序列
47.dci
ꢀꢀꢀꢀ
解码能力信息
48.dpb
ꢀꢀꢀꢀ
解码图片缓冲区
49.eob
ꢀꢀꢀꢀ
比特流结尾
50.eos
ꢀꢀꢀꢀ
序列结尾
51.gdr
ꢀꢀꢀꢀ
逐步解码刷新
52.hevc
ꢀꢀꢀ
高效视频编解码
53.hrd
ꢀꢀꢀꢀ
假想参考解码器
54.idr
ꢀꢀꢀꢀ
即时解码刷新
55.ilp
ꢀꢀꢀꢀ
帧间层预测
56.ilrp
ꢀꢀꢀ
帧间层参考图片
57.jem
ꢀꢀꢀꢀ
联合探索模型
58.ltrp
ꢀꢀꢀ
长期参考图片
59.mcts
ꢀꢀꢀ
运动约束片集
60.nal
ꢀꢀꢀꢀ
网络抽象层
61.ols
ꢀꢀꢀꢀ
输出层集
62.ph
ꢀꢀꢀꢀꢀ
图片标头
63.pps
ꢀꢀꢀꢀ
图片参数集
64.ptl
ꢀꢀꢀꢀ
档次、层和级别
65.pu
ꢀꢀꢀꢀꢀ
图片单元
66.rap
ꢀꢀꢀꢀ
随机接入点
67.rbsp
ꢀꢀꢀ
原始字节序列有效载荷
68.sh
ꢀꢀꢀꢀꢀ
条带标头
69.sei
ꢀꢀꢀꢀ
辅助增强信息
70.sps
ꢀꢀꢀꢀ
序列参数集
71.strp
ꢀꢀꢀ
短期参考图片
72.svc
ꢀꢀꢀꢀ
可缩放视频编解码
73.vcl
ꢀꢀꢀꢀ
视频编解码层
74.vps
ꢀꢀꢀꢀ
视频参数集
75.vtm
ꢀꢀꢀꢀ
vvc测试模型
76.vui
ꢀꢀꢀꢀ
视频可用性信息
77.vvc
ꢀꢀꢀꢀ
多功能视频编解码
78.3.初步讨论
79.视频编解码标准主要是通过开发公知的itu-t和iso/iec标准而演变的。itu-t开发了h.261和h.263，iso/iec开发了mpeg-1和mpeg-4visual，并且两个组织联合开发了h.262/mpeg-2视频、h.264/mpeg-4高级视频编解码(advanced video coding，avc)和h.265/hevc标准。自h.262以来，视频编解码标准基于混合视频编解码结构，其中采用了时域预测加变换编解码。为探索hevc之外的未来视频编解码技术，vceg和mpeg于2015年联合成立了联合视频探索团队(joint video exploration team，jvet)。从那时起，jvet已经采用了许多新的方法，并将其放入了名为联合探索模型(joint exploration model，jem)的参考软件中。jvet会议每季度同时举行一次，新编解码标准的目标是与hevc相比降低50％
的比特率。新视频编解码标准在2018年4月的jvet会议上被正式命名为多功能视频编解码(vvc)，第一版vvc测试模型(vtm)也在当时发布。由于对vvc标准化的持续努力，新的编解码技术在每次jvet会议上都被采用到vvc标准中。vvc的工作草案和测试模型vtm在每次会议后都会更新。vvc项目现在的目标是在2020年7月的会议上技术上完成(fdis)。
80.3.1.参考图片管理和参考图片列表(rpl)
81.参考图片管理是使用帧间预测的任何视频编解码方案所必需的核心功能。它管理参考图片在解码图片缓冲区(dpb)中的存储和从dpb的移除，并且将参考图片按照它们正确的顺序放在rpl中。
82.hevc的参考图片管理，包括参考图片标记和从解码图片缓冲区(dpb)中的移除以及参考图片列表构建(rplc)，与avc的不同。代替avc中的基于滑动窗口加自适应存储器管理控制操作(mmco)的参考图片标记机制，hevc指定了基于所谓的参考图片集(rps)的参考图片管理和标记机制，rplc因此基于rps机制。rps由与图片相关联的参考图片集合组成，该参考图片集合由按照解码顺序在相关联图片之前的所有参考图片组成，其可以用于相关联图片或按照解码顺序在相关联图片之后的任何图片的帧间预测。参考图片集由五个参考图片列表组成。前三个列表包含可以用于当前图片的帧间预测并且可以用于按照解码顺序在当前图片之后的一个或多个图片的帧间预测的所有参考图片。其他两个列表由不用于当前图片的帧间预测但是可以用于按照解码顺序在当前图片之后的一个或多个图片的帧间预测的所有参考图片组成。rps提供了dpb状态的“帧内编解码”信令，而不是如avc中的“帧间编解码”信令，主要是为了提高容错性。hevc中的rplc过程基于rps，通过针对每个参考索引信令通知rps子集的索引；这个过程比avc中的rplc过程简单。
83.vvc中的参考图片管理比avc更类似于hevc，但是稍微更简单并且更稳健。如在那些标准中，推导了两个rpl，列表0和列表1，但是它们不基于在hevc中使用的参考图片集概念或者在avc中使用的自动滑动窗口过程；相反，它们更直接地被信令通知。针对rpl列出参考图片作为活动和非活动条目，并且仅活动条目可以在当前图片的ctu的帧间预测中用作参考索引。非活动条目指示要被保存在dpb中以由比特流中稍后到达的其他图片参考的其他图片。
84.3.2.hevc和vvc中的随机接入及其支持
85.随机接入是指从按照解码顺序不是比特流的第一个图片的图片开始接入和解码比特流。为了支持广播/多播和多方视频会议中的调谐和通道切换、本地回放和流媒体中的搜索、以及流媒体中的流自适应，比特流需要包括间隔近的随机接入点，其通常是帧内编解码图片，但也可以是帧间编解码图片(例如，在逐步解码刷新的情况下)。
86.hevc通过nal单元类型在nal单元标头中包括帧内随机接入点(irap)图片的信令。支持三种类型的irap图片，即即时解码器刷新(idr)、完全随机接入(cra)和断开链接接入(bla)图片。idr图片将帧间图片预测结构约束为不参考当前图片组(gop)之前的任何图片，该当前图片组(gop)传统上被称为封闭gop随机接入点。通过允许特定图片参考当前gop之前的图片，cra图片限制更少，其中在随机接入的情况下，所有图片都被丢弃。cra图片传统上被称为开放gop随机接入点。bla图片通常源于cra图片处两个比特流或其一部分的拼接，例如在流切换期间。为了更好地使得系统能够使用irap图片，总共定义了六个不同的nal单元以信令通知irap图片的属性，这可以用于更好地匹配在iso基本媒体文件格式(isobmff)
中定义的流接入点类型，该流接入点类型用于基于http的动态自适应流(dash)中的随机接入支持。
87.vvc支持三种类型的irap图片、两种类型的idr图片(一种类型具有或者另一种类型不具有相关联的radl图片)以及一种类型的cra图片。这些与hevc中基本相同。hevc中的bla图片类型不包括在vvc中，主要由于两个原因：i)bla图片的基本功能可以通过cra图片加上序列nal单元结尾来实现，其存在指示后续图片在单层比特流中开始新的cvs。ii)在开发vvc期间，期望指定比hevc更少的nal单元类型，如通过针对nal单元标头中的nal单元类型字段使用5比特而不是6比特所指示的。
88.vvc和hevc之间在随机接入支持中的另一个关键差异是vvc中以更规范的方式支持gdr。在gdr中，对比特流的解码可以从帧间编解码图片开始，尽管在开始时不是整个图片区域都可以被正确解码，但是在多个图片之后，整个图片区域将是正确的。使用恢复点sei消息来信令通知gdr随机接入点和恢复点，avc和hevc也支持gdr。在vvc中，新的nal单元类型被指定用于gdr图片的指示，并且恢复点在图片标头语法结构中被信令通知。允许cvs和比特流以gdr图片开始。这意味着允许整个比特流仅包含帧间编解码图片，而没有单个帧内编解码图片。以这种方式指定gdr支持的主要益处是提供gdr的一致性行为。gdr使得编码器能够通过在多个图片中分布帧内编解码的条带或块来平滑比特流的比特率，与对整个图片进行帧内编解码相反，从而允许显著的端到端延迟降低，随着如无线显示、在线游戏、基于无人机的应用的超低延迟应用变得更流行，这在当今被认为比以前更重要。
89.vvc中的另一个gdr相关特性是虚拟边界信令。gdr图片与其恢复点之间的图片处的刷新区域(即，正确解码的区域)和未刷新区域之间的边界可以被信令通知作为虚拟边界，并且当被信令通知时，将不会应用跨边界的环路滤波，因此将不会出现边界处或边界附近的一些样点的解码失配。当应用确定在gdr过程期间显示正确解码的区域时，这可以是有用的。
90.irap图片和gdr图片可以被统称为随机接入点(rap)图片。
91.3.3.参数集
92.avc、hevc和vvc指定了参数集。参数集的类型包括sps、pps、aps和vps。avc、hevc和vvc全部都支持sps和pps。vps从hevc开始引入，并且被包括在hevc和vvc中。aps没有被包括在avc或hevc中，但是被包括在最新的vvc草案文本中。
93.sps被设计为携带序列级别标头信息，并且pps被设计为携带不频繁改变的图片级别标头信息。利用sps和pps，不频繁改变的信息不需要针对每个序列或图片重复，因此可以避免该信息的冗余信令。此外，sps和pps的使用实现了重要标头信息的带外传输，因此不仅避免了对冗余传输的需要，还提高了容错性。
94.引入vps用于携带对多层比特流中的所有层共同的序列级别标头信息。
95.引入aps用于携带这样的图片级别或条带级别信息，该信息需要相当多的比特来编解码，可以由多个图片共享，并且在序列中可以有相当多的不同变化。
96.3.4.常规的以及vvc中的可缩放视频编解码(svc)
97.可缩放视频编解码(svc，有时也称为视频编解码中的可缩放性)是指使用基本层(bl)(有时被称为参考层(rl))和一个或多个可缩放增强层(el)的视频编解码。在svc中，基本层可以携带具有基本质量水平的视频数据。一个或多个增强层可以携带附加的视频数
据，以支持例如更高的空域、时域和/或信噪比(snr)水平。可以相对于先前编码的层来定义增强层。例如，底部层可以充当bl，而顶部层可以充当el。中间层可以充当el或rl，或者充当两者。例如，中间层(例如，既不是最低层也不是最高层的层)可以是中间层下方的层(诸如基本层或任何居间增强层)的el，并且同时充当中间层上方的一个或多个增强层的rl。类似地，在hevc标准的多视图或3d扩展中，可以有多个视图，并且一个视图的信息可以用于编解码(例如，编码或解码)另一个视图的信息(例如，运动估计、运动矢量预测和/或其他冗余)。
98.在svc中，由编码器或解码器使用的参数基于可以利用它们的编解码级别(例如，视频级别、序列级别、图片级别、条带级别等)被分组为参数集。例如，比特流中不同层的一个或多个编解码视频序列可以利用的参数可以被包括在视频参数集(vps)中，并且编解码视频序列中的一个或多个图片可以利用的参数可以被包括在序列参数集(sps)中。类似地，图片中的一个或多个条带利用的参数可以被包括在图片参数集(pps)中，并且特定于单个条带的其他参数可以被包括在条带标头中。类似地，可以在各种编解码级别提供特定层在给定时间使用哪个(哪些)参数集的指示。
99.由于vvc中对参考图片重采样(rpr)的支持，可以设计对包含多个层(例如，vvc中具有sd和hd分辨率的两个层)的比特流的支持，而不需要任何附加的信号处理级别编解码工具，因为空域可缩放性支持所需的上采样可以仅使用rpr上采样滤波器。然而，对于可缩放性支持，需要高级别语法改变(与不支持可缩放性相比)。在vvc版本1中指定了可缩放性支持。与任何更早的视频编解码标准(包括avc和hevc的扩展)中的可缩放性支持不同，vvc可缩放性的设计已经尽可能对单层解码器设计友好。多层比特流的解码能力以好像比特流中只有单个层的方式被指定。例如，诸如dpb尺寸的解码能力以独立于要被解码的比特流中的层的数量的方式被指定。基本上，为单层比特流设计的解码器不需要太多改变以能够解码多层比特流。与avc和hevc的多层扩展的设计相比，hls方面在牺牲一些灵活性的情况下得到显著简化。例如，要求irap au包含存在于cvs中的每个层的图片。
100.4.由所公开的技术解决方案解决的技术问题
101.最新的vvc文本中(jvet-r2001-va/v10中)的参考图片列表的现有设计有以下问题：
102.1)标志sps_idr_rpl_present_flag是为单层比特流设计的，用于在不需要改变sh的情况下合并idr和非idr图片。在多层上下文中，当sps_inter_layer_ref_pics_present_flag等于1时，使sps_idr_rpl_present_flag等于0是没有意义的，因为这将禁用增强层(el)图片中的idr条带(即，nal_unit_type等于idr_n_lp或idr_w_radl的条带)以包含rpl，并因此禁用要使用帧间层预测(ilp)编解码的el图片中的idr条带，而irap图片的ilp通常对可缩放性提供的编解码增益贡献最大。
103.2)对于pps_mixed_nalus_in_pic_flag等于1、pps_rpl_info_in_ph_flag等于0并且有nal_unit_type等于idr_w_radl或idr_n_lp的至少一个vcl nal单元的图片，sps_idr_rpl_present_flag的值必须等于1，使得图片中的idr条带将具有在sh中信令通知的rpl，否则为图片中的idr条带推导的rpl将为空，而为图片中的非idr条带推导的rpl不为空。
104.3)当vps_independent_layer_flag[generallayeridx[nuh_layer_id]]等于0时，如果sps_inter_layer_ref_pics_present_flag等于0，则nuh_layer_id等于sps的nuh_layer_id的非独立层将必须参考具有更低nuh_layer_id的sps。尽管这是可能的，然而，在
这种情况下，根本没有理由让这样的sps具有nuh_layer_id的值。因此，当vps_independent_layer_flag[generallayeridx[nuh_layer_id]]等于0时，要求sps_inter_layer_ref_pics_present_flag等于1是有意义的。
[0105]
4)当sps_num_ref_pic_lists[0]等于1并且rpl_sps_flag[0]等于1时的rpl_idx[0]的推断在需要时丢失。
[0106]
5)最新的vvc文本的条款8.3.2(用于参考图片列表构建的解码过程)包括sps_idr_rpl_present_flag等于0并且nal_unit_type等于idr_w_radl或idr_n_lp的条带的rplsidx[i]、num_ref_entries[i][rplsidx[i]]和numrefidxactive[i]的默认值的规范，因为当对于这样的条带，rpl为空时，将使用这些值。然而，当pps_rpl_info_in_ph_flag等于1时，ph包括rpl，因此当pps_rpl_info_in_ph_flag等于1时，不需要为以上变量和语法元素指定默认值。事实上，当pps_rpl_info_in_ph_flag等于1时，rpl可能不为空，因此默认值的这样的规范可能是不正确的。
[0107]
6)最新的vvc文本的条款8.3.2(用于参考图片列表构建的解码过程)包括以下约束：
[0108]-由当前图片的条带的refpiclist[0]或refpiclist[1]中的每个ilrp条目参考的图片应当存在于dpb中，应当具有小于当前图片的nuh_layer_id的nuh_layer_id refpiclayerid，并且应当是irap图片或者具有小于或等于max(0,vps_max_tid_il_ref_pics_plus1[currlayeridx][reflayeridx]-1)的temporalid，其中currlayeridx和reflayeridx分别等于generallayeridx[nuh_layer_id]和generallayeridx[refpiclayerid]。
[0109]
然而，ph_recovery_poc_cnt等于0的gdr图片也应该在约束中被考虑，类似于irap图片。
[0110]
7)在用于参考图片标记的解码过程中，如最新的vvc文本的条款8.3.3所指定的，由clvss图片参考的帧间层参考图片(如果有的话)不被标记为“用于长期参考”。这将导致解码过程中的问题，因为这将触发应用一些基于poc的缩放，这将导致调用除以零操作，因为irlp和当前图片的poc值是相同的。
[0111]
8)在一些情况下，信令通知图片速率信息(num_units_in_tick、time_scale等)在不需要信令通知完整的hrd模型(比特率、缓冲区尺寸、递送模型等)所必需的附加语法的情况下启用。然而，当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于0时，仍然在不需要时信令通知标志general_same_pic_timing_in_all_ols_flag。
[0112]
9)在最新的vvc文本中，ilrp通过语法元素ilrp_idx[listidx][rplsidx][i]信令通知，该语法元素指定ref_pic_list_struct(listidx，rplsidx)语法结构中的第i个条目的ilrp对于直接参考层的列表的索引。
[0113]
ilrp表示为refpiclayerid的层id然后被推导如下：
[0114]
layeridx＝directreflayeridx[generallayeridx[nuh_layer_id]][ilrp_idx[i][rplsidx][j]]
[0115]
refpiclayerid＝vps_layer_id[layeridx]
[0116]
然而，由于层的直接参考层以nuh_layer_id值的递增顺序来索引，虽然更有可能
使用更高的直接参考层而不是更低的直接参考层用于ilp，但是信令通知直接参考层的保留顺序列表的索引会更有效。
[0117]
10)在最新的vvc文本中，即使在当前层仅具有一个直接参考层时或者当仅最高直接参考层用于ilp时，语法元素ilrp_idx[listidx][rplsidx][i]也被信令通知，在这两种情况下都可以推导信息。
[0118]
11)在最新的vvc文本中，指定ilrp_idx[listidx][rplsidx][i]的值应当在0到numdirectreflayers[generallayeridx[nuh_layer_id]]-1的范围(包括0和numdirectreflayers[generallayeridx[nuh_layer_id]]-1)内。当ref_pic_list_struct()在sps中时，这里的nuh_layer_id是sps的nuh_layer_id。然而，如果sps由nuh_layer_id大于sps的nuh_layer_id的层中的图片参考，并且直接参考层的数量对于两个层是不同的，该怎么办？基本上，为了图片能够灵活地参考任何直接依赖层中的ilrp，它可能必须选择不参考这个特定的sps。换句话说，由于这个值范围规范，sps共享的机会减少了。
[0119]
5.技术解决方案和实施例的示例
[0120]
为了解决以上问题和其他问题，公开了如下总结的方法。这些项应该被认为是解释一般概念的示例，而不应该以狭隘的方式进行解释。此外，这些项可以被单独应用或者以任何方式组合。
[0121]
1)为了解决问题1，根据sps_inter_layer_ref_pics_present_flag来有条件地信令通知sps_idr_rpl_present_flag。
[0122]
a.在一个示例中，指定当sps_inter_layer_ref_pics_present_flag等于1时，sps_idr_rpl_present_flag被跳过并被推断为等于1。
[0123]
i.此外，可替代地，要求当vps_independent_layer_flag[generallayeridx[nuh_layer_id]]等于0时，sps_idr_rpl_present_flag的值等于1。
[0124]
b.可替代地，不根据sps_inter_layer_ref_pics_present_flag有条件地信令通知sps_idr_rpl_present_flag，要求当sps_inter_layer_ref_pics_present_flag等于1时，sps_idr_rpl_present_flag的值等于1。
[0125]
c.可替代地，不根据sps_inter_layer_ref_pics_present_flag有条件地信令通知sps_idr_rpl_present_flag，要求当vps_independent_layer_flag[generallayeridx[nuh_layer_id]]等于0时，sps_idr_rpl_present_flag的值等于1。
[0126]
d.可替代地，不根据sps_inter_layer_ref_pics_present_flag有条件地信令通知sps_idr_rpl_present_flag，要求当sps_inter_layer_ref_pics_present_flag等于1或者vps_independent_layer_flag[generallayeridx[nuh_layer_id]]等于0时，sps_idr_rpl_present_flag的值等于1。
[0127]
2)为了解决问题2，添加约束，使得当sps_idr_rpl_present_flag等于0，pps_mixed_nalus_in_pic_flag等于1，并且pps_rpl_info_in_ph_flag等于0，nal_unit_type的值不应当等于idr_w_radl或idr_n_lp。
[0128]
a.可替代地，添加约束，使得对于pps_mixed_nalus_in_pic_flag等于1、pps_rpl_info_in_ph_flag等于0并且有nal_unit_type等于idr_w_radl或idr_n_lp的至少一个vcl nal单元的图片，sps_idr_rpl_present_flag的值应当等于1。
[0129]
3)为了解决问题3，添加约束，使得当vps_independent_layer_flag
[generallayeridx[nuh_layer_id]]等于0时，sps_inter_layer_ref_pics_present_flag的值应当等于1。
[0130]
a.可替代地，指定sps_inter_layer_ref_pics_present_flag的值应当等于！vps_independent_layer_flag[generallayeridx[nuh_layer_id]]。
[0131]
4)为了解决问题4，添加当sps_num_ref_pic_lists[0]等于1并且rpl_sps_flag[0]等于1时的rpl_idx[0]的值的推断。
[0132]
a.在一个示例中，当sps_num_ref_pic_lists[0]等于1并且rpl_sps_flag[0]等于1时，rpl_idx[0]的值被推断为等于0。
[0133]
5)为了解决问题5，指定仅当pps_rpl_info_in_ph_flag等于0时，才设置或推断sps_idr_rpl_present_flag等于0并且nal_unit_type等于idr_w_radl或idr_n_lp的条带的rplsidx[i]、num_ref_entries[i][rplsidx[i]]和numrefidxactive[i]的默认值。
[0134]
6)为了解决问题6，关于对当前图片的条带的refpiclist[0]或refpiclist[1]中的ilrp条目的约束，以与irap图片相同的方式对待ph_recovery_poc_cnt等于0的gdr图片。
[0135]
7)为了解决问题7，在用于参考图片标记的解码过程中，指定在当前图片是clvss图片时，将refpiclist[0]或refpiclist[1]中的每个ilrp条目(当存在时)标记为“用于长期参考”。
[0136]
8)为了解决问题1，在sps语法中，在sps_inter_layer_ref_pics_present_flag之前信令通知sps_idr_rpl_present_flag，并且根据sps_idr_rpl_present_flag来有条件地信令通知sps_inter_layer_ref_pics_present_flag。
[0137]
a.在一个示例中，指定当sps_idr_rpl_present_flag等于0时，sps_inter_layer_ref_pics_present_flag被跳过并被推断为等于0。
[0138]
i.此外，可替代地，要求当sps_idr_rpl_present_flag的值等于0时，vps_independent_layer_flag[generallayeridx[nuh_layer_id]]等于1。
[0139]
b.可替代地，在sps语法中，在sps_inter_layer_ref_pics_present_flag之前信令通知sps_idr_rpl_present_flag，不根据sps_idr_rpl_present_flag有条件地信令通知sps_inter_layer_ref_pics_present_flag，要求当sps_idr_rpl_present_flag的值等于0时，sps_inter_layer_ref_pics_present_flag等于0。
[0140]
c.可替代地，在sps语法中，在sps_inter_layer_ref_pics_present_flag之前信令通知sps_idr_rpl_present_flag，不根据sps_idr_rpl_present_flag有条件地信令通知sps_inter_layer_ref_pics_present_flag，要求当sps_idr_rpl_present_flag等于0时，sps_inter_layer_ref_pics_present_flag的值等于0或者vps_independent_layer_flag[generallayeridx[nuh_layer_id]]等于1。
[0141]
d.可替代地，是否和/或如何信令通知sps_inter_layer_ref_pics_present_flag和/或sps_idr_rpl_present_flag可以依赖于存在于通用约束信息(gci)语法中的通用约束标志，例如intra_only_constraint_flag。
[0142]
9)为了解决问题8，当general_nal_hrd_params_present_flag和general_vcl_hrd_params_present_flag都等于0时，不信令通知标志general_same_pic_timing_in_all_ols_flag。
[0143]
10)为了解决问题9，对于ilrp的信令，信令通知包含ilrp的层对于直接参考层的
逆序列表的索引，而不信令通知包含ilrp的层对于直接参考层的列表的索引。
[0144]
a.在一个示例中，ilrp_idx[listidx][rplsidx][i]语法元素的语义被改变如下：[listidx][rplsidx][i]指定ref_pic_list_struct(listidx,rplsidx)语法结构中的第i个条目的ilrp对于直接参考层的列表的索引。ilrp_idx[listidx][rplsidx][i]的值应当在0到numdirectreflayers[generallayeridx[nuh_layer_id]]-1的范围(包括0和numdirectreflayers[generallayeridx[nuh_layer_id]]-1)内。
[0145]
i.此外，在一个示例中，ilrp表示为refpiclayerid的层id被推导如下：
[0146][0147]
refpiclayerid＝vps_layer_id[layeridx]
[0148]
b.此外，可替代地，是信令通知逆序列表中的索引还是信令通知直接参考层的索引可以依赖于比特流中的不同层是由一个相机捕获的相同视频内容的不同可缩放表示还是在其他语法元素中(例如，在dci、vps或sps的扩展中，在一个或多个新的独立nal单元中，或者在一个或多个sei消息中)信令通知的由不同内容捕获的不同视图等的信息。
[0149]
11)为了解决问题10，当可以推导ilrp的层id时，不为ilrp信令通知语法元素ilrp_idx[listidx][rplsidx][i]。
[0150]
c.在一个示例中，可以添加一个或多个语法元素来指示视频单元(例如，层/图片/条带)的特定层索引。
[0151]
i.在一个示例中，可以添加语法元素来指定仅允许一个特定层索引(如果有的话)。
[0152]
a)在一个示例中，特定层索引可以被定义为最高参考层、或最低参考层、或具有给定索引的层。
[0153]
a.此外，可替代地，特定层索引可以依赖于比特流中的不同层是由一个相机捕获的相同视频内容的不同可缩放表示还是在sei消息或其他语法元素中(诸如在dci、vps或sps的扩展中，或者在一个或多个新的独立nal单元中)信令通知的由不同内容捕获的不同视图等的信息。
[0154]
b)此外，可替代地，可以添加另一语法元素来指示哪个层要用于ilrp。
[0155]
c)此外，可替代地，添加的语法元素存在于sps/pps/ph/sh中。
[0156]
ii.此外，可替代地，是否信令通知或如何信令通知ilrp_idx可以依赖于添加的语法元素。
[0157]
d.在一个示例中，例如命名为sps_ilp_uses_only_the_highest_ref_layer_flag的标志被添加到sps语法。该标志等于1指定仅包含参考sps的当前图片的层的直接参考层(如果有的话)中的最高层可以被包括在当前图片的条带的参考图片列表中。sps_ilp_uses_only_the_highest_ref_layer_flag等于0指定这样的约束可以或者可以适用。
[0158]
i.此外，在一个示例中，当包含参考sps的图片的所有层仅具有一个直接参考层
时，sps_ilp_uses_only_the_highest_ref_layer_flag的值应当等于1。
[0159]
a)可替代地，当nuh_layer_id等于sps的nuh_layer_id的层仅具有一个直接参考层时，sps_ilp_uses_only_the_highest_ref_layer_flag的值应当等于1。
[0160]
ii.此外，在一个示例中，当sps_ilp_uses_only_the_highest_ref_layer_flag等于1时，不信令通知语法元素[listidx][rplsidx][i]。
[0161]
a)此外，在一个示例中，当sps_ilp_uses_only_the_highest_ref_layer_flag等于1时，[listidx][rplsidx][i]的值被推断为等于
[0162]
numdirectreflayers[generallayeridx[nuh_layer_id]]-1。
[0163]
e.在一个示例中，例如命名为sps_ilp_uses_only_the_lowest_ref_layer_flag的标志被添加到sps语法。该标志等于1指定仅包含参考sps的当前图片的层的直接参考层(如果有的话)中的最低层可以被包括在当前图片的条带的参考图片列表中。sps_ilp_uses_only_the_lowest_ref_layer_flag等于0指定这样的约束可以或者可以适用。
[0164]
i.此外，在一个示例中，当包含参考sps的图片的所有层仅具有一个直接参考层时，sps_ilp_uses_only_the_lowest_ref_layer_flag的值应当等于1。
[0165]
a)可替代地，当nuh_layer_id等于sps的nuh_layer_id的层仅具有一个直接参考层时，sps_ilp_uses_only_the_lowest_ref_layer_flag的值应当等于1。
[0166]
ii.此外，在一个示例中，当sps_ilp_uses_only_the_lowest_ref_layer_flag等于1时，不信令通知语法元素[listidx][rplsidx][i]。
[0167]
a)此外，在一个示例中，当sps_ilp_uses_only_the_lowest_ref_layer_flag等于1时，[listidx][rplsidx][i]的值被推断为等于0。
[0168]
12)为了解决问题9和10，对于ilrp的信令，信令通知或推断包含ilrp的层对于直接参考层的逆序列表的索引，而不信令通知或推断包含ilrp的层对于直接参考层的列表的索引。当已知仅包含参考sps的当前图片的层的直接参考层(如果有的话)中的特定(例如，最高层或最低层)层可以被包括在当前图片的条带的参考图片列表中时，不信令通知而推断索引。
[0169]
f.在一个示例中，当已知仅包含参考sps的当前图片的层的直接参考层(如果有的话)中的最高层可以被包括在当前图片的条带的参考图片列表中时，索引被推断为等于0(而不是等于numdirectreflayers[generallayeridx[nuh_layer_id]]-1)。
[0170]
g.此外，可替代地，当不存在时，是否将索引解释为0或(numdirectreflayers[generallayeridx[nuh_layer_id]]
–
1)可以依赖于其他语法元素或sei消息，其例如指示比特流中的不同层是由一个相机捕获的相同视频内容的不同可缩放表示还是由不同内容捕获的不同视图等的信息。
[0171]
13)为了解决问题11，在一个示例中，指定ilrp_idx[listidx][rplsidx][i]的值范围独立于numdirectreflayers[generallayeridx[nuh_layer_id]]的值。
[0172]
h.在一个示例中，指定ilrp_idx[listidx][rplsidx][i]的值应当在0到vps_max_layers_minus1-1的范围(包括0和vps_max_layers_minus1-1)内。
[0173]
i.此外，在一个示例中，要求为当前条带推导的每个ilrp属于包含当前图片的当前层的直接参考层。
[0174]
14)为了解决问题11，在另一个示例中，对于ilrp的信令，代替信令通知包含ilrp的层对于逆序列表或仅直接参考层的列表的索引，信令通知当前图片和ilrp的层索引值之间的增量减1。
[0175]
i.在一个示例中，语法元素ilrp_idx[listidx][rplsidx][i]被替换为layer_idx_delta_minus1[listidx][rplsidx][i]，具有以下语义：[listidx][rplsidx][i]加1指定当前图片的层索引和ref_pic_list_struct(listidx,rplsidx)语法结构中的第i个条目的ilrp的层索引之间的差。layer_idx_delta_minus1[listidx][rplsidx][i]的值应当在0到vps_max_layers_minus-1的范围(包括0和vps_max_layers_minus-1)内。
[0176]
i.此外，在一个示例中，ilrp表示为refpiclayerid的层id
[0177]
被推导如下：
[0178][0179]
[[layeridx＝directreflayeridx[generallayeridx[nuh_layer_id]][ilrp_idx[i][rplsidx][j]]]]
[0180]
refpiclayerid＝vps_layer_id[layeridx]
[0181]
ii.此外，在一个示例中，要求为当前条带推导的每个ilrp属于包含当前图片的当前层的直接参考层。
[0182]
15)为了解决问题9-11，现有或新添加的语法元素的信令和/或现有或新添加的语法元素的语义/推导可以依赖于其他语法元素和/或sei消息(例如，指定它是多视图编解码还是其他情况)。
[0183]
6.实施例
[0184]
以下是上面第4节中总结的本发明的一些方面的一些示例实施例，其可以被应用于vvc规范。已经被添加或修改的最相关部分以粗体斜体加下划线，并且删除的部分中的一些使用[[]]指示。
[0185]
6.1.第一实施例
[0186]
该实施例针对第1、1.a、2、2a、3、4、4.a、5、6和7项。
[0187]
7.3.2.3序列参数集rbsp语法
[0188][0189]
7.4.2.2 nal单元标头语义
[0190]
...
[0191]
nal_unit_type的值对于子图片的所有vcl nal单元应当是相同的。子图片被称为具有与子图片的vcl nal单元相同的nal单元类型。
[0192][0193]
当图片中的任何两个子图片具有不同的nal单元类型时，对于包含至少一个p条带或b条带的图片中的所有子图片，sps_subpic_treated_as_pic_flag[]的值应当等于1。
[0194]
...
[0195]
7.4.3.3序列参数集rbsp语义
[0196]
...
[0197]
等于0指定没有ilrp用于clvs中的任何编解码图片的帧间预测。sps_inter_layer_ref_pics_present_flag等于1指定ilrp可以用于clvs中的一个或多个编解码图片的帧间预测。当sps_video_parameter_set_id等于0时，sps_inter_layer_ref_pics_present_flag的值被推断为等于0。[[当vps_independent_layer_flag[generallayeridx[nuh_layer_id]]等于1时，sps_inter_layer_ref_pics_present_flag的值应当等于0。g的值应当等于0。
[0198]
等于1指定参考图片列表语法元素可以存在于idr图片的条带标头中。sps_idr_rpl_present_flag等于0指定参考图片列表语法元素不存在于idr图片的条带标头中。idr图片的条带标头中。
[0199]
...
[0200]
7.4.9参考图片列表语义
[0201]
...
[0202]
[i]指定用于推导当前图片的参考图片列表i的listidx等于i的ref_pic_list_struct(listidx,rplsidx)语法结构在sps中包括的listidx等于i的ref_pic_list_struct(listidx,rplsidx)语法结构的列表中的索引。语法元素rpl_idx[i]由ceil(log2(sps_num_ref_pic_lists[i]))比特表示。rpl_idx[i]的值应当在0到sps_num_ref_pic_lists[i]-1的范围(包括0和sps_num_ref_pic_lists[i]-1)内。
[0203]
当不存在时，不存在时，
[0204]
–
[[如果rpl_sps_flag[i]等于1]]并且pps_rpl1_idx_present_flag等于0，则rpl_idx[1]的值被推断为等于rpl_idx[0]。
[0205]
–
否则[[rpl_idx[1]]]的值被推断为等于0。
[0206]
变量rplsidx[i]被推导如下：
[0207]
rplsidx[i]＝rpl_sps_flag[i]？rpl_idx[i]:sps_num_ref_pic_lists[i] (150)
[0208]
...
[0209]
8.3.2用于参考图片列表构建的解码过程
[0210]
...
[0211]
如果sps_idr_rpl_present_flag等于0，并且nal_unit_type等于idr_w_radl或idr_n_lp，则参考图片列表refpiclist[0]和refpiclist[1]都被推导为空，即包含0个条目，并且对于等于0或1的每个i，以下适用：
[0212]
–
rplsidx[i]的值被设置为等于sps_num_ref_pic_lists[i]。
[0213]
–
num_ref_entries[i][rplsidx[i]]的值被推断为等于0。
[0214]
–
numrefidxactive[i]的值被设置为等于0。
[0215]
...
[0216]
–
[[由当前图片的条带的refpiclist[0]或refpiclist[1]中的每个ilrp条目参考的图片应当与当前图片在相同的au中。]]
[0217]
–
所有以下约束适用于由当前图片的条带的refpiclist[0]或refpiclist[1]中的每个ilrp条目(当存在时)参考的图片：
[0218]
ο
[0219]
ο图片应当存在于dpb中。
[0220]
ο图片应当具有小于当前图片的nuh_layer_id的nuh_layer_idrefpiclayerid。
[0221]
ο以下约束中的任一个适用：
[0222]
ο图片应当是irap图片。
[0223]
ο图片应当具有小于或等于max(0，vps_max_tid_il_ref_pics_plus1[currlayeridx][reflayeridx]-1)的temporalid，其中currlayeridx和reflayeridx分别等于generallayeridx[nuh_layer_id]和generallayeridx[refpiclayerid]。
[0224]
–
条带的refpiclist[0]或refpiclist[1]中的每个ilrp条目(当存在时)应当是活动条目。
[0225]
...
[0226]
8.3.3用于参考图片标记的解码过程
[0227]
...
[0228]
如果当前图片是clvss图片，则以下适用：
[0229]
–
当前在dpb中的具有与当前图片相同的nuh_layer_id的所有参考图片(如果有的话)被标记为“未用于参考”。
[0230]
––
[0231]
否则(当前图片不是clvss图片)，以下适用：
[0232]
–
对于refpiclist[0]或refpiclist[1]中的每个ltrp条目，当图片是具有与当前图片相同的nuh_layer_id的strp时，图片被标记为“用于长期参考”。
[0233]
–
不由refpiclist[0]或refpiclist[1]中的任何条目参考的、dpb中具有与当前图片相同的nuh_layer_id的每个参考图片被标记为“未用于参考”。
[0234]
–
对于refpiclist[0]或refpiclist[1]中的每个ilrp条目，图片被标记为“用于长期参考”。
[0235]
6.2.第二实施例
[0236]
该实施例针对第11项。
[0237]
语法和语义改变如下：
[0238][0239][0240]
...
[0241]
[0242]
...
[0243][0244]
...
[0245]
[listidx][rplsidx][i]指定ref_pic_list_struct(listidx,rplsidx)语法结构中的第i个条目的ilrp对于直接参考层的列表的索引。ilrp_idx[listidx][rplsidx][i]的值应当在0到numdirectreflayers[generallayeridx[nuh_layer_id]]-1的范围(包括0和numdirectreflayers[generallayeridx[nuh_layer_id]]-1)内。1)内。1)内。
[0246]
...
[0247]
6.3.第三实施例
[0248]
该实施例针对第10、11和12项。
[0249]
语法和语义改变如下：
[0250][0251]
...
[0252][0253]
...
[0254][0255][0256]
...
[0257]
[listidx][rplsidx][i]指定ref_pic_list_struct(listidx,rplsidx)语法结构中的第i个条目的ilrp对于直接参考层的列表的索引。ilrp_idx[listidx][rplsidx][i]的值应当在0到numdirectreflayers[generallayeridx[nuh_layer_id]]-1
的范围(包括0和numdirectreflayers[generallayeridx[nuh_layer_id]]-1)内。1)内。
[0258]
...
[0259]
将最新的vvc草案文本中的公式205改变如下：
[0260]
...
[0261]
layeridx＝
[0262]
directreflayeridx[generallayeridx[nuh_layer_id]][ilrp_idx[i][rplsidx][j]]
[0263]
refpiclayerid＝vps_layer_id[layeridx]
[0264]
...
[0265]
6.4.第四实施例
[0266]
该实施例针对第13项。
[0267]
语法和语义改变如下：
[0268][0269][0270]
...
[0271]
[[[listidx][rplsidx][i]指定ref_pic_list_struct(listidx,rplsidx)语法结构中的第i个条目的ilrp对于直接参考层的列表的索引。ilrp_idx[listidx][rplsidx][i]的值应当在0到numdirectreflayers[generallayeridx[nuh_layer_id]]-1的范围(包括0和numdirectreflayers[generallayeridx[nuh_layer_id]]-1)内。]]
[0272][0273]
...
[0274]
将最新的vvc草案文本中的公式205改变如下：
[0275]
...
[0276][0277]
[[layeridx＝directreflayeridx[generallayeridx[nuh_layer_id]][ilrp_idx[i][rplsidx][j]]]]
[0278]
refpiclayerid＝vps_layer_id[layeridx]
[0279]
图1是示出可以在其中实施本文公开的各种技术的示例视频处理系统1900的框图。各种实施方式可以包括系统1900的一些或所有组件。系统1900可以包括用于接收视频内容的输入1902。视频内容可以以例如8或10比特多分量像素值的原始或未压缩格式而接收，或者可以是压缩或编码格式。输入1902可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(pon)等的有线接口和诸如wi-fi或蜂窝接口的无线接口。
[0280]
系统1900可以包括可以实施本文档中描述的各种编解码或编码方法的编解码组件1904。编解码组件1904可以将来自输入1902的视频的平均比特率减小到编解码组件1904的输出，以产生视频的编解码表示。编解码技术因此有时被称为视频压缩或视频转码技术。编解码组件1904的输出可以被存储，或者经由如组件1906所表示的通信连接来发送。在输入1902处接收的视频的存储或通信传送的比特流(或编解码)表示可以由组件1908用于生成像素值或传送到显示接口1910的可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是将理解，编解码工具或操作在编码器处被使用，并且反转编解码结果的对应的解码工具或操作将由解码器执行。
[0281]
外围总线接口或显示接口的示例可以包括通用串行总线(usb)、或高清晰度多媒体接口(hdmi)、或显示端口(displayport)等。存储接口的示例包括sata(串行高级技术附件)、pci、ide接口等。本文档中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型电脑、智能电话、或能够执行数字数据处理和/或视频显示的其他设备。
[0282]
图2是视频处理装置3600的框图。装置3600可以用于实施本文描述的一种或多种方法。装置3600可以体现在智能手机、平板电脑、计算机、物联网(iot)接收器等中。装置3600可以包括一个或多个处理器3602、一个或多个存储器3604和视频处理硬件3606。(多个)处理器3602可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)3604可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件3606可以用于在硬件电路系统中实施本文档中描述的一些技术。
[0283]
图4是示出可以利用本公开的技术的示例视频编解码系统100的框图。
[0284]
如图4所示，视频编解码系统100可以包括源设备110和目标设备120。源设备110生成编码视频数据，其中该源设备110可以被称为视频编码设备。目标设备120可以解码由源设备110生成的编码视频数据，其中该目标设备120可以被称为视频解码设备。
[0285]
源设备110可以包括视频源112、视频编码器114和输入/输出(i/o)接口116。
[0286]
视频源112可以包括源，诸如视频捕捉设备、从视频内容提供器接收视频数据的接口、和/或用于生成视频数据的计算机图形系统、或这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关数据。编解码图片是图片的编解码表示。相关数据可以包括序列参数集、图片参数集和其他语法结构。i/o接口116可以包括调制器/解调器(调制解调器)和/或发送器。编码视频数据可以通过网络130a经由i/o接口116直接发送到目标设备120。编码视频数据也可以存储在存储介质/服务器130b上，以供目标设备120访问。
[0287]
目标设备120可以包括i/o接口126、视频解码器124和显示设备122。
[0288]
i/o接口126可以包括接收器和/或调制解调器。i/o接口126可以从源设备110或存储介质/服务器130b获取编码视频数据。视频解码器124可以对编码视频数据进行解码。显示设备122可以向用户显示解码视频数据。显示设备122可以与目标设备120集成，或者可以在被配置为与外部显示设备接口的目标设备120的外部。
[0289]
视频编码器114和视频解码器124可以根据视频压缩标准进行操作，例如高效视频编解码(hevc)标准、多功能视频编解码(vvc)标准和其他当前和/或另外的标准。
[0290]
图5是示出视频编码器200的示例的框图，该视频编码器200可以是图4所示的系统100中的视频编码器114。
[0291]
视频编码器200可以被配置为执行本公开的任何或所有技术。在图5的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
[0292]
视频编码器200的功能组件可以包括分割单元201、预测单元202(其可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206)、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213和熵编码单元214。
[0293]
在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在示例中，预测单元202可以包括帧内块复制(ibc)单元。ibc单元可以执行ibc模式下的预测，其中至少一个参考图片是当前视频块所在的图片。
[0294]
此外，诸如运动估计单元204和运动补偿单元205的一些组件可以高度集成，但是出于解释的目的，在图9的示例中被单独表示。
[0295]
分割单元201可以将图片分割为一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。
[0296]
模式选择单元203可以基于误差结果选择编解码模式(例如，帧内或帧间)之一，并且将作为结果的帧内编解码块或帧间编解码块提供给残差生成单元207以生成残差块数据，以及提供给重构单元212以重构编码块以用作参考图片。在一些示例中，模式选择单元
203可以选择帧内和帧间预测模式的组合(ciip)，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以选择块的运动矢量的分辨率(例如，子像素或整数像素精度)。
[0297]
为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较，来生成当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲器213的除了与当前视频块相关联的图片之外的图片的解码样点，来确定当前视频块的预测视频块。
[0298]
运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作，例如，依赖于当前视频块是在i条带、p条带还是b条带中。
[0299]
在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以为当前视频块的参考视频块搜索列表0或列表1的参考图片。运动估计单元204然后可以生成指示列表0或列表1中的参考图片的参考索引，该参考索引包含参考视频块和指示当前视频块和参考视频块之间的空域位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
[0300]
在其他示例中，运动估计单元204可以对当前视频块执行双向预测，运动估计单元204可以在列表0中的参考图片中搜索当前视频块的参考视频块，并且还可以在列表1中搜索当前视频块的另一个参考视频块。运动估计单元204然后可以生成参考索引，该参考索引指示包含参考视频块的列表0和列表1中的参考图片以及指示参考视频块和当前视频块之间的空域位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
[0301]
在一些示例中，运动估计单元204可以输出完整的运动信息集，以用于解码器的解码处理。
[0302]
在一些示例中，运动估计单元204可以不输出当前视频的完整的运动信息集。而是运动估计单元204可以参考另一个视频块的运动信息信令通知当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与邻近视频块的运动信息足够相似。
[0303]
在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中指示值，该值向视频解码器300指示当前视频块具有与另一个视频块相同的运动信息。
[0304]
在另一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(mvd)。运动矢量差指示当前视频块的运动矢量和所指示的视频块的运动矢量之间的差。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
[0305]
如上所讨论的，视频编码器200可以预测性地信令通知运动矢量。可以由视频编码器200实施的预测信令通知技术的两个示例包括高级运动矢量预测(amvp)和merge模式信令通知。
[0306]
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可以基于相同图片中的其他视频块的解码样点来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元
素。
[0307]
残差生成单元207可以通过从当前视频块中减去(例如，由减号指示)当前视频块的(多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括与当前视频块中样点的不同样点分量相对应的残差视频块。
[0308]
在其他示例中，例如在跳过模式下，对于当前视频块可能没有残差数据，并且残差生成单元207可能不执行减去操作。
[0309]
变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来为当前视频块生成一个或多个变换系数视频块。
[0310]
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(qp)值来量化与当前视频块相关联的变换系数视频块。
[0311]
逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重构残差视频块。重构单元212可以将重构后的残差视频块添加到来自预测单元202生成的一个或多个预测视频块的对应样点，以产生与当前块相关联的重构视频块，用于存储在缓冲器213中。
[0312]
在重构单元212重构视频块之后，可以执行环路滤波操作，以减少视频块中的视频块效应。
[0313]
熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收到数据时，熵编码单元214可以执行一个或多个熵编码操作，以生成熵编码数据，并输出包括该熵编码数据的比特流。
[0314]
图6是示出视频解码器300的示例的框图，该视频解码器300可以是图4所示的系统100中的视频解码器114。
[0315]
视频解码器300可以被配置为执行本公开的任何或所有技术。在图6的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
[0316]
在图6的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、重构单元306和缓冲器307。在一些示例中，视频解码器300可以执行通常与针对视频编码器200(图5)描述的编码过程相反的解码过程。
[0317]
熵解码单元301可以检索编码比特流。编码比特流可以包括熵编解码的视频数据(例如，视频数据的编码块)。熵解码单元301可以对熵编解码的视频数据进行解码，并且从熵解码的视频数据中，运动补偿单元302可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。运动补偿单元302可以例如通过执行amvp和merge模式来确定这样的信息。
[0318]
运动补偿单元302可以产生运动补偿块，可以基于插值滤波器执行插值。要以子像素精度使用的插值滤波器的标识符可以包括在语法元素中。
[0319]
运动补偿单元302可以使用如视频编码器200在视频块的编码期间所使用的插值滤波器来计算参考块的子整数像素的插值。运动补偿单元302可以根据所接收的语法信息确定视频编码器200使用的插值滤波器，并使用该插值滤波器来产生预测块。
[0320]
运动补偿单元302可以使用一些语法信息来确定用于对编码视频序列的(多个)帧
和/或(多个)条带进行编码的块的尺寸、描述编码视频序列的图片的每个宏块如何被分割的分割信息、指示每个分割如何被编码的模式、每个帧间编码块的一个或多个参考帧(和参考帧列表)、以及用于对编码视频序列进行解码的其他信息。
[0321]
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空域上相邻的块形成预测块。逆量化单元303对在比特流中提供并由熵解码单元301解码的量化后的视频块系数进行逆量化，即，反量化。逆变换单元303应用逆变换。
[0322]
重构单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的对应预测块相加，以形成解码块。如果需要，还可以应用去方块滤波器对解码块进行滤波，以便移除块效应。解码视频块然后被存储在缓冲器307中，为随后的运动补偿/帧内预测提供参考块，并且还产生解码视频以在显示设备上呈现。
[0323]
接下来提供一些实施例优选的解决方案的列表。
[0324]
以下解决方案示出了在前一节(例如，第1项)中讨论的技术的示例实施例。
[0325]
1.一种视频处理的方法(例如，图3中的方法600)，包括执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的编解码表示之间的转换(602)，其中编解码表示符合格式规则，格式规则指定指示帧间层参考图片是否用于转换的第一语法元素的第一值控制指示参考图片列表是否被包括在编解码表示中的第二语法元素的第二值或存在。
[0326]
2.根据解决方案1所述的方法，其中，在第一值为1的情况下，第二语法元素从编解码表示中省略并被推断为1。
[0327]
以下解决方案示出了在前一节(例如，第2项)中讨论的技术的示例实施例。
[0328]
3.一种视频处理方法，包括：执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的编解码表示之间的转换，其中编解码表示符合格式规则，格式规则指定，在第一语法元素指示参考图片列表的语法元素不包括在编解码表示中并且混合网络抽象层单元被允许在编解码表示中并且参考图片列表语法元素不包括在图片标头中的情况下，即时解码器参考图片类型网络抽象层单元的使用在编解码表示中被禁用。
[0329]
以下解决方案示出了在前一节(例如，第3、4项)中讨论的技术的示例实施例。
[0330]
4.一种视频处理方法，包括：执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的编解码表示之间的转换，其中编解码表示符合格式规则，格式规则指定以下约束：(a)指示视频参数集中的给定层id的独立层激活标志的第一语法元素的值控制指示对帧间层参考图片的激活的第二语法元素的值，或者(b)指示序列参数集中的参考图片列表的数量的第一语法元素的值控制指示用于当前视频单元的转换的参考图片列表的第二语法元素的值。
[0331]
5.根据解决方案4所述的方法，其中，第一语法元素和第二语法元素具有相反的二进制值。
[0332]
6.根据解决方案4所述的方法，其中，第一语法元素和第二语法元素具有相同的二进制值。
[0333]
以下解决方案示出了在前一节(例如，第7项)中讨论的技术的示例实施例。
[0334]
7.一种视频处理方法，包括：执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的编解码表示之间的转换，其中该转换根据规则，该规则指定在当前图片是编解码层视频序列的起始图片的情况下当前图片的参考列表中的帧间层图片被认为
是长期参考图片。
[0335]
以下解决方案示出了在前一节(例如，第8项)中讨论的技术的示例实施例。
[0336]
9.一种视频处理方法，包括：执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的编解码表示之间的转换，其中编解码表示符合格式规则，该格式规则指定，为了信令通知帧间层参考图片ilrp，ilrp图片所属的层的索引被信令通知给参考层列表的逆序列表。
[0337]
10.根据解决方案9所述的方法，其中，由于视频满足编解码条件，使用逆序列表。
[0338]
11.根据解决方案11所述的方法，其中，编解码条件包括捕获的视图信息或语法元素的信令或编解码表示中辅助增强信息的存在。
[0339]
12.一种视频处理方法，包括：执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的编解码表示之间的转换，其中编解码表示符合指定使用参考层的逆序列表的索引来信令通知视频的编解码特性的格式规则。
[0340]
13.根据解决方案12所述的方法，其中，编解码特性包括帧间层参考图片的标识。
[0341]
14.根据解决方案1-13中任一项所述的方法，其中，执行转换包括对视频进行编码以生成编解码表示。
[0342]
15.根据解决方案1-13中任一项所述的方法，其中，执行转换包括对编解码表示进行解析和解码以生成视频。
[0343]
16.一种视频解码装置，包括被配置为实施根据解决方案1至15中的一项或多项所述的方法的处理器。
[0344]
17.一种视频编码装置，包括被配置为实施根据解决方案1至15中的一项或多项所述的方法的处理器。
[0345]
18.一种存储有计算机代码的计算机程序产品，该代码在由处理器执行时使得处理器实施根据解决方案1至15中任一项所述的方法。
[0346]
19.一种本文档中描述的方法、装置或系统。
[0347]
图7是根据本公开的一个或多个实施例的用于视频处理的方法700的流程图表示。方法700包括，在操作710，根据规则来执行视频和视频的比特流之间的转换。比特流包括参考一个或多个参数集的一个或多个视频图片。一个或多个参数集中的至少一个包括包含定时和假想参考解码器hrd参数的通用语法结构。该规则指定，响应于(1)第二语法标志指定网络抽象层nal hrd参数不存在于通用语法结构中并且(2)第三语法标志指定视频编解码层vcl hrd参数不存在于通用语法结构中，第一语法标志不包括在通用语法结构中。第一语法标志指定相同的图片级别定时信息适用于比特流中的所有输出层集。
[0348]
在一些实施例中，第一语法标志被表示为general_same_pic_timing_in_all_ols_flag。在一些实施例中，一个或多个参数集包括视频参数集。在一些实施例中，一个或多个参数集包括序列参数集。
[0349]
图8是根据本公开的一个或多个实施例的用于视频处理的方法800的流程图表示。方法800包括，在操作810，根据规则来执行视频和视频的比特流之间的转换。该规则指定比特流中包含帧间层参考图片ilrp的层的索引基于直接参考层的列表的逆序来确定。
[0350]
在一些实施例中，直接参考层索引被表示为directreflayeridx。直接参考层的列表包括表示为numdirectreflayers的层的数量，并且层的索引被表示为layeridx＝
numdirectreflayers-1-directreflayeridx。在一些实施例中，索引不存在于比特流中，并且响应于仅包含参考序列参数集的当前图片的层的直接参考层中的特定层被包括在当前图片的条带的参考图片列表中而被推断。在一些实施例中，响应于特定层是直接参考层中的最高层，索引被推断为0。在一些实施例中，索引是否存在于比特流中和/或如何推断索引是基于关于视频的特性的信息。在一些实施例中，信息指示比特流中的不同层是相同内容的不同可缩放表示还是由不同内容捕获的不同视图。在一些实施例中，信息包括解码能力信息、视频参数集或序列参数集的扩展中或者一个或多个独立网络抽象层单元中的其他语法元素。
[0351]
图9是根据本公开的一个或多个实施例的用于视频处理的方法900的流程图表示。方法900包括，在操作910，根据规则来执行视频的当前图片和视频的比特流之间的转换。该规则指定，响应于帧间层参考图片的层索引在转换中可推导，指定关于帧间层参考图片的直接参考层的列表的索引的第一语法元素不存在于比特流中。
[0352]
在一些实施例中，比特流中的第二语法元素指定在比特流中允许至多一个层索引。在一些实施例中，至多一个层索引是最高参考层的索引、最低参考层的索引或者特定索引。在一些实施例中，特定索引基于关于视频的特性的信息。在一些实施例中，信息指示比特流中的不同层是相同内容的不同可缩放表示还是由不同内容捕获的不同视图。
[0353]
在一些实施例中，信息包括解码能力信息、视频参数集或序列参数集的扩展中或者一个或多个独立网络抽象层单元中的其他语法元素。在一些实施例中，比特流中的第三语法元素指定哪个层用于帧间层参考图片。在一些实施例中，第二语法元素或第三语法元素在序列参数集、图片参数集、图片标头或条带标头中。在一些实施例中，是否以及如何在比特流中包括第一语法元素是基于第二语法元素和/或第三语法元素。
[0354]
在一些实施例中，序列参数集中的第一语法标志等于1指定约束被实施。该约束指定仅包含参考序列参数集的当前图片的层的直接参考层中的最高层被包括在当前图片的条带的参考图片列表中。在一些实施例中，第一语法标志等于0指定约束不实施。在一些实施例中，响应于包含参考序列参数集的图片的所有层仅具有一个直接参考层，第一语法标志等于1。在一些实施例中，响应于具有与序列参数集相同的层标识符的层仅具有一个直接参考层，第一语法标志等于1。在一些实施例中，响应于第一语法标志等于1，第一语法元素不存在于比特流中。在一些实施例中，响应于第一语法标志等于1，语法元素被推断为直接参考层的数量减1。
[0355]
在一些实施例中，序列参数集中的第二语法标志等于1指定约束被实施。该约束指定仅包含参考序列参数集的当前图片的层的直接参考层中的最低层被包括在当前图片的条带的参考图片列表中。在一些实施例中，第二语法标志等于0指定约束不实施。在一些实施例中，响应于包含参考序列参数集的图片的所有层仅具有一个直接参考层，第二语法标志等于1。在一些实施例中，响应于具有与序列参数集相同的层标识符的层仅具有一个直接参考层，第二语法标志等于1。在一些实施例中，响应于第一语法标志等于1，第一语法元素不存在于比特流中。在一些实施例中，响应于第一语法标志等于1，语法元素被推断为0。
[0356]
图10是根据本公开的一个或多个实施例的用于视频处理的方法1000的流程图表示。方法1000包括，在操作1010，根据规则来执行视频的当前图片和视频的比特流之间的转换。该规则指定，指定关于帧间层参考图片的直接参考层的列表的索引的第一语法元素的
值范围独立于包含当前图片的层的直接参考层的数量。
[0357]
在一些实施例中，该规则指定第一语法元素的值范围为[0，视频参数集中的层的最大数量-1]。在一些实施例中，为属于包含当前图片的当前层的直接参考层的当前条带推导每个帧间层参考图片。
[0358]
图11是根据本公开的一个或多个实施例的用于视频处理的方法1100的流程图表示。方法1100包括，在操作1110，根据规则来执行视频的当前图片和视频的比特流之间的转换。该规则指定包含帧间层参考图片ilrp的层的索引基于当前图片的层索引和帧间层参考图片的层索引之间的差来确定。
[0359]
在一些实施例中，指定关于帧间层参考图片的直接参考层的列表的索引的第一语法元素被替换为第二语法元素。第二语法元素指定当前图片的层索引和帧间层参考图片的层索引之间的差。在一些实施例中，第二语法元素的值范围为[0，视频参数集中的层的最大数量-1]。在一些实施例中，为属于包含当前图片的当前层的直接参考层的当前条带推导每个帧间层参考图片。
[0360]
在一些实施例中，语法元素或语法标志中的一个或多个是否和/或如何存在于比特流中是基于指定多视图编解码是否适用的其他语法元素或信息。
[0361]
在一些实施例中，该转换包括将视频编码为比特流。在一些实施例中，该转换包括从比特流解码视频。
[0362]
本文档中描述的所公开的以及其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路中、或者在计算机软件、固件或硬件(包括本文档中公开的结构及其结构等同物)中、或者在它们中的一个或多个的组合中被实施。所公开的以及其他实施例可以被实施为一个或多个计算机程序产品，即在计算机可读介质上编码的计算机程序指令的一个或多个模块，该计算机程序指令用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或它们中的一个或多个的组合。术语“数据处理装置”包含用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。传播信号是被生成以对信息进行编码以用于发送到合适的接收器装置的人工生成的信号，例如机器生成的电信号、光学信号或电磁信号。
[0363]
计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写，并且其可以以任何形式部署，包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，存储在专用于所讨论的程序的单个文件中，或存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署为在一个计算机上或在位于一个站点上或跨多个站点分布并通过通信网络互连的多个计算机上执行。
[0364]
本文档书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑
流程也可以由专用逻辑电路执行，并且装置也可以被实施为专用逻辑电路，例如，fpga(现场可编程门阵列)或asic(专用集成电路)。
[0365]
适合于执行计算机程序的处理器包括例如通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或可操作地耦合以从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传递数据、或者从其接收数据并向其传递数据。然而，计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如eprom、eeprom和闪存设备；磁盘，例如内部硬盘或可换式盘；磁光盘；以及cd rom和dvd-rom盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
[0366]
虽然本专利文档包含许多细节，但这些细节不应被解释为对任何主题或可能要求保护的范围的限制，而是作为指定于特定技术的特定实施例的特征的描述。在本专利文档中在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以单独在多个实施例中或以任何合适的子组合实施。此外，尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。
[0367]
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为需要以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离。
[0368]
仅描述了一些实施方式和示例，并且可以基于本专利文档中描述和示出的内容来进行其他实施方式、增强和变化。