用于视频编解码中的高级语法的方法和设备与流程

用于视频编解码中的高级语法的方法和设备
1.相关申请的交叉引用
2.本技术是基于以下申请并且要求享受以下申请的优先权：于2020年3月31日递交的临时申请no.63/003,229，该申请的全部内容通过引用的方式整体地并入本文中以用于所有目的。
技术领域
3.本公开内容涉及视频编解码和压缩。更具体地，本技术涉及用于适用于一种或多种视频编解码标准的视频比特流中的高级语法的方法和装置。


背景技术：

4.各种视频编解码技术可以用于对视频数据进行压缩。根据一种或多种视频编解码标准来执行视频编解码。例如，视频编解码标准包括通用视频编解码(vvc)、联合探索测试模型(jem)、高效视频编解码(h.265/hevc)、高级视频编解码(h.264/avc)、运动图像专家组(mpeg)编解码等。视频编解码通常使用利用在视频图像或序列中存在的冗余的预测方法(例如，帧间预测、帧内预测等)。视频编解码技术的一个重要目标是将视频数据压缩成使用较低比特率的形式，同时避免或最小化对视频质量的降级。


技术实现要素：

5.本公开内容的示例提供了用于视频编解码中的高级语法编解码的方法和装置。
6.根据本公开内容的第一方面，提供了一种用于对视频信号进行解码的方法。所述方法可以包括：接收序列参数集(sps)级别中的经排列的分区约束语法元素。所述经排列的分区约束语法元素可以被排列为使得与帧内预测相关的语法元素可以是在与帧间预测相关的语法元素之前被定义的。所述解码器还可以获得与比特流中的视频块相关联的第一参考图片i
(0)
和第二参考图片i
(1)
。按照显示顺序，所述第一参考图片i
(0)
可以是在当前图片之前，并且所述第二参考图片i
(1)
可以是在所述当前图片之后。所述解码器还可以根据所述第一参考图片i
(0)
中的参考块来获得所述视频块的第一预测样本i
(0)
(i,j)。i和j可以表示具有所述当前图片的一个样本的坐标。所述解码器还可以根据所述第二参考图片i
(1)
中的参考块来获得所述视频块的第二预测样本i
(1)
(i,j)。所述解码器还可以基于所述经排列的分区约束语法元素、所述第一预测样本i
(0)
(i,j)和所述第二预测样本i
(1)
(i,j)来获得双向预测样本。
7.根据本公开内容的第二方面，提供了一种计算设备。所述计算设备可以包括：一个或多个处理器；非暂时性计算机可读存储介质，其存储可由所述一个或多个处理器执行的指令。所述一个或多个处理器可以被配置为：接收sps级别中的经排列的分区约束语法元素。所述经排列的分区约束语法元素可以被排列为使得与帧内预测相关的语法元素可以是在与帧间预测相关的语法元素之前被定义的。所述一个或多个处理器还可以被配置为获得与比特流中的视频块相关联的第一参考图片i
(0)
和第二参考图片i
(1)
。按照显示顺序，所述
第一参考图片i
(0)
可以是在当前图片之前，并且所述第二参考图片i
(1)
可以是在所述当前图片之后。所述一个或多个处理器还可以被配置为根据所述第一参考图片i
(0)
中的参考块来获得所述视频块的第一预测样本i
(0)
(i,j)。i和j可以表示具有所述当前图片的一个样本的坐标。所述一个或多个处理器还可以被配置为根据所述第二参考图片i
(1)
中的参考块来获得所述视频块的第二预测样本i
(1)
(i,j)。所述一个或多个处理器还可以被配置为基于所述经排列的分区约束语法元素、所述第一预测样本i
(0)
(i,j)和所述第二预测样本i
(1)
(i,j)来获得双向预测样本。
8.根据本公开内容的第三方面，提供了一种具有存储在其中的指令的非暂时性计算机可读存储介质。当所述指令由所述装置的一个或多个处理器执行时，所述指令可以使得所述装置接收sps级别中的经排列的分区约束语法元素。所述经排列的分区约束语法元素可以被排列为使得与帧内预测相关的语法元素是在与帧间预测相关的语法元素之前被定义的。所述指令还可以使得所述装置获得与比特流中的视频块相关联的第一参考图片i
(0)
和第二参考图片i
(1)
。按照显示顺序，所述第一参考图片i
(0)
可以是在当前图片之前，并且所述第二参考图片i
(1)
可以是在当前图片之后。所述指令还可以使得所述装置根据所述第一参考图片i
(0)
中的参考块来获得所述视频块的第一预测样本i
(0)
(i,j)。i和j可以表示具有所述当前图片的一个样本的坐标。所述指令还可以使得所述装置根据所述第二参考图片i
(1)
中的参考块来获得所述视频块的第二预测样本i
(1)
(i,j)。所述指令还可以使得所述装置基于所述经排列的分区约束语法元素、所述第一预测样本i
(0)
(i,j)和所述第二预测样本i
(1)
(i,j)来获得双向预测样本。
9.应理解，上文的总体描述和下文的详细描述仅是示例性且解释性的，而并不旨在限制本公开内容。
附图说明
10.并入说明书中并且构成本说明书的一部分的附图示出了与本公开内容一致的示例，并且与说明书一起用于解释本公开内容的原理。
11.图1是根据本公开内容的示例的编码器框图。
12.图2是根据本公开内容的示例的解码器的框图。
13.图3a是示出根据本公开内容的一个示例的多类型树结构中的块分区的图。
14.图3b是示出根据本公开内容的一个示例的多类型树结构中的块分区的图。
15.图3c是示出根据本公开内容的一个示例的多类型树结构中的块分区的图。
16.图3d是示出根据本公开内容的一个示例的多类型树结构中的块分区的图。
17.图3e是示出根据本公开内容的一个示例的多类型树结构中的块分区的图。
18.图4是根据本公开内容的一个示例的用于对视频信号进行解码的方法。
19.图5是根据本公开内容的一个示例的用于对视频信号进行解码的方法。
20.图6是示出根据本公开内容的一个示例的与用户接口耦合的计算环境的图。
具体实施方式
21.现在将详细参考示例性实施例，其示例在附图中示出。以下描述涉及附图，其中除非另有说明，否则不同附图中的相同数字表示相同或类似的要素。在以下示例性实施例的
描述中阐述的实现并不表示与本公开内容一致的所有实现。相反，它们仅是与和本公开内容相关的方面一致的装置和方法的示例，如在所附的权利要求中所记载的。
22.在本公开内容中使用的术语仅用于描述特定实施例的目标，而并不旨在限制本公开内容。如在本公开内容和所附的权利要求中所使用的，除非上下文另有明确地指示，否则单数形式“一(a)”、“一个(an)”和“该(the)”也旨在包括复数形式。还应理解，本文中使用的术语“和/或”旨在表达并且包括相关联的列出的项目中的一者或多者的任何或所有可能组合。
23.应理解，尽管本文中可以使用术语“第一”、“第二”、“第三”等来描述各种信息，但是信息不应当受到这些术语的限制。这些术语仅用于将一类信息与另一类信息进行区分。例如，在不脱离本公开内容的范围的情况下，第一信息可以被称为第二信息；并且类似地，第二信息也可以被称为第一信息。如本文中所使用的，术语“如果”可以理解为意指“当
……
时”或“在
……
时”或“响应于判决”，这具体取决于上下文。
24.hevc标准的第一版本是在2013年10月定稿的，与上一代视频编解码标准h.264/mpeg avc相比，其提供了大约50％的比特率节省或等效的感知质量。尽管hevc标准提供了与其前身相比显著的编解码改进，但是有证据表明，与hevc相比，可以利用额外的编解码工具来实现更高的编解码效率。基于此，vceg和mpeg两者开始探索针对将来的视频编解码标准化的新的编解码技术。itu-t vecg和iso/iec mpeg于2015年10月成立了一个联合视频探索团队(jvet)，以开始对实现编解码效率的大幅增强的高级技术的重大研究。jvet通过在hevc测试模型(hm)之上集成若干额外的编解码工具来维护一个参考软件，其被称为联合探索模型(jem)。
25.在2017年10月，itu-t和iso/iec发布了关于具有超出hevc的能力的视频压缩的联合提案征集(cfp)。在2018年4月，在第10次jvet会议上接收到并且评估了23个cfp响应，其证实了与hevc相比的40％的压缩效率增益。基于这些评估结果，jvet启动了新项目以开发新一代视频编解码标准，其名为通用视频编解码(vvc)。在同一个月，建立了一个参考软件代码库(被称为vvc测试模型(vtm))以用于演示vvc标准的参考实现。
26.与hevc一样，vvc是构建在基于块的混合视频编解码框架之上的。
27.图1示出了用于vvc的基于块的视频编码器的总体图。具体而言，图1示出了典型的编码器100。编码器100具有视频输入110、运动补偿112、运动估计114、帧内/帧间模式决策116、块预测器140、加法器128、变换130、量化132、预测相关信息142、帧内预测118、图片缓冲器120、反量化134、逆变换136、加法器126、存储器124、环路内滤波器122、熵编解码138和比特流144。
28.在编码器100中，视频帧被分割为多个视频块以进行处理。对于每个给定视频块，基于帧间预测方法或帧内预测方法来形成预测。
29.将表示当前视频块(视频输入110的一部分)与其预测值(块预测值140的一部分)之间的差的预测残差从加法器128发送给变换130。然后，将变换系数从变换130发送给量化132以进行熵降低。然后，将量化系数馈送到熵编码138以生成已压缩视频比特流。如图1中所示，还通过熵编码138馈送来自帧内/帧间模式决策116的预测相关信息142(诸如视频块分割信息、运动矢量(mv)、参考图片索引和帧内预测模式)，并且将其保存到已压缩比特流144中。已压缩比特流144包括视频比特流。
30.在编码器100中，还需要与解码器相关的电路，以便重建像素以用于预测目的。首先，通过反量化134和逆变换136来重建预测残差。该已重建预测残差与块预测值140组合以生成用于当前视频块的未经滤波的重建像素。
31.空间预测(或“帧内预测”)使用来自与当前视频块相同的视频帧中的已编码相邻块(其被称为参考样本)的样本的像素来预测当前视频块。
32.时间预测(也被称为“帧间预测”)使用来自已编码的视频图片的重建像素来预测当前视频块。时间预测减少了在视频信号中固有的时间冗余。用于给定编解码单元(cu)或编解码块的时间预测信号通常通过一个或多个mv用信号通知，其指示当前cu与其时间参考之间的运动量和运动方向。此外，如果支持多个参考图片，则另外发送一个参考图片索引，该索引用于标识时间预测信号来自参考图片存储单元中的哪个参考图片。
33.运动估计114获取视频输入110以及来自图片缓冲器120的信号，并且将运动估计信号输出到运动补偿112。运动补偿112获取视频输入110、来自图片缓冲器120的信号以及来自运动估计114的运动估计信号，并且将运动补偿信号输出到帧内/帧间模式决策116。
34.在执行空间和/或时间预测之后，编码器100中的帧内/帧间模式决策116例如基于率失真优化方法来选择最佳预测模式。然后，从当前视频块中减去块预测值140，并且使用变换130和量化132来将所得到的预测残差解相关。所得到的量化残差系数由反量化134进行反量化，并且由逆变换136进行逆变换以形成重建残差，然后将重建残差加回预测块以形成cu的重建信号。此外，可以在重建cu被放入图片缓冲器120的参考图片存储单元中并且用于对将来视频块进行编解码之前，将环路内滤波122(例如，去块滤波器、样本自适应偏移(sao)和/或自适应环路内滤波器(alf))应用于重建cu。为了形成输出视频比特流144，编码模式(帧间或帧内)、预测模式信息、运动信息和量化残差系数全部被发送给熵编码单元138以进一步压缩和打包以形成比特流。
35.图1给出了通用的基于块的混合视频编码系统的框图。逐块(被称为编码单元(cu))地处理输入视频信号。在vtm-1.0中，cu可以多达128x128像素。然而，与仅基于四叉树分割块的hevc不同，在vvc中，一个编码树单元(ctu)被拆分为cu，以适应基于四叉树/二叉树/三叉树的不同局部特性。此外，去除了hevc中多分区单元类型的概念，即在vvc中不再存在cu、预测单元(pu)和变换单元(tu)的区分；相反，每个cu始终用作用于预测和变换的基本单元，而无需进一步分割。在多类型树结构中，首先用四叉树结构对一个ctu进行分割。然后，每个四叉树叶节点可以通过二叉树和三叉树结构进一步分割。
36.如图3a、3b、3c、3d和3e中所示，存在五种拆分类型，即四元分割、水平二元分割、垂直二元分割、水平三元分割和垂直三元分割。
37.图3a示出了根据本公开内容的多类型树结构中的块四元分区的图。
38.图3b示出了根据本公开内容的多类型树结构中的块垂直二元分区的图。
39.图3c示出了根据本公开内容的多类型树结构中的块水平二元分区的图。
40.图3d示出了根据本公开内容的多类型树结构中的块垂直三元分区的图。
41.图3e示出了根据本公开内容的多类型树结构中的块水平三元分区的图。
42.在图1中，可以执行空间预测和/或时间预测。空间预测(或“帧内预测”)使用来自同一视频图片/条带中的已编码相邻块(其被称为参考样本)的样本的像素来预测当前视频块。空间预测减少了视频信号中的固有的空间冗余。时间预测(也被称为“帧间预测”或“运
动补偿预测”)使用来自已编码视频图片的重建像素来预测当前视频块。时间预测减少了视频信号中的固有的时间冗余。用于给定cu的时间预测信号通常通过一个或多个运动矢量(mv)用信号通知，这些运动矢量指示当前cu与其时间参考之间的运动的量和方向。此外，如果支持多个参考图片，则另外发送一个参考图片索引，其用于标识时间预测信号来自参考图片存储单元中的哪个参考图片。在空间和/或时间预测之后，编码器中的模式决策块选择最佳预测模式，例如，基于率失真优化方法。然后，从当前视频块中减去预测块；并且使用变换和量化对预测残差进行解相关。对量化残差系数进行反量化和逆变换以形成重建残差，其然后被加回预测块以形成cu的重建信号。进一步地，可以在重建cu被放入参考图片存储单元并且用于对将来的视频块进行编码之前，将环路内滤波(诸如去块滤波器、样本自适应偏移(sao)和自适应环路内滤波器(alf))应用于重建cu。为了形成输出视频比特流，编码模式(帧间或帧内)、预测模式信息、运动信息和量化残差系数全部被发送给熵编码单元，以被进一步压缩和打包以形成比特流。
43.图2示出了用于vvc的视频解码器的总体框图。具体而言，图2示出了典型的解码器200框图。解码器200具有比特流210、熵解码212、反量化214、逆变换216、加法器218、帧内/帧间模式选择220、帧内预测222、存储器230、环路内滤波器228、运动补偿224、图片缓冲器226、预测相关信息234和视频输出232。
44.解码器200类似于驻留在图1的编码器100中的重建相关部分。在解码器200中，首先通过熵解码212对传入视频比特流210进行解码，以推导出量化系数级别和预测相关信息。然后，通过反量化214和逆变换216来处理量化系数级别，以获得重建预测残差。在帧内/帧间模式选择器220中实现的块预测值机制被配置为基于已解码的预测信息来执行帧内预测222或运动补偿224。通过使用加法器218来将来自逆变换216的重建预测残差和由块预测值机制生成的预测输出相加，获得未滤波的重建像素集合。
45.重建块在其被存储在充当参考图片存储单元的图片缓冲器226中之前，可以进一步通过环路内滤波器228。图片缓冲器226中的重建视频可以被发送以驱动显示设备，以及用于预测未来的视频块。在打开环路内滤波器228的情形下，对这些重建像素执行滤波操作以推导出最终重建视频输出232。
46.图2给出了基于块的视频解码器的总体框图。首先，在熵解码单元处对视频比特流进行熵解码。将编码模式和预测信息发送给空间预测单元(如果帧内编码的话)或时间预测单元(如果帧间编码的话)以形成预测块。将残差变换系数发送给反量化单元和逆变换单元以重建残差块。然后将预测块和残差块加到一起。在将重建块存储在参考图片存储单元中之前，重建块可以进一步通过环路内滤波。然后，将参考图片存储单元中的重建视频发出以驱动显示设备，以及用于预测将来的视频块。
47.通常，在vvc中应用的基本帧内预测方案与hevc的帧内预测方案保持相同，除了进一步扩展和/或改进了若干模块，例如，矩阵加权帧内预测(mip)编码模式、帧内子分区(isp)编码模式、具有广角帧内方向的扩展帧内预测、位置相关帧内预测组合(pdpc)和4抽头帧内插值。本公开内容的主要重点是改进vvc标准中的现有的高级语法设计。在以下部分中阐述了相关背景知识。
48.与hevc一样，vvc使用基于网络抽象层(nal)单元的比特流结构。已编码比特流被分割为nal单元，其在通过有损分组网络传送时应当小于最大传输单元大小。每个nal单元
由nal单元报头和随后的nal单元有效载荷组成。存在nal单元的的两个概念类别。包含已编码样本数据的视频编码层(vcl)nal单元(例如，已编码条带nal单元)，而包含元数据的非vcl nal单元通常属于一个以上的已编码图片，或者其中，与单个已编码图片的关联将没有意义(诸如参数集nal单元)，或者其中，解码过程不需要信息(诸如sei nal单元)。
49.在vvc中，引入了双字节nal单元报头，其中预期该设计足以支持将来扩展。分别在表1和表2中示出了当前vvc草案规范中的nal单元报头的语法和相关联的语义。如何阅读表1在本发明的附录部分中进行了说明，其也可以在vvc规范中找到。
50.表1.nal单元报头语法
[0051][0052]
表2.nal单元报头语义
[0053][0054][0055]
表3.nal单元类型代码以及nal单元类型类别
[0056]
[0057][0058]
vvc继承了hevc的参数集概念，其中具有一些修改和添加。参数集可以是视频比特流的一部分，或者可以是由解码器通过其它手段接收的(包括使用可靠信道的带外传输、编码器和解码器中的硬编解码等)。参数集包含直接或间接地从条带报头引用的标识，如稍后将详细讨论的。引用过程被称为“激活”。根据参数集类型，激活按图片或按序列进行。引入了通过引用的激活的概念，这是因为在带外传输的情况下，借助于信息在比特流中的位置的隐式激活(对于视频编解码器的其它语法元素来说是常见的)是不可用的，以及其它原因。
[0059]
引入了视频参数集(vps)来传送适用于多个层和子层的信息。引入了vps是为了解决这些缺点，以及实现多层编解码器的干净且可扩展的高级设计。给定视频序列的每个层(无论它们具有相同还是不同的序列参数集(sp))都引用相同的vps。在表4和表5中分别说明了当前vvc草案规范中的视频参数集的语法和相关联的语义。如何阅读表4在本发明的附录部分中进行了说明，其也可以在vvc规范中找到。
[0060]
表4.视频参数集rbsp语法
[0061]
[0062]
[0063][0064]
表5.视频参数集rbsp语义
[0065]
[0066]
[0067]
[0068]
[0069]
[0070]
[0071][0072]
在vvc中，sps包含适用于已编码视频序列的所有条带的信息。已编码视频序列从作为比特流中的第一个图片的即时解码刷新(idr)图片、或bla图片或cra图片开始，并且包括不是idr或bla图片的所有后续图片。比特流由一个或多个已编码视频序列组成。sps的内容大致可以分为六类：1)自引用(其自身id)；2)解码器操作点相关信息(简档、级别、图片大小、子层数量等)；3)启用简档内的用于某些工具的标志，以及在启用工具的情况下，启用相关联的编解码工具参数；4)限制结构的灵活性和变换系数编码的信息；5)时间可扩展性控制；以及6)视觉可用性信息(vui)，其包括hrd信息。在表6和表7分别示出了在当前vvc草案规范中的序列参数集的语法和相关联的语义。如何阅读表6在本发明的附录部分中进行了说明，其也可以在vvc规范中找到。
[0073]
表6.序列参数集rbsp语法
[0074]
[0075]
[0076]
[0077]
[0078]
[0079][0080]
表7.序列参数集rbsp语义
[0081]
[0082]
[0083]
[0084]
[0085]
[0086]
[0087]
[0088]
[0089]
[0090]
[0091]
[0092]
[0093]
[0094]
[0095][0096]
vvc的图片参数集(pps)包含可能逐图片变化的信息。pps包括与在hevc中的pps的部分大致相当的信息，包括：1)自参考；2)初始图片控制信息，诸如初始量化参数(qp)、指示条带报头中的某些工具或控制信息的使用或存在的多个标志；以及3)平铺信息。分别在表8和表9中示出了当前vvc草案规范中的序列参数集的语法和相关联的语义。如何阅读表8在本发明的附录部分进行说明，其也可以在vvc规范中找到。
[0097]
表8.图片参数集rbsp语法
[0098]
[0099]
[0100]
[0101][0102]
表9.图片参数集rbsp语义
[0103]
[0104]
[0105]
[0106]
[0107]
[0108]
[0109]
[0110]
[0111][0112]
条带报头包含可以逐条带改变的信息以及相对小或仅针对特定条带或图片类型相关的此类图片相关信息。条带报头的大小可以明显大于pps，特别是当在条带报头中存在瓦片或波前入口点偏移并且显式地用信号通知rps、预测权重或参考图片列表修改时。当前vvc草案规范中的序列参数集的语法和相关联的语义分别在表10和表11中示出。如何阅读表10在本发明的附录部分中进行了说明，其也可以在vvc规范中找到。
[0113]
表10.图片报头结构语法
[0114]
[0115]
[0116]
[0117]
[0118][0119]
表11.图片报头结构语义
[0120]
[0121]
[0122]
[0123]
[0124]
[0125]
[0126]
[0127]
[0128][0129]
对语法元素的改进
[0130]
在当前vvc中，当在一些地方分别存在用于帧内和帧间预测的类似语法元素时，与帧间预测相关的语法元素是在与帧内预测相关的语法元素之前被定义的。鉴于在所有图片/条带类型中允许帧内预测，而帧间预测并非如此的事实，这种顺序可能并不是优选的。从标准化角度来看，始终在定义用于帧间预测的语法之前定义与帧内预测相关的语法将是有益的。
[0131]
还观察到，在当前vvc中，一些彼此高度相关的语法元素是以扩散的方式被定义在不同的地方。从标准化角度来看，将一些语法分组在一起也将是有益的。
[0132]
提议的方法
[0133]
在本公开内容中，为了解决在“问题陈述”部分中指出的问题，提供了用于简化和/或进一步改进高级语法的现有设计的方法。应注意，所创新的方法可以独立地或联合地应用。
[0134]
按预测类型对分区约束语法元素进行分组
[0135]
在本公开内容中，提出了重新排列语法元素，使得在与帧间预测相关的语法元素之前定义与帧内预测相关的语法元素。根据本公开内容，分区约束语法元素是按预测类型来分组的，其中首先是与帧内预测相关的，之后跟随着与帧间预测相关的。在一个实施例中，sps中的分区约束语法元素的顺序与图片报头中的分区约束语法元素的顺序一致。在下面的表12中示出了vvc草案的解码过程的示例。使用粗体和斜体来示出对vvc草案的改变。从该过程中去除了删除线文本。
[0136]
表12.提议的序列参数集rbsp语法
[0137]
[0138][0139]
图4示出了根据本公开内容的用于对视频信号进行解码的方法。例如，该方法可以被应用于解码器。
[0140]
在步骤410中，解码器可以接收sps级别中的经排列的分区约束语法元素。经排列的分区约束语法元素被排列为使得在与帧间预测相关的语法元素之前定义与帧内预测相关的语法元素。
[0141]
在步骤412中，解码器可以获得比特流中的与视频块相关联的第一参考图片i
(0)
和第二参考图片i
(1)
。按照显示顺序，第一参考图片i
(0)
在当前图片之前，并且第二参考图片i
(1)
在当前图片之后。
[0142]
在步骤414中，解码器可以根据第一参考图片i
(0)
中的参考块来获得视频块的第一预测样本i
(0)
(i,j)。i和j表示具有当前图片的一个样本的坐标。
[0143]
在步骤416中，解码器可以根据第二参考图片i
(1)
中的参考块来获得视频块的第二预测样本i
(1)
(i,j)。
[0144]
在步骤418中，解码器可以基于经排列的分区约束语法元素、第一预测样本i
(0)
(i,
j)和第二预测样本i
(1)
(i,j)来获得双向预测样本。
[0145]
图5示出了根据本公开内容的用于对视频信号进行解码的方法。例如，该方法可以被应用于解码器。在步骤510中，解码器可以接收比特流，该比特流包括用于已编码视频数据的vps、sps、pps、图片报头和条带报头。在步骤512中，解码器可以对vps进行解码。在步骤514中，解码器可以对sps进行解码并且获得sps级别中的经排列的分区约束语法元素。在步骤516中，解码器可以对pps进行解码。在步骤518中，解码器可以对图片报头进行解码。在步骤520中，解码器可以对条带报头进行解码。在步骤522中，解码器可以基于vps、sps、pps、图片报头和条带报头来对视频数据进行解码。
[0146]
对双树色度语法元素进行分组
[0147]
在本公开内容中，提议对与双树色度类型相关的语法元素进行分组。在一个实施例中，sps中的用于双树色度的分区约束语法元素应当在双树色度情况下一起用信号通知。在下面的表13中示出了vvc草案的解码过程的示例。使用粗体和斜体来示出对vvc草案的改变。从该过程中去除了删除线文本。
[0148]
表13.提议的序列参数集rbsp语法
[0149]
[0150][0151]
如果还考虑在与帧间预测相关的语法之前定义与帧内预测相关的语法，则根据本公开内容的方法，在下面的表14中示出了vvc草案上的解码过程的另一示例。使用粗体和斜体来示出对vvc草案的改变。从该过程中去除了删除线文本。
[0152]
表14.提议的序列参数集rbsp语法
[0153][0154]
[0155]
有条件地用信号通知与帧间预测相关的语法元素
[0156]
如在前面的描述中提到的，根据当前vvc，允许在所有图片/条带类型中进行帧内预测，而帧间预测并非如此。根据本公开内容，提议了在特定编码级别的vvc语法中添加标志，以指示是否在序列、图片和/或条带中使用帧间预测。在不使用帧间预测的情况下，不在相应的编码级别(例如，序列、图片和/或条带级别)用信号通知与帧间预测相关的语法。
[0157]
在一个示例中，根据本公开内容的方法，在sps中添加标志，以指示在对当前视频序列进行编码时是否使用帧间预测。在未使用其的情况下，不在sps中用信号通知与帧间预测相关的语法元素。在下面的表15中示出了vvc草案上的解码过程。使用粗体和斜体来示出对vvc草案的改变。
[0158]
表15.提议的序列参数集rbsp语法
[0159][0160][0161]
7.4.3.3序列参数集rbsp语义
[0162]
sps_inter_slice_used_flag等于0指定视频序列的所有已编码条带具有等于2的slice_type。sps_inter_slice_used_flag等于1指定在视频序列中可以存在或可以不存在
具有等于0或1的slice_type的一个或多个已编码条带。
[0163]
可以使用包括一个或多个电路的装置来实现以上方法，一个或多个电路包括专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其它电子组件。该装置可以将这些电路与其它硬件或软件组件结合使用，以执行上述方法。可以使用一个或多个电路至少部分地实现上文公开的每个模块、子模块、单元或子单元。
[0164]
图6示出了与用户接口660耦合的计算环境610。计算环境610可以是数据处理服务器的一部分。计算环境610包括处理器620、存储器640和i/o接口650。
[0165]
处理器620通常控制计算环境610的整体操作，诸如与显示、数据获取、数据通信和图像处理相关联的操作。处理器620可以包括一个或多个处理器，其用于执行指令以执行上述方法中的步骤中的所有或一些步骤。此外，处理器620可以包括促进处理器620和其它组件之间的交互的一个或多个模块。处理器可以是中央处理单元(cpu)、微处理器、单片机、gpu等。
[0166]
存储器640被配置为存储各种类型的数据，以支持计算环境610的操作。存储器640可以包括预定软件642。此类数据的示例包括用于在计算环境610、视频数据集、图像数据等上操作的任何应用或方法的指令。存储器640可以通过使用任何类型的易失性或非易失性存储器设备或其组合来实现，诸如静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、闪存、磁盘或光盘。
[0167]
i/o接口650提供处理器620和外围接口模块(诸如键盘、点击轮、按钮等)之间的接口。这些按钮可以包括但不限于主页按钮、开始扫描按钮和停止扫描按钮。i/o接口650可以与编码器和解码器耦合。
[0168]
在一些实施例中，还提供了一种非暂时性计算机可读存储介质，其包括多个程序(诸如被包括在存储器640中)，其可由计算环境610中的处理器620执行以用于执行上述方法。例如，非暂时性计算机可读存储介质可以是rom、ram、cd-rom、磁带、软盘、光学数据存储设备等。
[0169]
非暂时性计算机可读存储介质具有存储在其中以供具有一个或多个处理器的计算设备执行的多个程序，其中，多个程序在由一个或多个处理器执行时使得计算设备执行用于运动预测的上述方法。
[0170]
在一些实施例中，可以利用用于执行以上方法的一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、图形处理单元(gpu)、控制器、微控制器、微处理器或其它电子组件来实现计算环境610。
[0171]
根据对本文公开的公开内容的说明书和实践的考虑，本公开内容的其它示例对于本领域技术人员而言将是显而易见的。本技术旨在涵盖本公开内容的任何变型、使用或适配，这些变型、使用或适配遵循本公开内容的一般原理并且包括与本公开内容的在本领域的已知实践或惯例的范围内的背离。旨在将本说明书和示例仅视为示例。
[0172]
将理解，本公开内容不限于上述和在附图中示出的确切示例，并且可以在不背离其范围的情况下进行各种修改和改变。