帧内预测模式分区的制作方法

1.本发明的至少一个实施例主要涉及一种用于视频编码(encoding)或解码(decoding)的方法或装置。


背景技术：

2.为了实现高压缩效率，图像和视频译码(coding)方案通常采用预测(包括空间和/或运动向量预测)以及变换以利用视频内容中的空间和时间冗余。通常，帧内或帧间预测用于利用帧内或帧间相关性，然后对通常表示为预测误差或预测残差的原始图像与预测图像之间的差异进行变换、量化和熵译码。为了重构视频，通过与熵译码、量化、变换和预测相对应的逆处理来对压缩数据进行解码。


技术实现要素：

3.现有技术的缺点和不利可以通过本文描述的主要方面来解决，其涉及编码和解码中的帧内预测模式分区(partitioning)。
4.根据第一方面，提供了一种用于编码视频数据块的方法。所述方法包括以下步骤：通过帧内预测来预测视频数据块的多个区域中的像素，其中相应区域使用不同的帧内预测模式；以及使用所述预测对所述多个区域进行编码。
5.根据第二方面，提供了一种用于编码视频数据块的方法。所述方法包括以下步骤：通过帧内预测来预测视频数据块的多个区域中的像素，其中相应区域使用不同的帧内预测模式；以及使用所述预测对所述多个区域进行编码。
6.根据另一方面，提供了一种装置。该装置包括处理器。所述处理器可经配置以通过执行上述方法中的任意者来编码视频的块或解码比特流。
7.根据至少一个实施例的另一个主要方面，提供了一种设备，该设备包括根据解码实施例中的任意者的装置；以及以下至少一者：(i)天线，被配置成接收信号，该信号包括所述视频块，(ii)频带限制器，被配置成将所接收的信号限制到包括所述视频块的频带，或(iii)显示器，被配置成显示表示视频块的输出。
8.根据至少一个实施例的另一个主要方面，提供了一种非暂时性计算机可读介质，其包含根据所描述的编码实施例或变型中的任意者成的数据内容。
9.根据至少一个实施例的另一个主要方面，提供了一种包括根据所描述的编码实施例或变型中的任意者生成的视频数据的信号。
10.根据至少一个实施例的另一个主要方面，比特流被格式化为包括根据所描述的编码实施例或变型中的任意者所生成的数据内容。
11.根据至少一个实施例的另一个主要方面，提供了一种包括指令的计算机程序产品，当计算机执行该程序时，该指令使该计算机执行所描述的解码实施例或变型中的任意者。
12.从以下结合附图阅读的示例性实施例的详细描述中，这些和其它方面、所述主要
方面的特征和优点将变得显而易见。
附图说明
13.图1示出了用于vtm中的帧内预测的参考样本。
14.图2示出了用于vtm中的帧内预测的多条参考行(reference line)。
15.图3示出了针对正方形目标块的vtm中的帧内预测方向。
16.图4示出了根据所描述的一般方面的对块进行划分的示例。
17.图5示出了根据所描述的一般方面的对块进行划分的另一示例。
18.图6示出了根据所描述的一般方面的对称的水平和垂直分割(split)成两部分。
19.图7示出了根据所描述一般方面的非对称水平分割。
20.图8示出了根据所描述的一般方面的利用垂直预测模式水平分割成三个或四个部分的示例。
21.图9示出了根据所描述的一般方面的模式分区中的帧内预测的示例。
22.图10示出了一块的示例，该块具有利用垂直预测模式的水平isp分区和利用水平预测模式的水平isp分区。
23.图11示出了根据所描述的主要方面的编码方法的一个实施例。
24.图12示出了根据所描述的主要方面的解码方法的一个实施例。
25.图13示出了用于使用帧内预测模式扩展进行编码或解码的装置的一个实施例。
26.图14示出了一般的标准编码方案。
27.图15示出了一般的标准解码方案。
28.图16示出了其中可以实现所描述的实施例的典型处理器布置。
具体实施方式
29.这里描述的实施例属于视频压缩领域，并且涉及视频压缩以及视频编码和解码。在通用视频译码(vvc)测试模型(vtm)中，帧内预测中的任何目标块可以具有67种预测模式之一。与hevc类似，一种是planar(平面)模式，一种是dc模式，并且剩余的65种是定向模式。该65个定向模式选自95个方向，如果目标块是正方形，则这其中包括从45度跨越到
‑
135度的65个规则角度，而当目标块是矩形时，可能包括28个宽角度方向。vtm使用最可能模式(mpm)集合对块的预测模式进行编码，所述最可能模式集合由6个预测模式组成。如果预测模式不属于mpm集合，那么以5或6个比特对其进行截断二进制编码。
30.诸如h.264/avc、hevc等的过去的视频译码标准以及未来出现的多功能视频译码(vvc)都采用帧内预测，其中译码块中的预测方向在整个块中保持相同。基本思想是对象方向性在译码块上保持不变。这是一种过分简单的模型，因为自然影像中的对象方向性可以改变。在译码块上使用单个预测方向导致在速率失真(rd)优化之后的较小译码块，其在较高块大小和较不精确的预测模型之间找到最佳折衷，并且较小块大小具有较高数量的边信息以用于将分区编码成较小块。
31.更好的想法是在相同译码块上使用多个预测方向，其中，这些方向接近主方向，并且这些方向被应用于不同分区上。这将允许以结构化方式改变译码块内的预测方向，使得该方向更紧密地匹配真实世界图像。本发明提出了几种方法来探索这个思想，并在当前vvc
译码测试模型(vtm)的上下文中给出结果。
32.帧内预测是所有视频压缩标准(例如，h.264/avc、hevc和vvc)中的核心译码工具。基本思想是通过基于已经解码的因果相邻块预测像素块来利用图像序列的帧中的空间相关性。随后利用块变换对编码器处的预测残差进行变换，对变换系数进行量化，然后进行二进制编码。在解码器处，通过将所述预测添加到解码的残差来重构所述块，该解码的残差由二进制解码、逆量化和逆变换的逆处理而产生。
33.为了预测的目的，所述标准定义了几种被称为预测模式的模型。例如，hevc定义了35个预测模式，其中一个是planar(平面)模式，一个是dc模式，其余33个是角度模式。所述planar和dc模式旨在对缓慢且逐渐变化的强度区域进行建模，而所述角度模式旨在对不同的对象方向性进行建模。另一方面，vvc定义了67个常规帧内预测模式，其包括来自hevc的35个预测模式和额外的32个角度模式。vvc还定义了与矩形译码块一起使用的28个宽角度模式。编码器预测工具选择在速率失真性能方面最佳的预测模式，并使用模式译码方案将其发信号通知给解码器。解码器预测工具对所述预测模式进行解码，并使用来自相邻块的解码像素来利用该模式预测当前块。
34.帧内预测的通常过程包括首先使用来自相邻块的解码样本来构造当前块的两个参考阵列，一个在左边，另一个在上边。对于任何定向模式，顶部和/或左参考阵列上的参考样本在当前块内部沿着相关联的方向被重复。这里，基本的假设是对象的方向性在整个块中保持线性，并且强度值沿着这些方向变化不大。这个模型似乎工作良好，尤其是当块大小很小时。当块很大时，如vvc所允许的，所述方向性可以逐渐改变。这里描述的一般方面提出了一种对这种现象进行建模的简单方法。在介绍该方法之前，首先给出vvc测试模型vtm中的帧内预测的简要描述。为了更容易参考，术语“cu”(译码单元)和“块”在全文中可互换地使用。
35.vtm中的帧内预测过程包括三个步骤：(1)参考样本生成，(2)帧内样本预测和(3)预测样本的后处理。图1中示出了参考样本生成过程，其示出了用于vtm中的帧内预测的参考样本。坐标(x，y)处的参考像素值在图中由r(x，y)表示。h和w分别表示当前块的高度和宽度。对于大小为hxw的cu，从当前cu的先前重构的顶部和右上角(top right)像素形成顶部上的一行2w解码样本。类似地，从重构的左侧和左下方像素形成左侧的2h样本的列。左上位置的角像素也用于填充顶行与左列参考之间的间隙。如果顶部或左侧的样本中的一些不可用，因为对应cu不在相同切片中，或当前cu在帧边界处等，那么能够执行称为参考样本替代的方法，其中在顺时针方向上从可用样本复制缺失样本。然后，取决于当前cu大小和预测模式，能够使用具有系数[1/4，1/2，1/4]的低通滤波器对所述参考样本进行滤波，所述低通滤波器被垂直地应用于左参考列且水平地应用于顶部参考行。
[0036]
vtm 4.0还支持具有多个参考行(mrl)的帧内预测。其思想是基于如图2所示的几组参考行进行预测，然后选择给出最佳速率失真性能的参考行。图2示出了用于vtm中的帧内预测的多条参考行。所述参考行按照它们距目标块的距离的顺序被索引。例如，最接近目标块的参考行被索引为0。例如，在该示例中用于预测的另外两个参考行被索引为1和3。所使用的参线以可变长度代码发信号通知给解码器。对于如图2中的三条参考行，其用于vtm 4.0中，具有索引0、1和3的参考行分别用比特“0”、“10”和“11”发信号通知。此外，为了限制搜索最佳预测模式的增加的复杂性，仅利用六个角度预测模式测试参考行1和3，这六个角
度预测模式以与mpm列表中的模式相同的方式导出，但是排除了planar和dc模式。应当注意，参考行2未用于vtm 4.0中的mrl，并且在此仅出于说明性目的而示出。
[0037]
下一步骤(即，样本内预测)包括基于参考样本来预测目标cu的像素。如前所述，为了有效地预测不同种类的内容，vtm支持一系列预测模型。平面和dc预测模式用于预测平滑和逐渐变化的区域，而角度预测模式用于捕获不同的定向结构。vtm支持93个定向预测模式，其从
‑
14到
‑
1和从2到80被索引。对于正方形cu，仅使用预测模式2
‑
66。这些预测模式对应于顺时针方向中从45度到
‑
135度的不同预测方向，如图3中所说明，其展示了正方形目标块的vtm中的帧内预测方向。数字表示与对应方向相关联的预测模式索引。模式2至33指示水平预测，而模式34至66指示垂直预测。
[0038]
索引为
‑
14到
‑
1、索引为67到80的模式为宽角度模式，用于不同形状的矩形块。模式
‑
14至
‑
1被定义为超出模式2(超出角度45度)，并且用于高的矩形块(高度大于宽度的块)。类似地，模式67至80被定义为超出模式66(超出角度
‑
135度)，并且被用于平坦矩形块(宽度大于高度的块)。用于矩形块的宽角度模式的数量取决于该块的宽高比。在任何情况下，用于任何块的角度模式的总数是65，并且这些模式在方向上总是连续的。用于不同块形状的角度预测模式总结在表1中。
[0039][0040]
表1：用于vtm中的不同目标块形状的帧内预测模式的范围。w/h是指块的宽度与高度的比率。
[0041]
vtm 4.0还支持具有子分区(isp)的帧内预测。如表2所示，该工具根据块大小维度而将亮度帧内预测块垂直或水平地划分为2或4个子分区。
[0042]
块大小子分区数量4
×
414
×
8和8
×
42所有其他情况4
[0043]
表2：依赖于块大小的子分区数量
[0044]
子分区必须具有至少16个像素。因此，大小为4
×
4的块不被划分为子分区，而大小为4
×
8和8
×
4的块仅具有两个子分区。所有其它大小的块仅具有四个子分区。子分区可为水平或垂直的。图4和图5示出了两种可能性的示例。图4示出了4
×
8和8
×
4块的划分的示例。图5示出了除4
×
8、8
×
4和4
×
4之外的所有块的划分的示例。分割的类型被编码为0(无分割)、或1(水平分割)、或2(垂直分割)。
[0045]
每一子分区中的预测使用父cu的预测模式。以正常增加次序处理所述子分区，而不管所利用的帧内模式和分割如何。在vtm 4.0中，isp仅被应用于采用第一参考行的块。因此，如果块具有mrl索引1或3，则isp译码模式将被推断为0，并且因此不被编码。
[0046]
此外，为了降低编码复杂度，仅利用作为mpm列表的一部分的帧内模式来测试isp算法，该mpm列表由67个预测模式中的六个不同模式组成。对于用isp测试的任何块，所述mpm列表还经修改以排除dc模式且将用于水平分割的水平帧内模式和用于垂直分割的垂直帧内模式优先化。
[0047]
帧内预测中的每个译码块与预测模式相关联。如果所述预测模式是有角度的，则即使在mrl的情况下，也在相同的方向上预测当前块中的所有像素。在isp的情况下，所有子分区使用相同的预测模式。对所有像素使用相同的方向将非常好地模拟直边或其它线性对象特征。为了允许诸如曲率的非线性特征，考虑译码块上的预测方向的变化是有意义的。
[0048]
为了一般性，在下文中我们将假设矩形块具有宽度w和高度h。正方形目标块是的w＝h的特殊情况。为了更容易理解，我们将给出在开始时假设没有mrl和没有isp的理论。随后，我们将描述不同的实施例，其中我们将呈现将所提出的方法与mrl和isp组合的不同方式。
[0049]
为了以帧内预测模式分割的最简单情况开始，我们将考虑具有两种预测模式的译码块的情况。在一般设置中，这两种模式可以是任意的，但是我们的目标是仅考虑方向上接近的模式。这种要求来自这样一假设：对象的方向性在译码块内部如果不保持恒定的话仅可以改变一点点。因此，我们将仅考虑两个相邻的预测方向，例如v和v 1，或v和v
‑
1，其中v表示所考虑的角度预测模式。我们将假定此简单情况，因为这将需要最小量的信令，但所揭示的想法不限于仅两个帧内预测模式分区。
[0050]
其次，我们还将假设在译码块的两个非重叠区域上应用两种预测模式。最简单的方法是将所述块水平或垂直地分割成两部分，因为译码块是矩形或正方形的。尽管所述分割可以发生在任何像素位置，并且具有任何数量的分割，但是我们将仅考虑结构化分割。即，我们将仅考虑在中间的分割(一个分割具有相等大小的部分)，或在维度的四分之一和四分之三处的分割(非对称分割)。这些在图6和图7中示出。图6示出了分成两部分的对称的水平和垂直分割。在预测模式v是垂直的情况下，应用水平分割。在预测模式v是水平的情况下，应用垂直分割。在水平分割情况(顶部)中，顶部部分具有预测模式v，且底部部分具有预测模式(v
‑
1)或(v 1)。这可以颠倒过来，底部具有预测模式v，顶部具有预测模式(v
‑
1)或(v 1)。类似的情况适用于垂直分割的情况。我们将水平分割应用于垂直预测方向，而垂直分割应用于水平预测方向，尽管在当前的一般方面下，其它分割也是可能的。
[0051]
图7示出了不对称的水平分割。在一种情况下，较小部分中的像素具有预测模式v，而较大部分中的像素具有预测模式(v
‑
1)或(v 1)(顶部两幅图)。在另一情况下，较大部分的像素具有预测模式v，而较小部分的像素具有预测模式(v
‑
1)或(v 1)(底部的两个图)。当
预测模式是水平的时，可以在垂直方向上进行类似的分割。
[0052]
对于两种预测模式，在译码块中仅具有两个非重叠部分不是强制性的。我们可以具有更多数量的部分，其中每个部分可以具有所使用的两种预测模式之一。图8示出了具有三个和四个分割的情况。图8示出了利用垂直预测模式水平分割成三或四部分的示例。在两种情况下，我们假定块具有最多两种预测模式。当预测模式是水平的时，可以给出具有垂直分割的类似示例。
[0053]
具有模式分区的预测过程使用译码块的相同的两个参考阵列，一个在顶部，另一个在左侧。如果对于不同的帧内预测模式区域，相同的参考样本阵列用于整个块，则可以同时预测当前块中的所有像素。这与isp中不同，isp中，不同的分区是按顺序处理的。图9中示出了具有单个参考行的预测过程。图9示出了模式分区中的帧内预测。通过考虑第一部分和第二部分像素的预测模式来预测第二部分中的目标像素。注意，第二部分中的目标像素不是直接利用它们的预测模式来预测的，而是还通过考虑第一部分像素的预测模式来预测的。也就是说，将基于第二部分和第一部分的预测模式两者来确定第二部分中的目标像素的预测子(predictor)。换句话说，当预测第二部分时，仍然需要考虑第一部分上的预测方向是什么，以映射每个像素位置处的适当参考样本。如果考虑当前预测方向，则有可能将把所述参考阵列的错误位置作为目标，如图9中的长直箭头所示，其中用较短箭头示出了正确的映射。如果我们考虑分割成三或四部分，则这种情况也适用。某一部分中的目标像素的预测子通过使用所有先前部分的预测模式以及该所考虑部分的预测模式而被确定。
[0054]
在实际的编码情形中，模式分区的数量将是有限的。编码器将检查所有可用的模式分区的速率失真性能，然后将向解码器发信号通知最佳模式分区，使得解码器知道编码器所采用的分区。分区的数量越高，所需信令比特的数量越大。如这里所述，我们将考虑但不限于具有两个分区的三个候选的情况：(1)没有分区，(2)当v是垂直(水平)模式时，具有预测模式(v
‑
1)的顶部(左侧)部分和具有预测模式v的底部(右侧)部分，(3)当v是垂直(水平)模式时，具有预测模式(v 1)的顶部(左侧)部分和具有预测模式v的底部(右侧)部分。或者，我们也可以考虑相同的分割，其中模式在两个部分之间交换。三个候选可以用可变长度代码来译码，其中没有分区用0来编码，而另外两个候选分别被编码为10和11。
[0055]
应当注意，分区数量和编码方案的选择可以是一般化的，并且不需要像上述示例中那样具体。例如，我们可以考虑四个预测候选，其中第一预测候选没有分割，并且剩余的三个候选根据预测模式的方向考虑不同种类的三个分割。这四个候选可以简单地用固定长度译码方案编码，该方案每个候选仅需要两个比特。
[0056]
当帧内预测允许多个参考行(mrl)时，如在vtm 4.0中，所提出的方法可以被限制到使用第一参考行的块，或者使用第二或第四参考行的块，或者这两者。在所描述的一般方面下，可以设想其它方案。在前两种情况下，关于模式分区的信令将取决于mrl索引，因此对于不使用特定参考行的一些块，该信令不需要被发送。在后一种情况下，所述信令对于所有块而言均是需要的，而不考虑mrl索引值。
[0057]
正如mrl一样，当帧内预测允许isp时，如在vtm 4.0中，所提出的方法可以被限制为不使用isp的块(即，isp索引＝0)或者使用isp的块(isp索引非零)或者这两者。在第一种情况下，所提出的方法的应用不需要任何修改，因为块不被分割成子分区。但是，在第二种情况下，具有子分区的所提出的方法的应用可能是棘手的。由于isp允许块的水平和垂直子
分区这两者而不考虑预测模式的方向性(所提议的方法使用的方向性)，因此在不同子分区上直接应用两种模式将不会如所需地工作。isp中的子分区需要具有一种或两种预测模式，这取决于所考虑的预测模式的方向性。在这里描述的示例中，为了简单起见，我们假设将所提出的预测方法应用于不使用isp的块(即，具有isp索引＝0的块)。第二种情况可以被认为是所描述思想的扩展。
[0058]
下面，我们假设vvc测试模型vtm 4.0编解码器。然而，由于所提出的方法相当通用，因此其可以应用于任何先前标准的上下文中，例如h.264/avc、hevc等，其使用多个方向预测模式用于帧内预测。在所有实施例中，我们仅假设具有模式分区的三种预测方法：(1)不分割，其中相同预测模式v用于所有目标像素，(2)2个分区，其中一个部分的预测模式是v且另一部分的预测模式是(v
‑
1)。(3)2个分区，其中一个部分的预测模式是v且另一部分的预测模式是(v 1)。在情况(2)和(3)中，我们假设相同部分使用预测模式v。当v是垂直模式时，所述分割是水平的，并且当v是水平模式时，所述分割是垂直的。所述分区可以是对称的或不对称的。对于如在下面的不同实施例中指定的块，编码器检查三种预测方法，并且选择最佳方法。最佳预测方法通过等于0、1或2的索引值来发信号通知，这取决于该方法，其被二进制化和上下文编码。
[0059]
实施例1：在该实施例中，仅使用第二或第四参考行的块被利用所提出的预测方法处理。因此，如果当前块具有等于0的mrl索引，则不存在用于模式分区的编码。如果mrl索引的解码值为0，则解码器将假定值为零(对于模式分区没有分割)、在这种情况下，由于isp仅应用于具有mrl索引0的块，因此isp没有冲突。注意，mrl索引在isp索引之前被编码。我们提出在isp索引之后对模式分区索引进行编码。解码器因此首先解码mrl索引，然后如果mrl索引等于零，则解码isp索引，否则解码所述模式分区索引。
[0060]
实施例2：在该实施例中，仅使用第一参考行但未用isp分割的块被用所提出的预测方法来处理。因此，如果当前块具有等于1或3的mrl索引，则不存在用于模式分区的编码。如果mrl索引是0，但isp索引是1或2，则也不存在用于模式分区的编码。仅对具有等于零的mrl索引和等于0的isp索引的块，编码所述模式分区索引。如果mrl索引的解码值是非零的，或者如果isp索引的解码值是非零的，则解码器将假设为零值(对于模式分区未分割)。在这种情况下，也不存在isp的冲突，因为isp没有对块的分割，这些块针对模式分区而被检查。在该方法中，模式分区索引必须在mrl索引和isp索引之后被编码。解码器因此在解码用于模式分区的索引之前，解码mrl索引和isp索引。如果mrl索引或者isp索引为非零，则所述模式分区索引将被假设为0并且将不被解码。
[0061]
实施例3：在该实施例中，仅使用第一参考行的块被利用所提出的预测方法处理，而不管isp索引的值。如果isp索引值是0，则如实施例2中那样进行处理。否则，根据isp索引值，每个子分区被处理为没有模式分区或两个模式分区，这取决于预测方向和子分区的类型。举例来说，如果预测模式为垂直，且isp分区为水平，那么依据模式分割索引值从v
‑
1和v(或v 1和v)中选择子分区的预测模式。类似情况适用于具有水平预测模式的垂直子分区。图10示出了这种情况的一个示例。如果所述块是按照isp而被分割的且预测方向与所述分割一致(例如，水平分割和垂直模式)，那么保持isp分区且修改第二块的方向( 1或
‑
1)，如图中所示。
[0062]
然而，如果方向是例如水平的并且分割也是(下面的底部图)，则所提出的工具将
根据预测方向进行分割，并且最终得出如右下图所示的子分区。
[0063]
但如果子分区为水平的且预测模式为水平的，或如果子分区为垂直的且预测模式为垂直的，那么每一子分区可具有两个预测模式，如图10中所示。
[0064]
实施例4：在该实施例中，所有块都用所提出的预测方法来处理，而不管mrl索引和isp索引的值。因此，对于每个块，解码器将对所述模式分区索引进行解码。
[0065]
所提出的方法通过将其并入vtm 4.0软件中来实现。所提出的预测方法仅应用于使用第二或第四参考行的块，如实施例1中所述。也就是说，仅处理具有非零mrl索引的块以用于模式分区。测试方法的bd
‑
速率性能如表3所示。
[0066][0067]
表3：实施例1与vtm 4.0锚相比的bd
‑
速率性能。
[0068]
本发明的目的在于通过允许在同一目标块内的多个帧内预测模式来提高帧内预测效率。其思想是捕获目标块中的真实世界对象方向性。优点是更高的压缩效率而没有太多的附加复杂性。
[0069]
图11示出了使用这里描述的一般方面编码视频数据块的方法1100的一个实施例。该方法开始于开始框1101，控制前进到功能框1110，用于利用帧内预测来预测视频数据块的多个区域中的像素，其中各个区域使用不同的帧内预测模式。控制然后从框1110进行到框1120，以便使用来自帧内预测模式的所述预测来编码所述多个区域。
[0070]
图12示出了使用这里描述的一般方面编码视频数据块的方法1200的一个实施例。该方法开始于开始框1201，控制进行到功能框1210，用于利用帧内预测来预测视频数据块的多个区域中的像素，其中各个区域使用不同的帧内预测模式。控制然后从框1210进行到框1220，用于使用来自帧内预测模式的所述预测对所述多个区域进行解码。
[0071]
图13示出了用于编码或解码视频数据块的装置1300的一个实施例。该装置包括处理器1310，并且可以通过至少一个端口与存储器1320互连。处理器1310和存储器1320两者还可以具有到外部连接的一个或多个附加互连。
[0072]
处理器1310经配置以使用扩展预测模式对视频数据进行编码或解码，且使用扩展帧内译码模式中的预测对所述视频数据块进行编码或解码。
[0073]
本技术描述了多个方面，这其中包括工具、特征、实施例、模型、方法等。这些方面中的许多方面被描述为具有特异性，并且至少为了示出个体特性，通常以可能听起来受限的方式来描述。然而，这是为了描述清楚的目的，并且不限制那些方面的应用或范围。实际上，所有不同的方面可以组合和互换以提供另外的方面。此外，这些方面也可以与在较早的文档中描述的方面组合和互换。
[0074]
本技术中描述和预期的方面可以以许多不同的形式实现。以下图14、15和16提供了一些实施例，但是可以设想其他实施例，并且对图14、15和16的讨论不限制实现的广度。所述方面中的至少一个方面主要涉及视频编码和解码，并且至少一个其它方面主要涉及传送所生成或编码的比特流。这些和其它方面可以被实现为方法、装置、其上存储有用于根据所描述的任何方法来编码或解码视频数据的指令的计算机可读存储介质、和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。
[0075]
在本技术中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不是必须的，术语“重构”在编码器侧被使用，而“解码”在解码器侧被使用。
[0076]
本文描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非所述方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。
[0077]
本技术中描述的各种方法和其它方面可用于修改模块，例如，图14和图15所示的视频编码器100和解码器200的帧内预测、熵译码和/或解码模块(160,360,145,330)。此外，本发明不限于vvc或hevc，并且可应用于例如其它标准和提案(无论是预先存在的还是将来开发的)以及任何此类标准和提案(包括vvc和hevc)的扩展。除非另外指出或在技术上排除，本技术中描述的方面可以单独或组合使用。
[0078]
在本技术中使用各种数值。具体值是出于示例目的，并且所描述的方面不限于这些具体值。
[0079]
图14示出了编码器100。可以设想该编码器100的变型，但是为了清楚起见，下面描述编码器100，而没有描述所有预期的变型。
[0080]
在被编码之前，视频序列可以经历预编码处理(101)，例如，对输入颜色图片应用颜色变换(例如，从rgb 4:4:4到ycbcr 4:2:0的转换)，或者执行输入图片分量的重新映射，以便获得对压缩更有弹性的信号分布(例如，使用所述颜色分量之一的直方图均衡)。元数据可以与所述预处理相关联，并且被附加到比特流。
[0081]
在编码器100中，如下所述，由编码器元件对图片进行编码。以例如cu为单位分区(102)并处理要编码的图片。使用例如帧内或帧间模式来编码每个单元。当以帧内模式对单元进行编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。所述编码器决定(105)使用帧内模式或帧间模式中的哪一者来对所述单元进行编码，并且通过例如预测模式标志来指示所述帧内/帧间决定。例如，通过从原始图像块中减去(110)预测块来计算预测残差。
[0082]
然后，对所述预测残差进行变换(125)和量化(130)。对所量化的变换系数以及运动向量和其它语法元素进行熵译码(145)以输出比特流。所述编码器可以跳过所述变换，并直接对未变换的残差信号应用量化。所述编码器可以绕过变换和量化这两者，即，直接对所述残差进行译码而不应用所述变换或量化处理。
[0083]
所述编码器对编码块进行解码，以提供用于进一步预测的参考。对所量化的变换系数进行解量化(140)和逆变换(150)以对预测残差进行解码。组合(155)所解码的预测残差和预测块，重构图像块。环内滤波器(165)被应用于所重构的图片，以执行例如解块/sao(样本自适应偏移)滤波，从而减少编码伪像。将所滤波的图像存储在参考图片缓冲器(180)
中。
[0084]
图15示出了视频解码器200的框图。在解码器200中，如下所述，由解码器元件解码比特流。视频解码器200通常执行与如图14中所描述的编码过程互逆的解码过程。所述编码器100通常还执行视频解码作为编码视频数据的一部分。
[0085]
特别地，所述解码器的输入包括视频比特流，其可以由视频编码器100生成。所述比特流首先被熵解码(230)以获得变换系数、运动向量和其它译码信息。图片分区信息指示所述图片如何被分区。所述解码器因此可以根据所解码的图片分区信息来划分(235)所述图片。所述变换系数被解量化(240)和逆变换(250)以解码所述预测残差。将所解码的预测残差与预测块进行组合(255)，重构图像块。所述预测块可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)。环内滤波器(265)被应用于所重构的图像。将所滤波的图像存储在参考图片缓冲器(280)中。
[0086]
解码后的图片可以进一步经历解码后处理(285)，例如，逆颜色变换(例如，从ycbcr 4:2:0到rgb 4:4:4的转换)或执行在预编码处理(101)中执行的所述重新映射过程的逆重新映射。所述解码后处理可以使用在所述预编码处理中导出并且在所述比特流中用信号发送的元数据。
[0087]
图16示出了其中实现了各个方面和实施例的系统的示例的框图。系统1000可以被实现为包括以下描述的各种组件的设备，并且被配置为执行本文中描述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器和服务器。系统1000的元件可以单独地或组合地被实现在单个集成电路(ic)、多个ic和/或分立组件中。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件分布在多个ic和/或分立组件上。在各种实施例中，所述系统1000经由例如通信总线或通过专用输入和/或输出端口而被通信地耦合到一个或多个其他系统或其他电子设备。在各种实施例中，所述系统1000被配置为实现本文中描述的一个或多个方面。
[0088]
所述系统1000包括至少一个处理器1010，其被配置为执行加载在其中的指令，以用于实现例如本文中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。所述系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，这其中包括但不限于电可擦除可编程只读存储器(eeprom)、只读存储器(rom)、可编程只读存储器(prom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，所述存储设备1040可以包括内部存储设备、附接的存储设备(包括可拆卸的存储设备和不可拆卸的存储设备)和/或网络可访问的存储设备。
[0089]
系统1000包括编码器/解码器模块1030，其被配置为例如处理数据以提供所编码的视频或所解码的视频，并且所述编码器/解码器模块1030可以包括其自己的处理器和存储器。所述编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的模块(一个或多个)。如已知的，设备可以包括所述编码模块和解码模块中的一个或两个。另外，编码器/解码器模块1030可实施为系统1000的单独元件或可并入处理器1010内作为如所属领域的技术人员已知的硬件与软件的组合。
[0090]
要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020上以供处理器1010执行。根据各种实施例，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可以在执行本文中描述的过程期间存储各种项中的一者或多者。这些存储的项可以包括但不限于输入视频、所解码的视频或该解码的视频的部分、比特流、矩阵、变量以及来自方程式、公式、运算和运算逻辑的处理的中间或最终结果。
[0091]
在一些实施例中，所述处理器1010和/或所述编码器/解码器模块1030内的存储器用于存储指令，并且提供用于在编码或解码期间需要的处理的工作存储器。然而，在其它实施例中，所述处理设备(例如，所述处理设备可为所述处理器1010或所述编码器/解码器模块1030)外部的存储器用于这些功能中的一者或多者。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存用于存储例如电视的操作系统。在至少一个实施例中，诸如ram的快速外部动态易失性存储器被用作视频译码和解码操作的工作存储器，诸如用于mpeg
‑
2(mpeg是指运动图像专家组，mpeg
‑
2也被称为iso/iec13818，并且13818
‑
1也被称为h.222，并且13818
‑
2也被称为h.262)、hevc(hevc是指高效视频译码，也被称为h.265和mpeg
‑
h部分2)、或vvc(通用视频译码，由联合视频团队专家jvet开发的新标准)的工作存储器。
[0092]
如框1130中所示，可以通过各种输入设备来提供对系统1000的元件的输入。这样的输入设备包括但不限于：(i)接收例如由广播者通过空中传输的射频(rf)信号的rf部分，(ii)分量(comp)输入端子(或一组分量输入端子)，(iii)通用串行总线(usb)输入端子，和/或(iv)高清晰度多媒体接口(hdmi)输入端子。图15中未示出的其它示例包括合成视频。
[0093]
在各种实施例中，框1130的输入设备具有本领域已知的相关联的相应输入处理元件。例如，所述rf部分可以与适合于以下的元件相关联：(i)选择期望频率(也称为选择信号，或将信号频带限制到一频带)，(ii)将所选择的信号下变频，(iii)再次将频带限制到较窄频带，以选择(例如，)在某些实施例中可以称为信道的信号频带，(iv)解调所述下变频且频带限制的信号，(v)执行纠错，和(vi)解复用以选择期望的数据分组流。各种实施例的rf部分包括一个或多个元件以执行这些功能，例如，频率选择器、信号选择器、限带器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。所述rf部分可以包括执行各种这些功能的调谐器，这些功能包括例如将所接收的信号下变频到较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，所述rf部分及其相关的输入处理元件接收通过有线(例如，电缆)介质发送的rf信号，并通过滤波、下变频和再次滤波来执行到期望频带的频率选择。各种实施例重新安排上述(和其它)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。添加元件可以包括在现有元件之间插入元件，例如插入放大器和模数转换器。在各种实施例中，所述rf部分包括天线。
[0094]
另外，usb和/或hdmi终端可以包括用于通过usb和/或hdmi连接将系统1000连接到其它电子设备的相应接口处理器。应当理解，输入处理的各个方面(例如，,，所罗门纠错)可以根据需要在例如单独的输入处理ic或处理器1010内实现。类似地，usb或hdmi接口处理的各方面可以根据需要在单独的接口ic内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件，这其中包括例如处理器1010和编码器/解码器1030，其与存储器和存储元件结合操作以根据需要来处理所述数据流以便在输出设备上呈现。
[0095]
系统1000的各种元件可以设置在集成壳体内。在该集成壳体内，各种元件可以使用合适的连接布置(例如，本领域已知的内部总线，包括ic间(i2c)总线、布线和印刷电路板)互连并在其间传输数据。
[0096]
所述系统1000包括通信接口1050，其使得能够经由通信信道1060与其他设备通信。所述通信接口1050可以包括但不限于被配置为通过通信信道1060发送和接收数据的收发器。所述通信接口1050可以包括但不限于调制解调器或网卡，并且所述通信信道1060可以例如在有线和/或无线介质内实现。
[0097]
在各种实施例中，使用无线网络(例如，wi
‑
fi网络，例如ieee 802.11(ieee是指电气和电子工程师协会))，将数据流式传输或以其他方式提供给所述系统1000。这些实施例的wi
‑
fi信号通过适用于wi
‑
fi通信的通信信道1060和通信接口1050来接收。这些实施例的通信信道1060通常连接到接入点或路由器，所述接入点或路由器提供对包括因特网的外部网络的接入以允许流式传输应用和其它云上通信。其它实施例使用通过输入框1130的hdmi连接来传递数据的机顶盒而向系统1000提供流式传输的数据。还有一些实施例使用输入框1130的rf连接而向所述系统1000提供流式传输的数据。如上所述，各种实施例以非流式传输方式提供数据。另外，各种实施例使用除wi
‑
fi之外的无线网络，例如，蜂窝网络或蓝牙网络。
[0098]
所述系统1000可以向各种输出设备(包括显示器1100、扬声器1110和其他外围设备1120)提供输出信号。各种实施例的显示器1100包含以下中的一者或多者：例如触摸屏显示器、有机发光二极管(oled)显示器、弯曲显示器和/或可折叠显示器。所述显示器1100可以用于电视、平板电脑、膝上型计算机、蜂窝电话(移动电话)或其他设备。所述显示器1100还可与其它组件集成(例如，如在智能电话中)，或是单独的(例如，用于膝上型计算机的外部监视器)。在各实施例的各示例中，所述其它外围设备1120包括以下中的一者或多者：独立数字视频盘(或数字多功能盘)(dvr，针对这两项)、盘播放器、立体声系统和/或照明系统。各种实施例使用一个或多个外围设备1120，其基于系统1000的输出来提供功能。例如，盘播放器执行播放所述系统1000的输出的功能。
[0099]
在各种实施例中，使用信令(诸如，av.link(av.链路)、消费电子控制(cec)、或在有或没有用户干预的情况下实现设备到设备控制的其他通信协议)在系统1000和显示器1100、扬声器1110或其它外围设备1120之间传送控制信号。所述输出设备可以经由通过相应接口1070、1080和1090的专用连接而通信地耦合到系统1000。作为替代，所述输出设备可以使用通信信道1060经由通信接口1050连接到系统1000。所述显示器1100和扬声器1110可以与系统1000的其它组件一起集成在电子设备(例如，电视机)中的单个单元中。在各种实施例中，显示接口1070包括显示驱动器，例如定时控制器((t con)芯片。
[0100]
例如，如果输入1130的rf部分是单独机顶盒的一部分，则所述显示器1100和扬声器1110可以备选地与其它组件中的一个或多个分离。在所述显示器1100和扬声器1110是外部组件的各种实施例中，所述输出信号可以经由专用输出连接来提供，所述专用输出连接例如包括hdmi端口、usb端口或comp输出。
[0101]
这些实施例可以由处理器1010或由硬件实现的计算机软件或由硬件和软件的组合来实现。作为非限制性示例，所述实施例可以由一个或多个集成电路实现。所述存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，
作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。所述处理器1010可以是适合于技术环境的任何类型，并且作为非限制性示例，可以包含以下中的一者或多者：微处理器、通用计算机、专用计算机和基于多核架构的处理器。
[0102]
各种实现方式涉及解码。如本技术中所使用的，“解码”可以包括例如对接收到的编码序列执行的全部或部分过程，以便产生适合于显示的最终输出。在各种实施例中，此类过程包括通常由解码器执行的过程中的一个或多个，例如熵解码、逆量化、逆变换和差分解码。在各种实施例中，这样的过程还或替代地包括由本技术中描述的各种实现的解码器执行的过程。
[0103]
作为进一步的示例，在一个实施例中，“解码”仅指熵解码，在另一实施例中，“解码”仅指差分解码，并且在另一实施例中，“解码”指熵解码和差分解码的组合。短语“解码过程”是旨在具体地指代操作的子集还是一般地指代更广泛的解码过程，这基于具体描述的上下文将是清楚的，并且相信是本领域技术人员所充分理解的。
[0104]
各种实现涉及编码。以与以上关于“解码”的讨论类似的方式，如在本技术中使用的“编码”可以包括例如对输入视频序列执行的以便产生编码比特流的过程的全部或部分。在各种实施例中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵译码。在各种实施例中，这样的过程还或替代地包括由本技术中描述的各种实现的编码器执行的过程。
[0105]
作为进一步的示例，在一个实施例中，“编码”仅指熵译码，在另一实施例中，“编码”仅指差分编码，而在另一实施例中，“编码”指差分编码和熵译码的组合。短语“编码过程”的旨在具体地指代操作的子集还是一般地指代更广泛的编码过程，这将基于具体描述的上下文而变得清楚，并且相信是本领域技术人员所充分理解的。
[0106]
注意，如本文所使用的语法元素是描述性术语。因此，它们不排除使用其它语法元素名称。
[0107]
当附图被呈现为流程图时，应当理解，它还提供了对应装置的框图。类似地，当附图被呈现为框图时，应当理解，它还提供了对应的方法/过程的流程图。
[0108]
各种实施例可能涉及参数模型或速率失真优化。特别地，在编码过程期间，通常考虑速率和失真之间的平衡或折衷，通常给出计算复杂度的约束。它可以通过速率失真优化(rdo)度量，或者通过最小均方(lms)、绝对误差均值(mae)或其它这样的测量来测量。所述速率失真优化通常被公式化为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法来解决速率失真优化问题。例如，这些方法可以基于对所有编码选项的广泛测试，这其中包括所有考虑的模式或译码参数值，且对它们的译码成本和在译码和解码之后的重构信号的相关失真进行完整评估。还可以使用更快的方法来节省编码复杂度，特别是基于预测或预测残差信号而不是重构信号来计算近似失真。还可以使用这两种方法的混合，例如通过仅对一些可能的编码选项使用近似失真，而对其他编码选项使用完全失真。其它方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中的任何一种来执行所述优化，但是该优化不一定是对译码成本和相关失真这两者的完整评估。
[0109]
本文描述的实现方式和方面可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一形式的实现的上下文中被讨论(例如，仅作为方法而被讨论)，所讨
论的特征的实现也可以以其他形式(例如，装置或程序)来实现。例如，可以以适当的硬件、软件和固件来实现装置。所述方法可以在例如处理器中实现，所述处理器通常指处理设备，这其中包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，例如计算机、蜂窝电话、便携式/个人数字助理(“pda”)和便于终端用户之间的信息通信的其他设备。
[0110]
对“一个实施例”或“一实施例”或“一个实现方式”或“一实现方式”以及其它变化形式的提及意味着结合该实施例描述的特定特征、结构、特性等包含于至少一个实施例中。因此，在本技术中的各个地方出现的短语“在一个实施例中”或“在一实施例中”或“在一个实现方式中”或“在一实现方式中”以及任何其他变型的出现不一定都指同一实施例。
[0111]
另外，本技术可以涉及“确定”各种信息。确定该信息可以包括例如以下一者或多者：估计该信息、计算该信息、预测该信息或从存储器检索该信息。
[0112]
此外，本技术可以涉及“访问”各种信息。访问该信息可以包括例如以下一者或多者：接收该信息、检索该信息(例如，从存储器检索该信息)、存储该信息、移动该信息、复制该信息、计算该信息、确定该信息、预测该信息或估计该信息。
[0113]
另外，本技术可以指“接收”各种信息。如同“访问”一样，接收旨在是广义的术语。接收所述信息可以包括例如以下一者或多者：访问该信息或(例如，从存储器)检索该信息。此外，在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种方式或另一种方式涉及“接收”。
[0114]
应当理解，例如在“a/b”、“a和/或b”以及“a和b中的至少一者”的情况下，使用以下“/”、“和/或”以及“中的至少一者”中的任意者旨在涵盖仅对第一列出的选项(a)的选择、或仅对第二列出的选项(b)的选择、或对两个选项(a和b)的选择。作为进一步的示例，在“a、b和/或c”和“a、b和c中的至少一者”的情况下，这样的措词旨在包括仅选择第一个列出的选项(a)、或者仅选择第二个列出的选项(b)、或者仅选择第三个列出的选项(c)、或者仅选择第一个和第二个列出的选项(a和b)、或者仅选择第一个和第三个列出的选项(a和c)、或者仅选择第二个和第三个列出的选项(b和c)、或者选择所有三个选项(a和b和c)。如本领域和相关领域的普通技术人员所清楚的，这可以扩展到所列的多个项目。
[0115]
此外，如本文所使用的，词语“信号”尤其是指向对应的解码器指示某物。例如，在某些实施例中，编码器用信号通知多个变换、译码模式或标志中的特定一个。这样，在一实施例中，在编码器侧和解码器侧使用相同的变换、参数或模式。因此，例如，编码器可以向解码器发送(显式地用信号发送)特定参数，使得解码器可以使用该相同的特定参数。相反，如果解码器已经具有所述特定参数以及其它参数，则可以使用信令而不进行发送(隐式地用信号发送)，以简单地允许解码器知道并选择所述特定参数。通过避免任何实际功能的传输，在各种实施例中实现了比特节省。应当理解，可以以各种方式来实现信令。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信号发送给对应的解码器。虽然前述内容涉及词语“信号”的动词形式，但是词语“信号”在本文中也可以用作名词。
[0116]
如对于本领域普通技术人员将显而易见的，实现方式可以产生被格式化以携带例如可以被存储或发送的信息的各种信号。该信息可以包括例如用于执行方法的指令，或者由所描述的实现方式之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。所
述格式化可以包括例如对数据流进行编码并且利用所编码的数据流对载波进行调制。所述信号携带的信息可以是例如模拟或数字信息。如已知的，所述信号可以通过各种不同的有线或无线链路来传输。所述信号可以存储在处理器可读介质上。
[0117]
我们描述了可跨各种权利要求类别及类型的多个实施例。这些实施例的特征可以单独提供或以任何组合提供。此外，跨越各种权利要求类别和类型，实施例可以单独或以任意组合包括以下特征、设备或方面中的一者或多者：
[0118]
·
一种利用模式分区来执行帧内编码和解码的过程或设备。
[0119]
·
一种使用多个参考行利用模式分区来执行帧内编码和解码的过程或设备。
[0120]
·
一种使用mpm(最可能模式)列表和指示使用哪些模式的可变长度代码来执行具有模式分区的帧内编码和解码的过程或装置。
[0121]
·
一种用于执行帧内编码和解码的过程或设备，其利用模式分区和跨越块边界的预测像素的滤波。
[0122]
·
一种用于对矩形块执行具有模式分区的帧内编码和解码的过程或设备。
[0123]
·
包括所描述的语法元素中的一者或多者或其变型的比特流或信号。
[0124]
·
一种比特流或信号，包括传达根据所描述的任何实施例生成的信息的语法。
[0125]
·
根据所述的任何实施例，创建和/或发送和/或接收和/或解码。
[0126]
·
根据所描述的任何实施例的方法、过程、装置、存储指令的介质、存储数据的介质或信号。
[0127]
·
在所述信令中插入使得所述解码器能够以对应于编码器所使用的方式的方式确定译码模式的语法元素。
[0128]
·
创建和/或发送和/或接收和/或解码包括一个或多个所描述的语法元素或其变型的比特流或信号。
[0129]
·
tv、机顶盒、蜂窝电话、平板电脑或其他电子设备，其根据所描述的任何实施例执行变换方法(一个或多个)。
[0130]
·
tv、机顶盒、蜂窝电话、平板电脑或其他电子设备，其根据所描述的任何实施例执行变换方法(一个或多个)确定，并且显示(例如，使用监视器、屏幕或其他类型的显示器)所得到的图像。
[0131]
·
tv、机顶盒、蜂窝电话、平板电脑或其他电子设备，其选择、频带限制、或调谐(例如，使用调谐器)信道以接收包括所编码的图像的信号，并且根据所描述的任何实施例执行变换方法(一个或多个)。
[0132]
·
tv、机顶盒、蜂窝电话、平板电脑或其他电子设备，其通过空中接收(例如，使用天线)包括所编码的图像的信号，并且执行变换方法(一个或多个)。