用于有效地对残差块编码的方法和装置与流程

1.本发明在一些实施方案中涉及视频的编码和解码。更具体地，本发明涉及用于有效地对残差块编码的方法和装置。


背景技术：

2.由于视频数据与音频数据或静止影像数据相比具有较大的数据量，因此在进行压缩处理之前，需要大量的硬件资源，包括存储器，用来以原始形式存储或传输数据。
3.相应地，在解码单元可以接收、解压和再现压缩的视频数据之前，存储或传输视频数据通常伴随着通过利用编码器对其进行压缩。现有的视频压缩技术包括h.264/avc和高效率视频编码(high efficiency video coding，hevc)，所述高效率视频编码(hevc)使h.264/avc的编码效率提高了大约40％。
4.然而，视频影像在尺寸、分辨率和帧速率上的不断增加以及由此产生的要编码数据量的增加需要一种比现有压缩技术相比具有更好的编码效率改善和更高的影像质量改善的新的且优秀的压缩技术。
5.在视频编码处理中，视频编码装置利用通过帧内预测或帧间预测来执行当前块的预测，然后从预测块的样本值中减去当前块的样本值以生成残差块。视频编码装置将残差块分割为一个或更多个变换块，对一个或更多个变换块应用变换，从而将变换块的残差值从像素域变换到频域。根据预测精度，残差块的某些区域可能没有残差值或残差值很少，盲目地将残差块划分为更小尺寸的变换块有时效率非常低。


技术实现要素：

6.技术问题
7.本发明在一些实施方案中寻求提供一种对残差块编码的方案，其适用于那些没有残差值或具有很少残差值的一些区域的残差块。
8.技术方案
9.本发明的至少一个方面提供了一种视频解码装置，其包括解码单元、预测单元、逆量化和逆变换单元、加法器和滤波器单元。解码单元配置为从比特流中解码标志，所述标志指示仅对应于当前块的部分区域的残差信号是否已被编码，以及当所述标志指示出仅对应于当前块的部分区域的残差信号已被编码时，从比特流中解码从当前块分割的两个子块中的一个子块的变换系数信息，以重构变换系数。预测单元配置为预测当前块以生成预测块。逆量化和逆变换单元配置为对变换系数信息已被解码的一个子块中的变换系数执行逆量化和逆变换，以生成当前块的残差块。加法器配置为将预测块和残差块相加，以重构当前块。滤波器单元配置为在水平和竖直方向上以规则的间隔设置n个样本的网格，并且对与网格的边界重合的当前块中的两个子块之间的边界执行去块滤波。
10.本发明的另一个方面提供了一种视频解码方法，所述方法包括以下步骤：(i)从比特流中解码标志，所述标志指示仅对应于当前块的部分区域的残差信号是否已被编码；
(ii)当标志指示出仅对应于当前块的部分区域的残差信号已被编码时，通过从比特流中解码从当前块分割的两个子块中的一个子块的变换系数信息来重构变换系数；(iii)预测当前块，以生成预测块；(iv)通过对变换系数信息已被解码的一个子块中的变换系数执行逆量化和逆变换来生成当前块的残差块；(v)通过将预测块和残差块相加来重构当前块；(vi)在水平和竖直方向上以规则的间隔设置n个样本的网格，并且对与网格的边界重合的当前块中的两个子块之间的边界执行去块滤波。
附图说明
11.图1是示出可以实现本发明技术的视频编码装置的框图。
12.图2是用于解释通过利用qtbttt结构来分割块的方法的示意图。
13.图3a是示出多个帧内预测模式的示意图。
14.图3b是示出包括宽角度帧内预测模式的多个帧内预测模式的示意图。
15.图4是示出能够实现本发明技术的视频解码装置的框图。
16.图5a至图5d示出要编码的残差块和子块的各种分区类型。
17.图6是用于解释在当前块的相关残差块中单独地对一个子块编码的情况的示意图，示出了用于预测量化参数(qp)要参考的相邻块的位置。
18.图7是色度块和与色度块相同位置的至少一个亮度块的示意图。
19.图8是重构的当前块的示意图，其示出了重构的当前块的相关残差块在它们的左侧子块处进行水平分区和变换，以通过去块边界来揭示子块间分区边界。
20.图9是用于解释对残差子块之间的边界以残差信号电平执行的去块滤波的示意图。
21.图10是根据本发明的至少一个实施方案的由用于对视频的当前块进行帧间预测编码的视频编码装置执行的方法的流程图。
22.图11是根据本发明的至少一个实施方案的用于从编码的视频比特流对帧间预测编码的当前块解码的视频解码装置的方法的流程图。
具体实施方式
23.在下文中，将参考所附附图对本发明的一些实施方案进行详细描述。在下面的描述中，相同的附图标记优选地表示相同的元件，尽管元件在不同的附图中示出。此外，在一些实施方案的以下描述中，当认为模糊了本发明的主题时，为了清楚和简洁起见，将省略对相关的已知组件和功能的具体描述。
24.图1是示出可以实现本发明技术的视频编码装置的框图。在下文中，将参考图1描述视频编码装置和该装置的子组件。
25.视频编码装置可以配置为包括：图像分割单元110、预测单元120、减法器130、变换单元140、量化单元145、重排单元150、熵编码单元155、逆量化器160、逆变换单元165、加法器170、滤波器单元180和存储器190。
26.视频编码装置的各个组件可以实现为硬件或软件，或者硬件和软件的组合。另外，每个组件的功能可以通过软件来实现，而每个组件的软件功能可以实现为由微处理器来执行。
27.视频由多个图像组成。图像分别分割为多个区域，并对每个区域执行编码。例如，一个图像分割为一个或更多个瓦片(tile)或/和切片(slice)。这里，一个或更多个瓦片定义为瓦片组。每个瓦片或/和切片分割为一个或更多个编码树单元(coding tree unit，ctu)。每个ctu通过树结构分割为一个或更多个编码单元(coding unit，cu)。应用于各个cu的信息被编码为cu的语法，并且共同应用于包括在一个ctu中的cu的信息被编码为ctu的语法。另外，共同应用于一个切片中的所有块的信息被编码为切片头的语法，而应用于构成一个图像的所有块的信息被编码在图像参数集(picture parameter set，pps)或图像头中。此外，由多个图像共同参考的信息被编码在序列参数集(sequence parameter set，sps)中。另外，由一个或更多个sps共同参考的信息被编码在视频参数集(video parameter set，vps)中。以相同的方式，共同应用于一个瓦片或瓦片组的信息可以被编码为瓦片头或瓦片组头的语法。
28.图像分割单元110确定编码树单元(ctu)的大小。关于ctu的大小(ctu尺寸)的信息被编码为sps或pps的语法，并且被传输到视频解码装置。
29.图像分割单元110将构成视频的每个图像分割为具有预定大小的多个编码树单元(ctu)，然后使用树结构递归地分割ctu。树结构中的叶节点成为编码单元(cu)，所述编码单元(cu)是编码的基本单元。
30.使用的树结构可以是四叉树(quadtree，qt)、二叉树(binarytree，bt)、三叉树(ternarytree，tt)或两个或更多个qt结构、bt结构和tt结构的混合，所述四叉树(qt)即上层节点(或父节点)分割为四个大小相等的下层节点(或子节点)，所述二叉树(bt)即上层节点分割为两个下层节点，所述三叉树(tt)即上层节点以1:2:1的大小比率分割为三个下层节点。例如，可以使用四叉树加二叉树(quadtree plus binarytree，qtbt)结构，或者可以使用四叉树加二叉树三叉树(quadtree plus binarytree ternarytree，qtbttt)结构。这里，bttt可以统称为多类型树(multiple
‑
type tree，mtt)。
31.图2示出qtbttt分割树结构。如图2所示，ctu可以首先分割为qt结构。可以重复四叉树分割，直到分割块的大小达到qt中允许的叶节点的最小块大小(minqtsize)。指示qt结构的每个节点是否分割为下层的四个节点的第一标志(qt_split_flag)由熵编码单元155编码，并用信号通知视频解码装置。当qt的叶节点不大于bt中允许的根节点的最大块大小(maxbtsize)时，可以进一步将其分割为任何一个或更多个bt结构或tt结构。在bt结构和/或tt结构中，可以存在多个分割方向。例如，可以存在水平和竖直分割相关节点的块的两个方向。如图2所示，当mtt分割开始时，通过熵编码单元155对指示节点是否分割的第二标志(mtt_split_flag)编码并用信号通知视频编码装置，如果是，则通过熵编码单元155对指示分割方向(竖直或水平)的另一标志进行编码和/或对指示分区或分割类型(二叉或三叉)的标志进行编码，并用信号通知视频解码装置。
32.替选地，在对指示每个节点是否分割为下层的四个节点的第一标志(qt_split_flag)编码之前，可以对指示节点是否分割的cu分割标志(split_cu_flag)编码。当cu分割标志(split_cu_flag)值指示出节点没有分割时，该节点的块成为分割树结构中的叶节点，并变为编码单元(cu)，即是编码的基本单元。当cu分割标志(split_cu_flag)值指示出节点分割时，视频编码装置以上述方式从第一标志开始编码。
33.作为树结构的另一个示例，当使用qtbt时，可以存在两种类型的分区，包括水平地
将相关节点的块分割为两个大小相等的块的类型(即，对称的水平分区)和竖直地将相关节点的块分割为两个大小相等的块的类型(即，对称的竖直分区)。由熵编码单元155编码并传输至视频解码装置的是指示bt结构的每个节点是否分割为下层的块的分割标志(split_flag)和指示其分割类型的分割类型信息。此外，可以存在另一种类型，即相关节点的块分割为两个非对称形成的块。非对称形式可以包括相关节点的块分割为大小比率为1:3的两个矩形块的形式，或者相关节点的块在对角线方向上分割的形式。
34.根据ctu的qtbt或qtbttt分割，cu可以具有不同的大小。在下文中，将对应于要编码或解码的cu的块(即，qtbttt的叶节点)称为“当前块”。采用qtbttt分割，当前块的形状不仅可以是正方形，也可以是矩形。
35.预测单元120预测当前块以生成预测块。预测单元120包括帧内预测单元122和帧间预测单元124。
36.通常，图像中的当前块可以分别被预测地编码。当前块的预测通常可以利用帧内预测技术或帧间预测技术来执行，其中帧内预测技术使用来自包含当前块的每个图像的数据，而帧间预测技术使用来自在包含当前块的图像之前编码的先前图像的数据。帧间预测包括单向预测和双向预测。
37.帧内预测单元122通过利用位于当前图像中的当前块周围的周边像素(参考像素)来预测当前块中的像素。不同的预测方向呈现多个对应的帧内预测模式。例如，如图3a所示，多个帧内预测模式可以包括含有平面(planar)模式和dc模式的2种非方向模式以及65种方向模式。各个预测模式提供了相邻像素的不同对应定义和要使用的计算公式。
38.为了矩形形状的当前块的有效方向预测，使用的附加模式可以是由编号67至80以及编号
‑
1至
‑
14处的帧内预测模式的虚线箭头表示的图3b所示的方向模式。这些可以称为“宽角度帧内预测模式”。图3b中的箭头指示用于预测的对应参考样本，而非预测方向。预测方向与箭头指示的方向相反。宽角度帧内预测模式是在当前块为矩形时用于在反方向上执行特定方向模式的预测而无需附加的比特传输的模式。在这种情况下，在宽角度帧内预测模式中，可以通过矩形当前块的宽度与高度的比率来确定可用于当前块中的一些宽角度帧内预测模式。例如，当具有高度小于宽度的矩形形状时，具有角度小于45度的宽角度帧内预测模式(编号67至80处的帧内预测模式)可用于当前块中。当具有高度大于宽度的矩形形状时，具有角度为
‑
135度或更大的宽角度帧内预测模式(编号
‑
1至
‑
14处的帧内预测模式)可用于当前块中。
39.帧内预测单元122可以确定要用于对当前块编码的帧内预测模式。在一些示例中，帧内预测单元122可以通过利用若干帧内预测模式来对当前块编码，并且从测试的模式中选择要使用的适当的帧内预测模式。例如，帧内预测单元122可以通过对若干测试的帧内预测模式的率失真(rate
‑
distortion)分析来计算率失真值，并且在测试的模式中选择具有最佳率失真特性的帧内预测模式。
40.帧内预测单元122从多个帧内预测模式中选择一个帧内预测模式，并且通过利用根据选择的帧内预测模式和计算公式确定的至少一个相邻像素(参考像素)来预测当前块。关于选择的帧内预测模式的信息由熵编码单元155编码并传输至视频解码装置。
41.帧间预测单元124通过运动补偿处理来生成当前块的预测块。帧间预测单元124搜索当前图像之前的编码和解码的参考图像中与当前块最相似的块，并且通过利用搜索到的
块来生成当前块的预测块。然后，帧间预测单元124生成与当前图像中的当前块和参考图像中的预测块之间的位移(displacement)相对应的运动矢量(motion vector)。通常，对亮度分量进行运动估计，并且基于亮度分量计算的运动矢量用于亮度分量和色度分量两者。由熵编码单元155来编码包括关于参考图像的信息和关于用于预测当前块的运动矢量的信息的运动信息，并将其传输至视频解码装置。
42.减法器130通过将当前块减去由帧内预测单元122或帧间预测单元124生成的预测块来生成残差块。
43.变换单元140将残差块分割为一个或更多个变换块，对一个或更多个变换块应用变换，从而将变换块的残差值从像素域变换到频域。在频域中，变换块称为包含一个或更多个变换系数值的系数块。二维变换核可以用于变换，一维变换核可以用于水平变换和竖直方向变换的每个。变换核可以基于离散余弦变换(dct)、离散正弦变换(dst)等。
44.变换单元140可以通过利用残差块的整个大小作为变换单元来变换残差块中的残差信号。此外，变换单元140可以将残差块在水平或竖直方向上分割为两个子块，并且仅对两个子块中的一个进行变换，下面将参考图5a至图5d进行描述。相应地，变换块的大小可以不同于残差块的大小(从而不同于预测块大小)。在未执行变换的子块中，非零残差样本值可能不存在或可能非常稀疏。对于执行变换的子块的残差样本不进行信号通知，并且视频解码装置可以将它们全部视为“0”。根据分割方向和分割比率，可能存在若干分区类型。变换单元140向熵编码单元155提供关于残差块的编码模式(或变换模式)的信息，例如指示变换的是残差块还是残差子块的信息、指示选择为用于将残差块分割为子块的分区类型的信息、以及用于识别执行变换的子块的信息等。熵编码单元155可以对关于残差块的编码模式(或变换模式)的信息编码。
45.量化单元145对从变换单元140输出的变换系数进行量化，并且将量化的变换系数输出到熵编码单元155。量化单元145可以不经变换直接对特定块或帧的相关残差块进行量化。
46.重排单元150可以对量化的残差值上的系数值进行重排。重排单元150可以使用系数扫描(coefficient scanning)来将二维系数阵列改变为一维系数序列。例如，重排单元150可以通过锯齿形扫描(zig
‑
zag scan)或对角线扫描(diagonal scan)将dc系数扫描为高频区域中的系数，以输出一维系数序列。根据变换单元的大小和帧内预测模式，使用的锯齿形扫描可以被用于在列方向上扫描二维系数阵列的竖直扫描和用于在行方向上扫描二维块形状系数的水平扫描代替。换句话说，可以根据变换单元的大小和帧内预测模式在锯齿形扫描、对角线扫描、竖直扫描和水平扫描中确定要使用的扫描方法。
47.熵编码单元155使用诸如基于上下文的自适应二进制算术编码(context
‑
based adaptive binary arithmetic code，cabac)、指数哥伦布(exponential golomb)等各种编码方法来对从重排单元150输出的一维量化的变换系数的序列编码，以生成比特流。
48.另外，熵编码单元155对关于块分区的信息(例如，ctu大小、cu分割标志、qt分割标志、mtt分割类型和mtt分割方向)编码，使得视频解码装置以与视频编码装置相同的方式来分割块。另外，熵编码单元155根据预测类型、帧内预测信息(即，关于帧内预测模式的信息)或帧间预测信息(即，关于参考图像和运动矢量的信息)来对关于预测类型的信息进行编码和解码，所述预测类型指示当前块是由帧内预测还是帧间预测进行编码。
49.逆量化单元160对从量化单元145输出的量化的变换系数进行逆量化，以生成变换系数。逆变换单元165将从逆量化单元160输出的变换系数从频域变换到空域，以重构残差块。
50.加法单元170将重构的残差块和由预测单元120生成的预测块相加，以重构当前块。重构的当前块中的像素在帧内预测下一个块时用作参考像素。
51.滤波器单元180对重构的像素执行滤波以减少由于基于块的预测和变换/量化而产生的块效应(blocking artifacts)、振铃效应(ringing artifacts)、模糊效应(blurring artifacts)等。滤波器单元180可以包括去块滤波器182和采样自适应偏移(sample adaptive offset，sao)滤波器184。
52.去块滤波器180对重构的块之间的边界进行滤波，以去除由逐块编码/解码而引起的块效应，并且sao滤波器184对去块滤波的影像执行附加滤波。sao滤波器184是用于对由有损编码引起的重构的像素与原始的像素之间的差进行补偿的滤波器。
53.重构的块通过去块滤波器182和sao滤波器184进行滤波，并且存储在存储器190中。当一个图像中的所有块被重构时，重构的图像可以用作要编码的后续图像中的块的帧间预测的参考图像。
54.图4是示出能够实现本发明技术的视频解码装置的功能框图。在下文中，将参考图4描述视频解码装置和该装置的子组件。
55.视频解码装置可以配置为包括：熵解码单元410、重排单元415、逆量化单元420、逆变换单元430、预测单元440、加法器450、滤波器单元460和存储器470。
56.就图1的视频编码装置来说，视频解码装置的各个组件可以实现为硬件或软件，或者硬件和软件的组合。另外，每个组件的功能可以通过软件来实现，而每个组件的软件功能可以实现为由微处理器来执行。
57.熵解码单元410对由视频编码装置生成的比特流解码并提取关于块分区的信息以确定要解码的当前块，并且提取重构当前块所需的预测信息和关于残差信号的信息等。
58.熵解码单元410从序列参数集(sequence parameter set，sps)或图像参数集(picture parameter set，pps)中提取关于ctu大小的信息，确定ctu的大小，并且将图像分割为确定大小的ctu。然后，熵解码单元410将ctu确定为树结构的最高层，即根节点，并且提取关于ctu的分割信息，从而通过利用树结构来分割ctu。
59.例如，当通过利用qtbttt结构来分割ctu时，首先提取与qt分割相关的第一标志(qt_split_flag)，并且将每个节点分割为下层的四个节点。对于与qt的叶节点相对应的节点，熵解码单元410提取与mtt的分区有关的第二标志(mtt_split_flag)和分割方向(竖直/水平)和/或分割类型(二叉/三叉)的信息，以将叶节点分割为mtt结构。这使得qt的叶节点下方的各个节点被递归地分割为bt或tt结构。
60.作为另一示例，当通过利用qtbttt结构来分割ctu时，熵解码单元410可以首先提取指示cu是否分割的cu分割标志(split_cu_flag)，并且在分割相关块时，还可以提取第一标志(qt_split_flag)。在分割过程中，每个节点可以具有零个或更多个递归qt分割，接着是零个或更多个递归mtt分割。例如，ctu可以立即进入mtt分割，或者相反，单独具有多个qt分割。
61.作为又一示例，当通过利用qtbt结构来分割ctu时，熵解码单元410提取与qt分割
相关的第一标志(qt_split_flag)，以将每个节点分割为下层的四个节点。并且，对于与qt的叶节点相对应的节点，熵解码单元410提取指示该节点是否进一步分割为bt的分割标志(split_flag)和分割方向信息。
62.此外，当熵解码单元410通过树结构分割来确定要解码的当前块时，所述熵解码单元410提取关于指示当前块是被帧内预测还是被帧间预测的预测类型的信息。当预测类型信息指示帧内预测时，熵解码单元410提取用于当前块的帧内预测信息(帧内预测模式)的语法元素。当预测类型信息指示帧间预测时，熵解码单元410提取帧间预测信息的语法元素，也就是说，指示运动矢量和由运动矢量参考的参考图像的信息。
63.此外，熵解码单元410从比特流中提取关于残差块的编码模式的信息，例如关于对残差块编码还是单独地对残差块的子块编码的信息、指示用于将残差块分割为子块的选择的分区类型的信息、识别编码的残差子块的信息、量化参数等。此外，熵解码单元410提取关于量化的当前块的变换系数的信息作为关于残差信号的信息。
64.重排单元415以由视频编码装置执行的系数扫描序列的相反序列，将由熵解码单元410进行熵解码的一维量化的变换系数重排成二维系数阵列，即块。
65.逆量化单元420对量化的变换系数进行逆量化。逆变换单元430基于关于残差块的编码模式的信息，将逆量化的变换系数从频域逆变换到空域，以重构残差信号，从而生成重构的当前块的残差块。
66.逆变换单元430响应于当关于残差块的编码模式的信息指示出在视频编码装置中对当前块的残差块编码时，通过利用当前块的大小(进而，要重构的残差块的大小)作为变换单元来对逆量化的变换系数执行逆变换，以生成重构的当前块的残差块。
67.另外，逆变换单元430响应于当关于残差块的编码模式的信息指示出在视频编码装置中单独地对残差块的单个子块编码时，通过利用变换的子块的大小作为变换单元来对逆量化的变换系数执行逆变换，以在用“0”值填充未变换的子块的残差信号时重构变换的子块的残差信号，从而生成重构的当前块的残差块。
68.预测单元440可以包括帧内预测单元442和帧间预测单元444。在当前块的预测类型是帧内预测时，激活帧内预测单元442，而在当前块的预测类型是帧间预测时，激活帧间预测单元444。
69.帧内预测单元442根据由熵解码单元410提取的帧内预测模式的语法元素，在多个帧内预测模式中确定当前块的帧内预测模式，并且根据确定的帧内预测模式，通过利用当前块的相邻参考像素来预测当前块。
70.帧间预测单元444利用由熵解码单元410提取的用于帧内预测模式的语法元素来确定当前块的运动矢量和由运动矢量参考的参考图像，并且利用确定的运动矢量和参考图像来预测当前块。
71.加法器450将从逆变换单元输出的残差块与从帧间预测单元或帧内预测单元输出的预测块相加，以重构当前块。重构的当前块中的像素在对要解码的后续块进行帧内预测时用作参考像素。
72.滤波器单元460可以包括去块滤波器462和sao滤波器464。去块滤波器462对重构的块之间的边界进行去块和滤波，以去除由逐块解码引起的块效应。sao滤波器464在去块滤波之后对重构的块执行附加滤波，以补偿由有损编码引起的重构的像素与原始的像素之
间的差。重构的块通过去块滤波器462和sao滤波器464进行滤波，并且存储在存储器470中。当一个图像中的所有块被重构时，重构的图像用作要被编码的图像内的后续块的帧间预测的参考图像。
73.本文所示的实施方案的技术通常涉及帧间预测编码，即，对当前块进行编码和解码。为了有效地对根据基于块的运动补偿获得的残差块进行编码，视频编码装置可以将残差块在水平或竖直方向上划分为两个残差子块，并且在两个残差子块之间单独地对一个残差子块编码。换句话说，变换和量化处理可以仅应用于一个残差子块。另一个非编码的子块的残差值被视为“0”或被忽略。当残差块的某些区域没有残差值或残差值很少时，这种编码工具在对残差块进行编码方面会很有效。
74.视频编码装置可以选择第一编码模式和第二编码模式中最优的一个，其中第一编码模式对残差块编码，从而以与预测块相等大小的变换单元对残差块中的残差信号进行变换，而第二编码模式将残差块在水平或竖直方向上分割为两个子块，并且单独地对一个子块编码，从而以与预测块不同大小的变换单元对残差块中的残差信号进行变换。
75.下面详述与残差块编码相关的第二模式。下面的描述主要关注于解码技术，特别是视频解码装置的操作，并且将保持编码技术简洁，这是因为编码技术是全面描述的解码技术的逆操作。另外，术语“残差块的子块”和“残差子块”可以互换使用。
76.1.分区类型和变换位置
77.图5a至图5d示出要编码(进而变换)的残差块和子块的各种分割或分区类型。残差块可以分割为两个子块。在示出的残差块510至580中，经历变换的子块画有阴影并用“a”标记。位于残差块中左侧或上侧的子块可以表示为位于残差块中的“位置0”处，而位于残差块中右侧或下侧的子块可以表示为位于残差块内的“位置1”处。执行变换的残差块中的子块的位置可以称为“变换位置”。因此，由“位置0”指示的变换位置可以表示对位于残差块中左侧或上侧的子块执行的变换，由“位置1”指示的变换位置可以表示对位于残差块中右侧或下侧的子块执行的变换。
78.根据分割方向和分割比率，可以考虑各种分区类型。要考虑的块分区类型包括：在水平方向上对称地分割的第一类型、在竖直方向上对称地分割的第二类型、在水平方向上非对称地分割(例如，以1:3或3:1的比率)的第三类型以及在竖直方向上非对称地分割(例如，以1:3或3:1的比率)的第四类型。
79.块510被竖直地分割为左侧子块和右侧子块，并且不对位置1处的右侧子块执行变换，而对位置0处的左侧子块执行变换。块520被竖直地分割为左侧子块和右侧子块，并且不对左侧子块执行变换，而对位置1处的右侧子块执行变换。块530在水平方向上被分割为上侧子块和下侧子块，并且对位置0处的上侧子块而不是对下侧子块执行变换。块540在水平方向上分割为两个子块，并且对位置1处的下侧子块而不是上侧子块执行变换。
80.块550被竖直地分割为具有1:3比率的左侧子块和右侧子块，，并且不对位置1处的右侧子块执行变换，而对位置0处的左侧子块执行变换。块560被竖直地分割为具有3:1比率的左侧子块和右侧子块，并且不对左侧子块执行变换，而对位置1处的右侧子块执行变换。块570被水平地分割为具有1:3比率的上侧子块和下侧子块，并且对位置0处的上侧子块而不是对下侧子块执行变换。块580在水平方向上分割为具有3:1比率的两个子块，并且对位置1处的下侧子块而不是上侧子块执行变换。
81.就图5c和图5d所示的块550至580来说，当残差块被非对称地分割(例如，以1:3或3:1的比率)时，默认情况下可以将变换设置为在较小的子块上执行。
82.可以根据残差块的大小来限制可用的分割比率和分割方向，以便为要经历变换的子块的高度或宽度提供4个或更多像素。例如，第一类型的水平对称分割可以用于宽度为8个像素或更多的残差块，而第二类型的竖直对称分割可以用于高度为8个像素或更多的残差块。类似地，提供水平或竖直非对称分割的第三类型和第四类型可以用于宽度或高度为16像素或更多的残差块。
83.2.变换核的选择
84.根据残差块的分区方向(水平或竖直)及其变换位置，即变换的子块的位置，可以选择水平方向和竖直方向上的变换核(hortransform和vertransform)用于要变换的子块。
85.当对残差块应用竖直分区时，要用于子块变换的核可以如下隐式推导。就块510和550来说，当被变换的子块在位置0时，则(hortransform，vertransform)＝(dct
‑
8，dst
‑
7)。就块520和560来说，当被变换的子块在位置1时，则(hortransform，vertransform)＝(dst
‑
7，dst
‑
7)。
86.当对残差块应用水平分区时，要用于子块变换的核可以如下隐式推导。就块530和570来说，当被变换的子块位于位置0时，则(hortransform，vertransform)＝(dct
‑
7，dst
‑
8)。就块540和580来说，当被变换的子块位于位置1时，则(hortransform，vertransform)＝(dst
‑
7，dst
‑
7)。
87.当一个残差子块大于32个像素时，dct
‑
2核可以应用于水平方向和竖直方向。另外，对于色度分量的残差块，dct
‑
2核可以始终应用于残差子块的变换，而不管残差块的分割方向(水平或竖直)及其变换位置，即变换后的子块的位置。某些情况可以显式地用信号通知识别用于在水平方向和竖直方向上变换的变换核的信息。
88.3.残差编码模式的信号通知
89.在当前块被帧间预测编码并且相关残差块具有至少一个非零系数时，可以显式地用信号通知指示当前块的相关残差块是否被变换或仅仅残差块的一个子块被编码的第一标志。
90.相应地，在重构帧间预测编码的当前块的残差块时，视频解码装置可以从比特流中解码第一标志，以确定视频编码装置是否已经将残差块分割为两个子块并在两个子块之间单独地对一个子块编码。
91.一些实施方案可以根据当前块的宽度或高度或者根据宽度和高度的乘积、宽度与高度的比率以及宽度和高度中较大的一个来跳过第一标志的信号通知。例如，在当前块的宽度和高度两者都小于8个像素时，视频解码装置可以跳过第一标志的解码并且推断出当前块的整个残差块已被变换。
92.当仅残差块的一个子块被编码时，残差块的分区类型和变换位置可以另外用信号通知。可以以各种方式向视频编码装置提供关于分区类型和变换位置的信息。例如，可以使用一个语法元素来表示残差块的分区类型，或者可以使用两个标志来表示分割比率和分割方向。此外，可以使用一个标志来表示变换位置，也就是被变换的子块的位置。一个示例情况可以在对残差块中位于左侧或上侧的子块应用变换时将指示变换位置的标志设置为“0”值，并且在对残差块中位于右侧或下侧的子块应用变换时将指示变换位置的标志设置为
“
1”值。
93.当以1:3或3:1的比率分割时，残差块可以添加约束，即变换总是在较小的子块处执行，这使得能够免除指示变换位置的标志的信号通知。
94.此外，根据残差块的宽度和高度，或者根据宽度和高度的乘积、宽度与高度的比率以及宽度和高度中较大的一个，可以限制使用某些分区类型或分割方向和/或分割比率，这使得能够免除表示相同分区类型或分割方向和/或分割比率的语法元素的信号通知。作为示例，当残差块的宽度和高度两者都小于16个像素时，可能不会允许“以1:3的比率或3:1的比率”分割残差块。相应地，视频解码装置可以响应于当残差块的宽度和高度小于16个像素时，推断出分割比率为1:1，而无需对指示分割比率的标志解码。作为另一个示例，当残差块的宽度(或高度)小于8个像素时，可能不会允许在竖直方向(或水平方向)上分割残差块。相应地，频解码装置可以响应于当残差块的宽度小于8个像素时，推断出在水平方向上分割残差块，而无需对指示分割方向的标志解码。类似地，视频解码装置可以响应于当残差块的高度小于8个像素时，推断出在竖直方向上执行分割。又一示例可以响应于当宽度大于高度时，推断出在竖直方向上执行分割，而当高度大于宽度时，推断出在水平方向上执行分割。
95.与亮度分量相关的残差块可以仅使其一个残差子块被编码，然后对应的与色度分量相关的残差块可以同样地仅使其一个残差子块被编码。相应地，可以在亮度分量残差块与色度分量残差块之间共享在cu级上用信号通知的第一标志。
96.选择用于亮度分量残差块的相同残差编码模式可以应用于与亮度分量残差块相同位置的色度分量残差块。换句话说，当亮度分量残差块仅使一个子块被编码时，色度分量残差块可以同样地仅使一个子块被编码。在这种情况下，可以在亮度块与色度块之间共享关于残差块的分区类型和要进行编码的子块的位置的信息。
97.在单个树结构的至少一个实施方案中，可以将相同的残差编码模式应用于亮度分量和色度分量，并且可以将关于确定为用于亮度分量残差块的分割方向和要进行编码的子块的位置的相同信息应用于色度分量残差块。在仅对色度分量残差块的一个子块进行编码的另一个示例中，当仅对相同位置的亮度分量残差块的一个子块进行同样的编码时，关于确定为用于亮度分量残差块的分割方向和要进行编码的子块的位置的相同信息可以应用于色度分量残差块。
98.4.残差块重构
99.视频解码装置可以基于分区类型和变换位置，确定要从比特流中解码相关变换系数信息的残差块中的子块的位置和子块的大小。视频解码装置可以从比特流中解码变换系数信息，以重构对应于变换位置的子块的变换系数。视频解码装置对重构的变换系数应用逆量化/逆变换处理，以生成对应于变换位置的子块的残差信号，并且将对应于非变换位置的其他子块的所有残差信号设置为“0”，从而重构当前块的残差块。
100.类似地，视频编码装置对与变换位置相对应的残差子块执行变换和量化，对量化的变换系数进行熵编码，并对量化的变换系数应用逆量化/逆变换处理，以重构对应于变换位置的残差子块，并且将对应于非变换位置的其他子块的所有残差信号设置为“0”，从而重构当前块的残差块。
101.5.量化参数的计算
102.视频编码装置可以确定当前块(cu)的量化参数(quantization parameter，qp)
值，并且基于qp值和qp预测值来确定当前块的差分量化参数(delta qp或dqp)值。视频编码装置可以配置为通过利用确定的qp值来用信号通知dqp值并量化当前块。视频编码装置可以调整当前块的qp值，从而调整应用于与当前块相关的系数块的量化程度。
103.dqp被定义为当前qp(即，在当前块中使用的实际qp)与当前qp的预测值或qp预测值之间的差。基于用信号通知的dqp，可以通过将dqp与qp预测值相加来重构对应的当前qp值。具体地，视频编码装置通过将当前块的实际qp减去qp预测值来计算dqp，并且视频解码装置通过将接收到的dqp与qp预测值相加来重构当前块的实际qp。
104.在一些实施方案中，相对于当前块的上侧块和左侧块的实际qp值的平均值可以确定为当前块的qp预测值。在一些其他的实施方案中，关于当前块的左侧块、左上侧块和上侧块的实际qp值的代表性值(例如，平均值、中值等)可以确定为当前块的qp预测值。
105.一些实施方案仅对当前块的相关残差块的一个子块进行编码，其中用于编码的残差块的分区信息、分割形状或子块的位置等用作选择要参考的相邻块的基础。然后，用于选择相邻块的实际qp值可以用作当前块的qp预测值，或者选择的相邻块的实际qp值可以用作得到当前块的qp预测值的基础。
106.图6是用于解释在当前块的相关残差块中单独地对一个子块编码的情况的示意图，其示出用于预测量化参数(qp)的要参考的相邻块的位置。
107.当残差块610被竖直分割并且残差信号仅存在于左侧子块中，也就是说，单独地对左侧子块编码时，与左侧子块相邻的相邻块“a、b、d、e”的qp预测值的至少一个可以用作计算当前块的qp预测值的基础。例如，可以基于块“a”和块“b”的qp值的平均值来计算当前块的qp预测值。
108.当残差块620被竖直分割并且残差信号仅存在于右侧子块中，也就是说，单独地对右侧子块进行编码时，作为与右侧子块相邻的相邻块的块“c”的qp值可以确定为当前块的qp预测值。
109.图7是色度块和与色度块相同位置的至少一个亮度块的示意图。
110.可以基于对应亮度块的qp值来确定色度块的qp值。可以基于相同位置处的亮度块的qp值来确定色度块的qp预测值。作为示例，位于当前块中左上侧处的亮度块“a”的qp值可以用作色度分量残差块的qp预测值。替选地，色度分量残差块的可用qp预测值可以是亮度块“a到i”的qp值中最频繁的值、最大值、最小值、平均值或中值。
111.当在色度分量残差块中单独地对一个子块编码时，色度块的可用qp预测值可以是基于残差块的分割方向、用于编码的子块的位置、子块的大小、子块的水平与竖直比率以及子块的宽度或高度中的较大值(或者，较小值)选择的亮度块的qp值。在至少一个实施方案中，色度分量块的可用qp预测值是块“d”和块“i”中的一个的qp值，或块“d”和块“i”的qp值的平均值，所述块“d”和块“i”是对应于在色度分量残差块中被编码的子块a的亮度块。
112.6.环路滤波
113.视频编码装置和视频解码装置可以对重构的当前块执行包括去块滤波的环路滤波(in
‑
loop filtering)，并且将滤波的当前块存储在缓冲器(例如，图1的存储器190和图4的存储器470)中，以将来用作要编码的图像中的后续块的帧间预测的参考图像。
114.去块滤波器应用于块边界处的像素，以减轻由重构图像中块之间的边界引起的块效应。对竖直边界和水平边界执行去块滤波。首先对竖直边界执行的滤波可以用作随后的
水平边界滤波的输入。
115.图8是重构的当前块的示意图，其示出重构的当前块的相关残差块在它们的左侧子块处进行水平分区和变换(即，变换位置为0)，以显示它们的子块间分区边界和去块边界。
116.视频编码装置和视频解码装置可以基于4
×
4单位(或8
×
8单位)去块边界是否与残差块的子块之间的边界相匹配来确定是否对当前块应用去块滤波。例如，视频解码装置可以在水平方向和竖直方向上以规则的间隔设置n个样本的网格，并且仅在当前块中的两个子块之间的边界与网格边界重合时执行去块滤波。相应地，可以不对与网格边界不重合的子块之间的边界执行去块滤波。这里，n可以设置为2
n
(n是自然数)。替选地，视频编码装置和视频解码装置可以基于包括在当前块中的若干列或行中的像素来确定是否对当前块应用去块滤波。可以根据当前块是亮度块还是色度块来使用不同单位的网格。例如，对于亮度块可以以4
×
4为单位设置网格，对于色度块可以以8
×
8为单位设置网格。
117.在一些实施方案中，可以以重构的残差信号的电平执行去块滤波。图9是用于解释对残差子块之间的边界以残差信号电平执行的去块滤波的示意图。图9示出在4
×
8残差块的下侧4
×
4子块处(即，变换位置为1)经历水平分割和变换的4
×
8残差块。一旦重构了对应于下侧子块的残差信号，并且用“0”填充上侧子块的残差信号以完成重构的残差块，则可以对残差块执行去块滤波。图9的实施方案示出了具有应用于两个子块之间的边界的参数[1 2 1]的一维均值滤波器。
[0118]
当对当前块应用去块滤波器时，可以根据所需的去块滤波强度来选择强滤波器或弱滤波器。此外，可以考虑在通常的影像处理技术中使用各种常规滤波器，例如均值滤波器、中值滤波器和双边滤波器。
[0119]
就滤波器选择来说，在选择用于残差去块滤波的滤波器之前，视频编码装置可以通知视频解码装置要使用的滤波器。例如，可以在多个预定的滤波器中用信号通知要使用的滤波器的索引。替选地，可以使用一个预定滤波器。
[0120]
一旦选择了滤波器，实施方案计算与选择的滤波器相关的滤波参数，特别是确定滤波器强度的参数和像素变化的裁剪值，并且基于计算出的滤波参数，对残差样本边界执行滤波。
[0121]
对于滤波器参数，可以用信号通知相邻编码单元(例如，前一帧、相邻块、相邻瓦片组、相邻瓦片等)的位置信息，并且对应于位置的相邻解码单元的滤波器参数可以原样用于当前块，或者根据相邻的参数值和进一步用信号通知的差值来重构用于当前块的滤波器参数。
[0122]
图10是根据本发明的至少一个实施方案的由用于对视频的当前块进行帧间预测编码的视频编码装置执行的方法的流程图。
[0123]
在步骤s1010，视频编码装置可以通过对正在编码的视频数据的当前块进行帧间预测来生成预测块，并且可以通过将视频数据的当前块减去预测块来生成残差块。
[0124]
在步骤s1020，视频编码装置可以确定当前块的残差块的残差编码模式。具体地，视频编码装置可以选择是对当前块的残差块进行编码，还是仅对作为残差块的部分区域的一个子块进行编码。该选择可以基于率失真测试。
[0125]
在步骤s1030，视频编码装置可以对关于选择为用于当前块的相关残差块的残差
编码模式的信息进行编码。
[0126]
残差编码模式信息可以包括指示编码的是残差块还是残差块的单独的一个子块的第一标志。
[0127]
当仅对残差块的一个子块进行编码时，视频编码装置可以另外对指示用于将残差块分割为两个子块的分区类型的信息进行编码。根据分割方向和分割比率，可能存在各种分区类型。例如，帧间预测编码方法可以考虑使用的分区类型，所述分区类型包括：提供水平对称地分割为两个子块的第一类型、提供竖直对称地分割为两个子块的第二类型、提供水平非对称地分割为两个子块的第三类型(例如，以1:3或3:1的比率)以及提供竖直非对称地分割为两个子块的第四类型(例如，以1:3或3:1的比率)。可以使用一个或更多个语法元素来用信号通知当前块的相关残差块的分区类型(或分割方向和分割比率)。
[0128]
根据当前块的相关残差块的宽度和高度，并因此根据预测块的宽度和高度，视频编码装置可以限制某些分割方向、分割比率和/或分区类型的使用，从而视频编码装置可以跳过用信号通知表示取决于残差块的宽度和高度的分割方向、分割比率和/或分区类型的语法元素。
[0129]
在至少一个实施方案中，当残差块的宽度和高度都小于16个像素时，可能不会允许“以1:3或3:1的比率”分割残差块。相应地，当残差块的宽度和高度小于16个像素时，视频解码装置可以推断出分割比率为1:1，视频编码装置可以认为跳过跳过用于信号通知表示分割方向的语法元素(例如，1位标志)。在另一个实施方案中，在当前块的宽度小于8个像素时，可能不会允许当前块的竖直分割。在当前块的高度小于8个像素时，可能不会允许当前块的水平分割。相应地，当残差块的宽度(或高度)小于8个像素时，视频解码装置可以推断出当前块在竖直方向(或水平方向)上以1:1的比率分割，这使得视频编码装置能够跳过用信号通知表示分割方向的语法元素(例如，1位标志)。
[0130]
另外，视频编码装置可以显式地用信号通知用于识别根据分区类型分类的两个子块之间的要编码(进而要经历变换)的子块的标志。在一些实施方案中，视频编码装置可以响应于在当前块的分区类型是第三类型或第四类型时，即，当在水平或竖直方向上非对称地分割当前块时，立即考虑两个块之间较小的子块要被编码，同时跳过用信号通知用于识别要编码的子块的标志。
[0131]
在步骤s1040至s1050，视频编码装置根据选择为用于当前块的相关残差块的残差编码模式对残差块或残差块的一个子块进行编码。当选择对残差块编码时，视频编码装置可以以大小等于残差块的变换单元对残差块执行变换和量化，并且对量化的变换系数进行熵编码。当选择为仅对残差块的一个子块进行编码时，视频编码装置可以对与变换位置相对应的子块执行变换和量化，并且对量化的变换系数进行熵编码。对应于未变换的位置的其他子块的残差信号均视为0，这消除了对变换系数信息的需要。
[0132]
在步骤s1060，视频解码装置可以对量化的变换系数应用逆量化/逆变换处理，以重构对应于变换位置的残差信号，并且将对应于非变换的位置的其他子块的所有残差信号设置为0，从而重构当前块的残差块。视频编码装置可以将重构的残差块与预测块相加，以生成重构的当前块。
[0133]
在步骤s1070，视频编码装置可以至少对重构的当前块执行去块滤波，并且将滤波的当前块存储在缓冲器(例如，图1的存储器190)中，以用作要编码的图像中的后续块的帧
间预测的参考图像。具体地，视频编码装置可以在水平方向和竖直方向上以规则的间隔设置n个样本的网格，并且基于残差块的子块之间的边界是否与网格边界重合来确定是否向当前块应用去块滤波。视频编码装置可以仅在当前块中的两个残差子块之间的边界与网格边界重合时执行去块滤波。换句话说，可以仅当4
×
4单元(或8
×
8单元)去块边界与残差子块之间的边界重合时执行去块滤波。
[0134]
图11是根据本发明的至少一个实施方案的用于从编码的视频比特流解码帧间预测编码的当前块的视频解码装置的方法的流程图。
[0135]
在步骤s1110，视频解码装置(例如，图4的熵解码单元)可以对关于当前块的相关残差块的残差编码模式的信息进行解码。
[0136]
例如，视频解码装置可以从比特流中解码指示编码的是当前块的相关残差块还是残差块的单独的一个子块的第一标志。当第一标志具有第一值(例如，“0”)时，可以指示出残差块已被变换，而具有第二值(例如，“1”)的第一标志可以指示出残差块的单独的一个子块已被变换。
[0137]
当第一标志指示出仅残差块的一个子块被变换时，视频解码装置可以从比特流中进一步解码表示残差块的分区类型(分割方向和/或分割比率)的一个或更多个语法元素，并且可以至少部分地基于解码的一个或更多个语法元素来确定残差块的分区类型。根据分割方向和分割比率，可能存在各种分区类型。例如，分区类型可以包括：提供水平对称地分割为两个子块的第一类型、提供竖直对称地分割为两个子块的第二类型、提供水平非对称地分割为两个子块的第三类型(例如，以1:3或3:1的比率)以及提供竖直非对称地分割为两个子块的第四类型(例如，以1:3或3:1的比率)。
[0138]
在确定分区类型时，可以进一步考虑当前块的宽度和高度以及指示分区类型的信息。根据当前块的宽度和高度，可以限制某些分区类型(或分割方向和/或分割比率)的使用，这可以免除表示相同分区类型(或分割方向和/或分割比率)的语法元素的信令。
[0139]
至少一个实施方案可以响应于在当前块的宽度和高度两者都小于16个像素时，不允许“以1:3或3:1的比率”分割当前块。相应地，当残差块的宽度和高度两者都小于16个像素时，视频解码装置可以仅推断出分割比率为1:1，而无需对指示分割方向的语法元素(例如，1位标志)解码。
[0140]
另一个实施方案可以响应于在当前块的宽度(或高度)小于8个像素时，不允许在竖直方向(或水平方向)上分割当前块。因此，当残差块的宽度小于8个像素时，视频解码装置可以仅推断出分割方向为水平方向，而无需对指示分割方向的语法元素解码。以相同的方式，当残差块的高度小于8个像素时，视频解码装置可以仅推断出分割方向为竖直方向，而无需对指示该方向的语法元素解码。
[0141]
为了识别要从中解码变换系数信息的子块，视频解码装置可以进一步从比特流中解码指示编码的子块位置的语法元素(例如，1位标志)以及进而已经执行变换的子块位置。在一些实施方案中，视频解码装置可以响应于在当前块的分区类型是第三类型或第四类型时，立即考虑两个块之间较小的子块是要经历变换的一个子块，同时跳过对指示执行变换的子块位置的语法元素的解码。
[0142]
在步骤s1120至s1130，视频解码装置可以基于解码的残差编码模式信息来重构当前块的相关残差块。
[0143]
当第一标志指示出当前块的相关残差块被编码时，视频解码装置可以从比特流中解码残差块的变换系数信息以重构变换系数。此后，视频解码装置对变换系数进行逆量化，并且以大小等于残差块的变换单元对逆量化的变换系数执行变换，从而重构当前块的残差块。
[0144]
当第一标志指示出仅对残差块的一个子块进行编码时，视频解码装置可以从比特流中解码对应于变换位置的子块的变换系数信息，以重构变换系数。此后，视频解码装置对变换系数进行逆量化和逆变换，以生成对应于变换位置的子块的残差信号，并且将对应于非变换位置的其他子块的所有残差信号设置为“0”，从而重构当前块的残差块。
[0145]
在步骤s1140，视频解码装置可以通过对当前块进行帧间预测来生成预测块，并且可以通过将预测块和残差块相加来重构当前块。
[0146]
在步骤s1150，视频解码装置可以对重构的当前块执行去块滤波，并且将滤波的当前块存储在缓冲器(例如，图4的存储器470)中，以用作要编码的图像中的后续块的帧间预测的参考图像。视频解码装置可以在水平方向和竖直方向上以规则的间隔设置n个样本的网格，并且基于设置的网格的边界来确定是否对当前块应用去块滤波。例如，在当前块与已被解码的其他块之间的边界与网格边界重合时，可以对当前块与已被解码的其他块之间的边界应用去块滤波。另外，当残差块的子块之间的边界与网格边界重合时，可以对残差块的子块之间的边界应用去块滤波。可以根据当前块是亮度块还是色度块来使用不同单元的网格。例如，对于亮度块可以以4
×
4为单位设置网格，对于色度块可以以8
×
8为单位设置网格。
[0147]
应当理解的是，以上描述呈现了可以以各种其他方式实现的说明性实施方案。在一些实施方案中描述的功能可以通过硬件、软件、固件和/或它们的组合来实现。还应当理解，本说明书中描述的功能组件由
“……
单元”来标记，以突出强调它们的独立可实现性。
[0148]
此外，本发明中描述的各种方法或功能可以实现为存储在非易失性记录介质中的指令，所述指令可以由一个或更多个处理器读取和执行。非易失性记录介质包括例如以计算机系统可读取的形式存储数据的所有类型的记录装置。例如，非易失性记录介质可以包括存储介质，例如可擦除可编程只读存储器(eprom)、闪存驱动器、光驱、磁性硬盘驱动器和固态驱动器(ssd)等等。
[0149]
尽管出于说明的目的已经描述了本发明的示例性实施方案，但是本领域的技术人员应当理解，在不脱离要求保护的本发明思想和精神的情况下，可以进行各种修改、添加和替换。因此，出于简洁和清楚起见，描述了本发明的示例性实施方案。本发明的技术思想的范围不受例示的限制。相应地，普通技术人员应当理解，要求保护的本发明的范围不受上述明确描述的实施方案的限制，而是受权利要求及其等同形式的限制。
[0150]
相关申请的交叉引用
[0151]
本技术要求2019年3月12日提交的韩国专利申请no.10
‑
2019
‑
0028364的优先权，该申请的全部内容通过引用结合到本文中。