用于基于去块滤波对图像进行编码的方法及其设备与流程

1.本公开涉及视频编码技术，并且更具体地，涉及视频编码系统中的基于去块滤波的视频编码方法及其设备。


背景技术：

2.如今，在各个领域中对诸如4k、8k或更高的超高清(uhd)图像/视频这样的高分辨率和高质量图像/视频的需求已经不断增长。随着图像/视频数据变成更高分辨率和更高质量，与传统图像数据相比，所发送的信息量或比特量增加。因此，当使用诸如传统有线/无线宽带线这样的介质来发送图像数据或者使用现有存储介质来存储图像/视频数据时，其传输成本和存储成本增加。
3.另外，如今，对于诸如虚拟现实(vr)和人工现实(ar)内容或全息图等这样的沉浸式媒体的兴趣和需求正在增加，并且对具有与诸如游戏图像这样的真实图像不同的图像特征的图像/视频的广播正在增加。
4.因此，需要有效地压缩并发送或存储以及再现具有如上所述的各种特征的高分辨率和高质量图像/视频的信息的高效图像/视频压缩技术。


技术实现要素：

5.技术问题
6.本公开的一技术方面在于提供用于增加图像编码效率的方法和设备。
7.本公开还提供了用于基于去块滤波增加视频编码中的变换索引编码的效率的方法和设备。
8.本公开还提供了用于对基于bdpcm编码的视频进行去块滤波的方法和设备。
9.本公开还提供了用于基于bdpcm编码的色度分量的视频编码方法和设备。
10.技术方案
11.在一方面中，提供了一种由解码设备执行的视频解码方法。该方法可以包括：接收包括bdpcm(块差分脉冲编码调制或基于块的增量脉冲编码调制)信息的比特流；基于bdpcm信息推导当前块的残差样本；基于bdpcm信息推导当前块的预测样本；基于残差样本和预测样本生成重构图片；对重构图片执行去块滤波，其中，当bdpcm应用于当前块时，可以不执行去块滤波。
12.bdpcm信息可以包括指示bdpcm是否应用于当前块的标志信息，并且当标志信息为1时，用于去块滤波的边界强度(bs)可以被推导为零。
13.当前块可以包括亮度编码块或色度编码块。
14.当前块的树类型可以是单树类型，当前块可以是色度编码块，并且当标志信息是1时，边界强度可以被推导为1。
15.推导残差样本的步骤可以包括：基于bdpcm推导当前块的量化变换系数；以及通过执行量化变换系数的解量化来推导变换系数。
16.可以基于针对执行bdpcm的方向的方向信息来推导量化变换系数。
17.可以基于执行bdpcm的方向来推导当前块的帧内预测样本。
18.在另一方面中，提供了一种由编码设备执行的视频编码方法。该方法可以包括：基于bdpcm(块差分脉冲编码调制或基于块的增量脉冲编码调制)推导当前块的预测样本；基于预测样本推导当前块的残差样本；基于残差样本和预测样本生成重构图片；对重构图片执行去块滤波；基于bdpcm推导当前块的量化的残差信息；以及对用于bdpcm的bdpcm信息和量化的残差信息进行编码，其中，当bdpcm应用于当前块时，可以不执行去块滤波。
19.根据本公开的又一实施方式，可以提供一种数字存储介质，该数字存储介质存储包括根据由编码设备执行的图像编码方法生成的编码的图像信息和比特流的图像数据。
20.根据本公开的又一实施方式，可以提供一种数字存储介质，该数字存储介质存储包括编码的图像信息和比特流的图像数据以使解码设备执行图像解码方法。
21.技术效果
22.根据本公开，可以增加整体图像/视频压缩效率。
23.根据本公开，可以增加基于bdpcm的视频编码中的去块滤波的效率。
24.根据本公开，可以增加基于bdpcm的色度图像的去块滤波的效率。
25.可以通过本公开的具体示例获得的效果不限于上面列出的效果。例如，可以存在相关领域的普通技术人员可以理解或从本公开推导出的各种技术效果。因此，本公开的特定效果不限于本公开中明确描述的那些，并且可以包括可以根据本公开的技术特征理解或推导出的各种效果。
附图说明
26.图1示意性地例示了可应用本公开的视频/图像编码系统的示例。
27.图2是示意性地例示可应用本公开的视频/图像编码设备的配置的图。
28.图3是示意性地例示可应用本公开的视频/图像解码设备的配置的图。
29.图4是用于描述根据实施方式的去块滤波过程的控制流程图。
30.图5是例示位于块的边界处的样本的图。
31.图6是例示根据本公开的实施方式的用于确定bs的方法的图。
32.图7是用于描述根据本公开的实施方式的视频解码方法的控制流程图。
33.图8是用于描述根据本公开的实施方式的视频编码方法的控制流程图。
34.图9例示了应用本公开的内容流系统的结构。
具体实施方式
35.尽管本公开可能易于进行各种修改并且包括各种实施方式，但是其具体实施方式已在附图中通过示例的方式示出，并且现在将对其进行详细描述。然而，这并不旨在将本公开限制于本文公开的具体实施方式。本文中使用的术语只是出于描述特定实施方式的目的，并不旨在限制本公开的技术思路。除非上下文另外清楚指示，否则单数形式可以包括复数形式。诸如“包括”和“具有”之类的术语旨在指示存在以下描述中使用的特征、数字、步骤、操作、元件、组件或其组合，因此不应被理解为预先排除了存在或添加一个或更多个不同特征、数字、步骤、操作、元件、组件或其组合的可能性。
36.此外，为了方便描述彼此不同的特性功能，独立地例示了本文中描述的附图上的各组件，然而，并不意指各组件由单独的硬件或软件来实现。例如，可以组合这些组件中的任何两个或更多个以形成单个组件，并且任何单个组件可以被划分成多个组件。其中组件被组合和/或划分的实施方式将属于本公开的专利权的范围，只要它们不脱离本公开的实质即可。
37.在下文中，将参照附图更详细地说明本公开的优选实施方式。另外，在附图中，相同的附图标号用于相同的组件，并且将省略对相同组件的重复描述。
38.本文档涉及视频/图像编码。例如，本文档中公开的方法/示例可以涉及vvc(通用视频编码)标准(itu-t rec.h.266)、vvc之后的下一代视频/图像编码标准、或其它视频编码相关标准(例如，hevc(高效视频编码)标准(itu-t rec.h.265)、evc(基本视频编码)标准、avs2标准等)。
39.在本文档中，可以提供与视频/图像编码相关的各种实施方式，并且除非相反地指定，否则这些实施方式可以彼此组合并执行。
40.在本文档中，视频可以是指一段时间内一系列图像的集合。通常，图片是指表示特定时间区域的图像的单元，而切片/贴片是构成图片的一部分的单元。切片/贴片可以包括一个或更多个编码树单元(ctu)。一幅图片可以由一个或更多个切片/贴片组成。一幅图片可以由一个或多个贴片组组成。一个贴片组可以包括一个或更多个贴片。
41.像素或图元(pel)可以是指构成一幅图片(或图像)的最小单元。另外，“样本”可用作与像素相对应的术语。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。另选地，样本可以意指空间域中的像素值，或者当该像素值被变换为频域时，其可以意指频域中的变换系数。
42.单元可以表示图像处理的基本单位。单元可以包括特定区域和与该区域相关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如，cb、cr)块。根据情况，可以将单元和诸如块、区域等这样的术语互换地使用。在通常情况下，m
×
n块可以包括由m列和n行组成的样本(或样本阵列)或变换系数的集(或阵列)。
43.在本文档中，术语“/”和“，”应该被解释为指示“和/或”。例如，表述“a/b”可以意指“a和/或b”。另外，“a、b”可以意指“a和/或b”。另外，“a/b/c”可以意指“a、b和/或c中的至少一个”。另外，“a/b/c”可以意指“a、b和/或c中的至少一个”。
44.另外，在该文档中，术语“或”应该被解释为指示“和/或”。例如，表述“a或b”可以包括1)仅a、2)仅b和/或3)a和b二者。换句话说，本文档中的术语“或”应该被解释为指示“附加地或另选地”。
45.在本公开中，“a和b中的至少一个”可以意指“仅a”、“仅b”或“a和b两者”。此外，在本公开中，表述“a或b中的至少一个”或者“a和/或b中的至少一个”可以被解释为“a和b中的至少一个”。
46.此外，在本公开中，“a、b和c中的至少一个”可以意指“仅a”、“仅b”、“仅c”或“a、b和c的任何组合”。此外，“a、b或c中的至少一个”或“a、b和/或c中的至少一个”可以意指“a、b和c中的至少一个”。
47.另外，本公开中使用的括号可以表示“例如”。具体地，当指示为“预测(帧内预测)”时，可以意指“帧内预测”被提出为“预测”的示例。换句话说，本公开的“预测”不限于“帧内
预测”，并且“帧内预测”是作为“预测”的示例而提出的。另外，当指示为“预测(即，帧内预测)”时，这也可以意指“帧内预测”被提出为“预测”的示例。
48.在本公开中的一个附图中单独描述的技术特征可以单独地实现或可以同时实现。
49.图1示意性地例示了可应用本公开的视频/图像编码系统的示例。
50.参照图1，视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以经由数字存储介质或网络以文件或流的形式将编码后的视频/图像信息或数据传递到接收装置。
51.源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以被称为视频/图像编码设备，并且解码设备可以被称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示器，并且显示器可以被配置为单独的装置或外部组件。
52.视频源可以通过捕获、合成或生成视频/图像的处理来获得视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以(电子地)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可以被生成相关数据的处理取代。
53.编码设备可以对输入视频/图像进行编码。编码设备可以执行诸如针对压缩和编码效率的预测、变换和量化这样的一系列过程。编码后的数据(编码后的视频/图像信息)可以以比特流的形式输出。
54.发送器可以通过数字存储介质或网络以文件或流的形式将以比特流的形式输出的编码后的视频/图像信息或数据发送到接收装置的接收器。数字存储介质可以包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等这样的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以接收/提取比特流，并且将接收/提取的比特流发送到解码设备。
55.解码设备可以通过执行与编码设备的操作对应的诸如解量化、逆变换、预测等这样的一系列过程来解码视频/图像。
56.渲染器可以渲染解码后的视频/图像。可以通过显示器显示渲染后的视频/图像。
57.图2是示意性地例示可应用本公开的视频/图像编码设备的配置的图。在下文中，所谓的视频编码设备可以包括图像编码设备。
58.参照图2，编码设备200可以包括图像划分器210、预测器220、残差处理器230、熵编码器240、加法器250、滤波器260和存储器270。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、解量化器234、逆变换器235。残差处理器230可以进一步包括减法器231。加法器250可以称为重构器或重构块生成器。根据实施方式，以上描述的图像划分器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由一个或更多个硬件组件(例如，编码器芯片组或处理器)构成。此外，存储器270可以包括解码图片缓冲器(dpb)，并且可以由数字存储介质构成。硬件组件可以进一步包括作为内部/外部组件的存储器270。
59.图像划分器210可以将输入到编码设备200的输入图像(或图片或帧)划分为一个
或更多个处理单元。作为一个示例，处理单元可以被称为编码单元(cu)。在这种情况下，从编码树单元(ctu)或最大编码单元(lcu)开始，可以根据四叉树二叉树三叉树(qtbttt)结构来递归地划分编码单元。例如，基于四叉树结构、二叉树结构和/或三叉树结构，一个编码单元可以被划分为深度较深的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，并且可以稍后应用二叉树结构和/或三叉树结构。另选地，可以首先应用二叉树结构。可以基于未进一步划分的最终编码单元来执行根据本公开的编码过程。在这种情况下，基于根据图像特性的编码效率，最大编码单元可以直接用作最终编码单元。另选地，可以根据需要将编码单元递归地划分为更深的深度的编码单元，由此可以将最佳大小的编码单元用作最终编码单元。这里，编码过程可以包括诸如预测、变换和重构之类的过程，其将在后面描述。作为另一示例，处理单元可以进一步包括预测单元(pu)或变换单元(tu)。在这种情况下，预测单元和变换单元可以与上述最终编码单元分开或划分开。预测单元可以是样本预测的单元，并且变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
60.根据情况，可以使用单元和诸如块、区域等之类的术语来代替彼此。在通常情况下，m
×
n块可以表示由m列和n行构成的样本或变换系数的集。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值，或者仅表示色度分量的像素/像素值。样本可用作与一幅图片(或图像)的像素或图元(pel)相对应的术语。
61.减法器231从输入图像信号(原始块、原始样本阵列)中减去从预测器220输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。预测器220可以对处理目标块(下文称为“当前块”)执行预测，并且可以生成包括当前块的预测样本的预测块。预测器220可以确定是以当前块或cu为基础应用帧内预测还是应用帧间预测。如稍后在每个预测模式的描述中所讨论的，预测器可以生成诸如预测模式信息之类的与预测有关的各种信息，并将所生成的信息发送到熵编码器240。关于预测的信息可以在熵编码器240中编码并以比特流的形式输出。
62.帧内预测器222可以通过参考当前图片中的样本来预测当前块。根据预测模式，参考样本可以位于当前块的附近或与当前块分开。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。非定向模式可以包括例如dc模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33种定向预测模式或65种定向预测模式。然而，这仅仅是示例，并且根据设置，可以使用更多或更少的定向预测模式。帧内预测器222可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
63.帧间预测器221可以基于参照图片上的运动向量所指定的参考块(参考样本阵列)来推导针对当前块的预测块。此时，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为基础来预测运动信息。运动信息可以包括运动向量和参照图片索引。运动信息还可以包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参照图片中存在的时间邻近块。包括参考块的参照图片和包括时间邻近块的参照图片可以彼此相同或彼此不同。时间邻近块可以被称为并置参考块、并置cu(colcu)等，并且包括时间邻近块的参照图片可以被称为并置图片(colpic)。例如，帧间预测器221可以基于邻近块来配置运动信息候选列表，并且生成指示哪个候选被用于推导当前块的运动向量
和/或参照图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳变模式和合并模式的情况下，帧间预测器221可以使用邻近块的运动信息作为当前块的运动信息。在跳变模式下，与合并模式不同，不能发送残差信号。在运动信息预测(运动向量预测、mvp)模式的情况下，邻近块的运动向量可以被用作运动向量预测符，并且可以通过发信号通知运动向量差来指示当前块的运动向量。
64.预测器220可以基于各种预测方法来生成预测信号。例如，预测器可以将帧内预测或帧间预测应用于对一个块的预测，并且也可以同时应用帧内预测和帧间预测。这可以被称为组合的帧间和帧内预测(ciip)。另外，预测器可以基于块内复制(ibc)预测模式或调色板模式，以便对块执行预测。ibc预测模式或调色板模式可以被用于诸如屏幕内容编码(scc)这样的游戏等的内容图像/视频编码。尽管ibc基本上在当前块中执行预测，但是其执行方式与帧间预测的相似之处在于，它推导当前块中的参考块。也就是说，ibc可以使用本公开中描述的帧间预测技术中的至少一种。
65.通过帧间预测器221和/或帧内预测器222生成的预测信号可以被用于生成重构信号或者生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(dct)、离散正弦变换(dst)、karhunen-lo
è
ve变换(klt)、基于图的变换(gbt)或有条件非线性变换(cnt)中的至少一种。这里，gbt意指当用曲线图表示像素之间的关系信息时从曲线图获得的变换。cnt是指基于使用所有先前重构的像素生成的预测信号而获得的变换。另外，变换处理可以被应用于大小相同的正方形像素块，或者可以应用于大小可变的块而非正方形的块。
66.量化器233可以对变换系数进行量化并且将它们发送到熵编码器240，并且熵编码器240可以对量化后的信号(关于量化变换系数的信息)进行编码并且输出比特流中的编码后的信号。关于量化变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将块类型的量化变换系数重新布置成一维向量形式，并且基于一维向量形式的量化变换系数来生成关于量化变换系数的信息。熵编码器240可以执行诸如例如指数哥伦布(exponential golomb)、上下文自适应可变长度编码(cavlc)、上下文自适应二进制算术编码(cabac)等这样的各种编码方法。熵编码器240可以对除了量化变换系数(例如，语法元素的值等)之外的视频/图像重构所需的信息一起或分别进行编码。编码后的信息(例如，编码后的视频/图像信息)可以以比特流的形式在网络抽象层(nal)的单元基础上进行发送或存储。视频/图像信息还可以包括关于诸如适应参数集(aps)、图片参数集(pps)、序列参数集(sps)、视频参数集(vps)等这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。在本公开中，从编码设备发送到/发信号通知给解码设备的信息和/或语法元素可以被包括在视频/图像信息中。视频/图像信息可以通过上述编码过程进行编码并且被包括在比特流中。可以通过网络传输比特流，或者将其存储在数字存储介质中。这里，网络可以包括广播网络、通信网络和/或类似物，并且数字存储介质可以包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等这样的各种存储介质。发送从熵编码器240输出的信号的发送器(未示出)或存储其的存储器(未示出)可以被配置为编码设备200的内部/外部元件，或者发送器可以被包括在熵编码器240中。
67.从量化器233输出的量化变换系数可以被用于生成预测信号。例如，通过利用解量化器234和逆变换器235向量化变换系数应用解量化和逆变换，可以重构残差信号(残差块
或残差样本)。加法器155将重构后的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加，使得可以生成重构信号(重构图片、重构块、重构样本阵列)。当如在应用跳变模式的情况下一样没有针对处理目标块的残差时，可以将预测块用作重构块。加法器250可以被称为重构器或重构块生成器。所生成的重构信号可以被用于目标图片中的下一处理目标块的帧内预测，并且如随后描述的，可以被用于通过滤波进行的下一图片的帧间预测。
68.此外，在图片编码和/或重构处理中，可以应用具有色度缩放的亮度映射(lmcs)。
69.滤波器260可以通过向重构信号应用滤波来改善主观/客观视频质量。例如，滤波器260可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并且可以将修改后的重构图片存储在存储器270中，尤其是存储在存储器270的dpb中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环形滤波器、双边滤波器等。如随后在对每种滤波方法的描述中所讨论的，滤波器260可以生成与滤波相关的各种信息，并且将所生成的信息发送到熵编码器240。关于滤波的信息可以在熵编码器240中被编码并且以比特流的形式被输出。
70.已发送到存储器270的修改后的重构图片可以被用作帧间预测器221中的参照图片。据此，编码设备可以避免在应用帧间预测时编码设备100和解码设备中的预测失配，并且还可以提高编码效率。
71.存储器270dpb可以存储修改后的重构图片，以便使用它作为帧间预测器221中的参照图片。存储器270可以存储从中已推导(或编码了)运动信息的当前图片中的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被发送到帧间预测器221，以被用作邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本，并且将它们发送到帧内预测器222。
72.图3是示意性地例示可应用本公开的视频/图像解码设备的配置的图。
73.参照图3，视频解码设备300可以包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可以包括帧间预测器331和帧内预测器332。残差处理器320可以包括解量化器321和逆变换器321。根据实施方式，上面已描述的熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由一个或更多个硬件组件(例如，解码器芯片组或处理器)构成。另外，存储器360可以包括解码图片缓冲器(dpb)，并且可以由数字存储介质构成。硬件组件还可以包括存储器360作为内部/外部组件。
74.当输入包括视频/图像信息的比特流时，解码设备300可以与据此已在图2的编码设备中处理视频/图像信息的处理对应地重构图像。例如，解码设备300可以基于与从比特流获得的与块分割相关的信息来推导单元/块。解码设备300可以通过使用在编码设备中应用的处理单元来执行解码。因此，解码的处理单元可以是例如编码单元，可以用编码树单元或最大编码单元顺着四叉树结构、二叉树结构和/或三叉树结构对其进行分割。可以用编码单元推导一个或更多个变换单元。并且，可以通过再现器来再现通过解码设备300解码并输出的重构图像信号。
75.解码设备300可以以比特流的形式接收从图2的编码设备输出的信号，并且可以通过熵解码器310对接收到的信号进行解码。例如，熵解码器310可以对比特流进行解析，以推导图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(aps)、图片参数集(pps)、序列参数集(sps)、视频参数集(vps)等这
样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。解码设备可以进一步基于关于参数集的信息和/或常规约束信息对图片进行解码。在本公开中，随后将描述的发信号通知/接收的信息和/或语法元素可以通过解码过程被解码并且从比特流中获得。例如，熵解码器310可以基于诸如指数哥伦布编码、cavlc、cabac等这样的编码方法对比特流中的信息进行解码，并且可以输出图像重构所需的语法元素的值和关于残差的变换系数的量化值。更具体地，cabac熵解码方法可以接收与比特流中的各语法元素对应的bin，使用解码目标语法元素信息以及邻近和解码目标块的解码信息或者在先前步骤中解码的符号/bin的信息来确定上下文模型，根据所确定的上下文模型来预测bin生成概率并且对bin执行算术解码以生成与每个语法元素值对应的符号。这里，cabac熵解码方法可以在确定上下文模型之后使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。在熵解码器310中解码的信息当中的关于预测的信息可以被提供到预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310中已对其执行了熵解码的残差值(即，量化变换系数)和关联的参数信息可以被输入到残差处理器320。残差处理器320可以推导残差信号(残差块、残差样本、残差样本阵列)。另外，在熵解码器310中解码的信息当中的关于滤波的信息可以被提供到滤波器350。此外，接收从编码设备输出的信号的接收器(未示出)还可以将解码设备300构成为内部/外部元件，并且接收器可以是熵解码器310的组件。此外，根据本公开的解码设备可以被称为视频/图像/图片编码设备，并且解码设备可以被分为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
76.解量化器321可以通过对量化变换系数进行解量化来输出变换系数。解量化器321可以将量化变换系数重新布置为二维块的形式。在这种情况下，可以基于已在编码设备中执行的系数扫描的顺序来执行重新布置。解量化器321可以使用量化参数(例如，量化步长信息)对量化变换系数执行解量化，并且获得变换系数。
77.解量化器322通过对变换系数进行逆变换来获得残差信号(残差块、残差样本阵列)。
78.预测器可以对当前块执行预测，并且生成包括针对当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定向当前块应用帧内预测还是帧间预测，并且具体地可以确定帧内/帧间预测模式。
79.预测器可以基于各种预测方法来生成预测信号。例如，预测器可以将帧内预测或帧间预测应用于对一个块的预测，并且也可以同时应用帧内预测和帧间预测。这可以被称为组合的帧间和帧内预测(ciip)。另外，预测器可以针对块的预测执行块内复制(ibc)。块内复制可以被用于诸如屏幕内容编码(scc)这样的游戏等的内容图像/视频编码。尽管ibc基本上在当前块中执行预测，但是其执行方式与帧间预测的相似之处在于，它推导当前块中的参考块。也就是说，ibc可以使用本公开中描述的帧间预测技术中的至少一种。
80.帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式，参考样本可以位于当前块的附近或与当前块分开。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
81.帧间预测器332可以基于参照图片上的运动向量所指定的参考块(参考样本阵列)来推导针对当前块的预测块。此时，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为基础来预测运动信息。运动信息可以包括运动向量和参照图片索引。运动信息还可以包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参照图片中存在的时间邻近块。例如，帧间预测器332可以基于邻近块来配置运动信息候选列表，并且基于接收到的候选选择信息来推导当前块的运动向量和/或参照图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。
82.加法器340可以通过将所获得的残差信号与从预测器330输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。当如在应用跳变模式的情况下一样没有针对处理目标块的残差时，可以将预测块用作重构块。
83.加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以被用于当前块中的下一处理目标块的帧内预测，并且如随后描述的，可以通过滤波来输出或者被用于下一图片的帧间预测。
84.此外，在图片解码处理中，可以应用具有色度缩放的亮度映射(lmcs)。
85.滤波器350可以通过向重构后的信号应用滤波来改善主观/客观视频质量。例如，滤波器350可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并且可以将修改后的重构图片发送到存储器360中，尤其是发送到存储器360的dpb中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环形滤波器、双边滤波器等。
86.已存储在存储器360的dpb中的(修改后的)重构图片可以被用作帧间预测器332中的参照图片。存储器360可以存储从中已推导(或解码了)运动信息的当前图片中的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被发送到帧间预测器260，以被用作邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本，并且将它们发送到帧内预测器331。
87.在本说明书中，在解码设备300的预测器330、解量化器321、逆变换器322和滤波器350中描述的示例可以分别类似地或对应地应用于编码设备200的预测器220、解量化器234、逆变换器235和滤波器260。
88.如上所述，执行预测，以便提高执行视频编码时的压缩效率。据此，可以生成包括针对作为编码目标块的当前块的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。可以在编码设备和解码设备中相同地推导预测块，并且编码设备可以通过向解码设备发信号通知并非原始块本身的原始样本值而是关于原始块与预测块之间的残差的信息(残差信息)来提高图像编码效率。解码设备可以基于残差信息来推导包括残差样本的残差块，通过将残差块与预测块相加来生成包括重构样本的重构块，并且生成包括重构块的重构图片。
89.可以通过变换过程和量化过程来生成残差信息。例如，编码设备可以推导原始块与预测块之间的残差块，通过对残差块中所包括的残差样本(残差样本阵列)执行变换过程来推导变换系数，并且通过对变换系数执行量化过程来推导量化变换系数，使得它可以(通过比特流)向解码设备发信号通知关联的残差信息。这里，残差信息可以包括量化变换系数
的值信息、位置信息、变换技术、变换核、量化参数等。解码设备可以基于残差信息来执行量化/解量化过程并且推导残差样本(或残差样本块)。解码设备可以基于预测块和残差块来生成重构块。编码设备可以通过对量化变换系数进行解量化/逆变换来推导残差块以便作为下一个图片的帧间预测的参考，并且可以基于此来生成重构图片。
90.此外，根据实施方式，可以使用块差分脉冲编码调制或基于块的增量脉冲编码调制(bdpcm)技术。bdpcm还可以被称作基于量化的残差块的增量脉冲编码调制(rdpcm)。
91.在通过应用bdpcm来预测块的情况下，利用重构样本以逐线的方式预测块的行或列。在此情况下，所使用的参考像素可以为未滤波样本。bdpcm方向可以表示是否使用垂直方向或水平方向的预测。可以在空间域中量化预测误差，并且可以通过将解量化的预测误差添加到预测来重构像素。作为bdpcm的替代方案，可以提出量化的残差域bdpcm，并且预测方向或其信令可以与已应用于空间域的bdpcm相同。换句话说，像在增量脉冲编码调制(dpcm)中那样，量化系数在通过量化的残差域bdpcm而堆叠，并且然后可以通过解量化来重构残差。因此，可以在dpcm应用于残差编码结束的意义上使用量化的残差域bdpcm。在下文中，在以下所使用的量化的残差域中，在无变换的情况下量化基于预测推导的残差，并且量化的残差域意指用于量化的残差样本的域。
92.对于大小为m(行)
×
n(列)的块，使r
(i，j)
(0≤i≤m-1，0≤j≤n-1)是在使用来自上部块边界样本或左侧块边界样本的未滤波样本水平地(跨越预测块逐线地复制左相邻像素值)或垂直地(将上相邻线复制到预测块中的每一线)执行帧内预测之后的预测残差。此外，使q(r
(i，j)
)(0≤i≤m-1，0≤j≤n-1)表示残差r
(i，j)
的量化版本。此处，残差意味着原始块与预测块值之间的差。
93.此后，当bdpcm应用于量化的残差样本时，推导具有元素的修改的m
×
n阵列
94.当发信号通知垂直bdpcm时，如下式所示。
95.[式1]
[0096][0097]
对于水平预测，当应用类似规则时，残差量化样本如下式所示。
[0098]
[式2]
[0099][0100]
将残差量化样本发送到解码设备。
[0101]
在解码设备中，上述计算被反转以产生o(r
(i，j)
)(0≤i≤m-1，0≤j≤n-1)。
[0102]
对于垂直预测，可以应用以下式。
[0103]
[式3]
[0104][0105]
另外，对于水平预测，可以应用以下式。
[0106]
[式4]
[0107][0108]
将逆量化的残差q-1
(q(r
i，j
))添加到帧内块预测值以产生重构样本值。
[0109]
此方案的主要益处在于，可以通过在系数解析期间在解析系数时或在解析之后立即简单地添加预测符来执行逆bdpcm。
[0110]
如上所述，bdpcm可以应用于量化的残差域，并且量化的残差域可以包括量化的残差(或量化的残差系数)。在此情况下，可以将变换跳过应用于残差。也就是说，对于残差样本，可以跳过变换，但可以执行量化。另选地，量化的残差域还可以包括量化变换系数。可以在序列层级(sps)中发信号通知关于bdpcm是否适用的标志，并且可以仅在发信号通知变换跳过模式在sps中可用时发信号通知该标志。
[0111]
在应用bdpcm时，可以通过在与帧内预测方向类似的预测方向(例如，垂直预测或水平预测)上的样本复制对整个块执行用于量化的残差域的帧内预测。残差被量化，并且在量化的残差与针对垂直或水平方向的预测符(即，水平或垂直方向上的量化的残差)之间的增量值，即，差值被编码。
[0112]
当在帧内预测中编码cu时，可以在cu层级中发送指示bdpcm是否适用的标志信息。也就是说，标志信息指示是应用常规帧内编码还是应用bdpcm。当应用bdpcm时，可以发送指示预测方向是水平方向还是垂直方向的bdpcm预测方向标志。然后，使用未滤波的参考样本通过常规水平或垂直帧内预测过程来预测块。残差被量化，并且每个量化的残差与预测符(例如，已在沿着bdpcm预测方向的水平或垂直方向上的相邻位置中量化的量化的残差)之间的差值被编码。
[0113]
在bdpcm适用的情况下，当cu大小等于亮度样本的maxtssize(最大变换跳过大小)或与亮度样本的maxtssize(最大变换跳过大小)相同时，并且当在帧内预测中编码cu时，可以在cu层级中发送标志信息。这里，maxtssize意味着允许变换跳过模式的最大块大小。
[0114]
以上描述的语法元素及其语义在以下表中表示如下。
[0115]
[表1]
[0116][0117]
[表2]
[0118][0119]
表1中的语法元素“intra_bdpcm_flag”表示bdpcm是否应用于当前亮度编码块。当“intra_bdpcm_flag”值等于1时，可以跳过用于编码块的变换，并且可以通过表示预测方向的intra_bdpcm_dir_flag”将用于编码块的预测模式配置到水平或垂直方向。当“intra_bdpcm_flag”不存在时，值被视为零。
[0120]
在表示预测方向的“intra_bdpcm_dir_flag”为零的情况下，情况表示bdpcm预测方向为水平方向，并且在“intra_bdpcm_dir_flag”值为1的情况下，情况表示bdpcm预测方向为垂直方向。
[0121]
此外，如上所述，可以针对重构图片执行环路内滤波过程。可以通过环路内滤波过
程生成修改的重构图片，并且可以在解码设备中将修改的重构图片输出为解码图片。另外，修改的重构图片可以存储于编码设备/解码设备的解码图片缓冲器或存储器中，并且然后在编码/解码图片时用作帧间预测过程中的参考图片。
[0122]
环路内滤波过程可以包括去块滤波过程、样本自适应偏移(sao)过程和/或自适应环路滤波器(alf)过程。在此情况下，可以顺序地应用去块滤波过程、样本自适应偏移(sao)过程、自适应环路滤波器(alf)过程和双边滤波器过程中的一个或一部分，或者可以顺序地应用它们的全部。例如，去块滤波过程可以应用于重构图片，然后可以执行sao过程。另选地，例如，在将去块滤波过程应用于重构图片之后，可以执行alf过程。这可以以相同的方式在编码设备中执行。
[0123]
去块滤波是去除重构图片中的块之间的边界中发生的失真的滤波方案。根据去块滤波过程，在重构图片中推导目标边界，确定目标边界的边界强度(bs)，并且可以基于bs对目标边界执行去块滤波。可以基于与目标边界相邻的两个块模式的预测模式、运动向量差、参考图片是否相同、非零有效系数的存在等来确定bs。
[0124]
sao是用于以样本为单位补偿重构图片与原始图片之间的偏移差的方法，并且可以基于诸如带偏移、边缘偏移等的类型来应用。根据sao，可以根据每个sao类型将样本分类成不同类别，并且可以基于类别将偏移值添加到每个样本。sao的滤波信息可以包括关于sao是否被应用的信息、sao类型信息、sao偏移值信息等。在应用去块滤波之后，还可以将sao应用于重构图片。
[0125]
自适应环路滤波器(alf)是根据用于重构图片的滤波器形状基于滤波器系数以样本为单位的滤波方案。编码设备可以通过重构图片与原始图片之间的比较来确定alf是否被应用、alf形状和/或alf滤波系数并且将结果发信号通知到解码设备。也就是说，alf的滤波信息可以包括关于是否应用alf的信息、alf形状信息、alf滤波系数信息等。alf还可以在应用去块滤波之后应用于重构图片。
[0126]
图4是根据实施方式的用于描述去块滤波过程的控制流程图。
[0127]
将去块滤波应用于重构图片。以解码处理的相同次序针对重构图片的每个cu执行去块滤波。首先，对垂直边缘进行滤波(水平滤波)，然后对水平边缘进行滤波(垂直滤波)。去块滤波可应用于图片的变换块的边缘以及所有编码块或子块的边缘。去块滤波的输出可以被称作修改的重构图片或修改的重构样本/样本阵列。
[0128]
如图4所示，编码设备和解码设备可以推导要在重构图像中滤波的目标边界(步骤s1400)。
[0129]
此后，编码设备和解码设备可以推导边界强度bs(步骤s1410)。
[0130]
可以基于面向目标边界的两个块来确定bs。例如，可以基于下表来确定bs。
[0131]
[表3]
[0132]
[0133][0134]
这里，p和q表示面对目标边界的两个块的样本。例如，p0可以表示面向目标边界的左侧块或上部块的样本，并且q0可以表示面向目标边界的右侧块或下部块的样本。在目标边界的边缘方向为垂直的情况下，p0可以表示面向目标边界的左侧块的样本，并且q0可以表示面向目标边界的右侧块的样本。在目标边界的边缘方向为水平的情况下，p0可以表示面向目标边界的上部块的样本，并且q0可以表示面向目标边界的下部块的样本。
[0135]
编码设备和解码设备可以基于bs应用滤波(步骤s1420)。
[0136]
在bs值为零的情况下，不将滤波应用于目标边界。可以基于滤波强度(强或弱)和/或滤波器长度来执行滤波。
[0137]
此外，可如下推导根据重构的平均亮度水平的滤波器强度。图5是例示位于块的边界处的样本的图。
[0138]
在hevc中，去块滤波的滤波器强度可以由从平均量化参数qp
l
推导的变量β和tc控制。在vvc中，去块滤波可以通过根据重构平均的亮度水平将偏移添加到qp
l
来控制去块滤波的强度。重构的亮度水平ll可以被推导为如下式所示。
[0139]
[式5]
[0140]
ll＝((p
0，0
p
0，3
q
0，0
q
0，3
)＞＞2)/(1＜＜bitdepth)
[0141]
这里，可以在图5中标识样本值p
i，k
和q
i，k
的位置，其中i为0到3，并且k为0到3。
[0142]
变量qp
l
可以被推导为如下式所示。
[0143]
[式6]
[0144]
qp
l
＝((qpq qp
p
1)＞＞1) qpoffset
[0145]
这里，q
pq
和q
pp
分别表示包括样本q
0，0
和p
0，0
的量化参数，并且取决于变换过程的偏移值qpoffset可以在序列参数集(sps)中发信号通知。
[0146]
此外，可以将较强滤波应用于亮度样本。在位于一个侧边界处的样本属于大块的情况下，可以应用复制的线性滤波器(较强的去块滤波器)。属于大块的样本可以被定义为在对于垂直边界宽度等于或大于32或者对于水平边界高度等于或大于32的情况下属于每个边界的样本。
[0147]
此外，可以如下式所示地执行色度样本的强滤波。
[0148]
[式7]
[0149]
p2′
＝(3＊p3 2＊p2 p1 p0 q0 4)＞＞3
[0150]
p1′
＝(2＊p3 p2 2＊p1 p0 q0 q1 4)＞＞3
[0151]
p0′
＝(p3 p2 p1 2＊p0 q0 q1 q2 4)＞＞3
[0152]
在式7中表示的色度滤波在8
×
8色度样本栅格上执行。色度样本的强滤波可以在块边界的两侧执行。这里，在色度样本的两个边缘等于或大于以色度样本为单位的8的情况下选择色度滤波并且在确定满足以下三个条件的情况下执行色度滤波。首先，确定边界强度(bs)和大块，并且第二确定和第三确定分别是确定滤波开/关以及确定强滤波器，这基本上与针对hevc亮度块的确定相同。确定色度块的边界强度(bs)的示例如以下表所示。
[0153]
[表4]
[0154][0155]
如表4所示，色度样本的去块可以在bs等于2时执行，或者在检测到大块边界时在bs等于1时执行。第二条件和第三条件基本上与应用于hevc亮度样本的强滤波确定相同。
[0156]
在vvc中，可以针对子块边界应用去块滤波器，并且根据示例，可以对8
×
8栅格执行去块滤波器。去块滤波处理可以应用于cu边界以及子块边界，其与8
×
8栅格对准。
[0157]
子块边界可以包括通过基于子块的时间运动向量预测(stmvp)和仿射模式引入的预测单元(pu)边界，以及通过子块变换(sbt)和isp(帧内子分割)模式引入的变换单元(tu)边界。
[0158]
对于应用sbt或isp的8
×
8栅格上的子块，应用与应用于hevc的tu去块滤波器中的过程相同的过程。当跨越边缘的子块中的任一者中存在非零系数时，将去块滤波应用于8
×
8栅格上的tu边界。
[0159]
对于应用stmvp和仿射模式的栅格网格上的子块，应用与应用于hevc的tu去块滤波器中的过程相同的过程。在考虑相邻子块的参考图片和运动向量之间的差的情况下，将去块滤波应用于8
×
8栅格上的pu边界。
[0160]
在下文中，在用于应用bdpcm的块的环路内滤波处理中，可以提出去块滤波方法。在示例中，在对图像或视频进行编码和解码的处理中，在亮度块以单树类型进行bdpcm编码的情况下，可以将对应色度块的边界强度(bs)设置为与亮度块相同。也就是说，在树类型为单树的情况下，为了确定去块滤波是否应用于以bdpcm编码的块，当计算bs时，可以如下确定色度块的bs。
[0161]
图6是例示根据本公开的实施方式的用于确定bs的方法的图。
[0162]
根据示例，在两个块是基于边缘进行bdpcm编码的情况下，bs可以被推导为零。也就是说，对于色度块，与是否应用bdpcm无关，在对应亮度块为bdpcm编码的情况下，色度块的bs可以在单树类型中被推导为零。
[0163]
在图6中，左侧的大块可以表示亮度块，并且右侧的小块可以表示根据分量(cb和cr)的色度块。
[0164]
如图6所示，可以根据两个相邻亮度块的编码方案来确定块边界中的bs，并且可以将色度块的bs设置为与亮度块的bs相同。
[0165]
可以分别根据bdpcm和帧间预测对上侧所示的两个相邻亮度块进行编码，并且在这种情况下，可以将bs设置为1或0。另外，可以分别根据bdpcm和帧内预测对下侧所示的两个相邻亮度块进行编码，并且在这种情况下，也可以将bs设置为1或0。在这两种情况下，色度块的bs可以被设置为与亮度块的bs相同。
[0166]
另外，在两个相邻亮度块两者均以bdpcm编码的情况下(类似于中间所示的亮度块)，可以将用于两个块的边界的bs设置为零，并且在此情况下，对于对应于亮度块的色度块，还可以将用于去块滤波的bs设置为零。
[0167]
是否按bdpcm方案编码亮度块可以用诸如表1中表示的intra_bdpcm_flag标志信息发信号通知。
[0168]
因此，在将bs设置为零的情况下，不执行去块滤波。也就是说，在根据实施方式的按bdpcm方案编码两个相邻亮度块两者的情况下，亮度块和色度块的bs设置为零，并且不执行去块滤波。
[0169]
这样的bs确定方法如下表所示。
[0170]
[表5]
[0171]
[0172]
[0173]
[0174][0175]
在表5中，如上所述，在目标边界为垂直边界的情况下，基于目标边界，可以将左侧块指示为p，并且可以将右侧块指示为q。此外，在目标边界是水平边界的情况下，基于目标边界，可以将上部块指示为p，并且可以将下部块指示为q。
[0176]
用于bs的变量bs[xdi][ydj]可以被推导为0、1和2中的一个。
[0177]
如表5所示，在样本p0和q0两者在具有等于1的intra_bdpcm_flag的编码块中的情况下，将bs[xdi][ydj]设置为等于0。在此情况下，不执行去块滤波。
[0178]
否则，在样本p0或q0在用帧内预测模式编码的编码单元的编码块中的情况下，将bs[xdi][ydj]设置为等于2。
[0179]
另外，在块边缘也为变换块边缘并且样本p0或q0在包含一个或更多个非零变换系数水平的变换块中的情况下，将bs[xdi][ydj]设置为等于1。
[0180]
另选地，在用具有不同预测模式编码两个块或者使用不同参考图片或不同数量的运动向量的情况下，可以将bs[xdi][ydj]设置为等于1。
[0181]
另外，根据另一示例，bdpcm标志信息可以如下表中所示地发信号通知。
[0182]
[表6]
[0183][0184]
表6表示在序列参数集(sps)中发信号通知的“sps_bdpcm_enabled_flag”。在语法元素“sps_bdpcm_enabled_flag”为1的情况下，该情况表示表示bdpcm是否应用于执行帧内预测的编码单元的标志信息，即，“intra_bdpcm_luma_flag”和“intra_bdpcm_chroma_flag”存在于编码单元中。
[0185]
在不存在语法元素“sps_bdpcm_enabled_flag”的情况下，该值被视为零。
[0186]
[表7]
[0187]
[0188][0189]
表6中表示的语法元素“intra_bdpcm_luma_flag”和“intra_bdpcm_chroma_flag”表示bdpcm是否应用于当前亮度编码块或当前色度编码块。在“intra_bdpcm_luma_flag”或“intra_bdpcm_chroma_flag”为1的情况下，可以跳过用于编码块的变换，并且可以通过表示预测方向的“intra_bdpcm_luma_dir_flag”或“intra_bdpcm_chroma_dir_flag”在水平方向或垂直方向上设置用于编码块的预测模式。在“intra_bdpcm_luma_flag”或“intra_bdpcm_chroma_flag”不存在的情况下，其值被视为零。
[0190]
可以针对当前块为单树类型或双树色度的色度编码块发信号通知“intra_bdpcm_chroma_flag”。
[0191]
在表示预测方向的“intra_bdpcm_luma_dir_flag”或“intra_bdpcm_chroma_dir_flag”为零的情况下，该情况表示bdpcm预测方向为水平方向，并且在“intra_bdpcm_luma_dir_flag”或“intra_bdpcm_chroma_dir_flag”值为1的情况下，该情况表示bdpcm预测方向为垂直方向。
[0192]
根据表6和表7中表示的标志信息的bs确定方法如下表示。
[0193]
[表8]
[0194]
[0195][0196]
如表8所示，根据示例，是否按bdpcm编码两个相邻亮度块可以由intra_bdpcm_luma_flag指示。在intra_bdpcm_luma_flag值为1的情况下，用于亮度块的bs[xdi][ydj]可以设置为零。
[0197]
另外，是否按bdpcm编码两个相邻色度块可以由intra_bdpcm_chroma_flag指示。在intra_bdpcm_chroma_flag为1的情况下，用于色度块的bs[xdi][ydj]可以设置为零。
[0198]
也就是说，可以针对亮度块和色度块中的每一者发信号通知用于bdpcm的标志信息，并且在标志值为1的情况下，可以将用于去块滤波的bs设置为零。也就是说，对于按bdpcm方案编码的块，可以不执行去块滤波。
[0199]
提供以下附图以描述本公开的具体示例。由于在附图中示出的装置的特定名称或特定信号/消息/字段的名称是为了例示而提供的，所以本公开的技术特征不限于在以下附图中使用的特定名称。
[0200]
图7是用于描述根据本公开的实施方式的视频解码方法的控制流程图。
[0201]
解码设备300从比特流接收诸如bdpcm信息之类的编码信息(步骤s710)。
[0202]
bdpcm信息可以包括bdpcm标志信息，其指示bdpcm是否被应用于当前块以及针对
执行bdpcm的方向的方向信息。
[0203]
当bdpcm应用于当前块时，bdpcm标志值可以是1，并且当bdpcm不应用于当前块时，bdpcm标志值可以是零。
[0204]
此外，可以根据对应于亮度块的色度块是否具有单独的分割结构，将当前块的树类型分类成单树single_tree或双树dual_tree。在色度块具有与亮度块相同的分割结构的情况下，该情况可以表示单树，并且在色度分量块具有与亮度分量块不同分割结构的情况下，该情况可以表示双树。根据示例，bdpcm可以单独地应用于当前块的亮度块或色度块。当bdpcm应用于亮度块时，可以不接收用于亮度块的变换索引，并且当将bdpcm应用于色度块时，可以不接收用于色度块的变换索引。
[0205]
在当前块的树结构是双树的情况下，bdpcm可以仅应用于一个分量块，并且甚至在当前块是单树结构的情况下，bdpcm可以仅应用于一个分量块。
[0206]
此外，bdpcm的方向信息可以指示水平方向或垂直方向。根据方向信息，可以推导量化信息，并且可以推导预测样本。
[0207]
解码设备300可以推导当前块的量化变换系数，即，基于bdpcm的未变换的量化的残差样本，并且通过对量化的残差样本执行解量化来推导残差样本(步骤s720)。
[0208]
在bdpcm应用于当前块的情况下，在解码设备300中接收的残差信息可以是量化的残差的差值。根据bdpcm方向，可以接收先前垂直或水平方向的线的量化的残差与特定线的量化的残差的差值，并且解码设备300可以将先前垂直或水平方向的线的量化的残差添加到接收的量化的残差的差值，并且推导特定线的量化的残差。可以基于式3或式4来推导量化的残差。
[0209]
如上所述，当bdpcm应用于当前块时，解量化变换系数可以推导为没有经历变换过程的残差样本。
[0210]
帧内预测器331可以基于bdpcm信息(即，执行bdpcm的方向信息)执行用于当前块的帧内预测，并且推导预测样本(步骤s730)。
[0211]
当bdpcm应用于当前块时，可以使用bdpcm执行帧内预测，并且这可意味着bdpcm可以仅应用于按帧内模式预测的帧内切片或帧内编码块。
[0212]
可以基于bdpcm的方向信息执行帧内预测，并且当前块的帧内预测模式可以为水平定向模式或垂直定向模式中的任一者。
[0213]
解码设备300可以基于推导出的残差样本和预测样本生成重构图片(步骤s740)。
[0214]
解码设备300可以针对重构图片执行去块滤波，去块滤波是基于bdpcm信息的环路内滤波方法中的一者(步骤s750)。在此情况下，当bdpcm标志信息为1时，将边界强度(bs)推导为零，并且可以不执行去块滤波。
[0215]
根据示例，在以单树类型对亮度块进行bdpcm编码的情况下，可以将对应色度块的边界强度(bs)设置为与亮度块相同。
[0216]
在两个块是基于块之间的边缘进行bdpcm编码的情况下，bs可以被推导为零。也就是说，对于色度块，与是否应用bdpcm无关的情况下，在对应亮度块为bdpcm编码的情况下，色度块的bs可以在单树类型中被推导为零。
[0217]
因此，在将bs设置为零的情况下，不执行去块滤波。也就是说，在根据实施方式的按bdpcm方案编码两个相邻亮度块两者的情况下，亮度块和色度块的bs设置为零，并且不执
行去块滤波。
[0218]
另选地，根据另一示例，是否按bdpcm编码两个相邻亮度块可以由intra_bdpcm_luma_flag指示。在intra_bdpcm_luma_flag值为1的情况下，用于亮度块的bs[xdi][ydj]可以设置为零。另外，是否按bdpcm编码两个相邻色度块可以由intra_bdpcm_chroma_flag指示。在intra_bdpcm_chroma_flag为1的情况下，用于色度块的bs[xdi][ydj]可以设置为零。
[0219]
也就是说，可以针对亮度块和色度块中的每一者发信号通知用于bdpcm的标志信息，并且在标志值为1的情况下，可以将用于去块滤波的bs设置为零。也就是说，对于按bdpcm方案编码的块，可以不执行去块滤波。
[0220]
总之，在解码设备中接收的bdpcm信息可以包括指示bdpcm是否应用于当前块的标志信息，并且当标志信息为1时，用于去块滤波的边界强度(bs)可以推导为零。
[0221]
在此情况下，当前块可以为亮度编码块或色度编码块中的任一者，并且在当前块的树类型为单树类型和色度编码块的情况下，当标志信息为1时，边界强度可以推导为1。
[0222]
提供以下附图以描述本公开的具体示例。由于在附图中示出的装置的特定名称或特定信号/消息/字段的名称是为了例示而提供的，所以本公开的技术特征不限于在以下附图中使用的特定名称。
[0223]
图8是用于描述根据本公开的实施方式的视频编码方法的控制流程图。
[0224]
编码设备200可以基于bdpcm推导当前块的预测样本(步骤s810)。
[0225]
编码设备200可以基于执行bdpcm的特定方向推导当前块的帧内预测样本。特定方向可以为垂直方向或水平方向，并且根据帧内预测模式，可以生成当前块的预测样本。
[0226]
此外，可以根据对应于亮度块的色度块是否具有单独的分割结构，将当前块的树类型分类成单树single_tree或双树dual_tree。在色度块具有与亮度块相同的分割结构的情况下，该情况可以表示单树，并且在色度分量块具有与亮度分量块不同分割结构的情况下，该情况可以表示双树。根据示例，bdpcm可以单独地应用于当前块的亮度块或色度块。
[0227]
在当前块的树结构是双树的情况下，bdpcm可以仅应用于一个分量块，并且甚至在当前块是单树结构的情况下，bdpcm可以仅应用于一个分量块。
[0228]
另选地，根据示例，可仅在当前块的宽度为第一阈值或更小并且当前块的高度为第二阈值或更小的情况下应用bdpcm。第一阈值和第二阈值可以是32并且被设置为执行变换的变换块的最大高度或最大宽度。
[0229]
编码设备200可以基于预测块推导当前块的残差样本(步骤s820)并且基于残差样本和预测样本生成重构图片(步骤s830)。
[0230]
编码设备200可以针对重构图片执行去块滤波，去块滤波是基于bdpcm信息的环路内滤波方法中的一者(步骤s840)。在此情况下，当bdpcm标志信息为1时，将边界强度(bs)推导为零，并且可以不执行去块滤波。
[0231]
根据示例，在以单树类型对亮度块进行bdpcm编码的情况下，可以将对应色度块的边界强度(bs)设置为与亮度块相同。
[0232]
在两个块是基于块之间的边缘进行bdpcm编码的情况下，bs可以被推导为零。也就是说，对于色度块，与是否应用bdpcm无关的情况下，在对应亮度块为bdpcm编码的情况下，色度块的bs可以在单树类型中被推导为零。
[0233]
因此，在将bs设置为零的情况下，不执行去块滤波。也就是说，在根据实施方式的
按bdpcm方案编码两个相邻亮度块两者的情况下，亮度块和色度块的bs设置为零，并且不执行去块滤波。
[0234]
另选地，根据另一示例，根据是否按bdpcm编码两个相邻亮度块，用于亮度块的bs[xdi][ydj]可以设置为零，并且根据是否按bdpcm编码两个相邻色度块，用于色度块的bs[xdi][ydj]可以设置为零。
[0235]
另外，可以针对亮度块和色度块中的每一者发信号通知用于bdpcm的标志信息，并且在标志值为1的情况下，可以将用于去块滤波的bs设置为零。也就是说，对于按bdpcm方案编码的块，可以不执行去块滤波。
[0236]
此后，编码设备200可以基于bdpcm推导量化的残差信息。
[0237]
编码设备200可以将特定线的量化的残差样本以及先前垂直或水平方向的线与特定线的量化的残差样本的差值推导为量化的残差信息。也就是说，量化的残差而非常规残差的差值被生成为残差信息，其可以基于式1或式2来推导。
[0238]
编码设备200可以对当前块的量化的残差信息和编码信息(例如，bdpcm的bdpcm信息)进行编码(步骤s850)。
[0239]
bdpcm信息可以包括bdpcm标志信息，其指示bdpcm是否被应用于当前块以及针对执行bdpcm的方向的方向信息。
[0240]
当bdpcm应用于当前块时，bdpcm标志值可以被编码为1，并且当bdpcm不应用于当前块时，bdpcm标志值可以被编码为零。
[0241]
另外，如上所述，在当前块的树结构是双树的情况下，bdpcm可以仅应用于一个分量块，并且甚至在当前块是单树结构的情况下，bdpcm可以仅应用于一个分量块。
[0242]
bdpcm的方向信息可以指示水平方向或垂直方向。
[0243]
在本公开中，可以省略量化/解量化和/或变换/逆变换中的至少一者。当省略量化/解量化时，可以将量化变换系数称为变换系数。当省略变换/逆变换时，变换系数可以被称为系数或残差系数，或者为了表述一致性仍可以被称为变换系数。
[0244]
另外，在本公开中，量化变换系数和变换系数可以分别被称为变换系数和缩放变换系数。在此情况下，残差信息可以包括关于变换系数的信息，并且可以通过残差编码语法发信号通知关于变换系数的信息。可以基于残差信息(或关于变换系数的信息)来推导变换系数，并且可以通过变换系数的逆变换(缩放)来推导缩放变换系数。可以基于缩放变换系数的逆变换(变换)来推导残差样本。这些细节也可以在本公开的其它部分中应用/表达。
[0245]
在上述实施方式中，借助于一系列步骤或方框基于流程图解释了方法，但是本公开不限于步骤的顺序，并且可以按与上述顺序或步骤不同的顺序或步骤来执行某一步骤，或某一步骤与其它步骤并发地执行。此外，本领域普通技术人员可以理解，流程图中所示的步骤不是排它的，并且在不影响本公开的范围的情况下，可以并入另一步骤或者可以删除流程图中的一个或更多个步骤。
[0246]
根据本公开的上述方法可以被实现为软件形式，并且根据本公开的编码设备和/或解码设备可以被包括在诸如电视、计算机、智能电话、机顶盒和显示装置等之类的用于图像处理的设备中。
[0247]
当本公开中的实施方式通过软件来实施时，上述方法可以被实施为用于执行上述功能的模块(步骤、功能等)。这些模块可以存储在存储器中并且可以由处理器执行。存储器
可以在处理器内部或外部，并且可以以各种众所周知的方式连接到处理器。处理器可以包括专用集成电路(asic)、其它芯片组、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(rom)、随机存取存储器(ram)、闪存、存储卡、存储介质和/或其它存储装置。也就是说，本公开中描述的实施方式可以在处理器、微处理器、控制器或芯片上实施和执行。例如，每个附图中所示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实施和执行。
[0248]
此外，应用本公开的解码设备和编码设备可以包括在多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监控相机、视频聊天装置、实时通信装置(诸如视频通信)、移动流装置、存储介质、摄像机、视频点播(vod)服务提供装置、顶置(ott)视频装置、互联网流服务提供装置、三维(3d)视频装置、视频电话视频装置、和医疗视频装置，并且可以用于处理视频信号或数据信号。例如，顶置(ott)视频装置可以包括游戏机、蓝光播放器、互联网接入tv、家庭影院系统、智能电话、平板pc、数字视频记录仪(dvr)等。
[0249]
另外，应用本公开的处理方法可以以由计算机执行的程序的形式来生产，并且可以存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机可读数据的各种存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(bd)、通用串行总线(usb)、rom、prom、eprom、eeprom、ram、cd-rom、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波(例如，互联网上的传输)形式实施的介质。另外，通过编码方法所生成的比特流可以存储在计算机可读记录介质中，或者通过有线或无线通信网络来传输。另外，本公开的实施方式可以通过程序代码被实施为计算机程序产品，并且程序代码可以按照本公开的实施方式在计算机上执行。程序代码可以存储在计算机可读载体上。
[0250]
图18例示了应用本公开的内容流系统的结构。
[0251]
此外，应用本公开的内容流系统可以大致包括编码服务器、流服务器、web服务器、媒体存储装置、用户设备和多媒体输入装置。
[0252]
编码服务器用于将从诸如智能电话、相机、摄像机等的多媒体输入装置输入的内容压缩成数字数据以生成比特流，并且向流服务器发送它。作为另一示例，在诸如智能电话、相机、摄像机等的多媒体输入装置直接生成比特流的情况下，可以省略编码服务器。可以通过应用本公开的编码方法或比特流生成方法来生成比特流。并且流服务器可以在发送或接收比特流的过程期间临时存储比特流。
[0253]
流服务器基于用户的请求通过web服务器向用户装置发送多媒体数据，web服务器用作向用户通知存在什么服务的器具。当用户请求用户想要的服务时，web服务器将请求传送至流服务器，并且流服务器向用户发送多媒体数据。在此而言，内容流系统可以包括单独的控制服务器，并且在这种情况下，控制服务器用于控制内容流系统中的相应装置之间的命令/响应。
[0254]
流服务器可以从媒体存储装置和/或编码服务器接收内容。例如，在从编码服务器接收内容的情况下，可以实时地接收内容。在这种情况下，为了平稳地提供流服务，流服务器可以存储比特流达预定时间。
[0255]
例如，用户装置可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航仪、板式pc、平板pc、超级本、可穿戴装置
(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(hmd))、数字tv、台式计算机、数字标牌等。内容流系统中的各个服务器可以作为分布式服务器操作，并且在这种情况下，由各个服务器接收到的数据可以用分布式方式进行处理。
[0256]
本文所公开的权利要求可以以各种方式组合。例如，本公开的方法权利要求的技术特征可以被组合以在设备中实现或执行，并且设备权利要求的技术特征可以被组合以在方法中实现或执行。此外，方法权利要求和设备权利要求的技术特征可以被组合以在设备中实现或执行，并且方法权利要求和设备权利要求的技术特征可以被组合以在方法中实现或执行。