基于环路内滤波的视频编译设备和方法与流程

1.本公开涉及一种基于环路内滤波的图像编译装置和方法。


背景技术：

2.最近，在各种领域中对诸如4k或8k或更高超高清(uhd)图像/视频的高分辨率、高质量图像/视频的需求不断增加。随着图像/视频数据具有高分辨率和高质量，相对于现有图像/视频数据，将被发送的信息或比特的量增大，因此，使用诸如现有有线/无线宽带线路的介质或现有存储介质发送图像数据或者使用现有存储介质存储图像/视频数据增加了传输成本和存储成本。
3.另外，对诸如虚拟现实(vr)和人工现实(ar)内容以及诸如全息图的沉浸式媒体的关注和需求日益增长，并且具有与现实图像(诸如游戏图像)不同的特性的图像/视频的广播也日益增长。
4.因此，需要高度高效的图像/视频压缩技术来有效地压缩、发送、存储或再现如上所述具有各种特性的高分辨率、高质量图像/视频的信息。
5.另外，执行交叉分量自适应环路滤波(ccalf)过程以改进压缩效率并提高主观/客观视觉质量，并且正在讨论用于提高ccalf过程的数据传输效率的方法。


技术实现要素：

6.本公开提供一种用于提高图像/视频编译效率的方法和装置。
7.本公开还提供一种有效率的滤波应用方法和装置。
8.本公开还提供一种有效率的alf应用方法和装置。
9.根据本公开的实施例，可以基于重构亮度样本来对重构色度样本执行滤波过程。
10.根据本公开的实施例，可以基于重构亮度样本来修改滤波的重构色度样本。
11.根据本公开的实施例，可以在sps中用信号通知关于ccalf是否可用的信息。
12.根据本公开的实施例，可以从alf数据(正常alf数据或ccalf数据)推导关于交叉分量滤波器系数的值的信息。
13.根据本公开的实施例，可以用信号通知在切片中包括用于推导交叉分量滤波器系数的alf数据的aps的标识符(id)信息。
14.根据本公开的实施例，能够以ctu(块)为单位用信号通知关于ccalf的滤波器集索引的信息。
15.根据本文档的实施例，提供了一种由解码装置执行的视频/图像解码方法。
16.根据本文档的实施例，提供了一种用于执行视频/图像解码的解码装置。
17.根据本文档的实施例，提供了一种由编码装置执行的视频/图像编码方法。
18.根据本文档的实施例，提供了一种用于执行视频/图像编码的编码装置。
19.根据本文档的一个实施例，提供了一种计算机可读数字存储介质，其中存储有根据本文档的实施例中的至少一个实施例中公开的视频/图像编码方法生成的编码的视频/
图像信息。
20.根据本文档的实施例，提供了一种计算机可读数字存储介质，其中存储有使解码装置执行本文档的实施例中的至少一个实施例中公开的视频/图像解码方法的编码的信息或编码的视频/图像信息。
21.有益效果
22.根据本文档的实施例，可以提高整体图像/视频压缩效率。
23.根据本文档的实施例，可以通过有效率的滤波来改进主观/客观的视觉质量。
24.根据本公开的实施例，可以有效率地执行alf过程并且可以改进滤波性能。
25.根据本公开的实施例，可以修改基于重构亮度样本而滤波的重构色度样本以改进解码图片的色度分量的图片质量和编译准确度。
26.根据本公开的实施例，可以有效率地执行ccalf过程。
27.根据本公开的实施例，可以有效率地用信号通知alf相关信息。
28.根据本公开的实施例，可以有效率地用信号通知ccalf相关信息。
29.根据本公开的实施例，能够以图片、切片和/或编译块为单位自适应地应用alf和/或ccalf。
30.根据本文档的实施例，当在用于静止图像或视频的编码和解码方法和装置中使用ccalf时，可以改进用于ccalf的滤波器系数和块或ctu单元中的开/关传输方法，从而提高编码效率。
附图说明
31.图1示意性地示出可以应用于本公开的实施例的视频/图像编译系统的示例。
32.图2是示意性地图示可以应用于本公开的实施例的视频/图像编码装置的配置的图。
33.图3是示意性地图示可以应用于本公开的实施例的视频/图像解码装置的配置的图。
34.图4示例性地示出编译图像/视频的层级结构。
35.图5是图示用于在编码装置中重构基于帧内预测的块的方法的流程图。
36.图6是图示编码装置中的帧内预测器的图。
37.图7是图示解码装置中的基于帧内预测的块重构方法的流程图。
38.图8是图示解码装置中的帧内预测器的图。
39.图9是用于描述编码装置中的基于帧内预测的块重构方法的流程图。
40.图10是图示编码装置中的帧间预测器的图。
41.图11是用于描述解码装置中的基于帧间预测的块重构方法的流程图。
42.图12是图示解码装置中的帧间预测器的图。
43.图13是图示alf滤波器的形状的示例的图。
44.图14是用于描述根据本公开的实施例的应用于滤波过程的虚拟边界的图。
45.图15是图示根据本公开的实施例的使用虚拟边界的alf过程的示例的图。
46.图16是用于描述根据本公开的实施例的交叉分量自适应环路滤波(cc-alf(ccalf))过程的图。
47.图17和图18是示意性地图示根据本公开的实施例的视频/图像解码方法和相关组件的示例的图。
48.图19和图20是示意性地图示根据本公开的实施例的图像/视频解码方法和相关组件的示例的图。
49.图21是图示可以应用本公开中公开的实施例的内容流传输系统的示例的图。
具体实施方式
50.本文档能够以各种方式进行修改并且可以具有各种实施例，并且将在附图中图示并详细描述具体实施例。然而，这并不旨在将本文件限制于特定实施例。本说明书中常用的术语被用于描述具体实施例并且不用于限制本文档的技术精神。单数的表达包括复数表达，除非在上下文中另有明确表达。本说明书中的诸如“包括”或“具有”的术语应理解为指示说明书中描述的特性、数量、步骤、操作、元件、部分或它们的组合的存在，而不是排除增加一个或多个其他特性、数量、步骤、操作、元件、部分或它们的组合的存在或可能性。
51.同时，为了便于描述与不同特征功能有关的描述，独立地图示了本文档中描述的附图中的元件。这并不意味着每个元件都被实现为单独的硬件或单独的软件。例如，可以组合至少两个元件以形成单个元件，或者可以将单个元件划分为多个元件。其中元件被组合和/或分离的实施例也包括在本文档的权利范围内，除非它偏离本文档的实质。
52.在下文中，将参考附图更具体地描述本文档的优选实施例。在下文中，在附图中，相同的附图标记用于相同的元件，并且省略相同元件的重复描述。
53.本文档涉及视频/图像编译。例如，本文档中公开的方法/实施例可能与通用视频编译(vvc)标准(itu-t rec.h.266)、vvc之后的下一代视频/图像编译标准或其他视频编译相关标准(例如，高效视频编译(hevc)标准(itu-t rec.h.265)、基本视频编译(evc)标准和avs2标准)有关。
54.本文档提出了视频/图像编译的各种实施例，并且实施例可以彼此结合执行，除非另有说明。
55.在本文件中，视频可能意指随着时间的推移一系列图像的集合。图片通常意指在特定时间区域中表示一个图像的单位，并且切片(slice)/图块(tile)是在编译中构成图片的一部分的单位。切片/图块可以包括一个或多个编译树单元(ctu)。一个图片可以由一个或多个切片/图块组成。一个图片可以由一个或多个图块组组成。一个图块组可以包括一个或多个图块。
56.像素或像元(pel)可以意指构成一个图片(或图像)的最小单元。另外，“样本”可以被用作与像素对应的术语。样本通常可以表示像素或像素的值，并且可以仅表示亮度分量的像素/像素值，或仅表示色度分量的像素/像素值。此外，样本可以意指空间域中的像素值，或者在将这种像素值变换到频域的情况下，可以意指频域中的变换系数。
57.单元可以表示图像处理的基本单元。单元可以包括图片的特定区域和与该区域相关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，可以将单元和诸如块、区域等这样的术语互换地使用。在通常情况下，m
×
n块可以包括由m列和n行组成的样本(或样本阵列)或变换系数的集合(或阵列)。
58.在本文件中，术语“/”和“,”被解释为指示“和/或”。例如，表述“a/b”被解释为指示“a和/或b”，并且“a，b”被解释为指示“a和/或b”。此外，“a/b/c”可以意指“a、b和/或c中的至少一个”。此外，“a、b、c”可以意指“a、b和/或c中的至少一个”。
59.此外，在本文档中，术语“或”应解释为指示“和/或”。例如，表述“a或b”可能意指1)仅a、2)仅b、和/或3)a和b这两者。换言之，本文档中的术语“或”可以意指“附加地或可替选地”。
60.在本说明书中，“a和b中的至少一个”可以意指“仅a”、“仅b”或“a和b这两者”。此外，在本说明书中，表述“a或b中的至少一个”或“a和/或b中的至少一个”可以解释为与“a和b中的至少一个”相同。
61.此外，在本说明书中，“a、b和c中的至少一个”可以意指“仅a”、“仅b”、“仅c”或“a、b和c的任意组合”。此外，“a、b或c中的至少一个”或“a、b和/或c中的至少一个”可以意指“a、b和c中的至少一个”。
62.此外，在本说明书中使用的括号可以意指“例如”。具体地，在表达“预测(帧内预测)”的情况下，可以指示提出“帧内预测”作为“预测”的示例。换言之，本说明书中的术语“预测”不限于“帧内预测”，并且可以指示提出“帧内预测”作为“预测”的示例。此外，即使在表达“预测(即，帧内预测)”的情况下，也可以指示提出“帧内预测”作为“预测”的示例。
63.在本说明书中，在一个附图中单独解释的技术特征可以单独实现，或者可以同时实现。
64.图1示意性地图示可以应用本文档的实施例的视频/图像编译系统的示例。
65.参考图1，视频/图像编译系统可以包括源设备和接收设备。源设备可以经由数字存储介质或网络以文件或流的形式将编码的视频/图像信息或数据递送到接收设备。
66.源设备可以包括视频源、编码装置和发射器。接收设备可以包括接收器、解码装置和渲染器。编码装置可以被称为视频/图像编码装置，解码装置可以被称为视频/图像解码装置。发射器可以被包括在编码装置中。接收器可以被包括在解码装置中。渲染器可以包括显示器，并且显示器可以被配置为单独的设备或外部组件。
67.视频源可以通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可以包括视频/图像捕获设备和/或视频/图像生成设备。例如，视频/图像捕获设备可以包括一个或更多个摄像头、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成设备可以包括计算机、平板计算机和智能电话，并且可以(以电子方式)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可以由生成相关数据的处理代替。
68.编码装置可以对输入视频/图像进行编码。为了压缩和编译效率，编码装置可以执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可以以比特流的形式输出。
69.发射器可以通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流的形式发送至接收设备的接收器。数字存储介质可以包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。发射器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络传输的元件。接收器可以接收/提取比特流并且将所接收的比特流发送至解码装置。
70.解码装置可以通过执行与编码装置的操作相对应的诸如解量化、逆变换和预测的
一系列处理对视频/图像进行解码。
71.渲染器可以渲染解码的视频/图像。渲染的视频/图像可以通过显示器显示。
72.图2是示意性地解释本文档适用于的视频/图像编码装置的配置的图。在下文中，视频编码装置可以包括图像编码装置。
73.参考图2，编码装置200包括图像分割器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230还可以包括减法器231。加法器250可以被称为重构器或重构块生成器。根据实施例，图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由至少一个硬件组件(例如，编码器芯片组或处理器)配置。另外，存储器270可以包括解码图片缓冲器(dpb)，或者可以由数字存储介质配置。硬件组件还可以包括存储器270作为内部/外部组件。
74.图像分割器210可以将输入至编码装置200的输入图像(或图片或帧)分割成一个或更多个处理器。例如，可以将处理器称作编译单元(cu)。在这种情况下，可以根据四叉树二叉树三叉树(qtbttt)结构从编译树单元(ctu)或最大编译单元(lcu)递归地分割编译单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编译单元分割成较深深度的多个编译单元。在这种情况下，例如，可以首先应用四叉树结构，和/或可以稍后应用二叉树结构和/或三叉树结构。另选地，也可以首先应用二叉树结构。可以基于不再分割的最终编译单元来执行根据本公开的编译处理。在这种情况下，基于根据图像特征的编译效率，可以将最大编译单元用作最终编译单元，或者必要时，可以将编译单元递归地分割成较深深度的编译单元，并且具有最佳大小的编译单元可以用作最终编译单元。这里，编译处理可以包括稍后描述的预测、变换和重构的处理。作为另一示例，处理器还可以包括预测单元(pu)或变换单元(tu)。在这种情况下，预测单元和变换单元可以从前述最终编译单元分区或分割。预测单元可以是样本预测的单元，并且变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
75.在一些情况下，单元可以与诸如块或区域的术语互换使用。在一般情况下，m
×
n块可以表示由m列和n行组成的样本或变换系数的集合。样本通常可以表示像素或像素值，可以仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可以用作与一个图片(或图像)的像素或像元相对应的术语。
76.减法器231可以通过从输入图像信号(原始块、原始样本或原始样本阵列)中减去从预测器220输出的预测信号(预测块、预测样本或预测样本阵列)来生成残差信号(残差块、残差样本或残差样本阵列)，并且可以将生成的残差信号发送到变换器232。预测器220可以对处理目标块(以下称为“当前块”)执行预测，并且可以生成包括用于当前块的预测样本的预测块。预测器220可以确定以当前块或cu为单位应用帧内预测还是帧间预测。预测器可以生成和向熵编码器240传递关于预测的各种信息，诸如稍后将在各预测模式的解释中描述的预测模式信息。关于预测的信息可以由熵编码器240编码，并且能够以比特流的形式输出。
77.帧内预测器222可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可以位于当前块附近或者可以隔开。在帧内预测中，预测模式可以包括多个非
定向模式和多个定向模式。例如，非定向模式可以包括dc模式和平面模式。例如，根据预测方向的详细程度，定向模式可以包括33个定向预测模式或65个定向预测模式。然而，这仅是示例，可以根据设置使用更多或更少的定向预测模式。帧内预测器222可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
78.帧间预测器221可以基于参考图片上运动矢量所指定的参考块(参考样本阵列)来推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以相同或不同。时间邻近块可以被称为并置参考块、并置cu(colcu)等，并且包括时间邻近块的参考图片可以被称为并置图片(colpic)。例如，帧间预测器221可以基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动矢量和/或参考图片索引的信息。可以基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，可以不发送残差信号。在运动矢量预测(mvp)模式的情况下，邻近块的运动矢量可以用作运动矢量预测子，并且可以通过用信号通知运动矢量差来指示当前块的运动矢量。
79.预测器220可以基于以下描述的各种预测方法生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来预测一个块，而且可以同时应用帧内预测和帧间预测。这可以称为组合的帧间和帧内预测(ciip)。此外，预测器可以执行帧内块复制(ibc)用于针对块的预测。帧内块复制可以被用于游戏等的内容图像/视频编译，例如，屏幕内容编译(scc)。ibc基本上在当前图片中执行预测，但是可以在当前图片中推导参考块的点上与帧间预测类似地执行。也就是说，ibc可以使用本文档中描述的帧间预测技术中的至少一种。
80.通过帧间预测器221和/或帧内预测器222生成的预测信号可以被用于生成重构信号或生成残差信号。变换器232可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括离散余弦变换(dct)、离散正弦变换(dst)、基于图形的变换(gbt)或条件非线性变换(cnt)中的至少一个。这里，gbt意指当像素之间的关系信息由图表示时从图获得的变换。cnt意指基于使用所有先前重构的像素生成的预测信号而生成的变换。此外，变换处理可以应用于具有相同大小的正方形像素块，或者可以应用于具有可变大小而不是正方形的块。
81.量化器233可以对变换系数进行量化并且将它们发送到熵编码器240并且熵编码器240可以对量化的信号(关于量化的变换系数的信息)进行编码并且输出比特流。关于量化的变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将块型量化的变换系数重新排列成一维向量形式，并且基于一维向量形式的量化的变换系数生成关于量化的变换系数的信息。熵编码器240可以执行各种编码方法，例如，指数哥伦布、上下文自适应可变长度编译(cavlc)、上下文自适应二进制算术编译(cabac)等。熵编码器240可以一起或单独地编码除了量化的变换系数(例如，语法元素的值等)之外的用于视频/图像重构所需的信息。编码信息(例如，编码视频/图像信息)能够以比特流的形式以nal(网络抽象层)为单位被发送或存储。视频/图像信息可以进一步包括关于各种参数集的信息，诸如自
适应参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频参数集(vps)。此外，视频/图像信息可以进一步包括一般约束信息。在本文档中，将在本文档中稍后描述的用信号发送/发送的信息和/或语法元素可以通过上述编码过程被编码并且可以被包括在比特流中。比特流可以通过网络被发送或者可以被存储在数字存储介质中。网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。发送从熵编码器240输出的信号的发射器(未示出)和/或存储该信号的存储单元(未示出)可以作为编码装置200的内部/外部元件被包括，并且可替选地，发射器可以被包括在熵编码器240中。
82.从量化器233输出的量化的变换系数可以被用于生成预测信号。例如，可以通过解量化器234和逆变换器235对量化的变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。加法器250将重构的残差信号添加到从预测器220输出的预测信号以生成重构信号(重构图片、重构块、重构样本或重构样本阵列)。如果要处理的块没有残差，诸如应用跳过模式的情况，则可以将预测块用作重构块。所生成的重构信号可以被用于对当前图片中要处理的下一个块的帧内预测，并且可以通过如下所述的滤波被用于对下一图片进行帧间预测。
83.同时，可以在图片编码和/或重构期间应用亮度映射与色度缩放(lmcs)。
84.滤波器260可以通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器260可以通过对重构图片应用各种滤波方法来生成修改的重构图片，并且将修改的重构图片存储在存储器270(具体地，存储器270的dpb)中。各种滤波方法可以包括：例如去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成与滤波有关的各种信息，并将生成的信息发送到熵编码器240，如稍后在每种滤波方法的描述中所描述的。与滤波有关的信息可以由熵编码器240编码并且以比特流的形式输出。
85.发送到存储器270的修改的重构图片可以用作帧间预测器221中的参考图片。当通过编码装置应用帧间预测时，编码装置200和解码装置300之间的预测失配可以被避免，并且可以改进编码效率。
86.存储器270的dpb可以存储修改的重构图片以用作帧间预测器221中的参考图片。存储器270可以存储从其推导(或编码)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。存储的运动信息可以被发送到帧间预测器221并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中重构块的重构样本并且可以将重构样本传递到帧内预测器222。
87.图3是示意性地解释本文档适用于的视频/图像解码装置的配置的图。
88.参考图3，解码装置300可以包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可以包括帧间预测器331和帧内预测器332。残差处理器320可以包括解量化器321和逆变换器321。根据实施例，熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由硬件组件(例如，解码器芯片组或处理器)配置。另外，存储器360可以包括解码图片缓冲器(dpb)或者可以由数字存储介质配置。硬件组件还可以包括存储器360作为内部/外部组件。
89.当输入包括视频/图像信息的比特流时，解码装置300可以与在图2的编码装置中处理视频/图像信息的处理相对应地重构图像。例如，解码装置300可以基于从比特流获得
的块分区相关信息来推导单元/块。解码装置300可以使用在编码装置中应用的处理器来执行解码。因此，解码的处理器例如可以是编译单元，并且编译单元可以从编译树单元或最大的编译单元按照四叉树结构、二叉树结构和/或三叉树结构进行分区。可以从编译单元推导一个或多个变换单元。通过解码装置300解码和输出的重构图像信号可以通过再现装置被再现。
90.解码装置300可以接收以比特流的形式从图2的编码装置输出的信号，并且可以通过熵解码器310对接收到的信号进行解码。例如，熵解码器310可以解析比特流以推导图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息可以进一步包括关于各种参数集的信息，诸如自适应参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频参数集(vps)。此外，视频/图像信息可以进一步包括一般约束信息。解码装置可以进一步基于关于参数集的信息和/或通用约束信息对图片进行解码。可以通过解码过程对本文档中稍后描述的用信号发送/接收的信息和/或语法元素进行解码并从比特流中获得。例如，熵解码器310可以基于诸如指数哥伦布编译(exponential golomb coding)、cavlc或cabac的编译方法以及图像重构所需的语法元素的输出值和用于残差的变换系数的量化值来解码比特流中的信息。更具体地，cabac熵解码方法可以接收与比特流中的每个语法元素相对应的bin，使用解码目标语法元素信息、邻近和解码目标块的解码信息或前一阶段中解码的符号/bin的信息来确定上下文模型，并且根据确定的上下文模型通过预测bin出现的概率对bin执行算术解码，并且生成与每个语法元素的值相对应的符号。在这种情况下，cabac熵解码方法可以在确定上下文模型之后通过将解码的符号/bin的信息用于下一个符号/bin的上下文模型来更新上下文模型。由熵解码器310解码的信息之中的关于预测的信息可以提供给预测器330，并且关于已经在熵解码器310中对其执行熵解码的残差的信息，即，量化的变换系数和相关参数信息可以被输入到解量化器321。此外，由熵解码器310解码的信息之中的关于滤波的信息可以被提供给滤波器350。同时，用于接收从编码装置输出的信号的接收器(未示出)可以进一步被配置为解码装置300的内部/外部元件，或者接收器可以是熵解码器310的组件。同时，根据本文的解码装置可以被称为视频/图像/图片解码装置，并且解码装置可以被分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括解量化器321、逆变换器322、预测器330、加法器340、滤波器350和存储器360中的至少一个。
91.解量化器321可以将量化的变换系数解量化并输出变换系数。解量化器321可以按二维块的形式重新排列量化的变换系数。在这种情况下，可以基于在编码装置中执行的系数扫描次序来执行重新排列。解量化器321可以通过使用量化参数(例如，量化步长信息)对量化的变换系数执行解量化并且获得变换系数。
92.逆变换器322对变换系数进行逆变换，以获得残差信号(残差块、残差样本阵列)。
93.预测器可以对当前块执行预测并生成包括针对当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且可以确定特定帧内/帧间预测模式。
94.预测器可以基于以下描述的各种预测方法来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来预测一个块，还可以同时应用帧内预测和帧间预测。这可以称为组合的帧间和帧内预测(ciip)。此外，预测器可以执行帧内块复制(ibc)用于针对块的
预测。帧内块复制可以被用于游戏等的内容图像/视频编译，例如，屏幕内容编译(scc)。ibc基本上在当前图片中执行预测，但是可以类似于帧间预测被执行，因为在当前图片中推导参考块。也就是说，ibc可以使用本文档中描述的帧间预测技术中的至少一个。
95.帧内预测器331可以通过参考当前图片中的样本来预测当前块。所参考的样本可以位于当前块的附近或者可以根据预测模式而位于分开的位置。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
96.帧间预测器332可以基于参考图片上的由运动矢量所指定的参考块(参考样本阵列)推导用于当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息可以进一步包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。例如，帧间预测器332可以基于邻近块来配置运动信息候选列表并且基于接收到的候选选择信息来推导当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示用于当前块的帧间预测的模式的信息。
97.加法器340可以通过将获得的残差信号与从预测器(330)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块没有残差，诸如当应用跳过模式时，预测块可以用作重构块。
98.加法器340可以被称为重构器或重构块生成器。生成的重构信号可以被用于当前图片中的下一个要处理的块的帧内预测，可以通过如下所述的滤波输出，或者可以用于下一个图片的帧间预测。
99.同时，可以在图片解码过程中应用亮度映射与色度缩放(lmcs)。
100.滤波器350可以通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器350可以通过将各种滤波方法应用于重构图片来生成修改的重构图片，并将修改的重构图片存储在存储器360(具体地，存储器360的dpb)中。各种滤波方法可以包括：例如去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
101.存储在存储器360的dpb中的(修改的)重构图片可以用作帧间预测器332中的参考图片。存储器360可以存储从其推导(或者解码)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。存储的运动信息可以被发送到帧间预测器260，使得被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中重构块的重构样本并将重构样本传递到帧内预测器331。
102.在本说明书中，解码装置300的预测器330、解量化器321、逆变换器322和滤波器350中解释的实施例能够分别以相同的方式应用于或对应于编码装置200的预测器220，解量化器234、逆变换器235和滤波器260。
103.如上所述，在视频编译中，执行预测以提高压缩效率。通过这种操作，可以生成包括针对当前块(即，要编译的块)的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。预测块从编码装置和解码装置中相同地推导，并且编码装置对关于原始块与预测块之间的残差(而非原始块的原始样本值本身)的信息(残差信息)进行解码。通过用
信号向装置通知可以提高图像编译效率。解码装置可以基于残差信息来推导包括残差样本的残差块，通过将残差块和预测块相加来生成包括重构样本的重构块，并且生成包括重构块的重构图片。
104.残差信息可以通过变换处理和量化处理来生成。例如，编码装置可以推导原始块与预测块之间的残差块，对包括在残差块中的残差样本(残差样本阵列)执行变换处理以推导变换系数，然后通过对变换系数执行量化处理来推导量化的变换系数，以将残差相关信息(经由比特流)用信号通知给解码装置。这里，残差信息可以包括量化的变换系数的值信息、位置信息、变换技术、变换核心和量化参数等。解码装置可以基于残差信息来执行解量化/逆变换处理并且推导残差样本(或残差块)。解码装置可以基于预测块和残差块来生成重构图片。编码装置还可以对供后续图片的帧间预测参考的量化的变换系数进行解量化/逆变换来推导残差块，并且基于此生成重构图片。
105.在本文档中，可以省略量化/解量化和/或变换/逆变换中的至少一个。当省略量化/解量化时，量化的变换系数可以被称为变换系数。当省略变换/逆变换时，变换系数可以被称为系数或残差系数，或者为了表达的统一，仍可以被称为变换系数。
106.在本文档中，量化的变换系数和变换系数可以分别被称为变换系数和缩放变换系数。在这种情况下，残差信息可以包括关于变换系数的信息，并且关于变换系数的信息可以通过残差编译语法用信号通知。可以基于残差信息(或关于变换系数的信息)推导变换系数，并且可以通过对变换系数进行逆变换(缩放)来推导缩放变换系数。可以基于缩放变换系数的逆变换(变换)来推导残差样本。这也可以在本文档的其它部分中应用/表达。
107.编码装置/解码装置的预测器可以通过以块为单位执行帧间预测来推导预测样本。帧间预测可以是以依赖于除当前图片之外的图片的数据元素(例如，样本值或运动信息)的方式推导的预测。当将帧间预测应用于当前块时，可以基于由参考图片索引指示的参考图片上的运动矢量指定的参考块(参考样本阵列)来推导针对当前块的预测块(预测样本阵列)。这里，为了减少在帧间预测模式下发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测当前块的运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测类型(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以相同或不同。时间邻近块可以被称为并置参考块、并置cu(colcu)等，并且包括时间邻近块的参考图片可以被称为并置图片(colpic)。例如，可以基于当前块的邻近块来配置运动信息候选列表，并且可以用信号通知指示哪一候选被选择(使用)的标志或索引信息，以推导当前块的运动矢量和/或参考图片索引。可以基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，当前块的运动信息可以与邻近块的运动信息相同。在跳过模式下，与合并模式不同，可以不发送残差信号。在运动矢量预测(mvp)模式的情况下，所选邻近块的运动矢量可以用作运动矢量预测子，并且可以用信号通知当前块的运动矢量。在这种情况下，可以使用运动矢量预测子和运动矢量差的和来推导当前块的运动矢量。
108.根据帧间预测类型(l0预测、l1预测、bi预测等)，运动信息可以包括l0运动信息和/或l1运动信息。l0方向的运动矢量可以被称为l0运动矢量或mvl0，并且l1方向的运动矢量可以被称为l1运动矢量或mvl1。基于l0运动矢量的预测可以被称为l0预测，基于l1运动
矢量的预测可以被称为l1预测，并且基于l0运动矢量和l1运动矢量二者的预测可以被称为双向预测。这里，l0运动矢量可以指示与参考图片列表l0(l0)相关联的运动矢量，并且l1运动矢量可以指示与参考图片列表l1(l1)相关联的运动矢量。参考图片列表l0可以包括在输出次序上比当前图片更早的图片作为参考图片，并且参考图片列表l1可以包括在输出次序上比当前图片更晚的图片。前面的图片可以被称为前向(参考)图片，并且后续图片可以被称为反向(参考)图片。参考图片列表l0还可以包括在输出次序上比当前图片更晚的图片作为参考图片。在这种情况下，可以首先在参考图片列表l0中对先前图片进行索引，并且可以稍后对后续图片进行索引。参考图片列表l1还可以包括在输出次序上比当前图片更早的图片作为参考图片。在这种情况下，可以首先在参考图片列表1中对后续图片进行索引，并且先前的图片可以稍后被索引。输出次序可以与图片次序计数(poc)次序相对应。
109.图4示例性地示出编译图像/视频的层级结构。
110.参考图4，编译图像/视频被划分成处理图像/视频及它本身的解码过程的视频编译层(vcl)、发送并存储编译信息的子系统、以及负责网络适应功能并存在于vcl与子系统之间的nal(网络抽象层)。
111.在vcl中，生成包括压缩图像数据(切片数据)的vcl数据，或者可以生成包括图片参数集(psp)、序列参数集(sps)和视频参数集(vps)的参数集、或图像解码过程附加地需要的补充增强信息(sei)消息。
112.在nal中，可以通过向在vcl中生成的原始字节序列有效载荷(rbsp)添加报头信息(nal单元报头)来生成nal单元。在这种情况下，rbsp是指在vcl中生成的切片数据、参数集、sei消息等。nal单元报头可以包括根据相应nal单元中包括的rbsp数据指定的nal单元类型信息。
113.如图所示，可以根据在vcl中生成的rbsp来将nal单元划分成vcl nal单元和非vcl nal单元。vcl nal单元可以意指包括关于图像(切片数据)的信息的nal单元，并且非vcl nal单元可以意指包括对图像进行解码所需要的信息(参数集或sei消息)的nal单元。
114.可以通过根据子系统的数据标准附加报头信息来通过网络发送前述vcl nal单元和非vcl nal单元。例如，nal单元可以被变换成诸如h.266/vvc文件格式、实时传输协议(rtp)、传输流(ts)等的预定标准的数据格式，并且通过各种网络来发送。
115.如上所述，可以根据相应nal单元中包括的rbsp数据结构利用nal单元类型来指定nal单元，并且可以在nal单元报头中存储和用信号通知关于nal单元类型的信息。
116.例如，可以根据nal单元是否包括关于图像的信息(切片数据)来将nal单元分类成vcl nal单元类型和非vcl nal单元类型。可以根据vcl nal单元中包括的图片的性质和类型对vcl nal单元类型进行分类，并且可以根据参数集的类型对非vcl nal单元类型进行分类。
117.以下是根据非vcl nal单元类型中包括的参数集的类型所指定的nal单元类型的示例。
[0118]-aps(自适应参数集)nal单元：用于包括aps的nal单元的类型
[0119]-dps(解码参数集)nal单元：用于包括dps的nal单元的类型
[0120]-vps(视频参数集)nal单元：用于包括vps的nal单元的类型
[0121]-sps(序列参数集)nal单元：用于包括sps的nal单元的类型
[0122]-pps(图片参数集)nal单元：用于包括pps的nal单元的类型
[0123]-ph(图片报头)nal单元：用于包括ph的nal单元的类型
[0124]
前述nal单元类型可以具有用于nal单元类型的语法信息，并且可以在nal单元报头中存储和用信号通知语法信息。例如，语法信息可以是nal_unit_type，并且nal单元类型可以由nal_unit_type值指定。
[0125]
同时，如上所述，一个图片可以包括多个切片，并且一个切片可以包括切片报头和切片数据。在这种情况下，可以向一个图片中的多个切片(切片报头和切片数据集)进一步添加一个图片报头。图片报头(图片报头语法)可以包括共同地适用于图片的信息/参数。在本文档中，切片可以与图块组混用或替换。另外，在本文档中，切片报头可以与图块组报头混用或替换。
[0126]
切片报头(切片报头语法、切片报头信息)可以包括可以被共同地应用于切片的信息/参数。aps(aps语法)或pps(pps语法)可以包括可以被共同地应用于一个或多个切片或图片的信息/参数。sps(sps语法)可以包括可以被共同地应用于一个或多个序列的信息/参数。vps(vps语法)可以包括可以被共同地应用于多个层的信息/参数。dps(dps语法)可以包括可以被共同地应用于整个视频的信息/参数。dps可以包括与编译视频序列(cvs)的级联有关的信息/参数。本文档中的高级语法(hls)可以包括aps语法、pps语法、sps语法、vps语法、dps语法和切片报头语法中的至少一种。
[0127]
在本文档中，从编码装置编码并且以比特流的形式用信号通知给解码装置的图像/图像信息不仅包括图片中的分区相关信息、帧内/帧间预测信息、残差信息、环路内滤波信息等，而且还包括切片报头中包括的信息、aps中包括的信息、pps中包括的信息、sps中包括的信息和/或vps中包括的信息。
[0128]
同时，为了补偿由于在诸如量化的压缩编译过程中发生的误差而导致的原始图像与重构图像之间的差异，可以如上所述对重构样本或重构图片执行环路内滤波过程。如上所述，环路内滤波可以由编码装置的滤波器和解码设备的滤波器执行，并且可以应用去块滤波器、sao和/或自适应环路滤波器(alf)。例如，可以在去块滤波过程和/或sao过程完成之后执行alf过程。然而，即使在这种情况下，也可以省略去块滤波过程和/或sao过程。
[0129]
在下文中，将描述图片重构和滤波的详细描述。在图像/视频编译中，可以基于针对每个块的帧内预测/帧间预测来生成重构块，并且可以生成包括重构块的重构图片。在当前图片/切片是i图片/切片时，可以仅基于帧内预测来重构当前图片/切片中包括的块。同时，在当前图片/切片是p或b图片/切片时，可以基于帧内预测或帧间预测来重构当前图片/切片中包括的块。在这种情况下，可以对当前图片/切片中的一些块应用帧内预测，并且可以对剩余块应用帧间预测。
[0130]
帧内预测可以是指基于当前块所属于的图片(在下文中，称为当前图片)中的参考样本来生成当前块的预测样本的预测。在对当前块应用帧内预测时，可以推导要用于当前块的帧内预测的邻近参考样本。当前块的邻近参考样本可以包括与具有大小为nwxnh的当前块的左边界相邻的样本和邻近左下部的总共2xnh个样本、与当前块的上边界相邻的样本和邻近右上部的总共2xnw个样本、以及邻近当前块的左上部的一个样本。可替选地，当前块的邻近参考样本可以包括多个上邻近样本和多个左邻近样本。另外，当前块的邻近参考样本可以包括与具有大小为nwxnh的当前块的右边界相邻的总共nh个样本、与当前块的下边
界相邻的总共nw个样本、以及邻近当前块的右下部的一个样本。
[0131]
然而，当前块的一些邻近参考样本可能仍未被解码或可用。在这种情况下，解码器可以通过用可用样本取代不可用的样本来配置要用于预测的邻近参考样本。可替选地，可以通过可用样本的插值来配置要用于预测的邻近参考样本。
[0132]
当推导邻近参考样本时，可以基于当前块的邻近参考样本的平均或插值和(ii)当前块的邻近参考样本之中的预测来推导预测样本。可以基于相对于样本在特定(预测)方向中存在的参考样本来推导预测样本。可以将(i)的情况称作非定向模式或非角度模式，并且可以将(ii)的情况称作定向模式或角度模式。另外，基于邻近参考样本之中的当前块的预测样本，第一邻近样本和位于与当前块的帧内预测模式的预测方向相反的方向中的第二邻近样本被插值。可以生成预测样本。可以将上述情况称为线性插值帧内预测(lip)。另外，可以使用线性模型基于亮度样本来生成色度预测样本。可以将这种情况称作lm模式。另外，可以基于滤波的邻近参考样本来推导当前块的临时预测样本，并且可以对现有的邻近参考样本之中根据帧内预测模式推导的至少一个参考样本(即，未滤波的邻近参考样本)和临时预测样本进行加权求和以推导当前块的预测样本。可以将上述情况称为位置相关帧内预测(pdpc)。另外，可以选择当前块的邻近多参考样本线之中具有最高预测准确度的参考样本线以通过使用对应线上位于预测方向中的参考样本来推导预测样本，然后可以将本文使用的参考样本线指示(用信号通知)给解码装置，从而执行帧内预测编码。可以将上述情况称为多参考线(mrl)帧内预测或基于mrl的帧内预测。另外，可以通过将当前块划分成垂直或水平子分区基于相同的帧内预测模式来执行帧内预测，并且可以在子分区单元中推导和使用邻近参考样本。也就是说，在这种情况下，用于当前块的帧内预测模式被同等地应用于子分区，并且可以在一些情况下通过推导和使用子分区单元中的邻近参考样本来改进帧内预测性能。可以将这样的预测方法称作帧内子分区(isp)或基于isp的帧内预测。可以将前述帧内预测方法与帧内预测模式分开地称作帧内预测类型。能够以诸如帧内预测技术或附加帧内预测模式的各种术语来称呼帧内预测类型。例如，帧内预测类型(或附加帧内预测模式)可以包括前述lip、pdpc、mrl和isp中的至少一种。可以将除了诸如lip、pdpc、mrl或isp的特定帧内预测类型之外的一般帧内预测方法称作正常帧内预测类型。当无法应用特定帧内预测类型时，可以通常应用正常帧内预测类型，并且可以基于上述帧内预测模式执行预测。同时，可以根据需要对所推导的预测样本执行后滤波。
[0133]
具体地，帧内预测过程可以包括帧内预测模式/类型确定步骤、邻近参考样本推导步骤和基于帧内预测模式/类型的预测样本推导步骤。另外，可以根据需要对所推导的预测样本执行后滤波步骤。
[0134]
图5是图示编码装置中的基于帧内预测的块重构方法的流程图。图6是图示编码装置中的帧间预测器的图。
[0135]
s500可以由编码装置的帧内预测器222执行，并且s510至s530可以由编码装置的残差处理器230执行。具体地，s510可以由编码装置的减法器231执行，s520可以由编码装置的变换器232和量化器233执行，并且s530可以由编码装置的解量化器234和逆变换器235执行。在s500中，预测信息可以由帧间预测器222推导并且由熵编码器240编码。残差信息可以通过s510和s520来推导并且由熵编码器240编码。残差信息是关于残差样本的信息。残差信息可以包括关于用于残差样本的量化变换系数的信息。如上所述，可以通过编码装置的变
换单元232来将残差样本推导为变换系数，并且可以通过量化单元2330来将变换系数推导为量化变换系数。关于量化变换系数的信息可以由熵编码器240通过残差编译过程被编码。
[0136]
编码装置执行用于当前块的帧内预测(s500)。编码装置可以推导用于当前块的帧内预测模式，推导当前块的邻近参考样本，并且基于帧内预测模式和邻近参考样本来生成当前块中的预测样本。这里，可以同时地执行确定帧内预测模式、推导邻近参考样本并且生成预测样本的过程，或者可以在另一过程之前执行一个过程。例如，编码装置的帧内预测器222可以包括预测模式/类型确定器222-1、参考样本推导单元222-2和预测样本推导单元222-3，并且可以在预测模式/类型确定器222-1中确定用于当前块的帧内预测模式/类型，在参考样本推导器222-2中推导当前块的邻近参考样本，并且从预测样本推导器222-3推导当前块的运动样本。同时，尽管未示出，但是当执行要稍后描述的预测样本滤波过程时，帧内预测器222还可以包括预测样本滤波器单元(未示出)。编码装置可以从多个帧内预测模式之中确定应用于当前块的模式。编码装置可以比较用于帧内预测模式的rd成本并且确定用于当前块的最佳帧内预测模式。
[0137]
同时，编码装置可以执行预测样本滤波过程。可以将预测样本滤波称为后滤波。可以通过预测样本滤波过程来对一些或所有预测样本进行滤波。在一些情况下，可以省略预测样本滤波过程。
[0138]
编码装置基于预测样本来推导用于当前块的残差样本(s510)。编码装置可以基于相位来比较当前块的原始样本中的预测样本并且推导残差样本。
[0139]
编码装置可以对残差样本进行变换/量化以推导量化变换系数(s520)，此后再次对量化变换系数进行解量化/逆变换以推导(修改的)残差样本(s530)。在变换/量化之后再次执行解量化/逆变换的原因是为了推导与如上所述从解码装置推导的残差样本相同的残差样本。
[0140]
编码装置可以基于预测样本和(修改的)残差样本来生成包括当前块的重构样本的重构块(s540)。可以基于重构块来生成用于当前图片的重构图片。
[0141]
如上所述，编码装置可以对包括关于帧内预测的预测信息(例如，指示预测模式的预测模式信息)以及关于帧内和残差样本的残差信息的图像信息进行编码并且以比特流的形式输出编码图像信息。残差信息可以包括残差编译语法。编码装置可以对残差样本进行变换/量化以推导量化变换系数。残差信息可以包括关于量化变换系数的信息。
[0142]
图7是图示解码装置中的基于帧内预测的块重构方法的流程图。图8是图示解码装置中的帧内预测器的图。
[0143]
解码装置可以执行与由编码装置执行的操作相对应的操作。
[0144]
s700至s720可以由解码装置的帧内预测器331执行，并且s700的预测信息和s730的残差信息可以由解码装置的熵解码器310从比特流获得。解码装置的残差处理器320可以基于残差信息来推导用于当前块的残差样本。具体地，残差处理器320的解量化器321可以通过基于以残差信息为基础所推导的量化变换系数执行解量化来推导变换系数，并且残差处理器的逆变换单元322可以通过对变换系数执行逆变换来推导用于当前块的残差样本。s740可以由解码装置的加法器340或重构器执行。
[0145]
具体地，解码装置可以基于所接收到的预测模式信息来推导用于当前块的帧内预测模式(s700)。解码装置可以推导当前块的邻近参考样本(s710)。解码装置基于帧内预测
模式和邻近参考样本来生成当前块中的预测样本(s720)。在这种情况下，解码装置可以执行预测样本滤波过程。可以将预测样本滤波称作后滤波。可以通过预测样本滤波过程对一些或所有预测样本进行滤波。在一些情况下，可以省略预测样本滤波过程。
[0146]
解码装置基于所接收到的残差信息来生成用于当前块的残差样本(s730)。解码装置可以基于预测样本和残差样本来生成用于当前块的重构样本，并且推导包括重构样本的重构块(s740)。可以基于重构块来生成用于当前图片的重构图片。
[0147]
这里，解码装置的帧内预测器331可以包括预测模式/类型确定器331-1、参考样本推导器331-2和预测样本推导器331-3，预测模式/类型确定器331-1可以基于从解码装置的熵解码器310获得的预测模式信息来确定用于当前块的帧内预测模式，参考样本推导器331-2可以推导当前块的邻近参考样本，并且预测样本推导器331-3可以推导当前块的预测样本。同时，尽管未示出，但是当执行上述预测样本滤波过程时，帧内预测器331还可以包括预测样本滤波器单元(未示出)。
[0148]
预测信息可以包括帧内预测模式信息和/或帧内预测类型信息。帧内预测模式信息可以包括例如指示是否对当前块应用最可能模式(mpm)或应用剩余模式的标志信息(例如，intra_luma_mpm_flag)，并且在对当前块应用mpm时，预测模式信息还可以包括指示帧内预测模式候选(mpm候选)之一的索引信息(例如，intra_luma_mpm_idx)。帧内预测模式候选(mpm候选)可以包括mpm候选列表或mpm列表。另外，在不对当前块应用mpm时，帧内预测模式信息还可以包括指示除了帧内预测模式候选(mpm候选)之外的剩余帧内预测模式之一的剩余模式信息(例如，intra_luma_mpm_remainder)。解码装置可以基于帧内预测模式信息来确定当前块的帧内预测模式。可以为前述mip配置单独的mpm列表。
[0149]
另外，能够以各种形式实现帧内预测类型信息。例如，帧内预测类型信息可以包括指示帧内预测类型之一的帧内预测类型索引信息。作为另一示例，帧内预测类型信息可以包括以下各项中的至少一种：指示是否对当前块应用mrl并且在应用的情况下指示哪个参考样本线被使用的参考样本线信息(例如，intra_luma_ref_idx)、指示是否对当前块应用isp的isp标志信息(例如，intra_subpartitions_mode_flag)、指示当isp被应用时子分区的分割类型的isp类型信息(例如，intra_subpartitions_split_flag)、指示pdcp是否被应用的标志信息或指示lip是否被应用的标志信息。另外，帧内预测类型信息可以包括指示是否对当前块应用mip的mip标志。
[0150]
可以通过本公开中描述的编译方法来对帧内预测模式信息和/或帧内预测类型信息进行编码/解码。例如，可以通过基于截断(莱斯)二进制码的熵编译(例如，cabac、cavlc)编译来对帧内预测模式信息和/或帧内预测类型信息进行编码/解码。
[0151]
编码装置/解码装置的预测器可以通过在逐块基础上执行帧间预测来推导预测样本。帧间预测可以是以依赖于除当前图片以外的图片的数据元素(例如，样本值或运动信息)的方式推导的预测。在对当前块应用帧间预测时，可以基于由参考图片索引指示的参考图片上的由运动矢量指定的参考块(参考样本阵列)来推导用于当前块的预测块(预测样本阵列)。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测当前块的运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测类型(l0预测、l1预测、bi预测等)信息。当应用帧间预测时，邻近块可以包括存在于当前图片中的空间邻近
块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以彼此相同或彼此不同。可以将时间邻近块称为诸如并置参考块、并置cu(colcu)等的名称，并且可以将包括时间邻近块的参考图片称为并置图片(colpic)。例如，可以基于当前块的邻近块来配置运动信息候选列表并且可以用信号通知指示哪个候选被选择(使用)来推导当前块的运动矢量和/或参考图片索引的标志或索引信息。可以基于各种预测模式来执行帧间预测，并且例如，在跳过模式和合并模式的情况下，当前块的运动信息可以与邻近块的运动信息相同。在跳过模式的情况下，与合并模式不同，可以不发送残差信号。在运动矢量预测(mvp)模式的情况下，所选择的邻近块的运动矢量被用作运动矢量预测子并且可以用信号通知运动矢量差。在这种情况下，可以使用运动矢量预测子和运动矢量差之和来推导当前块的运动矢量。
[0152]
图9是用于描述编码装置中的基于帧内预测的块重构方法的流程图。图10是图示编码装置中的帧间预测器的图。
[0153]
s900可以由编码装置的帧间预测器221执行，并且s910至s930可以由编码装置的残差处理器230执行。具体地，s910可以由编码装置的减法器231执行，s920可以由编码装置的变换器232和量化器233执行，并且s930可以由编码装置的解量化器234和逆变换器235执行。在s900中，预测信息可以由帧间预测器221推导并且由熵编码器240编码。残差信息可以通过s910和s920来推导并且由熵编码器240编码。残差信息是关于残差样本的信息。残差信息可以包括关于用于残差样本的量化变换系数的信息。如上所述，可以通过编码装置的变换单元232来将残差样本推导为变换系数，并且可以通过量化单元233来将变换系数推导为量化变换系数。关于量化变换系数的信息可以由熵编码器240通过残差编码过程被编码。
[0154]
编码装置对当前块执行帧间预测(s900)。编码装置可以推导当前块的帧间预测模式和运动信息，并且生成当前块的预测样本。这里，可以同时地执行用于确定帧间预测模式、推导运动信息并且生成预测样本的过程，或者可以在另一过程之前执行一个过程。例如，编码设备的帧间预测器221可以包括预测模式确定器221-1、运动信息推导器221-2和预测样本推导器221-3，并且预测模式确定器221-1可以确定用于当前块的预测模式，运动信息推导器221-2可以推导当前块的运动信息，并且预测样本推导器221-3可以推导当前块的运动样本。例如，编码装置的帧间预测器221可以通过运动估计在参考图片的预定区域(搜索区域)内搜索与当前块类似的块，并且推导与当前块的差等于或小于最小值或特定准则的参考块。基于此，可以推导指示参考块被定位在其中的参考图片的参考图片索引，并且可以基于参考块的位置与当前块的位置之间的差来推导运动矢量。编码装置可以从各种预测模式之中确定应用于当前块的模式。编码装置可以比较用于各种预测模式的rd成本并且确定用于当前块的最佳预测模式。
[0155]
例如，在对当前块应用跳过模式或合并模式时，编码装置可以构造要稍后描述的合并候选列表，并且推导在由合并候选列表中包括的合并候选所指示的参考块之中与当前块具有最小值或预定准则或更少的差的参考块。在这种情况下，可以选择与所推导的参考块相关联的合并候选，并且可以生成指示所选择的合并候选的合并索引信息并且将其用信号通知给解码装置。可以使用所选择的合并候选的运动信息来推导当前块的运动信息。
[0156]
作为另一示例，在对当前块应用(a)mvp模式时，编码装置可以构造要稍后描述的(a)mvp候选列表，并且可以使用从(a)mvp候选列表中包括的运动矢量预测子(mvp)候选之
中选择的mvp候选的运动矢量作为当前块的mvp。在这种情况下，例如，指示通过上述运动估计推导的参考块的运动矢量可以被用作当前块的运动矢量，并且在mvp候选之中具有与当前块的运动矢量具有最小差的运动矢量的mvp候选可以是所选择的mvp候选。可以推导作为通过从当前块的运动矢量中减去mvp而获得的差的运动矢量差(mvd)。在这种情况下，可以将关于mvd的信息用信号通知给解码装置。另外，当应用(a)mvp模式时，可以通过构造参考图片索引信息来将参考图片索引的值分开地用信号通知给解码装置。
[0157]
编码装置可以基于预测样本来推导残差样本(s910)。编码装置可以通过将当前块的原始样本与预测样本进行比较来推导残差样本。
[0158]
编码装置对残差样本进行变换/量化以推导量化变换系数(s920)，然后再次对量化变换系数进行解量化/逆变换以推导(修改的)残差样本(s930)。在变换/量化之后再次执行解量化/逆变换的原因是为了推导与如上所述从解码装置推导的残差样本相同的残差样本。
[0159]
编码装置可以基于预测样本和(修改的)残差样本来生成包括用于当前块的重构样本的重构块(s940)。可以基于重构块来生成用于当前图片的重构图片。
[0160]
尽管未示出，但是如上所述，编码装置可以对包括预测信息和残差信息的图像信息进行编码。编码装置能够以比特流的形式输出编码图像信息。预测信息是与预测过程有关的信息并且可以包括预测模式信息(例如，跳过标志、合并标志或模式索引等)和运动信息。关于运动信息的信息可以包括作为用于推导运动矢量的信息的候选选择信息(例如，合并索引、mvp标志或mvp索引)。另外，关于运动信息的信息可以包括上述mvd信息和/或参考图片索引信息。另外，关于运动信息的信息可以包括指示是否应用l0预测、l1预测或bi-预测的信息。残差信息是关于残差样本的信息。残差信息可以包括关于用于残差样本的量化变换系数的信息。
[0161]
输出比特流可以被存储在(数字)存储介质中并且被发送到解码装置，或者可以通过网络被发送到解码装置。
[0162]
图11是用于描述解码装置中的基于帧间预测的块重构方法的流程图。图12是图示解码装置中的帧间预测器的图。
[0163]
解码装置可以执行与由编码装置执行的操作相对应的操作。
[0164]
s1100至s1120可以由解码装置的帧间预测器332执行，并且s1100的预测信息和s1130的残差信息可以由解码装置的熵解码器310从比特流获得。解码装置的残差处理器320可以基于残差信息来推导用于当前块的残差样本。具体地，残差处理器320的解量化器321可以通过基于以残差信息为基础所推导的量化变换系数执行解量化来推导变换系数，并且残差处理器的逆变换单元322可以通过对变换系数执行逆变换来推导用于当前块的残差样本。s1140可以由解码装置的加法器340或重构器执行。
[0165]
具体地，解码装置可以基于所接收到的预测信息来确定用于当前块的预测模式(s1100)。解码装置可以基于预测信息中的预测模式信息来确定对当前块应用哪个帧间预测模式。
[0166]
例如，基于合并标志，可以确定是否对当前块应用合并模式或者是否确定了(a)mvp模式。可替选地，可以基于模式索引来选择各种帧间预测模式候选之一。帧间预测模式候选可以包括跳过模式、合并模式和/或(a)mvp模式，或者可以包括要稍后描述的各种帧间
预测模式。
[0167]
解码装置基于所确定的帧间预测模式来推导当前块的运动信息(s1110)。例如，在对当前块应用跳过模式或合并模式时，解码装置可以构造合并候选列表，并且从该合并候选列表中包括的合并候选之中选择一个合并候选。可以基于上述选择信息(合并索引)来执行选择。可以使用所选择的合并候选的运动信息来推导当前块的运动信息。所选择的合并候选的运动信息可以被用作当前块的运动信息。
[0168]
作为另一示例，在对当前块应用(a)mvp模式时，解码装置可以构造要稍后描述的(a)mvp候选列表，并且可以使用从(a)mvp候选列表中包括的运动矢量预测子(mvp)候选之中选择的mvp候选的运动矢量作为当前块的mvp。可以基于上述选择信息(mvp标志或mvp索引)来执行选择。在这种情况下，可以基于关于mvd的信息来推导当前块的mvd，并且可以基于当前块的mvp和mvd来推导当前块的运动矢量。另外，可以基于参考图片索引信息来推导当前块的参考图片索引。可以将在用于当前块的参考图片列表中通过参考图片索引指示的图片推导为针对当前块的帧间预测所参考的参考图片。
[0169]
同时，如下所述，可以在不用构造候选列表的情况下推导当前块的运动信息，并且在这种情况下，可以根据要稍后描述的在预测模式下公开的过程来推导当前块的运动信息。在这种情况下，可以省略如上所述的候选列表配置。
[0170]
解码装置可以基于当前块的运动信息来生成当前块的预测样本(s1120)。在这种情况下，可以基于当前块的参考图片索引来推导参考图片，并且可以使用参考图片上的由当前块的运动矢量所指示的参考块的样本来推导当前块的预测样本。在这种情况下，如下所述，在一些情况下，可以针对当前块的所有或一些预测样本进一步执行预测样本滤波过程。
[0171]
例如，解码装置的帧间预测单元332可以包括预测模式确定器332_1、运动信息推导器332_2和预测样本推导器332_3，并且预测模式确定器332_1可以基于所接收到的预测模式信息来确定用于当前块的预测模式，运动信息推导器332_2可以基于所接收到的关于运动信息的信息来推导当前块的运动信息(运动矢量和/或参考图片索引等)，并且预测样本推导器332_3可以推导当前块的预测样本。
[0172]
解码装置基于所接收到的残差信息来生成用于当前块的残差样本(s1130)。解码装置可以基于预测样本和残差样本来生成用于当前块的重构样本，并且推导包括重构样本的重构块(s1140)。可以基于重构块来生成用于当前图片的重构图片。
[0173]
各种帧间预测模式可以被用于图片中的当前块的预测。例如，可以使用各种模式，诸如合并模式、跳过模式、运动矢量预测(mvp)模式、仿射模式、子块合并模式和与mvd合并(mmvd)模式等。还可以附加地或替代地使用解码器侧运动矢量细化(dmvr)模式、自适应运动矢量分辨率(amvr)模式、具有cu级权重的bi-预测(bcw)、双向光流(bdof)等作为附加模式。可以将仿射模式称作仿射运动预测模式。可以将mvp模式称为高级运动矢量预测(amvp)模式。在本文档中，可以包括一些模式和/或通过一些模式推导的运动信息候选作为其他模式的运动信息候选之一。例如，hmvp候选可以在合并/跳过模式下作为合并候选被添加或者可以在mvp模式中作为mvp候选被添加。
[0174]
可以将指示当前块的帧间预测模式的预测模式信息从编码装置用信号通知给解码装置。预测模式信息可以被包括在比特流中并且由解码装置接收。预测模式信息可以包
括指示多种候选模式之一的索引信息。可替选地，可以通过标志信息的层级信令来指示帧间预测模式。在这种情况下，预测模式信息可以包括一个或多个标志。例如，可以用信号通知跳过标志以指示是否应用跳过模式，并且如果不应用跳过模式，则可以用信号通知合并标志以指示是否应用合并模式，以及如果不应用合并模式，则指示要应用mvp模式或者可以进一步用信号通知用于附加分类的标志。可以在独立模式下用信号通知仿射模式或者可以在依赖于合并模式或mvp模式的模式下用信号通知仿射模式。例如，仿射模式可以包括仿射合并模式和仿射mvp模式。
[0175]
同时，可以在当前块中用信号通知指示是否在当前块(当前编译单元)中使用上述list0(l0)预测、list1(l1)预测或bi-预测的信息。该信息可以被称为运动预测方向信息、帧间预测方向信息或帧间预测指示信息，并且可以被以例如inter_pred_idc语法元素的形式配置/编码/用信号通知。也就是说，inter_pred_idc语法元素可以指示前述list0(l0)预测、list1(l1)预测或bi-预测是否被用于当前块(当前编译单元)。在本文档中，为了描述的方便，可以将通过inter_pred_idc语法元素指示的帧间预测类型(l0预测、l1预测或bi预测)指示为运动预测方向。可以将l0预测表示为pred_l0，将l1预测表示为pred_l1，并且将成对预测表示为pred_bi。例如，可以根据inter_pred_idc语法元素的值来确定以下预测类型。
[0176]
[表1]
[0177][0178]
如上所述，一个图片可以包括一个或多个切片。切片可以具有包括帧内(i)切片、预测(p)切片和双向预测(b)切片的切片类型之一。可以基于切片类型信息来指示切片类型。对于i切片中的块，可以不使用帧间预测进行预测，并且可以使用仅帧内预测。当然，即使在这种情况下，也可以在没有预测的情况下对原始样本值进行编译和用信号通知。可以针对p切片中的块使用帧内预测或帧间预测，并且可以在使用帧间预测时使用仅单向预测。同时，可以针对b切片中的块使用帧内预测或帧间预测，并且可以在使用帧间预测时使用高达双向预测。
[0179]
l0和l1可以包括在当前图片之前先前编码/解码的参考图片。例如，l0可以包括按poc顺序在当前图片之前和/或之后的参考图片，并且l1可以包括按poc顺序在当前图片之后和/或之前的参考图片。在这种情况下，l0可以相对于poc顺序中的先前参考图片被指配比当前图片低的参考图片索引，并且l1可以相对于poc顺序中的在后参考图片被指配比当前图片低的参考图片索引。在b切片的情况下，可以应用bi-预测，并且在这种情况下，可以应用单向bi-预测或者可以应用双向bi-预测。可以将双向bi-预测称作真bi-预测。
[0180]
如上所述，可以基于通过在编码阶段处的预测所推导的预测块(预测样本)来推导残差块(残差样本)，并且可以生成通过残差信息来变换/量化的残差样本。残差信息可以包
括关于量化变换系数的信息。残差信息可以被包括在视频/图像信息中，并且视频/图像信息可以被编码并以比特流的形式发送到解码装置。解码装置可以从比特流获得残差信息，并且可以基于残差信息来推导残差样本。具体地，解码装置可以基于残差信息来推导量化变换系数，并且可以通过解量化/逆变换过程来推导残差块(残差样本)。
[0181]
同时，可以省略(逆)变换和/或(解)量化的至少一个过程。
[0182]
在下文中，将描述针对重构图片执行的环路内滤波过程。可以通过环路内滤波过程来生成修改的重构样本、块、图片(或修改滤波的样本、块、图片)，并且修改的(修改且滤波的)重构图片可以在解码装置处作为解码图片被输出并且也可以被存储在编码装置/解码装置的解码图像缓冲器或存储器中以及在稍后对图片进行编码/解码时用作帧间预测过程中的参考图片。环路内滤波过程可以包括如上所述的去块滤波过程、样本自适应偏移(sao)过程和/或自适应环路滤波器(alf)过程。在这种情况下，去块滤波过程、样本自适应偏移(sao)过程、自适应环路滤波器(alf)过程和双边滤波器过程中的一个或一些可以被依次应用或者全部可以被依次应用。例如，可以在对重构图片应用去块滤波过程之后执行sao过程。或者，例如，可以在对重构图片应用去块滤波过程之后执行alf过程。还可以在编码装置中执行这个。
[0183]
去块滤波是去除重构图片中的块之间的边界处的失真的滤波技术。例如，去块滤波过程可以根据重构图片推导目标边界，确定目标边界的边界强度(bs)，并且基于bs来对目标边界执行去块滤波。可以基于与目标边界相邻的两个块的预测模式、运动矢量差、参考图片是否相同、是否存在非零有效系数等来确定bs。
[0184]
sao是用于在样本基础上补偿重构图片与原始图片之间的偏移差的方法。例如，可以基于诸如带偏移、边缘偏移等的类型来应用sao。根据sao，可以根据每种sao类型来将样本分类成不同类别，并且可以基于类别向每个样本添加偏移值。用于sao的滤波信息可以包括关于是否应用sao的信息、sao类型信息和sao偏移值信息。可以在应用去块滤波之后将sao应用于重构图片。
[0185]
自适应环路滤波器(alf)是用于根据滤波器形状基于滤波器系数在样本基础上对重构图片进行滤波的技术。编码装置可以通过比较重构图片和原始图片来确定是否应用alf、alf形状和/或alf滤波系数等并且可以用信号通知给解码设备。也就是说，用于alf的滤波信息可以包括关于是否应用alf的信息、alf滤波器形状信息、alf滤波系数信息等。可以在应用去块滤波之后将alf应用于重构图片。
[0186]
图13示出alf滤波器的形状的示例。
[0187]
图13的(a)示出7x7菱形滤波器的形状，图13的(b)示出5x5菱形滤波器的形状。在图13中，滤波器形状中的cn表示滤波器系数。当cn中的n相同时，这指示能够指配相同的滤波器系数。在本文档中，可以将根据alf的滤波器形状来指配滤波器系数的位置和/或单元称为滤波器抽头(filter tab)。在这种情况下，可以将一个滤波器系数指配给每个滤波器抽头，并且滤波器抽头的布置可以对应于滤波器形状。可以将位于滤波器形状的中心处的滤波器抽头称为中心滤波器抽头。可以将相同的滤波器系数指配给相同n值的存在于相对于中心滤波器抽头彼此对应的位置处的两个滤波器抽头。例如，在7x7菱形滤波器形状的情况下，包括25个滤波器抽头，并且由于以中心对称形式指配滤波器系数c0至c11，所以能够使用仅13个滤波器系数来将滤波器系数指配给25个滤波器抽头。另外，例如，在5x5菱形滤
波器形状的情况下，包括13个滤波器抽头，并且由于以中心对称形式分配滤波器系数c0至c5，所以能够使用仅7个滤波器系数来将滤波器系数分配给13个滤波器抽头。例如，为了减少关于用信号通知的滤波器系数的信息的数据量，(显式地)用信号通知针对7x7菱形滤波器形状的13个滤波器系数中的12个滤波器系数，并且能够(隐式地)推导1个滤波器系数。另外，例如，可以(显式地)用信号通知用于5x5菱形滤波器形状的7个滤波器系数中的6个系数并且可以(隐式地)推导1个滤波器系数。
[0188]
根据本公开的实施例，可以通过自适应参数集(aps)来用信号通知用于alf过程的alf参数。可以根据用于alf的滤波器信息或alf数据来推导alf参数。
[0189]
alf是一种可以在如上所述的视频/图像编译中应用的环路内滤波技术。可以使用基于维纳(wiener)的自适应滤波器来执行alf。这可以是为了使原始样本与解码样本(或重构样本)之间的均方误差(mse)最小化。针对alf工具的高级设计可以并入在sps和/或切片报头(或图块组报头)中可访问的语法元素。
[0190]
在示例中，在针对每个4x4亮度块的滤波之前，可以对取决于为块计算的梯度值的滤波器系数f(k,l)和相应滤波器限幅值c(k,l)应用诸如旋转或对角线和垂直翻转的几何变换。这相当于将这些变换应用于滤波器支持区域中的样本。创建对其应用alf的其他块可以类似于根据它们的方向性布置这些块。
[0191]
例如，可以基于以下等式来执行三种变换：对角线、垂直翻转和旋转。
[0192]
[等式1]
[0193]
对角线：f_d(k,l)＝f(l,k)，c_d(k,l)＝c(l,k)
[0194]
[等式2]
[0195]
垂直翻转：f_v(k,l)＝f(k,k-l-1)，c_v(k,l)＝c(k,k-l-1)
[0196]
[等式3]
[0197]
旋转：f_r(k,l)＝f(k-l-1,k)，c_r(k,l)＝c(k-l-1,k)
[0198]
在等式1至3中，k可以是滤波器的大小。0≤k和1≤k-1可以是系数坐标。例如，(0,0)可以是左上角坐标，并且/或者(k-1,k-1)可以是右下角坐标。可以在下表中概括变换与四个方向中的四个梯度之间的关系。
[0199]
[表2]
[0200]
梯度值变换g
d2
《g
d1
且gh《gv无变换g
d2
《g
d1
且gv《gh对角线g
d1
《g
d2
且gh《gv垂直翻转g
d1
《g
d2
且gv《gh旋转
[0201]
可以在aps和切片报头中用信号通知alf滤波器参数。在一个aps中，可以用信号通知最多25个亮度滤波器系数和限幅值索引。在一个aps中，可以用信号通知最多8个色度滤波器系数和限幅值索引。为了减少比特开销，可以合并用于亮度分量的不同分类的滤波器系数。在切片报头中，可以用信号通知用于当前切片的(由当前切片参考的)aps的索引。
[0202]
从aps解码的限幅值索引可以使得有可能使用限幅值的亮度表和限幅值的色度表来确定限幅值。这些限幅值可能取决于内部比特深度。更具体地，可以基于以下等式来推导限幅值的亮度表和限幅值的色度表。
[0203]
[等式4]
[0204]
alfclipl＝{round(2^(b(n-n 1)/n))对于n∈[1..n]}
[0205]
[等式5]
[0206]
alfclipc＝{round(2^((b-8) 8((n-n))/(n-1)))对于n∈[1..n]}
[0207]
在上述等式中，b可以是内部比特深度，并且n可以是允许限幅值的数目(预定数目)。例如，n可以是4。
[0208]
在切片报头中，可以用信号通知最多7个aps索引以指示用于当前切片的亮度滤波器集。可以在ctb级别处进一步控制滤波过程。例如，可以用信号通知指示是否对亮度ctb应用alf的标志。亮度ctb可以选择16个固定滤波器集和来自aps的滤波器集之一。可以针对亮度ctb用信号通知滤波器集索引以指示哪个滤波器集被应用。16个固定滤波器集可以被预定义和硬编译在编码器和解码器这两者中。
[0209]
对于色度分量，可以在切片报头中用信号通知aps索引以指示用于当前切片的色度滤波器集。在ctb级别处，当在aps中存在两个或更多个色度滤波器集时，可以针对每个色度ctb用信号通知滤波器索引。
[0210]
可以用128作为范数(norm)来量化滤波器系数。为了限制乘法复杂度，可以应用比特流一致性(bitstream conformance)，使得非中心位置的系数值可以从0到28变动并且/或者剩余位置的系数值可以在从-27到27-1的范围内。可以不在比特流中用信号通知中心位置系数并且可以将其预先确定(考虑)为128。
[0211]
当alf可用于当前块时，可以对每个样本r(i,j)进行滤波，并且滤波结果r'(i,j)可以由以下等式表示。
[0212]
[等式6]
[0213]r′
(i，j)＝r(i，j) ((∑
k≠0
∑
l≠0
f(k，l)
×
k(r(i k，j l)-r(i，j)，c(m)) 64)》7)
[0214]
在上述等式中，f(k,l)可以是解码滤波器系数，k(x,y)可以是限幅函数，并且c(k,l)可以是解码限幅参数。例如，变量k和/或l可以从-l/2到l/2变化。这里，l可以表示滤波器长度。限幅函数k(x,y)＝min(y,max(-y,x))可以对应于函数clip3(-y,y,x)。
[0215]
在示例中，为了减少alf的行缓冲器要求，可以针对与水平ctu边界相邻的样本应用修改的块分类和滤波。出于此目的，可以定义虚拟边界。
[0216]
图14是用于描述根据本公开的实施例的应用于滤波过程的虚拟边界的图。图15是图示根据本公开的实施例的使用虚拟边界的alf过程的示例的图。将结合图14描述图15。
[0217]
参考图14，虚拟边界可以是通过使水平ctu边界移位n个样本所定义的线。在一个示例中，对于亮度分量来说n可以是4，并且/或者对于色度分量来说n可以是2。
[0218]
在图14中，可以对亮度分量应用修改的块分类。对于虚拟边界上的4x4块的1d拉普拉斯梯度计算，可以使用仅虚拟边界上方的样本。类似地，为了计算虚拟边界下方的4x4块的1d拉普拉斯梯度，可以使用仅虚拟边界下方的样本。考虑到在1d拉普拉斯梯度计算中使用的样本数目减少，可以相应地缩放活性值a的量化。
[0219]
对于滤波过程，虚拟边界处的对称填充操作可以被用于亮度分量和色度分量。参考图15，当滤波的样本位于虚拟边界下方时，可以填充位于虚拟边界上方的邻近样本。同时，还可以对称地填充在另一侧上的相应样本。
[0220]
当没有滤波器跨边界启用时，参考图15描述的过程也可以被用于切片、分块
(brick)和/或图块的边界。对于alf块分类，可以使用仅包括在同一切片、分块和/或图块中的样本并且可以相应地缩放活性值。对于alf滤波，可以针对相对于水平边界和/或垂直边界的水平方向和/或垂直方向中的每个应用对称填充。
[0221]
图16是用于描述根据本公开的实施例的交叉分量自适应环路滤波(ccalf(cc-alf))过程的图。可以将ccalf过程称作交叉分量滤波过程。
[0222]
在一个方面中，alf过程可以包括一般alf过程和ccalf过程。也就是说，可以将ccalf过程称作alf过程的一些过程。在另一方面中，滤波过程可以包括去块过程、sao过程、alf过程和/或ccalf过程。
[0223]
cc-alf可以使用亮度样本值来细化每个色度分量。cc-alf由比特流的(图像)信息控制，并且图像信息可以包括(a)关于用于每个色度分量的滤波器系数的信息和(b)关于用于控制对样本的块的滤波器应用的掩码的信息。可以在aps处用信号通知滤波器系数，并且可以在切片级别处用信号通知块大小和掩码。
[0224]
参考图16，可以通过对用于每个色度分量的亮度通道应用线性菱形滤波器(图16的(b))来操作cc-alf。滤波器系数被发送到aps，被缩放210倍，并且向上舍入以获得定点表示。滤波器的应用可以在可变块大小处被控制并且通过针对每个样本的块所接收的上下文编译标志被用信号通知。可以针对每个色度分量在切片级别处接收块大小以及cc-alf启用标志。块大小(对于色度样本)可以是16x16、32x32、64x64或128x128。
[0225]
在以下实施例中，将提出基于重构亮度样本对通过alf滤波的重构色度样本进行重新滤波或修改的方法。
[0226]
本公开的实施例涉及cc-alf中的滤波器开/关传输和滤波器系数传输。如上所述，本公开中公开的语法表中的信息(语法元素)可以被包括在图像/视频信息中，可以在编码装置中被配置/编码，并且可以被以比特流的形式发送到解码装置。解码装置可以对相应语法表中的信息(语法元素)进行解析/解码。解码装置可以基于经解码的信息来执行图片/图像/视频解码过程(具体地，例如，cc-alf过程)。在下文中，这同样适用于其他示例。
[0227]
根据本公开的实施例，为了确定是否使用(应用)ccalf，序列参数集(sps)可以包括ccalf启用标志(sps_ccalf_enable_flag)。可以独立于用于确定是否使用(应用)alf的alf启用标志(sps_alf_enabled_flag)来发送ccalf启用标志。
[0228]
下表示出根据本实施例的sps的示例性语法。
[0229]
[表3]
[0230]
[0231]
[0232]
[0233][0234]
下表示出表中包括的cc-alf启用标志的示例性语义。cc-alf启用标志可以指示cc-alf是否被启用(可以与cc-alf是否被启用有关)。
[0235]
[表4]
[0236][0237]
在本实施例的另一示例中，当发送cc-alf启用标志时，可以如下表所示的那样确定用于chromaarraytype的条件。
[0238]
[表5]
[0239]
[0240]
[0241]
[0242][0243]
参考上表，当chromaarraytype不是0时，sps可以包括cc-alf启用标志。例如，当chromaarraytype不是0时，色度格式可以不是单色，并且在这种情况下，可以通过sps来发送ccalf启用标志。
[0244]
下表示出表中包括的cc-alf启用标志的示例性语义。
[0245]
[表6]
[0246][0247]
图像信息可以包括sps。sps可以包括与alf是否被启用有关的第一alf启用标志(sps_alf_enabled_flag)。例如，基于第一alf启用标志的值是1的确定，sps可以包括与交叉分量滤波是否被启用有关的ccalf启用标志。
[0248]
在本公开的实施例中，用于定义简档和级别的一般约束信息可以包括用于cc-alf的约束标志。在一个示例中，可以如在下表中一样表达一般约束信息的语法。
[0249]
[表7]
[0250][0251]
下表示出表中包括的cc-alf约束标志的示例性语义。
[0252]
[表8]
[0253]
[0254]
图像信息可以包括一般约束信息。例如，一般约束信息可以包括用于基于在sps中包括的ccalf启用标志的值来约束交叉分量滤波的ccalf约束标志。当ccalf约束标志的值是0时，可以不应用ccalf约束。具有1的值的ccalf约束标志可以指示在sps中包括的ccalf启用标志的值是0。
[0255]
根据本公开的实施例，能够以切片为单位添加slice_cross_component_alf_cb_enabled_flag标志以确定是否使用了cc-alf。可以在sps_ccalf_enabled_flag标志是1时发送slice_cross_component_alf_cb_enabled_flag标志。可替选地，可以在sps_ccalf_enabled_flag标志是1并且chromaarraytype不是0时发送slice_ccalf_enable_flag标志。
[0256]
例如，当slice_cross_component_alf_cb_enabled_flag标志值是1时，可以附加地发送语法slice_cross_component_alf_cb_reuse_temporal_layer_filter。当此语法值是0时，可以发送语法slice_cross_component_alf_cb_aps_id。可以发送针对用于cc-alf的块大小的slice_cross_component_alf_cb_log2_control_size_minus4语法。
[0257]
下表是根据上述实施例的切片报头信息的示例性语法。
[0258]
[表9]
[0259]
[0260]
[0261]
[0262][0263][0264]
下表是根据上述实施例的切片报头信息的示例性语法。
[0265]
[表10]
[0266]
[0267][0268][0269]
根据本公开的实施例，能够以切片为单位添加slice_ccalf_enable_flag标志以确定是否使用了cc-alf。在sps_ccalf_enabled_flag标志是1时，可以发送slice_ccalf_enable_flag标志。可替选地，在sps_ccalf_enabled_flag标志是1并且chromaarraytype不是0时，可以发送slice_ccalf_enable_flag标志。
[0270]
例如，当slice_ccalf_enable_flag标志值是1时，可以附加地发送slice_ccalf_chroma_idc语法和slice_ccalf_aps_id_chroma语法。slice_ccalf_chroma_idc语法指示cb或cr是否被应用，并且slice_ccalf_aps_id_chroma语法指示针对相应切片cc-alf所参考的aps id。
[0271]
下表示出根据本实施例的切片报头信息的语法。
[0272]
[表11]
[0273]
[0274]
[0275]
[0276][0277]
下表示出表中包括的语法元素的语义。
[0278]
[表12]
[0279]
[0280][0281]
可替选地，可以基于如下表所示的语义来描述上表中的语法元素slice_ccalf_chroma_idc。
[0282]
[表13]
[0283][0284]
根据本公开的实施例，可以在切片级别处在没有附加启用标志(或与其类似的信息)的情况下执行cc-alf。下表示出根据本实施例的切片报头信息的一些语法。
[0285]
[表14]
[0286][0287]
下表示出表中包括的语法元素的语义。
[0288]
[表15]
[0289][0290]
根据本公开的实施例，可以基于chromaarraytype的条件来在切片报头信息中包括语法元素slice_ccalf_chroma_idc。下表示出根据本实施例的切片报头信息的一些语法。
[0291]
[表16]
[0292][0293]
在示例中，报头信息(slice_header())包括与是否针对滤波的重构色度样本的cb颜色分量启用ccalf有关的第一标志(slice_cross_component_alf_cb_enabeld_flag或sh_cc_alf_cb_enabeld_flag)以及与ccalf是否可用于滤波的重构色度样本的cr颜色分量有关的第二标志(slice_cross_component_alf_cr_enabeld_flag或sh_cc_alf_cr_enabeld_flag)。
[0294]
在示例中，基于第一标志(slice_cross_component_alf_cb_enabeld_flag或sh_cc_alf_cb_enabeld_flag)的值是1的确定，报头信息可以包括与用于推导用于cb颜色分量的交叉分量滤波器系数的aps的标识符有关的信息(slice_cross_cb_aps_id_id或sh_cc_alf_cb_aps_id)。
[0295]
在一个示例中，基于第二标志(slice_cross_component_alf_cr_enabeld_flag或sh_cc_alf_cr_enabeld_flag)的值是1的确定，报头信息可以包括与用于推导用于cr颜色分量的交叉分量滤波器系数的aps的标识符有关的信息(slice_cross_component_id_cross_component_id_flag或sh_cc_alf_cr_aps_id)。
[0296]
根据本公开的实施例，可以通过aps来发送用于cc-alf的交叉分量滤波器系数。在一个示例中，可以定义用于cc-alf的aps。
[0297]
下表示出根据本实施例的aps的示例性语法。
[0298]
[表17]
[0299][0300]
在上表中，可以将alf_data()称作一般alf数据，并且可以将ccalf_data()称作ccalf数据。alf数据可以包括一般alf数据和/或ccalf数据。在一个示例中，alf数据可以与ccalf数据相同。在另一示例中，alf数据可以与ccalf数据不同。
[0301]
下表示出表中包括的语法元素的语义。
[0302]
[表18]
[0303][0304]
根据本公开的实施例的alf数据可以用如下表所示的语法来表达。
[0305]
[表19]
[0306][0307]
可以如下表所示表达表中包括的语法元素的语义。
[0308]
[表20]
[0309]
[0310][0311]
[0312][0313]
在另一示例中，可以如下表所示的那样表达与alf数据有关的语法。
[0314]
[表21]
[0315][0316]
表中包括的语法元素的语义可以如下表所示。
[0317]
[表22]
[0318]
[0319][0320]
在表中，可以将用于解析alf_cross_component_cb_coeff_abs[j]和alf_cross_component_cr_coeff_abs[j]语法的exp-golomb二值化的阶数定义为值0至9之一。
[0321]
在另一示例中，可以如下表所示的那样表达与alf数据有关的语法。
[0322]
[表23]
[0323][0324]
在表中，可以将与滤波器系数的绝对值有关的信息和/或与滤波器系数的符号有关的信息表达为二次矢量、二次矩阵或二次数组(例如，alf_cross_component_cb_coeff_abs[altidx][j]、alf_cross_component_cb_coeff_sign[altidx][j]、alf_cross_component_cr_coeff_abs[altidx][j]、alf_cross_component_cr_coeff_sign[altidx][j])。在示例中，可以将关于滤波器的数目的信息、与滤波器系数的绝对值有关的信息、和/或与滤波器系数的符号有关的信息包括在一般alf数据中。
[0325]
表中包括的语法元素的语义可以如下表所示。
[0326]
[表24]
[0327]
[0328][0329]
可以将用于解析alf_cross_component_cb_coeff_abs[j]和alf_cross_component_cr_coeff_abs[j]语法的exp-golomb二值化的阶数定义为值0至9之一。
[0330]
可以将交叉分量滤波器系数称作ccalf滤波器系数。交叉分量滤波器系数可以包括用于cb颜色分量的交叉分量滤波器系数和用于cr颜色分量的交叉分量滤波器系数。关于用于cb颜色分量(cr颜色分量)的交叉分量滤波器系数的值的信息可以包括关于用于cb颜色分量(cr颜色分量)的交叉分量滤波器系数的值的信息和/或关于用于cb颜色分量(cr颜色分量)的交叉分量滤波器系数的符号的信息。
[0331]
在一个示例中，在用于推导用于cb颜色分量的交叉分量滤波器系数的aps中包括的alf数据可以包括与是否用信号通知用于cb颜色分量的交叉分量滤波器有关的cb滤波器信号标志(alf_cross_component_cb_filter_signal_flag或alf_cc_cb_filter_signal_flag)。基于cb滤波器信号标志，在用于推导用于cb颜色分量的交叉分量滤波器系数的aps中包括的alf数据可以包括与用于cb颜色分量的交叉分量滤波器的数目有关的信息(ccalf_cb_num_alt_filters_minus1或alf_cc_cb_filters_signalled_minus1)。基于与用于cb颜色分量的交叉分量滤波器的数目有关的信息，在用于推导用于cb颜色分量的交叉分量滤波器系数的aps中包括的alf数据可以包括关于用于cb颜色分量的交叉分量滤波器系数的绝对值的信息(alf_cross_component_cb_coeff_abs或alf_cc_cb_mapped_coeff_abs)和关于用于cb颜色分量的交叉分量滤波器系数的符号的信息(alf_cross_component_cb_coeff_sign或alf_cc_cb_coeff_sign)。可以基于关于用于cb颜色分量的交叉分量滤波器系数的绝对值的信息和关于用于cb颜色分量的交叉分量滤波器系数的符号的信息来推导用于cb颜色分量的交叉分量滤波器系数(ccalfcoeff或ccalfapscoeff)。例如，与用于cb颜色分量的交叉分量滤波器的数目有关的信息可以是零阶指数哥伦布(第0eg、ue(v)或ue(k))编译的。
[0332]
在一个示例中，在用于推导用于cr颜色分量的交叉分量滤波器系数的aps中包括的alf数据可以包括与是否用信号通知用于cr颜色分量的交叉分量滤波器有关的cr滤波器信号标志(alf_cross_component_cr_filter_signal_flag或alf_cc_cr_filter_signal_flag)。基于cr滤波器信号标志，在用于推导用于cr颜色分量的交叉分量滤波器系数的aps中包括的alf数据可以包括与用于cr颜色分量的交叉分量滤波器的数目有关的信息(ccalf_cr_num_alt_filters_minus1或alf_cc_cr_filters_signalled_minus1)。基于与用于cr颜色分量的交叉分量滤波器的数目有关的信息，在用于推导用于cr颜色分量的交叉分量滤波器系数的aps中包括的alf数据可以包括关于用于cr颜色分量的交叉分量滤波器系数的绝对值的信息(alf_cross_component_cr_coeff_abs或alf_cc_cr_mapped_coeff_
abs)和关于用于cr颜色分量的交叉分量滤波器系数的符号的信息(alf_cross_component_cr_coeff_sign或alf_cc_cr_coeff_sign)。可以基于关于用于cr颜色分量的交叉分量滤波器系数的绝对值的信息和关于用于cr颜色分量的交叉分量滤波器系数的符号的信息来推导用于cr颜色分量的交叉分量滤波器系数(ccalfcoeff或ccalfapscoeff)。例如，与用于cr颜色分量的交叉分量滤波器的数目有关的信息可以是零阶指数哥伦布(第0eg、ue(v)或ue(k))编译的。
[0333]
根据本公开的实施例，能够以ctu(块)为单位发送cc-alf相关信息以控制cc-alf的滤波器开/关。
[0334]
下表示出根据本实施例的编译树单元的示例性语法。
[0335]
[表25]
[0336][0337]
下表示出表中包括的语法元素的示例性语义。
[0338]
[表26]
[0339][0340]
在本实施例的另一示例中，可以将有关编译树单元的语法表达为下表。
[0341]
[表27]
[0342]
[0343][0344]
下表示出表中包括的语法元素的示例性语义。
[0345]
[表28]
[0346][0347]
在示例中，图像信息可以包括关于编译树单元的信息(coding_tree_unit())。关于编译树单元的信息可以包括关于是否对cb颜色分量的当前块应用交叉分量滤波器的信息(ccalf_ctb_flag[0])和/或关于是否对cr颜色分量的当前块应用交叉分量滤波器的信息(ccalf_ctb_flag[1])。另外，关于编译树单元的信息可以包括关于应用于cb颜色分量的当前块的交叉分量滤波器的滤波器集索引的信息(ccalf_ctb_filter_alt_idx[0])和/或关于应用于cr颜色分量的当前块的交叉分量滤波器的滤波器集索引的信息(ccalf_ctb_filter_alt_idx[1])。
[0348]
图17和图18是示意性地图示根据本公开的实施例的视频/图像编码方法和相关组件的示例的图。
[0349]
图17中公开的方法可以由图2或图18中公开的编码装置执行。具体地，例如，图17的s1700至s1730可以由图18的编码装置的残差处理器230执行，图17的s1740可以由图18的编码装置的加法器250执行，图17的s1750可以由图18的编码装置的滤波器260执行，并且图17的s1760可以由图18的编码装置的熵编码器240执行。另外，虽然在图17中未示出，但是预测样本或预测相关信息可以由图17的编码装置的预测器220推导，并且可以由编码装置的熵编码器240根据残差信息或预测相关信息生成比特流。图17中公开的方法可以包括以上在本公开中描述的实施例。
[0350]
参考图17，编码装置可以生成残差样本(s1700)。编码装置可以生成用于当前块的残差样本，并且可以基于当前块的原始样本和预测样本来生成当前块的残差样本。具体地，
编码装置可以基于预测模式来生成当前块的预测样本。在这种情况下，可以应用本公开中公开的各种预测方法，诸如帧间预测或帧内预测。可以基于预测样本和原始样本来生成残差样本。
[0351]
在一个示例中，编码装置可以生成残差亮度样本。可以基于原始亮度样本和预测亮度样本来生成残差亮度样本。在一个示例中，编码装置可以生成残差色度样本。可以基于原始色度样本和预测色度样本来生成残差色度样本。
[0352]
编码装置可以推导变换系数(s1710)。编码装置可以基于用于残差样本的变换过程来推导变换系数。编码装置可以推导用于残差亮度样本的变换系数(亮度变换系数)和/或用于残差色度样本的变换系数(色度变换系数)。例如，变换过程可以包括dct、dst、gbt或cnt中的至少一个。
[0353]
编码装置可以推导量化变换系数(s1720)。编码装置可以基于用于变换系数的量化过程来推导量化变换系数。量化变换系数可以具有基于系数扫描顺序的一维矢量形式。量化变换系数可以包括量化亮度变换系数和/或量化色度变换系数。
[0354]
编码装置可以生成残差信息(s1730)。编码装置可以生成指示(包括)量化变换系数的残差信息。可以通过诸如指数哥伦布(exponential golomb)、cavlc、cabac等的各种编码方法来生成残差信息。
[0355]
编码装置可以生成重构样本(s1740)。重构样本可以包括重构亮度样本和/或重构色度样本。编码装置可以基于残差信息来生成重构样本。可以通过向预测样本添加基于残差信息的残差样本来生成重构样本。具体地，编码装置可以对当前块执行预测(帧内预测或帧间预测)，并且基于原始样本和根据预测生成的预测样本来生成重构样本。
[0356]
编码装置可以针对重构样本生成alf相关信息和/或ccalf(cc-alf)相关信息(s1750)。编码装置可以生成用于重构样本的alf相关信息。编码装置推导可以被应用以便对重构样本进行滤波的alf相关参数，并且生成alf相关信息。例如，alf相关信息可以包括以上在本公开中描述的alf相关信息。编码装置可以针对重构样本之中的重构色度样本生成ccalf相关信息。
[0357]
编码装置可以对视频/图像信息进行编码(s1760)。图像信息可以包括残差信息、alf相关信息和/或ccalf相关信息。能够以比特流的形式输出编码视频/图像信息。可以通过网络或存储介质将比特流发送到解码装置。
[0358]
在一个示例中，ccalf相关信息可以包括ccalf启用标志、与是否针对cb(或cr)颜色分量启用ccalf有关的标志、与是否用信号通知用于cb(或cr)颜色分量的交叉分量滤波器相关联的cb(或cr)滤波器信号标志、与用于cb(或cr)颜色分量的交叉分量滤波器的数目有关的信息、关于用于cb(或cr)颜色分量的交叉分量滤波器系数的值的信息、关于用于cb(或cr)颜色分量的交叉分量滤波器系数的绝对值的信息、关于用于cb(或cr)颜色分量的交叉分量滤波器系数的符号的信息、和/或关于是否对在关于编译树单元的信息(编译树单元语法)中的cb(或cr)颜色分量的当前块应用交叉分量滤波器的信息。
[0359]
图像/视频信息可以包括根据本公开的实施例的各条信息。例如，图像/视频信息可以包括在上述表1至表28中的至少一个中公开的信息。
[0360]
在实施例中，图像信息可以包括报头信息和自适应参数集(aps)。报头信息可以是切片报头信息。报头信息可以包括与包括alf数据的aps的标识符有关的信息。例如，可以基
于alf数据来推导交叉分量滤波器系数。
[0361]
在实施例中，图像信息可以包括序列参数集(sps)。sps可以包括与交叉分量滤波是否被启用有关的交叉分量自适应环路滤波器(ccalf)启用标志。
[0362]
在实施例中，图像信息可以包括一般约束信息。例如，一般约束信息可以包括用于基于在sps中包括的ccalf启用标志的值来约束交叉分量滤波的ccalf约束标志。当ccalf约束标志的值是0时，可以不应用ccalf约束。具有值为1的ccalf约束标志可以指示包括在sps中的ccalf启用标志的值是0。
[0363]
在实施例中，报头信息可以包括：与是否针对滤波的重构色度样本的cb颜色分量启用ccalf有关的第一标志、以及与是否针对滤波的重构色度样本的cr颜色分量启用ccalf有关的第二标志。
[0364]
在实施例中，基于第一标志的值是1的确定，报头信息可以包括与用于推导用于cb颜色分量的交叉分量滤波器系数的aps的标识符有关的信息。
[0365]
在示例中，在用于推导用于cb颜色分量的交叉分量滤波器系数的aps中包括的alf数据可以包括与是否用信号通知用于cb颜色分量的交叉分量滤波器有关的cb滤波器信号标志。基于cb滤波器信号标志，在用于推导用于cb颜色分量的交叉分量滤波器系数的aps中包括的alf数据可以包括与用于cb颜色分量的交叉分量滤波器的数目有关的信息。基于与用于cb颜色分量的交叉分量滤波器的数目有关的信息，在用于推导用于cb颜色分量的交叉分量滤波器系数的aps中包括的alf数据可以包括关于用于cb颜色分量的交叉分量滤波器系数的绝对值的信息和关于用于cb颜色分量的交叉分量滤波器系数的符号的信息。可以基于关于用于cb颜色分量的交叉分量滤波器系数的绝对值的信息和关于用于cb颜色分量的交叉分量滤波器系数的符号的信息来推导用于cb颜色分量的交叉分量滤波器系数。
[0366]
在实施例中，与用于cb颜色分量的交叉分量滤波器的数目有关的信息可以是零阶指数哥伦布(第0eg)编译的。
[0367]
在示例中，图像信息可以包括关于编译树单元的信息。关于编译树单元的信息可以包括关于是否对cb颜色分量的当前块应用交叉分量滤波器的信息和/或关于是否对cr颜色分量的当前块应用交叉分量滤波器的信息。
[0368]
在实施例中，关于编译树单元的信息可以包括关于应用于cb颜色分量的当前块的交叉分量滤波器的滤波器集索引的信息和/或关于应用于cr颜色分量的当前块的交叉分量滤波器的滤波器集索引的信息。
[0369]
图19和图20是示意性地图示根据本公开的实施例的视频/图像解码方法和相关组件的示例的图。
[0370]
图19中公开的方法可以由图3或图20中公开的解码装置执行。具体地，例如，图19的s1900可以由解码装置的熵解码器310执行，s1910至s1930可以由解码装置的残差处理器320执行，s1940可以由解码装置的加法器340执行，并且s1950至s1980可以由解码装置的滤波单元350执行。图19中公开的方法可以包括以上在本公开中描述的实施例。
[0371]
参考图19，解码装置可以接收/获得视频/图像信息(s1900)。视频/图像信息可以包括残差信息。解码装置可以通过比特流来接收/获得图像/视频信息。在一个示例中，视频/图像信息还可以包括ccal相关信息。例如，ccalf相关信息可以包括ccalf启用标志、与是否针对cb(或cr)颜色分量启用ccalf有关的标志、与是否用信号通知用于cb(或cr)颜色
分量的交叉分量滤波器相关联的cb(或cr)滤波器信号标志、与用于cb(或cr)颜色分量的交叉分量滤波器的数目有关的信息、关于用于cb(或cr)颜色分量的交叉分量滤波器系数的值的信息、关于用于cb(或cr)颜色分量的交叉分量滤波器系数的绝对值的信息、关于用于cb(或cr)颜色分量的交叉分量滤波器系数的符号的信息、和/或关于是否对在关于编译树单元的信息(编译树单元语法)中的cb(或cr)颜色分量的当前块应用交叉分量滤波器的信息。
[0372]
图像/视频信息可以包括根据本公开的实施例的各条信息。例如，图像/视频信息可以包括在上述表1至表28中的至少一个中公开的信息。
[0373]
解码装置可以推导量化变换系数(s1910)。解码装置可以基于残差信息来推导量化变换系数。量化变换系数可以具有基于系数扫描顺序的一维矢量形式。
[0374]
解码装置可以推导变换系数(s1920)。解码装置可以基于用于量化变换系数的解量化过程来推导变换系数。
[0375]
解码装置可以生成/推导残差样本(s1930)。解码装置可以基于用于变换系数的逆变换过程来推导残差样本。
[0376]
解码装置可以生成/推导重构样本(s1940)。解码装置可以基于残差样本来生成重构样本。重构样本可以包括重构亮度样本和/或重构色度样本。重构样本的亮度分量可以对应于重构亮度样本，并且重构样本的色度分量可以对应于重构色度样本。
[0377]
解码装置可以推导用于重构色度样本的alf过程的alf滤波器系数(s1950)。另外，解码装置可以推导用于重构亮度样本的alf过程的alf滤波器系数。可以基于在aps中的alf数据中包括的alf参数来推导alf滤波器系数。
[0378]
解码装置可以生成滤波的重构色度样本(s1960)。解码装置可以基于重构色度样本和alf滤波器系数来生成滤波的重构样本。
[0379]
解码装置可以推导用于交叉分量滤波的交叉分量滤波器系数(s1970)。可以基于包括在上述aps中的alf数据中的ccalf相关信息来推导交叉分量滤波器系数，并且相应aps的标识符(id)信息可以被包括在切片报头中(并且通过切片报头用信号通知)。
[0380]
解码装置可以生成修改滤波的重构色度样本(s1980)。解码装置可以基于重构亮度样本、滤波的重构色度样本和交叉分量滤波器系数来生成修改滤波的重构色度样本。在示例中，解码装置可以推导两个重构亮度样本之间的差，并且将该差乘以交叉分量滤波器系数之一的滤波器系数。基于乘法的结果和滤波的重构色度样本，解码装置可以生成修改滤波的重构色度样本。例如，解码装置可以基于乘法与滤波的重构色度样本之一之间的和来生成修改滤波的重构色度样本。
[0381]
在实施例中，图像信息可以包括报头信息和自适应参数集(aps)。头信息可以是切片报头信息。报头信息可以包括与包括alf数据的aps的标识符有关的信息。例如，可以基于alf数据来推导交叉分量滤波器系数。alf数据可以是一般alf数据或ccalf数据。
[0382]
在实施例中，图像信息可以包括sps。sps可以包括与是否启用交叉分量滤波有关的ccalf启用标志。
[0383]
在实施例中，图像信息可以包括一般约束信息。例如，一般约束信息可以包括用于基于在sps中包括的ccalf启用标志的值来约束交叉分量滤波的ccalf约束标志。当ccalf约束标志的值是0时，可以不应用ccalf约束。具有值为1的ccalf约束标志可以指示在sps中包括的ccalf启用标志的值是0。
[0384]
在实施例中，报头信息可以包括：与是否针对滤波的重构色度样本的cb颜色分量启用ccalf有关的第一标志、以及与是否针对滤波的重构色度样本的cr颜色分量启用ccalf有关的第二标志。
[0385]
在实施例中，基于第一标志的值是1的确定，报头信息可以包括与用于推导用于cb颜色分量的交叉分量滤波器系数的aps的标识符有关的信息。
[0386]
在示例中，在用于推导用于cb颜色分量的交叉分量滤波器系数的aps中包括的alf数据可以包括与是否用信号通知用于cb颜色分量的交叉分量滤波器有关的cb滤波器信号标志。基于cb滤波器信号标志，在用于推导用于cb颜色分量的交叉分量滤波器系数的aps中包括的alf数据可以包括与用于cb颜色分量的交叉分量滤波器的数目有关的信息。基于与用于cb颜色分量的交叉分量滤波器的数目有关的信息，在用于推导用于cb颜色分量的交叉分量滤波器系数的aps中包括的alf数据可以包括关于用于cb颜色分量的交叉分量滤波器系数的绝对值的信息和关于用于cb颜色分量的交叉分量滤波器系数的符号的信息。可以基于关于用于cb颜色分量的交叉分量滤波器系数的绝对值的信息和关于用于cb颜色分量的交叉分量滤波器系数的符号的信息来推导用于cb颜色分量的交叉分量滤波器系数。
[0387]
在实施例中，与用于cb颜色分量的交叉分量滤波器的数目有关的信息可以是零阶指数哥伦布(第0eg)编译的。
[0388]
在示例中，在用于推导用于cr颜色分量的交叉分量滤波器系数的aps中包括的alf数据可以包括与是否用信号通知用于cr颜色分量的交叉分量滤波器有关的cr滤波器信号标志。基于cr滤波器信号标志，在用于推导用于cr颜色分量的交叉分量滤波器系数的aps中包括的alf数据可以包括与用于cr颜色分量的交叉分量滤波器的数目有关的信息。基于与用于cr颜色分量的交叉分量滤波器的数目有关的信息，在用于推导用于cr颜色分量的交叉分量滤波器系数的aps中包括的alf数据可以包括关于用于cr颜色分量的交叉分量滤波器系数的绝对值的信息和关于用于cr颜色分量的交叉分量滤波器系数的符号的信息。可以基于关于用于cr颜色分量的交叉分量滤波器系数的绝对值的信息和关于用于cr颜色分量的交叉分量滤波器系数的符号的信息来推导用于cr颜色分量的交叉分量滤波器系数。
[0389]
在实施例中，与用于cr颜色分量的交叉分量滤波器的数目有关的信息可以是零阶指数哥伦布(第0eg)编译的。
[0390]
在实施例中，图像信息可以包括关于编译树单元的信息。关于编译树单元的信息可以包括关于是否对cb颜色分量的当前块应用交叉分量滤波器的信息和/或关于是否对cr颜色分量的当前块应用交叉分量滤波器的信息。
[0391]
在实施例中，关于编译树单元的信息可以包括关于应用于cb颜色分量的当前块的交叉分量滤波器的滤波器集索引的信息和/或关于应用于cr颜色分量的当前块的交叉分量滤波器的滤波器集索引的信息。
[0392]
在存在针对当前块的残差样本的情况下，解码装置可以接收关于针对当前块的残差的信息。关于残差的信息可以包括针对残差样本的变换系数。解码装置可以基于残差信息来推导针对当前块的残差样本(或残差样本阵列)。具体地，解码装置可以基于残差信息来推导量化的变换系数。量化的变换系数可以具有基于系数扫描次序的一维矢量形式。解码装置可以基于针对量化的变换系数的解量化处理来推导变换系数。解码装置可以基于变换系数来推导残差样本。
[0393]
解码装置可以基于(帧内)预测样本和残差样本来生成重构样本，并且可以基于重构样本来推导重构块或重构图片。具体地，解码装置可以基于(帧内)预测样本与残差样本之和来生成重构样本。此后，如上所述，如果需要，则解码装置可以对重构图片应用环路滤波处理(例如，去块滤波和/或sao处理)，以提高主观/客观图片质量。
[0394]
例如，解码装置可以通过对比特流或编码的信息进行解码来获得包括所有或一些上述信息(或语法元素)的图像信息。此外，比特流或编码的信息可以存储在计算机可读存储介质中，或者可以使上述解码方法被执行。
[0395]
在上述实施例中，基于具有一系列步骤或框的流程图来描述方法。本公开不限于上述步骤或框的次序。一些步骤或框可以与如上所述的其它步骤或框同时发生或以与如上所述的其它步骤或框不同的次序发生。此外，本领域技术人员将理解，上述流程图所示的步骤并非排他性的，可以包括另外的步骤，或者可以删除流程图中的一个或更多个步骤，而不影响本文档的范围。
[0396]
根据本文档的上述实施例的所述方法可以以软件形式实现，并且可以将根据本文档的编码装置和/或解码装置例如包括在tv、计算机、智能电话、机顶盒和显示设备等的执行图像处理的设备中。
[0397]
当本文档中的实施例以软件实现时，上述方法可以实现为执行上述功能的模块(处理、功能等)。模块可以被存储在存储器中并由处理器执行。存储器可以在处理器内部或外部并且可以通过各种公知手段联接至处理器。处理器可以包括专用集成电路(asic)、其它芯片组、逻辑电路和/或数据处理设备。存储器可以包括只读存储器(rom)、随机存取存储器(ram)、闪存、存储卡、存储介质和/或其它存储设备。也就是说，可以在处理器、微处理器、控制器或芯片上实现并执行本文档中描述的实施例。例如，可以在计算机、处理器、微处理器、控制器或芯片上实现并执行每个附图中示出的功能单元。在这种情况下，可以在数字存储介质中存储关于针对实现方式的指令或算法的信息。
[0398]
另外，应用本文档的解码装置和编码装置可以被包括在多媒体广播发送/接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监控摄像头、视频聊天装置、诸如视频通信的实时通信装置、移动流传输装置、存储介质、摄像机、vod服务提供装置、过顶(ott)视频装置、互联网流传输服务提供装置、三维(3d)视频装置、电话会议视频装置、交通用户设备(即，车载用户设备、飞机用户设备、船舶用户设备等)和医疗视频装置中，并且可以用于处理视频信号和数据信号。例如，过顶(ott)视频装置可以包括游戏机、蓝光播放器、互联网接入电视、家庭影院系统、智能电话、平板电脑、数字视频录像机(dvr)等。
[0399]
此外，应用本文档的处理方法可以以由计算机执行的程序的形式产生并且可以被存储在计算机可读记录介质中。也可以将具有根据本公开的数据结构的多媒体数据存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机系统可读的数据的所有种类的存储设备。例如，计算机可读记录介质可以包括bd、通用串行总线(usb)、rom、prom、eprom、eeprom、ram、cd-rom、磁带、软盘和光学数据存储设备。此外，计算机可读记录介质包括以载波(即，通过互联网的传输)的形式实现的介质。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中或者可以通过有线或无线通信网络来发送。
[0400]
另外，可以利用根据程序代码的计算机程序产品来实现本文档的实施例，并且可以按照本文档的实施例在计算机中执行程序代码。可以将程序代码存储在计算机可读的载
体上。
[0401]
图21表示可以应用本文档的实施例的内容流传输系统的示例。
[0402]
参考图21，应用本文档的实施例的内容流传输系统可以通常包括编码服务器、流传输服务器、web服务器、媒体存储、用户设备和多媒体输入设备。
[0403]
编码服务器将从多媒体输入设备(例如，智能电话、相机、摄像机等)输入的内容压缩为数字数据，以生成比特流，并且将该比特流发送至流传输服务器。作为另一示例，在诸如智能电话、相机、摄像机等的多媒体输入设备直接生成比特流时，可以省略编码服务器。
[0404]
可以通过应用本公开的实施例的编码方法或比特流生成方法来生成比特流，并且流传输服务器可以在发送或接收比特流的处理中暂时存储比特流。
[0405]
流传输服务器基于用户的请求通过web服务器向用户设备发送多媒体数据，该web服务器充当向用户通知服务的介质。当用户从web服务器请求期望的服务时，web服务器将请求传递至流传输服务器，并且流传输服务器将多媒体数据发送至用户。在这种情况下，内容流传输系统可以包括单独的控制服务器。在这种情况下，控制服务器用来控制内容流传输系统中的设备之间的命令/响应。
[0406]
流传输服务器可以从媒体存储和/或编码服务器接收内容。例如，在从编码服务器接收到内容时，可以实时地接收内容。在这种情况下，为了提供流畅的流传输服务，流传输服务器可以将比特流存储预定时间。
[0407]
用户设备的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航、板式pc、平板pc、超极本、可穿戴设备(例如，智能手表、智能眼镜、头戴式显示器)、数字tv、台式计算机、数字标牌等。可以将内容流传输系统中的每个服务器作为分布式服务器操作，并且在这种情况下，从每个服务器接收到的数据可以被分发。
[0408]
可以将内容流传输系统中的每个服务器作为分布式服务器操作，并且在这种情况下，可以以分布式方式处理从每个服务器接收到的数据。
[0409]
本文所述的权利要求可以以各种方式组合。例如，可以将本文档的方法权利要求的技术特征组合并实现为装置，也可以将本文档的装置权利要求的技术特征组合并实现为方法。另外，本文档的方法权利要求的技术特征和装置权利要求的技术特征可以组合以实现为装置，并且本文档的方法权利要求的技术特征和装置权利要求的技术特征可以组合并实现为方法。