基于亮度映射的视频或图像编码的制作方法

1.本文献的技术涉及基于亮度映射的视频或图像编码。


背景技术：

2.最近，在各种领域中对诸如4k或8k或更高的超高清(uhd)图像/视频的高分辨率、高质量图像/视频的需求已增加。随着图像/视频数据具有高分辨率和高质量，要发送的信息量或比特量相对于现有图像/视频数据增加，因此，使用诸如现有有线/无线宽带线路或现有存储介质的介质发送图像数据或者使用现有存储介质存储图像/视频数据增加了传输成本和存储成本。
3.另外，对诸如虚拟现实(vr)和人工现实(ar)内容或全息图的沉浸式媒体的兴趣和需求最近已增加，并且具有与现实图像不同的特性的图像/视频(例如，游戏图像)的广播已增加。
4.因此，需要非常高效的图像/视频压缩技术来有效地压缩、发送、存储和再现具有如上所述的各种特性的高分辨率、高质量图像/视频的信息。
5.另外，执行亮度映射与色度缩放(lmcs)处理以改进压缩效率并增加主观/客观视觉质量，并且对降低lmcs处理中的计算复杂度进行了讨论。


技术实现要素：

6.技术方案
7.根据本文献的实施方式，提供了一种用于增加图像编码效率的方法和设备。
8.根据本文献的实施方式，提供了高效滤波应用方法和设备。
9.根据本文献的实施方式，提供了高效lmcs应用方法和设备。
10.根据本文献的实施方式，可约束lmcs码字(或其范围)。
11.根据本文献的实施方式，可使用在lmcs的色度缩放中直接用信号通知的单个色度残差缩放因子。
12.根据本文献的实施方式，可使用线性映射(线性lmcs)。
13.根据本文献的实施方式，可明确地用信号通知关于线性映射所需的枢轴点的信息。
14.根据本文献的实施方式，灵活数量的仓(bin)可用于亮度映射。
15.根据本文献的实施方式，用于反向亮度映射和/或色度残差缩放的索引推导过程可简化。
16.根据本文献的实施方式，即使当一个编码树单元(ctu)中的亮度块和色度块具有单独的块树结构(双树结构)时，也可应用lmcs过程。
17.根据本文献的实施方式，可限制lmcs aps的数量。
18.根据本文献的实施方式，提供了一种由解码设备执行的视频/图像解码方法。
19.根据本文献的实施方式，提供了一种用于执行视频/图像解码的解码设备。
20.根据本文献的实施方式，提供了一种由编码设备执行的视频/图像编码方法。
21.根据本文献的实施方式，提供了一种用于执行视频/图像编码的编码设备。
22.根据本文献的一个实施方式，提供了一种计算机可读数字存储介质，其中存储有根据本文献的至少一个实施方式中公开的视频/图像编码方法生成的编码的视频/图像信息。
23.根据本文献的实施方式，提供了一种计算机可读数字存储介质，其中存储有使得解码设备执行本文献的至少一个实施方式中公开的视频/图像解码方法的编码的信息或编码的视频/图像信息。
24.有益效果
25.根据本文献的实施方式，总图像/视频压缩效率可改进。
26.根据本文献的实施方式，可通过高效滤波改进主观/客观视觉质量。
27.根据本文献的实施方式，可高效地执行用于图像/视频编码的lmcs处理。
28.根据本文献的实施方式，可使lmcs处理所需的(软件或硬件的)资源/成本最小化。
29.根据本文献的实施方式，可方便lmcs处理的硬件实现。
30.根据本文献的实施方式，可通过约束lmcs码字(或其范围)来去除或最小化在映射(整形)中lmcs码字的推导所需的除法运算。
31.根据本文献的实施方式，可使用单个色度残差缩放因子来去除根据分段索引标识的延迟。
32.根据本文献的实施方式，可使用lmcs中的线性映射来执行色度残差缩放处理而无需依赖于亮度块(的重构)，因此可去除缩放中的延迟。
33.根据本文献的实施方式，lmcs中的映射效率可增加。
34.根据本文献的实施方式，通过简化用于反向亮度映射和/或色度残差缩放的索引推导过程，lmcs的复杂度可降低，因此视频/图像编码效率可增加。
35.根据本文献的实施方式，甚至对具有双树结构的块也可执行lmcs过程，因此lmcs的效率可增加。此外，具有双树结构的块的编码性能(例如，客观/主观图像质量)可改进。
36.根据本文献的实施方式，由于lmcs aps的数量受到限制，所以lmcs的复杂度可降低，并且lmcs可消耗(使用)更少的资源(例如，存储器)。
附图说明
37.图1示出可应用本文献的实施方式的视频/图像编码系统的示例。
38.图2是示意性地示出可应用本文献的实施方式的视频/图像编码设备的配置的图。
39.图3是示意性地示出可应用本文献的实施方式的视频/图像解码设备的配置的图。
40.图4示例性地示出编码图像/视频的分层结构。
41.图5示例性地示出根据本文献的实施方式的cvs的分层结构。
42.图6示例性地示出根据本文献的实施方式的cvs的分层结构。
43.图7示例性地示出根据本文献的另一实施方式的cvs的分层结构。
44.图8示出根据本文献的实施方式的示例性lmcs结构。
45.图9示出根据本文献的另一实施方式的lmcs结构。
46.图10示出表示示例性前向映射的曲线图。
47.图11是示出根据本文献的实施方式的推导色度残差缩放索引的方法的流程图。
48.图12示出根据本文献的实施方式的枢轴点的线性拟合。
49.图13示出根据本文献的实施方式的线性整形(或线性整形、线性映射)的一个示例。
50.图14示出本文献的实施方式中的线性前向映射的示例。
51.图15示出本文献的实施方式中的反向前向映射的示例。
52.图16和图17示意性地示出根据本文献的实施方式的视频/图像编码方法和相关组件的示例。
53.图18和图19示意性地示出根据本文献的实施方式的图像/视频解码方法和相关组件的示例。
54.图20示出可应用本文献中所公开的实施方式的内容流系统的示例。
具体实施方式
55.本文献可按各种形式修改，将描述并且在附图中示出其特定实施方式。然而，这些实施方式并非旨在限制本文献。以下描述中使用的术语仅用于描述特定实施方式，而非旨在限制本文献。单数表达包括复数表达，只要清楚地不同阅读即可。诸如“包括”和“具有”的术语旨在指示存在以下描述中使用的特征、数量、步骤、操作、元件、组件或其组合，因此应该理解，不排除存在或添加一个或更多个不同的特征、数量、步骤、操作、元件、组件或其组合的可能性。
56.此外，在本文献中描述的附图中的各个配置为了方便描述不同特性功能而被独立地示出，并不意味着各个配置被实现为单独的硬件或单独的软件。例如，各个组件当中的两个或更多个组件可被组合以形成一个组件，或者一个组件可被划分成多个组件。各个组件被集成和/或分离的实施方式也被包括在本文献的公开范围内。
57.以下，将参照附图详细描述本实施方式的示例。另外，相似的标号用于贯穿附图指示相似的元件，并且将省略关于相似元件的相同描述。
58.图1示出可应用本文献的实施方式的视频/图像编码系统的示例。
59.参照图1，视频/图像编码系统可包括第一装置(源装置)和第二装置(接收装置)。源装置可通过数字存储介质或网络将编码的视频/图像信息或数据以文件或流的形式发送到接收装置。
60.源装置可包括视频源、编码设备和发送器。接收装置可包括接收器、解码设备和渲染器。编码设备可被称为视频/图像编码设备，解码设备可被称为视频/图像解码设备。发送器可被包括在编码设备中。接收器可被包括在解码设备中。渲染器可包括显示器，并且显示器可被配置为单独的装置或外部组件。
61.视频源可通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可包括视频/图像捕获装置和/或视频/图像生成装置。例如，视频/图像捕获装置可包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可包括计算机、平板计算机和智能电话，并且可(以电子方式)生成视频/图像。例如，可通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可由生成相关数据的处理代替。
62.编码设备可对输入视频/图像进行编码。为了压缩和编码效率，编码设备可执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。
63.发送器可通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流的形式发送到接收装置的接收器。数字存储介质可包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。发送器可包括用于通过预定文件格式生成媒体文件的元件，并且可包括用于通过广播/通信网络传输的元件。接收器可接收/提取比特流并将所接收的比特流发送到解码设备。
64.解码设备可通过执行与编码设备的操作对应的诸如解量化、逆变换和预测的一系列过程将视频/图像解码。
65.渲染器可渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。
66.本文献涉及视频/图像编码。例如，本文献中公开的方法/实施方式可应用于通用视频编码(vvc)标准、基本视频编码(evc)标准、aomedia video 1(av1)标准、第2代音频视频编码标准(avs2)或下一代视频/图像编码标准(例如，h.267、h.268等)中公开的方法。
67.本文献提出了视频/图像编码的各种实施方式，并且除非另外指明，否则上述实施方式也可彼此组合执行。
68.在本文献中，视频可指随时间的一系列图像。画面通常是指表示特定时间范围的一个图像的单元，切片/拼块是指就编码而言构成画面的一部分的单元。切片/拼块可包括一个或更多个编码树单元(ctu)。一个画面可由一个或更多个切片/拼块组成。一个画面可由一个或更多个拼块组组成。一个拼块组可包括一个或更多个拼块。图块可表示画面中的拼块内的ctu行的矩形区域。拼块可被分割成多个图块，各个图块可由拼块内的一个或更多个ctu行构成。未被分割成多个图块的拼块也可被称为图块。图块扫描可表示分割画面的ctu的特定顺序排序，其中，在图块内的ctu光栅扫描中ctu可排序，并且在拼块的图块的光栅扫描中拼块内的图块可连续地排序，并且在画面的拼块的光栅扫描中画面中的拼块可连续地排序。拼块是画面中的特定拼块列和特定拼块行内的ctu的矩形区域。拼块列是高度等于画面的高度并且宽度由画面参数集中的句法元素指定的ctu的矩形区域。拼块行是高度由画面参数集中的句法元素指定并且宽度等于画面的宽度的ctu的矩形区域。拼块扫描是分割画面的ctu的特定顺序排序，其中在拼块的ctu光栅扫描中ctu连续地排序，而在画面的拼块的光栅扫描中画面中的拼块连续地排序。切片包括可排他地包含在单个nal单元中的画面的整数数量的图块。切片可由多个完整拼块或仅一个拼块的完整图块的连续序列组成。在本文献中，拼块组和切片可代替彼此使用。例如，在本文献中，拼块组/拼块组头可被称为切片/切片头。
69.此外，一个画面可被划分成两个或更多个子画面。子画面可以是画面内的一个或更多个切片的矩形区域。
70.像素或画素可意指构成一个画面(或图像)的最小单元。另外，“样本”可用作与像素对应的术语。样本通常可表示像素或像素值，并且可仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
71.单元可表示图像处理的基本单位。单元可包括画面的特定区域和与该区域有关的信息中的至少一个。一个单元可包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况
下，单元可与诸如块或区域的术语互换使用。在一般情况下，m
×
n块可包括m列和n行的样本(或样本阵列)或变换系数的集合(或阵列)。另选地，样本可意指空间域中的像素值，并且当这种像素值被变换至频域时，其可意指频域中的变换系数。
72.在本文献中，“a或b”可意指“仅a”、“仅b”或“a和b二者”。换言之，本文献中的“a或b”可被解释为“a和/或b”。例如，在本文献中，“a、b或c(a,b或c)”意指“仅a”、“仅b”、“仅c”或“a、b和c的任何组合”。
73.本文献中使用的斜线(/)或顿号(、)可意指“和/或”。例如，“a/b”可意指“a和/或b”。因此，“a/b”可意指“仅a”、“仅b”或“a和b二者”。例如，“a、b、c”可意指“a、b或c”。
74.在本文献中，“a和b中的至少一个”可意指“仅a”、“仅b”或“a和b二者”。另外，在本文献中，表达“a或b中的至少一个”或“a和/或b中的至少一个”可与“a和b中的至少一个”相同地解释。
75.另外，在本文献中，“a、b和c中的至少一个”意指“仅a”、“仅b”、“仅c”或“a、b和c的任何组合”。另外，“a、b或c中的至少一个”或“a、b和/或c中的至少一个”可意指“a、b和c中的至少一个”。
76.另外，本文献中使用的括号可意指“例如”。具体地，当指示“预测(帧内预测)”时，可提议“帧内预测”作为“预测”的示例。换言之，本文献中的“预测”不限于“帧内预测”，可提议“帧内预测”作为“预测”的示例。另外，即使当指示“预测(即，帧内预测)”时，也可提议“帧内预测”作为“预测”的示例。
77.在本文献中在一张图中单独描述的技术特性可单独地实现或同时实现。
78.图2是示意性地示出可应用本文献的实施方式的视频/图像编码设备的配置的图。以下，所谓的视频编码设备可包括图像编码设备。
79.参照图2，编码设备200包括图像分割器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可包括帧间预测器221和帧内预测器222。残差处理器230可包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230还可包括减法器231。加法器250可被称为重构器或重构块生成器。根据实施方式，图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可由至少一个硬件组件(例如，编码器芯片组或处理器)配置。另外，存储器270可包括解码画面缓冲器(dpb)，或者可由数字存储介质配置。硬件组件还可包括存储器270作为内部/外部组件。
80.图像分割器210可将输入到编码设备200的输入图像(或者画面或帧)分割成一个或更多个处理器。例如，处理器可被称为编码单元(cu)。在这种情况下，编码单元可根据四叉树二叉树三叉树(qtbttt)结构从编码树单元(ctu)或最大编码单元(lcu)递归地分割。例如，一个编码单元可基于四叉树结构、二叉树结构和/或三元结构被分割成深度更深的多个编码单元。在这种情况下，例如，可首先应用四叉树结构，稍后可应用二叉树结构和/或三元结构。另选地，可首先应用二叉树结构。可基于不再分割的最终编码单元来执行根据本公开的编码过程。在这种情况下，根据图像特性基于编码效率，最大编码单元可用作最终编码单元，或者如果需要，编码单元可被递归地分割成深度更深的编码单元并且具有最优大小的编码单元可用作最终编码单元。这里，编码过程可包括预测、变换和重构的过程(将稍后描述)。作为另一示例，处理器还可包括预测单元(pu)或变换单元(tu)。在这种情况下，预测单元和变换单元可从上述最终编码单元拆分或分割。预测单元可以是样本预测的单元，变换
单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
81.在一些情况下，单元可与诸如块或区域的术语互换使用。在一般情况下，m
×
n块可表示由m列和n行组成的样本或变换系数的集合。样本通常可表示像素或像素值，可仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可用作与像素或画素的一个画面(或图像)对应的术语。
82.在编码设备200中，从输入图像信号(原始块、原始样本阵列)减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所示，在编码器200中从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可被称为减法器231。预测器可对要处理的块(以下，称为当前块)执行预测并且生成包括当前块的预测样本的预测块。预测器可确定基于当前块或cu应用帧内预测还是帧间预测。如在各个预测模式的描述中稍后描述的，预测器可生成与预测有关的各种信息(例如，预测模式信息)并将所生成的信息发送到熵编码器240。关于预测的信息可在熵编码器240中编码并以比特流的形式输出。
83.帧内预测器222可参考当前画面中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。例如，非定向模式可包括dc模式和平面模式。例如，根据预测方向的详细程度，定向模式可包括33个定向预测模式或65个定向预测模式。然而，这仅是示例，可根据设置使用更多或更少的定向预测模式。帧内预测器222可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
84.帧间预测器221可基于参考画面上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动向量和参考画面索引。运动信息还可包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可相同或不同。时间邻近块可被称为并置参考块、并置cu(colcu)等，并且包括时间邻近块的参考画面可被称为并置画面(colpic)。例如，帧间预测器221可基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动向量和/或参考画面索引的信息。可基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，可不发送残差信号。在运动向量预测(mvp)模式的情况下，邻近块的运动向量可用作运动向量预测器，并且可通过用信号通知运动向量差来指示当前块的运动向量。
85.预测器220可基于下面描述的各种预测方法来生成预测信号。例如，预测器可不仅应用帧内预测或帧间预测以预测一个块，而且同时应用帧内预测和帧间预测二者。这可被称为组合帧间和帧内预测(ciip)。另外，预测器可基于帧内块复制(ibc)预测模式或调色板模式来预测块。ibc预测模式或调色板模式可用于游戏等的内容图像/视频编码，例如屏幕内容编码(scc)。ibc基本上在当前画面中执行预测，但是可与帧间预测相似地执行，使得在当前画面中推导参考块。即，ibc可使用本公开中描述的至少一个帧间预测技术。调色板模
式可被视为帧内编码或帧内预测的示例。当应用调色板模式时，可基于关于调色板表和调色板索引的信息用信号通知画面内的样本值。
86.由预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可用于生成重构信号或生成残差信号。变换器232可通过对残差信号应用变换技术来生成变换系数。例如，变换技术可包括离散余弦变换(dct)、离散正弦变换(dst)、karhunen-lo
è
ve变换(klt)、基于图形的变换(gbt)或条件非线性变换(cnt)中的至少一个。这里，当像素之间的关系信息由图形表示时，gbt意指从图形获得的变换。cnt是指基于使用所有先前重构的像素生成的预测信号生成的变换。另外，变换处理可应用于具有相同大小的正方形像素块或者可应用于正方形以外的具有可变大小的块。
87.量化器233可将变换系数量化并将它们发送到熵编码器240，并且熵编码器240可对量化的信号(关于量化的变换系数的信息)进行编码并输出比特流。关于量化的变换系数的信息可被称为残差信息。量化器233可基于系数扫描顺序将块类型量化的变换系数重排为一维向量形式，并且基于一维向量形式的量化的变换系数来生成关于量化的变换系数的信息。可生成关于变换系数的信息。熵编码器240可执行例如指数golomb、上下文自适应可变长度编码(cavlc)、上下文自适应二进制算术编码(cabac)等的各种编码方法。熵编码器240可对量化的变换系数以外的视频/图像重构所需的信息(例如，句法元素的值等)一起或单独地进行编码。编码的信息(例如，编码的视频/图像信息)可按比特流的形式以nal(网络抽象层)为单位发送或存储。视频/图像信息还可包括关于各种参数集的信息，例如自适应参数集(aps)、画面参数集(pps)、序列参数集(sps)或视频参数集(vps)。另外，视频/图像信息还可包括一般约束信息。在本公开中，从编码设备发送/用信号通知给解码设备的信息和/或句法元素可被包括在视频/画面信息中。视频/图像信息可通过上述编码过程编码并被包括在比特流中。比特流可经由网络发送或者可被存储在数字存储介质中。网络可包括广播网络和/或通信网络，并且数字存储介质可包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。发送从熵编码器240输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)可被包括作为编码设备200的内部/外部元件，并且另选地，发送器可被包括在熵编码器240中。
88.从量化器233输出的量化的变换系数可用于生成预测信号。例如，可通过经由解量化器234和逆变换器235对量化的变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。加法器250将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加以生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块不存在残差(例如，应用跳过模式的情况)，则预测块可用作重构块。加法器250可被称为重构器或重构块生成器。如下所述，所生成的重构信号可用于当前画面中要处理的下一块的帧内预测并且可通过滤波用于下一画面的帧间预测。
89.此外，可在画面编码和/或重构期间应用与色度缩放的亮度映射(lmcs)。
90.滤波器260可通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器260可通过对重构画面应用各种滤波方法来生成修改的重构画面并将修改的重构画面存储在存储器270(具体地，存储器270的dpb)中。例如，各种滤波方法可包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可生成与滤波有关的各种信息并且将所生成的信息发送到熵编码器240，如在各个滤波方法的描述中稍后描述的。与滤波有关
的信息可由熵编码器240编码并以比特流的形式输出。
91.发送到存储器270的修改的重构画面可用作帧间预测器221中的参考画面。当通过编码设备应用帧间预测时，可避免编码设备200与解码设备300之间的预测失配并且编码效率可改进。
92.存储器270dpb的dpb可存储用作帧间预测器221中的参考画面的修改的重构画面。存储器270可存储推导(或编码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。所存储的运动信息可被发送到帧间预测器221并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可存储当前画面中的重构块的重构样本并且可将重构样本传送至帧内预测器222。
93.图3是示出可应用本公开的实施方式的视频/图像解码设备的配置的示意图。
94.参照图3，解码设备300可包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350、存储器360。预测器330可包括帧间预测器331和帧内预测器332。残差处理器320可包括解量化器321和逆变换器321。根据实施方式，熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可由硬件组件(例如，解码器芯片组或处理器)配置。另外，存储器360可包括解码画面缓冲器(dpb)或者可由数字存储介质配置。硬件组件还可包括存储器360作为内部/外部组件。
95.当输入包括视频/图像信息的比特流时，解码设备300可重构与在图2的编码设备中处理视频/图像信息的处理对应的图像。例如，解码设备300可基于从比特流获得的块分割相关信息来推导单元/块。解码设备300可使用编码设备中应用的处理器来执行解码。因此，例如，解码的处理器可以是编码单元，并且编码单元可根据四叉树结构、二叉树结构和/或三叉树结构从编码树单元或最大编码单元分割。可从编码单元推导一个或更多个变换单元。通过解码设备300解码和输出的重构的图像信号可通过再现设备再现。
96.解码设备300可接收从图2的编码设备以比特流的形式输出的信号，并且所接收的信号可通过熵解码器310解码。例如，熵解码器310可解析比特流以推导图像重构(或画面重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可包括关于各种参数集的信息，例如自适应参数集(aps)、画面参数集(pps)、序列参数集(sps)或视频参数集(vps)。另外，视频/图像信息还可包括一般约束信息。解码设备还可基于关于参数集的信息和/或一般约束信息将画面解码。本公开中稍后描述的用信号通知/接收的信息和/或句法元素可通过解码过程解码并从比特流获得。例如，熵解码器310基于诸如指数golomb编码、cavlc或cabac的编码方法对比特流中的信息进行解码，并且输出图像重构所需的句法元素和残差的变换系数的量化值。更具体地，cabac熵解码方法可接收与比特流中的各个句法元素对应的信元(bin)，使用解码目标句法元素信息、解码目标块的解码信息或在先前阶段中解码的符号/信元的信息来确定上下文模型，并且通过根据所确定的上下文模型预测信元出现的概率对信元执行算术解码，并且生成与各个句法元素的值对应的符号。在这种情况下，cabac熵解码方法可在确定上下文模型之后通过将解码的符号/信元的信息用于下一符号/信元的上下文模型来更新上下文模型。熵解码器310所解码的信息当中与预测有关的信息可被提供给预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310中执行了熵解码的残差值(即，量化的变换系数和相关参数信息)可被输入到残差处理器320。残差处理器320可推导残差信号(残差块、残差样本、残差样本阵列)。另外，熵解码器310所解码的信息当中关于
滤波的信息可被提供给滤波器350。此外，用于接收从编码设备输出的信号的接收器(未示出)还可被配置成解码设备300的内部/外部元件，或者接收器可以是熵解码器310的组件。此外，根据本公开的解码设备可被称为视频/图像/画面解码设备，并且解码设备可被分类为信息解码器(视频/图像/画面信息解码器)和样本解码器(视频/图像/画面样本解码器)。信息解码器可包括熵解码器310，并且样本解码器可包括解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
97.解量化器321可将量化的变换系数解量化并输出变换系数。解量化器321可按二维块形式重排量化的变换系数。在这种情况下，可基于在编码设备中执行的系数扫描顺序来执行重排。解量化器321可使用量化参数(例如，量化步长信息)对量化的变换系数执行解量化并且获得变换系数。
98.逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本阵列)。
99.预测器可对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且可确定特定帧内/帧间预测模式。
100.预测器320可基于下述各种预测方法来生成预测信号。例如，预测器不仅可应用帧内预测或帧间预测以预测一个块，而且可同时应用帧内预测和帧间预测。这可被称为组合帧间和帧内预测(ciip)。另外，预测器可基于帧内块复制(ibc)预测模式或调色板模式来预测块。ibc预测模式或调色板模式可用于游戏等的内容图像/视频编码，例如屏幕内容编码(scc)。ibc基本上执行当前画面中的预测，但是可与帧间预测相似地执行，使得在当前画面中推导参考块。即，ibc可使用本公开中描述的至少一种帧间预测技术。调色板模式可被视为帧内编码或帧内预测的示例。当应用调色板模式时，可基于关于调色板表和调色板索引的信息用信号通知画面内的样本值。
101.帧内预测器331可参考当前画面中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。帧内预测器331可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
102.帧间预测器332可基于参考画面上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动向量和参考画面索引。运动信息还可包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。例如，帧间预测器332可基于邻近块来配置运动信息候选列表并且基于所接收的候选选择信息来推导当前块的运动向量和/或参考画面索引。可基于各种预测模式来执行帧间预测，并且关于预测的信息可包括指示当前块的帧间预测模式的信息。
103.加法器340可通过将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块不存在残差，例如当应用跳过模式时，预测块可用作重构块。
104.加法器340可被称为重构器或重构块生成器。所生成的重构信号可用于当前画面中要处理的下一块的帧内预测，可如下所述通过滤波输出，或者可用于下一画面的帧间预测。
105.此外，可在画面解码处理中应用与色度缩放的亮度映射(lmcs)。
106.滤波器350可通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器350可通过对重构画面应用各种滤波方法来生成修改的重构画面并且将修改的重构画面存储在存储器360(具体地，存储器360的dpb)中。例如，各种滤波方法可包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
107.存储在存储器360的dpb中的(修改的)重构画面可用作帧间预测器332中的参考画面。存储器360可存储推导(或解码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。所存储的运动信息可被发送到帧间预测器260以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可存储当前画面中的重构块的重构样本并将重构样本传送至帧内预测器331。
108.在本文献中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可与解码设备300的滤波器350、帧间预测器332和帧内预测器331相同或分别与之对应应用。这也可适用于单元332和帧内预测器331。
109.如上所述，在视频编码中，执行预测以增加压缩效率。由此，可生成包括当前块(要编码的块)的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。预测块从编码装置和解码装置相同地推导，并且编码装置对关于原始块与预测块之间的残差的信息(残差信息)而非原始块的原始样本值本身进行解码。通过用信号通知装置，图像编码效率可增加。解码设备可基于残差信息来推导包括残差样本的残差块，并且通过对残差块和预测块求和来生成包括重构样本的重构块，并且生成包括重构块的重构画面。
110.残差信息可通过变换处理和量化处理来生成。例如，编码设备可推导原始块与预测块之间的残差块，并且对包括在残差块中的残差样本(残差样本阵列)执行变换处理以推导变换系数，然后，通过对变换系数执行量化处理，推导量化的变换系数，以将残差相关信息(经由比特流)用信号通知给解码设备。这里，残差信息可包括位置信息、变换技术、变换核和量化参数、量化的变换系数的值信息等。解码设备可基于残差信息来执行解量化/逆变换处理并推导残差样本(或残差块)。解码设备可基于预测块和残差块来生成重构画面。编码设备还可对供稍后画面的帧间预测参考的量化的变换系数进行解量化/逆变换以推导残差块，并且基于其来生成重构画面。
111.在本文献中，量化/解量化和/或变换/逆变换中的至少一个可被省略。当量化/解量化被省略时，量化的变换系数可被称为变换系数。当变换/逆变换被省略时，变换系数可被称为系数或残差系数，或者为了表达的一致性，仍可称为变换系数。
112.在本文献中，量化的变换系数和变换系数可分别被称为变换系数和缩放的变换系数。在这种情况下，残差信息可包括关于变换系数的信息，并且关于变换系数的信息可通过残差编码句法用信号通知。变换系数可基于残差信息(或关于变换系数的信息)来推导，缩放的变换系数可通过对变换系数的逆变换(缩放)来推导。残差样本可基于缩放的变换系数的逆变换(变换)来推导。这也可在本文献的其它部分中应用/表达。
113.帧内预测可指基于当前块所属的画面(以下，称为当前画面)中的参考样本来生成
当前块的预测样本的预测。当对当前块应用帧内预测时，可推导要用于当前块的帧内预测的邻近参考样本。当前块的邻近参考样本可包括与大小为nw
×
nh的当前块的左边界相邻的样本和邻近左下的总共2
×
nh个样本、与当前块的上边界相邻的样本和邻近右上的总共2
×
nw个样本以及邻近当前块的左上的一个样本。另选地，当前块的邻近参考样本可包括多个上邻近样本和多个左邻近样本。另外，当前块的邻近参考样本可包括与大小为nw
×
nh的当前块的右边界相邻的总共nh个样本、与当前块的下边界相邻的总共nw个样本以及邻近当前块的右下的一个样本。
114.然而，当前块的一些邻近参考样本可能还未解码或可用。在这种情况下，解码器可通过利用可用样本替换不可用的样本来配置要用于预测的邻近参考样本。另选地，要用于预测的邻近参考样本可通过可用样本的插值来配置。
115.当推导邻近参考样本时，(i)可基于当前块的邻近参考样本的平均或插值来推导预测样本，并且(ii)可基于当前块的外围参考样本当中存在于预测样本的特定(预测)方向上的参考样本来推导预测样本。(i)的情况可被称为非定向模式或非角模式，(ii)的情况可被称为定向模式或角模式。
116.此外，预测样本也可通过邻近参考样本当中基于当前块的预测样本位于与当前块的帧内预测模式的预测方向相反的方向上的第二邻近样本与第一邻近样本之间的插值来生成。上述情况可被称为线性插值帧内预测(lip)。另外，可使用线性模型基于亮度样本来生成色度预测样本。这种情况可被称为lm模式。
117.另外，可基于滤波的邻近参考样本来推导当前块的暂时预测样本，并且现有邻近参考样本当中根据帧内预测模式推导的至少一个参考样本(即，未滤波的邻近参考样本)和暂时预测样本可加权求和以推导当前块的预测样本。上述情况可被称为位置相关帧内预测(pdpc)。
118.另外，可选择当前块的邻近多参考样本行中预测准确性最高的参考样本行，以使用对应行上位于预测方向上的参考样本来推导预测样本，然后本文所使用的参考样本行可被指示(用信号通知)给解码设备，从而执行帧内预测编码。上述情况可被称为多参考行(mrl)帧内预测或基于mrl的帧内预测。
119.另外，可基于相同的帧内预测模式通过将当前块划分为垂直或水平子分区来执行帧内预测，并且邻近参考样本可以子分区为单位推导并使用。即，在这种情况下，当前块的帧内预测模式同样适用于子分区，并且在一些情况下通过以子分区为单位推导并使用邻近参考样本，帧内预测性能可改进。这种预测方法可被称为子分区内(isp)或基于isp的帧内预测。
120.上述帧内预测方法可与帧内预测模式分开称为帧内预测类型。帧内预测类型可用诸如帧内预测技术或附加帧内预测模式的各种术语来称呼。例如，帧内预测类型(或附加帧内预测模式)可包括上述lip、pdpc、mrl和isp中的至少一个。除了诸如lip、pdpc、mrl或isp的特定帧内预测类型之外的一般帧内预测方法可被称为正常帧内预测类型。正常帧内预测类型通常可在不应用特定帧内预测类型时应用，并且可基于上述帧内预测模式来执行预测。此外，可根据需要对推导的预测样本执行后滤波。
121.具体地，帧内预测过程可包括帧内预测模式/类型确定步骤、邻近参考样本推导步骤和基于帧内预测模式/类型的预测样本推导步骤。另外，可根据需要对推导的预测样本执
行后滤波步骤。
122.当应用帧内预测时，应用于当前块的帧内预测模式可使用邻近块的帧内预测模式来确定。例如，解码设备可基于所接收的最可能模式(mpm)索引来选择基于当前块的邻近块(例如，左和/或上邻近块)的帧内预测模式推导的mpm列表的mpm候选之一，并且基于剩余帧内预测模式信息来选择未包括在mpm候选(和平面模式)中的其它剩余帧内预测模式之一。mpm列表可被配置为包括或不包括平面模式作为候选。例如，如果mpm列表包括平面模式作为候选，则mpm列表可具有六个候选。如果mpm列表不包括平面模式作为候选，则mpm列表可具有三个候选。当mpm列表不包括平面模式作为候选时，可用信号通知指示当前块的帧内预测模式是否不是平面模式的非平面标志(例如，intra_luma_not_planar_flag)。例如，可首先用信号通知mpm标志，当mpm标志的值为1时，可用信号通知mpm索引和非平面标志。另外，当非平面标志的值为1时，可用信号通知mpm索引。这里，mpm列表被配置为不包括平面模式作为候选，不首先用信号通知非平面标志以首先检查它是否为平面模式，因为平面模式始终被视为mpm。
123.例如，应用于当前块的帧内预测模式是在mpm候选(和平面模式)中还是在剩余模式中可基于mpm标志(例如，intra_luma_mpm_flag)来指示。mpm标志的值1可指示当前块的帧内预测模式在mpm候选(和平面模式)内，mpm标志的值0可指示当前块的帧内预测模式不在mpm候选(和平面模式)中。非平面标志(例如，intra_luma_not_planar_flag)的值0可指示当前块的帧内预测模式是平面模式，非平面标志值的值1可指示当前块的帧内预测模式不是平面模式。mpm索引可按照mpm_idx或intra_luma_mpm_idx句法元素的形式用信号通知，剩余帧内预测模式信息可按照rem_intra_luma_pred_mode或intra_luma_mpm_remainder句法元素的形式用信号通知。例如，剩余帧内预测模式信息可按照预测模式编号的顺序对所有帧内预测模式当中未包括在mpm候选(和平面模式)中的剩余帧内预测模式进行索引以指示它们中的一个。帧内预测模式可以是亮度分量(样本)的帧内预测模式。以下，帧内预测模式信息可包括mpm标志(例如，intra_luma_mpm_flag)、非平面标志(例如，intra_luma_not_planar_flag)、mpm索引(例如，mpm_idx或intra_luma_mpm_idx)和剩余帧内预测模式信息(rem_intra_luma_pred_mode或intra_luma_mpm_remainder)中的至少一个。在本文献中，mpm列表可被称为诸如mpm候选列表和candmodelist的各种术语。当对当前块应用mip时，可用信号通知用于mip的单独mpm标志(例如，intra_mip_mpm_flag)、mpm索引(例如，intra_mip_mpm_idx)和剩余帧内预测模式信息(例如，intra_mip_mpm_remainder)，并且不用信号通知非平面标志。
124.换言之，通常，当对图像执行块拆分时，要编码的当前块和邻近块具有相似的图像特性。因此，当前块和邻近块具有相同或相似的帧内预测模式的概率较高。因此，编码器可使用邻近块的帧内预测模式来对当前块的帧内预测模式进行编码。
125.例如，编码器/解码器可为当前块配置最可能模式(mpm)的列表。mpm列表也可被称为mpm候选列表。本文中，mpm可指在帧内预测模式编码中考虑当前块和邻近块之间的相似性来改进编码效率的模式。如上所述，mpm列表可被配置为包括平面模式，或者可被配置为不包括平面模式。例如，当mpm列表包括平面模式时，mpm列表中的候选数量可为6。并且，如果mpm列表不包括平面模式，则mpm列表中的候选数量可为5。
126.编码器/解码器可配置包括5或6个mpm的mpm列表。
127.为了配置mpm列表，可考虑三种类型的模式：默认帧内模式、邻居帧内模式和推导帧内模式。
128.对于邻近帧内模式，可考虑两个邻近块，即，左邻近块和上邻近块。
129.如上所述，如果mpm列表被配置为不包括平面模式，则从列表排除平面模式，并且mpm列表候选的数量可被设定为5。
130.另外，帧内预测模式当中的非定向模式(或非角模式)可包括基于当前块的邻近参考样本的平均的dc模式或基于插值的平面模式。
131.当应用帧间预测时，编码设备/解码设备的预测器可通过以块为单位执行帧间预测来推导预测样本。帧间预测可以是以取决于当前画面以外的画面的数据元素(例如，样本值或运动信息)的方式推导的预测。当对当前块应用帧间预测时，可基于参考画面索引所指示的参考画面上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块(预测样本阵列)。这里，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测当前块的运动信息。运动信息可包括运动向量和参考画面索引。运动信息还可包括帧间预测类型(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可相同或不同。时间邻近块可被称为并置参考块、并置cu(colcu)等，并且包括时间邻近块的参考画面可被称为并置画面(colpic)。例如，可基于当前块的邻近块来配置运动信息候选列表，并且可用信号通知指示选择(使用)哪一候选的标志或索引信息以推导当前块的运动向量和/或参考画面索引。可基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，当前块的运动信息可与邻近块的运动信息相同。在跳过模式下，与合并模式不同，可不发送残差信号。在运动向量预测(mvp)模式的情况下，所选邻近块的运动向量可用作运动向量预测器，并且可用信号通知当前块的运动向量。在这种情况下，可使用运动向量预测器与运动向量差之和来推导当前块的运动向量。
132.根据帧间预测类型(l0预测、l1预测、bi预测等)，运动信息可包括l0运动信息和/或l1运动信息。l0方向上的运动向量可被称为l0运动向量或mvl0，l1方向上的运动向量可被称为l1运动向量或mvl1。基于l0运动向量的预测可被称为l0预测，基于l1运动向量的预测可被称为l1预测，基于l0运动向量和l1运动向量二者的预测可被称为双预测。这里，l0运动向量可指示与参考画面列表l0(l0)关联的运动向量，l1运动向量可指示与参考画面列表l1(l1)关联的运动向量。参考画面列表l0可包括按输出顺序比当前画面早的画面作为参考画面，参考画面列表l1可包括按输出顺序比当前画面晚的画面。先前画面可被称为前向(参考)画面，后续画面可被称为后向(参考)画面。参考画面列表l0还可包括按输出顺序比当前画面晚的画面作为参考画面。在这种情况下，先前画面可在参考画面列表l0中首先进行索引，后续画面可稍后进行索引。参考画面列表l1还可包括按输出顺序比当前画面早的先前画面作为参考画面。在这种情况下，后续画面可在参考画面列表1中首先进行索引，先前画面可稍后进行索引。输出顺序可对应于画面顺序计数(poc)顺序。
133.图4示例性地示出编码的图像/视频的分层结构。
134.参照图4，编码的图像/视频被划分成处理图像/视频及自身的解码处理的视频编码层(vcl)、发送和存储编码的信息的子系统以及负责功能并存在于vcl和子系统之间的
nal(网络抽象层)。
135.在vcl中，生成包括压缩图像数据(切片数据)的vcl数据，或者可生成包括画面参数集(psp)、序列参数集(sps)和视频参数集(vps)的参数集或者图像解码处理另外需要的补充增强信息(sei)消息。
136.在nal中，可通过将头信息(nal单元头)添加到vcl中生成的原始字节序列有效载荷(rbsp)来生成nal单元。在这种情况下，rbsp是指vcl中生成的切片数据、参数集、sei消息等。nal单元头可包括根据包括在对应nal单元中的rbsp数据指定的nal单元类型信息。
137.如图中所示，nal单元可根据vcl中生成的rbsp被分类为vcl nal单元和非vcl nal单元。vcl nal单元可意指包括关于图像(切片数据)的信息的nal单元，非vcl nal单元可意指包括对图像进行解码所需的信息(参数集或sei消息)的nal单元。
138.可通过根据子系统的数据标准附加头信息来通过网络发送上述vcl nal单元和非vcl nal单元。例如，nal单元可被变换为诸如h.266/vvc文件格式、实时传输协议(rtp)、传输流(ts)等的预定标准的数据格式并通过各种网络发送。
139.如上所述，nal单元可根据包括在对应nal单元中的rbsp数据结构以nal单元类型来指定，并且关于nal单元类型的信息可被存储在nal单元头中并用信号通知。
140.例如，nal单元可根据nal单元是否包括关于图像的信息(切片数据)而被分类为vcl nal单元类型和非vcl nal单元类型。vcl nal单元类型可根据包括在vcl nal单元中的画面的本质和类型来分类，并且非vcl nal单元类型可根据参数集的类型来分类。
141.以下是根据包括在非vcl nal单元类型中的参数集的类型指定的nal单元类型的示例。
[0142]-aps(自适应参数集)nal单元：包括aps的nal单元的类型
[0143]-dps(解码参数集)nal单元：包括dps的nal单元的类型
[0144]-vps(视频参数集)nal单元：包括vps的nal单元的类型
[0145]-sps(序列参数集)nal单元：包括sps的nal单元的类型
[0146]-pps(画面参数集)nal单元：包括pps的nal单元的类型
[0147]-ph(画面头)nal单元：包括ph的nal单元的类型
[0148]
上述nal单元类型可具有nal单元类型的句法信息，并且该句法信息可被存储在nal单元头中并用信号通知。例如，句法信息可以是nal_unit_type，nal单元类型可由nal_unit_type值指定。
[0149]
此外，如上所述，一个画面可包括多个切片，一个切片可包括切片头和切片数据。在这种情况下，一个画面头可被进一步添加到一个画面中的多个切片(切片头和切片数据集)。画面头(画面头句法)可包括通常适用于画面的信息/参数。在本文献中，切片可与拼块组混合或由拼块组替换。另外，在本文献中，切片头可与拼块组头混合或由拼块组头替换。
[0150]
切片头(切片头句法)可包括通常可应用于切片的信息/参数。aps(aps句法)或pps(pps句法)可包括通常可应用于一个或更多个切片或画面的信息/参数。sps(sps句法)可包括通常可应用于一个或更多个序列的信息/参数。vps(vps句法)可包括通常可应用于多个层的信息/参数。dps(dps句法)可包括通常可应用于总视频的信息/参数。dps可包括与编码视频序列(cvs)的级联有关的信息/参数。本文献中的高级句法(hls)可包括aps句法、pps句法、sps句法、vps句法、dps句法和切片头句法中的至少一个。
[0151]
在本文献中，从编码设备编码并以比特流的形式用信号通知给解码设备的图像/图像信息不仅包括画面中的分割相关信息、帧内/帧间预测信息、残差信息、回路滤波信息等，而且包括切片头中所包括的信息、aps中所包括的信息、pps中所包括的信息、sps中所包括的信息和/或vps中所包括的信息。
[0152]
此外，为了补偿由于诸如量化的压缩编码处理中出现的错误而引起的原始图像与重构图像之间的差异，可如上所述对重构样本或重构画面执行回路滤波处理。如上所述，回路滤波可由编码设备的滤波器和解码设备的滤波器执行，并且可应用去块滤波器、sao和/或自适应环路滤波器(alf)。例如，可在去块滤波处理和/或sao处理完成之后执行alf处理。然而，即使在这种情况下，也可省略去块滤波处理和/或sao处理。
[0153]
此外，为了增加编码效率，可如上所述应用亮度映射与色度缩放(lmcs)。lmcs可被称为环路整形器(整形)。为了增加编码效率，lmcs控制和/或lmcs相关信息的信令可分层执行。
[0154]
图5示例性地示出根据本文献的实施方式的cvs的分层结构。
[0155]
参照图5，编码视频序列(cvs)可包括sps、一个或更多个序列参数集(pps)以及一个或更多个后续编码画面。各个编码画面可被划分成矩形区域。矩形区域可被称为拼块。所收集的一个或更多个拼块可形成拼块组或切片。在这种情况下，拼块组头可链接到画面参数集(pps)，pps可链接到sps。
[0156]
图6示例性地示出根据本文献的实施方式的cvs的分层结构。编码视频序列(cvs)可包括sps、pps、拼块组头、拼块数据和/或ctu。这里，拼块组头和拼块数据可分别被称为切片头和切片数据。
[0157]
sps可包括本地标志以使得工具能够在cvs中使用。另外，sps可由包括关于对于各个画面改变的参数的信息的pps参考。各个编码画面可包括一个或更多个编码矩形域拼块。拼块可被分组为形成拼块组的光栅扫描。各个拼块组以称为拼块组头的头信息封装。各个拼块由包括编码数据的ctu组成。这里，数据可包括原始样本值、预测样本值及其亮度分量和色度分量(亮度预测样本值和色度预测样本值)。
[0158]
根据现有方法，alf数据(alf参数)或lmcs数据(lmcs参数)被并入拼块组头中。由于一个视频由多个画面构成并且一个画面包括多个拼块，所以以拼块组为单位频繁地用信号通知alf数据(alf参数)或lmcs数据(lmcs参数)导致了编码效率降低的问题。
[0159]
根据本文献中提出的实施方式，alf参数或lmcs数据(lmcs参数)可被并入aps中并用信号通知如下。
[0160]
图7示例性地示出根据本文献的另一实施方式的cvs的分层结构。
[0161]
参照图7，在实施方式中，定义aps，并且aps可承载必要alf数据(alf参数)。此外，aps可具有自识别参数、alf数据和/或lmcs数据。aps的自识别参数可包括aps id。即，aps可包括表示aps id的信息。拼块组头或切片头可使用aps索引信息来参考aps。换言之，拼块组头或切片头可包括aps索引信息，并且可基于具有aps索引信息所指示的aps id的aps中所包括的lmcs数据(lmcs参数)来针对目标块执行alf过程，或者可基于包括在具有aps索引信息所指示的aps id的aps中的alf数据(alf参数)来执行目标块的alf过程。这里，aps索引信息可被称为aps id信息。
[0162]
在示例中，sps可包括允许使用alf的标志。例如，当cvs开始时，可检查sps，并且可
检查sps中的标志。例如，sps可包括下表1的句法。表1中的句法可以是sps的一部分。
[0163]
[表1]
[0164][0165]
例如，包括在表1的句法中的句法元素的语义可如下表所示表示。
[0166]
[表2]
[0167][0168]
即，sps_alf_enabled_flag句法元素可基于其值是0还是1来指示alf是否被启用。sps_alf_enabled_flag句法元素可被称为alf启用标志(这可被称为第一alf启用标志)，并且可被包括在sps中。即，可在sps(或sps级别)中用信号通知alf启用标志。当sps中用信号通知的alf启用标志的值为1时，alf可被确定为对于cvs中参考sps的画面基本上启用。此外，如上所述，alf可通过在比sps更低的级别用信号通知附加启用标志来单独地开启/关闭。
[0169]
例如，如果对于cvs启用alf工具，则可在拼块组头或切片头中用信号通知附加启用标志(这可被称为第二alf启用标志)。例如，当在sps级别启用alf时，可解析/用信号通知第二alf启用标志。当第二alf启用标志的值为1时，可通过拼块组头或切片头来解析alf数据。例如，第二alf启用标志可指定亮度分量和色度分量的alf启用条件。可通过aps id信息来访问alf数据。
[0170]
[表3]
[0171][0172]
[表4]
[0173][0174]
例如，包括在以上表3或表4的句法中的句法元素的语义可如下表所示表示。
[0175]
[表5]
[0176][0177]
[表6]
[0178][0179][0180]
第二alf启用标志可包括tile_group_alf_enabled_flag句法元素或slice_alf_enabled_flag句法元素。
[0181]
对应拼块组或对应切片参考的aps可基于aps id信息(例如，tile_group_aps_id句法元素或slice_aps_id句法元素)来标识。aps可包括alf数据。
[0182]
此外，例如，包括alf数据的aps的结构可基于以下句法和语义来描述。表7的句法可以是aps的一部分。
[0183]
[表7]
[0184][0185]
[表8]
[0186][0187]
如上所述，adaptation_parameter_set_id句法元素可表示对应aps的标识符。即，aps可基于adaptation_parameter_set_id句法元素来标识。adaptation_parameter_set_id句法元素可被称为aps id信息。另外，aps可包括alf数据字段。alf数据字段可在adaptation_parameter_set_id句法元素之后解析/用信号通知。
[0188]
另外，例如，aps扩展标志(例如，aps_extension_flag句法元素)可在aps中解析/用信号通知。aps扩展标志可指示是否存在aps扩展数据标志(aps_extension_data_flag)句法元素。例如，aps扩展标志可用于为vvc标准的稍后版本提供扩展点。
[0189]
图8示出根据本文献的实施方式的示例性lmcs结构。图8的lmcs结构800包括基于自适应分段线性(自适应pwl)模型的亮度分量的回路映射部810和色度分量的亮度相关色度残差缩放部820。回路映射部810的解量化和逆变换811、重构812和帧内预测813块表示在映射(整形)域中应用的处理。环路滤波器815、回路映射部810的运动补偿或帧间预测817块以及色度残差缩放部820的重构822、帧内预测823、运动补偿或帧间预测824、环路滤波器825块表示在原始(非映射、非整形)域中应用的处理。
[0190]
如图8所示，当lmcs被启用时，可应用反向映射(整形)处理814、前向映射(整形)处理818和色度缩放处理821中的至少一个。例如，可对重构画面中的(重构)亮度样本(或亮度样本或亮度样本阵列)应用反向映射处理。可基于亮度样本的分段函数(反向)索引来执行反向映射处理。分段函数(反向)索引可标识亮度样本所属的片段。反向映射处理的输出是修改的(重构)亮度样本(或修改的亮度样本或修改的亮度样本阵列)。lmcs可在拼块组(或切片)、画面或更高的级别被启用或禁用。
[0191]
可应用前向映射处理和/或色度缩放处理以生成重构画面。画面可包括亮度样本和色度样本。以亮度样本的重构画面可被称为重构亮度画面，以色度样本的重构画面可被称为重构色度画面。重构亮度画面和重构色度画面的组合可被称为重构画面。重构亮度画面可基于前向映射处理来生成。例如，如果对当前块应用帧间预测，则对基于参考画面中的(重构)亮度样本推导的亮度预测样本应用前向映射。由于参考画面中的(重构)亮度样本基于反向映射处理来生成，所以可对亮度预测样本应用前向映射，因此可推导映射的(整形的)亮度预测样本。可基于亮度预测样本的分段函数索引来执行前向映射处理。可基于亮度预测样本的值或用于帧间预测的参考画面中的亮度样本的值来推导分段函数索引。如果对当前块应用帧内预测(或块内复制(ibc))，则不需要前向映射，因为还未对当前画面中的重构样本应用反向映射处理。重构亮度画面中的(重构)亮度样本基于映射的亮度预测样本和对应亮度残差样本来生成。
[0192]
重构色度画面可基于色度缩放处理来生成。例如，重构色度画面中的(重构)色度
样本可基于当前块中的色度残差样本(c
res
)和色度预测样本来推导。基于当前块的(缩放的)色度残差样本(c
resscale
)和色度残差缩放因子(cscaleinv可被称为varscale)来推导色度残差样本(c
res
)。可基于当前块的整形的亮度预测样本值来计算色度残差缩放因子。例如，可基于整形的亮度预测样本值y'
pred
的平均亮度值ave(y'
pred
)来计算缩放因子。作为参考，基于逆变换/解量化推导的(缩放的)色度残差样本可被称为c
resscale
，通过对(缩放的)色度残差样本执行(逆)缩放处理而推导的色度残差样本可被称为c
res
。
[0193]
图9示出根据本文献的另一实施方式的lmcs结构。图9参照图8来描述。这里，主要描述图9的lmcs结构与图8的lmcs结构800之间的差异。图9的回路映射部和亮度相关色度残差缩放部可与图8的回路映射部810和亮度相关色度残差缩放部820相同(相似地)操作。
[0194]
参照图9，可基于亮度重构样本来推导色度残差缩放因子。在这种情况下，可基于重构块外部的邻近亮度重构样本，而非重构块的内部亮度重构样本来获得(推导)平均亮度值(avgyr)，并且基于平均亮度值(avgyr)来推导色度残差缩放因子。这里，邻近亮度重构样本可以是当前块的邻近亮度重构样本，或者可以是包括当前块的虚拟流水线数据单元(vpdu)的邻近亮度重构样本。例如，当对目标块应用帧内预测时，可根据基于帧内预测推导的预测样本来推导重构样本。在另一示例中，当对目标块应用帧间预测时，对基于帧间预测推导的预测样本应用前向映射，并且基于整形的(或前向映射的)亮度预测样本来生成(推导)重构样本。
[0195]
通过比特流用信号通知的视频/图像信息可包括lmcs参数(关于lmcs的信息)。lmcs参数可被配置成高级句法(hls，包括切片头句法)等。lmcs参数的详细描述和配置将稍后描述。如上所述，本文献(和以下实施方式)中描述的句法表可在编码器端配置/编码，并且通过比特流用信号通知给解码器端。解码器可解析/解码关于句法表中的lmcs的信息(以句法组件的形式)。下面要描述的一个或更多个实施方式可被组合。编码器可基于关于lmcs的信息对当前画面进行编码，并且解码器可基于关于lmcs的信息对当前画面进行解码。
[0196]
亮度分量的回路映射可通过横跨动态范围重分布码字来调节输入信号的动态范围以改进压缩效率。对于亮度映射，可使用前向映射(整形)函数(fwdmap)以及与前向映射函数(fwdmap)对应的反向映射(整形)函数(invmap)。可使用分段线性模型用信号通知fwdmap函数，例如，分段线性模型可具有16个片段或仓，片段可具有相等的长度。在一个示例中，invmap函数不需要用信号通知，而是从fwdmap函数推导。即，反向映射可以是前向映射函数。例如，反向映射函数可在数学上构建为前向映射的对称函数，如线y＝x所反映的。
[0197]
回路(亮度)整形可用于将输入亮度值(样本)映射至整形域中的更改值。整形值可被编码，然后在重构之后映射回原始(未映射、未整形)域。为了补偿亮度信号和色度信号之间的相互作用，可应用色度残差缩放。回路整形通过指定整形器模型的高级句法来完成。整形器模型句法可用信号通知分段线性模型(pwl模型)。例如，整形器模型句法可用信号通知具有相同长度的16个仓或片段的pwl模型。可基于分段线性模型来推导前向查找表(fwdlut)和/或反向查找表(invlut)。例如，pwl模型预先计算1024条目前向(fwdlut)和反向(invlut)查找表(lut)。作为示例，当推导前向查找表fwdlut时，可基于前向查找表fwdlut来推导反向查找表invlut。前向查找表fwdlut可将输入亮度值yi映射至更改值yr，反向查找表invlut可将更改值yr映射至重构值y'i。重构值y
′
i可基于输入亮度值yi来推导。
[0198]
在一个示例中，sps可包括下表9的句法。表9的句法可包括sps_reshaper_enabled_flag作为工具启用标志。这里，sps_reshaper_enabled_flag可用于指定在编码视频序列(cvs)中是否使用整形器。即，sps_reshaper_enabled_flag可以是在sps中启用整形的标志。在一个示例中，表9的句法可以是sps的一部分。
[0199]
[表9]
[0200][0201]
在一个示例中，关于句法元素sps_seq_parameter_set_id和sps_reshaper_enabled_flag的语义可如下表10所示。
[0202]
[表10]
[0203][0204]
在一个示例中，拼块组头或切片头可包括以下表11或表12的句法。
[0205]
[表11]
[0206][0207]
[表12]
[0208][0209]
包括在表13或表14的句法中的句法元素的语义可包括例如下表中公开的事项。
[0210]
[表13]
[0211][0212]
[表14]
[0213][0214]
作为一个示例，一旦在sps中解析启用整形的标志(即，sps_reshaper_enabled_flag)，拼块组头可解析用于构造查找表(fwdlut和/或invlut)的附加数据(即，包括在上表13或表14中的信息)。为此，可在切片头或拼块组头中首先检查sps整形器标志(sps_reshaper_enabled_flag)的状态。当sps_reshaper_enabled_flag为真(或1)时，可解析附加标志，即，tile_group_reshaper_model_present_flag(或slice_reshaper_model_present_flag)。tile_group_reshaper_model_present_flag(或slice_reshaper_model_present_flag)的目的可以是指示整形模型的存在。例如，当tile_group_reshaper_model_present_flag(或slice_reshaper_model_present_flag)为真(或1)时，可指示对于当前拼块组(或当前切片)存在整形器。当tile_group_reshaper_model_present_flag(或slice_reshaper_model_present_flag)为假(或0)时，可指示对于当前拼块组(或当前切片)不存在整形器。
[0215]
如果存在整形器并且在当前拼块组(或当前切片)中启用整形器，则可处理整形器模型(即，tile_group_reshaper_model()或slice_reshaper_model())。更进一步，还可解析附加标志tile_group_reshaper_enable_flag(或slice_reshaper_enable_flag)。tile_group_reshaper_enable_flag(或slice_reshaper_enable_flag)可指示整形模型是否用于当前拼块组(或切片)。例如，如果tile_group_reshaper_enable_flag(或slice_reshaper_enable_flag)为0(或假)，则可指示整形模型不用于当前拼块组(或当前切片)。如果tile_group_reshaper_enable_flag(或slice_reshaper_enable_flag)为1(或真)，则可指示整形模型用于当前拼块组(或切片)。
[0216]
作为一个示例，tile_group_reshaper_model_present_flag(或slice_reshaper_model_present_flag)可为真(或1)，并且tile_group_reshaper_enable_flag(或slice_reshaper_enable_flag)可为假(或0)。这意味着整形模型存在，但未在当前拼块组(或切片)中使用。在这种情况下，整形模型可在未来拼块组(或切片)中使用。作为另一示例，tile_group_reshaper_enable_flag可为真(或1)并且tile_group_reshaper_model_present_flag可为假(或0)。在这种情况下，解码器使用来自先前初始化的整形器。
[0217]
当解析整形模型(即，tile_group_reshaper_model()或slice_reshaper_model())和tile_group_reshaper_enable_flag(或slice_reshaper_enable_flag)时，可确定(评估)是否存在色度缩放所需的条件。上述条件包括条件1(当前拼块组/切片还未被帧内
编码)和/或条件2(当前拼块组/切片还未被分割为用于亮度和色度的两个单独的编码四叉树结构，即，当前拼块组/切片的块结构不是双树结构)。如果条件1和/或条件2为真和/或tile_group_reshaper_enable_flag(或slice_reshaper_enable_flag)为真(或1)，则可解析tile_group_reshaper_chroma_residual_scale_flag(或slice_reshaper_chroma_residual_scale_flag)。当tile_group_reshaper_chroma_residual_scale_flag(或slice_reshaper_chroma_residual_scale_flag)被启用(如果为1或真)时，可指示对于当前拼块组(或切片)启用色度残差缩放。当tile_group_reshaper_chroma_residual_scale_flag(或slice_reshaper_chroma_residual_scale_flag)被禁用(如果为0或假)时，可指示对于当前拼块组(或切片)禁用色度残差缩放。
[0218]
拼块组整形模型的目的是解析构造查找表(lut)所需的数据。这些lut的构造理念是，亮度值的允许范围的分布可被划分为多个仓(例如，16个仓)，这可使用一组16个pwl方程组来表示。因此，落在给定仓内的任何亮度值可被映射至更改的亮度值。
[0219]
图10示出表示示例性前向映射的图。在图10中，示例性地示出五个仓。
[0220]
参照图10，x轴表示输入亮度值，y轴表示更改的输出亮度值。x轴被划分为5个仓或切片，各个仓的长度为l。即，映射至更改的亮度值的五个仓具有相同的长度。前向查找表(fwdlut)可使用从拼块组头可用的数据(即，整形器数据)来构造，因此可方便映射。
[0221]
在一个实施方式中，可计算与仓索引关联的输出枢轴点。输出枢轴点可设定(标记)亮度码字整形的输出范围的最小边界和最大边界。输出枢轴点的计算处理可通过计算码字数量的分段累积分布函数(cdf)来执行。输出枢轴范围可基于要使用的仓的最大数量和查找表(fwdlut或invlut)的大小来切片。作为一个示例，输出枢轴范围可基于仓的最大数量与查找表的大小之间的乘积(lut的大小*仓索引的最大数量)来切片。例如，如果仓的最大数量与查找表的大小之间的乘积为1024，则输出枢轴范围可被切片为1024个条目。输出枢轴范围的这种锯齿可基于(使用)缩放因子来执行(应用或实现)。在一个示例中，缩放因子可基于下式1来推导。
[0222]
[式1]
[0223]
sf＝(y2-y1)*(1＜＜fp_prec) c
[0224]
在式1中，sf表示缩放因子，y1和y2表示与各个仓对应的输出枢轴点。另外，fp_prec和c可以是预定常数。基于式1确定的缩放因子可被称为用于前向整形的缩放因子。
[0225]
在另一实施方式中，关于反向整形(反向映射)，对于所定义的要使用的仓的范围(即，从reshaper_model_min_bin_idx至reshape_model_max_bin_idx)，获取与前向lut的映射枢轴点对应的输入整形枢轴点和映射反向输出枢轴点(由所考虑的仓索引*初始码字数量给出)。在另一示例中，缩放因子sf可基于下式2来推导。
[0226]
[式2]
[0227]
sf＝(y2-y1)*(1＜＜fp_prec)/(x2-x1)
[0228]
在式2中，sf表示缩放因子，x1和x2表示输入枢轴点，y1和y2表示与各个片段(仓)对应的输出枢轴点(反向映射的输出枢轴点)。这里，输入枢轴点可以是基于前向查找表(fwdlut)映射的枢轴点，输出枢轴点可以是基于反向查找表(invlut)反向映射的枢轴点。另外，fp_prec可以是预定常数值。式2的fp_prec可与式1的fp_prec相同或不同。基于式2确定的缩放因子可被称为用于反向整形的缩放因子。在反向整形期间，输入枢轴点的分割可
基于式2的缩放因子来执行。缩放因子sf用于对输入枢轴点的范围进行切片。基于分割的输入枢轴点，从0至最小仓索引(reshaper_model_min_bin_idx)和/或从最小仓索引(reshaper_model_min_bin_idx)至最大仓索引(reshape_model_max_bin_idx)的范围内的仓索引被指派与最小仓值和最大仓值对应的枢轴值。
[0229]
在一个示例中，lmcs数据(lmcs_data)可被包括在aps中。例如，aps的语义可以是为编码用信号通知的32个aps。
[0230]
下表示出根据本文献的实施方式的示例性aps的句法和语义。
[0231]
[表15]
[0232][0233]
[表16]
[0234][0235]
参照表15，可在aps中解析/用信号通知aps参数的类型信息(例如，aps_params_type)。可在adaptation_parameter_set_id之后解析/用信号通知aps参数的类型信息。
[0236]
包括在上表15中的aps_params_type、alf_aps和lmcs_aps可根据包括在表16中的表3.2来描述。即，根据包括在表15中的aps_params_type，应用于aps的aps参数的类型可如包括在表16中的表3.2所示设定。包括在表15中的句法元素可参照表8来描述。与aps有关的描述可由上面与表1至表8一起提供的描述支持。
[0237]
参照表16，例如，aps_params_type可以是用于对对应aps参数的类型进行分类的句法元素。aps参数的类型可包括alf参数和lmcs参数。参照表16，当类型信息(aps_params_type)的值为0时，aps_params_type的名称可被确定为alf_aps(或alf aps)，aps参数的类型可被确定为alf参数(aps参数可表示alf参数)。在这种情况下，alf数据字段(即，alf_data())可被解析/用信号通知给aps。当类型信息(aps_params_type)的值为1时，aps_params_type的名称可被确定为lmcs_aps(或lmcs aps)，aps参数的类型可被确定为lmcs参
数(aps参数可表示lmcs参数)。在这种情况下，lmcs数据字段(即，lmcs_data())可被解析/用信号通知给aps。
[0238]
下面的表17和/或表18示出根据实施方式的整形器模型的句法。整形器模型可被称为lmcs模型。尽管这里整形器模型被示例性地描述为拼块组整形器，但本说明书未必限于此实施方式。例如，整形器模型可被包括在aps中，或者拼块组整形器模型可被称为切片整形器模型或lmcs数据(lmcs数据字段)。另外，前缀“reshaper_model”或“rsp”可与“lmcs”互换使用。例如，在以下的表和下面的描述中，reshaper_model_min_bin_idx、reshaper_model_delta_max_bin_idx、reshaper_model_max_bin_idx、rspcw和rsepdeltacw可分别与lmcs_min_bin_idx、lmcs_delta_cs_bin_idx、lmx mixed、lmcs_delta_csdcs_bin_idx和wlm_idx互换使用。
[0239]
包括在上表15中的lmcs数据(lmcs_data())或整形器模型(拼块组整形器或切片整形器)可被表示为包括在下表中的句法。
[0240]
[表17]
[0241][0242]
[表18]
[0243][0244]
包括在表17和/或表18的句法中的句法元素的语义可包括例如下表中公开的事项。
[0245]
[表19]
[0246]
[0247][0248]
[表20]
[0249]
[0250]
[0251][0252]
根据本文献的亮度样本的反向映射处理可如下表所示以标准文献的形式描述。
[0253]
[表21]
[0254][0255]
根据本文献的亮度样本的分段函数索引处理的标识可如下表所示以标准文献的形式描述。在表22中，idxyinv可被称为反向映射索引，并且反向映射索引可基于重构的亮度样本(lumasample)来推导。
[0256]
[表22]
[0257]
[0258][0259]
可基于上述实施方式和示例来执行亮度映射，并且上述句法和包括在其中的组件可以仅是示例性表示，本文献中的实施方式不限于上述表或式。以下，描述基于亮度映射来执行色度残差缩放(残差样本的色度分量的缩放)的方法。
[0260]
(亮度相关)色度残差缩放被设计为补偿亮度信号及其对应色度信号之间的相互作用。例如，还在拼块组级别用信号通知色度残差缩放是否被启用。在一个示例中，如果亮度映射被启用并且如果不对当前拼块组应用双树分区(也称为单独的色度树)，则用信号通知附加标志以指示亮度相关色度残差缩放是否被启用。在其它示例中，当不使用亮度映射时，或者当在当前拼块组中使用双树分区时，亮度相关色度残差缩放被禁用。在另一示例中，对于面积小于或等于4的色度块，亮度相关色度残差缩放始终被禁用。
[0261]
色度残差缩放可基于对应亮度预测块的平均值(应用了帧内预测模式和/或帧间预测模式的预测块的亮度分量)。编码器端和/或解码器侧的缩放操作可基于下式3以定点整数算术来实现。
[0262]
[式3]
[0263]
c’＝sign(c)*((abs(c)*s 2cscale_fp_prec-1)＞＞cscale_fp_prec)
[0264]
在式3中，c
′
表示缩放的色度残差样本(残差样本的缩放的色度分量)，c表示色度残差样本(色度残差样本、残差样本的色度分量)，s表示色度残差缩放因子，cscale_fp_prec表示(预定义的)常数值以指定精度。例如，cscale_fp_prec可为11。
[0265]
图11是示出根据本文献的实施方式的用于推导色度残差缩放索引的方法的流程图。图11中的方法可基于图8以及包括在与图8有关的描述中的表、式、变量、阵列和函数来执行。
[0266]
在步骤s1110中，可基于预测模式信息确定当前块的预测模式是帧内预测模式还是帧间预测模式。如果预测模式是帧内预测模式，则当前块或当前块的预测样本被认为已经在整形(映射)区域中。如果预测模式是帧间预测模式，则当前块或当前块的预测样本被认为在原始(未映射、未整形)区域中。
[0267]
在步骤s1120中，当预测模式是帧内预测模式时，可计算(推导)当前块的平均(或当前块的亮度预测样本)。即，直接计算在已经整形的区域中当前块的平均。平均也可被称为平均值或均值。
[0268]
在步骤s1121中，当预测模式是帧间预测模式时，可对当前块的亮度预测样本执行(应用)前向整形(前向映射)。通过前向整形，基于帧间预测模式的亮度预测样本可从原始区域映射至整形区域。在一个示例中，亮度预测样本的前向整形可基于以上面的表17和/或表18描述的整形模型来执行。
[0269]
在步骤s1122中，可计算(推导)前向整形的(前向映射的)亮度预测样本的平均。即，可执行前向整形结果的平均处理。
[0270]
在步骤s1130中，可计算色度残差缩放索引。当预测模式是帧内预测模式时，可基于亮度预测样本的平均来计算色度残差缩放索引。当预测模式是帧间预测模式时，色度残差缩放索引可基于前向整形的亮度预测样本的平均来计算。
[0271]
在实施方式中，可基于for循环句法来计算色度残差缩放索引。下表示出用于推导(计算)色度残差缩放索引的示例性for循环句法。
[0272]
[表23]
[0273][0274]
在表23中，idxs表示色度残差缩放索引，idxfound表示标识是否获得满足if语句的条件的色度残差缩放索引的索引，s表示预定常数值，maxbinidx表示最大允许仓索引。reshappivot[idxs 1](换言之，lmcspivot[idxs 1])可基于上述表19和/或表20来推导。
[0275]
在实施方式中，可基于色度残差缩放索引来推导色度残差缩放因子。式4是用于推导色度残差缩放因子的示例。
[0276]
[式4]
[0277]
s＝chromascalecoef[idxs]
[0278]
在式4中，s表示色度残差缩放因子，chromascalecoef可以是基于上述表19和/或表20推导的变量(或阵列)。
[0279]
如上所述，可获得参考样本的平均亮度值，并且可基于平均亮度值来推导色度残差缩放因子。如上所述，可基于色度残差缩放因子来缩放色度分量残差样本，并且可基于缩放的色度分量残差样本来生成色度分量重构样本。
[0280]
在本文献的一个实施方式中，提出了用于高效地应用上述lmcs的信令结构。根据本文献的此实施方式，例如，lmcs数据可被包括在hls(即，aps)中，并且通过aps的较低级别的头信息(即，画面头、切片头)，lmcs模型(整形器模型)可通过用信号通知aps的id(称为头信息)来自适应地推导。lmcs模型可基于lmcs参数来推导。另外，例如，可通过头信息用信号
通知多个aps id，并且由此，可在同一画面/切片内以块为单位应用不同的lmcs模型。
[0281]
在根据本文献的一个实施方式中，提出了高效地执行lmcs所需的操作的方法。根据上面在表19和/或表20中描述的语义，需要通过片段长度lmcscw[i](在本文献中也称为rspcw[i])的除法运算以推导invscalecoeff[i]。反向映射的片段长度可能不是2的幂，这意味着无法通过比特移位执行除法。
[0282]
例如，计算invscalecoeff可能需要每切片至多16次除法。根据上述表19和/或表20，对于10比特编码，lmcscw[i]的范围是从8至511，因此为了实现使用lut按照lmcscw[i]的除法运算，lut的大小必须为504。另外，对于12比特编码，lmcscw[i]的范围是从32至2047，因此lut大小需要为2016，以实现使用lut按照lmcscw[i]的除法运算。即，除法在硬件实现方面昂贵，因此，可取的是尽可能避免除法。
[0283]
在此实施方式的一个方面，lmcscw[i]可被约束为固定数量(或预定数量)的倍数。因此，除法的查找表(lut)(lut的容量或大小)可减小。例如，如果lmcscw[i]变为2的倍数，则替换除法处理的lut的大小可减小一半。
[0284]
在此实施方式的另一方面，提出对于以更高内部比特深度编码进行编码，在现有约束“lmcscw[i]的值应在(orgcw》》3)至(orgcw《《3-1)的范围内”之上，如果编码比特深度高于10，则进一步将lmcscw[i]约束为1《《(bitdepthy-10)的倍数。这里，bitdepthy可以是亮度比特深度。因此，lmcscw[i]的可能数量不会随编码比特深度而变化，并且计算invscalecoeff所需的lut的大小不会由于更高的编码比特深度而增加。例如，对于12比特内部编码比特深度，lmcscw[i]的极限值是4的倍数，则替换除法处理的lut将与用于10比特编码的相同。这方面可单独实现，但是也可与上述方面组合实现。
[0285]
在此实施方式的另一方面，lmcscw[i]可被约束为更窄的范围。例如，lmcscw[i]可被约束在从(orgcw》》1)至(orgcw《《1)-1的范围内。然后对于10比特编码，lmcscw[i]的范围可为[32,127]，因此，仅需要大小为96的lut来计算invscalecoeff。
[0286]
在本实施方式的另一方面，lmcscw[i]可被近似为与2的幂最接近的数，并在整形器设计中使用。因此，可通过比特移位来执行(并替换)反向映射中的除法。
[0287]
在根据本文献的一个实施方式中，提出了lmcs码字范围的约束。根据上述表8，lmcs码字的值在从(orgcw》》3)至(orgcw《《3)-1的范围内。此码字范围太宽。当rspcw[i]和orgcw之间存在较大差异时，可能导致视觉伪影问题。
[0288]
依据根据本文献的一个实施方式，提出了将lmcs pwl映射的码字约束至窄范围。例如，lmcscw[i]的范围可在范围(orgcw》》1)至(orgcw《《1)-1内。
[0289]
在根据本文献的一个实施方式中，对于lmcs中的色度残差缩放提出使用单个色度残差缩放因子。推导色度残差缩放因子的现有方法使用对应亮度块的平均值并推导反向亮度映射的每一片段的斜率作为对应缩放因子。另外，识别分段索引的处理需要对应亮度块的可用性，这导致延迟问题。这对于硬件实现而言是不可取的。根据本文献的此实施方式，色度块中的缩放可能不依赖于亮度块值，并且可能不需要识别分段索引。因此，lmcs中的色度残差缩放处理可在没有延迟问题的情况下执行。
[0290]
在根据本文献的一个实施方式中，可基于亮度lmcs信息从编码器和解码器二者推导单个色度缩放因子。当接收到lmcs亮度模型时，可更新色度残差缩放因子。例如，当lmcs模型更新时，单个色度残差缩放因子可更新。
[0291]
下表示出根据本实施方式的获得单个色度缩放因子的示例。
[0292]
[表24]
[0293][0294]
参照表24，可通过对lmcs_min_bin_idx和lmcs_max_bin_idx内的所有片段的反向亮度映射斜率取平均来获得单个色度缩放因子(例如，chromascalecoeff或chromascalecoeffsingle)。
[0295]
图12示出根据本文献的实施方式的枢轴点的线性拟合。在图12中，示出枢轴点p1、ps和p2。以下实施方式或其示例将以图12来描述。
[0296]
在此实施方式的示例中，可基于枢轴点lmcs_min_bin_idx和lmcs_max_bin_idx 1(lmcsmaxbinidx 1)之间的亮度pwl映射的线性近似来获得单个色度缩放因子。即，线性映射的反斜率可用作色度残差缩放因子。例如，图12的线性线1可以是连接枢轴点p1和p2的直线。参照图12，在p1中，输入值为x1并且映射值为0，并且在p2中，输入值为x2并且映射值为y2。线性线1的反斜率(反标度)为(x2-x1)/y2，并且可基于枢轴点p1、p2的输入值和映射值以及下式来计算单个色度缩放因子chromascalecoeffsingle。
[0297]
[式5]
[0298]
chromascalecoeffsingle＝(x2-x1)*(1＜＜cscale_fp_prec)/y2
[0299]
在式5中，cscale_fp_prec表示移位因子，例如，cscale_fp_prec可以是预定常数值。在一个示例中，cscale_fp_prec可为11。
[0300]
在根据此实施方式的另一示例中，参照图12，枢轴点ps处的输入值为min_bin_idx 1，枢轴点ps处的映射值为ys。因此，线性线1的反斜率(反标度)可被计算为(xs-x1)/ys，并且可基于枢轴点p1、ps的输入值和映射值以及下式来计算单个色度缩放因子chromascalecoeffsingle。
[0301]
[式6]
[0302]
chromascalecoeffsingle＝(xs-x1)*(1＜＜cscale_fp_prec)/ys
[0303]
在式6中，cscale_fp_prec表示移位因子(比特移位因子)，例如，cscale_fp_prec可以是预定常数值。在一个示例中，cscale_fp_prec可为11，并且可基于cscale_fp_prec执行反标度的比特移位。
[0304]
在根据此实施方式的另一示例中，可基于线性近似线来推导单个色度残差缩放因子。推导线性近似线的示例可包括枢轴点(即，lmcs_min_bin_idx、lmcs_max_bin_idx 1)的线性连接。例如，线性近似结果可由pwl映射的码字表示。p2处的映射值y2可以是所有仓(分片)的码字之和，并且p2处的输入值与p1处的输入值之差(x2-x1)为orgcw*(lmcs_max_bin_idx-lmcs_min_bin_idx 1)(对于orgcw，参见上面的表19和/或表20)。下表示出根据上述实施方式获得单个色度缩放因子的示例。
[0305]
[表25]
[0306][0307]
参照表25，可从两个枢轴点(即，lmcs_min_bin_idx、lmcs_max_bin_idx)获得单个色度缩放因子(例如，chromascalecoeffsingle)。例如，线性映射的反斜率可用作色度缩放因子。
[0308]
在此实施方式的另一示例中，可通过枢轴点的线性拟合来获得单个色度缩放因子以使线性拟合与现有pwl映射之间的误差(或均方误差)最小化。此示例可比简单连接lmcs_min_bin_idx和lmcs_max_bin_idx处的两个枢轴点更准确。寻找最优线性映射有许多方式，下面描述这样的示例。
[0309]
在一个示例中，用于使最小二乘误差之和最小化的线性拟合式y＝b1*x b0的参数b1和b0可基于下式7和/或式8来计算。
[0310]
[式7]
[0311][0312]
[式8]
[0313][0314]
在式7和式8中，x是原始亮度值，y是整形亮度值，和是x和y的均值，xi和yi表示第i枢轴点的值。
[0315]
参照图12，识别线性映射的另一简单近似被给出为：
[0316]-通过连接lmcs_min_bin_idx和lmcs_max_bin_idx 1处的pwl映射的枢轴点来得到线性线1，以orgw的倍数的输入值计算此线性线的lmcs_pivots_linear[i]
[0317]-使用线性线1并使用pwl映射对枢轴点映射值之差进行求和。
[0318]-得到平均差avgdiff。
[0319]-根据平均差来调节线性线的最后枢轴点，例如，2*avgdiff
[0320]-使用调节的线性线的反斜率作为色度残差标度。
[0321]
根据上述线性拟合，色度缩放因子(即，前向映射的反斜率)可基于下式9或式10来推导(获得)。
[0322]
[式9]
[0323]
chromascalecoeffsingle＝orgcw*(1＜＜cscale_fp_prec)/lmcs_pivots_linear[lmcs_min_bin_idx 1]
[0324]
[式10]
[0325]
chromascalecoeffsingle＝orgcw*(lmcs_max_bin_idx-lmcs_max_bin_idx 1)*(1＜＜cscale_fp_prec)/lmcs_pivots_linear[lmcs_max_bin_idx 1]
[0326]
在上述式中，lmcs_pivots_lienar[i]可以是线性映射的映射值。对于线性映射，
最小仓索引和最大仓索引之间的pwl映射的所有片段可具有相同的lmcs码字(lmcscw)。即，lmcs_pivots_linear[lmcs_min_bin_idx 1]可与lmcscw[lmcs_min_bin_idx]相同。
[0327]
另外，在式9和式10中，cscale_fp_prec表示移位因子(比特移位因子)，例如，cscale_fp_prec可以是预定常数值。在一个示例中，cscale_fp_prec可为11。
[0328]
利用单个色度残差缩放因子(chromascalecoeffsingle)，不再需要计算对应亮度块的平均，在pwl线性映射中寻找索引以得到色度残差缩放因子。因此，使用色度残差缩放的编码效率可增加。这不仅消除了对对应亮度块的依赖性，解决了延迟问题，而且降低了复杂度。
[0329]
根据上述本实施方式的与lmcs数据有关的语义和/或色度样本的亮度相关色度残差缩放过程可如下表所示以标准文献格式描述。
[0330]
[表26]
[0331][0332]
[表27]
[0333]
[0334][0335]
在本文献的另一实施方式中，编码器可确定与单个色度缩放因子有关的参数并将这些参数用信号通知给解码器。利用信令，编码器可利用编码器处可用的其它信息来推导色度缩放因子。此实施方式旨在消除色度残差缩放延迟问题。
[0336]
例如，识别要用于确定色度残差缩放因子的线性映射的另一示例给出如下：
[0337]-通过连接lmcs_min_bin_idx和lmcs_max_bin_idx 1处的pwl映射的枢轴点，以orgw的倍数的输入值计算此线性线的lmcs_pivots_linear[i]
[0338]-使用线性线1和亮度pwl映射的那些来得到枢轴点的映射值之差的加权和。权重可基于编码器统计数据(例如，仓的直方图)。
[0339]-得到加权平均差avgdiff。
[0340]-根据加权平均差来调节线性线1的最后枢轴点，例如，2*avgdiff
[0341]-使用调节的线性线的反斜率来计算色度残差标度。
[0342]
下表示出用信号通知用于色度缩放因子推导的y值的句法的示例。
[0343]
[表28]
[0344][0345]
在表28中，句法元素lmcs_chroma_scale可指定用于lmcs色度残差缩放的单个色度(残差)缩放因子(chromascalecoeffsingle＝lmcs_chroma_scale)。即，可直接用信号通知关于色度残差缩放因子的信息，并且用信号通知的信息可被推导为色度残差缩放因子。换言之，用信号通知的关于色度残差缩放因子的信息的值可被(直接)推导为单个色度残差缩放因子的值。这里，句法元素lmcs_chroma_scale可与其它lmcs数据(即，与码字的绝对值和符号等有关的句法元素)一起用信号通知。
[0346]
另选地，编码器可仅用信号通知必要参数以在解码器处推导色度残差缩放因子。为了在解码器处推导色度残差缩放因子，需要输入值x和映射值y。由于x值是仓长度并且是已知数，所以不需要用信号通知。毕竟，仅需要用信号y值通知以便推导色度残差缩放因子。
这里，y值可以是线性映射中的任何枢轴点的映射值(即，图12中的p2或ps的映射值)。
[0347]
下表示出用信号通知用于推导色度残差缩放因子的映射值的示例。
[0348]
[表29]
[0349][0350]
[表30]
[0351][0352]
上述表29和表30的句法之一可用于用信号通知编码器和解码器所指定的任何线性枢轴点处的y值。即，编码器和解码器可使用相同的句法来推导y值。
[0353]
首先，描述根据表29的实施方式。在表29中，lmcs_cw_linear可表示ps或p2处的映射值。即，在根据表29的实施方式中，可通过lmcs_cw_linear用信号通知固定数。
[0354]
在根据此实施方式的示例中，如果lmcs_cw_linear表示一个仓的映射值(即，图12的ps中的lmcs_pivots_linear[lmcs_min_bin_idx 1])，则可基于下式来推导色度缩放因子。
[0355]
[式11]
[0356]
chromascalecoeffsingle＝orgcw*(1＜＜cscale_fp_prec)/lmcs_cw_linear
[0357]
在根据此实施方式的另一示例中，如果lmcs_cw_linear表示lmcs_max_bin_idx 1(即，图12的p2中的lmcs_pivots_linear[lmcs_max_bin_idx 1])，则可基于下式来推导色
度缩放因子。
[0358]
[式12]
[0359]
chromascalecoeffsingle＝orgcw*(lmcs_max_bin_idx-lmcs_max_bin_idx 1)*(1＜＜cscale_fp_prec)/lmcs_cw_linear
[0360]
在上述式中，cscale_fp_prec表示移位因子(比特移位因子)，例如，cscale_fp_prec可以是预定常数值。在一个示例中，cscale_fp_prec可为11。
[0361]
接下来，描述根据表30的实施方式。在此实施方式中，可用信号通知lmcs_cw_linear作为相对于固定数(即，lmcs_delta_abs_cw_linear、lmcs_delta_sign_cw_linear_flag)的δ值。在此实施方式的示例中，当lmcs_cw_linear表示lmcs_pivots_linear[lmcs_min_bin_idx 1](即，图12的ps)中的映射值时，可基于下式来推导lmcs_cw_linear_delta和lmcs_cw_linear。
[0362]
[式13]
[0363]
lmcs_cw_linear_delta＝(1-2*lmcs_delta_sign_cw_linear_flag)*lmcs_delta_abs_linear_cw
[0364]
[式14]
[0365]
lmcs_cw_linear＝lmcs_cw_linear_delta orgcw
[0366]
在此实施方式的另一示例中，当lmcs_cw_linear表示lmcs_pivots_linear[lmcs_max_bin_idx 1](即，图12的p2)中的映射值时，可基于下式来推导lmcs_cw_linear_delta和lmcs_cw_linear。
[0367]
[式15]
[0368]
lmcs_cw_linear_delta＝(1-2*lmcs_delta_sign_cw_linear_flag)*hncs_delta_abs_linear_cw
[0369]
[式16]
[0370]
lmcs_cw_linear＝lmcs_cw_linear_belta orgcw*(lmcs_max_bin_idx-lmcs_max_bin_idx 1)
[0371]
在上述式中，orgcw可以是基于上述表19和/或表20推导的值。
[0372]
根据上述本实施方式的用于与lmcs数据有关的语义和/或色度样本的亮度相关色度残差缩放过程可如下表所示以标准文献格式来描述。
[0373]
[表31]
[0374][0375][0376]
[表32]
[0377][0378]
图13示出根据本文献的实施方式的线性整形(或线性整形、线性映射)的一个示例。即，在此实施方式中，提出了在lmcs中使用线性整形器。例如，图13中的此示例可涉及前向线性整形(映射)。
[0379]
参照图13，线性整形器可包括两个枢轴点，即，p1和p2。p1和p2可表示输入值和映射值，例如p1可为(min_input,0)并且p2可为(max_input,max_mapped)。这里，min_input表示最小输入值，max_input表示最大输入值。小于或等于min_input的任何输入值被映射至0，大于max_input的任何输入值被映射至max_mapped。min_input和max_input内的任何输入亮度值被线性映射至其它值。图13示出映射的示例。可在编码器处确定枢轴点p1、p2，并且可使用线性拟合来近似分段线性映射。
[0380]
在根据本文献的另一实施方式中，可提出用信号通知线性整形器的方法的另一示例。可明确用信号通知线性整形器模型的枢轴点p1、p2。下表示出根据此示例的明确用信号通知线性整形器模型的句法和语义的示例。
[0381]
[表33]
[0382][0383]
[表34]
[0384][0385]
参照表33和表34，可基于句法元素lmcs_min_input来推导第一枢轴点的输入值，并且可基于句法元素lmcs_max_input来推导第二枢轴点的输入值。第一枢轴点的映射值可以是预定值(编码器和解码器二者已知的值)，例如，第一枢轴点的映射值为0。可基于句法元素lmcs_max_mapped来推导第二枢轴点的映射值。即，可基于在表33的句法中用信号通知的信息来明确(直接)用信号通知线性整形器模型。
[0386]
另选地，lmcs_max_input和lmcs_max_mapped可作为δ值用信号通知。下表示出作为δ值用信号通知线性整形器模型的句法和语义的示例。
[0387]
[表35]
[0388][0389]
[表36]
[0390][0391]
参照表36，可基于句法元素lmcs_min_input来推导第一枢轴点的输入值。例如，lmcs_min_input可具有映射值0。lmcs_max_input_delta可指定第二枢轴点的输入值与最大亮度值(即，(1＜＜bitdepthy)-1)之差。lmcs_max_mapped_delta可指定第二枢轴点的映射值与最大亮度值(即，(1＜＜bitdepthy)-1)之差。
[0392]
根据本文献的实施方式，可基于线性整形器的上述示例来执行亮度预测样本的前向映射、亮度重构样本的反向映射和色度残差缩放。在一个示例中，在基于线性整形器的反向映射中对于亮度(重构)样本(像素)的反向缩放可仅需要一个反向缩放因子。对于前向映射和色度残差缩放也是如此。即，确定scalecoeff[i]、invscalecoeff[i]和chromascalecoeff[i](i是仓索引)的步骤可仅由一个单一因子代替。这里，一个单一因子是线性映射的(正)斜率或反斜率的固定点表示。在一个示例中，可基于下式中的至少一个来推导反向亮度映射缩放因子(亮度重构样本的反向映射中的反向缩放因子)。
[0393]
[式17]
[0394]
invscalecoeffsingle＝orgcw/lmcscwlinear
[0395]
[式18]
[0396]
invscalecoeffsingle＝orgcw*(lmcs_max_bin_idx-lmcs_max_bin_idx 1)/lmcscwlineara11
[0397]
[式19]
[0398]
invscalecoeffsingle＝(lmcs_max_input-lmcs_min_input)/lmcscwlinearall
[0399]
式17的lmcscwlinear可从上述表31推导。式18和式19的lmcscwlinearall可从上述表33至表36中的至少一个推导。在式17或式18中，orgcw可从表19和/或表20推导。
[0400]
下表描述了指示在画面重构中对亮度样本(即，亮度预测样本)的前向映射处理的式和句法(条件语句)。在下面的表和式中，fp_prec是比特移位的常数值，并且可以是预定值。例如，fp_prec可为11或15。
[0401]
[表37]
[0402][0403]
[表38]
[0404][0405]
表37可用于基于上述表17至表20在亮度映射处理中推导前向映射的亮度样本。即，表37可与表19和表20一起描述。在表37中，作为输出的前向映射的亮度(预测)样本predmappsamples[i][j]可从作为输入的亮度(预测)样本predsamples[i][j]推导。表37的idxy可被称为(前向)映射索引，映射索引可基于预测亮度样本来推导。
[0406]
表38可用于在基于线性整形器的亮度映射中推导前向映射的亮度样本。例如，表38的lmcs_min_input、lmcs_max_input、lmcs_max_mapped和scalecoeffsingle可通过表33至表36中的至少一个推导。在表38中，在“lmcs_min_input《predsamples[i][j]《lmcs_max_
input”的情况下，前向映射的亮度(预测)样本predmapsamples[i][j]可从输入的亮度(预测)样本predsamples[i][j]推导作为输出。在表37和表38之间比较，可从前向映射的角度看出根据线性整形器的应用相对于现有lmcs的改变。
[0407]
下式和表描述了亮度样本(即，亮度重构样本)的反向映射处理。在下式和表中，作为输入的“lumasample”可以是反向映射之前(修改之前)的亮度重构样本。作为输出的“invsample”可以是反向映射的(修改的)亮度重构样本。在其它情况下，剪辑的invsample可被称为修改的亮度重构样本。
[0408]
[式20]
[0409]
invsample＝inputpivot[idxyinv] (invscalecoeff[idxyinv]*(lumasample-lmcspivot[idxyinv]) (1＜＜(fp_prec-1)))＞＞fp_prec
[0410]
[式21]
[0411]
invsample＝lmcs_min_input (invscalecoeffsingle*(lumasample-lmcs_min_input) (1＜＜(fp_prec-1)))＞＞fp_prec
[0412]
[表39]
[0413][0414]
[表40]
[0415][0416]
式21可用于在根据本文献的亮度映射中推导反向映射的亮度样本。在式20中，索引idxinv可基于稍后描述的表50、表51或表52来推导。
[0417]
式21可用于根据线性整形器的应用从亮度映射推导反向映射的亮度样本。例如，式21的lmcs_min_input可从表33至表36中的至少一个推导。通过式20和式21之间的比较，可从前向映射的角度看出根据线性整形器的应用相对于现有lmcs的改变。
[0418]
表39可包括在亮度映射中推导反向映射的亮度样本的式的示例。例如，索引idxinv可基于稍后描述的表50、表51或表52来推导。
[0419]
表40可包括在亮度映射中推导反向映射的亮度样本的式的其它示例。例如，表40的lmcs_min_input和/或lmcs_max_mapped可通过表33至表36中的至少一个推导，和/或表40的invscalecoeffsingle至少是表33至表36，和/或式17至式19可由一推导。
[0420]
基于线性整形器的上述示例，分段索引识别处理可被省略。即，在本示例中，由于仅存在一个具有有效整形亮度像素的片段，所以可去除用于反向亮度映射和色度残差缩放的分段索引识别处理。因此，反向亮度映射的复杂度可降低。另外，由在色度残差缩放期间依赖于亮度分段索引识别导致的延迟问题可消除。
[0421]
根据使用上述线性整形器的实施方式，可为lmcs提供以下优点：i)可简化编码器整形器设计，从而防止由分段线性片段之间的突然改变导致的可能伪影；ii)可通过消除分
段索引识别处理来简化可去除分段索引识别处理的解码器反向映射处理；iii)通过去除分段索引识别处理，可去除色度残差缩放中由依赖于对应亮度块导致的延迟问题；iv)可减少信令开销，并使整形器的频繁更新更可行；v)对于过去需要16个片段的循环的许多地方，循环可被消除。例如，为了推导invscalecoeff[i]，按照lmcscw[i]的除法运算的数量可减少至1。
[0422]
在根据本文献的另一实施方式中，提出基于灵活仓的lmcs。这里，灵活仓可指数量未固定为预定(预定义、特定)数量的仓。在现有实施方式中，lmcs中的仓的数量被固定为16，对于输入样本值，这16个仓相等地分布。在此实施方式中，提出了灵活数量的仓，并且这些片段(仓)在原始像素值方面可能没有相等地分布。
[0423]
下表示例性地示出根据此实施方式的lmcs数据(数据字段)的句法和包括在其中的句法元素的语义。
[0424]
[表41]
[0425][0426]
[表42]
[0427][0428][0429]
参照表41，可用信号通知关于仓的数量的信息lmcs_num_bins_minus1。参照表42，lmcs_num_bins_minus1 1可等于仓的数量，仓的数量可在从1至(1《《bitdepthy)-1的范围
内。例如，lmcs_num_bins_minus1或lmcs_num_bins_minus1 1可以是2的幂的倍数。
[0430]
在与表41和表42一起描述的实施方式中，不管整形器是否为线性的(lmcs_num_bins_minus1的信令)，可基于lmcs_num_bins_minus1(关于仓的数量的信息)来推导枢轴点的数量，并且可基于用信号通知的码字值(lmcs_delta_input_cw[i]、lmcs_delta_mapped_cw[i])的总和来推导枢轴点的输入值和映射值(lmcspivot_input[i]、lmcspivot_mapped[i])(这里，初始输入值lmcspivot_input[0]和初始输出值lmcspivot_mapped[0]为0)。
[0431]
图14示出本文献的实施方式中的线性前向映射的示例。图15示出本文献的实施方式中的逆前向映射的示例。
[0432]
在根据图14和图15的实施方式中，提出了支持常规lmcs和线性lmcs二者的方法。在根据此实施方式的示例中，常规lmcs和/或线性lmcs可基于句法元素lmcs_is_linear来指示。在编码器中，在确定线性lmcs线之后，映射值(即，图14和图15的pl中的映射值)可被划分为相等的片段(即，lmcsmaxbinidx-lmcs_min_bin_idx 1)。可使用上述lmcs数据或整形器模式的句法用信号通知仓lmcsmaxbinidx中的码字。
[0433]
下表示例性地示出根据此实施方式的示例的lmcs数据(数据字段)的句法和包括在其中的句法元素的语义。
[0434]
[表43]
[0435][0436]
[表44]
[0437]
[0438][0439]
下表示例性地示出根据此实施方式的另一示例的lmcs数据(数据字段)的句法和包括在其中的句法元素的语义。
[0440]
[表45]
[0441]
[0442]
[表46]
[0443][0444][0445]
参照表43至表46，当lmcs_is_linear_flag为真时，lmcs_min_bin_idx和lmcsmaxbinidx之间的所有lmcsdeltacw[i]可具有相同的值。即，lmcs_min_bin_idx和lmcsmaxbinidx之间的所有片段的lmcscw[i]可具有相同的值。lmcs_min_bin_idx和lmcsmaxbinidx之间的所有片段的标度和反标度和色度标度可相同。然后如果线性整形器
为真，则不需要推导片段索引，它可使用仅来自一个片段的标度、反标度。
[0446]
下表示例性地示出根据本实施方式的分段索引的识别处理。
[0447]
[表47]
[0448][0449]
根据本文献的另一实施方式，常规16片段pwl lmcs和线性lmcs的应用可取决于更高级别的句法(即，序列级别)。
[0450]
下表示例性地示出根据本实施方式的sps的句法和包括在其中的句法元素的语义。
[0451]
[表48]
[0452][0453]
[表49]
[0454][0455]
参照表48和表49，可由包括在sps中的句法元素确定(用信号通知)常规lmcs和/或线性lmcs的启用。参照表48，基于句法元素sps_linear_lmcs_enabled_flag，常规lmcs或线性lmcs之一可以序列为单位使用。
[0456]
另外，是否仅启用线性lmcs或常规lmcs还是二者也可取决于简档级别。在一个示例中，对于特定简档(即，sdr简档)，可仅允许线性lmcs，对于另一简档(即，hdr简档)，可仅允许常规lmcs，对于另一简档，可允许常规lmcs和/或线性lmcs二者。
[0457]
根据本文献的另一实施方式，可在反向亮度映射和色度残差缩放中使用lmcs分段索引识别处理。在此实施方式中，分段索引的识别处理可用于色度残差缩放被启用的块，并且也被调用用于整形(映射)域中的所有亮度样本。本实施方式旨在保持其复杂度低。
[0458]
下表示出现有分段函数索引的识别处理(推导处理)。
[0459]
[表50]
[0460]
[0461]
在示例中，在分段索引识别处理中，输入样本可被分类为至少两个类别。例如，输入样本可被分类为三个类别，第一、第二和第三类别。例如，第一类别可表示小于lmcspivot[lmcs_min_bin_idx 1]的样本(其值)，第二类别可表示大于或等于lmcspivot[lmcsmaxbinidx](其值)的样本(其值)，第三类别可指示lmcspivot[lmcs_min_bin_idx 1]和lmcspivot[lmcsmaxbinidx]之间的样本(其值)。
[0462]
在此实施方式中，提出了通过消除类别分类来优化识别处理。这是因为分段索引识别处理的输入是整形(映射)域中的亮度值，不应有值超过枢轴点lmcs_min_bin_idx和lmcsmaxbinidx 1处的映射值。因此，现有分段索引识别处理中将样本分类为类别的条件处理是不必要的。对于更多细节，将在下面以表来描述具体示例。
[0463]
在根据此实施方式的示例中，包括在表50中的识别处理可由下面的表51或表52之一代替。参照表51和表52，表50的前两个类别可被去除，对于最后类别，迭代的for循环中的边界值(第二边界值或终点)从lmcsmaxbinidx改变为lmcsmaxbinidx 1。即，识别处理可被简化，并且分段索引推导的复杂度可降低。因此，可根据本实施方式高效地执行lmcs相关编码。
[0464]
[表51]
[0465][0466]
[表52]
[0467][0468]
参照表52，可对从最小仓索引到最大仓索引的所有仓索引迭代地执行与if语句的条件对应的比较处理(与if语句的条件对应的式)。在与if语句的条件对应的式为真的情况下，仓索引可被推导为反向亮度映射的反向映射索引(或色度残差缩放的反向缩放索引)。基于反向映射索引，可推导修改的重构亮度样本(或缩放的色度残差样本)。
[0469]
在现有实施方式中，对于编码为单独块树的切片(例如，帧内切片)，由于对应亮度块中的色度残差缩放依赖性而引起的延迟高于编码为双树的切片。因此，在现有实施方式中，不对编码为单独块树的切片应用lmcs色度残差缩放。
[0470]
在此实施方式中，色度残差缩放甚至可应用于编码为单独树的切片。当使用上述单个色度残差缩放因子时，由于对应亮度块中在色度残差缩放之间不存在依赖性，所以可能不存在由色度残差缩放的应用导致的延迟。
[0471]
下表示出根据本实施方式的切片头的句法和语义。
[0472]
[表53]
[0473][0474]
[表54]
[0475][0476]
参照表54，不管指示当前块具有双树结构还是单树结构的条件子句(或其标志)如何，可用信号通知色度残差缩放标志。
[0477]
在根据本文献的实施方式中，可在aps中用信号通知alf数据和/或lmcs数据。例如，可使用32个aps。在一个示例中，如果所有aps用于alf和/或lmcs，则aps的缓冲可能需要大约10kb的芯片上存储器。为了限制(减少)存储alf/lmcs参数所需的存储器以及lmcs所需的计算复杂度，此实施方式提出了限制alf和/或lmcs aps的数量的方法。
[0478]
在根据此实施方式的示例中，不管包括在画面中的切片或图块的数量如何，可使用(允许)每画面一个lmcs模型。用于lmcs的aps的数量可小于32。例如，用于lmcs的aps的数量可为4。
[0479]
下表示出根据本实施方式的与aps有关的语义。
[0480]
[表55]
[0481][0482]
参照表55，lmcs aps的最大数量可预先确定。例如，lmcs aps的最大数量可为四个。参照表15和表55，多个aps可包括lmcs aps。lmcs aps的(最大)数量可为四个。在一个示例中，包括在lmcs aps的一个lmcs aps中的lmcs数据字段可用在当前画面中的当前块的lmcs过程中。
[0483]
下表示出包括在切片头(或画面头)中的句法元素的语义。
[0484]
[表56]
[0485][0486]
可参考表54来描述从表56描述的句法元素。在示例中，句法元素slice_lmcs_aps_id可被包括在切片头中。在另一示例中，表56的句法元素slice_lmcs_aps_id可被包括在画面头中，并且在这种情况下，slice_lmcs_aps_id可被修改为ph_lmcs_aps_id。
[0487]
创建以下附图以说明本说明书的具体示例。由于附图中描述的特定装置的名称或特定信号/消息/字段的名称作为示例而呈现，所以本说明书的技术特征不限于以下附图中使用的具体名称。
[0488]
图16和图17示意性地表示根据本文献的实施方式的视频/图像编码方法和相关组件的示例。图16中公开的方法可由图2中公开的编码设备执行。具体地，例如，图16的s1600可由编码设备的预测器220执行；s1610可由编码设备的残差处理器230、预测器220和/或加法器250执行；s1620可由编码设备的残差处理器230或预测器220执行；s1630、s1640和/或s1650可由编码设备的残差处理器230执行；s1660可由编码设备的熵编码器240执行。图16中公开的方法可包括上面在本文献中描述的实施方式。
[0489]
参照图16，编码设备可生成预测亮度样本(s1600)。关于预测亮度样本，编码设备可基于预测模式来推导当前块的预测亮度样本。在这种情况下，可应用本文献中公开的各种预测方法，例如帧间预测或帧内预测。
[0490]
编码设备可推导预测色度样本。编码设备可基于当前块的原始色度样本和预测色度样本来推导残差色度样本。例如，编码设备可基于预测色度样本和原始色度样本之间的差异来推导残差色度样本。
[0491]
编码设备可推导lmcs码字(s1610)。编码设备可为多个仓推导各个lmcs码字。例如，上述lmcscw[i]可对应于编码设备推导的lmcs码字。
[0492]
编码设备可生成映射的预测亮度样本(s1620)。编码设备可基于lmcs码字来生成映射的预测亮度样本。例如，编码设备可推导用于亮度映射的枢轴点的输入值和映射值(输出值)，并且可基于输入值和映射值来生成映射的预测亮度样本。这里，输入值和映射值可基于lmcs码字来推导。在示例中，编码装置可基于第一预测亮度样本来推导映射索引(idxy)，并且可基于与映射索引对应的枢轴点的映射值和输入值来生成第一映射的预测亮度样本。在另一示例中，可使用线性映射(线性整形、线性lmcs)，并且可基于在线性映射中从两个枢轴点推导的前向映射滚动因子来生成映射的预测亮度样本，因此由于线性映射，可省略索引推导过程。
[0493]
编码设备可生成缩放的残差色度样本。具体地，编码设备可推导色度残差缩放因子并基于色度残差缩放因子来生成缩放的残差色度样本。这里，编码级的色度残差缩放可被称为前向色度残差缩放。因此，由编码设备推导的色度残差缩放因子可被称为前向色度残差缩放因子，并且可生成前向缩放的残差色度样本。
[0494]
编码设备可基于lmcs码字来推导lmcs相关信息(s1630)。另选地，编码设备可基于映射的预测亮度样本和/或缩放的残差色度样本来生成lmcs相关信息。编码设备可生成关
于重构样本的lmcs相关信息的信息。编码设备可推导可应用于对重构样本进行滤波的lmcs相关参数，并且可基于lmcs相关参数来生成关于lmcs相关信息的信息。例如，关于lmcs相关信息的信息可包括关于上述亮度映射(例如，前向映射、反向映射、线性映射)的信息、关于色度残差缩放的信息和/或lmcs(或整形、整形器)相关索引(例如，最大仓索引和最小仓索引)。
[0495]
编码设备可基于映射的预测亮度样本来生成残差亮度样本(s1640)。例如，编码设备可基于映射的预测亮度样本与原始亮度样本之间的差异来推导残差亮度样本。
[0496]
编码设备可推导残差信息(s1650)。编码设备可基于缩放的残差色度样本和/或残差亮度样本来推导残差信息。编码设备可基于对缩放的残差色度样本和亮度残差样本的变换过程来推导变换系数。例如，变换处理可包括dct、dst、gbt或cnt中的至少一个。编码设备可基于对变换系数的量化处理来推导量化的变换系数。量化的变换系数可基于系数扫描顺序具有一维向量形式。编码设备可生成指定量化的变换系数的残差信息。可通过诸如指数golomb、cavlc、cabac等的各种编码方法来生成残差信息。
[0497]
编码设备可对图像/视频信息进行编码(s1660)。图像信息可包括lmcs相关信息和/或残差信息。例如，lmcs相关信息可包括关于线性lmcs的信息。在一个示例中，可基于关于线性lmcs的信息来推导至少一个lmcs码字。编码的视频/图像信息可按照比特流的形式输出。比特流可通过网络或存储介质发送至解码装置。
[0498]
根据本文献的实施方式，图像/视频信息可包括各种信息。例如，图像/视频信息可包括上述表1至表56中的至少一个中公开的信息。
[0499]
在实施方式中，图像信息可包括aps。各个aps可包括指示aps是否为lmcs aps的类型信息(例如，aps_params_type)。类型信息指示aps是lmcs aps的aps(例如，第一lmcs aps)中所包括的lmcs数据字段可包括lmcs相关信息。lmcs数据字段可包括关于lmcs码字的信息。aps的lmcs aps的最大数量可以是预定值。例如，lmcs aps的最大数量(预定值)可为四个。
[0500]
在实施方式中，基于类型信息的值为1，aps可并入包括lmcs参数的lmcs数据字段。
[0501]
在实施方式中，图像信息可包括头信息。头信息可包括lmcs相关aps id信息。lmcs相关aps id信息可表示当前画面或当前块的lmcs aps的id。例如，头信息可以是画面头(或切片头)。
[0502]
在实施方式中，图像信息可包括sps。sps可包括指示lmcs数据字段是否被启用的第一lmcs启用标志。
[0503]
在实施方式中，基于第一lmcs启用标志的值为1，头信息可并入指示画面中的lmcs数据字段是否被启用的第二lmcs启用标志。
[0504]
在实施方式中，基于第二lmcs启用标志的值为1，lmcs相关aps id信息可被并入头信息中。
[0505]
在一个实施方式中，当当前块具有单树结构或双树结构时(当当前块具有单独的树结构时，当当前块被编码为单独的树时)，可由编码设备生成指示对于当前块是否应用色度残差缩放的色度残差缩放启用标志。当对当前画面、当前切片和/或当前块应用色度残差缩放时，色度残差缩放启用标志的值可为1。
[0506]
在实施方式中，可基于lmcs相关信息来推导最小仓索引(例如，lmcs_min_bin_
idx)和/或最大仓索引(例如，lmcsmaxbinidx)。可基于最小仓索引来推导第一映射值(lmcspivot[lmcs_min_bin_idx])。可基于最大仓索引来推导第二映射值(lmcspivot[lmcsmaxbinidx]或lmcspivot[lmcsmaxbinidx 1])。重构亮度样本(例如，表51或表52的lumasample)的值可在第一映射值至第二映射值的范围内。在一个示例中，所有重构亮度样本的值可在第一映射值至第二映射值的范围内。在另一示例中，重构亮度样本的一些样本的值可在第一映射值至第二映射值的范围内。
[0507]
在实施方式中，图像信息可包括序列参数集(sps)。sps可包括指示线性lmcs是否被启用的线性lmcs启用标志。
[0508]
在实施方式中，编码设备可生成色度残差缩放的分段索引。编码设备可基于分段索引来推导色度残差缩放因子。编码设备可基于残差色度样本和色度残差缩放因子来生成缩放的残差色度样本。
[0509]
在实施方式中，色度残差缩放因子可以是单个色度残差缩放因子。
[0510]
在实施方式中，lmcs相关信息可包括关于线性lmcs的信息和lmcs数据字段。关于线性lmcs的信息可被称为关于线性映射的信息。lmcs数据字段可包括指示是否应用线性lmcs的线性lmcs标志。当线性lmcs标志的值为1时，可基于关于线性lmcs的信息来生成映射的预测亮度样本。
[0511]
在实施方式中，关于线性lmcs的信息可包括关于第一枢轴点(例如，图12中的p1)的信息和关于第二枢轴点(例如，图12中的p2)的信息。例如，第一枢轴点的输入值和映射值可分别是最小输入值和最小映射值。第二枢轴点的输入值和映射值可分别是最大输入值和最大映射值。最小输入值和最大输入值之间的输入值可线性地映射。
[0512]
在一个实施方式中，图像信息包括关于最大输入值的信息和关于最大映射值的信息。最大输入值等于关于最大输入值的信息(即，表33中的lmcs_max_input)的值。最大映射值等于关于最大映射值的信息(即，表33中的lmcs_max_mapped)的值。
[0513]
在一个实施方式中，关于线性映射的信息包括关于第二枢轴点的输入δ值的信息(即，表35中的lmcs_max_input_delta)以及关于第二枢轴点的映射δ值的信息(即，表35中的lmcs_max_mapped_delta)。可基于第二枢轴点的输入δ值来推导最大输入值，并且可基于第二枢轴点的映射δ值来推导最大映射值。
[0514]
在一个实施方式中，最大输入值和最大映射值可基于包括在上述表36中的至少一个式来推导。
[0515]
在一个实施方式中，生成映射的预测亮度样本包括：推导预测亮度样本的前向映射缩放因子(即，scalecoeffsingle)；以及基于前向映射缩放因子来生成映射的预测亮度样本。前向映射缩放因子可以是预测亮度样本的单个因子。
[0516]
在一个实施方式中，可基于包括在上述表36和/或表38中的至少一个式来推导前向映射缩放因子。
[0517]
在一个实施方式中，可基于包括在上述表38中的至少一个式来推导映射的预测亮度样本。
[0518]
在一个实施方式中，编码设备可推导重构亮度样本(即，lumasample)的反向映射缩放因子(即，invscalecoeffsingle)。另外，编码设备可基于重构亮度样本和反向映射缩放因子来生成修改的重构亮度样本(即，invsample)。反向映射缩放因子可以是重构亮度样
本的单个因子。
[0519]
在一个实施方式中，可使用基于重构亮度样本推导的分段索引来推导反向映射缩放因子。
[0520]
在一个实施方式中，可基于上述表51来推导分段索引。即，可从作为最小仓索引的分段索引到作为最大仓索引的分段索引迭代地执行包括在表51中的比较处理(lumasample《lmcspivot[idxyinv 1])。
[0521]
在一个实施方式中，可基于包括在上述表33、表34、表35和表36或式11或式12中的至少一个式来推导反向映射缩放因子。
[0522]
在一个实施方式中，可基于上述式20、式21、表39和/或表40来推导修改的重构亮度样本。
[0523]
在一个实施方式中，lmcs相关信息可包括关于用于推导映射的预测亮度样本的仓的数量的信息(即，表41中的lmcs_num_bins_minus1)。例如，亮度映射的枢轴点的数量可被设定为等于仓的数量。在一个示例中，编码设备可分别根据仓的数量来生成枢轴点的δ输入值和δ映射值。在一个示例中，基于δ输入值(即，表41中的lmcs_delta_input_cw[i])和δ映射值(即，表41中的lmcs_delta_mapped_cw[i])来推导枢轴点的输入值和映射值，并且可基于输入值(即，表42中的lmcspivot_input[i])和映射值(即，表42中的lmcspivot_mapped[i])来生成映射的预测亮度样本。
[0524]
在一个实施方式中，编码设备可基于至少一个lmcs码字和包括在lmcs相关信息中的原始码字(orgcw)来推导lmcsδ码字，并且可基于至少一个lmcs码字和原始码字来推导映射的亮度预测样本。在一个示例中，关于线性映射的信息可包括关于lmcsδ码字的信息。
[0525]
在一个实施方式中，可基于lmcsδ码字和orgcw的总和来推导至少一个lmcs码字，例如，orgcw为(1《《bitdepthy)/16，其中bitdepthy表示亮度比特深度。此实施方式可基于式14。
[0526]
在一个实施方式中，可基于lmcsδ码字和orgcw*(lmcs_max_bin_idx-lmcs_min_bin_idx 1)的总和来推导至少一个lmcs码字，例如，lmcs_max_bin_idx和lmcs_min_bin_idx分别是最大仓索引和最小仓索引，并且orgcw可为(1《《bitdepthy)/16。此实施方式可基于式15和式16。
[0527]
在一个实施方式中，至少一个lmcs码字可以是2的倍数。
[0528]
在一个实施方式中，当重构亮度样本的亮度比特深度(bitdepthy)高于10时，至少一个lmcs码字可以是1《《(bitdepthy-10)的倍数。
[0529]
在一个实施方式中，至少一个lmcs码字可在从(orgcw》》1)至(orgcw《《1)-1的范围内。
[0530]
图18和图19示意性地表示根据本文献的实施方式的图像/视频解码方法和相关组件的示例。图18中公开的方法可由图3所公开的解码设备执行。具体地，例如，图18的s1800可由解码设备的熵解码器310执行；s1810可由解码设备的预测器330执行；s1820可由解码设备的残差处理器320、预测器330和/或加法器340执行；s1830可由解码设备的加法器340执行。图18中公开的方法可包括上面在本文献中描述的实施方式。
[0531]
参照图18，解码设备可接收/获得视频/图像信息(s1800)。视频/图像信息可包括lmcs相关信息和/或残差信息。例如，lmcs相关信息可包括关于亮度映射(即，前向映射、反
向映射、线性映射)的信息、关于色度残差缩放的信息和/或与lmcs(或整形、整形器)有关的索引(即，最大仓索引、最小仓索引、映射索引)。解码设备可通过比特流接收/获得图像/视频信息。
[0532]
根据本文献的实施方式，图像/视频信息可包括各种信息。例如，图像/视频信息可包括上述表1至表56中的至少一个中公开的信息。
[0533]
解码设备可生成预测亮度样本(s1810)。解码设备可基于预测模式来推导当前画面中的当前块的预测亮度样本。在这种情况下，可应用本文献中公开的各种预测方法，例如帧间预测或帧内预测。
[0534]
图像信息可包括残差信息。解码设备可基于残差信息来生成残差色度样本。具体地，解码设备可基于残差信息来推导量化的变换系数。量化的变换系数可基于系数扫描顺序具有一维向量形式。解码设备可基于对量化的变换系数的解量化过程来推导变换系数。解码设备可基于变换系数来推导残差色度样本和/或残差亮度样本。
[0535]
解码设备可推导lmcs码字(s1820)。解码设备可基于lmcs相关信息来推导lmcs码字。解码设备可基于lmcs相关信息来推导关于多个仓的信息和关于lmcs码字的信息。解码设备可为多个仓推导各个lmcs码字。例如，上述lmcscw[i]可对应于基于lmcs相关信息推导的lmcs码字。
[0536]
解码设备可生成映射的预测亮度样本(s1830)。解码设备可基于预测亮度样本和lmcs码字来生成映射的预测亮度样本。例如，解码设备可推导亮度映射的枢轴点的输入值和映射值(输出值)，并且可基于输入值和映射值来生成映射的预测亮度样本。在一个示例中，解码设备可基于第一预测亮度样本来推导(前向)映射索引(idxy)，并且可基于与映射索引对应的枢轴点的输入值和映射值来生成第一映射的预测亮度样本。在其它示例中，可使用线性映射(线性整形、线性lmcs)，并且可基于在线性映射中从两个枢轴点推导的前向映射缩放因子来生成映射的预测亮度样本，因此由于线性映射，可省略索引推导处理。
[0537]
解码设备可生成重构亮度样本(s1840)。解码设备可基于映射的预测亮度样本来生成当前块的重构亮度样本。具体地，解码设备可将残差亮度样本与映射的预测亮度样本求和，并且可基于求和的结果来生成重构亮度样本。
[0538]
解码设备可生成缩放的残差色度样本。具体地，解码设备可推导色度残差缩放因子并且基于色度残差缩放因子来生成缩放的残差色度样本。这里，与编码侧相反，解码侧的色度残差缩放可被称为反向色度残差缩放。因此，由解码设备推导的色度残差缩放因子可被称为反向色度残差缩放因子，并且可生成反向缩放的残差色度样本。
[0539]
解码设备可生成重构色度样本。解码设备可基于缩放的残差色度样本来生成重构色度样本。具体地，解码设备可针对色度分量执行预测处理并且可生成预测色度样本。解码设备可基于预测色度样本和缩放的残差色度样本的总和来生成重构色度样本。
[0540]
在实施方式中，图像信息可包括aps。各个aps可包括指示aps是否为lmcs aps的类型信息。类型信息指示aps是lmcs aps的aps中所包括的lmcs数据字段可包括lmcs相关信息。lmcs码字可基于lmcs数据字段来推导。aps的lmcs aps的最大数量可以是预定值。例如，lmcs aps的最大数量(预定值)可为四个。
[0541]
在实施方式中，基于类型信息的值为1，aps可并入包括lmcs参数的lmcs数据字段。
[0542]
在实施方式中，图像信息可包括头信息。头信息可包括lmcs相关aps id信息。lmcs
相关aps id信息可表示当前画面或当前块的lmcs aps的id。例如，头信息可以是画面头(或切片头)。
[0543]
在实施方式中，图像信息可包括sps。sps可包括指示lmcs数据字段是否被启用的第一lmcs启用标志。
[0544]
在实施方式中，基于第一lmcs启用标志的值为1，头信息可并入指示画面中的lmcs数据字段是否被启用的第二lmcs启用标志。
[0545]
在实施方式中，基于第二lmcs启用标志的值为1，lmcs相关aps id信息可被并入头信息中。
[0546]
在一个实施方式中，当当前块具有单树结构或双树结构时(当当前块具有单独的树结构时，当当前块被编码为单独的树时)，可用信号通知指示对于当前块是否应用色度残差缩放的色度残差缩放启用标志。当对当前画面、当前切片和/或当前块应用色度残差缩放时，色度残差缩放启用标志的值可为1。
[0547]
在实施方式中，可基于lmcs相关信息来推导最小仓索引(例如，lmcs_min_bin_idx)和/或最大仓索引(例如，lmcsmaxbinidx)。可基于最小仓索引来推导第一映射值(lmcspivot[lmcs_min_bin_idx])。可基于最大仓索引来推导第二映射值(lmcspivot[lmcsmaxbinidx]或lmcspivot[lmcsmaxbinidx 1])。重构亮度样本(例如，表51或表52的lumasample)的值可在第一映射值至第二映射值的范围内。在一个示例中，所有重构亮度样本的值可在第一映射值至第二映射值的范围内。在另一示例中，重构亮度样本的一些样本的值可在第一映射值至第二映射值的范围内。
[0548]
在实施方式中，图像信息可包括序列参数集(sps)。sps可包括指示线性lmcs是否被启用的线性lmcs启用标志。
[0549]
在实施方式中，分段索引(例如，表35、36或37中的idxyinv)可基于关于lmcs相关信息的信息来标识。解码设备可基于分段索引来推导色度残差缩放因子。解码设备可基于残差色度样本和色度残差缩放因子来生成缩放的残差色度样本。
[0550]
在实施方式中，色度残差缩放因子可以是单个色度残差缩放因子。
[0551]
在实施方式中，lmcs相关信息可包括关于线性lmcs的信息和lmcs数据字段。关于线性lmcs的信息可被称为关于线性映射的信息。lmcs数据字段可包括指示是否应用线性lmcs的线性lmcs标志。当线性lmcs标志的值为1时，可基于关于线性lmcs的信息来生成映射的预测亮度样本。
[0552]
在实施方式中，关于线性lmcs的信息可包括关于第一枢轴点(例如，图12中的p1)的信息和关于第二枢轴点(例如，图12中的p2)的信息。例如，第一枢轴点的输入值和映射值可分别是最小输入值和最小映射值。第二枢轴点的输入值和映射值可分别是最大输入值和最大映射值。最小输入值和最大输入值之间的输入值可线性地映射。
[0553]
在实施方式中，图像信息可包括关于最大输入值的信息和关于最大映射值的信息。最大输入值可与关于最大输入值的信息(例如，表33中的lmcs_max_input)的值相同。最大映射值可与关于最大映射值的信息(例如，表33中的lmcs_max_mapped)的值相同。
[0554]
在实施方式中，关于线性映射的信息可包括关于第二枢轴点的输入δ值的信息(例如，表35的lmcs_max_input_delta)以及关于第二枢轴点的映射δ值的信息(例如，表35的lmcs_max_mapped_delta)。可基于第二枢轴点的输入δ值来推导最大输入值，并且可基
于第二枢轴点的映射δ值来推导最大映射值。
[0555]
在实施方式中，最大输入值和最大映射值可基于包括在上述表36中的至少一个式来推导。
[0556]
在一个实施方式中，生成映射的预测亮度样本包括：推导预测亮度样本的前向映射缩放因子(即，scalecoeffsingle)；以及基于前向映射缩放因子来生成映射的预测亮度样本。前向映射缩放因子可以是预测亮度样本的单个因子。
[0557]
在一个实施方式中，可使用基于重构亮度样本推导的分段索引来推导反向映射缩放因子。
[0558]
在一个实施方式中，可基于上述表51来推导分段索引。即，可从作为最小仓索引的分段索引到作为最大仓索引的分段索引迭代地执行包括在表51中的比较处理(lumasample《lmcspivot[idxyinv 1])。
[0559]
在一个实施方式中，前向映射缩放因子可基于包括在上述表36和/或表38中的至少一个式来推导。
[0560]
在一个实施方式中，映射的预测亮度样本可基于包括在上述表38中的至少一个式来推导。
[0561]
在一个实施方式中，解码设备可推导重构亮度样本(即，lumasample)的反向映射缩放因子(即，invscalecoeffsingle)。另外，解码设备可基于重构亮度样本和反向映射缩放因子来生成修改的重构亮度样本(即，invsample)。反向映射缩放因子可以是重构亮度样本的单个因子。
[0562]
在一个实施方式中，反向映射缩放因子可基于包括在上述表33、表34、表35和表36或式11或式12中的至少一个式来推导。
[0563]
在一个实施方式中，修改的重构亮度样本可基于上述式20、式21、表39和/或表40来推导。
[0564]
在一个实施方式中，lmcs相关信息可包括关于用于推导映射的预测亮度样本的仓的数量的信息(即，表41中的lmcs_num_bins_minus1)。例如，亮度映射的枢轴点的数量可被设定为等于仓的数量。在一个示例中，解码设备可分别根据仓的数量生成枢轴点的δ输入值和δ映射值。在一个示例中，基于δ输入值(即，表41中的lmcs_delta_input_cw[i])和δ映射值(即，表41中的lmcs_delta_mapped_cw[i])来推导枢轴点的输入值和映射值，并且可基于输入值(即，表42的lmcspivot_input[i])和映射值(即，表42的lmcspivot_mapped[i])来生成映射的预测亮度样本。
[0565]
在一个实施方式中，解码设备可基于至少一个lmcs码字和包括在lmcs相关信息中的原始码字(orgcw)来推导lmcsδ码字，并且可基于至少一个lmcs码字和原始码字来推导映射的亮度预测样本。在一个示例中，关于线性映射的信息可包括关于lmcsδ码字的信息。
[0566]
在一个实施方式中，可基于lmcsδ码字和orgcw的总和来推导至少一个lmcs码字，例如，orgcw为(1《《bitdepthy)/16，其中bitdepthy表示亮度比特深度。此实施方式可基于式14。
[0567]
在一个实施方式中，可基于lmcsδ码字和orgcw*(lmcs_max_bin_idx-lmcs_min_bin_idx 1)的总和来推导至少一个lmcs码字，例如，lmcs_max_bin_idx和lmcs_min_bin_idx分别是最大仓索引和最小仓索引，orgcw可为(1《《bitdepthy)/16。此实施方式可基于式
15和式16。
[0568]
在一个实施方式中，至少一个lmcs码字可以是2的倍数。
[0569]
在一个实施方式中，当重构亮度样本的亮度比特深度(bitdepthy)高于10时，至少一个lmcs码字可以是1《《(bitdepthy-10)的倍数。
[0570]
在一个实施方式中，至少一个lmcs码字可在从(orgcw》》1)至(orgcw《《1)-1的范围内。
[0571]
在上述实施方式中，基于具有一系列步骤或方框的流程图来描述方法。本公开不限于上述步骤或方框的顺序。一些步骤或方框可同时发生或按照与如上所述的其它步骤或方框不同的顺序发生。此外，本领域技术人员将理解，上述流程图中所示的步骤不是排他性的，可包括另外的步骤，或者可删除流程图中的一个或更多个步骤，而不影响本公开的范围。
[0572]
根据本文献的上述实施方式的方法可按软件形式实现，并且根据本文献的编码装置和/或解码装置例如可被包括在执行tv、计算机、智能电话、机顶盒、显示装置等的图像处理的装置中。
[0573]
当本文献中的实施方式以软件实现时，上述方法可被实现为执行上述功能的模块(进程、函数等)。模块可被存储在存储器中并由处理器执行。存储器可位于处理器的内部或外部，并且可通过各种熟知手段联接到处理器。处理器可包括专用集成电路(asic)、其它芯片组、逻辑电路和/或数据处理装置。存储器可包括只读存储器(rom)、随机存取存储器(ram)、闪存、存储卡、存储介质和/或其它存储装置。即，本文献中描述的实施方式可在处理器、微处理器、控制器或芯片上实现和执行。例如，各个附图中所示的功能单元可在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下，关于用于实现的指令或算法的信息可被存储在数字存储介质中。
[0574]
另外，应用了本公开的解码设备和编码设备可被包括在多媒体广播发送/接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监视相机、视频聊天设备、实时通信设备(例如，视频通信)、移动流设备、存储介质、摄像机、vod服务提供设备、顶置(ott)视频设备、互联网流服务提供设备、三维(3d)视频设备、电话会议视频设备、运输工具用户设备(即，车辆用户设备、飞机用户设备、船舶用户设备等)和医疗视频设备中，并且可用于处理视频信号和数据信号。例如，顶置(ott)视频设备可包括游戏机、蓝光播放器、互联网访问tv、家庭影院系统、智能电话、平板pc、数字视频记录仪(dvr)等。
[0575]
另外，应用了本文献的处理方法可按照要由计算机执行的程序的形式生成，并且可被存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可被存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机系统可读的数据的所有类型的存储装置。例如，计算机可读记录介质可包括bd、通用串行总线(usb)、rom、prom、eprom、eeprom、ram、cd-rom、磁带、软盘和光学数据存储装置。另外，计算机可读记录介质包括以载波的形式实现的介质(即，通过互联网的传输)。另外，通过该编码方法生成的比特流可被存储在计算机可读记录介质中或者可经由有线/无线通信网络发送。
[0576]
另外，本文献的实施方式可根据程序代码以计算机程序产品来实现，并且可通过本文献的实施方式在计算机中执行程序代码。程序代码可被存储在计算机可读的载体上。
[0577]
图20示出本文献中公开的实施方式可应用于的内容流系统的示例。
[0578]
参照图20，应用了本文献的实施方式的内容流系统可主要包括编码服务器、流服务器、网络服务器、媒体存储装置、用户装置和多媒体输入装置。
[0579]
编码服务器将从多媒体输入装置(例如，智能电话、相机、摄像机等)输入的内容压缩为数字数据以生成比特流并将比特流发送到流服务器。作为另一示例，当多媒体输入装置(例如，智能电话、相机、摄像机等)直接生成比特流时，可省略编码服务器。
[0580]
可通过应用了本公开的实施方式的编码方法或比特流生成方法来生成比特流，并且在发送或接收比特流的过程中，流服务器可暂时存储比特流。
[0581]
流服务器通过网络服务器基于用户的请求将多媒体数据发送到用户装置，并且网络服务器用作告知用户服务的介质。当用户向网络服务器请求期望的服务时，网络服务器将其传送至流服务器，并且流服务器将多媒体数据发送到用户。在这种情况下，内容流系统可包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流系统中的装置之间的命令/响应。
[0582]
流服务器可从媒体存储装置和/或编码服务器接收内容。例如，当从编码服务器接收内容时，内容可实时地接收。在这种情况下，为了提供平滑的流服务，流服务器可将比特流存储达预定时间。
[0583]
用户装置的示例可包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航、石板pc、平板pc、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字tv、台式计算机、数字标牌等。内容流系统中的各个服务器可作为分布式服务器来操作，在这种情况下从各个服务器接收的数据可被分布。
[0584]
内容流系统中的各个服务器可作为分布式服务器来操作，并且在这种情况下，从各个服务器接收的数据可被分布和处理。
[0585]
本文中所描述的权利要求可按各种方式组合。例如，本文献的方法权利要求的技术特征可被组合并实现为设备，并且本文献的设备权利要求的技术特征可被组合并实现为方法。另外，本文献的方法权利要求的技术特征和设备权利要求的技术特征可被组合以实现为设备，本文献的方法权利要求的技术特征和设备权利要求的技术特征可被组合并实现为方法。