基于亮度映射的视频或图像编码的制作方法

图。
42.图3是示意性地示出可应用本公开的实施方式的视频/图像解码设备的配置的示 图。
43.图4示例性地示出编码视频/图像的分层架构。
44.图5示例性地示出根据本文献的实施方式的cvs的分层架构。
45.图6示例性地示出根据本文献的实施方式的cvs的分层架构。
46.图7示例性地示出根据本文献的另一实施方式的cvs的分层架构。
47.图8示出根据本文献的实施方式的示例性lmcs架构。
48.图9示出根据本文献的另一实施方式的lmcs架构。
49.图10示出显示示例性前向映射的曲线图。
50.图11是示出根据本文献的实施方式的推导色度残差缩放索引的方法的流程图。
51.图12示出根据本文献的实施方式的枢轴点的线性拟合。
52.图13示出根据本文献的实施方式的线性整形器的示例。
53.图14示出本文献的实施方式中的线性前向映射的示例。
54.图15示出本文献的实施方式中的反向前向映射的示例。
55.图16是示出根据本文献的实施方式的lmcs过程的示图。
56.图17和图18示意性地示出根据本文献的实施方式的视频/图像编码方法和相关 组件的示例。
57.图19和图20示意性地示出根据本文献的实施方式的图像/视频解码方法和相关 组件的示例。
58.图21示出可应用本文献中所公开的实施方式的内容流系统的示例。
具体实施方式
59.本文献可按各种形式修改，将描述并且在附图中示出其特定实施方式。然而，这 些实施方式并非旨在限制本文献。以下描述中使用的术语仅用于描述特定实施方式， 而非旨在限制本文献。单数表达包括复数表达，只要清楚地不同阅读即可。诸如“包 括”和“具有”的术语旨在指示存在以下描述中使用的特征、数量、步骤、操作、元件、 组件或其组合，因此应该理解，不排除存在或添加一个或更多个不同的特征、数量、 步骤、操作、元件、组件或其组合的可能性。
60.此外，在本文献中描述的附图中的各个配置为了方便描述不同特性功能而被独立 地示出，并不意味着各个配置被实现为单独的硬件或单独的软件。例如，各个组件当 中的两个或更多个组件可被组合以形成一个组件，或者一个组件可被划分成多个组件。 各个组件被集成和/或分离的实施方式也被包括在本文献的公开范围内。
61.以下，将参照附图详细描述本实施方式的示例。另外，相似的标号用于贯穿附图 指示相似的元件，并且将省略关于相似元件的相同描述。
62.图1示出可应用本文献的实施方式的视频/图像编码系统的示例。
63.参照图1，视频/图像编码系统可包括第一装置(源装置)和第二装置(接收装置)。 源装置可通过数字存储介质或网络将编码的视频/图像信息或数据以文件或流的形式 发送到接收装置。
单元中的画面的整数数量的图块。切片可由多个完整拼块或仅一个拼块的完整图块的 连续序列组成。在本文献中，拼块组和切片可代替彼此使用。例如，在本文献中，拼 块组/拼块组头可被称为切片/切片头。
73.此外，一个画面可被划分成两个或更多个子画面。子画面可以是画面内的一个或 更多个切片的矩形区域。
74.像素或画素可意指构成一个画面(或图像)的最小单元。另外，“样本”可用作与 像素对应的术语。样本通常可表示像素或像素值，并且可仅表示亮度分量的像素/像 素值或仅表示色度分量的像素/像素值。
75.单元可表示图像处理的基本单位。单元可包括画面的特定区域和与该区域有关的 信息中的至少一个。一个单元可包括一个亮度块和两个色度(例如，cb、cr)块。在 一些情况下，单元可与诸如块或区域的术语互换使用。在一般情况下，m
×
n块可包 括m列和n行的样本(或样本阵列)或变换系数的集合(或阵列)。另选地，样本可 意指空间域中的像素值，并且当这种像素值被变换至频域时，其可意指频域中的变换 系数。
76.在本文献中，“a或b”可意指“仅a”、“仅b”或“a和b二者”。换言之，本文献 中的“a或b”可被解释为“a和/或b”。例如，在本文献中，“a、b或c(a,b或c)
”ꢀ
意指“仅a”、“仅b”、“仅c”或“a、b和c的任何组合”。
77.本文献中使用的斜线(/)或顿号(、)可意指“和/或”。例如，“a/b”可意指“a和 /或b”。因此，“a/b”可意指“仅a”、“仅b”或“a和b二者”。例如，“a、b、c”可意 指“a、b或c”。
78.在本文献中，“a和b中的至少一个”可意指“仅a”、“仅b”或“a和b二者”。另 外，在本文献中，表达“a或b中的至少一个”或“a和/或b中的至少一个”可与“a和 b中的至少一个”相同地解释。
79.另外，在本文献中，“a、b和c中的至少一个”意指“仅a”、“仅b”、“仅c”或“a、 b和c的任何组合”。另外，“a、b或c中的至少一个”或“a、b和/或c中的至少一 个”可意指“a、b和c中的至少一个”。
80.另外，本文献中使用的括号可意指“例如”。具体地，当指示“预测(帧内预测)
”ꢀ
时，可提议“帧内预测”作为“预测”的示例。换言之，本文献中的“预测”不限于“帧内预 测”，可提议“帧内预测”作为“预测”的示例。另外，即使当指示“预测(即，帧内预测)
”ꢀ
时，也可提议“帧内预测”作为“预测”的示例。
81.在本文献中在一张图中单独描述的技术特性可单独地实现或同时实现。
82.图2是示意性地示出可应用本文献的实施方式的视频/图像编码设备的配置的图。 以下，所谓的视频编码设备可包括图像编码设备。
83.参照图2，编码设备200包括图像分割器210、预测器220、残差处理器230和 熵编码器240、加法器250、滤波器260和存储器270。预测器220可包括帧间预测 器221和帧内预测器222。残差处理器230可包括变换器232、量化器233、解量化 器234和逆变换器235。残差处理器230还可包括减法器231。加法器250可被称为 重构器或重构块生成器。根据实施方式，图像分割器210、预测器220、残差处理器 230、熵编码器240、加法器250和滤波器260可由至少一个硬件组件(例如，编码 器芯片组或处理器)配置。另外，存储器270可包括解码画面缓冲器(dpb)，或者 可由数字存储介质配置。硬件组件还可包括存储器270作为内部/外部组件。
84.图像分割器210可将输入到编码设备200的输入图像(或者画面或帧)分割成一 个或更多个处理器。例如，处理器可被称为编码单元(cu)。在这种情况下，编码单 元可根据四叉树二叉树三叉树(qtbttt)结构从编码树单元(ctu)或最大编码单 元(lcu)递归地分割。例如，一个编码单元可基于四叉树结构、二叉树结构和/或 三元结构被分割成深度更深的多个编码单元。在这种情况下，例如，可首先应用四叉 树结构，稍后可应用二叉树结构和/或三元结构。另选地，可首先应用二叉树结构。 可基于不再分割的最终编码单元来执行根据本公开的编码过程。在这种情况下，根据 图像特性基于编码效率，最大编码单元可用作最终编码单元，或者如果需要，编码单 元可被递归地分割成深度更深的编码单元并且具有最优大小的编码单元可用作最终 编码单元。这里，编码过程可包括预测、变换和重构的过程(将稍后描述)。作为另 一示例，处理器还可包括预测单元(pu)或变换单元(tu)。在这种情况下，预测单 元和变换单元可从上述最终编码单元拆分或分割。预测单元可以是样本预测的单元， 变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
85.在一些情况下，单元可与诸如块或区域的术语互换使用。在一般情况下，m
×
n 块可表示由m列和n行组成的样本或变换系数的集合。样本通常可表示像素或像素 值，可仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可用 作与像素或画素的一个画面(或图像)对应的术语。
86.在编码设备200中，从输入图像信号(原始块、原始样本阵列)减去从帧间预测 器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号 (残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情 况下，如所示，在编码器200中从输入图像信号(原始块、原始样本阵列)减去预测 信号(预测块、预测样本阵列)的单元可被称为减法器231。预测器可对要处理的块 (以下，称为当前块)执行预测并且生成包括当前块的预测样本的预测块。预测器可 确定基于当前块或cu应用帧内预测还是帧间预测。如在各个预测模式的描述中稍后 描述的，预测器可生成与预测有关的各种信息(例如，预测模式信息)并将所生成的 信息发送到熵编码器240。关于预测的信息可在熵编码器240中编码并以比特流的形 式输出。
87.帧内预测器222可参考当前画面中的样本来预测当前块。根据预测模式，所参考 的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模 式和多个定向模式。例如，非定向模式可包括dc模式和平面模式。例如，根据预测 方向的详细程度，定向模式可包括33个定向预测模式或65个定向预测模式。然而， 这仅是示例，可根据设置使用更多或更少的定向预测模式。帧内预测器222可使用应 用于邻近块的预测模式来确定应用于当前块的预测模式。
88.帧间预测器221可基于参考画面上运动向量所指定的参考块(参考样本阵列)来 推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可基于 邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运 动信息可包括运动向量和参考画面索引。运动信息还可包括帧间预测方向(l0预测、 l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前画面中 的空间邻近块和存在于参考画面中的时间邻近块。包括参考块的参考画面和包括时间 邻近块的参考画面可相同或不同。时间邻近块可被称为并置参考块、并置cu(colcu) 等，并且包括时间邻近块的参考
量化器234和逆变换器235对量化的变换系数应用解量化和逆变换来重构残差信号 (残差块或残差样本)。加法器250将重构的残差信号与从帧间预测器221或帧内预 测器222输出的预测信号相加以生成重构信号(重构画面、重构块、重构样本阵列)。 如果要处理的块不存在残差(例如，应用跳过模式的情况)，则预测块可用作重构块。 加法器250可被称为重构器或重构块生成器。如下所述，所生成的重构信号可用于当 前画面中要处理的下一块的帧内预测并且可通过滤波用于下一画面的帧间预测。
93.此外，可在画面编码和/或重构期间应用与色度缩放的亮度映射(lmcs)。
94.滤波器260可通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波 器260可通过对重构画面应用各种滤波方法来生成修改的重构画面并将修改的重构 画面存储在存储器270(具体地，存储器270的dpb)中。例如，各种滤波方法可包 括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可生 成与滤波有关的各种信息并且将所生成的信息发送到熵编码器240，如在各个滤波方 法的描述中稍后描述的。与滤波有关的信息可由熵编码器240编码并以比特流的形式 输出。
95.发送到存储器270的修改的重构画面可用作帧间预测器221中的参考画面。当通 过编码设备应用帧间预测时，可避免编码设备200与解码设备300之间的预测失配并 且编码效率可改进。
96.存储器270dpb的dpb可存储用作帧间预测器221中的参考画面的修改的重构 画面。存储器270可存储推导(或编码)当前画面中的运动信息的块的运动信息和/ 或画面中已经重构的块的运动信息。所存储的运动信息可被发送到帧间预测器221 并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可存储当前画面 中的重构块的重构样本并且可将重构样本传送至帧内预测器222。
97.图3是示出可应用本公开的实施方式的视频/图像解码设备的配置的示意图。
98.参照图3，解码设备300可包括熵解码器310、残差处理器320、预测器330、加 法器340、滤波器350、存储器360。预测器330可包括帧间预测器331和帧内预测 器332。残差处理器320可包括解量化器321和逆变换器321。根据实施方式，熵解 码器310、残差处理器320、预测器330、加法器340和滤波器350可由硬件组件(例 如，解码器芯片组或处理器)配置。另外，存储器360可包括解码画面缓冲器(dpb) 或者可由数字存储介质配置。硬件组件还可包括存储器360作为内部/外部组件。
99.当输入包括视频/图像信息的比特流时，解码设备300可重构与在图2的编码设 备中处理视频/图像信息的处理对应的图像。例如，解码设备300可基于从比特流获 得的块分割相关信息来推导单元/块。解码设备300可使用编码设备中应用的处理器 来执行解码。因此，例如，解码的处理器可以是编码单元，并且编码单元可根据四叉 树结构、二叉树结构和/或三叉树结构从编码树单元或最大编码单元分割。可从编码 单元推导一个或更多个变换单元。通过解码设备300解码和输出的重构的图像信号可 通过再现设备再现。
100.解码设备300可接收从图2的编码设备以比特流的形式输出的信号，并且所接收 的信号可通过熵解码器310解码。例如，熵解码器310可解析比特流以推导图像重构 (或画面重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可包括关于各 种参数集的信息，例如自适应参数集(aps)、画面参数集(pps)、序列参数集(sps) 或视频参数集(vps)。另外，视频/图像信息还可包括一般约束信息。解码设备还可 基于关于参数集的信息和/或
一般约束信息将画面解码。本公开中稍后描述的用信号 通知/接收的信息和/或句法元素可通过解码过程解码并从比特流获得。例如，熵解码 器310基于诸如指数golomb编码、cavlc或cabac的编码方法对比特流中的信 息进行解码，并且输出图像重构所需的句法元素和残差的变换系数的量化值。更具体 地，cabac熵解码方法可接收与比特流中的各个句法元素对应的信元(bin)，使用 解码目标句法元素信息、解码目标块的解码信息或在先前阶段中解码的符号/信元的 信息来确定上下文模型，并且通过根据所确定的上下文模型预测信元出现的概率对信 元执行算术解码，并且生成与各个句法元素的值对应的符号。在这种情况下，cabac 熵解码方法可在确定上下文模型之后通过将解码的符号/信元的信息用于下一符号/信 元的上下文模型来更新上下文模型。熵解码器310所解码的信息当中与预测有关的信 息可被提供给预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310中 执行了熵解码的残差值(即，量化的变换系数和相关参数信息)可被输入到残差处理 器320。残差处理器320可推导残差信号(残差块、残差样本、残差样本阵列)。另 外，熵解码器310所解码的信息当中关于滤波的信息可被提供给滤波器350。此外， 用于接收从编码设备输出的信号的接收器(未示出)还可被配置成解码设备300的内 部/外部元件，或者接收器可以是熵解码器310的组件。此外，根据本公开的解码设 备可被称为视频/图像/画面解码设备，并且解码设备可被分类为信息解码器(视频/ 图像/画面信息解码器)和样本解码器(视频/图像/画面样本解码器)。信息解码器可 包括熵解码器310，并且样本解码器可包括解量化器321、逆变换器322、加法器340、 滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
101.解量化器321可将量化的变换系数解量化并输出变换系数。解量化器321可按二 维块形式重排量化的变换系数。在这种情况下，可基于在编码设备中执行的系数扫描 顺序来执行重排。解量化器321可使用量化参数(例如，量化步长信息)对量化的变 换系数执行解量化并且获得变换系数。
102.逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本阵列)。
103.预测器可对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可基 于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预 测并且可确定特定帧内/帧间预测模式。
104.预测器320可基于下述各种预测方法来生成预测信号。例如，预测器不仅可应用 帧内预测或帧间预测以预测一个块，而且可同时应用帧内预测和帧间预测。这可被称 为组合帧间和帧内预测(ciip)。另外，预测器可基于帧内块复制(ibc)预测模式或 调色板模式来预测块。ibc预测模式或调色板模式可用于游戏等的内容图像/视频编 码，例如屏幕内容编码(scc)。ibc基本上执行当前画面中的预测，但是可与帧间 预测相似地执行，使得在当前画面中推导参考块。即，ibc可使用本公开中描述的至 少一种帧间预测技术。调色板模式可被视为帧内编码或帧内预测的示例。当应用调色 板模式时，可基于关于调色板表和调色板索引的信息用信号通知画面内的样本值。
105.帧内预测器331可参考当前画面中的样本来预测当前块。根据预测模式，所参考 的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模 式和多个定向模式。帧内预测器331可使用应用于邻近块的预测模式来确定应用于当 前块的预测模式。
106.帧间预测器332可基于参考画面上运动向量所指定的参考块(参考样本阵列)来 推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量， 可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信 息。运动信息可包括运动向量和参考画面索引。运动信息还可包括帧间预测方向(l0 预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前 画面中的空间邻近块和存在于参考画面中的时间邻近块。例如，帧间预测器332可基 于邻近块来配置运动信息候选列表并且基于所接收的候选选择信息来推导当前块的 运动向量和/或参考画面索引。可基于各种预测模式来执行帧间预测，并且关于预测 的信息可包括指示当前块的帧间预测模式的信息。
107.加法器340可通过将所获得的残差信号与从预测器(包括帧间预测器332和/或 帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重 构画面、重构块、重构样本阵列)。如果要处理的块不存在残差，例如当应用跳过模 式时，预测块可用作重构块。
108.加法器340可被称为重构器或重构块生成器。所生成的重构信号可用于当前画面 中要处理的下一块的帧内预测，可如下所述通过滤波输出，或者可用于下一画面的帧 间预测。
109.此外，可在画面解码处理中应用与色度缩放的亮度映射(lmcs)。
110.滤波器350可通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波 器350可通过对重构画面应用各种滤波方法来生成修改的重构画面并且将修改的重 构画面存储在存储器360(具体地，存储器360的dpb)中。例如，各种滤波方法可 包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
111.存储在存储器360的dpb中的(修改的)重构画面可用作帧间预测器332中的 参考画面。存储器360可存储推导(或解码)当前画面中的运动信息的块的运动信息 和/或画面中已经重构的块的运动信息。所存储的运动信息可被发送到帧间预测器260 以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可存储当前画面 中的重构块的重构样本并将重构样本传送至帧内预测器331。
112.在本文献中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222 中描述的实施方式可与解码设备300的滤波器350、帧间预测器332和帧内预测器331 相同或分别与之对应应用。这也可适用于单元332和帧内预测器331。
113.如上所述，在视频编码中，执行预测以增加压缩效率。由此，可生成包括当前块 (要编码的块)的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预 测样本。预测块从编码装置和解码装置相同地推导，并且编码装置对关于原始块与预 测块之间的残差的信息(残差信息)而非原始块的原始样本值本身进行解码。通过用 信号通知装置，图像编码效率可增加。解码设备可基于残差信息来推导包括残差样本 的残差块，并且通过对残差块和预测块求和来生成包括重构样本的重构块，并且生成 包括重构块的重构画面。
114.残差信息可通过变换处理和量化处理来生成。例如，编码设备可推导原始块与预 测块之间的残差块，并且对包括在残差块中的残差样本(残差样本阵列)执行变换处 理以推导变换系数，然后，通过对变换系数执行量化处理，推导量化的变换系数，以 将残差相关信息(经由比特流)用信号通知给解码设备。这里，残差信息可包括位置 信息、变换技术、变
换核和量化参数、量化的变换系数的值信息等。解码设备可基于 残差信息来执行解量化/逆变换处理并推导残差样本(或残差块)。解码设备可基于预 测块和残差块来生成重构画面。编码设备还可对供稍后画面的帧间预测参考的量化的 变换系数进行解量化/逆变换以推导残差块，并且基于其来生成重构画面。
115.在本文献中，量化/解量化和/或变换/逆变换中的至少一个可被省略。当量化/解量 化被省略时，量化的变换系数可被称为变换系数。当变换/逆变换被省略时，变换系 数可被称为系数或残差系数，或者为了表达的一致性，仍可称为变换系数。
116.在本文献中，量化的变换系数和变换系数可分别被称为变换系数和缩放的变换系 数。在这种情况下，残差信息可包括关于变换系数的信息，并且关于变换系数的信息 可通过残差编码句法用信号通知。变换系数可基于残差信息(或关于变换系数的信息) 来推导，缩放的变换系数可通过对变换系数的逆变换(缩放)来推导。残差样本可基 于缩放的变换系数的逆变换(变换)来推导。这也可在本文献的其它部分中应用/表 达。
117.帧内预测可指基于当前块所属的画面(以下，称为当前画面)中的参考样本来生 成当前块的预测样本的预测。当对当前块应用帧内预测时，可推导要用于当前块的帧 内预测的邻近参考样本。当前块的邻近参考样本可包括与大小为nw
×
nh的当前块的 左边界相邻的样本和邻近左下的总共2
×
nh个样本、与当前块的上边界相邻的样本和 邻近右上的总共2
×
nw个样本以及邻近当前块的左上的一个样本。另选地，当前块的 邻近参考样本可包括多个上邻近样本和多个左邻近样本。另外，当前块的邻近参考样 本可包括与大小为nw
×
nh的当前块的右边界相邻的总共nh个样本、与当前块的下 边界相邻的总共nw个样本以及邻近当前块的右下的一个样本。
118.然而，当前块的一些邻近参考样本可能还未解码或可用。在这种情况下，解码器 可通过利用可用样本替换不可用的样本来配置要用于预测的邻近参考样本。另选地， 要用于预测的邻近参考样本可通过可用样本的插值来配置。
119.当推导邻近参考样本时，(i)可基于当前块的邻近参考样本的平均或插值来推导预 测样本，并且(ii)可基于当前块的外围参考样本当中存在于预测样本的特定(预测) 方向上的参考样本来推导预测样本。(i)的情况可被称为非定向模式或非角模式，(ii) 的情况可被称为定向模式或角模式。
120.此外，预测样本也可通过邻近参考样本当中基于当前块的预测样本位于与当前块 的帧内预测模式的预测方向相反的方向上的第二邻近样本与第一邻近样本之间的插 值来生成。上述情况可被称为线性插值帧内预测(lip)。另外，可使用线性模型基于 亮度样本来生成色度预测样本。这种情况可被称为lm模式。
121.另外，可基于滤波的邻近参考样本来推导当前块的暂时预测样本，并且现有邻近 参考样本当中根据帧内预测模式推导的至少一个参考样本(即，未滤波的邻近参考样 本)和暂时预测样本可加权求和以推导当前块的预测样本。上述情况可被称为位置相 关帧内预测(pdpc)。
122.另外，可选择当前块的邻近多参考样本行中预测准确度最高的参考样本行，以使 用对应行上位于预测方向上的参考样本来推导预测样本，然后本文所使用的参考样本 行可被指示(用信号通知)给解码设备，从而执行帧内预测编码。上述情况可被称为 多参考行(mrl)帧内预测或基于mrl的帧内预测。
123.另外，可基于相同的帧内预测模式通过将当前块划分为垂直或水平子分区来执行 帧内预测，并且邻近参考样本可以子分区为单位推导并使用。即，在这种情况下，当 前块的帧内预测模式同样适用于子分区，并且在一些情况下通过以子分区为单位推导 并使用邻近参考样本，帧内预测性能可改进。这种预测方法可被称为子分区内(isp) 或基于isp的帧内预测。
124.上述帧内预测方法可与帧内预测模式分开称为帧内预测类型。帧内预测类型可用 诸如帧内预测技术或附加帧内预测模式的各种术语来称呼。例如，帧内预测类型(或 附加帧内预测模式)可包括上述lip、pdpc、mrl和isp中的至少一个。除了诸如 lip、pdpc、mrl或isp的特定帧内预测类型之外的一般帧内预测方法可被称为正 常帧内预测类型。正常帧内预测类型通常可在不应用特定帧内预测类型时应用，并且 可基于上述帧内预测模式来执行预测。此外，可根据需要对推导的预测样本执行后滤 波。
125.具体地，帧内预测过程可包括帧内预测模式/类型确定步骤、邻近参考样本推导 步骤和基于帧内预测模式/类型的预测样本推导步骤。另外，可根据需要对推导的预 测样本执行后滤波步骤。
126.当应用帧内预测时，应用于当前块的帧内预测模式可使用邻近块的帧内预测模式 来确定。例如，解码设备可基于所接收的最可能模式(mpm)索引来选择基于当前块 的邻近块(例如，左和/或上邻近块)的帧内预测模式推导的mpm列表的mpm候选 之一，并且基于剩余帧内预测模式信息来选择未包括在mpm候选(和平面模式)中 的其它剩余帧内预测模式之一。mpm列表可被配置为包括或不包括平面模式作为候 选。例如，如果mpm列表包括平面模式作为候选，则mpm列表可具有六个候选。如 果mpm列表不包括平面模式作为候选，则mpm列表可具有三个候选。当mpm列表 不包括平面模式作为候选时，可用信号通知指示当前块的帧内预测模式是否不是平面 模式的非平面标志(例如，intra_luma_not_planar_flag)。例如，可首先用信号通知 mpm标志，当mpm标志的值为1时，可用信号通知mpm索引和非平面标志。另外， 当非平面标志的值为1时，可用信号通知mpm索引。这里，mpm列表被配置为不包 括平面模式作为候选，不首先用信号通知非平面标志以首先检查它是否为平面模式， 因为平面模式始终被视为mpm。
127.例如，应用于当前块的帧内预测模式是在mpm候选(和平面模式)中还是在剩 余模式中可基于mpm标志(例如，intra_luma_mpm_flag)来指示。mpm标志的值1 可指示当前块的帧内预测模式在mpm候选(和平面模式)内，mpm标志的值0可指 示当前块的帧内预测模式不在mpm候选(和平面模式)中。非平面标志(例如， intra_luma_not_planar_flag)的值0可指示当前块的帧内预测模式是平面模式，非平 面标志值的值1可指示当前块的帧内预测模式不是平面模式。mpm索引可按照 mpm_idx或intra_luma_mpm_idx句法元素的形式用信号通知，剩余帧内预测模式信 息可按照rem_intra_luma_pred_mode或intra_luma_mpm_remainder句法元素的形式用 信号通知。例如，剩余帧内预测模式信息可按照预测模式编号的顺序对所有帧内预测 模式当中未包括在mpm候选(和平面模式)中的剩余帧内预测模式进行索引以指示 它们中的一个。帧内预测模式可以是亮度分量(样本)的帧内预测模式。以下，帧内 预测模式信息可包括mpm标志(例如，intra_luma_mpm_flag)、非平面标志(例如， intra_luma_not_planar_flag)、mpm索引(例如，mpm_idx或intra_luma_mpm_idx)和 剩余帧内预测模式信息(rem_intra_luma_pred_mode或intra_luma_mpm_remainder) 中的
至少一个。在本文献中，mpm列表可被称为诸如mpm候选列表和candmodelist 的各种术语。当对当前块应用mip时，可用信号通知用于mip的单独mpm标志(例 如，intra_mip_mpm_flag)、mpm索引(例如，intra_mip_mpm_idx)和剩余帧内预测 模式信息(例如，intra_mip_mpm_remainder)，并且不用信号通知非平面标志。
128.换言之，通常，当对图像执行块拆分时，要编码的当前块和邻近块具有相似的图 像特性。因此，当前块和邻近块具有相同或相似的帧内预测模式的概率较高。因此， 编码器可使用邻近块的帧内预测模式来对当前块的帧内预测模式进行编码。
129.例如，编码器/解码器可为当前块配置最可能模式(mpm)的列表。mpm列表 也可被称为mpm候选列表。本文中，mpm可指在帧内预测模式编码中考虑当前块 和邻近块之间的相似性来改进编码效率的模式。如上所述，mpm列表可被配置为包 括平面模式，或者可被配置为不包括平面模式。例如，当mpm列表包括平面模式时， mpm列表中的候选数量可为6。并且，如果mpm列表不包括平面模式，则mpm列 表中的候选数量可为5。
130.编码器/解码器可配置包括5或6个mpm的mpm列表。
131.为了配置mpm列表，可考虑三种类型的模式：默认帧内模式、邻居帧内模式和 推导帧内模式。
132.对于邻近帧内模式，可考虑两个邻近块，即，左邻近块和上邻近块。
133.如上所述，如果mpm列表被配置为不包括平面模式，则从列表排除平面模式， 并且mpm列表候选的数量可被设定为5。
134.另外，帧内预测模式当中的非定向模式(或非角模式)可包括基于当前块的邻近 参考样本的平均的dc模式或基于插值的平面模式。
135.当应用帧间预测时，编码设备/解码设备的预测器可通过以块为单位执行帧间预 测来推导预测样本。帧间预测可以是以取决于当前画面以外的画面的数据元素(例如， 样本值或运动信息)的方式推导的预测。当对当前块应用帧间预测时，可基于参考画 面索引所指示的参考画面上运动向量所指定的参考块(参考样本阵列)来推导当前块 的预测块(预测样本阵列)。这里，为了减少在帧间预测模式下发送的运动信息量， 可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测当前块 的运动信息。运动信息可包括运动向量和参考画面索引。运动信息还可包括帧间预测 类型(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可包括存 在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。包括参考块的参考 画面和包括时间邻近块的参考画面可相同或不同。时间邻近块可被称为并置参考块、 并置cu(colcu)等，并且包括时间邻近块的参考画面可被称为并置画面(colpic)。 例如，可基于当前块的邻近块来配置运动信息候选列表，并且可用信号通知指示选择 (使用)哪一候选的标志或索引信息以推导当前块的运动向量和/或参考画面索引。 可基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，当前 块的运动信息可与邻近块的运动信息相同。在跳过模式下，与合并模式不同，可不发 送残差信号。在运动向量预测(mvp)模式的情况下，所选邻近块的运动向量可用 作运动向量预测器，并且可用信号通知当前块的运动向量。在这种情况下，可使用运 动向量预测器与运动向量差之和来推导当前块的运动向量。
136.根据帧间预测类型(l0预测、l1预测、bi预测等)，运动信息可包括l0运动信 息和/或l1运动信息。l0方向上的运动向量可被称为l0运动向量或mvl0，l1方 向上的运动向量可
被称为l1运动向量或mvl1。基于l0运动向量的预测可被称为 l0预测，基于l1运动向量的预测可被称为l1预测，基于l0运动向量和l1运动向 量二者的预测可被称为双预测。这里，l0运动向量可指示与参考画面列表l0(l0) 关联的运动向量，l1运动向量可指示与参考画面列表l1(l1)关联的运动向量。参 考画面列表l0可包括按输出顺序比当前画面早的画面作为参考画面，参考画面列表 l1可包括按输出顺序比当前画面晚的画面。先前画面可被称为前向(参考)画面， 后续画面可被称为后向(参考)画面。参考画面列表l0还可包括按输出顺序比当前 画面晚的画面作为参考画面。在这种情况下，先前画面可在参考画面列表l0中首先 进行索引，后续画面可稍后进行索引。参考画面列表l1还可包括按输出顺序比当前 画面早的先前画面作为参考画面。在这种情况下，后续画面可在参考画面列表1中首 先进行索引，先前画面可稍后进行索引。输出顺序可对应于画面顺序计数(poc)顺 序。
137.图4示例性地示出编码的图像/视频的分层结构。
138.参照图4，编码的图像/视频被划分成处理图像/视频及自身的解码处理的视频编 码层(vcl)、发送和存储编码的信息的子系统以及负责功能并存在于vcl和子系统 之间的nal(网络抽象层)。
139.在vcl中，生成包括压缩图像数据(切片数据)的vcl数据，或者可生成包括 画面参数集(psp)、序列参数集(sps)和视频参数集(vps)的参数集或者图像解 码处理另外需要的补充增强信息(sei)消息。
140.在nal中，可通过将头信息(nal单元头)添加到vcl中生成的原始字节序 列有效载荷(rbsp)来生成nal单元。在这种情况下，rbsp是指vcl中生成的 切片数据、参数集、sei消息等。nal单元头可包括根据包括在对应nal单元中的 rbsp数据指定的nal单元类型信息。
141.如图中所示，nal单元可根据vcl中生成的rbsp被分类为vcl nal单元和 非vcl nal单元。vcl nal单元可意指包括关于图像(切片数据)的信息的nal 单元，非vclnal单元可意指包括对图像进行解码所需的信息(参数集或sei消息) 的nal单元。
142.可通过根据子系统的数据标准附加头信息来通过网络发送上述vcl nal单元和 非vclnal单元。例如，nal单元可被变换为诸如h.266/vvc文件格式、实时传 输协议(rtp)、传输流(ts)等的预定标准的数据格式并通过各种网络发送。
143.如上所述，nal单元可根据包括在对应nal单元中的rbsp数据结构以nal 单元类型来指定，并且关于nal单元类型的信息可被存储在nal单元头中并用信号 通知。
144.例如，nal单元可根据nal单元是否包括关于图像的信息(切片数据)而被分 类为vcl nal单元类型和非vcl nal单元类型。vcl nal单元类型可根据包括在 vcl nal单元中的画面的本质和类型来分类，并且非vcl nal单元类型可根据参 数集的类型来分类。
145.以下是根据包括在非vcl nal单元类型中的参数集的类型指定的nal单元类 型的示例。
[0146]-aps(自适应参数集)nal单元：包括aps的nal单元的类型
[0147]-dps(解码参数集)nal单元：包括dps的nal单元的类型
[0148]-vps(视频参数集)nal单元：包括vps的nal单元的类型
[0149]-sps(序列参数集)nal单元：包括sps的nal单元的类型
[0150]-pps(画面参数集)nal单元：包括pps的nal单元的类型
[0151]-ph(画面头)nal单元：包括ph的nal单元的类型
[0152]
上述nal单元类型可具有nal单元类型的句法信息，并且该句法信息可被存储 在nal单元头中并用信号通知。例如，句法信息可以是nal_unit_type，nal单元类 型可由nal_unit_type值指定。
[0153]
此外，如上所述，一个画面可包括多个切片，一个切片可包括切片头和切片数据。 在这种情况下，一个画面头可被进一步添加到一个画面中的多个切片(切片头和切片 数据集)。画面头(画面头句法)可包括通常适用于画面的信息/参数。在本文献中， 切片可与拼块组混合或由拼块组替换。另外，在本文献中，切片头可与拼块组头混合 或由拼块组头替换。
[0154]
切片头(切片头句法)可包括通常可应用于切片的信息/参数。aps(aps句法) 或pps(pps句法)可包括通常可应用于一个或更多个切片或画面的信息/参数。sps (sps句法)可包括通常可应用于一个或更多个序列的信息/参数。vps(vps句法) 可包括通常可应用于多个层的信息/参数。dps(dps句法)可包括通常可应用于总 视频的信息/参数。dps可包括与编码视频序列(cvs)的级联有关的信息/参数。本 文献中的高级句法(hls)可包括aps句法、pps句法、sps句法、vps句法、dps 句法和切片头句法中的至少一个。
[0155]
在本文献中，从编码设备编码并以比特流的形式用信号通知给解码设备的图像/ 图像信息不仅包括画面中的分割相关信息、帧内/帧间预测信息、残差信息、回路滤 波信息等，而且包括切片头中所包括的信息、aps中所包括的信息、pps中所包括的 信息、sps中所包括的信息和/或vps中所包括的信息。
[0156]
此外，为了补偿由于诸如量化的压缩编码处理中出现的错误而引起的原始图像与 重构图像之间的差异，可如上所述对重构样本或重构画面执行回路滤波处理。如上所 述，回路滤波可由编码设备的滤波器和解码设备的滤波器执行，并且可应用去块滤波 器、sao和/或自适应环路滤波器(alf)。例如，可在去块滤波处理和/或sao处理 完成之后执行alf处理。然而，即使在这种情况下，也可省略去块滤波处理和/或sao 处理。
[0157]
此外，为了增加编码效率，可如上所述应用亮度映射与色度缩放(lmcs)。lmcs 可被称为环路整形器(整形)。为了增加编码效率，lmcs控制和/或lmcs相关信息 的信令可分层执行。
[0158]
图5示例性地示出根据本文献的实施方式的cvs的分层结构。
[0159]
参照图5，编码视频序列(cvs)可包括sps、一个或更多个pps(画面参数集) 以及一个或更多个后续编码画面。各个编码画面可被划分成矩形区域。矩形区域可被 称为拼块。所收集的一个或更多个拼块可形成拼块组或切片。在这种情况下，拼块组 头可链接到画面参数集(pps)，pps可链接到sps。
[0160]
图6示例性地示出根据本文献的实施方式的cvs的分层结构。编码视频序列 (cvs)可包括sps、pps、拼块组头、拼块数据和/或ctu。这里，拼块组头和拼块 数据可分别被称为切片头和切片数据。
[0161]
sps可包括本地标志以使得工具能够在cvs中使用。另外，sps可由包括关于 对于各个画面改变的参数的信息的pps参考。各个编码画面可包括一个或更多个编 码矩形域拼块。拼块可被分组为形成拼块组的光栅扫描。各个拼块组以称为拼块组头 的头信息封装。各个拼块由包括编码数据的ctu组成。这里，数据可包括原始样本 值、预测样本值及其亮度分量和色度分量(亮度预测样本值和色度预测样本值)。
[0162]
根据现有方法，alf数据(alf参数)或lmcs数据(lmcs参数)被并入拼 块组头中。由于一个视频由多个画面构成并且一个画面包括多个拼块，所以以拼块组 为单位频繁地用信号通知alf数据(alf参数)或lmcs数据(lmcs参数)导致 了编码效率降低的问题。
[0163]
根据本文献中提出的实施方式，alf参数或lmcs数据(lmcs参数)可被并 入aps中并用信号通知如下。
[0164]
图7示例性地示出根据本文献的另一实施方式的cvs的分层结构。
[0165]
参照图7，在实施方式中，定义aps，并且aps可承载必要alf数据(alf参 数)。此外，aps可具有自识别参数、alf数据和/或lmcs数据。aps的自识别参 数可包括aps id。即，aps可包括表示aps id的信息。拼块组头或切片头可使用 aps索引信息来参考aps。换言之，拼块组头或切片头可包括aps索引信息，并且 可基于具有aps索引信息所指示的aps id的aps中所包括的lmcs数据(lmcs 参数)来执行针对目标块的alf过程，或者可基于包括在具有aps索引信息所指示 的aps id的aps中的alf数据(alf参数)来执行目标块的alf过程。这里， aps索引信息可被称为aps id信息。
[0166]
在示例中，sps可包括允许使用alf的标志。例如，当cvs开始时，可检查sps， 并且可检查sps中的标志。例如，sps可包括下表1的句法。表1中的句法可以是 sps的一部分。
[0167]
[表1]
[0168][0169]
例如，包括在表1的句法中的句法元素的语义可如下表所示表示。
[0170]
[表2]
[0171][0172]
即，sps_alf_enabled_flag句法元素可基于其值是0还是1来指示alf是否被启 用。sps_alf_enabled_flag句法元素可被称为alf启用标志(这可被称为第一alf启 用标志)，并且可被包括在sps中。即，可在sps(或sps级别)中用信号通知alf 启用标志。当sps中用信号通知的alf启用标志的值为1时，alf可被确定为对于 cvs中参考sps的画面基本上启用。此外，如上所述，alf可通过在比sps更低的 级别用信号通知附加启用标志来单独地开启/关闭。
[0173]
例如，如果对于cvs启用alf工具，则可在拼块组头或切片头中用信号通知附 加启用标志(这可被称为第二alf启用标志)。例如，当在sps级别启用alf时， 可解析/用信号通知第二alf启用标志。当第二alf启用标志的值为1时，可通过拼 块组头或切片头来解析alf数据。例如，第二alf启用标志可指定亮度分量和色度 分量的alf启用条件。可通过aps id信息来访问alf数据。
[0174]
[表3]
句法元素或slice_aps_id句法元素)来标识。aps可包括alf数据。
[0186]
此外，例如，包括alf数据的aps的结构可基于以下句法和语义来描述。表7 的句法可以是aps的一部分。
[0187]
[表7]
[0188][0189]
[表8]
[0190][0191][0192]
如上所述，adaptation_parameter_set_id句法元素可指示对应aps的标识符。即， aps可基于adaptation_parameter_set_id句法元素来标识。adaptation_parameter_set_id 句法元素可被称为aps id信息。另外，aps可包括alf数据字段。alf数据字段 可在adaptation_parameter_set_id句法元素之后解析/用信号通知。
[0193]
另外，例如，aps扩展标志(例如，aps_extension_flag句法元素)可在aps中 解析/用信号通知。aps扩展标志可指示是否存在aps扩展数据标志 (aps_extension_data_flag)句法元素。例如，aps扩展标志可用于为vvc标准的稍 后版本提供扩展点。
[0194]
图8示出根据本文献的实施方式的示例性lmcs结构。图8的lmcs结构800 包括基于自适应分段线性(自适应pwl)模型的亮度分量的回路映射部810和色度 分量的亮度相关色度残差缩放部820。回路映射部810的解量化和逆变换811、重构 812和帧内预测813块表示在映射(整形)域中应用的处理。环路滤波器815、回路 映射部810的运动补偿或帧间预测817块以及色度残差缩放部820的重构822、帧内 预测823、运动补偿或帧间预测824、环路滤波器825块表示在原始(非映射、非整 形)域中应用的处理。
[0195]
如图8所示，当lmcs被启用时，可应用反向映射(整形)处理814、前向映射 (整形)处理818和色度缩放处理821中的至少一个。例如，可对重构画面中的(重 构)亮度样本(或亮度样本或亮度样本阵列)应用反向映射处理。可基于亮度样本的 分段函数(反向)索引来执行反向映射处理。分段函数(反向)索引可标识亮度样本 所属的片段。反向映射处理的输
围以改进压缩效率。对于亮度映射，可使用前向映射(整形)函数(fwdmap)以及 与前向映射函数(fwdmap)对应的反向映射(整形)函数(invmap)。可使用分段 线性模型用信号通知fwdmap函数，例如，分段线性模型可具有16个片段或仓，片 段可具有相等的长度。在一个示例中，invmap函数不需要用信号通知，而是从fwdmap 函数推导。即，反向映射可以是前向映射函数。例如，反向映射函数可在数学上构建 为前向映射的对称函数，如线y＝x所反映的。
[0202]
回路(亮度)整形可用于将输入亮度值(样本)映射至整形域中的更改值。整形 值可被编码，然后在重构之后映射回原始(未映射、未整形)域。为了补偿亮度信号 和色度信号之间的相互作用，可应用色度残差缩放。回路整形通过指定整形器模型的 高级句法来完成。整形器模型句法可用信号通知分段线性模型(pwl模型)。例如， 整形器模型句法可用信号通知具有相同长度的16个仓或片段的pwl模型。可基于分 段线性模型来推导前向查找表(fwdlut)和/或反向查找表(invlut)。例如，pwl 模型预先计算1024条目前向(fwdlut)和反向(invlut)查找表(lut)。作为示 例，当推导前向查找表fwdlut时，可基于前向查找表fwdlut来推导反向查找表 invlut。前向查找表fwdlut可将输入亮度值yi映射至更改值yr，反向查找表 invlut可将更改值yr映射至重构值y'i。重构值y
′
i可基于输入亮度值yi来推导。
[0203]
在一个示例中，sps可包括下表9的句法。表9的句法可包括 sps_reshaper_enabled_flag作为工具启用标志。这里，sps_reshaper_enabled_flag可用 于指定在编码视频序列(cvs)中是否使用整形器。即，sps_reshaper_enabled_flag 可以是在sps中启用整形的标志。在一个示例中，表9的句法可以是sps的一部分。
[0204]
[表9]
[0205][0206]
在一个示例中，关于句法元素sps_seq_parameter_set_id和 sps_reshaper_enabled_flag的语义可如下表10所示。
[0207]
[表10]
[0208][0209]
在一个示例中，拼块组头或切片头可包括以下表11或表12的句法。
[0210]
[表11]
[0211][0212]
[表12]
[0213][0214]
包括在表11或表12的句法中的句法元素的语义可包括例如下表中公开的事项。
[0215]
[表13]
[0216][0217]
[表14]
[0218][0219][0220]
作为一个示例，一旦在sps中解析启用整形的标志(即， sps_reshaper_enabled_flag)，拼块组头可解析用于构造查找表(fwdlut和/或invlut) 的附加数据(即，包括在上表13或表14中的信息)。为此，可在切片头或拼块组头 中首先检查sps整形器标志(sps_reshaper_enabled_flag)的状态。当 sps_reshaper_enabled_flag为真(或1)时，可解析附加标志，即， tile_group_reshaper_model_present_flag(或slice_reshaper_model_present_flag)。 tile_group_reshaper_model_present_flag(或slice_reshaper_model_present_flag)的目的 可以是指示整形模型的存在。例如，当tile_group_reshaper_model_present_flag(或 slice_reshaper_model_present_flag)为真(或1)时，可指示对于当前拼块组(或当前 切片)存在整形器。当tile_group_reshaper_model_present_flag(或 slice_reshaper_model_present_flag)为假(或0)时，可指示对于当前拼块组(或当前 切片)不存在整形器。
[0221]
如果存在整形器并且在当前拼块组(或当前切片)中启用整形器，则可处理整形 器模型(即，tile_group_reshaper_model()或slice_reshaper_model())。更进一步，还可 解析附加标志tile_group_reshaper_enable_flag(或slice_reshaper_enable_flag)。 tile_group_reshaper_enable_flag(或slice_reshaper_enable_flag)可指示整形模型是否 用于当前拼块组(或切片)。例如，如果tile_group_reshaper_enable_flag(或 slice_reshaper_enable_flag)为0(或假)，则可指示整形模型不用于当前拼块组(或 当前切片)。
如果tile_group_reshaper_enable_flag(或slice_reshaper_enable_flag)为1 (或真)，则可指示整形模型用于当前拼块组(或切片)。
[0222]
作为一个示例，tile_group_reshaper_model_present_flag(或 slice_reshaper_model_present_flag)可为真(或1)，并且tile_group_reshaper_enable_flag (或slice_reshaper_enable_flag)可为假(或0)。这意味着整形模型存在，但未在当 前拼块组(或切片)中使用。在这种情况下，整形模型可在未来拼块组(或切片)中 使用。作为另一示例，tile_group_reshaper_enable_flag可为真(或1)并且 tile_group_reshaper_model_present_flag可为假(或0)。在这种情况下，解码器使用来 自先前初始化的整形器。
[0223]
当解析整形模型(即，tile_group_reshaper_model()或slice_reshaper_model())和 tile_group_reshaper_enable_flag(或slice_reshaper_enable_flag)时，可确定(评估) 是否存在色度缩放所需的条件。上述条件包括条件1(当前拼块组/切片还未被帧内编 码)和/或条件2(当前拼块组/切片还未被分割为用于亮度和色度的两个单独的编码 四叉树结构，即，当前拼块组/切片的块结构不是双树结构)。如果条件1和/或条件2 为真和/或tile_group_reshaper_enable_flag(或slice_reshaper_enable_flag)为真(或1)， 则可解析tile_group_reshaper_chroma_residual_scale_flag(或 slice_reshaper_chroma_residual_scale_flag)。当 tile_group_reshaper_chroma_residual_scale_flag(或 slice_reshaper_chroma_residual_scale_flag)被启用(如果为1或真)时，可指示对于 当前拼块组(或切片)启用色度残差缩放。当 tile_group_reshaper_chroma_residual_scale_flag(或 slice_reshaper_chroma_residual_scale_flag)被禁用(如果为0或假)时，可指示对于 当前拼块组(或切片)禁用色度残差缩放。
[0224]
拼块组整形模型的目的是解析构造查找表(lut)所需的数据。这些lut的构 造理念是，亮度值的允许范围的分布可被划分为多个仓(例如，16个仓)，这可使用 一组16个pwl方程组来表示。因此，落在给定仓内的任何亮度值可被映射至更改的 亮度值。
[0225]
图10示出表示示例性前向映射的图。在图10中，示例性地示出五个仓。
[0226]
参照图10，x轴表示输入亮度值，y轴表示更改的输出亮度值。x轴被划分为5 个仓或切片，各个仓的长度为l。即，映射至更改的亮度值的五个仓具有相同的长度。 前向查找表(fwdlut)可使用从拼块组头可用的数据(即，整形器数据)来构造， 因此可方便映射。
[0227]
在一个实施方式中，可计算与仓索引关联的输出枢轴点。输出枢轴点可设定(标 记)亮度码字整形的输出范围的最小边界和最大边界。输出枢轴点的计算处理可通过 计算码字数量的分段累积分布函数(cdf)来执行。输出枢轴范围可基于要使用的仓 的最大数量和查找表(fwdlut或invlut)的大小来切片。作为一个示例，输出枢 轴范围可基于仓的最大数量与查找表的大小之间的乘积(lut的大小*仓索引的最大 数量)来切片。例如，如果仓的最大数量与查找表的大小之间的乘积为1024，则输 出枢轴范围可被切片为1024个条目。输出枢轴范围的这种锯齿可基于(使用)缩放 因子来执行(应用或实现)。在一个示例中，缩放因子可基于下式1来推导。
[0228]
[式1]
[0229]
sf＝(y2-y1)*(1＜＜fp_prec) c
[0230]
在式1中，sf表示缩放因子，y1和y2表示与各个仓对应的输出枢轴点。另外， fp_prec和c可以是预定常数。基于式1确定的缩放因子可被称为用于前向整形的 缩放因子。
[0231]
在另一实施方式中，关于反向整形(反向映射)，对于所定义的要使用的仓的范 围(即，从reshaper_model_min_bin_idx至reshape_model_max_bin_idx)，获取与前向 lut的映射枢轴点对应的输入整形枢轴点和映射反向输出枢轴点(由所考虑的仓索 引*初始码字数量给出)。在另一示例中，缩放因子sf可基于下式2来推导。
[0232]
[式2]
[0233]
sf＝(y2-y1)*(1＜＜fp_prec)/(x2-x1)
[0234]
在式2中，sf表示缩放因子，x1和x2表示输入枢轴点，y1和y2表示与各个片 段(仓)对应的输出枢轴点(反向映射的输出枢轴点)。这里，输入枢轴点可以是基 于前向查找表(fwdlut)映射的枢轴点，输出枢轴点可以是基于反向查找表(invlut) 反向映射的枢轴点。另外，fp_prec可以是预定常数值。式2的fp_prec可与式1 的fp_prec相同或不同。基于式2确定的缩放因子可被称为用于反向整形的缩放因 子。在反向整形期间，输入枢轴点的分割可基于式2的缩放因子来执行。缩放因子 sf用于对输入枢轴点的范围进行切片。基于分割的输入枢轴点，从0至最小仓索引 (reshaper_model_min_bin_idx)和/或从最小仓索引(reshaper_model_min_bin_idx) 至最大仓索引(reshape_model_max_bin_idx)的范围内的仓索引被指派与最小仓值和 最大仓值对应的枢轴值。
[0235]
在一个示例中，lmcs数据(lmcs_data)可被包括在aps中。例如，aps的语 义可以是为编码用信号通知的32个aps。
[0236]
下表示出根据本文献的实施方式的示例性aps的句法和语义。
[0237]
[表15]
[0238][0239]
[表16]
[0240][0241]
参照表15，可在aps中解析/用信号通知aps参数的类型信息(例如， aps_params_
type)。可在adaptation_parameter_set_id之后解析/用信号通知aps参数的 类型信息。
[0242]
包括在上表15中的aps_params_type、alf_aps和lmcs_aps可根据下表来 描述。即，根据包括在表15中的aps_params_type，应用于aps的aps参数的类型 可如包括在表16中的表3.2所示设定。
[0243]
参照表16，例如，aps_params_type可以是用于对对应aps参数的类型进行分类 的句法元素。aps参数的类型可包括alf参数和lmcs参数。参照表16，当类型信 息(aps_params_type)的值为0时，aps_params_type的名称可被确定为alf_aps(或 alf aps)，aps参数的类型可被确定为alf参数(aps参数可表示alf参数)。在 这种情况下，alf数据字段(即，alf_data())可被解析/用信号通知给aps。当类型 信息(aps_params_type)的值为1时，aps_params_type的名称可被确定为lmcs_aps (或lmcs aps)，aps参数的类型可被确定为lmcs参数(aps参数可表示lmcs 参数)。在这种情况下，lmcs(整形器模型、整形器)数据(即，lmcs_data())可被 解析/用信号通知给aps。
[0244]
下面的表17和/或表18示出根据实施方式的整形器模型的句法。整形器模型可 被称为lmcs模型。尽管这里整形器模型被示例性地描述为拼块组整形器，但本说 明书未必限于此实施方式。例如，整形器模型可被包括在aps中，或者拼块组整形 器模型可被称为切片整形器模型或lmcs数据(lmcs数据字段)。另外，前缀
ꢀ“
reshaper_model”或“rsp”可与“lmcs”互换使用。例如，在以下的表和下面的描述中， reshaper_model_min_bin_idx、reshaper_model_delta_max_bin_idx、 reshaper_model_max_bin_idx、rspcw、rsepdeltacw可分别与lmcs_min_bin_idx、 lmcs_delta_cs_bin_idx、lmx mixed、lmcs_delta_csdcs_bin_idx、wlm_idx互换使用。
[0245]
包括在上表15中的lmcs数据(lmcs_data())或整形器模型(拼块组整形器或 切片整形器)可被表示为包括在下表中的句法。
[0246]
[表17]
[0247][0248]
[表18]
[0249][0250]
包括在表17和/或表18的句法中的句法元素的语义可包括例如下表中公开的事 项。
[0251]
[表19]
[0252]
[0253][0254]
[表20]
[0255]
[0256][0257]
根据本文献的亮度样本的反向映射处理可如下表所示以标准文献的形式描述。
[0258]
[表21]
[0259]
[0260][0261]
根据本文献的亮度样本的分段函数索引处理的标识可如下表所示以标准文献的 形式描述。在表22中，idxyinv可被称为反向映射索引，并且反向映射索引可基于重 构的亮度样本(lumasample)来推导。
[0262]
[表22]
[0263][0264]
可基于上述实施方式和示例来执行亮度映射，并且上述句法和包括在其中的组件 可以仅是示例性表示，本文献中的实施方式不限于上述表或式。以下，描述基于亮度 映射来执行色度残差缩放(残差样本的色度分量的缩放)的方法。
[0265]
(亮度相关)色度残差缩放被设计为补偿亮度信号及其对应色度信号之间的相互 作用。例如，还在拼块组级别用信号通知色度残差缩放是否被启用。在一个示例中， 如果亮度映射被启用并且如果不对当前拼块组应用双树分区(也称为单独的色度树)， 则用信号通知附加标志以指示亮度相关色度残差缩放是否被启用。在其它示例中，当 不使用亮度映射时，或者当在当前拼块组中使用双树分区时，亮度相关色度残差缩放 被禁用。在另一示例中，对于面积小于或等于4的色度块，亮度相关色度残差缩放始 终被禁用。
[0266]
色度残差缩放可基于对应亮度预测块的平均值(应用了帧内预测模式和/或帧间 预测模式的预测块的亮度分量)。编码器端和/或解码器侧的缩放操作可基于下式3以 定点整数算术来实现。
[0267]
[式3]
[0268]
c’＝sign(c)*((abs(c)*s 2cscale_fp_prec-1)＞＞cscale_fp_prec)
[0269]
在式3中，c'表示缩放的色度残差样本(残差样本的缩放的色度分量)，c表示色 度残差样本(色度残差样本、残差样本的色度分量)，s表示色度残差缩放因子， cscale_fp_
prec表示(预定义的)常数值以指定精度。例如，cscale_fp_prec 可为11。
[0270]
图11是示出根据本文献的实施方式的用于推导色度残差缩放索引的方法的流程 图。图11中的方法可基于图8以及包括在与图8有关的描述中的表、式、变量、阵 列和函数来执行。
[0271]
在步骤s1110中，可基于预测模式信息确定当前块的预测模式是帧内预测模式还 是帧间预测模式。如果预测模式是帧内预测模式，则当前块或当前块的预测样本被认 为已经在整形(映射)区域中。如果预测模式是帧间预测模式，则当前块或当前块的 预测样本被认为在原始(未映射、未整形)区域中。
[0272]
在步骤s1120中，当预测模式是帧内预测模式时，可计算(推导)当前块的平均 (或当前块的亮度预测样本)。即，直接计算在已经整形的区域中当前块的平均。平 均也可被称为平均值或均值。
[0273]
在步骤s1121中，当预测模式是帧间预测模式时，可对当前块的亮度预测样本执 行(应用)前向整形(前向映射)。通过前向整形，基于帧间预测模式的亮度预测样 本可从原始区域映射至整形区域。在一个示例中，亮度预测样本的前向整形可基于以 上面的表17和/或表18描述的整形模型来执行。
[0274]
在步骤s1122中，可计算(推导)前向整形的(前向映射的)亮度预测样本的平 均。即，可执行前向整形结果的平均处理。
[0275]
在步骤s1130中，可计算色度残差缩放索引。当预测模式是帧内预测模式时，可 基于亮度预测样本的平均来计算色度残差缩放索引。当预测模式是帧间预测模式时， 色度残差缩放索引可基于前向整形的亮度预测样本的平均来计算。
[0276]
在实施方式中，可基于for循环句法来计算色度残差缩放索引。下表示出用于推 导(计算)色度残差缩放索引的示例性for循环句法。
[0277]
[表23]
[0278][0279]
在表23中，idxs表示色度残差缩放索引，idxfound表示标识是否获得满足if语 句的条件的色度残差缩放索引的索引，s表示预定常数值，maxbinidx表示最大允许 仓索引。reshappivot[idxs 1](换言之，lmcspivot[idxs 1])可基于上述表19和/或 表20来推导。
[0280]
在实施方式中，可基于色度残差缩放索引来推导色度残差缩放因子。式4是用于 推导色度残差缩放因子的示例。
[0281]
[式4]
[0282]
s＝chromascalecoef[idxs]
[0283]
在式4中，s表示色度残差缩放因子，chromascalecoef可以是基于上述表19和 /或
表20推导的变量(或阵列)。
[0284]
如上所述，可获得参考样本的平均亮度值，并且可基于平均亮度值来推导色度残 差缩放因子。如上所述，可基于色度残差缩放因子来缩放色度分量残差样本，并且可 基于缩放的色度分量残差样本来生成色度分量重构样本。
[0285]
在本文献的一个实施方式中，提出了用于高效地应用上述lmcs的信令结构。 根据本文献的此实施方式，例如，lmcs数据可被包括在hls(即，aps)中，并且 通过aps的较低级别的头信息(即，画面头、切片头)，lmcs模型(整形器模型) 可通过用信号通知aps的id(称为头信息)来自适应地推导。lmcs模型可基于lmcs 参数来推导。另外，例如，可通过头信息用信号通知多个aps id，并且由此，可在 同一画面/切片内以块为单位应用不同的lmcs模型。
[0286]
在根据本文献的一个实施方式中，提出了高效地执行lmcs所需的操作的方法。 根据上面在表19和/或表20中描述的语义，需要通过片段长度lmcscw[i](在本文献 中也称为rspcw[i])的除法运算以推导invscalecoeff[i]。反向映射的片段长度可能 不是2的幂，这意味着无法通过比特移位执行除法。
[0287]
例如，计算invscalecoeff可能需要每切片至多16次除法。根据上述表19和/或 表20，对于10比特编码，lmcscw[i]的范围是从8至511，因此为了实现使用lut 按照lmcscw[i]的除法运算，lut的大小必须为504。另外，对于12比特编码， lmcscw[i]的范围是从32至2047，因此lut大小需要为2016，以实现使用lut按 照lmcscw[i]的除法运算。即，除法在硬件实现方面昂贵，因此，可取的是尽可能避 免除法。
[0288]
在此实施方式的一个方面，lmcscw[i]可被约束为固定数量(或预定数量)的倍 数。因此，除法的查找表(lut)(lut的容量或大小)可减小。例如，如果lmcscw[i] 变为2的倍数，则替换除法处理的lut的大小可减小一半。
[0289]
在此实施方式的另一方面，提出对于以更高内部比特深度编码进行编码，在现有 约束“lmcscw[i]的值应在(orgcw》》3)至(orgcw《《3-1)的范围内”之上，如果编码比 特深度高于10，则进一步将lmcscw[i]约束为1《《(bitdepthy-10)的倍数。这里， bitdepthy可以是亮度比特深度。因此，lmcscw[i]的可能数量不会随编码比特深度而 变化，并且计算invscalecoeff所需的lut的大小不会由于更高的编码比特深度而增 加。例如，对于12比特内部编码比特深度，lmcscw[i]的极限值是4的倍数，则替换 除法处理的lut将与用于10比特编码的相同。这方面可单独实现，但是也可与上述 方面组合实现。
[0290]
在此实施方式的另一方面，lmcscw[i]可被约束为更窄的范围。例如，lmcscw[i] 可被约束在从(orgcw》》1)至(orgcw《《1)-1的范围内。然后对于10比特编码， lmcscw[i]的范围可为[32,127]，因此，仅需要大小为96的lut来计算invscalecoeff。
[0291]
在本实施方式的另一方面，lmcscw[i]可被近似为与2的幂最接近的数，并在整 形器设计中使用。因此，可通过比特移位来执行(并替换)反向映射中的除法。
[0292]
在根据本文献的一个实施方式中，提出了lmcs码字范围的约束。根据上述表8， lmcs码字的值在从(orgcw》》3)至(orgcw《《3)-1的范围内。此码字范围太宽。当 rspcw[i]和orgcw之间存在较大差异时，可能导致视觉伪影问题。
[0293]
依据根据本文献的一个实施方式，提出了将lmcs pwl映射的码字约束至窄范 围。例如，lmcscw[i]的范围可在范围(orgcw》》1)至(orgcw《《1)-1内。
[0294]
在根据本文献的一个实施方式中，对于lmcs中的色度残差缩放提出使用单个 色度残差缩放因子。推导色度残差缩放因子的现有方法使用对应亮度块的平均值并推 导反向亮度映射的每一片段的斜率作为对应缩放因子。另外，识别分段索引的处理需 要对应亮度块的可用性，这导致延迟问题。这对于硬件实现而言是不可取的。根据本 文献的此实施方式，色度块中的缩放可能不依赖于亮度块值，并且可能不需要识别分 段索引。因此，lmcs中的色度残差缩放处理可在没有延迟问题的情况下执行。
[0295]
在根据本文献的一个实施方式中，可基于亮度lmcs信息从编码器和解码器二 者推导单个色度缩放因子。当接收到lmcs亮度模型时，可更新色度残差缩放因子。 例如，当lmcs模型更新时，单个色度残差缩放因子可更新。
[0296]
下表示出根据本实施方式的获得单个色度缩放因子的示例。
[0297]
[表24]
[0298][0299]
参照表24，可通过对lmcs_min_bin_idx和lmcs_max_bin_idx内的所有片段的 反向亮度映射斜率取平均来获得单个色度缩放因子(例如，chromascalecoeff或 chromascalecoeffsingle)。
[0300]
图12示出根据本文献的实施方式的枢轴点的线性拟合。在图12中，示出枢轴点 p1、ps和p2。以下实施方式或其示例将以图12来描述。
[0301]
在此实施方式的示例中，可基于枢轴点lmcs_min_bin_idx和lmcs_max_bin_idx 1 (lmcsmaxbinidx 1)之间的亮度pwl映射的线性近似来获得单个色度缩放因子。 即，线性映射的反斜率可用作色度残差缩放因子。例如，图12的线性线1可以是连 接枢轴点p1和p2的直线。参照图12，在p1中，输入值为x1并且映射值为0，并 且在p2中，输入值为x2并且映射值为y2。线性线1的反斜率(反标度)为(x2-x1)/y2， 并且可基于枢轴点p1、p2的输入值和映射值以及下式来计算单个色度缩放因子 chromascalecoeffsingle。
[0302]
[式5]
[0303]
chromascalecoeffsingle＝(x2-x1)*(1＜＜cscale_fp_prec)/y2
[0304]
在式5中，cscale_fp_prec表示移位因子，例如，cscale_fp_prec可以 是预定常数值。在一个示例中，cscale_fp_prec可为11。
[0305]
在根据此实施方式的另一示例中，参照图12，枢轴点ps处的输入值为 min_bin_idx 1，枢轴点ps处的映射值为ys。因此，线性线1的反斜率(反标度)可 被计算为(xs-x1)/ys，并且可基于枢轴点p1、ps的输入值和映射值以及下式来计算单 个色度缩放因子chromascalecoeffsingle。
[0306]
[式6]
[0307]
chromascalecoeffsingle＝(xs-x1)*(1＜《cscale_fp_prec)/ys
[0308]
在式6中，cscale_fp_prec表示移位因子(比特移位因子)，例如， cscale_fp_prec
可以是预定常数值。在一个示例中，cscale_fp_prec可为11， 并且可基于cscale_fp_prec执行反标度的比特移位。
[0309]
在根据此实施方式的另一示例中，可基于线性近似线来推导单个色度残差缩放因 子。推导线性近似线的示例可包括枢轴点(即，lmcs_min_bin_idx、lmcs_max_bin_idx 1) 的线性连接。例如，线性近似结果可由pwl映射的码字表示。p2处的映射值y2可 以是所有仓(分片)的码字之和，并且p2处的输入值与p1处的输入值之差(x2-x1) 为orgcw*(lmcs_max_bin_idx-lmcs_min_bin_idx 1)(对于orgcw，参见上面的表19 和/或表20)。下表示出根据上述实施方式获得单个色度缩放因子的示例。
[0310]
[表25]
[0311][0312]
参照表25，可从两个枢轴点(即，lmcs_min_bin_idx、lmcs_max_bin_idx)获得 单个色度缩放因子(例如，chromascalecoeffsingle)。例如，线性映射的反斜率可用 作色度缩放因子。
[0313]
在此实施方式的另一示例中，可通过枢轴点的线性拟合来获得单个色度缩放因子 以使线性拟合与现有pwl映射之间的误差(或均方误差)最小化。此示例可比简单 连接lmcs_min_bin_idx和lmcs_max_bin_idx处的两个枢轴点更准确。寻找最优线性 映射有许多方式，下面描述这样的示例。
[0314]
在一个示例中，用于使最小二乘误差之和最小化的线性拟合式y＝b1*x b0的参 数b1和b0可基于下式7和/或式8来计算。
[0315]
[式7]
[0316][0317]
[式8]
[0318][0319]
在式7和式8中，x是原始亮度值，y是整形亮度值，和是x和y的均值，xi 和yi表示第i枢轴点的值。
[0320]
参照图12，识别线性映射的另一简单近似被给出为：
[0321]-通过连接lmcs_min_bin_idx和lmcs_max_bin_idx 1处的pwl映射的枢轴点来 得到线性线1，以orgw的倍数的输入值计算此线性线的lmcs_pivots_linear[i]
[0322]-使用线性线1并使用pwl映射对枢轴点映射值之差进行求和。
[0323]-得到平均差avgdiff。
[0324]-根据平均差来调节线性线的最后枢轴点，例如，2*avgdiff
[0325]-使用调节的线性线的反斜率作为色度残差标度。
[0326]
根据上述线性拟合，色度缩放因子(即，前向映射的反斜率)可基于下式9或式 10来推导(获得)。
[0327]
[式9]
[0328]
chromascalecoeffsingle＝orgcw*(1＜＜cscale_fp_prec) /lmcs_pivots_linear[lmcs_min_bin_idx 1]
[0329]
[式10]
[0330]
chromascalecoeffsingle＝orgcw*(lmcs_max_bin_idx-lmcs_max_bin_idx 1) *(1＜＜cscale_fp_prec)/lmcs_pivots_linear[lmcs_max_bin_idx 1]
[0331]
在上述式中，lmcs_pivots_lienar[i]可以是线性映射的映射值。对于线性映射，最 小仓索引和最大仓索引之间的pwl映射的所有片段可具有相同的lmcs码字 (lmcscw)。即，lmcs_pivots_linear[lmcs_min_bin_idx 1]可与 lmcscw[lmcs_min_bin_idx]相同。
[0332]
另外，在式9和式10中，cscale_fp_prec表示移位因子(比特移位因子)， 例如，cscale_fp_prec可以是预定常数值。在一个示例中，cscale_fp_prec 可为11。
[0333]
利用单个色度残差缩放因子(chromascalecoeffsingle)，不再需要计算对应亮度 块的平均，在pwl线性映射中寻找索引以得到色度残差缩放因子。因此，使用色度 残差缩放的编码效率可增加。这不仅消除了对对应亮度块的依赖性，解决了延迟问题， 而且降低了复杂度。
[0334]
根据上述本实施方式的与lmcs数据有关的语义和/或色度样本的亮度相关色度 残差缩放过程可如下表所示以标准文献格式描述。
[0335]
[表26]
[0336][0337]
[表27]
[0338][0339][0340]
在本文献的另一实施方式中，编码器可确定与单个色度缩放因子有关的参数并将 这些参数用信号通知给解码器。利用信令，编码器可利用编码器处可用的其它信息来 推导色度缩放因子。此实施方式旨在消除色度残差缩放延迟问题。
[0341]
例如，识别要用于确定色度残差缩放因子的线性映射的另一示例给出如下：
[0342]-通过连接lmcs_min_bin_idx和lmcs_max_bin_idx 1处的pwl映射的枢轴点， 以orgw的倍数的输入值计算此线性线的lmcs_pivots_linear[i]
[0343]-使用线性线1和亮度pwl映射的那些来得到枢轴点的映射值之差的加权和。权 重可基于编码器统计数据(例如，仓的直方图)。
[0344]-得到加权平均差avgdiff。
[0345]-根据加权平均差来调节线性线1的最后枢轴点，例如，2*avgdiff
[0346]-使用调节的线性线的反斜率来计算色度残差标度。
[0347]
下表示出用信号通知用于色度缩放因子推导的y值的句法的示例。
[0348]
[表28]
[0349][0350]
在表28中，句法元素lmcs_chroma_scale可指定用于lmcs色度残差缩放的单个 色度(残差)缩放因子(chromascalecoeffsingle＝lmcs_chroma_scale)。即，可直接 用信号通知关于色度残差缩放因子的信息，并且用信号通知的信息可被推导为色度残 差缩放因子。换言之，用信号通知的关于色度残差缩放因子的信息的值可被(直接) 推导为单个色度残差缩放因子的值。这里，句法元素lmcs_chroma_scale可与其它 lmcs数据(即，与码字的绝对值和符号等有关的句法元素)一起用信号通知。
[0351]
另选地，编码器可仅用信号通知必要参数以在解码器处推导色度残差缩放因子。 为了在解码器处推导色度残差缩放因子，需要输入值x和映射值y。由于x值是仓长 度并且是已知数，所以不需要用信号通知。毕竟，仅需要用信号y值通知以便推导色 度残差缩放因子。这里，y值可以是线性映射中的任何枢轴点的映射值(即，图12 中的p2或ps的映射值)。
[0352]
下表示出用信号通知用于推导色度残差缩放因子的映射值的示例。
[0353]
[表29]
[0354][0355]
[表30]
[0356][0357]
上述表29和表30的句法之一可用于用信号通知编码器和解码器所指定的任何线 性枢轴点处的y值。即，编码器和解码器可使用相同的句法来推导y值。
[0358]
首先，描述根据表29的实施方式。在表29中，lmcs_cw_linear可表示ps或p2 处的映射值。即，在根据表29的实施方式中，可通过lmcs_cw_linear用信号通知固 定数。
[0359]
在根据此实施方式的示例中，如果lmcs_cw_linear表示一个仓的映射值(即，图 12的ps中的lmcs_pivots_linear[lmcs_min_bin_idx 1])，则可基于下式来推导色度缩 放因子。
[0360]
[式11]
[0361]
chromascalecoeffsingle＝orgcw*(1＜＜cscale_fp_prec)/lmcs_cw_linear
[0362]
在根据此实施方式的另一示例中，如果lmcs_cw_linear表示lmcs_max_bin_idx 1 (即，图12的p2中的lmcs_pivots_linear[lmcs_max_bin_idx 1])，则可基于下式来推 导色度缩放因子。
[0363]
[式12]
[0364]
chromascalecoeffsingle＝orgcw*(lmcs_max_bin_idx-lmcs_max_bin_idx 1) *(1＜＜cscale_fp_prec)/lmcs_cwlinear
[0365]
在上述式中，cscale_fp_prec表示移位因子(比特移位因子)，例如， cscale_fp_prec可以是预定常数值。在一个示例中，cscale_fp_prec可为11。
[0366]
接下来，描述根据表30的实施方式。在此实施方式中，可用信号通知 lmcs_cw_linear作为相对于固定数(即，lmcs_delta_abs_cw_linear、 lmcs_delta_sign_cw_linear_flag)的增量值。在此实施方式的示例中，当lmcs_cw_linear 表示lmcs_pivots_linear[lmcs_min_bin_idx 1](即，图12的ps)中的映射值时，可基 于下式来推导lmcs_cw_linear_delta和lmcs_cw_linear。
[0367]
[式13]
[0368]
lmcs_cw_linear_delta＝(1-2*lmcs_delta_sign_cw_linear_flag)*lmcs_delta_abs_linear_cw
[0369]
[式14]
[0370]
lmcs_cw_linear＝lmcs_cw_linear_delta orgcw
[0371]
在此实施方式的另一示例中，当lmcs_cw_linear表示 lmcs_pivots_linear[lmcs_max_bin_idx 1](即，图12的p2)中的映射值时，可基于下 式来推导lmcs_cw_linear_delta和lmcs_cw_linear。
[0372]
[式15]
[0373]
lmcs_cw_linear_delta＝(1-2*lmcs_delta_sign_cw_linearflag)*lmcs_deltaabslinearcw
[0374]
[式16]
[0375]
lmcs_cwlinear＝lmcs_cw_linear_delta orgcw*(lmcs_max_bin_idx-lmcs_max_bin_idx 1)
[0376]
在上述式中，orgcw可以是基于上述表19和/或表20推导的值。
[0377]
根据上述本实施方式的用于与lmcs数据有关的语义和/或色度样本的亮度相关 色度残差缩放过程可如下表所示以标准文献格式来描述。
[0378]
[表31]
[0379][0380]
[表32]
[0381][0382][0383]
图13示出根据本文献的实施方式的线性整形(或线性整形、线性映射)的一个 示例。即，在此实施方式中，提出了在lmcs中使用线性整形器。例如，图13中的 此示例可涉及前向线性整形(映射)。
[0384]
参照图13，线性整形器可包括两个枢轴点，即，p1和p2。p1和p2可表示输入 值和映射值，例如p1可为(min_input,0)并且p2可为(max_input,max_mapped)。这里， min_input表示最小输入值，max_input表示最大输入值。小于或等于min_input的任 何输入值被映射至0，大于max_input的任何输入值被映射至max_mapped。min_input 和max_input内的任何输入亮度值被线性映射至其它值。图13示出映射的示例。可 在编码器处确定枢轴点p1、p2，并且可使用线性拟合来近似分段线性映射。
[0385]
在根据本文献的另一实施方式中，可提出用信号通知线性整形器的方法的另一示 例。可明确用信号通知线性整形器模型的枢轴点p1、p2。下表示出根据此示例的明 确用信号通知线性整形器模型的句法和语义的示例。
[0386]
[表33]
[0387][0388]
[表34]
[0389][0390][0391]
参照表33和表34，可基于句法元素lmcs_min_input来推导第一枢轴点的输入值， 并且可基于句法元素lmcs_max_input来推导第二枢轴点的输入值。第一枢轴点的映 射值可以是预定值(编码器和解码器二者已知的值)，例如，第一枢轴点的映射值为 0。可基于句法元素lmcs_max_mapped来推导第二枢轴点的映射值。即，可基于在表 33的句法中用信号通知的信息来明确(直接)用信号通知线性整形器模型。
[0392]
另选地，lmcs_max_input和lmcs_max_mapped可作为增量值用信号通知。下表 示出作为增量值用信号通知线性整形器模型的句法和语义的示例。
[0393]
[表35]
[0394][0395]
[表36]
[0396][0397]
参照表36，可基于句法元素lmcs_min_input来推导第一枢轴点的输入值。例如，lmcs_min_input可具有映射值0。lmcs_max_input_delta可指定第二枢轴点的输入值与 最大亮度值(即，(1＜＜bitdepthy)-1)之差。lmcs_max_mapped_delta可指定第二枢轴 点的
映射值与最大亮度值(即，(1＜＜bitdepthy)-1)之差。
[0398]
根据本文献的实施方式，可基于线性整形器的上述示例来执行亮度预测样本的前 向映射、亮度重构样本的反向映射和色度残差缩放。在一个示例中，在基于线性整形 器的反向映射中对于亮度(重构)样本(像素)的反向缩放可仅需要一个反向缩放因 子。对于前向映射和色度残差缩放也是如此。即，确定scalecoeff[i]、invscalecoeff[i] 和chromascalecoeff[i](i是仓索引)的步骤可仅由一个单一因子代替。这里，一个 单一因子是线性映射的(正)斜率或反斜率的固定点表示。在一个示例中，可基于下 式中的至少一个来推导反向亮度映射缩放因子(亮度重构样本的反向映射中的反向缩 放因子)。
[0399]
[式17]
[0400]
invscalecoeffsingle＝orgcw/lmcscwlinear
[0401]
[式18]
[0402]
invscalecoeffsingle＝orgcw*(lmcs_max_bin_idx-lmcs_max_bin_idx 1) /lmcscwlinearall
[0403]
[式19]
[0404]
invscalecoeffsingle＝(lmcs_max_input-lmcs_min_input)/lmcscwlinearall
[0405]
式17的lmcscwlinear可从上述表31推导。式18和式19的lmcscwlinearall 可从上述表33至表36中的至少一个推导。在式17或式18中，orgcw可从表19和 /或表20推导。
[0406]
下表描述了指示在画面重构中对亮度样本(即，亮度预测样本)的前向映射处理 的式和句法(条件语句)。在下面的表和式中，fp_prec是比特移位的常数值，并且 可以是预定值。例如，fp_prec可为11或15。
[0407]
[表37]
[0408][0409]
[表38]
[0410][0411]
表37可用于基于上述表17至表20在亮度映射处理中推导前向映射的亮度样本。 即，表37可与表19和表20一起描述。在表37中，作为输出的前向映射的亮度(预 测)样本predmappsamples[i][j]可从作为输入的亮度(预测)样本predsamples[i][j] 推导。表37的idxy可被称为(前向)映射索引，映射索引可基于预测亮度样本来推 导。
[0412]
表38可用于在基于线性整形器的亮度映射中推导前向映射的亮度样本。例如， 表38的lmcs_min_input、lmcs_max_input、lmcs_max_mapped和scalecoeffsingle可 通过表
33至表36中的至少一个推导。在表38中，在“lmcs_min_input＜predsamples[i][j] ＜lmcs_max_input”的情况下，前向映射的亮度(预测)样本predmapsamples[i][j]可从 输入的亮度(预测)样本predsamples[i][j]推导作为输出。在表37和表38之间比较， 可从前向映射的角度看出根据线性整形器的应用相对于现有lmcs的改变。
[0413]
下式和表描述了亮度样本(即，亮度重构样本)的反向映射处理。在下式和表中， 作为输入的“lumasample”可以是反向映射之前(修改之前)的亮度重构样本。作为输 出的“invsample”可以是反向映射的(修改的)亮度重构样本。在其它情况下，剪辑 的invsample可被称为修改的亮度重构样本。
[0414]
[式20]
[0415]
invsample＝inputpivot[idxyinv] (invscalecoeff[idxyinv]* (lumasample-lmcspivot[idxyinv]) (1＜＜(fp_prec-1)))＞＞fp_prec
[0416]
[式21]
[0417]
invsample＝lmcs_min_input (invscalecoeffsingle*(lumasample-lmcs_min_input) (1＜＜(fp_prec-1))) ＞＞fp_prec
[0418]
[表39]
[0419][0420][0421]
[表40]
[0422][0423]
式21可用于在根据本文献的亮度映射中推导反向映射的亮度样本。在式20中， 索引idxinv可基于稍后描述的表50、表51或表52来推导。
[0424]
式21可用于根据线性整形器的应用从亮度映射推导反向映射的亮度样本。例如， 式21的lmcs_min_input可从表33至表36中的至少一个推导。通过式20和式21之 间的比较，可从前向映射的角度看出根据线性整形器的应用相对于现有lmcs的改 变。
[0425]
表39可包括在亮度映射中推导反向映射的亮度样本的式的示例。例如，索引 idxinv可基于稍后描述的表50、表51或表52来推导。
[0426]
表40可包括在亮度映射中推导反向映射的亮度样本的式的其它示例。例如，表 40的lmcs_min_input和/或lmcs_max_mapped可通过表33至表36中的至少一个推导， 和/或表40的invscalecoeffsingle至少是表33至表36，和/或式17至式19可由一推 导。
[0427]
基于线性整形器的上述示例，分段索引识别处理可被省略。即，在本示例中，由 于仅存在一个具有有效整形亮度像素的片段，所以可去除用于反向亮度映射和色度残 差缩放的分段索引识别处理。因此，反向亮度映射的复杂度可降低。另外，由在色度 残差缩放期间依赖于亮度分段索引识别导致的延迟问题可消除。
42，lmcs_num_bins_minus1 1可等于仓的数量，仓的数量可在从1至(1《《bitdepthy)-1 的范围内。例如，lmcs_num_bins_minus1或lmcs_num_bins_minus1 1可以是2的幂 的倍数。
[0436]
在与表41和表42一起描述的实施方式中，不管整形器是否为线性的(lmcs_num_bins_minus1的信令)，可基于lmcs_num_bins_minus1(关于仓的数量的 信息)来推导枢轴点的数量，并且可基于用信号通知的码字值(lmcs_delta_input_cw[i]、 lmcs_delta_mapped_cw[i])的总和来推导枢轴点的输入值和映射值(lmcspivot_input[i]、 lmcspivot_mapped[i])(这里，初始输入值lmcspivot_input[0]和初始输出值 lmcspivot_mapped[0]为0)。
[0437]
图14示出本文献的实施方式中的线性前向映射的示例。图15示出本文献的实施 方式中的逆前向映射的示例。
[0438]
在根据图14和图15的实施方式中，提出了支持常规lmcs和线性lmcs二者 的方法。在根据此实施方式的示例中，常规lmcs和/或线性lmcs可基于句法元素 lmcs_is_linear来指示。在编码器中，在确定线性lmcs线之后，映射值(即，图14 和图15的pl中的映射值)可被划分为相等的片段(即，lmcsmaxbinidx
‑ꢀ
lmcs_min_bin_idx 1)。可使用上述lmcs数据或整形器模式的句法用信号通知仓 lmcsmaxbinidx中的码字。
[0439]
下表示例性地示出根据此实施方式的示例的lmcs数据(数据字段)的句法和 包括在其中的句法元素的语义。
[0440]
[表43]
[0441][0442]
[表44]
[0443]
[0444][0445]
下表示例性地示出根据此实施方式的另一示例的lmcs数据(数据字段)的句 法和包括在其中的句法元素的语义。
[0446]
[表45]
[0447]
[0448]
[表46]
[0449][0450][0451]
参照表43至表46，当lmcs_is_linear_flag为真时，lmcs_min_bin_idx和 lmcsmaxbinidx之间的所有lmcsdeltacw[i]可具有相同的值。即，lmcs_min_bin_idx 和lmcsmaxbinidx之间的所有片段的lmcscw[i]可具有相同的值。lmcs_min_bin_idx 和lmcsmaxbinidx之间的所有片段的标度和反标度和色度标度可相同。然后如果线性 整形器
为真，则不需要推导片段索引，它可使用仅来自一个片段的标度、反标度。
[0452]
下表示例性地示出根据本实施方式的分段索引的识别处理。
[0453]
[表47]
[0454][0455]
根据本文献的另一实施方式，常规16片段pwl lmcs和线性lmcs的应用可 取决于更高级别的句法(即，序列级别)。
[0456]
下表示例性地示出根据本实施方式的sps的句法和包括在其中的句法元素的语 义。
[0457]
[表48]
[0458][0459]
[表49]
[0460][0461]
参照表48和表49，可由包括在sps中的句法元素确定(用信号通知)常规lmcs 和/或线性lmcs的启用。参照表48，基于句法元素sps_linear_lmcs_enabled_flag，常 规lmcs或线性lmcs之一可以序列为单位使用。
[0462]
另外，是否仅启用线性lmcs或常规lmcs还是二者也可取决于简档级别。在 一个示例中，对于特定简档(即，sdr简档)，可仅允许线性lmcs，对于另一简档 (即，hdr简档)，可仅允许常规lmcs，对于另一简档，可允许常规lmcs和/或 线性lmcs二者。
[0463]
根据本文献的另一实施方式，可在反向亮度映射和色度残差缩放中使用lmcs 分段索引识别处理。在此实施方式中，分段索引的识别处理可用于色度残差缩放被启 用的块，并且也被调用用于整形(映射)域中的所有亮度样本。本实施方式旨在保持 其复杂度低。
[0464]
下表示出现有分段函数索引的识别处理(推导处理)。
[0465]
[表50]
[0466][0467]
在示例中，在分段索引识别处理中，输入样本可被分类为至少两个类别。例如， 输入样本可被分类为三个类别，第一、第二和第三类别。例如，第一类别可表示小于 lmcspivot[lmcs_min_bin_idx 1]的样本(其值)，第二类别可表示大于或等于 lmcspivot[lmcsmaxbinidx](其值)的样本(其值)，第三类别可指示 lmcspivot[lmcs_min_bin_idx 1]和lmcspivot[lmcsmaxbinidx]之间的样本(其值)。
[0468]
在此实施方式中，提出了通过消除类别分类来优化识别处理。这是因为分段索引 识别处理的输入是整形(映射)域中的亮度值，不应有值超过枢轴点lmcs_min_bin_idx 和lmcsmaxbinidx 1处的映射值。因此，现有分段索引识别处理中将样本分类为类 别的条件处理是不必要的。对于更多细节，将在下面以表来描述具体示例。
[0469]
在根据此实施方式的示例中，包括在表50中的识别处理可由下面的表51或表 52之一代替。参照表51和表52，表50的前两个类别可被去除，对于最后类别，迭 代的for循环中的边界值(第二边界值或终点)从lmcsmaxbinidx改变为lmcsmaxbinidx 1。即，识别处理可被简化，并且分段索引推导的复杂度可降低。因 此，可根据本实施方式高效地执行lmcs相关编码。
[0470]
[表51]
[0471][0472]
[表52]
[0473][0474]
参照表51，可对从最小仓索引到最大仓索引的所有仓索引迭代地执行与if语句 的条件对应的比较处理(与if语句的条件对应的式)。在与if语句的条件对应的式为 真的情况下，仓索引可被推导为反向亮度映射的反向映射索引(或色度残差缩放的反 向缩放索引)。基于反向映射索引，可推导修改的重构亮度样本(或缩放的色度残差 样本)。
[0475]
根据表51，可解决在识别(反向)分段函数索引的过程中可能产生的问题。由 于表51的实施方式，可去除计算漏洞和/或可省略由于交叠边界条件而产生的交叠计 算处理。如果本文献不遵循表51的实施方式，则在关于当前块的lmcs中使用的映 射值可能超过(偏
离)用于识别分段索引(反向映射索引)的for句法(循环句法) 中的lmcspivot[idxyinv 1]。根据本实施方式，关于当前块的lmcs中使用的适当范 围内的映射值可用于索引识别过程。
[0476]
根据本文献的实施方式，可应用(执行)明确色度残差缩放因子信令或隐含(间 接)色度残差缩放因子推导。示出(指示)是应用明确色度残差缩放因子信令还是隐 含色度残差缩放因子推导的标志信息可包括在sps中。即，标志信息可以是sps级 别标志。在本实施方式中，lmcs模型(lmcs数据字段)可在aps中用信号通知。
[0477]
在实施方式中，在明确色度残差缩放因子推导中，可从编码器将关于色度残差缩 放因子的值的信息明确地用信号通知给解码器。例如，关于色度残差缩放因子的值的 信息可以n
×
m个块(ctu)为单位用信号通知。这里，n和/或m可以是预先定义的 正整数。可在切片头用信号通知n和/或m的值。因此，可控制色度残差缩放因子的 值的粒度(关于信令和应用)(从切片单位到ctu(块)单位)。在明确信令中，可 以n
×
m ctu为单位对色度残差缩放因子的值进行解码。可应用色度残差缩放以使用 为属于n
×
m ctu的区域的所有色度块解码的色度残差缩放因子的值。例如，色度残 差缩放因子的值的编码过程可与增量量化参数(qp)的编码过程基本上相同或相似。
[0478]
在一个示例中，在隐含色度残差缩放因子推导中，可基于当前块(例如，属于 vpdu级别的块)的亮度分量(当前块的亮度样本)来推导色度残差缩放因子。在隐 含推导中，可基于包括在先前编码的相邻块(vpdu)中的亮度样本(的值)来推导 各个块(vpdu)的色度残差缩放因子。为了推导各个块的色度残差缩放因子，可使 用左相邻重构亮度样本和/或上相邻重构亮度样本。
[0479]
图16是示出根据本文献的实施方式的lmcs过程的示图。可参照图16描述隐 含色度残差缩放因子的推导。
[0480]
参照图16，用于推导色度残差缩放因子的亮度样本可包括m个左相邻亮度样本 和m个上亮度样本。在一个示例中，m个左相邻亮度样本和/或m个上亮度样本可 靠近左上样本的位置。例如，m可为16。如图16所示，可推导(计算)m个左相邻 亮度样本和m个上亮度样本的平均值以推导色度残差缩放因子。参照图11和相关描 述详细描述了基于亮度样本的平均值推导色度残差缩放因子。为一个块(vpdu)推 导的色度残差缩放因子可用于包括在一个块中的所有色度块(样本)。根据上述实施 方式，可执行对当前块的编码而不再需要亮度样本和色度样本之间的额外的依赖性。
[0481]
当对于画面边界处的最右列中所包括的块，上相邻样本的数量小于m时，可填 充画面边界样本直至m。当对于最下行中所包括的块，左相邻样本的数量小于m时， 可填充画面边界样本直至m。因此，平均的样本数量可始终为2m(例如，m是2的 倍数)，因此，可省略除法。对于最左列中所包括的块，仅m个上相邻样本可用于推 导平均值。此外，对于最上行中所包括的块，仅m个左相邻样本可用于推导平均值。 另外，对于画面的左上块，平均值可被设定为预先确定的值，并且例如，预先确定的 值可以是1《《(bitdepth-1)。
[0482]
下表示出根据本实施方式的sps的示例性句法。
[0483]
[表53]
[0484][0485]
参照表53，sps可包括示出(指示)是应用明确色度残差缩放因子信令还是隐 含色度残差缩放因子推导的明确信令启用标志sps_cs_explicit_flag和/或示出lmcs 数据字段是否被启用的lmcs启用标志sps_lmcs_enabled_flag。基于lmcs启用标志 的值为1的事实，明确信令启用标志可被包括在sps中。
[0486]
下表示出根据本实施方式的切片头的示例性句法。
[0487]
[表54]
[0488][0489]
参照表54，头信息可包括示出在当前切片(或当前画面)lmcs数据字段是否 被启用的lmcs启用标志slice_lmcs_enabled_flag。包括在sps中的lmcs启用标志 可被称为第一lmcs启用标志，包括在头信息中的lmcs启用标志可被称为第二 lmcs启用标志。例如，当第一lmcs启用标志的值为1时，第二lmcs启用标志 可包括在头信息中。当第二lmcs启用标志的值为1时，头信息可包括示出当前画 面所参考的lmcs aps的id的lmcs aps相关id信息slice_lmcs_aps_id以及色度 残差缩放启用标志slice_chroma_residual_scale_flag。头信息可以是画面头信息。即， 表54中的句法可被应用于关于画面头的信息，并且在这种情况下，前缀slice_可由ph_代替。
[0490]
在一个示例中，头信息可包括基于明确信令启用标志sps_cs_explicit_flag和/或色 度残差缩放启用标志slice_chroma_residual_scale_flag的条件。当明确信令启用标志和 色度残差缩放启用标志二者为真(或1)的条件为真时，头信息可包括关于共享相同 色度残差缩放索引的块的数量的信息(例如，slice_cs_horiz_size_minus1、 slice_cs_vertic_size_minus1)。
[0491]
下表示出关于包括在表54中的句法元素的语义。
[0492]
[表55]
[0493][0494]
参照表55，关于共享相同色度残差缩放索引的块的数量的信息可包括关于共享 相同色度残差缩放索引的块的水平数量的信息slice_cs_horiz_size_minus1和/或关于 共享相同色度残差缩放索引的块的垂直数量的信息slice_cs_vertic_size_minus1。共享 相同色度残差缩放索引的块的水平数量csverticsize可基于句法元素 slice_cs_horiz_size_minus1来推导，共享相同色度残差缩放索引的块的垂直数量 csverticsize可基于句法元素slice_cs_vertic_size_minus1来推导。在这种情况下，块 的水平数量可意指共享相同色度残差缩放索引的块所属的区域的水平长度，块的垂直 数量可意指共享相同色度残差缩放索引的块所属的区域的垂直长度。在一个示例中， 共享相同色度残差缩放索引的块所属的区域可以是水平数量和垂直数量的乘积。
[0495]
下表示出根据本实施方式的编码(树)单元信息的示例性句法。
[0496]
[表56]
[0497][0498]
参照表56，编码单元信息可包括基于明确信令启用标志sps_cs_explicit_flag和/ 或色度残差缩放启用标志slice_chroma_residual_scale_flag的条件。当明确信令启用标 志和色度残差缩放启用标志二者均为真(或1)的条件为真时，编码单元信息可包括 关于色度残差缩放因子的值的信息。关于色度残差缩放因子的值的信息可包括关于色 度残差缩放增量值的绝对值的信息cu_crs_delta_abs和/或关于色度残差缩放增量值的 符号的信息cu_crs_delta_sign_flag。例如，当关于色度残差缩放增量值的绝对值的信 息的
值为1(或关于色度残差缩放增量值的绝对值的信息的值大于0)时，关于色度 残差缩放增量值的符号的信息可包括在编码单元信息中。
[0499]
结果，根据本文献的实施方式，集成色度残差缩放可应用于双树架构和单树架构 二者。高级句法(例如，sps)可包括关于色度残差缩放因子的明确信令或隐含推导 的启用信息。可通过明确信令从ctu标度到切片标度控制特殊粒度。可使用包括在 当前块vpdu中的相邻重构亮度样本对各个当前块应用隐含推导。根据本实施方式， 可去除色度残差缩放中的管线延迟。此外，可通过明确信令去除亮度-色度依赖性。 即，可明确地用信号通知关于明确色度残差缩放因子的值的信息，并且因此，可去除 亮度样本和色度样本之间的依赖性。
[0500]
构造下面要描述的图以描述本文献的详细示例。图中描述的设备的详细名称或信 号/消息/字段的详细名称仅作为示例提供，本说明书的技术特性不限于以下图中使用 的详细名称。
[0501]
图17和图18示意性地示出根据本文献的实施方式和相关组件的视频/图像编码 方法的示例。图17中所示的方法可由图2中公开的编码装置执行。详细地，例如， 在图17中，s1700可由编码装置的预测器220执行，s1710可由编码装置的残差处理 器230执行，s1720、s1730和/或s1740可由编码装置的残差处理器230、预测器220 和/或加法器250执行，s1750可由编码装置的残差处理器230执行，s1760可由编码 装置的熵编码器240执行。图17中公开的方法可包括本文献中上面描述的实施方式。
[0502]
参照图17，编码装置可为当前画面中的当前块推导预测色度样本(s1700)。编 码装置可基于预测色度样本来推导当前块的残差色度样本(s1710)。例如，编码装置 可基于预测色度样本和原始色度样本之间的差异来推导残差色度样本。
[0503]
编码装置可生成预测亮度样本。关于预测亮度样本，编码装置可基于预测模式来 推导当前块的预测亮度样本。在这种情况下，可应用本文献中公开的各种预测方法(例 如，帧间预测或帧内预测)。
[0504]
编码装置可推导lmcs码字(s1720)。编码装置可分别为多个仓推导lmcs码 字。例如，上述lmcscw[i]可对应于由编码装置推导的lmcs码字。
[0505]
编码装置可基于lmcs码字来推导关于lmcs数据的信息(s1730)。编码装置 可推导可应用于对重构样本进行滤波的lmcs相关参数，并且可基于lmcs相关参 数来生成关于lmcs数据的信息。例如，关于lmcs数据的信息可包括关于上述亮 度映射(例如，前向映射、反向映射和线性映射)的信息、关于色度残差缩放和/或 与lmcs(或整形或整形器)有关的索引(例如，最大仓索引和最小仓索引)的信息、 关于色度残差缩放增量值的绝对值的信息、关于色度残差缩放增量值的符号的信息和 /或关于共享相同色度残差缩放索引的块的数量的信息。
[0506]
编码装置可生成映射的预测亮度样本。编码装置可基于lmcs码字来生成映射 的预测亮度样本。例如，编码装置可推导用于亮度映射的枢轴点的输入值和映射值(输 出值)，并且可基于输入值和映射值来生成映射的预测亮度样本。在这种情况下，输 入值和映射值可基于lmcs码字来推导。在一个示例中，编码装置可基于第一预测 亮度样本来推导映射索引idxy，并且可基于与映射索引对应的枢轴点的输入值和映 射值来生成初步映射的预测亮度样本。在另一示例中，可使用线性映射(线性整形、 线性lmcs)，可在线性映射中基
于从两个枢轴点推导的前向映射缩放因子来生成映 射的预测亮度样本，并且因此，索引推导过程可由于线性映射而被省略。
[0507]
编码装置可基于残差色度样本和/或lmcs码字来生成缩放的残差色度样本(s1740)。详细地，编码装置可基于lmcs码字来推导色度残差缩放因子并且可基 于色度残差缩放因子来生成缩放的残差色度样本。在这种情况下，编码端的色度残差 缩放可被称为前向色度残差缩放。因此，由编码装置推导的色度残差缩放因子可被称 为前向色度残差缩放因子，并且可生成前向缩放的残差色度样本。
[0508]
编码装置可基于映射的预测亮度样本来生成残差亮度样本。例如，编码装置可基 于映射的预测亮度样本和原始亮度样本之间的差异来推导残差亮度样本。
[0509]
编码装置可推导残差信息(s1750)。编码装置可基于缩放的残差色度样本和/或 残差亮度样本来推导残差信息。编码装置可基于对缩放的残差色度样本和残差亮度样 本的变换过程来推导变换系数。例如，变换过程可包括dct、dst、gbt或cnt中 的至少一个。编码装置可基于变换系数的量化过程来推导量化的变换系数。量化的变 换系数可具有基于系数扫描顺序的一维向量形式。编码装置可生成示出量化的变换系 数的残差信息。可通过诸如指数golomb、cavlc和cabac的各种编码方法来生成 残差信息。
[0510]
编码装置可对图像/视频信息进行编码(s1760)。图像信息可包括lmcs相关信 息和/或残差信息。例如，lmcs相关信息可包括线性lmcs相关信息。例如，可基 于线性lmcs相关信息来推导至少一个lmcs码字。编码的视频/图像信息可按比特 流的形式输出。比特流可通过存储介质的网络发送至解码装置。
[0511]
图像/视频信息可包括根据本文献的实施方式的各种信息项。例如，图像/视频信 息可包括上述表1至表56中的至少任一个中公开的信息。
[0512]
在一个实施方式中，图像信息可包括关于色度残差缩放增量值的绝对值的信息 (表56的cu_crs_delta_abs)和关于色度残差缩放增量值的符号的信息(例如，表56 的cu_crs_delta_sign_flag)。例如，关于色度残差缩放增量值的绝对值的信息和关于色 度残差缩放增量值的符号的信息可示出色度残差缩放因子。即，关于色度残差缩放增 量值的绝对值的信息和关于色度残差缩放增量值的符号的信息可以是色度残差缩放 因子的信息。缩放的残差色度样本可基于色度残差缩放因子来推导。
[0513]
在一个实施方式中，图像信息可包括sps。sps可包括示出lmcs数据字段是否 被启用的第一lmcs启用标志。
[0514]
在一个实施方式中，图像信息可包括头信息。例如，头信息可以是关于切片头或 画面头的信息。基于第一lmcs启用标志的值为1的事实，头信息可包括示出画面 中lmcs数据字段是否被启用的第二lcms启用标志以及示出当前画面所参考的 lmcs aps的id的lmcs相关aps id信息。
[0515]
在一个实施方式中，基于第二lmcs启用标志的值为1的事实，lmcs相关apsid信息可包括在头信息中。
[0516]
在一个实施方式中，当当前块是单树架构或双树架构时(当当前块是单独的树架 构并且当前块以单独的树编码时)，示出对于当前块是否应用色度残差缩放的色度残 差缩放启用标志可包括在头信息(可由编码装置生成)中。当对于当前画面、当前切 片和/或当前块应用色度残差缩放时，色度残差缩放启用标志的值可为1。
一个式来推导。
[0529]
在一个实施方式中，生成映射的预测亮度样本的步骤可包括为预测亮度样本推导 前向映射缩放因子(例如，上述scalecoeffsingle)的步骤以及基于前向映射缩放因 子生成映射的预测亮度样本的步骤。前向映射缩放因子可以是用于预测亮度样本的单 个因子。
[0530]
在一个实施方式中，前向映射缩放因子可基于包括在上述表36和/或表38中的 至少一个式来推导。
[0531]
在一个实施方式中，映射的预测亮度样本可基于包括在上述表38中的至少一个 式来推导。
[0532]
在一个实施方式中，编码装置可为重构亮度样本(例如，上述lumasample)推 导反向映射缩放因子(例如，上述invscalecoeffsingle)。此外，编码装置可基于重构 样本和反向映射缩放因子来生成修改的重构亮度样本(例如，invsample)。反向映射 缩放因子可以是用于重构亮度样本的单个因子。
[0533]
在一个实施方式中，反向映射缩放因子可使用基于重构亮度样本推导的分段索引 来推导。
[0534]
在一个实施方式中，分段索引可基于上述表50来推导。即，可从分段索引为最 小仓索引时至分段索引为最大仓索引时重复地执行包括在表50中的比较过程 lumasample《lmcspivot[idxyinv 1]。
[0535]
在一个实施方式中，反向映射缩放因子可基于包括在上述表33、表34、表35 和表36中的至少一个式或者式11或式12来推导。
[0536]
在一个实施方式中，修改的重构亮度样本可基于式20、式21、表39和/或表40 来推导。
[0537]
在一个实施方式中，lmcs相关信息可包括关于用于推导映射的预测亮度样本的 仓的数量的信息(例如，表41的lmcs_num_bins_minus1)。例如，用于亮度映射的枢 轴点的数量可被设定为与仓的数量相同。在一个示例中，编码装置可分别根据仓的数 量生成枢轴点的增量输入值和增量映射值。在一个示例中，基于增量输入值(例如， 表41的lmcs_delta_input_cw[i])和增量映射值(例如，表41的lmcs_delta_mapped_cw[i]) 来推导枢轴点的输入值和映射值，并且可基于输入值(例如，表42的 lmcspivot_input[i])和映射值(例如，表42的lmcspivot_mapped[i])来生成映射的 预测亮度样本。
[0538]
在一个实施方式中，编码装置可基于包括在lmcs相关信息中的至少一个lmcs 码字和原始码字orgcw来推导lmcs增量码字，并且可基于至少一个lmcs码字和 原始码字来推导映射的亮度预测样本。在一个示例中，关于线性映射的信息可包括关 于lmcs增量码字的信息。
[0539]
在一个实施方式中，可基于lmcs增量码字和orgcw的总和来推导至少一个 lmcs码字，例如，orgcw可为(1《《bitdepthy)/16，其中bitdepthy可示出亮度比 特深度。本实施方式可以基于式14。
[0540]
在一个实施方式中，至少一个lmcs码字可基于lmcs增量码字和 orgcw*(lmcs_max_bin_idx-lmcs_min_bin_idx 1)的总和来推导，lmcs_max_bin_idx和lmcs_min_bin_idx可分别是最大仓索引和最小仓索引，orgcw可为(1《《bitdepthy)/16。 本实施方式可基于式15和式16。
[0541]
在一个实施方式中，至少一个lmcs码字可以是2的倍数。
[0542]
在一个实施方式中，当重构亮度样本的亮度比特深度bitdepthy高于10时，至 少一个lmcs码字可以是1《《(bitdepthy-10)的倍数。
[0543]
在一个实施方式中，至少一个lmcs码字可在(orgcw》》1)至(orgcw《《1)-1的 范围内。
[0544]
图19和图20示意性地示出根据本文献的实施方式的图像/视频解码方法和相关 组件的示例。图19所示的方法可由图3中公开的解码装置执行。详细地，例如，在 图19中，s1900可由解码装置的熵解码器310执行，s1910可由解码装置的残差处理 器320执行，s1920和/或s1930可由解码装置的残差处理器320、预测器330和/或 加法器340执行，s1940可由解码装置的加法器340执行。图19中公开的方法可包 括本文献中上面描述的实施方式。
[0545]
参照图19，解码装置可接收/获得视频/图像信息(s1900)。视频/图像信息可包 括残差信息和/或lmcs相关信息。例如，lmcs相关信息可包括关于上述亮度映射 (例如，前向映射、反向映射和线性映射)的信息、关于色度残差缩放和/或与lmcs (或整形或整形器)有关的索引(例如，最大仓索引、最小仓索引和映射索引)的信 息、关于色度残差缩放增量值的绝对值的信息、关于色度残差缩放增量值的符号的信 息和/或关于共享相同色度残差缩放索引的块的数量的信息。解码装置可通过比特流 接收/获得图像/视频信息。
[0546]
图像/视频信息可包括根据本文献的实施方式的各种信息项。例如，图像/视频信 息可包括上述表1至表56中的至少任一个中公开的信息。
[0547]
解码装置可生成预测亮度样本。解码装置可基于预测模式来推导当前画面中的当 前块的预测亮度样本。在这种情况下，可应用本文献中公开的各种预测方法(例如， 帧间预测或帧内预测)。
[0548]
解码装置可基于残差信息来生成残差色度样本(s1910)。详细地，解码装置可基 于残差信息来推导量化的变换系数。量化的变换系数可具有基于系数扫描顺序的一维 向量形式。解码装置可基于对量化的变换系数的解量化过程来推导变换系数。解码装 置可基于变换系数来推导残差色度样本和/或残差亮度样本。
[0549]
解码装置可推导lmcs码字(s1920)。解码装置可基于关于lmcs数据的信息 来推导lmcs码字。解码装置可基于关于lmcs数据的信息来推导关于多个仓的信 息和关于lmcs码字的信息。解码装置可分别为多个仓推导lmcs码字。例如，上 述lmcscw[i]可对应于基于关于lmcs数据的信息推导的lmcs码字。
[0550]
解码装置可生成映射的预测亮度样本。解码装置可基于预测亮度样本和lmcs 码字来生成映射的预测亮度样本。例如，解码装置可推导用于亮度映射的枢轴点的输 入值和映射值(输出值)，并且可基于输入值和映射值来生成映射的预测亮度样本。 在一个示例中，解码装置可基于第一预测亮度样本来推导(前向)映射索引idxy， 并且可基于与映射索引对应的枢轴点的输入值和映射值来生成初步映射的预测亮度 样本。在另一示例中，可使用线性映射(线性成形、线性lmcs)，可在线性映射中 基于从两个枢轴点推导的前向映射缩放因子来生成映射的预测亮度样本，因此，索引 推导过程可由于线性映射而被省略。
[0551]
解码装置可生成重构亮度样本。解码装置可基于映射的预测亮度样本生成当前块 的重构亮度样本。详细地，解码装置可将残差亮度样本与映射的预测亮度样本求和， 并且
可基于求和结果生成重构亮度样本。
[0552]
解码装置可生成缩放的残差色度样本(s1930)。详细地，解码装置可推导色度残 差缩放因子并且可基于色度残差缩放因子生成缩放的残差色度样本。在这种情况下， 与编码端相反，解码端的色度残差缩放可被称为反向色度残差缩放。因此，由解码装 置推导的色度残差缩放因子可被称为反向色度残差缩放因子，并且可生成反向缩放的 残差色度样本。
[0553]
解码装置可生成重构色度样本(s1940)。例如，解码装置可通过将缩放的残差色 度样本与预测色度样本求和来生成重构色度样本。
[0554]
在一个实施方式中，图像信息可包括关于色度残差缩放增量值的绝对值的信息 (表56的cu_crs_delta_abs)和关于色度残差缩放增量值的符号的信息(表56的 cu_crs_delta_sign_flag)。例如，可基于关于色度残差缩放增量值的符号的信息来推导 关于色度残差缩放增量值的绝对值的信息和色度残差缩放因子。即，关于色度残差缩 放增量值的绝对值的信息和关于色度残差缩放增量值的符号的信息可以是用于色度 残差缩放因子的信息。可基于色度残差缩放因子来推导缩放的残差色度样本。
[0555]
在一个实施方式中，图像信息可包括sps。sps可包括示出lmcs数据字段是否 被启用的第一lmcs启用标志。
[0556]
在一个实施方式中，图像信息可包括头信息。例如，头信息可以是关于切片头或 画面头的信息。基于第一lmcs启用标志的值为1的事实，头信息可包括示出画面 中lmcs数据字段是否被启用的第二lcms启用标志和/或示出当前画面所参考的 lmcs aps的id的lmcs相关aps id信息。
[0557]
在一个实施方式中，基于第二lmcs启用标志的值为1的事实，lmcs相关apsid信息可包括在头信息中。
[0558]
在一个实施方式中，当当前块是单树架构或双树架构时(当当前块是单独的树架 构并且当前块以单独的树编码时)，示出对于当前块是否应用色度残差缩放的色度残 差缩放启用标志可包括在头信息中(可用信号通知)。当对于当前画面、当前切片和/ 或当前块应用色度残差缩放时，色度残差缩放启用标志的值可为1。
[0559]
在一个实施方式中，当第一lmcs启用标志和第二lmcs启用标志的值为1时， 色度残差缩放启用标志可包括在头信息中。
[0560]
在一个实施方式中，图像信息可包括关于共享相同色度残差缩放索引的块的数量 的信息(表54和/或表55的slice_cs_horiz_size_munus1或slice_cs_vertic_size_munus1)。 可基于关于共享相同色度残差缩放索引的块的数量的信息来推导色度残差缩放因子。
[0561]
在一个实施方式中，关于共享相同色度残差缩放索引的块的数量的信息可包括表 54和/或表55的关于共享相同色度残差缩放索引的块的水平数量的信息 slice_cs_horiz_size_munus1和/或表54和/或表55的关于共享相同色度残差缩放索引 的块的垂直数量的信息slice_cs_vertic_size_munus1。
[0562]
在一个实施方式中，可基于lmcs相关信息来推导最小仓索引(例如， lmcs_min_bin_idx)和/或最大仓索引(例如，lmcsmaxbinidx)。可基于最小仓索引来 推导第一映射值lmcspivot[lmcs_min_bin_idx]。可基于最大仓索引来推导第二映射值 lmcspivot
[lmcsmaxbinidx]或lmcspivot[lmcsmaxbinidx 1]。重构亮度样本(例如， 表51或表52中的lumasample)的值可在第一映射值至第二映射值的范围内。在一 个实施方式中，所有重构亮度样本的值可在第一映射值至第二映射值的范围内。在另 一实施方式中，重构亮度样本的一些样本的值可在第一映射值至第二映射值的范围内。
[0563]
在一个实施方式中，图像信息可包括sps(序列参数集)。sps可包括示出线性 lmcs是否被启用的线性lmcs启用标志。
[0564]
在一个实施方式中，分段索引(例如，表35、表36或表37的idxyinv)可基于 lmcs相关信息来标识。解码装置可基于分段索引来推导色度残差缩放因子。解码装 置可基于残差色度样本和色度残差缩放因子来生成缩放的残差色度样本。
[0565]
在一个实施方式中，色度残差缩放因子可以是单个色度残差缩放因子。
[0566]
在一个实施方式中，lmcs相关信息可包括关于lmcs数据字段和线性lmcs 的信息。关于线性lmcs的信息可被称为关于线性映射的信息。lmcs数据字段可 包括示出是否应用线性lmcs的线性lmcs标志。当线性lmcs标志的值为1时， 可基于关于线性lmcs的信息来生成映射的预测亮度样本。
[0567]
在一个实施方式中，关于线性lmcs的信息可包括关于第一枢轴点(例如，图 12中的p1)的信息和关于第二枢轴点(例如，图12中的p2)的信息。例如，第一 枢轴点的输入值和映射值可分别是最小输入值和最小映射值。第二枢轴点的输入值和 映射值可分别是最大输入值和最大映射值。最小输入值和最大输入值之间的输入值可 线性地映射。
[0568]
在实施方式中，图像信息可包括关于最大输入值的信息和关于最大映射值的信息。 最大输入值可与关于最大输入值的信息(例如，表33中的lmcs_max_input)的值相 同。最大映射值可与关于最大映射值的信息(例如，表33中的lmcs_max_mapped) 的值相同。
[0569]
在实施方式中，关于线性映射的信息可包括关于第二枢轴点的输入增量值的信息 (例如，表35的lmcs_max_input_delta)以及关于第二枢轴点的映射增量值的信息(例 如，表35的lmcs_max_mapped_delta)。可基于第二枢轴点的输入增量值来推导最大 输入值，并且可基于第二枢轴点的映射增量值来推导最大映射值。
[0570]
在实施方式中，最大输入值和最大映射值可基于包括在上述表36中的至少一个 式来推导。
[0571]
在一个实施方式中，生成映射的预测亮度样本包括：推导预测亮度样本的前向映 射缩放因子(即，scalecoeffsingle)；以及基于前向映射缩放因子来生成映射的预测 亮度样本。前向映射缩放因子可以是预测亮度样本的单个因子。
[0572]
在一个实施方式中，可使用基于重构亮度样本推导的分段索引来推导反向映射缩 放因子。
[0573]
在一个实施方式中，可基于上述表51来推导分段索引。即，可从作为最小仓索 引的分段索引到作为最大仓索引的分段索引迭代地执行包括在表51中的比较处理 (lumasample《lmcspivot[idxyinv 1])。
[0574]
在一个实施方式中，前向映射缩放因子可基于包括在上述表36和/或表38中的 至少一个式来推导。
[0575]
在一个实施方式中，映射的预测亮度样本可基于包括在上述表38中的至少一个 式来推导。
[0576]
在一个实施方式中，解码设备可推导重构亮度样本(即，lumasample)的反向映 射缩放因子(即，invscalecoeffsingle)。另外，解码设备可基于重构亮度样本和反向 映射缩放因子来生成修改的重构亮度样本(即，invsample)。反向映射缩放因子可以 是重构亮度样本的单个因子。
[0577]
在一个实施方式中，反向映射缩放因子可基于包括在上述表33、表34、表35 和表36中的至少一个式或者式11或式12来推导。
[0578]
在一个实施方式中，修改的重构亮度样本可基于上述式20、式21、表39和/或 表40来推导。
[0579]
在一个实施方式中，lmcs相关信息可包括关于用于推导映射的预测亮度样本的 仓的数量的信息(即，表41中的lmcs_num_bins_minus1)。例如，亮度映射的枢轴点 的数量可被设定为等于仓的数量。在一个示例中，解码设备可分别根据仓的数量生成 枢轴点的增量输入值和增量映射值。在一个示例中，基于增量输入值(即，表41中 的lmcs_delta_input_cw[i])和增量映射值(即，表41中的lmcs_delta_mapped_cw[i]) 来推导枢轴点的输入值和映射值，并且可基于输入值(即，表42的lmcspivot_input[i]) 和映射值(即，表42的lmcspivot_mapped[i])来生成映射的预测亮度样本。
[0580]
在一个实施方式中，解码设备可基于至少一个lmcs码字和包括在lmcs相关 信息中的原始码字(orgcw)来推导lmcs增量码字，并且可基于至少一个lmcs 码字和原始码字来推导映射的亮度预测样本。在一个示例中，关于线性映射的信息可 包括关于lmcs增量码字的信息。
[0581]
在一个实施方式中，可基于lmcs增量码字和orgcw的总和来推导至少一个 lmcs码字，例如，orgcw为(1《《bitdepthy)/16，其中bitdepthy表示亮度比特深 度。此实施方式可基于式14。
[0582]
在一个实施方式中，可基于lmcs增量码字和orgcw*(lmcs_max_bin_idx-lmcs_min_bin_idx 1)的总和来推导至少一个lmcs码字， 例如，lmcs_max_bin_idx和lmcs_min_bin_idx分别是最大仓索引和最小仓索引， orgcw可为(1《《bitdepthy)/16。此实施方式可基于式15和式16。
[0583]
在一个实施方式中，至少一个lmcs码字可以是2的倍数。
[0584]
在一个实施方式中，当重构亮度样本的亮度比特深度(bitdepthy)高于10时， 至少一个lmcs码字可以是1《《(bitdepthy-10)的倍数。
[0585]
在一个实施方式中，至少一个lmcs码字可在从(orgcw》》1)至(orgcw《《1)-1 的范围内。
[0586]
在上述实施方式中，基于具有一系列步骤或方框的流程图来描述方法。本公开不 限于上述步骤或方框的顺序。一些步骤或方框可同时发生或按照与如上所述的其它步 骤或方框不同的顺序发生。此外，本领域技术人员将理解，上述流程图中所示的步骤 不是排他性的，可包括另外的步骤，或者可删除流程图中的一个或更多个步骤，而不 影响本公开的范围。
[0587]
根据本文献的上述实施方式的方法可按软件形式实现，并且根据本文献的编码装 置和/或解码装置例如可被包括在执行tv、计算机、智能电话、机顶盒、显示装置等 的图像处理的装置中。
[0588]
当本文献中的实施方式以软件实现时，上述方法可被实现为执行上述功能的模块 (进程、函数等)。模块可被存储在存储器中并由处理器执行。存储器可位于处理器 的内部或外部，并且可通过各种熟知手段联接到处理器。处理器可包括专用集成电路 (asic)、其它芯片组、逻辑电路和/或数据处理装置。存储器可包括只读存储器 (rom)、随机存取存储器(ram)、闪存、存储卡、存储介质和/或其它存储装置。 即，本文献中描述的实施方式可在处理器、微处理器、控制器或芯片上实现和执行。 例如，各个附图中所示的功能单元可在计算机、处理器、微处理器、控制器或芯片上 实现和执行。在这种情况下，关于用于实现的指令或算法的信息可被存储在数字存储 介质中。
[0589]
另外，应用了本公开的解码设备和编码设备可被包括在多媒体广播发送/接收设 备、移动通信终端、家庭影院视频设备、数字影院视频设备、监视相机、视频聊天设 备、实时通信设备(例如，视频通信)、移动流设备、存储介质、摄像机、vod服务 提供设备、顶置(ott)视频设备、互联网流服务提供设备、三维(3d)视频设备、 电话会议视频设备、运输工具用户设备(即，车辆用户设备、飞机用户设备、船舶用 户设备等)和医疗视频设备中，并且可用于处理视频信号和数据信号。例如，顶置(ott) 视频设备可包括游戏机、蓝光播放器、互联网访问tv、家庭影院系统、智能电话、 平板pc、数字视频记录仪(dvr)等。
[0590]
另外，应用了本文献的处理方法可按照要由计算机执行的程序的形式生成，并且 可被存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可被 存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机系统可读的数据 的所有类型的存储装置。例如，计算机可读记录介质可包括bd、通用串行总线(usb)、 rom、prom、eprom、eeprom、ram、cd-rom、磁带、软盘和光学数据存储 装置。另外，计算机可读记录介质包括以载波的形式实现的介质(即，通过互联网的 传输)。另外，通过该编码方法生成的比特流可被存储在计算机可读记录介质中或者 可经由有线/无线通信网络发送。
[0591]
另外，本文献的实施方式可根据程序代码以计算机程序产品来实现，并且可通过 本文献的实施方式在计算机中执行程序代码。程序代码可被存储在计算机可读的载体 上。
[0592]
图21示出本文献中公开的实施方式可应用于的内容流系统的示例。
[0593]
参照图21，应用了本文献的实施方式的内容流系统可主要包括编码服务器、流 服务器、网络服务器、媒体存储装置、用户装置和多媒体输入装置。
[0594]
编码服务器将从多媒体输入装置(例如，智能电话、相机、摄像机等)输入的内 容压缩为数字数据以生成比特流并将比特流发送到流服务器。作为另一示例，当多媒 体输入装置(例如，智能电话、相机、摄像机等)直接生成比特流时，可省略编码服 务器。
[0595]
可通过应用了本公开的实施方式的编码方法或比特流生成方法来生成比特流，并 且在发送或接收比特流的过程中，流服务器可暂时存储比特流。
[0596]
流服务器通过网络服务器基于用户的请求将多媒体数据发送到用户装置，并且网 络服务器用作告知用户服务的介质。当用户向网络服务器请求期望的服务时，网络服 务器将其传送至流服务器，并且流服务器将多媒体数据发送到用户。在这种情况下， 内容流系统可包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流系 统中的装置之间的命令/响应。
[0597]
流服务器可从媒体存储装置和/或编码服务器接收内容。例如，当从编码服务器 接收内容时，内容可实时地接收。在这种情况下，为了提供平滑的流服务，流服务器 可将比
特流存储达预定时间。
[0598]
用户装置的示例可包括移动电话、智能电话、膝上型计算机、数字广播终端、个 人数字助理(pda)、便携式多媒体播放器(pmp)、导航、石板pc、平板pc、超级 本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字tv、台式计算 机、数字标牌等。内容流系统中的各个服务器可作为分布式服务器来操作，在这种情 况下从各个服务器接收的数据可被分布。
[0599]
内容流系统中的各个服务器可作为分布式服务器来操作，并且在这种情况下，从 各个服务器接收的数据可被分布和处理。
[0600]
本文中所描述的权利要求可按各种方式组合。例如，本文献的方法权利要求的技 术特征可被组合并实现为设备，并且本文献的设备权利要求的技术特征可被组合并实 现为方法。另外，本文献的方法权利要求的技术特征和设备权利要求的技术特征可被 组合以实现为设备，本文献的方法权利要求的技术特征和设备权利要求的技术特征可 被组合并实现为方法。