基于调色板转义编码的图像或视频编码的制作方法

1.本公开涉及视频或图像编码，并且例如涉及基于调色板转义编码的图像或视频编码技术。


背景技术：

2.最近，在各种领域中对诸如4k或8k超高清(uhd)图像/视频的高分辨率、高质量图像/视频的需求不断增加。随着图像/视频分辨率或质量变得更高，与传统图像/视频数据相比发送相对更多的信息或比特。因此，如果图像/视频数据经由诸如现有有线/无线宽带线路的介质发送或被存储在传统存储介质中，则传输和存储的成本容易增加。
3.此外，对虚拟现实(vr)和人工现实(ar)内容以及诸如全息图的沉浸式媒体的兴趣和需求日益增长；并且表现出与实际图像/视频不同的图像/视频特性的图像/视频(例如，游戏图像/视频)的广播也日益增长。
4.因此，需要高度高效的图像/视频压缩技术来有效地压缩并发送、存储或播放如上所述显示出各种特性的高分辨率、高质量图像/视频。
5.此外，还讨论了一种提高诸如包含大量文本和图形的计算机生成视频这样的屏幕内容的编码效率的调色板模式编码技术。为了高效地应用该技术，需要用于编码和发信号通知相关信息的方法。


技术实现要素：

6.技术目的
7.本公开的目的是提供用于提高视频/图像编码效率的方法和设备。
8.本公开的另一目的是提供用于提高调色板模式编码的效率的方法和设备。
9.本公开的又一目的是提供用于高效配置和发信号通知在调色板模式编码中使用的各种类型的信息的方法和设备。
10.本公开的再一目的是提供用于在调色板模式下高效应用转义编码的方法和设备。
11.技术方案
12.根据本公开的实施方式，可以有效地发信号通知在调色板编码模式下使用的信息。例如，关于调色板模式是否被启用的信息可以通过序列参数集(sps)来发信号通知，并且关于量化的转义值的信息可以基于关于调色板模式是否被启用的信息来通过调色板编码语法发信号通知。另外，针对量化转义值的量化参数信息可以基于关于调色板模式是否被启用的信息来发信号通知。另外，针对量化转义值的量化参数信息是基于针对在sps中发信号通知的变换跳过模式下的最小量化参数信息的。
13.根据本公开的实施方式，可以基于针对变换跳过模式的最小量化参数信息来推导针对量化转义值的量化参数，以推导用于包括至少一个转义编码样本的当前块的转义值。
14.根据本公开的实施方式，可以基于位深度来限制调色板模式下的量化转义值的范围。例如，量化转义值的范围可以具有0和(1《《bitdepth)-1之间的值。
15.根据本公开的实施方式，可以在调色板表中定义条目大小信息，并且可以通过序列参数集(sps)发信号通知条目大小信息。
16.根据本公开的实施方式，提供了由解码设备执行的视频/图像解码方法。该视频/图像解码方法可以包括本公开的实施方式中公开的方法。
17.根据本公开的实施方式，提供了用于执行视频/图像解码的解码设备。该解码设备可以执行本公开的实施方式中公开的方法。
18.根据本公开的实施方式，提供了由编码设备执行的视频/图像编码方法。该视频/图像编码方法可以包括本公开的实施方式中公开的方法。
19.根据本公开的实施方式，提供了用于执行视频/图像编码的编码设备。该编码设备可以执行本公开的实施方式中公开的方法。
20.根据本公开的实施方式，提供了存储根据本公开的实施方式中的至少一个中公开的视频/图像编码方法生成的编码后的视频/图像信息的计算机可读数字存储介质。
21.根据本公开的实施方式，提供了存储使解码设备执行本公开的实施方式中的至少一个中公开的视频/图像解码方法的编码后的信息或编码后的视频/图像信息的计算机可读数字存储介质。
22.有利效果
23.本公开具有各种效果。例如，根据本公开的实施方式，可以提高整体图像/视频压缩效率。另外，根据本公开的实施方式，可以提高调色板模式编码的效率。另外，根据本公开的实施方式，可以高效地配置和发信号通知在调色板模式编码中使用的各种类型的信息。另外，根据本公开的实施方式，可以通过在调色板模式下高效地应用转义编码来提高转义样本的准确性和编码效率。
24.可以通过本公开的特定实施方式获得的效果不限于以上列举的效果。例如，可以存在相关领域的普通技术人员可以从本公开中理解或推导出的各种技术效果。因此，本公开的特定效果不限于本公开中明确描述的效果，并可以包括可以从本公开的技术特征中理解或推导出的各种效果。
附图说明
25.图1示意性示出了适用于本公开的实施方式的视频/图像编码系统的示例。
26.图2是示意性例示了适用本公开的实施方式的视频/图像编码设备的配置的示图。
27.图3是示意性例示了适用本公开的实施方式的视频/图像解码设备的配置的示图。
28.图4示出了适用本公开的实施方式的示意性视频/图像编码方法的示例。
29.图5示出了适用本公开的实施方式的示意性视频/图像解码方法的示例。
30.图6示出了用于描述调色板编码的基本结构的示例。
31.图7示出了用于描述用于对调色板索引图进行编码的水平和竖直遍历扫描方法的示例。
32.图8是用于描述基于调色板模式的编码方法的示例的示图。
33.图9示意性示出了根据本公开的实施方式的视频/图像编码方法的示例。
34.图10示意性示出了根据本公开的实施方式的视频/图像解码方法的示例。
35.图11示出了适用本公开中公开的实施方式的内容流传输系统的示例。
具体实施方式
36.本公开可按各种形式修改，将描述并且在附图中图示其特定实施方式。然而，这些实施方式并非旨在限制本公开。以下描述中使用的术语仅用于描述特定实施方式，而非旨在限制本公开。单数表达包括复数表达，只要清楚地不同解读即可。诸如“包括”和“具有”的术语旨在指示存在以下描述中使用的特征、数量、步骤、操作、元件、组件或其组合，因此应该理解，不排除存在或添加一个或更多个不同的特征、数量、步骤、操作、元件、组件或其组合的可能性。
37.另外，本公开描述的附图的各个配置是为了说明作为彼此不同的特征的功能而独立的图示的，并不意指各个配置通过彼此不同的硬件或不同的软件被实现。例如，可以组合配置中的两个以上的配置以形成一个配置，并且也可以将一个配置划分为多个配置。在不脱离本文件的主旨的情况下，配置被组合和/或分离的实施例被包括在权利要求范围内。
38.本公开涉及视频/图像编码。例如，本公开中公开的方法/实施方式可以应用于通用视频编码(vvc)中公开的方法。另外，本公开中公开的方法/实施方式可以应用于基本视频编码(evc)标准、aomedia video 1(av1)标准、第二代音频视频编码标准(avs2)或下一代视频/图像编码标准(例如，h.267或h.268等)中公开的方法。
39.本公开提出了视频/图像编码的各种实施方式，并且除非另外提到，否则这些实施方式可以彼此组合地执行。
40.在本公开中，视频可以意指根据时间推移的一系列图像的集合。图片通常意指表示特定时间段中的一个图像的单元，并且切片/图块是编码时构成图片的一部分的单元。切片/图块可以包括一个或更多个编码树单元(ctu)。一个图片可以由一个或更多个切片/图块组成。图块是图片中的特定图块列和特定图块行内的ctu的矩形区域。图块列是高度等于图片的高度并且宽度由图片参数集中的语法元素指定的ctu的矩形区域。图块行是高度由图片参数集中的语法元素指定并且宽度等于图片宽度的ctu的矩形区域。图块扫描是以下的分割图片的ctu的特定顺序排序：在图块中按ctu光栅扫描对ctu进行连续排序，而按图片的图块的光栅扫描对图片中的图块进行连续排序。一个切片包括可以被排他性包含在单个nal单元中的图片的图块内的整数个连续的完整ctu行或整数个完整图块。
41.此外，一个图片可以被划分为两个或更多个子图片。子图片可以是图片内的一个或更多个切片的矩形区域。
42.像素或像元(pel)可意指构成一个图片(或图像)的最小单元。另外，“样本”可用作与像素对应的术语。样本通常可表示像素或像素值，并且可仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
43.单元可表示图像处理的基本单位。单元可包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可与诸如块或区域的术语互换使用。在一般情况下，m
×
n块可包括m列和n行的样本(或样本阵列)或变换系数的集合(或阵列)。另选地，样本可意指空间域中的像素值，并且当这样的像素值被变换到频域时，它可意指频域中的变换系数。
44.另外，在本公开中，量化/反量化和/或变换/逆变换中的至少一个可以被省略。当量化/反量化被省略时，量化后的变换系数可以被称为变换系数。当变换/逆变换被省略时，变换系数可以被称为系数或残差系数，或者为了表述的一致性，可以仍被称为变换系数。
45.在本公开中，量化后的变换系数和变换系数可以分别被称为变换系数和缩放后的变换系数。在这种情况下，残差信息可以包括关于变换系数的信息，并可以通过残差编码语法发信号通知关于变换系数的信息。可以基于残差信息(或关于变换系数的信息)来推导变换系数，并且可以通过对变换系数的逆变换(缩放)来推导缩放后的变换系数。可以基于对缩放后的变换系数的逆变换(变换)来推导残差样本。这也可以在本公开的其它部分中应用/表达。
46.在本公开中，术语“a或b”可以意指“仅a”、“仅b”或“a和b二者”。换句话说，在本公开中，术语“a或b”可以被解释为指示“a和/或b”。例如，在本公开中，术语“a、b或c”可以意指“仅a”、“仅b”、“仅c”或“a、b、c的任何组合”。
47.在本公开中使用的斜杠“/”或逗号可以意指“和/或”。例如，“a/b”可以意指“a和/或b”。因此，“a/b”可以意指“仅a”、“仅b”或“a和b二者”。例如，“a、b、c”可以意指“a、b或c”。
48.在本公开中，“a和b中的至少一个”可以意指“仅a”、“仅b”或“a和b二者”。另外，在本公开中，表述“a或b中的至少一个”或“a和/或b中的至少一个”可以被解释为与“a和b中的至少一个”相同。
49.另外，在本公开中，“a、b和c中的至少一个”可以意指“仅a”、“仅b”、“仅c”或“a、b和c的任何组合”。另外，“a、b或c中的至少一个”或“a、b和/或c中的至少一个”可以意指“a、b和c中的至少一个”。
50.另外，本公开中使用的括号可以意指“例如”。具体地，在表达“预测(帧内预测)”的情况下，可以表明“帧内预测”被提议作为“预测”的示例。换句话说，本公开中的术语“预测”不限于“帧内预测”，并可以表明“帧内预测”被提议作为“预测”的示例。另外，即使在表达“预测(即，帧内预测)”的情况下，也可以表明“帧内预测”被提议作为“预测”的示例。
51.在本公开中，在一个附图中分别说明的技术特征可以分别实现，或者可以同时实现。
52.下文中，参考附图更具体地描述本公开的优选实施方式。下文中，在附图中，相同的附图标记被用于相同的元件，并且可以省略对相同元件的冗余描述。
53.图1例示本文的实施方式可应用于的视频/图像编码系统的示例。
54.参照图1，视频/图像编码系统可包括源装置和接收装置。源装置可通过数字存储介质或网络将编码的视频/图像信息或数据以文件或流的形式传送至接收装置。
55.源装置可包括视频源、编码设备和发送器。接收装置可包括接收器、解码设备和渲染器。编码设备可被称为视频/图像编码设备，解码设备可被称为视频/图像解码设备。发送器可被包括在编码设备中。接收器可被包括在解码设备中。渲染器可包括显示器，并且显示器可被配置为单独的装置或外部组件。
56.视频源可通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可包括视频/图像捕获装置，和/或视频/图像生成装置。例如，视频/图像捕获装置可包括一个或更多个照相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可包括计算机、平板计算机和智能电话，并且可(以电子方式)生成视频/图像。例如，可通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可由生成相关数据的处理代替。
57.编码设备可对输入视频/图像进行编码。为了压缩和编码效率，编码设备可执行诸
如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。
58.发送器可通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流的形式发送至接收装置的接收器。数字存储介质可包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。发送器可包括用于通过预定文件格式生成媒体文件的元件，并且可包括用于通过广播/通信网络传输的元件。接收器可接收/提取比特流并且将所接收的比特流发送至解码设备。
59.解码设备可通过执行与编码设备的操作对应的诸如反量化、逆变换和预测的一系列过程对视频/图像进行解码。
60.渲染器可渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。
61.图2是示意性例示了适用本公开的实施方式的视频/图像编码设备的配置的示图。下文中，编码设备可以包括图像编码设备和/或视频编码设备。
62.参照图2，编码设备200包括图像分割器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可包括帧间预测器221和帧内预测器222。残差处理器230可包括变换器232、量化器233、反量化器234和逆变换器235。残差处理器230还可包括减法器231。加法器250可被称为重构器或重构块生成器。根据实施方式，图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可由至少一个硬件组件(例如，编码器芯片组或处理器)配置。另外，存储器270可包括解码图片缓冲器(dpb)，或者可由数字存储介质配置。硬件组件还可包括存储器270作为内部/外部组件。
63.图像分割器210可将输入到编码设备200的输入图像(或者图片或帧)分割成一个或更多个处理器。例如，处理器可被称为编码单元(cu)。在这种情况下，编码单元可根据四叉树二叉树三叉树(qtbttt)结构从编码树单元(ctu)或最大编码单元(lcu)递归地分割。例如，一个编码单元可基于四叉树结构、二叉树结构和/或三元结构被分割成深度更深的多个编码单元。在这种情况下，例如，可首先应用四叉树结构，稍后可应用二叉树结构和/或三元结构。另选地，可首先应用二叉树结构。可基于不再分割的最终编码单元来执行根据本公开的编码过程。在这种情况下，根据图像特性基于编码效率等，最大编码单元可用作最终编码单元，或者如果需要，编码单元可被递归地分割成深度更深的编码单元并且具有最优大小的编码单元可用作最终编码单元。这里，编码过程可包括预测、变换和重构的过程(将稍后描述)。作为另一示例，处理器还可包括预测单元(pu)或变换单元(tu)。在这种情况下，预测单元和变换单元可从上述最终编码单元拆分或分割。预测单元可以是样本预测的单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
64.在一些情况下，单元可与诸如块或区域的术语互换使用。在一般情况下，m
×
n块可表示由m列和n行组成的样本或变换系数的集合。样本通常可表示像素或像素值，可仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可用作与像素或像元的一个图片(或图像)对应的术语。
65.编码设备200可以从输入图像信号(原始块、原始样本阵列)减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所示，在编码器200中从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单
元可被称为减法器231。预测器可对要处理的块(以下，称为当前块)执行预测并且生成包括当前块的预测样本的预测块。预测器可确定基于当前块或cu应用帧内预测还是帧间预测。如在各个预测模式的描述中稍后描述的，预测器可生成与预测有关的各种类型的信息(例如，预测模式信息)并将所生成的信息发送到熵编码器240。关于预测的信息可在熵编码器240中编码并以比特流的形式输出。
66.帧内预测器222可参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。例如，非定向模式可包括dc模式和平面模式。例如，根据预测方向的详细程度，定向模式可包括33个定向预测模式或65个定向预测模式。然而，这仅是示例，可根据设置使用更多或更少的定向预测模式。帧内预测器222可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
67.帧间预测器221可基于参考图片上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动向量和参考图片索引。运动信息还可包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可相同或不同。时间邻近块可被称为并置参考块、并置cu(colcu)等，并且包括时间邻近块的参考图片可被称为并置图片(colpic)。例如，帧间预测器221可基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动向量和/或参考图片索引的信息。可基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，可不发送残差信号。在运动向量预测(mvp)模式的情况下，邻近块的运动向量可用作运动向量预测器，并且可通过用信号通知运动向量差来指示当前块的运动向量。
68.预测器220可基于下面描述的各种预测方法来生成预测信号。例如，预测器可不仅应用帧内预测或帧间预测以预测一个块，而且同时应用帧内预测和帧间预测二者。这可被称为组合帧间和帧内预测(ciip)。另外，预测器可基于帧内块复制(ibc)预测模式或调色板模式来预测块。ibc预测模式或调色板模式可用于游戏等的内容图像/视频编码，例如屏幕内容编码(scc)。ibc基本上在当前图片中执行预测，但是可与帧间预测相似地执行，使得在当前图片中推导参考块。即，ibc可使用本文中描述的至少一个帧间预测技术。调色板模式可被视为帧内编码或帧内预测的示例。当应用调色板模式时，可基于关于调色板表和调色板索引的信息用信号通知图片内的样本值。
69.通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可用于生成重构信号或生成残差信号。变换器232可通过对残差信号应用变换技术来生成变换系数。例如，变换技术可包括离散余弦变换(dct)、离散正弦变换(dst)、karhunen
–
lo
è
ve变换(klt)、基于图形的变换(gbt)或条件非线性变换(cnt)中的至少一个。这里，当像素之间的关系信息由图形表示时，gbt意指从图形获得的变换。cnt是指基于使用所有先前重构的像素生成的预测信号生成的变换。另外，变换处理可应用于具有相同大小的正方形像素块或者可应用于具有正方形以外的可变大小的块。
70.量化器233可将变换系数量化并将它们发送到熵编码器240，并且熵编码器240可对量化的信号(关于量化的变换系数的信息)进行编码并输出比特流。关于量化的变换系数的信息可被称为残差信息。量化器233可基于系数扫描顺序将块类型量化的变换系数重排为一维向量形式，并且基于一维向量形式的量化的变换系数来生成关于量化的变换系数的信息。可生成关于变换系数的信息。熵编码器240可执行例如指数golomb编码、上下文自适应可变长度编码(cavlc)、上下文自适应二进制算术编码(cabac)等的各种编码方法。熵编码器240可对量化的变换系数以外的视频/图像重构所需的信息(例如，句法元素的值等)一起或单独地进行编码。编码的信息(例如，编码的视频/图像信息)可按比特流的形式以nal(网络抽象层)为单位发送或存储。视频/图像信息还可包括关于各种参数集的信息，例如自适应参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频参数集(vps)。另外，视频/图像信息还可包括一般约束信息。在本文中，从编码设备发送/用信号通知给解码设备的信息和/或句法元素可被包括在视频/图片信息中。视频/图像信息可通过上述编码过程编码并被包括在比特流中。比特流可经由网络发送或者可被存储在数字存储介质中。网络可包括广播网络和/或通信网络，并且数字存储介质可包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。发送从熵编码器240输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)可被包括作为编码设备200的内部/外部元件，并且另选地，发送器可被包括在熵编码器240中。
71.从量化器233输出的量化的变换系数可用于生成预测信号。例如，可通过经由反量化器234和逆变换器235对量化的变换系数应用反量化和逆变换来重构残差信号(残差块或残差样本)。加法器250将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加以生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块不存在残差(例如，应用跳过模式的情况)，则预测块可用作重构块。加法器250可被称为重构器或重构块生成器。如下所述，所生成的重构信号可用于当前图片中要处理的下一块的帧内预测并且可通过滤波用于下一图片的帧间预测。
72.此外，可在图片编码和/或重构期间应用与色度缩放的亮度映射(lmcs)。
73.滤波器260可通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器260可通过对重构图片应用各种滤波方法来生成修改的重构图片并将修改的重构图片存储在存储器270(具体地，存储器270的dpb)中。例如，各种滤波方法可包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可生成与滤波有关的各种类型的信息并且将所生成的信息发送到熵编码器240，如在各个滤波方法的描述中稍后描述的。与滤波有关的信息可由熵编码器240编码并以比特流的形式输出。
74.发送到存储器270的修改的重构图片可用作帧间预测器221中的参考图片。当通过编码设备应用帧间预测时，可避免编码设备200与解码设备之间的预测失配并且编码效率可改进。
75.存储器270的dpb可存储用作帧间预测器221中的参考图片的修改的重构图片。存储器270可存储推导(或编码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。所存储的运动信息可被发送到帧间预测器221并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可存储当前图片中的重构块的重构样本并且可将重构样本传送至帧内预测器222。
76.图3是示意性例示了适用本公开的实施方式的视频/图像解码设备的配置的示图。下文中，解码设备可以包括图像解码设备和/或视频解码设备。
77.参照图3，解码设备300可包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可包括帧间预测器331和帧内预测器332。残差处理器320可包括反量化器321和逆变换器321。根据实施方式，熵解码310、残差处理器320、预测器330、加法器340和滤波器350可由硬件组件(例如，解码器芯片组或处理器)配置。另外，存储器360可包括解码图片缓冲器(dpb)或者可由数字存储介质配置。硬件组件还可包括存储器360作为内部/外部组件。
78.当输入包括视频/图像信息的比特流时，解码设备300可重构与在图2的编码设备中处理视频/图像信息的处理对应的图像。例如，解码设备300可基于从比特流获得的块分割相关信息来推导单元/块。解码设备300可使用编码设备中应用的处理器来执行解码。因此，例如，解码的处理器可以是编码单元，并且编码单元可根据四叉树结构、二叉树结构和/或三叉树结构从编码树单元或最大编码单元分割。可从编码单元推导一个或更多个变换单元。通过解码设备300解码和输出的重构图像信号可通过再现设备再现。
79.解码设备300可接收从图2的编码设备以比特流的形式输出的信号，并且所接收的信号可通过熵解码器310解码。例如，熵解码器310可解析比特流以推导图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可包括关于各种参数集的信息，例如自适应参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频参数集(vps)。另外，视频/图像信息还可包括一般约束信息。解码设备还可基于关于参数集的信息和/或一般约束信息将图片解码。本文中稍后描述的用信号通知/接收的信息和/或句法元素可通过解码过程解码并从比特流获得。例如，熵解码器310基于诸如指数golomb编码、cavlc或cabac的编码方法对比特流中的信息进行解码，并且输出图像重构所需的句法元素和残差的变换系数的量化值。更具体地，cabac熵解码方法可接收与比特流中的各个句法元素对应的信元(bin)，使用解码目标句法元素信息、解码目标块的解码信息或在先前阶段中解码的符号/信元的信息来确定上下文模型，并且通过根据所确定的上下文模型预测信元出现的概率对信元执行算术解码，并且生成与各个句法元素的值对应的符号。在这种情况下，cabac熵解码方法可在确定上下文模型之后通过将解码的符号/信元的信息用于下一符号/信元的上下文模型来更新上下文模型。熵解码器310所解码的信息当中与预测有关的信息可被提供给预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310中执行了熵解码的残差值(即，量化的变换系数和相关参数信息)可被输入到残差处理器320。残差处理器320可推导残差信号(残差块、残差样本、残差样本阵列)。另外，熵解码器310所解码的信息当中关于滤波的信息可被提供给滤波器350。此外，用于接收从编码设备输出的信号的接收器(未示出)还可被配置成解码设备300的内部/外部元件，或者接收器可以是熵解码器310的组件。此外，根据本文的解码设备可被称为视频/图像/图片解码设备，并且解码设备可被分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可包括熵解码器310，并且样本解码器可包括反量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
80.反量化器321可将量化的变换系数反量化并输出变换系数。反量化器321可按二维块形式重排量化的变换系数。在这种情况下，可基于在编码设备中执行的系数扫描顺序来
执行重排。反量化器321可使用量化参数(例如，量化步长信息)对量化的变换系数执行反量化并且获得变换系数。
81.逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本阵列)。
82.预测器330可对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且可确定特定帧内/帧间预测模式。
83.预测器可基于下述各种预测方法来生成预测信号。例如，预测器不仅可应用帧内预测或帧间预测以预测一个块，而且可同时应用帧内预测和帧间预测。这可被称为组合帧间和帧内预测(ciip)。另外，预测器可基于帧内块复制(ibc)预测模式或调色板模式来预测块。ibc预测模式或调色板模式可用于游戏等的内容图像/视频编码，例如屏幕内容编码(scc)。ibc基本上执行当前图片中的预测，但是可与帧间预测相似地执行，使得在当前图片中推导参考块。即，ibc可使用本文中描述的至少一种帧间预测技术。调色板模式可被视为帧内编码或帧内预测的示例。当应用调色板模式时，可基于关于调色板表和调色板索引的信息用信号通知图片内的样本值。帧内预测器331可参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。帧内预测器331可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
84.帧内预测器331可参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。帧内预测器331可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
85.帧间预测器332可基于参考图片上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动向量和参考图片索引。运动信息还可包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。例如，帧间预测器332可基于邻近块来配置运动信息候选列表并且基于所接收的候选选择信息来推导当前块的运动向量和/或参考图片索引。可基于各种预测模式来执行帧间预测，并且关于预测的信息可包括指示当前块的帧间预测模式的信息。
86.加法器340可通过将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块不存在残差，例如当应用跳过模式时，预测块可用作重构块。
87.加法器340可被称为重构器或重构块生成器。所生成的重构信号可用于当前图片中要处理的下一块的帧内预测，可如下所述通过滤波输出，或者可用于下一图片的帧间预测。
88.此外，可在图片解码处理中应用与色度缩放的亮度映射(lmcs)。
89.滤波器350可通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器
350可通过对重构图片应用各种滤波方法来生成修改的重构图片并且将修改的重构图片存储在存储器360(具体地，存储器360的dpb)中。例如，各种滤波方法可包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
90.存储在存储器360的dpb中的(修改的)重构图片可用作帧间预测器332中的参考图片。存储器360可存储推导(或解码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。所存储的运动信息可被发送到帧间预测器260以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可存储当前图片中的重构块的重构样本并将重构样本传送至帧内预测器331。
91.在本公开中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可与解码设备300的滤波器350、帧间预测器332和帧内预测器331相同或分别与之对应应用。这也可适用于单元332和帧内预测器331。
92.此外，如上所述，在执行视频编码时，执行预测以增强压缩效率。可通过预测生成包括当前块(即，目标编码块)的预测样本的预测块。在这种情况下，预测块包括空间域(或像素域)中的预测样本。预测块在编码设备和解码设备中相同地推导。编码设备可通过用信号向解码设备通知关于原始块(而非原始块的原始样本值本身)与预测块之间的残差的信息(残差信息)来增强图像编码效率。解码设备可基于残差信息来推导包括残差样本的残差块，可通过将残差块和预测块相加来生成包括重构样本的重构块，并且可生成包括重构块的重构图片。
93.残差信息可通过变换过程和量化过程来生成。例如，编码设备可推导原始块与预测块之间的残差块，可通过对包括在残差块中的残差样本(残差样本阵列)执行变换过程来推导变换系数，可通过对变换系数执行量化过程来推导量化的变换系数，并且可将相关残差信息(通过比特流)用信号通知给解码设备。在这种情况下，残差信息可包括诸如量化的变换系数的值信息、位置信息、变换方案、变换核心和量化参数的信息。解码设备可基于残差信息来执行反量化/逆变换过程并且可推导残差样本(或残差块)。解码设备可基于预测块和残差块来生成重构图片。此外，编码设备可通过对供后续图片的帧间预测参考的量化的变换系数进行反量化/逆变换来推导残差块，并且可生成重构图片。
94.图4示出了适用本公开的实施方式的示意性视频/图像编码方法的示例。
95.图4中例示的方法可以由图2的上述编码设备200执行。具体地，s400可以由编码设备200的帧间预测器221或帧内预测器222执行，并且s410、s420、s430和s440可以分别由编码设备200的减法器231、变换器232、量化器233和熵编码器240执行。
96.参照图4，编码设备可以通过对当前块的预测来推导预测样本(s400)。编码设备可以确定是对当前块执行帧间预测还是帧内预测，并可以基于rd成本来确定特定帧间预测模式或特定帧内预测模式。编码设备可以根据所确定的模式来推导当前块的预测样本。
97.编码设备可以通过将当前块的原始样本与预测样本进行比较来推导残差样本(s410)。
98.编码设备可以通过变换残差样本的过程来推导变换系数(s420)，并且对推导出的变换系数进行量化以推导量化变换系数(s430)。
99.编码设备可以对包括预测信息和残差信息的图像信息进行编码，并将编码后的图像信息以比特流的形式输出(s440)。预测信息是与预测过程相关的信息，并可以包括预测
模式信息和运动信息(例如，当应用帧间预测时)。残差信息可以包括关于量化变换系数的信息。残差信息可以被熵编码。
100.输出的比特流可以通过存储介质或网络被发送到解码设备。
101.图5示出了适用本公开的实施方式的示意性视频/图像解码方法的示例。
102.图5中例示的方法可以由上述图3的解码设备300执行。具体地，s500可以由解码设备300的帧间预测器332或帧内预测器331执行。通过解码s500中的比特流中所包括的预测信息来推导相关语法元素的值的过程可以由解码设备300的熵解码器310来执行。s510、s520、s530和s540可以分别由解码设备300的熵解码器310、反量化器321、逆变换器322和加法器340来执行。
103.参照图5，解码设备可以执行与由编码设备执行的操作对应的操作。解码设备可以基于接收到的预测信息对当前块执行帧间预测或帧内预测，以推导预测样本(s500)。
104.解码设备可以基于接收到的残差信息来推导当前块的量化变换系数(s510)。解码设备可以通过熵解码从残差信息推导量化变换系数。
105.解码设备可以对量化变换系数进行反量化，以推导变换系数(s520)。
106.解码设备通过对变换系数进行逆变换的过程来推导残差样本(s530)。
107.解码设备可以基于预测样本和残差样本来生成当前块的重构样本，并基于此来生成重构图片(s540)。如上所述，此后还可以向重构图片应用环路滤波过程。
108.如上所述，编码设备可以基于通过帧内/帧间/ibc预测等预测出的块(预测样本)来推导残差块(残差样本)，并向推导出的残差样本应用变换和量化，以推导量化后的变换系数。关于量化后的变换系数的信息(残差信息)可以被包括在残差编码语法中，并在编码之后以比特流的形式输出。解码设备可以从比特流获得关于量化后的变换系数的信息(残差信息)，并对该信息进行解码，以推导量化后的变换系数。解码设备可以通过基于量化后的变换系数的反量化/逆变换来推导残差样本。如上所述，可以跳过量化/反量化和/或变换/逆变换中的至少一个。当变换/逆变换被跳过时，变换系数可以被称为系数或残差系数，或者为了表述的一致性，可以仍被称为变换系数。可以基于transform_skip_flag来发信号通知变换/逆变换是否被省略。例如，当transform_skip_flag的值为1时，它可以指示变换/逆变换被跳过，这可以称为变换跳过模式。
109.通常，在视频/图像编码中，可以改变量化率，并且可以使用改变后的量化率来调整压缩率。从实现的观点来看，考虑到复杂度，可以使用量化参数(qp)来代替量化率。例如，可以使用从0至63的整数值的量化参数，并且每个量化参数值可以对应于实际量化率。例如，可以不同地设置亮度分量(亮度样本)的量化参数qpy和色度分量(色度样本)的量化参数qpc。
110.量化处理可以采用变换系数c作为输入，将其除以量化率q
step
，并且基于此，获得量化后的变换系数c’。在这种情况下，考虑到计算复杂度，可以将量化率乘以标度来形成整数，并且可以通过与标度值相对应的值来执行移位操作。可以基于量化率与标度值的乘积来推导量化标度。即，可以根据qp来推导量化标度。例如，可以通过将量化标度应用于变换系数c来推导量化后的变换系数c'。
111.反量化处理是量化处理的逆处理，并可以通过将量化后的变换系数c’乘以量化率q
step
来获得重构的变换系数c”。在这种情况下，可以根据量化参数来推导水平标度，并且可
以通过将水平标度应用于量化后的变换系数c'来推导重构的变换系数c”。由于变换和/或量化处理中的损失，导致重构的变换系数c”可能与原始变换系数c略有不同。因此，在编码设备中，以与解码设备中相同的方式执行反量化。
112.此外，可以基于调色板编码来执行预测。调色板编码是用于表示包括少量唯一颜色值的块的有用技术。作为向块应用预测和变换的替代，在调色板模式下发信号通知用于指示每个样本的颜色值的索引。该调色板模式对于节省视频存储器缓冲区空间是有用的。可以使用调色板模式(例如，mode_plt)对块进行编码。为了对以这种方式编码的块进行解码，解码器需要对调色板颜色和索引进行解码。调色板颜色可以由调色板表表示，并可以由调色板表编码工具编码。
113.图6示出了用于描述调色板编码的基本结构的示例。
114.参照图6，图像600可以由直方图610表示。这里，主色值通常被映射到颜色索引(620)，并且可以使用颜色索引图(630)对图像进行编码。
115.调色板编码可以被称为(帧内)调色板模式、(帧内)调色板编码模式等。可以根据调色板编码或调色板模式来重构当前块。调色板编码可以被视为帧内编码的示例，或者可以被视为帧内预测方法之一。然而，与上述跳过模式类似，相应块的附加残差值可以不被发信号通知。
116.例如，调色板模式可以用于提高诸如包含大量文本和图形的计算机生成视频这样的屏幕内容的编码效率。通常，屏幕内容的局部区域具有几种由锐化边缘区分开的颜色。为了利用该属性，调色板模式可以基于指示调色板表中的颜色条目的索引来表示块的样本。
117.例如，关于调色板表的信息可以被发信号通知。调色板表可以包括对应于每种颜色的索引值。可以接收调色板索引预测数据，并且调色板表可以包括指示调色板索引图的至少一部分的索引值的数据，该调色板索引图将视频数据的像素映射到调色板表的颜色索引。调色板索引预测数据可以包括将调色板索引图的至少一部分的索引值与运行值(run value)关联的运行值数据。运行值可以与转义颜色索引关联。可以至少部分地通过基于最后的索引值确定是否调整调色板索引预测数据的索引值而从调色板索引预测数据生成调色板索引图。可以根据调色板索引图来重构图片中的当前块。
118.当使用调色板模式时，cu的像素值可以由代表性颜色值的集合表示。这种集合可以被称为调色板。在像素具有接近调色板中的颜色值的值的情况下，可以发信号通知与调色板中的颜色值相对应的调色板索引。在像素具有除了调色板之外的颜色值的情况下，像素可以由转义符号表示并且可以直接发信号通知量化后的像素值。在本公开中，像素或像素值可以被称为样本或样本值。
119.为了对以调色板模式编码的块进行解码，解码器需要对调色板颜色和索引进行解码。调色板颜色可以用调色板表来表示，并用调色板表编码工具编码。转义标志可以通过被针对每个cu发信号通知而指示当前cu中是否存在转义符号。如果存在转义符号，则调色板表递增1，并且最后一个索引可以被指派给转义模式。cu中所有像素的调色板索引可以形成调色板索引图，并可以由调色板索引图编码工具编码。
120.例如，可以针对调色板表的编码维护调色板预测器。预测器可以在预测器被重置为零的每个切片的开头被初始化。对于调色板预测器的每个条目，可以发信号通知重用标志，以指示它是否是当前调色板的一部分。可以使用零游程长度编码来发送重用标志。然
后，可以使用零阶指数哥伦布编码来发信号通知新调色板条目的数目。最后，可以发信号通知新调色板条目的分量值。在对当前cu进行编码之后，可以使用当前调色板更新调色板预测器，并且可以将未在当前调色板中重用的旧调色板预测器的条目添加到新调色板预测器的末尾，直到达到最大允许大小(调色板填充)。
121.例如，可以使用水平和竖直遍历扫描对索引进行编码，以便对调色板索引图进行编码。可以使用标志信息(例如，palette_transpose_flag)从比特流显式地发信号通知扫描顺序。
122.图7示出了用于描述用于对调色板索引图进行编码的水平和竖直遍历扫描方法的示例。
123.图7的(a)示出了使用水平遍历扫描对调色板索引图进行编码的示例，并且图7的(b)示出了使用竖直遍历扫描对调色板索引图进行编码的示例。
124.如图7的(a)中所示，当使用水平扫描时，可以通过从当前块(即，当前cu)中的第一行(顶行)中的样本到最后一行(底行)中的样本在水平方向上进行样本扫描来对调色板索引进行编码。
125.如图7的(b)中所示，当使用竖直扫描时，可以通过从当前块(即，当前cu)中的第一列(最左列)中的样本到最后一列(底列)中的样本在竖直方向上进行样本扫描来对调色板索引进行编码。
126.可以使用两种调色板样本模式(例如，“index”模式和“copy_above”模式)对调色板索引进行编码。可以使用指示模式是“index”还是“copy_above”的标志来发信号通知这种调色板模式。这里，当使用水平扫描时，除了顶行之外可以发信号通知该标志，并且当使用竖直扫描时或者当先前模式是“copy_above”模式时，除了第一列a之外可以发信号通知该标志。在“copy_above”模式下，可以复制上一行中样本的调色板索引。在“index”模式下，可以显式地发信号通知调色板索引。对于“index”模式和“copy_above”模式二者，可以发信号通知指示使用相同模式编码的像素的数目的运行值。
127.索引图的编码顺序如下。首先，可以发信号通知cu的索引值的数目。然后，可以使用截断二进制(tb)编码来发信号通知整个cu的实际索引值。索引的数目和索引值二者可以以旁路模式编码。在这种情况下，索引相关的旁路bin可以被分组在一起。接下来，调色板模式(“index”模式或“copy_above”模式)和运行可以以交错方式发信号通知。最后，与整个cu的转义样本相对应的分量转义值可以被分组在一起并以旁路模式编码。在发信号通知索引值之后，可以发信号通知附加语法元素last_run_type_flag。该语法元素不需要将与块中的最后一次运行相对应的运行值连同索引的数目一起发信号通知。
128.此外，在vvc标准中，可以为i切片启用双树，分离针对亮度和色度区分的编码单元。调色板编码(调色板模式)可以独立或一起地应用于亮度(y分量)和色度(cb和cr分量)。当双树被禁用时，调色板编码(调色板模式)可以一起应用于亮度(y分量)和色度(cb和cr分量)。
129.图8是用于描述基于调色板模式的编码方法的示例的示图。
130.参照图8，解码设备可以基于比特流和/或先前调色板信息来获取调色板信息(s800)。
131.在一个实施方式中，解码设备可以在从比特流遍历cu中的样本、调色板索引信息、
以及遍历方向(扫描顺序)信息的同时，接收关于每个样本位置的调色板模式信息和每种调色板模式的游程长度信息。
132.解码设备可以基于调色板信息来配置调色板(s810)。
133.在实施方式中，解码设备可以配置调色板预测器。在先前块中使用的调色板信息可以被存储以用于随后生成的下一个调色板cu(即，在调色板模式下编码的cu)，并且这可以被定义为调色板预测器条目。解码设备可以接收新的调色板条目信息并针对当前cu配置调色板。例如，在接收到将在当前cu中使用的新的调色板条目信息和接收到的调色板预测器重用信息之后，解码设备可以将这两个条目信息组合，以形成表示当前cu的一个调色板。
134.解码设备可以推导基于调色板的当前块中的样本值(样本预测值)(s820)。
135.在实施方式中，解码设备可以在基于遍历方向(扫描顺序)信息沿着水平方向或竖直方向遍历cu中的样本的同时，从所获得的调色板信息配置样本。如果调色板模式信息指示copy_above模式，则cu中的每个样本值可以通过在竖直扫描中复制左样本位置的索引信息并在水平扫描中复制上样本位置的索引信息来推导。即，通过基于cu中每个样本的索引信息从所配置的调色板表推导每个样本的颜色值，可以推导出cu中的预测样本。然后，解码设备可以使用调色板信息来重新配置cu中的每个样本信息，并更新调色板预测器。
136.此外，上述调色板编码(调色板模式或调色板编码模式)可以发信号通知用于指示当前cu是否以调色板模式被编码并通过对其应用调色板模式对其进行编码的信息。
137.作为示例，可以通过如下表1中所示的序列参数集(sps)来发信号通知关于调色板编码模式是否可用的信息。
138.[表1]
[0139][0140]
表1的语法中所包括的语法元素的语义可以如下表2中所示地表示。
[0141]
[表2]
[0142][0143]
参照表1和表2，可以在sps中解析/发信号通知sps_palette_enabled_flag语法元素。sps_palette_enabled_flag语法元素可以指示调色板编码模式是否可用。例如，当sps_palette_enabled_flag的值为1时，它可以指示调色板编码模式是可用的，并且在这种情况下，编码单元语法中的指示是否向当前编码单元应用调色板编码模式的信息(例如，pred_mode_plt_flag)可以被解析/发信号通知。当sps_palette_enabled_flag的值为0时，它可以指示调色板编码模式是不可用的，并且在这种情况下，编码单元语法中的指示是否向当
前编码单元应用调色板编码模式的信息(例如，pred_mode_plt_flag)可以不被解析/发信号通知。
[0144]
另外，例如，可以基于关于调色板编码模式是否可用的信息(例如，sps_palette_enabled_flag)来发信号通知关于是否通过应用调色板模式来执行编码的信息，并且该信息可以通过如下表3中所示的编码单元语法发信号通知。
[0145]
[表3]
[0146][0147]
表3的语法中所包括的语法元素的语义可以如下表4中所示地表示。
[0148]
[表4]
[0149][0150]
参照表3和表4，可以在编码单元语法中解析/发信号通知pred_mode_plt_flag语法元素。pred_mode_plt_flag语法元素可以指示是否向当前编码单元应用调色板模式。例如，当pred_mode_plt_flag的值为1时，它可以指示向当前编码单元应用调色板模式，并且如果pred_mode_plt_flag的值为0，则它可以指示不向当前编码单元应用调色板模式。
[0151]
在这种情况下，可以基于关于调色板编码模式是否可用的信息(例如，sps_palette_enabled_flag)来解析/发信号通知pred_mode_plt_flag。例如，当sps_palette_enabled_flag的值为1时(即，当调色板编码模式可用时)，可以解析/发信号通知pred_mode_plt_flag。
[0152]
另外，可以通过基于pred_mode_plt_flag向当前编码单元应用调色板模式来执行编码。例如，当pred_mode_plt_flag的值为1时，可以通过解析/发信号通知palette_coding()语法来向当前编码单元应用调色板模式以生成重构样本。
[0153]
作为示例，下表5示出了调色板编码语法。
[0154]
[表5]
[0155]
[0156]
[0157][0158]
表5的语法中所包括的语法元素的语义可以如下表6中所示地表示。
[0159]
[表6]
[0160]
[0161]
[0162]
[0163]
[0164]
[0165][0166]
参照表5和表6，当向当前块(即，当前编码单元)应用调色板模式时，可以解析/发信号通知如表5中的调色板编码语法(例如，palette_coding())。
[0167]
例如，可以基于调色板条目信息来配置调色板表。调色板条目信息可以包括诸如palette_predictor_run、num_signalled_palette_entry和new_palette_entry这样的语法元素。
[0168]
另外，可以基于调色板索引信息针对当前块配置调色板索引图。调色板索引信息可以包括诸如num_palette_indices_minus1、palette_idx_idc、copy_above_indices_for_final_run_flag和palette_transpose_flag这样的语法元素。基于如上所述的调色板索引信息，可以在遍历扫描方向(竖直方向或水平方向)上遍历的同时针对当前块中的样本推导调色板索引值(例如，paletteindexidc)以配置调色板索引图(例如，paletteindexmap)。
[0169]
此外，可以基于调色板索引图来推导调色板表中调色板条目的样本值，并基于映射到调色板条目的样本值(即，颜色值)来生成当前块的重构样本。
[0170]
当样本在当前块中具有转义值时(即，当palette_escape_val_present_flag的值为1时)，可以基于转义信息来推导当前块的转义值。转义信息可以包括诸如palette_escape_val_present_flag和palette_escape_val这样的语法元素。例如，可以基于量化转义值信息(例如，palette_escape_val)来推导当前块中转义编码样本的转义值。可以基于转义值来生成当前块的重构样本。
[0171]
如上所述，本公开中公开的语法表中的信息(语法元素)可以被包括在图像/视频
信息中，根据在编码设备中执行的编码技术(包括调色板编码)来配置/编码，并以比特流的形式传递到解码设备。解码设备可以解析/解码语法表中的信息(语法元素)。解码设备可以基于解码后的信息来执行诸如调色板编码这样的编码技术，并可以基于此来执行块/图像/视频重构(解码)过程。下文中，本公开提出了用于基于调色板编码高效地对块/图像/视频进行编码的语法表和语法元素。
[0172]
本公开提出了在调色板模式编码中高效编码和发信号通知转义值的方法。在调色板模式下，可以使用转义值来另外发送具有与块中的邻近样本的值不同的值的样本的相应样本值。由于这样的转义值是附加数据，因此可以执行量化以保存转义值。另外，在调色板模式下的转义编码中，不应用变换，并且可以直接发信号通知量化转义值。这可以被认为类似于不向编码单元(cu)应用变换的变换跳过模式。
[0173]
在当前vvc标准中，将完整范围的量化参数(qp)值应用于调色板模式下的转义值。然而，本公开提出了限制qp值的范围以便防止调色板模式下转义值编码的量化步长变得小于1的方法。在一个实施方式中，可以向调色板模式下的转义值编码应用与变换跳过的最小qp相同的约束。可以使用变换跳过的最小qp来剪辑调色板模式的最小qp。
[0174]
作为示例，可以通过如下表7中所示的序列参数集(sps)来发信号通知关于变换跳过的最小qp的信息。
[0175]
[表7]
[0176][0177]
表7的语法中所包括的语法元素的语义可以如下表8中所示地表示。
[0178]
[表8]
[0179][0180]
参照表7和表8，可以在sps中解析/发信号通知min_qp_prime_ts_minus4语法元素。min_qp_prime_ts_minus4语法元素可以指示变换跳过模式允许的最小量化参数。换句话说，可以基于min_qp_prime_ts_minus4语法元素来推导变换跳过模式下的最小量化参数值(例如，qpprimetsmin)。例如，可以通过将min_qp_prime_ts_minus4的值加上4来推导最小量化参数值(例如，qpprimetsmin)。
[0181]
如上所述，基于通过sps发信号通知的min_qp_prime_ts_minus4语法元素，可以如
下表9中公开的算法中那样推导调色板模式下的转义值的qp。即，可以如下表9中公开的算法中那样推导在基于调色板模式的解码处理中用于转义值重新配置的qp值。
[0182]
[表9]
[0183][0184][0185]
参照表9，当存在调色板模式的转义值时，可以推导出qp值。即，可以基于以上述min_qp_prime_ts_minus4语法元素为基础推导出的变换跳过模式下的最小量化参数值(例如，qpprimetsmin)来推导调色板模式的转义值的qp。例如，如表9中所示，调色板模式的转义值的qp可以被推导为qpprimetsmin和量化参数qp(针对亮度分量的qp'y和针对色度分量的qp'cb或qp'cr)之间的较大值。然后，可以基于调色板模式的转义值的qp来推导转义值，以重构块中的样本。
[0186]
另外，在本公开中，如上所述，当调色板模式下的qp范围被限制为大于或等于变换跳过模式下的最小量化参数值(例如，qpprimetsmin)时，在调色板模式下量化的转义值的范围可以受到限制。作为实施方式，在调色板模式下量化的转义值的范围可以基于bitdepth来确定，并可以被限制为使得其不大于例如(1《《bitdepth)-1。
[0187]
例如，在调色板模式下量化的转义值可以由语法元素palette_escape_val表示。可以通过如下表10中所示的调色板编码语法来发信号通知语法元素palette_escape_val。
[0188]
[表10]
[0189][0190]
表10的语法中所包括的语法元素的语义可以如下表11中所示地表示。
[0191]
[表11]
[0192][0193][0194]
参照表10和表11，可以在调色板编码语法中解析/发信号通知palette_escape_val语法元素。palette_escape_val语法元素可以指示量化转义值。另外，如表10中所示，语法元素palette_escape_val的值可以被设置为paletteescapeval，并且paletteescapeval可以指示其中调色板索引图(paletteindexmap)等于最大调色板索引(maxpaletteindex)并且palette_escape_val_present_flag的值为1的样本的转义值。这里，palette_escape_val_present_flag的值为1的情况可以意味着至少一个转义编码样本(转义值)被包括在当前cu中。例如，对于亮度分量，paletteescapeval可以被限制在从0至(1《《(bitdepthy))
–
1的范围内。对于色度分量，paletteescapeval可以被限制在从0至(1《《(bitdepthc))
–
1的范围内。
[0195]
另外，本公开提出了定义调色板大小并发信号通知该大小的方法。调色板大小可
以指示调色板表中的条目的数目(即，调色板表中索引的数目)。作为实施方式，在本公开中，调色板中条目的数目可以通过用一个或更多个常数定义调色板大小来指示。
[0196]
作为示例，调色板大小可以由语法元素palette_max_size表示，并且语法元素palette_max_size对于整个序列可以是相同的，或者可以根据cu大小(即，cu中像素的数目)而不同。例如，调色板大小(palette_max_size)可以指示调色板表的最大可允许索引，并且可以被定义为31。作为另一示例，调色板大小(palette_max_size)可以指示调色板表的最大可允许索引，并可以根据cu大小如以下表12中所示地定义。
[0197]
[表12]
[0198][0199]
表12中公开的调色板大小63、31、15等和cu大小1024、256等仅用作示例，并可以改变为其它数目。
[0200]
作为实施方式，指示调色板大小的信息(例如，palette_max_size)可以通过sps来发信号通知，如下表13中所示。
[0201]
[表13]
[0202][0203]
表13的语法中所包括的语法元素的语义可以如下表14中所示地表示。
[0204]
[表14]
[0205][0206]
参照以上的表13和表14，可以在sps中解析/发信号通知palette_max_size语法元素。palette_max_size语法元素可以指示调色板表的最大可允许索引，并且可以限制在从1至63的范围。
[0207]
在这种情况下，可以基于作为用于指示是否启用调色板模式的信息的sps_
palette_enabled_flag语法元素来解析/发信号通知palette_max_size语法元素。例如，当sps_palette_enabled_flag的值为1时(即，当它指示启用调色板模式时)，可以解析/发信号通知palette_max_size语法元素。
[0208]
另选地，作为实施方式，指示调色板大小的信息(例如，log2_palette_max_size)可以通过sps来发信号通知，如下表15中所示。
[0209]
[表15]
[0210][0211]
表15的语法中所包括的语法元素的语义可以如下表16中所示地表示。
[0212]
[表16]
[0213][0214]
参照表15和表16，可以在sps中解析/发信号通知log2_palette_max_size语法元素。log2_palette_max_size语法元素可以指示调色板大小(即，palette_max_size 1)的log2值。因此，指示调色板表的最大可允许索引的palette_max_size可以通过计算(1《《log2_palette_max_size)-1来推导，并可以限制在从1至63的范围。
[0215]
在这种情况下，可以基于作为用于指示是否启用调色板模式的信息的sps_palette_enabled_flag语法元素来解析/发信号通知log2_palette_max_size语法元素。例如，当sps_palette_enabled_flag的值为1时(即，当它指示启用调色板模式时)，可以解析/发信号通知log2_palette_max_size语法元素。
[0216]
另选地，作为实施方式，指示调色板大小的信息(例如，log2_palette_cu_size_th1、log2_palette_max_size_th1、log2_palette_max_size_default)可以通过sps来发信号通知，如下表17中所示。
[0217]
[表17]
[0218][0219]
表17的语法中所包括的语法元素的语义可以如下表18中所示地表示。
[0220]
[表18]
[0221][0222]
参照表17和表18，可以在sps中解析/发信号通知log2_palette_cu_size_th1、log2_palette_max_size_th1和log2_palette_max_size_default语法元素。
[0223]
log2_palette_cu_size_th1语法元素指示palette_max_size_th1的大小限制的log2值，并且palette_max_size_th1可以被推导为1《《log2_palette_cu_size_th1。
[0224]
log2_palette_max_size_th1语法元素指示(palette_max_size_th1 1)的log2值，并且palette_max_size_th1可以被推导为(1《《log2_palette_max_size_th1)-1。palette_max_size_th1为大小比palette_cu_size_th1大的cu指示调色板表的最大可允许
索引，并可以限制在1至63的范围内。
[0225]
log2_palette_max_size_default语法元素指示(palette_max_size_default 1)的log2值，并且palette_max_size_default可以被推导为(1《《log2_palette_max_size_default)-1。palette_max_size_default指示调色板表的最大可允许索引，并可以限制在1至63的范围内。
[0226]
这里，可以基于作为用于指示是否启用调色板模式的信息的sps_palette_enabled_flag语法元素来解析/发信号通知log2_palette_cu_size_th1、log2_palette_max_size_th1和log2_palette_max_size_default语法元素。例如，当sps_palette_enabled_flag的值为1时(即，当它指示启用调色板模式时)，可以解析/发信号通知log2_palette_cu_size_th1、log2_palette_max_size_th1和log2_palette_max_size_default语法元素。
[0227]
另外，palette_cu_size_th和palette_max_size_th的一个或更多个集合可以被发信号通知并用来指示palette_max_size。
[0228]
创建以下附图以说明本公开的特定示例。附图中例示的特定装置的名称或特定术语或名称(例如，语法/语法元素的名称等)以示例的方式呈现，因此本公开的技术特征不限于下图中使用的特定名称。
[0229]
图9示意性示出了根据本公开的实施方式的视频/图像编码方法的示例。
[0230]
图9中例示的方法可以由图2中例示的编码设备200执行。具体地，图9中的步骤s900和s920可以由图2中示出的预测器220执行，并且图9中的步骤s930可以由图2中示出的熵编码器240执行。另外，图9中例示的方法可以包括以上在本公开中描述的实施方式。因此，将省略或简化对与图9和上述实施方式中的冗余部分的详细描述。
[0231]
参照图9，解码设备可以确定是否针对当前块启用调色板模式(s910)。
[0232]
在一个实施方式中，首先，编码设备可以确定调色板模式是否被启用，并可以根据该确定来生成关于调色板模式是否被启用的信息。例如，如表1至表4中所示，关于调色板模式是否被启用的信息可以由sps_palette_enabled_flag语法元素表示。当关于调色板模式是否被启用的信息(例如，sps_palette_enabled_flag)的值为1时，这可以指示调色板编码模式被启用。当关于调色板模式是否被启用的信息(例如，sps_palette_enabled_flag)的值为0时，这可以指示调色板编码模式未被启用。
[0233]
另外，编码设备可以基于关于调色板编码模式是否被启用的信息(例如，sps_palette_enabled_flag)来确定是否通过向当前块应用调色板模式来对当前块进行编码。例如，如表1至表4中所示，当sps_palette_enabled_flag的值为1(这指示调色板编码模式被启用)时，编码设备可以生成并发信号通知关于是否通过向当前块应用调色板模式来对当前块进行编码的信息。如表1至表4中所示，关于是否通过向当前块应用调色板模式来对当前块进行编码的信息可以由pred_mode_plt_flag语法元素表示。当pred_mode_plt_flag的值为1时，这可以指示向当前块应用调色板模式，并且当pred_mode_plt_flag的值为0时，这可以指示未向当前块应用调色板模式。另外，作为示例，关于调色板编码模式是否被启用的信息(例如，sps_palette_enabled_flag)可以通过sps发信号通知，并且关于是否通过向当前块应用调色板模式来对当前块进行编码的信息(例如，pred_mode_plt_flag)可以通过编码单元语法被发信号通知。
[0234]
编码设备可以基于调色板模式是否被启用来推导当前块的转义值(s910)。
[0235]
作为实施方式，编码设备可以确定当前块的预测模式并执行预测。例如，编码设备可以确定是对当前块执行帧间预测还是帧内预测。另选地，编码设备可以基于ciip模式、ibc模式或调色板模式来确定是否对当前块执行预测。编码设备可以基于rd成本来确定预测模式。编码设备可以根据所确定的预测模式来执行预测，以推导当前块的预测样本。另外，编码设备可以生成并编码与应用于当前块的预测相关的信息(例如，预测模式信息)。
[0236]
当确定调色板模式被启用并且对当前块执行基于调色板模式的预测时，编码设备可以应用在上述实施方式中公开的调色板模式编码。即，编码设备可以通过向当前块应用调色板模式编码来推导调色板条目、调色板索引、转义值等。
[0237]
作为示例，编码设备可以基于当前块的样本值来生成调色板条目信息。即，编码设备可以推导在先前调色板模式下编码的块中使用的调色板预测器条目和调色板条目重用信息以配置调色板表，并可以推导当前块的调色板条目。例如，如表5和表6中所示，编码设备可以推导诸如palette_predictor_run、num_signalled_palette_entries和new_palette_entries这样的用于配置调色板表的调色板条目信息。
[0238]
另外，编码设备可以基于调色板条目信息来生成当前块的调色板索引信息。即，编码设备可以在遍历扫描方向(竖直方向或水平方向)上遍历当前块的样本的同时推导每个样本的调色板索引值，并配置调色板索引图。例如，如以上表5和表6中所示，编码设备可以推导用于配置调色板索引图的诸如palette_transpose_flag、palette_idx_idc、copy_above_indices_for_final_run_flag、num_palette_indices_minus1这样的调色板条目信息。
[0239]
这里，调色板表可以包括用于当前块中的样本的代表性颜色值(调色板条目)，并可以由与相应颜色值相对应的调色板索引值构成。即，编码设备可以针对当前块中的每个样本推导与调色板表中的条目(颜色值)相对应的调色板索引值，并发信号通知它给解码设备。
[0240]
编码设备可以对包括调色板条目信息和调色板索引信息的图像信息进行编码，并发信号通知它给解码设备。
[0241]
另外，在对当前块执行基于调色板模式的预测时，编码设备可以推导包括至少一个转义编码样本的当前块的转义值。
[0242]
如上所述，由于在调色板模式下针对具有与当前块中的邻近样本的值不同的值的样本另外发送相应样本值在编码效率方面是有效的，因此该样本值可以被发信号通知为转义值。在这种情况下，由于转义值是附加数据，因此可以执行量化来保存它。另外，不向调色板模式的转义值应用变换，并且可以直接发信号通知量化后的值。
[0243]
编码设备可以基于转义值和量化参数来推导量化转义值(s920)。
[0244]
作为实施方式，编码设备可以通过将针对转义值的量化参数应用于转义值来推导量化转义值。
[0245]
这里，可以基于关于变换跳过模式的最小量化参数信息来推导量化参数。例如，可以基于关于表7至表9中示出的变换跳过模式的最小量化参数信息(例如，min_qp_prime_ts_minus4)来推导量化参数。如上所述，由于不向调色板模式的转义值应用变换，因此可以基于在变换跳过模式中使用的最小量化参数信息来量化转义值。
[0246]
作为特定示例，如表9中所示，首先，编码设备可以基于关于变换跳过模式的最小量化参数信息(例如，min_qp_prime_ts_minus4)来推导最小量化参数值(例如，qpprimetsmin)。另外，编码设备可以选择最小量化参数值(例如，qpprimetsmin)和量化参数qp(针对亮度分量的qp'y和针对色度分量的qp'cb或qp'cr)之间的较大值，并将其用作调色板模式下的量化参数。
[0247]
换句话说，调色板模式下的量化参数可以具有大于或等于从关于变换跳过模式的最小量化参数信息(例如，min_qp_prime_ts_minus4)推导出的最小量化参数值(例如，qpprimetsmin)的值。
[0248]
编码设备可以使用如上所述推导的调色板模式下的量化参数来推导量化转义值。编码设备可以生成量化转义值作为表5和表6中所示的palette_escape_val语法元素，并发信号通知它。另外，编码设备可以生成用于指示具有转义值的样本存在于当前块中的信息(例如，palette_escape_val_present_flag)，并发信号通知它。
[0249]
根据实施方式，编码设备可以将量化转义值限制在特定范围内。由于转义值具有与邻近样本的特性不同的特性，因此它们被量化并直接发信号通知。然而，可能出现由于量化而造成的误差。为了减少这样的误差并对更精确的值进行编码，可以基于比特深度来限制量化转义值的范围。
[0250]
例如，关于量化转义值的信息的范围可以基于如表10和表11中所示的比特深度来确定，并可以被限制为使得它不大于例如(1《《bitdepth)
–
1。另外，比特深度可以包括针对亮度分量的比特深度bitdepthy和针对色度分量的比特深度bitdepthc。这里，亮度分量的量化转义值信息的范围可以具有0和(1《《bitdepthy)
–
1之间的值，并且色度分量的量化转义值信息的范围可以具有0和(1《《bitdepthc)
–
1之间的值。
[0251]
另外，在一个实施方式中，编码设备可以定义调色板表中条目的数目(即，调色板表的索引的数目)，并发信号通知它给解码设备。即，编码设备可以确定关于调色板表的最大索引的调色板大小信息，并发信号通知它。调色板大小信息可以是预设值，或者可以基于编码单元的大小来确定。
[0252]
例如，调色板大小可以如表12中所示被表示为palette_max_size，对于整个序列可以是相同的，或者可以根据cu大小(即，cu中像素的数目)来不同地确定。
[0253]
例如，调色板大小可以如表13和表14中所示被表示为palette_max_size，并可以通过sps发信号通知。在这种情况下，调色板大小(例如，palette_max_size)可以指示调色板表的最大可允许索引，并可以限制在从1至63的范围内。另外，调色板大小(例如，palette_max_size)可以基于用于指示是否启用调色板模式的信息(例如，sps_palette_enabled_flag)来发信号通知。
[0254]
另外，例如，调色板大小可以如表15和表16中所示被表示为log2_palette_max_size，并可以通过sps发信号通知。在这种情况下，调色板大小(例如，log2_palette_max_size)可以指示调色板大小(即，palette_max_size 1)的log2值。因此，指示调色板表的最大可允许索引的palette_max_size可以通过计算(1《《log2_palette_max_size)-1来推导，并可以限制在从1至63的范围内。另外，调色板大小(例如，log2_palette_max_size)可以基于用于指示是否启用调色板模式的信息(例如，sps_palette_enabled_flag)来发信号通知。
[0255]
另外，例如，调色板大小可以如表17和表18中所示基于log2_palette_cu_size_th1、log2_palette_max_size_th1和log2_palette_max_size_default来推导，并可以通过sps发信号通知。由于以上在表17和表18中已经描述了推导和发信号通知调色板大小的特定实施方式，因此在本文中将省略对其的描述。
[0256]
编码设备可以对图像信息(或视频信息)进行编码(s930)。这里，图像信息可以包括用于上述调色板模式编码的各种类型的信息。
[0257]
作为示例，编码设备可以生成并编码包括关于量化转义值的信息的图像信息。在这种情况下，可以针对包括至少一个转义编码样本的当前块生成量化转义值。
[0258]
另外，编码设备可以生成并编码包括调色板条目信息和调色板索引信息的图像信息。
[0259]
另外，编码设备可以生成并编码包括变换跳过模式下的最小量化参数信息的图像信息。在这种情况下，图像信息可以包括sps，并且sps可以包括针对变换跳过模式的最小量化参数信息。
[0260]
另外，编码设备可以生成并编码包括关于调色板模式是否被启用的信息和指示是否通过向当前块应用调色板模式来对当前块进行编码的信息的图像信息。
[0261]
包括如上所述的各种类型信息的图像信息可以被编码并以比特流的形式输出。可以经由网络或(数字)存储介质将比特流发送到解码设备。这里，网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括诸如usb、sd、cd、dvd、蓝光、hdd和ssd这样的各种存储介质。
[0262]
图10示意性示出了根据本公开的实施方式的视频/图像解码方法的示例。
[0263]
图10中例示的方法可以由图3中例示的解码设备300执行。具体地，图10中的步骤s1000可以由图3中例示的熵解码器310执行，并且图10中的步骤s1010至s1030可以由图3中例示的预测器330执行。另外，图10中例示的方法可以包括以上在本公开中描述的实施方式。因此，将省略或简化对与图10和上述实施方式中的冗余部分的详细描述。
[0264]
参照图10，解码设备可以从比特流接收图像信息(或视频信息)(s1000)。
[0265]
解码设备可以对比特流进行解析，以推导出图像重构(或图片重构)所必需的信息(例如，视频/图像信息)。在这种情况下，图像信息可以包括与预测相关的信息(例如，预测模式信息)。另外，图像信息可以包括用于上述调色板模式编码的各种类型的信息。例如，图像信息可以包括关于调色板模式是否被启用的信息、关于是否通过向当前块应用调色板模式来对当前块进行编码的信息、关于量化转义值的信息、调色板条目信息、调色板索引信息、变换跳过模式下的最小量化参数信息等。即，图像信息可以包括解码处理中必需的各种类型的信息，并可以基于诸如指数哥伦布编码、cavlc或cabac这样的编码方法来解码。
[0266]
在一个实施方式中，解码设备可以从比特流获得包括关于调色板模式是否被启用的信息的图像信息。例如，如表1至表4中所示，关于调色板模式是否被启用的信息可以由sps_palette_enabled_flag语法元素表示。如果关于调色板模式是否被启用的信息(例如，sps_palette_enabled_flag)的值为1，则这可以指示调色板编码模式被启用，并且当关于调色板模式是否被启用的信息(例如，sps_palette_enabled_flag)的值为0时，这可以指示调色板编码模式未启用。
[0267]
另外，根据实施方式，解码设备可以基于关于调色板模式是否被启用的信息来确
定是否使用上述调色板模式对当前块执行编码。
[0268]
例如，如表1至表4中所示，解码设备可以获得包括关于调色板模式是否被启用的信息(例如，sps_palette_enabled_flag)的图像信息，并基于所获得的信息，从比特流获取调色板条目信息、调色板索引信息、量化转义值信息等。
[0269]
例如，解码设备可以基于关于调色板模式是否被启用的信息(例如，sps_palette_enabled_flag)来从比特流获得指示是否通过向当前块应用调色板模式来对当前块进行编码的信息(例如，pred_mode_plt_flag)。例如，如表1至表4中所示，当pred_mode_plt_flag的值为1时，解码设备还可以获取palette_coding()语法，并基于palette_coding()语法中所包括的信息向当前块应用调色板模式以推导重构样本。
[0270]
解码设备可以推导当前块的量化转义值(s1010)。
[0271]
在一个实施方式中，解码设备可以基于关于调色板模式是否被启用的信息来获得当前块的量化转义值信息，并基于量化转义值信息来推导量化转义值。例如，量化转义值信息可以是如表5和表6中所示的palette_escape_val语法元素。在这种情况下，可以基于指示当前块中是否存在具有转义值的样本的信息(例如，palette_escape_val_present_flag)来获得量化转义值信息(例如，palette_escape_val)。例如，当当前块中存在具有转义值的样本时(即，当palette_escape_val_present_flag的值为1时)，解码设备可以从比特流获得量化转义值信息(例如，palette_escape_val)。即，针对包括至少一个转义编码样本的当前块，解码设备可以基于图像信息中所包括的量化转义值信息来推导量化转义值。
[0272]
解码设备可以基于量化转义值和量化参数来推导当前块的转义值(s1020)。
[0273]
作为实施方式，解码设备可以通过基于量化参数对量化转义值执行反量化(缩放处理)来推导转义值。
[0274]
这里，可以基于关于变换跳过模式的最小量化参数信息来推导量化参数。例如，可以基于关于表7至表9中示出的变换跳过模式的最小量化参数信息(例如，min_qp_prime_ts_minus4)来推导量化参数。如上所述，由于不向调色板模式的转义值应用变换，因此可以基于在变换跳过模式中使用的最小量化参数信息来量化转义值。这里，可以从sps解析/发信号通知关于变换跳过模式的最小量化参数信息(例如，min_qp_prime_ts_minus4)。
[0275]
作为特定示例，如表9中所示，首先，解码设备可以基于关于变换跳过模式的最小量化参数信息(例如，min_qp_prime_ts_minus4)来推导最小量化参数值(例如，qpprimetsmin)。另外，解码设备可以在最小量化参数值(例如，qpprimetsmin)和量化参数qp(针对亮度分量的qp'y和针对色度分量的qp'cb或qp'cr)之间选择较大的值，并将其用作调色板模式下的量化参数。
[0276]
换句话说，调色板模式下的量化参数可以具有大于或等于从关于变换跳过模式的最小量化参数信息(例如，min_qp_prime_ts_minus4)推导出的最小量化参数值(例如，qpprimetsmin)的值。
[0277]
解码设备可以基于如上所述推导出的调色板模式下的量化参数从量化转义值推导转义值。
[0278]
根据实施方式，解码设备可以将量化转义值限制在特定范围内。由于转义值具有与邻近样本的特性不同的特性，因此它们被量化并直接发信号通知。然而，可能出现由于量化而造成的误差。为了减少这样的误差并对更精确的值进行编码，可以基于比特深度来限
制量化转义值的范围。
[0279]
例如，关于量化转义值的信息的范围可以基于如表10和表11中所示的比特深度来确定，并可以被限制为使得它不大于例如(1《《bitdepth)
–
1。另外，比特深度可以包括针对亮度分量的比特深度bitdepthy和针对色度分量的比特深度bitdepthc。这里，亮度分量的量化转义值信息的范围可以具有0和(1《《bitdepthy)
–
1之间的值，并且色度分量的量化转义值信息的范围可以具有0和(1《《bitdepthc)
–
1之间的值。
[0280]
另外，在一个实施方式中，解码设备可以获得包括调色板表中的条目数目(即，调色板表的索引数目)的图像信息。即，解码设备可以获得包括关于调色板表的最大索引的调色板大小信息的图像信息。这里，调色板大小信息可以是预设值，或者可以基于编码单元的大小来确定。
[0281]
例如，调色板大小可以如表12中所示被表示为palette_max_size，对于整个序列可以是相同的，或者可以根据cu大小(即，cu中像素的数目)而不同地确定。
[0282]
例如，调色板大小可以如表13和表14中所示被表示为palette_max_size，并且可以通过sps被解析/发信号通知。在这种情况下，调色板大小(例如，palette_max_size)可以指示调色板表的最大可允许索引，并可以限制在从1至63的范围内。另外，调色板大小(例如，palette_max_size)可以基于用于指示是否启用调色板模式的信息(例如，sps_palette_enabled_flag)来解析/发信号通知。
[0283]
另外，例如，调色板大小可以如表15和表16中所示被表示为log2_palette_max_size，并可以通过sps被解析/发信号通知。在这种情况下，调色板大小(例如，log2_palette_max_size)可以指示调色板大小(即，palette_max_size 1)的log2值。因此，指示调色板表的最大可允许索引的palette_max_size可以通过计算(1《《log2_palette_max_size)-1来推导，并可以限制在从1至63的范围内。另外，调色板大小(例如，log2_palette_max_size)可以基于用于指示是否启用调色板模式的信息(例如，sps_palette_enabled_flag)来解析/发信号通知。
[0284]
另外，例如，调色板大小可以基于如表17和表18中所示的log2_palette_cu_size_th1、log2_palette_max_size_th1和log2_palette_max_size_default来推导，并可以通过sps被解析/发信号通知。由于以上在表17和表18中已经描述了推导和解析/发信号通知调色板大小的特定实施方式，因此在本文中将省略对其的描述。
[0285]
解码设备基于转义值来生成重构样本(s1030)。
[0286]
作为实施方式，解码设备可以基于与包括至少一个转义编码样本的当前块有关的转义值来生成重构样本。例如，如果当前块中存在具有转义值的样本(即当palette_escape_val_present_flag的值为1时)，解码设备可以如上所述地推导转义值，以生成转义编码样本的重构样本。
[0287]
另外，在对当前块执行基于调色板模式的预测时(即，当向当前块应用调色板模式时)，对于当前块中的除了转义编码样本之外的样本，解码设备可以获得包括调色板条目信息和调色板索引信息的图像信息，并基于所获得的图像信息来生成重构样本。
[0288]
作为示例，解码设备可以基于调色板条目信息来配置当前块的调色板表。例如，调色板条目信息可以包括palette_predictor_run、num_signalled_palette_entries、new_palette_entries等，如表5和表6中所示。即，解码设备可以推导在先前调色板模式下编码
的块中使用的调色板预测器条目和调色板条目重用信息，并推导当前块的调色板条目以配置调色板表。另外，解码设备可以基于先前的调色板预测器条目和当前调色板条目来配置调色板表。
[0289]
另外，解码设备可以基于调色板索引信息针对当前块配置调色板索引图。例如，调色板索引信息可以包括如表5和表6中所示的用于配置调色板索引图的palette_transpose_flag、palette_idx_idc、copy_above_indices_for_final_run_flag、num_palette_indices_minus1等。即，解码设备可以在基于指示遍历扫描方向(竖直方向或水平方向)的信息(例如，palette_transpose_flag)遍历当前块的样本的同时，基于指示每个样本的调色板索引值的信息(例如，palette_idx_idc)来配置调色板索引图(例如，paletteindexmap)。
[0290]
另外，解码设备可以基于调色板索引图来推导调色板表中的调色板条目的样本值。解码设备可以基于调色板索引图和调色板条目的样本值来生成重构样本。
[0291]
这里，调色板表可以包括用于当前块中的样本的代表性颜色值(调色板条目)，并可以由与相应颜色值相对应的调色板索引值构成。因此，解码设备可以推导与调色板索引图的索引值相对应的调色板表中的条目的样本值(即，颜色值)，并将它们作为当前块的重构样本值生成。
[0292]
在上述示例性系统中，通过使用一系列步骤和框来根据流程图描述方法。然而，本公开不限于步骤的特定次序，并且可与不同的步骤一起并且按与上述步骤不同的次序或同时地执行一些步骤。另外，本领域的技术人员应该理解，流程图中所示的步骤不是排他性的，还可包括其它步骤，或者在不影响本公开的技术范围的情况下，可删除流程图的一个或更多个步骤。
[0293]
可以软件的形式实现根据本公开的方法，并且可将根据本公开的编码设备和/或解码设备包括在执行图像处理的设备如tv、计算机、智能电话、机顶盒和显示设备中。
[0294]
当本公开的实施方式由软件实现时，前述方法可由执行前述功能的模块(过程或功能)实现。模块可被存储在存储器中并由处理器执行。存储器可被安装在处理器内部或外部并且可经由各种公知手段连接到处理器。处理器可包括专用集成电路(asic)、其它芯片组、逻辑电路和/或数据处理装置。存储器可包括只读存储器(rom)、随机存取存储器(ram)、闪速存储器、存储卡、存储介质和/或其它存储装置。换言之，可在处理器、微处理器、控制器或芯片上实现并执行根据本公开的实施方式。例如，可在计算机、处理器、微处理器、控制器或芯片上实现并执行各个图中图示的功能单元。在这种情况下，可在数字存储介质中存储关于实现方式的信息(例如，关于指令的信息)或算法。
[0295]
另外，本公开应用于的解码设备和编码设备可被包括在以下各项中：多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置以及诸如视频通信的实时通信装置、移动流装置、存储介质、摄像机、视频点播(vod)服务提供商、空中(ott)视频装置、互联网流服务提供商、3d视频装置、虚拟现实(vr)装置、增强现实(ar)装置、图像电话视频装置、车辆终端(例如，车辆(包括自主车辆)终端、飞机终端或船舶终端)和医疗视频装置；并且可用于处理图像信号或数据。例如，ott视频装置可包括游戏机、蓝光播放器、连接互联网的tv、家庭影院系统、智能电话、平板pc和数字录像机(dvr)。
[0296]
另外，本公开的实施方式应用于的处理方法可被以由计算机执行的程序的形式产
生并且可被存储在计算机可读记录介质中。也可将具有根据本公开的数据结构的多媒体数据存储在计算机可读记录介质中。计算机可读记录介质包括在其中存储计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可包括例如蓝光盘(bd)、通用串行总线(usb)、rom、prom、eprom、eeprom、ram、cd-rom、磁带、软盘和光学数据存储装置。计算机可读记录介质也包括以载波(例如，通过互联网的传输)的形式体现的介质。另外，通过编码方法生成的比特流可被存储在计算机可读记录介质中或者通过有线或无线通信网络来传送。
[0297]
另外，可将本公开的实施方式体现为基于程序代码的计算机程序产品，并且可在根据本公开的实施方式的计算机上执行程序代码。可将程序代码存储在计算机可读载体上。
[0298]
图11示出了适用本公开中公开的实施方式的内容流传输系统的示例。
[0299]
参照图11，应用于本公开的实施方式的内容流传输系统可以包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户设备和多媒体输入装置。
[0300]
编码服务器用来将从诸如智能电话、照相机、摄像机等的多媒体输入装置输入的内容压缩为数字数据，生成比特流，并且将其传送至流传输服务器。作为另一示例，在诸如智能电话、照相机、摄像机等的多媒体输入装置直接生成码流的情况下，可省略编码服务器。
[0301]
可通过本文的实施方式应用于的编码方法或比特流生成方法来生成比特流。并且流传输服务器可在传送或接收比特流的过程中暂时存储比特流。
[0302]
流传输服务器基于用户的请求通过网络服务器向用户设备传送多媒体数据，该网络服务器充当向用户通知存在什么服务的工具。当用户请求用户想要的服务时，网络服务器将请求转移至流传输服务器，并且流传输服务器将多媒体数据传送至用户。在这方面，内容流传输系统可包括单独的控制服务器，并且在这种情况下，控制服务器用来控制内容流传输系统中的各个设备之间的命令/响应。
[0303]
流传输服务器可从媒体存储装置和/或编码服务器接收内容。例如，在从编码服务器接收到内容的情况下，可实时地接收内容。在这种情况下，流传输服务器可将比特流存储预定时间段以流畅地提供流服务。
[0304]
例如，用户设备可包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航、板式pc、平板pc、超极本、可穿戴装置(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(hmd))、数字tv、台式计算机、数字标牌等。
[0305]
可将内容流传输系统中的每个服务器作为分布式服务器操作，并且在这种情况下，可以分布式方式处理由每个服务器接收的数据。
[0306]
可以以各种方式组合本公开中描述的权利要求。例如，本公开的方法权利要求的技术特征可以被组合并实现为设备，并且本公开的设备权利要求的技术特征可以被组合并实现为方法。另外，本公开的方法权利要求的技术特征和设备权利要求的技术特征可以被组合并实现为设备，并且本公开的方法权利要求的技术特征和设备权利要求的技术特征可以被组合并实现为方法。