基于变换跳过和调色板编码相关信息的信令的图像或视频编码的制作方法

1.本技术涉及视频或图像编码，并且例如涉及基于变换跳过和调色板编码相关信息的信令的图像或视频编码技术。


背景技术：

2.最近，在各种领域中对诸如4k或8k超高清(uhd)图像/视频的高分辨率、高质量图像/视频的需求不断增加。随着图像/视频分辨率或质量变得更高，与传统图像/视频数据相比发送相对更多的信息或比特。因此，如果图像/视频数据经由诸如现有有线/无线宽带线路的介质发送或被存储在传统存储介质中，则传输和存储的成本容易增加。
3.此外，对虚拟现实(vr)和人工现实(ar)内容以及诸如全息图这样的沉浸式媒体的兴趣和需求日益增长；并且表现出与实际图像/视频不同的图像/视频特性的图像/视频(例如，游戏图像/视频)的广播也日益增长。
4.因此，需要高度高效的图像/视频压缩技术来有效地压缩并发送、存储或播放如上所述显示出各种特性的高分辨率、高质量图像/视频。
5.另外，需要用于通过根据在执行变换跳过和调色板编码时使用的绝对必要或辅助的信息的依赖性和非依赖性对是否对相关信息进行编码进行高效分类来提高整体图像/视频编码效率的方案。


技术实现要素：

6.技术问题
7.本文献的技术主题是提供用于增强视频/图像编码效率的方法和设备。
8.本文献的另一技术主题是提供用于高效地解析/发信号通知变换跳过和/或调色板编码相关信息的方法和设备。
9.本文献的又一技术主题是提供用于根据在变换跳过和/或调色板编码期间使用的信息的依赖性和/或非依赖性来高效地确定是否执行编码的方法和设备。
10.本文献的再一技术主题是提供用于定义用于有效地解析对变换跳过和/或调色板编码相关高级语法元素有依赖性的语法元素的依赖性条件并基于该依赖性条件来确定是否执行解析的方法和设备。
11.技术方案
12.根据本文献的实施方式，可以通过序列参数集(sps)发信号通知变换跳过启用信息和调色板启用信息，并且可以基于变换跳过启用信息和调色板启用信息中的至少一者来确定是否解析/发信号通知与针对变换跳过模式的最小允许量化参数相关的最小量化参数信息。例如，可以基于变换跳过启用信息的值为1或者调色板编码启用信息的值为1的条件，通过sps解析/发信号通知最小量化参数信息。
13.根据本文献的实施方式，提供了由解码设备执行的视频/图像解码方法。视频/图
像解码方法可以包括本文献的实施方式中公开的方法。
14.根据本文献的实施方式，提供了执行视频/图像解码的解码设备。解码设备可以执行本文献的实施方式中公开的方法。
15.根据本文献的实施方式，提供了由编码设备执行的视频/图像编码方法。视频/图像编码方法可以包括本文献的实施方式中公开的方法。
16.根据本文献的实施方式，提供了执行视频/图像编码的编码设备。编码设备可以执行本文献的实施方式中公开的方法。
17.根据本文献的实施方式，提供了存储根据本文献的实施方式中的至少一个中公开的视频/图像编码方法生成的编码后的视频/图像信息的计算机可读数字存储介质。
18.根据本文献的实施方式，提供了存储使解码设备执行在本文献的实施方式中的至少一个中公开的视频/图像解码方法的编码后的信息或编码后的视频/图像信息的计算机可读数字存储介质。
19.技术效果
20.本文献可以具有各种效果。例如，根据本文献的实施方式，整体图像/视频压缩效率可以增强。另外，根据本文献的实施方式，可以高效地解析/发信号通知变换跳过和/或调色板编码相关信息。另外，根据本文献的实施方式，可以按照在变换跳过和/或调色板编码期间使用的信息的依赖性和/或非依赖性有效地确定是否执行编码。另外，根据本文献的实施方式，通过定义用于有效解析对变换跳过和/或调色板编码相关高级语法元素有依赖性的语法元素的依赖性条件并且按照依赖性条件确定是否执行解析，可以进行高效编码。另外，根据本文献的实施方式，通过按照与变换跳过和/或调色板编码相关高级语法元素有关的依赖性条件确定是否执行解析，可以节省发送的比特。
21.可以通过本文献的详细示例获得的效果不限于以上列举的效果。例如，可以存在相关领域的普通技术人员能够从本文献中理解或导出的各种技术效果。因此，本文献的详细效果不限于在本文献中明确阐述的效果，而是可以包括可以从本文献的技术特征中理解或导出的各种效果。
附图说明
22.图1示意性例示了适用本文献的实施方式的视频/图像编码系统的示例。
23.图2是示意性例示了适用本文献的实施方式的视频/图像编码设备的配置的示图。
24.图3是示意性说明了适用本文献的实施方式的视频/图像解码设备的配置的示图。
25.图4例示了适用本文献的实施方式的示意性视频/图像编码方法的示例。
26.图5例示了适用本文献的实施方式的示意性视频/图像解码方法的示例。
27.图6示意性例示了适用本文献的实施方式的熵编码方法的示例，并且图7示意性例示了编码设备中的熵编码器。
28.图8示意性例示了适用本文献的实施方式的熵解码方法的示例，并且图9示意性例示了解码设备中的熵解码器。
29.图10和图11示意性例示了根据本文献的实施方式的视频/图像编码方法和相关部件的示例。
30.图12和图13示意性例示了根据本文献的实施方式的视频/图像解码方法和相关部
件的示例。
31.图14例示了适用本文献中公开的实施方式的内容流传输系统的示例。
具体实施方式
32.本公开可按各种形式修改，将描述并且在附图中图示其特定实施方式。然而，这些实施方式并非旨在限制本公开。以下描述中使用的术语仅用于描述特定实施方式，而非旨在限制本公开。单数表达包括复数表达，只要清楚地不同解读即可。诸如“包括”和“具有”这样的术语旨在指示存在以下描述中使用的特征、数量、步骤、操作、元件、部件或其组合，因此应该理解，不排除存在或添加一个或更多个不同的特征、数量、步骤、操作、元件、部件或其组合的可能性。
33.另外，本文献描述的附图的各个配置是为了说明作为彼此不同的特征的功能而独立的图示的，并不意指各个配置通过彼此不同的硬件或不同的软件被实现。例如，可以组合配置中的两个或更多个的配置以形成一个配置，并且也可以将一个配置划分为多个配置。在不脱离本文献的主旨的情况下，配置被组合和/或分离的实施方式被包括在权利要求的范围内。
34.在本文献中，术语“a或b”可以意指“仅a”、“仅b”或“a和b二者”。换句话说，在本文献中，术语“a或b”可以被解释为指示“a和/或b”。例如，在本文献中，术语“a、b或c”可以意指“仅a”、“仅b”、“仅c”或“a、b、c的任何组合”。
35.在本文献中使用的斜杠(/)或逗号可以意指“和/或”。例如，“a/b”可以意指“a和/或b”。因此，“a/b”可以意指“仅a”、“仅b”或“a和b二者”。例如，“a、b、c”可以意指“a、b或c”。
36.在本文献中，“a和b中的至少一个”可以意指“仅a”、“仅b”或“a和b二者”。另外，在本文献中，表述“a或b中的至少一者”或“a和/或b中的至少一者”可以被解释为与“a和b中的至少一者”相同。
37.另外，在本文献中，“a、b和c中的至少一者”可以意指“仅a”、“仅b”、“仅c”或“a、b和c的任何组合”。另外，“a、b或c中的至少一者”或“a、b和/或c中的至少一者”可以意指“a、b和c中的至少一者”。
38.另外，在本文献中使用的括号可以意指“例如”。具体地，在表达“预测(帧内预测)”的情况下，可以指示“帧内预测”被提议为“预测”的示例。换句话说，本文献中的术语“预测”不限于“帧内预测”，并且可以指示“帧内预测”被提议为“预测”的示例。另外，即使在表达“预测(即，帧内预测)”的情况下，也可以指示“帧内预测”被提议为“预测”的示例。
39.本文献涉及视频/图像编码。例如，本文献中公开的方法/实施方式可以应用于通用视频编码(vvc)标准中公开的方法。另外，本文献中公开的方法/实施方式可以应用于基本视频编码(evc)标准、aomedia video 1(av1)标准、第二代音频视频编码标准(avs2)或下一代视频/图像编码标准(例如，h.267或h.268等)中公开的方法。
40.本文献提议了视频/图像编码的各种实施方式，并且除非另外提到，否则以上实施方式也可以彼此组合地执行。
41.在本文献中，视频可以意指根据时间推移的一系列图像的集合。图片通常意指表示特定时间段中的一副图像的单元，并且切片/图块是编码时构成图片的一部分的单元。切片/图块可以包括一个或更多个编码树单元(ctu)。一个图片可以由一个或更多个切片/图
块组成。图块是图片中的特定图块列和特定图块行内的ctu的矩形区域。图块列是高度等于图片的高度并且宽度由图片参数集中的语法元素指定的ctu的矩形区域。图块行是宽度由图片参数集中的语法元素指定并且高度等于图片高度的ctu的矩形区域。图块扫描是以下的分割图片的ctu的特定顺序排序：ctu在图块中的ctu光栅扫描中被连续排序，而图片中的图块在图片的图块的光栅扫描中被连续排序。切片包括可以被排他性包含在单个nal单元中的图片的整数个完整图块或图块内的整数个连续的完整ctu行。
42.此外，一个图片可以被划分为两个或更多个子图片。子图片可以是图片内的一个或更多个切片的矩形区域。
43.像素或画素(pel)可意指构成一个图片(或图像)的最小单元。另外，“样本”可用作与像素对应的术语。样本通常可表示像素或像素值，并且可仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。或者，样本可以意指空间域中的像素值，或者当像素值被变换到频域中时可以意指频域中的变换系数。
44.单元可表示图像处理的基本单位。单元可包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可与诸如块或区域这样的术语互换使用。在一般情况下，m
×
n块可包括m列和n行的样本(或样本数组)或变换系数的集合(或数组)。
45.另外，在本文献中，量化/反量化和/或变换/逆变换中的至少一者可以被省略。当量化/反量化被省略时，量化变换系数可以被称为变换系数。当变换/逆变换被省略时，变换系数可以被称为系数或残差系数，或者为了表述一致性的缘故，可以仍被称为变换系数。
46.在本文献中，量化变换系数和变换系数可以分别被称为变换系数和缩放变换系数。在这种情况下，残差信息可以包括关于变换系数的信息，并可以通过残差编码语法发信号通知关于变换系数的信息。可以基于残差信息(或关于变换系数的信息)来推导变换系数，并且可以通过对变换系数的逆变换(缩放)来推导缩放变换系数。可以基于对缩放变换系数的逆变换(变换)来推导残差样本。这也可以在本文献的其它部分中应用/表达。
47.在本文献中，在一个附图中被单独说明的技术特征可以单独实现，或者可以同时实现。
48.下文中，参考附图更具体地描述本文献的优选实施方式。下文中，在附图中，相同的附图标记被用于相同的元件，并且可以省略对相同元件的冗余描述。
49.图1例示了可以应用本文献的实施方式的视频/图像编码系统的示例。
50.参照图1，视频/图像编码系统可以包括源装置和接收装置。源装置可以通过数字存储介质或网络以文件或流传输的形式将编码后的视频/图像信息或数据发送到接收装置。
51.源装置可包括视频源、编码设备和发送器。接收装置可包括接收器、解码设备和渲染器。编码设备可被称为视频/图像编码设备，解码设备可被称为视频/图像解码设备。发送器可被包括在编码设备中。接收器可被包括在解码设备中。渲染器可包括显示器，并且显示器可被配置为单独的装置或外部部件。
52.视频源可通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可包括视频/图像捕获装置和/或视频/图像生成装置。例如，视频/图像捕获装置可包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可
包括计算机、平板计算机和智能电话，并且可(以电子方式)生成视频/图像。例如，可通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可由生成相关数据的处理代替。
53.编码设备可对输入视频/图像进行编码。为了压缩和编码效率，编码设备可执行诸如预测、变换和量化这样的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。
54.发送器可通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流传输的形式发送至接收装置的接收器。数字存储介质可包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。发送器可包括用于通过预定文件格式生成媒体文件的元件，并且可包括用于通过广播/通信网络传输的元件。接收器可接收/提取比特流并且将所接收的比特流发送至解码设备。
55.解码设备可通过执行与编码设备的操作对应的诸如反量化、逆变换和预测这样的一系列过程对视频/图像进行解码。
56.渲染器可渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。
57.图2是示意性例示了可以应用本文献的实施方式的视频/图像编码设备的配置的示图。下文中，所谓的编码设备可以包括图像编码设备和/或视频编码设备。
58.参照图2，编码设备200可以包括并配置有图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250、滤波器260和存储器270。预测器220可包括帧间预测器221和帧内预测器222。残差处理器230可包括变换器232、量化器233、反量化器234和逆变换器235。残差处理器230还可包括减法器231。加法器250可被称为重构器或重构块生成器。根据实施方式，上面已经描述的图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可由一个或更多个硬件部件(例如，编码器芯片组或处理器)配置。另外，存储器270可包括解码图片缓冲器(dpb)，并且可由数字存储介质配置。硬件部件还可包括存储器270作为内部/外部部件。
59.图像分割器210可将输入到编码设备200的输入图像(或者图片或帧)分割成一个或更多个处理单元。例如，处理单元可被称为编码单元(cu)。在这种情况下，编码单元可根据四叉树二叉树三叉树(qtbttt)结构从编码树单元(ctu)或最大编码单元(lcu)递归地分割。例如，一个编码单元可基于四叉树结构、二叉树结构和/或三叉树结构被分割成深度更深的多个编码单元。在这种情况下，例如，可首先应用四叉树结构，稍后可应用二叉树结构和/或三叉树结构。另选地，可首先应用二叉树结构。可基于不再分割的最终编码单元来执行根据本公开的编码过程。在这种情况下，根据图像特性基于编码效率等，最大编码单元可用作最终编码单元，或者如果需要，编码单元可被递归地分割成深度更深的编码单元，使得具有最优尺寸的编码单元可用作最终编码单元。这里，编码过程可包括诸如预测、变换和重构这样的过程(将稍后描述)。作为另一示例，处理单元还可包括预测单元(pu)或变换单元(tu)。在这种情况下，预测单元和变换单元中的每一者可从上述最终编码单元拆分或分割。预测单元可以是样本预测的单元，并且变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
60.在一些情况下，单元可与诸如块或区域这样的术语互换使用。通常，m
×
n块可表示由m列和n行组成的样本或变换系数的集合。样本通常可表示像素或像素值，并且可仅表示
亮度分量的像素/像素值，也可以仅表示色度分量的像素/像素值。样本可用作与构成一个图片(或图像)的像素或像元对应的术语。
61.编码设备200可以通过从输入图像信号(原始块、原始样本数组)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本数组)来生成残差信号(残差块、残差样本数组)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所例示的，用于在编码器200内从输入图像信号(原始块、原始样本数组)中减去预测信号(预测块、预测样本数组)的单元可以被称为减法器231。预测器可以对待处理块(下文中，被称为当前块)执行预测并生成包括当前块的预测样本的预测块。预测器可以以当前块或cu为单位确定是应用帧内预测还是应用帧间预测。预测器可以生成诸如预测模式信息这样的各种关于预测的信息，以将所生成的信息传送到熵编码器240，如随后在描述每个预测模式时描述的。关于预测的信息可以被熵编码器240编码，从而以比特流的形式输出。
62.帧内预测器222可参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近，也可以远离当前块。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。例如，非定向模式可包括dc模式和平面模式。例如，根据预测方向的精细程度，定向模式可包括33个定向预测模式或65个定向预测模式。然而，这仅是示例，可根据设置使用更多或更少的定向预测模式。帧内预测器222可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
63.帧间预测器221可基于参考图片上运动矢量所指定的参考块(参考样本数组)来推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动矢量和参考图片索引。运动信息还可包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可相同，还可以彼此不同。时间邻近块可被称为并置参考块、并置cu(colcu)等，并且包括时间邻近块的参考图片还可被称为并置图片(colpic)。例如，帧间预测器221可基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动矢量和/或参考图片索引的信息。可基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，可不发送残差信号。运动矢量预测(mvp)模式可通过使用邻近块的运动矢量作为运动矢量预测器并且发信号通知运动矢量差来指示当前块的运动矢量。
64.预测器200可以基于随后将描述的各种预测方法来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来预测一个块，而且还可以同时应用帧内预测和帧间预测。这可以被称为组合的帧间和帧内预测(ciip)。另外，预测器可以基于块内复制(ibc)预测模式或调色板模式，以便对块执行预测。ibc预测模式或调色板模式可以用于诸如屏幕内容编码(scc)这样的游戏等的内容图像/视频编码。ibc基本上在当前图片中执行预测，但在推导当前图片中的参考块方面，其与帧间预测类似地执行。即，ibc可以使用本文献中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，可以基于关于调色板索引和调色板表的信息来发信号通知图片中的样本值。
65.通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或者用于生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(dct)、离散正弦变换(dst)、karhunen-lo
è
ve变换(klt)、基于图的变换(gbt)或有条件非线性变换(cnt)中的至少一种。这里，当像素之间的关系信息被例示为曲线图时，gbt意指从该曲线图获得的变换。cnt意指基于通过使用所有先前重构的像素生成的预测信号而获取的变换。另外，变换处理也可以被应用于正方形的尺寸相同的像素块，并也可以应用于不是正方形的尺寸可变的块。
66.量化器233可以对变换系数进行量化以将量化变换系数发送到熵编码器240，并且熵编码器240可以将量化信号(关于量化变换系数的信息)编码为编码量化信号并作为比特流输出。关于量化变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将具有块形式的量化变换系数重新布置成一维矢量形式，并还基于一维矢量形式的量化变换系数来生成关于量化变换系数的信息。熵编码器240可以执行例如诸如指数哥伦布(golomb)编码、上下文自适应可变长度编码(cavlc)和上下文自适应二进制算术编码(cabac)这样的各种编码方法。熵编码器240还可以一起或分别地对量化变换系数之外的视频/图像重构所必需的信息(例如，语法元素的值等)进行编码。编码后的信息(例如，编码后的视频/图像信息)可以以比特流的形式发送或以网络抽象层(nal)单元为单位存储。视频/图像信息还可以包括关于诸如适应参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频参数集(vps)这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。随后将在本文献中描述的被发信号通知/发送的信息和/或语法元素可以通过以上提到的编码过程被编码，从而被包括在比特流中。比特流可以通过网络发送或者被存储在数字存储介质中。这里，网络可以包括广播网络和/或通信网络等，并且数字存储介质可以包括诸如usb、sd、cd、dvd、蓝光、hdd和ssd这样的各种存储介质。用于发送从熵编码器240输出的信号的发送器(未例示)和/或用于存储信号的存储器(未例示)可以被配置为编码设备200的内部/外部元件，或者发送器也可以被包括在熵编码器240中。
67.从量化器233输出的量化变换系数可以用于生成预测信号。例如，反量化器234和逆变换器235向量化变换系数应用反量化和逆变换，使得可以重构残差信号(残差块或残差样本)。加法器250将重构残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加，使得可以生成重构信号(重构图片、重构块、重构样本数组)。如在应用跳过模式的情况下，如果待处理块不存在残差，则可以将预测块用作重构块。加法器250可以被称为重构器或重构块生成器。所生成的重构信号可以用于将在当前图片内处理的下一个块的帧内预测，并且如随后描述的，还用于通过滤波对下一个图片进行帧间预测。
68.此外，可以在图片编码和/或重构处理中应用具有色度缩放的亮度映射(lmcs)。
69.滤波器260可以向重构信号应用滤波从而改善主观/客观图像质量。例如，滤波器260可以向重构图片应用各种滤波方法以生成修改后的重构图片，并将修改后的重构图片存储在存储器270中，具体地，存储在存储器270的dpb中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成与滤波相关的各种信息，以将所生成的信息传送到熵编码器240，如随后在每种滤波方法的描述中描述的。与滤波相关的信息可以由熵编码器240编码并以比特流的形式被输出。
70.发送到存储器270的修改后的重构图片可以被用作帧间预测器221中的参考图片。
如果通过帧间预测器应用帧间预测，则可以避免编码设备200与解码设备之间的预测失配，并且可以提高编码效率。
71.存储器270的dpb可以存储修改后的重构图片，以用作帧间预测器221中的参考图片。存储器270可以存储从其推导出(或编码)当前图片内的运动信息的块的运动信息和/或先前重构的图片内的块的运动信息。所存储的运动信息可以被传送到帧间预测器221，以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本，并可以将重构样本传送到帧内预测器222。
72.图3是示意性说明了适用本文献的视频/图像解码设备的配置的示图。下文中，所谓的解码设备可以包括图像解码设备和/或视频解码设备。
73.参照图3，解码设备300可包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可包括帧间预测器332和帧内预测器331。残差处理器320可包括反量化器321和逆变换器322。根据实施方式，以上已描述的熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可由硬件部件(例如，解码器芯片组或处理器)配置。另外，存储器360可包括解码图片缓冲器(dpb)或者可由数字存储介质配置。硬件部件还可包括存储器360作为内部/外部部件。
74.当输入包括视频/图像信息的比特流时，解码设备300可响应于在图2中例示的编码设备中处理视频/图像信息的处理来重构图像。例如，解码设备300可基于从比特流获得的块分割相关信息来推导单元/块。解码设备300可使用应用于编码设备的处理单元来执行解码。因此，例如，解码的处理单元可以是编码单元，并且编码单元可根据四叉树结构、二叉树结构和/或三叉树结构从编码树单元或最大编码单元分割。可从编码单元推导一个或更多个变换单元。另外，通过解码设备300解码和输出的重构图像信号可通过再现设备再现。
75.解码设备300可以以比特流的形式接收从图2中例示的编码设备输出的信号，并且可以通过熵解码器310对接收到的信号进行解码。例如，熵解码器310可以通过对比特流进行解析来推导图像重构(或图片重构)所必需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(aps)、图片参数集(pps)、序列参数集(sps)和视频参数集(vps)这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。解码设备可以进一步基于关于参数集的信息和/或常规约束信息对图片进行解码。随后将在本文献中描述的被发信号通知/接收的信息和/或语法元素可以通过解码过程被解码并从比特流获取。例如，熵解码器310可以基于诸如指数哥伦布编码、cavlc或cabac这样的编码方法对比特流内的信息进行解码，并输出图像重构所必需的语法元素的值和残差相关变换系数的量化值。更具体地，cabac熵解码方法可以从比特流接收与每个语法元素对应的bin，使用待解码的语法元素信息以及邻近块和待解码块的解码信息或在前一级中解码的符号/bin的信息来确定上下文模型，并通过根据所确定的上下文模型预测bin生成概率以执行bin的算术解码来生成与每个语法元素的值对应的符号。此时，cabac熵解码方法可以确定上下文模型，然后使用针对下一个符号/bin的上下文模型的解码符号/bin的信息来更新上下文模型。由熵解码器310解码的信息当中的关于预测的信息可以被提供到预测器(帧间预测器332和帧内预测器331)，并且由熵解码器310执行熵解码的残差值(即，量化变换系数和相关的参数信息)可以被输入到残差处理器320。残差处理器320可以推导出残差信号(残差块、残差样本、残差样本数组)。另外，由熵解码器310解码的信息当中的关于滤波的信息可
以被提供到滤波器350。此外，用于接收从编码设备输出的信号的接收器(未例示)可以进一步被配置为解码设备300的内部/外部元件，或者接收器也可以是熵解码器310的部件。此外，根据本文献的解码设备可以被称为视频/图像/图片解码设备，并且解码设备也可以被分为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括反量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
76.反量化器321可将量化后的变换系数反量化以输出变换系数。反量化器321可按二维块形式重排量化后的变换系数。在这种情况下，可基于由编码设备执行的系数扫描顺序来执行重排。反量化器321可使用量化参数(例如，量化步长信息)对量化后的变换系数执行反量化并且获得变换系数。
77.逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本数组)。
78.预测器330可执行当前块的预测并生成包括当前块的预测样本的预测块。预测器可基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且可确定特定帧内/帧间预测模式。
79.预测器可以基于随后将描述的各种预测方法来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来预测一个块，而且同时应用帧内预测和帧间预测。这可以被称为组合的帧间和帧内预测(ciip)。另外，预测器可以基于块内复制(ibc)预测模式或调色板模式，以便对块执行预测。ibc预测模式或调色板模式可以用于诸如屏幕内容编码(scc)这样的游戏等的内容图像/视频编码。ibc基本上在当前图片中执行预测，但在推导当前图片中的参考块方面，其与帧间预测类似地执行。即，ibc可以使用本文献中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，关于调色板表和调色板索引的信息可以被包括在视频/图像信息中并被发信号通知。
80.帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可以位于当前块的邻居中，或者其位置可以与当前块分开。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。帧内预测器331还可以通过使用应用于邻近块的预测模式来确定将应用于当前块的预测模式。
81.帧间预测器332可以基于参考图片上的运动矢量所指定的参考块(参考样本数组)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括关于帧间预测方向(l0预测、l1预测、bi预测等)的信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。例如，帧间预测器332可以基于邻近块来构造运动信息候选列表，并基于接收到的候选选择信息来推导当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。
82.加法器340可以将所获得的残差信号与从预测器330(包括帧内预测器331和帧间预测器332)输出的预测信号(预测块或预测样本数组)相加以生成重构信号(重构图片、重构块或重构样本数组)。如在应用跳变模式的情况下，如果不存在待处理块的残差，则预测
块可以用作重构块。
83.加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于在当前图片中将处理的下一个块的帧内预测，并且如随后描述的，还可以通过滤波来输出或者还可以用于下一个图片的帧间预测。
84.此外，具有色度缩放的亮度映射(lmcs)还可以被应用于图片解码处理。
85.滤波器350可以通过向重构信号应用滤波来改善主观/客观图像质量。例如，滤波器350可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并将修改后的重构图片存储在存储器360中，具体地，存储在存储器360的dpb中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
86.存储在存储器360的dpb中的(修改后的)重构图片可以被用作帧间预测器332中的参考图片。存储器360可以存储从其推导出(或解码出)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测器332，以便被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本，并将重构样本传送到帧内预测器331。
87.在本文献中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的示例性实施方式可以分别同等地或对应地应用于解码设备300的滤波器350、帧间预测器332和帧内预测器331。
88.此外，如上所述，在执行视频编码时，执行预测以增强压缩效率。据此，可生成包括作为待编码的当前块(即，目标编码块)的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。预测块在编码设备和解码设备中相同地推导，并且编码设备可向解码设备发信号通知关于原始块与预测块之间的残差(而非原始块的原始样本值本身)的信息(残差信息)从而增强图像编码效率。解码设备可基于残差信息来推导包括残差样本的残差块，可将残差块和预测块相加以生成包括重构样本的重构块，并且可生成包括重构块的重构图片。
89.残差信息可通过变换过程和量化过程来生成。例如，编码设备可推导原始块与预测块之间的残差块，可对包括在残差块中的残差样本(残差样本数组)执行变换过程以推导变换系数，可对变换系数执行量化过程以推导量化后的变换系数，并且可将相关残差信息(通过比特流)用信号通知给解码设备。在这种情况下，残差信息可包括量化后的变换系数、位置信息、变换方案、变换核和量化参数等的值信息。解码设备可基于残差信息来执行反量化/逆变换过程并且可推导残差样本(或残差块)。解码设备可基于预测块和残差块来生成重构图片。此外，为了后续图片的帧间预测参考，编码设备还可对量化后的变换系数进行反量化/逆变换以推导残差块，并且可基于此来生成重构图片。
90.准备以下附图来说明本文献的详细示例。由于示例性提出了附图中描述的详细装置的名称或详细术语或名称(例如，语法的名称)，因此本文献的技术特征不限于附图中使用的详细名称。
91.图4例示了适用本文献的实施方式的示意性视频/图像编码方法的示例。
92.图4中公开的方法可以由如上所述图2的编码设备200执行。具体地，s400可以由编码设备200的帧间预测器221或帧内预测器222执行，并且s410、s420、s430和s440可以分别由编码设备200的减法器231、变换器232、量化器233和熵编码器240执行。
93.参照图4，编码设备可以通过对当前块的预测来推导预测样本(s400)。编码设备可以确定针对当前块是执行帧间预测还是帧内预测，并可以基于rd成本来确定具体帧间预测模式或具体帧内预测模式。按照所确定的模式，编码设备可以推导出当前块的预测样本。
94.编码设备可以通过将预测样本与当前块的原始样本进行比较来推导残差样本(s410)。
95.编码设备可以通过对残差样本的变换处理来推导变换系数(s420)，并可以通过对推导出的变换系数进行量化来推导量化变换系数(s430)。
96.可以基于量化参数来执行量化。可以省略变换处理和/或量化处理。在省略变换处理的情况下，可以按照随后将描述的残差编码技术对残差样本的(量化)(残差)系数进行编码。为了术语的统一性，甚至(量化)(残差)系数也可以被称为(量化)变换系数。
97.编码设备可以对包括预测信息和残差信息的图像信息进行编码，并可以将编码后的图像信息以比特流的形式输出(s440)。预测信息可以是与预测处理相关的信息，并可以包括关于预测模式信息和运动信息的信息(例如，在应用帧间预测的情况下)。残差信息可以包括关于量化变换系数的信息。残差信息可以被熵编码。另选地，残差信息可以包括关于(量化)(残差)系数的信息。
98.输出的比特流可以通过存储介质或网络被传送到解码设备。
99.图5例示了适用本文献的实施方式的示意性视频/图像解码过程的示例。
100.图5中公开的方法可以由如上所述图3的解码设备300执行。具体地，s500可以由解码设备300的帧间预测器332或帧内预测器331执行。在s500中，通过解码比特流中所包括的预测信息来推导相关语法元素的值的处理可以由解码设备300的熵解码器310来执行。s510、s520、s530和s540可以分别由解码设备300的熵解码器310、反量化器321、逆变换器322和加法器340来执行。
101.参照图5，解码设备可以执行与由编码设备执行的操作对应的操作。解码设备可以基于接收到的预测信息针对当前块执行帧间预测或帧内预测，并可以推导预测样本(s500)。
102.解码设备可以基于接收到的残差信息来推导当前块的量化变换系数(s510)。解码设备可以通过熵解码从残差信息推导量化变换系数。
103.解码设备可以通过对量化变换系数的反量化来推导变换系数(s520)。可以基于量化参数来执行反量化。
104.解码设备可以通过对变换系数的反量化处理来推导残差样本(s530)。
105.可以省略逆变换处理和/或反量化处理。在省略逆变换处理的情况下，可以从残差信息推导(量化)(残差)系数，并且可以基于(量化)(残差)系数来推导残差样本。
106.解码设备可以基于预测样本和残差样本来生成当前块的重构样本，并且基于此，可以生成重构图片(s540)。此后，还可以向如上所述的重构图片应用环路滤波处理。
107.此外，如上所述，编码设备可以执行基于例如诸如指数哥伦布、上下文自适应可变长度编码(cavlc)和上下文自适应二进制算术编码(cabac)这样的各种编码方法来执行熵编码。另外，解码设备可以基于诸如指数哥伦布编码、cavlc或cabac这样的编码方法来执行熵解码。下文中，将描述熵编码/解码处理。
108.图6示意性例示了适用本文献的实施方式的熵编码方法的示例，并且图7示意性例
示了编码设备中的熵编码器。图7的编码设备中的熵编码器可以同等地或甚至对应地应用于如上所述图2的编码设备200的熵编码器240。
109.参照图6和图7，编码设备(熵编码器)可以对图像/视频信息执行熵编码处理。图像/视频信息可以包括分区相关信息、预测相关信息(例如，帧间/帧内预测分类信息、帧内预测模式信息、帧间预测模式信息等)、残差信息和环路滤波相关信息，并还可以包括其各种语法元素。熵编码可以以语法元素为单元执行。s600至s610可以由如上所述图2的编码设备200的熵编码器240执行。
110.编码设备可以对目标语法元素执行二进制化(s600)。这里，二进制化可以基于诸如截断莱斯二进制化处理或固定长度二进制化处理这样的各种二进制化方法，并且用于目标语法元素的二进制化方法可以是预定义的。二进制化处理可以由熵编码器240中的二进制化器242执行。
111.编码设备可以对目标语法元素执行熵编码(s610)。编码设备可以基于诸如上下文自适应算术编码(cabac)或上下文自适应可变长度编码(cavlc)这样的熵编码技术来执行目标语法元素的bin串的基于正常编码(基于上下文)或基于旁路编码的编码，并且其输出可以被包括在比特流中。熵编码处理可以由熵编码器240中的熵编码处理器243执行。比特流可以通过如上所述的(数字)存储介质或网络被传送到解码设备。
112.图8示意性例示了适用本文献的实施方式的熵解码方法的示例，并且图9示意性例示了解码设备中的熵解码器。图9的解码设备中的熵解码器可以同等地或甚至对应地应用于如上所述图3的解码设备300的熵解码器310。
113.参照图8和图9，解码设备(熵解码器)可以对编码后的图像/视频信息进行解码。图像/视频信息可以包括分区相关信息、预测相关信息(例如，帧间/帧内预测分类信息、帧内预测模式信息、帧间预测模式信息等)、残差信息和环路滤波相关信息，并还可以包括其各种语法元素。熵编码可以以语法元素为单位执行。s800至s810可以由如上所述图3的解码设备300的熵解码器310执行。
114.解码设备可以对目标语法元素执行二进制化(s800)。这里，二进制化可以是基于诸如截断莱斯二进制化处理或固定长度二进制化处理这样的各种二进制化方法的，并且用于目标语法元素的二进制化方法可以是预定义的。解码设备可以通过二进制化处理推导目标语法元素的启用值的启用bin串(bin串候选)。二进制化处理可以由熵解码器310中的二进制化器312执行。
115.解码设备可以对目标语法元素执行熵解码(s810)。解码设备在从比特流中的输入比特依次解码和解析目标语法元素的各个bin的同时，将推导出的bin串与相应语法元素的启用bin串进行比较。如果推导出的bin串等于启用bin串中的一个，则与相应bin串对应的值可以被推导为相应语法元素的值。如若不然，则可以在进一步解析比特流中的下一个比特之后再次执行上述处理。通过这样的处理，可以使用可变长度比特来发信号通知相应信息，甚至无需使用比特流中特定信息(特定语法元素)的起始比特或结束比特。通过这样，可以针对低值分配数目相对较少的比特，因此整体编码效率可以增强。
116.解码设备可以基于诸如cabac或cavlc这样的熵编码技术来执行来自比特流的bin串中的相应bin的基于上下文或基于旁路的解码。这里，比特流可以包括如上所述的用于图像/视频解码的各种信息。比特流可以通过如上所述的(数字)存储介质或网络被传送到解
码设备。
117.在本文献中，为了表示从编码设备到解码设备的信息的信令，可以使用包括语法元素的表(语法表)。本文献中使用的语法表中的语法元素的顺序可以表示来自比特流的语法元素的解析顺序。编码设备可以配置和编码语法表，使得解码设备可以按解析顺序解析语法元素，并且解码设备可以通过按解析顺序从比特流解析和解码相应语法表中的语法元素来获得语法元素的值。
118.此外，如上所述，可以通过变换和量化处理将残差样本推导为量化变换系数。量化变换系数可以被称为变换系数。在这种情况下，块中的变换系数可以以残差信息的形式被发信号通知。残差信息可以包括残差编码语法。即，编码设备可以用残差信息配置残差编码语法，并可以对所配置的残差编码语法进行编码，从而以比特流的形式输出编码后的残差编码语法。解码设备可以通过从比特流解码残差编码语法来推导残差(量化)变换系数。如下所述，残差编码语法可以包括表示是否已向相应块应用变换、块中最后的有效变换系数的位置在哪里、子块中是否存在有效变换系数、以及有效变换系数的尺寸/符号是什么的语法元素。
119.例如，可以基于残差信息中所包括的诸如last_sig_coeff_x_prefix、last_sig_coeff_y_prefix、last_sig_coeff_x_suffix、last_sig_coeff_y_suffix、coded_sub_block_flag、sig_coeff_flag、par_level_flag、abs_level_gtx_flag、abs_remainder、coeff_sign_flag、dec_abs_level这样的语法元素对(量化)变换系数进行编码和/或解码。这可以被称为残差(数据)编码或(变换)系数编码。在这种情况下，可以省略变换/量化处理。在这种情况下，可以按照所确定的方法对残差样本的值进行编码和发信号通知。与残差数据编码/解码相关的语法元素可以如下表1中那样表示。
120.[表1]
[0121]
[0122]
[0123]
[0124][0125]
参照表1，last_sig_coeff_x_prefix、last_sig_coeff_y_prefix、last_sig_coeff_x_suffix和last_sig_coeff_y_suffix是用于对关联块中的非0的最后一个系数的(x,y)位置信息进行编码的语法元素。关联块可以是编码块(cb)或变换块(tb)。对于变换(和量化)和残差编码处理，cb和tb可以可互换地使用。例如，可以针对cb推导残差样本，并且可以通过针对如上所述的残差样本的变换和量化来推导(量化)变换系数，并且可以通过残差编码处理生成和发信号通知高效地表示(量化)变换系数(的位置、尺寸和符号)的信息(或语法元素)。量化变换系数可以被简称为变换系数。通常，如果cb不大于最大tb，则cb的尺寸可以等于tb的尺寸，并且在这种情况下，被变换(和量化)和残差编码的目标块可以被称为cb或tb。另外，如果cb大于最大tb，则被变换(和量化)和残差编码的目标块可以被称为tb。下文中，尽管说明以变换块(tb)为单位发信号通知与残差编码相关的语法元素，但这是示例性的，并且tb可以与如上所述的编码块(cb)可互换地使用。
[0126]
此外，根据是否对残差编码应用变换跳过，可以应用不同的残差编码方法。作为实施方式，可以使用变换跳过标志语法元素来表示是否应用变换跳过，并且可以按照变换跳过标志的语法元素transform_skip_flag的值对残差编码进行分支。即，基于变换跳过标志的值(基于是否应用变换跳过)，可以针对残差编码使用不同的语法元素。在未应用变换跳过的情况下(即，在应用变换的情况下)使用的残差编码可以被称为常规残差编码(rrc)，并且在应用变换跳过的情况下(即，在未应用变换的情况下)的残差编码可以被称为变换跳过残差编码(tsrc)。
[0127]
下表2表示基于变换跳过标志的语法元素来分支的残差编码的处理。
[0128]
[表2]
[0129][0130]
参照上表2，在未应用变换跳过的情况下(例如，在transform_skip_flag的值为0的情况下)，执行常规残差编码，并且这可以基于上述表1中公开的语法元素来执行。另外，在应用变换跳过的情况下(例如，在transform_skip_flag的值为1的情况下)，执行变换跳过残差编码，并且这可以基于下表3中公开的语法元素来执行。
[0131]
下表3表示变换跳过残差编码的语法元素。
[0132]
[表3]
[0133]
[0134][0135]
例如，可以解析指示是否执行变换块的变换跳过的变换跳过标志，并且可以确定变换跳过标志是否为1。在变换跳过标志的值为1的情况下，如表3中所示，可以解析针对变换块的残差系数的语法元素sig_coeff_flag、coeff_sign_flag、abs_level_gtx_flag、par_level_flag和/或abs_remainder，并且可以基于语法元素来推导残差系数。在这种情况下，语法元素可以被依次解析，并且解析顺序可以改变。这里，abs_level_gtx_flag可以表示abs_level_gt1_flag、abs_level_gt3_flag、abs_level_gt5_flag、abs_level_gt7_flag和/或abs_level_gt9_flag。例如，abs_level_gtx_flag[n][j]可以是表示在扫描位置n处变换系数级别的绝对值(或通过将变换系数级别向右移1位而获得的值)是否大于(j《《1) 1的标志。在某些情况下，(j《《1) 1可以被诸如第一阈值或第二阈值这样的特定阈值替换。
[0136]
另外，在变换跳过标志的值为0的情况下，如表1中所示，可以解析针对变换块的残差系数的语法元素sig_coeff_flag、abs_level_gtx_flag、par_level_flag、abs_remainder、dec_abs_level和coeff_sign_flag，并且可以基于语法元素来推导残差系数。在这种情况下，语法元素可以被依次解析，并且解析顺序可以改变。这里，abs_level_gtx_
flag可以表示abs_level_gt1_flag和/或abs_level_gt3_flag。
[0137]
此外，如上所述，编码设备可以通过帧内/帧间/ibc/调色板预测基于预测块(预测样本)来推导残差块(残差样本)，并可以通过针对推导出的残差样本应用变换和量化来推导量化变换系数。关于量化变换系数的信息(残差信息)可以被包括在残差编码语法中，并可以在编码之后以比特流的形式输出。解码设备可以从比特流获得关于量化变换系数的信息(残差信息)，并可以通过对所获得的信息进行解码来推导量化变换系数。解码设备可以通过基于量化变换系数的反量化/逆变换来推导残差样本。如上所述，可以省略量化/反量化和/或变换/逆变换中的至少一者。在省略变换/逆变换的情况下，变换系数可以被称为系数或残差系数，或者为了表达的统一性，可以仍被称为变换系数。可以基于transform_skip_flag来发信号通知是否省略变换/逆变换。例如，如果transform_skip_flag的值为1，则它可以表示变换/逆变换被省略，并且这可以被称为变换跳过模式。
[0138]
通常，在视频/图像编码中，可以改变量化率，并且可以使用改变后的量化率来调整压缩率。从实现方式的角度来看，考虑到复杂度，可以使用量化参数(qp)而不是直接使用量化率。例如，可以使用范围为0至63的整数值的量化参数，并且量化参数的每个值可以对应于实际量化率。另外，例如，可以不同地配置亮度分量(亮度样本)的量化参数qpy和色度分量(色度样本)的量化参数qpc。
[0139]
在量化处理中，可以通过将输入变换系数c除以量化率q
step
来获得量化变换系数c’。在这种情况下，考虑到计算复杂度，可以通过将量化率乘以标度来得到整数形式的量化率，并且可以与对应于标度值的值一样多地执行移位操作。可以基于量化率与标度值的乘积来推导量化标度。即，可以根据qp来推导量化标度。例如，可以向变换系数c应用量化标度，并且基于此，可以推导出量化变换系数c’。
[0140]
反量化处理与量化处理相反，并且量化变换系数c’可以与量化率q
step
相乘，并且基于此，可以获得重构变换系数c”。在这种情况下，可以根据量化参数来推导水平标度，并且可以向量化变换系数c’应用水平标度，并且基于此，可以推导出重构变换系数c”。由于变换和/或量化处理中的损失，重构变换系数c”与初始变换系数c略有不同。因此，编码设备甚至以与解码设备中相同的方式执行反量化。
[0141]
另外，在执行预测时，它可以是基于调色板编码的。调色板编码是用于表示包括少量唯一颜色值的块的有用技术。作为向块应用预测和变换的替代，在调色板模式中，发信号通知索引来表示每个样本的值。调色板模式对于节省视频存储器缓冲区空间是有用的。可以使用调色板模式(例如，mode_plt)来对块进行编码。为了如上所述对编码块进行解码，解码器应该对调色板条目和索引进行解码。调色板条目可以由调色板表来表示，并可以由调色板表编码工具来编码。
[0142]
调色板编码可以被称为(帧内)调色板模式或(帧内)调色板编码模式。可以根据调色板编码或调色板模式来重构当前块。调色板编码可以被视为帧内编码的示例，或者可以被视为帧内预测方法之一。然而，以与上述跳过模式类似的方式，可以不发信号通知相应块的单独残差值。
[0143]
例如，在选择了调色板模式的情况下，可以发信号通知关于调色板表的信息。调色板表可以包括对应于每个像素的索引。调色板表可以从先前块中使用的像素值配置调色板预测表。例如，先前使用的像素值可以被存储在特定缓冲区(调色板预测器)中，并且可以从
缓冲区接收用于配置当前调色板的调色板预测器信息palette_predictor_run。即，调色板预测器可以包括表示用于当前块的调色板索引图的至少一部分的索引的数据。在用于表示当前块的调色板条目对于从调色板预测器配置的调色板预测条目来说不够的情况下，可以单独发送关于当前调色板条目的像素信息。
[0144]
调色板模式可以被在cu级发信号通知，并通常可以在cu中的大多数像素可以被表示为一组代表性像素值的情况下使用。即，在调色板模式中，cu中的样本可以被表示为一组代表性像素值。这种集合可以被称为调色板。在样本具有接近调色板中的像素值的值的情况下，可以发信号通知调色板中对应于像素值的调色板索引palette_idx_idc或能够指示该索引的信息(run_copy_flag、copy_above_palette_indices_flag)。在样本具有不包括调色板条目的像素值的情况下，样本可以被指示为转义符号，并且可以直接发信号通知量化样本值。在本文献中，像素或像素值可以被称为样本或样本值。
[0145]
为了对以调色板模式编码的块进行解码，解码器需要调色板条目信息和调色板索引信息。在调色板索引对应于转义符号的情况下，(量化)转义值可以被作为附加分量发信号通知。另外，编码器应该针对相应cu推导适当的调色板，并将调色板传送到解码器。
[0146]
为了调色板条目的高效编码，可以保持调色板预测器。可以通过sps发信号通知调色板预测器和调色板的最大尺寸。另外，调色板预测器和调色板的最大尺寸可以是预定义的。例如，调色板预测器和调色板的最大尺寸可以根据当前块是单树还是双树而被分别定义为31和15。在vvc标准中，可以发送表示调色板模式是否被启用的sps_palette_enabled_flag。然后，可以发送表示当前编码单元是否被以调色板模式编码的pred_mode_plt_coding标志。调色板预测器可以在每个砖块或每个切片的开始处被初始化。
[0147]
针对调色板预测器中的每个条目，可以发信号通知重用标志，并可以表示该条目是否是当前调色板的一部分。可以使用0的游程编码来发送重用标志。此后，可以使用零阶指数哥伦布编码来发信号通知新调色板条目的数目。最后，可以发信号通知新调色板条目的分量值。在对当前cu进行编码之后，可以使用当前调色板来更新调色板预测器，并且未在当前调色板中重用的先前调色板预测器的条目可以被添加到新调色板预测器的末尾(调色板填充)，直到它达到可允许的最大尺寸。
[0148]
为了对调色板索引图进行编码，可以使用水平和垂直遍历扫描对索引进行编码。可以使用标志信息(例如，palette_transpose_flag)从比特流显式地发信号通知扫描顺序。
[0149]
此外，可以使用两种调色板样本模式对调色板索引进行编码，并且例如，可以使用“index”模式和“copy_above”模式。可以使用表示该调色板模式是“index”模式还是“copy_above”模式的标志来发信号通知这种调色板模式。在这种情况下，可以在“index”模式中发信号通知转义符号，并且可以分配尺寸与当前调色板尺寸相同的索引。例如，如果假定当前调色板的尺寸为10，则0至9号索引可以意指调色板中的条目索引，并且10号索引可以意指转义符号的索引。在使用水平扫描的情况下，除了顶行之外可以发信号通知该标志，并且在使用垂直扫描或者在先前模式是“copy_above”模式的情况下，除了第一列之外可以发信号通知该标志。在“copy_above”模式下，可以复制顶行中样本的调色板索引。在“index”模式下，可以显式地发信号通知调色板索引。在“index”模式和“copy_above”模式二者下，可以发信号通知表示使用相同模式编码的接下来的样本的数目的运行值。在转义符号是“index”模式或“copy_above”模式下运行的一部分的情况下，可以针对每个转义符号来发
信号通知转义分量值。
[0150]
调色板索引的编码可以如下。首先，可以发信号通知cu的索引的数目。接下来，可以使用固定长度编码来发信号通知整个cu的实际索引。索引的数目和索引可以以旁路模式编码。据此，索引相关的旁路bin可以被分组在一起。接下来，调色板样本模式copy_above_palette_indices_flag和运行可以以交错方式发信号通知。最后，与整个cu的转义样本对应的分量转义值可以被分组在一起，并可以以旁路模式被编码。
[0151]
下表4表示包括与用于编码单元的基于调色板模式的编码相关的语法元素的语法结构的示例，并且下表5表示表4的语法中所包括的语法元素的语义。
[0152]
[表4]
[0153]
[0154]
[0155][0156]
[表5]
[0157]
[0158]
[0159]
[0160]
[0161][0162]
参照以上表4和表5，在对当前块(即，当前编码单元)应用调色板模式的情况下，可以解析/发信号通知如上表4中的调色板编码语法(例如，palette_coding())。
[0163]
例如，可以基于调色板条目信息来配置调色板表。调色板条目信息可以包括诸如palette_predictor_run、num_signalled_palette_entries和new_palette_entries这样的语法元素。
[0164]
另外，可以基于调色板索引信息来配置针对当前块的调色板索引图。调色板索引信息可以包括诸如num_palette_indices_minus1、palette_idx_idc和palette_transpose_flag这样的语法元素。基于如上所述的调色板索引信息，可以通过在按照遍历扫描方向(垂直方向或水平方向)循环的同时推导当前块中的样本的调色板索引(例如，paletteindexidc)来配置调色板索引图(例如，paletteindexmap)。
[0165]
另外，基于调色板索引图，可以推导调色板表中的调色板条目的样本值，并且可以基于映射到调色板条目上的样本值来生成当前块的重构样本。
[0166]
另外，在当前块中存在具有转义值的样本的情况下(即，在palette_escape_val_present_flag的值为1的情况下)，可以基于转义信息来推导当前块的转义值。转义信息可以包括诸如palette_escape_val_present_flag和palette_escape_val这样的语法元素。例如，基于量化后的转义值信息(例如，palette_escape_val)，可以推导当前块中的转义编码样本的转义值。可以基于转义值来生成当前块的重构样本。
[0167]
此外，在编码/解码处理中，可以使用块差分脉冲编码调制或基于块的增量脉冲编码调制(bdpcm)技术。bdpcm可以被命名为基于量化残差块的增量脉冲编码调制(rdpcm)。
[0168]
在通过应用bdpcm来预测块的情况下，可以利用重构样本以便逐行地预测块的行或列。在这种情况下，所使用的参考样本可以是未经滤波的样本。bdpcm方向可以表示是使用了垂直方向预测还是水平方向预测。即，在应用bdpcm的情况下，垂直方向或水平方向可以被选择为bdpcm方向，并且可以在bdpcm方向上执行预测。可以在空间域中量化预测误差，并且可以通过向预测(即，预测样本)添加反量化后的预测误差来重构样本。预测误差可能意指残差。量化残差域bdpcm可以被提议为bdpcm的替代物，并且预测方向或信令可以等于应用于空间域的bdpcm。即，在量化系数本身通过量化残差域bdpcm如同增量脉冲编码调制(dpcm)一样被建立之后，可以通过反量化来重构残差。因此，量化残差域bdpcm可以用作残差编码端应用dpcm的含义。下文中使用的量化残差域是通过在不进行变换的情况下对基于预测推导出的残差进行量化来获得的，并意指用于量化残差样本的域。例如，量化残差域可以包括被应用变换跳过即针对残差样本跳过变换但对其应用量化的量化残差(或量化残差系数)。另外，例如，量化残差域可以包括量化变换系数。
[0169]
如上所述，bdpcm可以应用于量化残差域，量化残差域可以包括量化残差(或量化残差系数)，并且在这种情况下，可以针对残差应用变换跳过。即，在应用bdpcm的情况下，可以跳过变换，并且可以针对残差样本应用量化。另外，量化残差域可以包括量化变换系数。可以在序列级(sps)发信号通知表示bdpcm是否适用的标志，并且可以仅在被发信号通知在sps处变换跳过模式可能的情况下才发信号通知该标志。该标志可以被称为bdpcm启用标志或sps bdpcm启用标志。
[0170]
在应用bdpcm的情况下，可以根据与帧内预测方向类似的预测方向(例如，垂直预测或水平预测)通过样本复制来针对整个块执行帧内预测。可以通过跳过变换来量化作为原始块与预测块之间的差值的残差，并且可以对增量值即量化残差与预测器在水平或垂直方向上的差值(即，在水平或垂直方向上的量化残差)进行编码。
[0171]
如果bdpcm适用，则cu尺寸可以等于或小于亮度样本的maxtssize(最大变换跳过块尺寸)，并且在通过帧内预测对cu进行编码的情况下，可以在cu级发送标志信息。标志信息可以被称为bdpcm标志。这里，maxtssize可以意味着允许的变换跳过模式的最大块尺寸。标志信息可以指示是应用典型帧内编码还是应用bdpcm。如果应用了bdpcm，则可以发送指示预测方向是水平方向还是垂直方向的bdpcm预测方向标志。bdpcm预测方向标志可以被称为bdpcm方向标志。此后，可以通过使用未滤波参考样本的典型水平或垂直帧内预测处理来预测块。另外，可以量化残差，并且可以对量化残差和预测器之间(例如，根据bdpcm预测方向在水平或垂直方向上的周围位置的已经量化的残差之间)的差值进行编码。
[0172]
此外，如上所述，本文献中公开的语法表中的信息(语法元素)可以被包括在图像/视频信息中，并可以由编码设备配置/编码，以便以比特流的形式传送到解码设备。解码设备可以解析/解码相应语法表中的信息(语法元素)。解码设备可以基于解码信息对当前块执行解码处理(预测、(基于变换跳过的)残差处理、bdpcm和调色板编码)。
[0173]
下文中，在本文献中，提出了用于解析/发信号通知对变换跳过相关高级语法元素和/或调色板编码相关高级语法元素有依赖性的语法元素的有效方案。即，根据本文献的实施方式，在视频/图像编码期间，可以按照在执行变换跳过和/或调色板编码时使用的绝对必要或辅助的信息的依赖性和非依赖性对是否执行编码进行分类，因此可以执行高效编码。
[0174]
在视频编码中，编码工具的切换可以在特定的高级语法(hls)中定义。在相关技术中的vvc的情况下，可以在sps中定义关于相应编码工具的标志信息。另外，在vvc中，标准化一直在朝着各个高级语法集(例如，视频参数集(vps)、序列参数集(sps)、图片参数集(pps)、自适应参数集(aps)、解码参数集(dps)和切片头)之间的独立性的方向发展。因此，在存在编码工具的标志的高级语法集中，存在具有依赖性的多个语法元素。在本文献的实施方式中，提出了用于按照变换跳过和/或调色板编码来解析/发信号通知具有依赖性的高级语法元素的方法。
[0175]
作为实施方式，本文献提出了用于通过使得对变换跳过相关高级语法元素有依赖性的语法元素能够根据依赖性条件确定是否执行解析/发信号通知来节省发送的比特的方法。作为示例，提出了用于解析具有依赖于变换跳过(启用)标志是否使用变换跳过的依赖性的高级语法元素的方法。
[0176]
例如，作为依赖于基于变换跳过的编码的语法元素，存在变换跳过(启用)标志(例如，sps_transform_skip_enabled_flag)、用于变换跳过的最小量化参数信息(例如，min_qp_prime_ts_minus4)以及关于是否应用bdpcm的信息(例如，sps_bdpcm_enabled_flag)。作为示例，如果变换跳过(启用)标志的值被定义为1，则应该有必要发送相关标志或信息语法元素，而如果变换跳过(启用)标志的值被定义为0，则可以不发送除了变换跳过(启用)标志语法元素之外的语法元素。
[0177]
即，提出了用于根据高级语法hls(例如，vps、sps、pps、aps、dps和切片头)中的变换跳过(启用)标志的值来发送诸如用于变换跳过块的最小量化参数信息以及在变换跳过期间是否应用bdpcm这样的依赖于是否执行变换跳过的高级语法元素的方法。另外，所提出的方法不限于本实施方式中提到的语法元素，而是可以包括在具有依赖于是否执行变换跳过的依赖性并包括变换跳过(启用)标志的高级语法集中定义的所有高级语法元素。
[0178]
如上所述，与基于变换跳过的编码相关的语法元素可以在高级语法集中定义，并可以在序列参数集(sps)中定义，如下表6中的实施方式中一样。
[0179]
[表6]
[0180][0181]
另外，例如，sps语法的语法元素当中的上述实施方式的语法元素的语义可以如下表7中表示的。
[0182]
[表7]
[0183][0184]
参照以上表6和表7，与变换跳过相关的语法元素可以在sps中定义，并可以包括语法元素sps_transform_skip_enabled_flag、sps_bdpcm_enabled_flag和min_qp_prime_ts_minus4。
[0185]
sps_transform_skip_enabled_flag语法元素可以基于其值是0还是1来表示是否启用变换跳过。例如，如果sps_transform_skip_enabled_flag的值为1，则它可以表示启用了变换跳过，并且在这种情况下，可以通过变换单元语法来解析/发信号通知transform_skip_flag。这里，transform_skip_flag语法元素可以表示是否可以对相应的关联变换块应用变换。如果sps_transform_skip_enabled_flag的值为0，则它可以表示未启用变换跳过，并且在这种情况下，可以不在变换单元语法中解析/发信号通知transform_skip_flag。换句话说，基于变换跳过启用标志sps_transform_skip_enabled_flag，可以表示变换单元语法中是否存在transform_skip_flag。
[0186]
sps_bdpcm_enabled_flag语法元素可以基于其值是0还是1来表示是否启用bdpcm。例如，如果sps_bdpcm_enabled_flag的值为1，则它可以表示启用bdpcm，并且在这种情况下，可以通过帧内编码单元的编码单元语法来解析/发信号通知intra_bdpcm_flag(或
intra_bdpcm_luma_flag和intra_bdpcm_chroma_flag)。这里，intra_bdpcm_flag语法元素可以表示bdpcm是否应用于当前编码块。如果sps_bdpcm_enabled_flag的值为0，则它可以表示未启用bdpcm，并且在这种情况下，可以不在帧内编码单元的编码单元语法中解析/发信号通知intra_bdpcm_flag(或intra_bdpcm_luma_flag和intra_bdpcm_chroma_flag)。换句话说，可以基于bdpcm启用标志sps_bdpcm_enabled_flag来表示编码单元语法中是否存在intra_bdpcm_flag(或intra_bdpcm_luma_flag和intra_bdpcm_chroma_flag)。
[0187]
min_qp_prime_ts_minus4语法元素可以表示针对变换跳过模式允许的最小允许量化参数。例如，基于min_qp_prime_ts_minus4语法元素，可以推导出变换跳过模式下的最小量化参数值(例如，qpprimetsmin)。基于变换跳过模式下的最小量化参数，可以推导出在缩放处理(反量化处理)中使用的量化参数。另外，可以通过基于量化参数对当前块执行缩放处理(反量化处理)来推导缩放变换系数(反量化变换系数)，并且基于此，可以推导出当前块的残差样本。
[0188]
另外，在sps中，可以定义对与变换跳过相关的语法元素当中的变换跳过启用标志语法元素(例如，sps_transform_skip_enabled_flag)有依赖性的语法元素。例如，如以上表6和表7中公开的，基于sps中的变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值，表示变换跳过模式下变换跳过块的最小量化参数信息的min_qp_prime_ts_minus4语法元素和表示是否启用bdpcm的sps_bdpcm_enabled_flag语法元素可以具有依赖性。作为示例，如果变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值为1，则可以解析/发信号通知min_qp_prime_ts_minus4语法元素和sps_bdpcm_enabled_flag语法元素。另外，如果变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值为0，则可以不解析/发信号通知min_qp_prime_ts_minus4语法元素和sps_bdpcm_enabled_flag语法元素。
[0189]
另外，作为实施方式，本文献提出了用于通过使得对变换跳过相关高级语法元素有依赖性的语法元素能够根据依赖性条件确定是否执行解析/发信号通知来节省发送的比特的方法。作为示例，提出了用于解析具有依赖于变换跳过(启用)标志是否使用变换跳过的依赖性的高级语法元素的方法。
[0190]
例如，作为依赖于基于变换跳过的编码的语法元素，存在变换跳过(启用)标志(例如，sps_transform_skip_enabled_flag)、关于变换跳过应用尺寸的信息(例如，log2_transform_skip_max_size_minus2)、用于变换跳过的最小量化参数信息(例如，min_qp_prime_ts_minus4)以及关于是否应用bdpcm的信息(例如，sps_bdpcm_enabled_flag)。作为示例，如果变换跳过(启用)标志的值被定义为1，则应该有必要发送相关标志或信息语法元素，而如果变换跳过(启用)标志的值被定义为0，则可以不发送除了变换跳过(启用)标志语法元素之外的语法元素。
[0191]
即，提出了用于根据高级语法hls(例如，vps、sps、pps、aps、dps和切片头)中的变换跳过(启用)标志的值来发送诸如关于变换跳过应用的最大尺寸的信息、最小量化参数信息以及在变换跳过期间是否应用bdpcm这样的依赖于是否执行变换跳过的高级语法元素的方法。另外，所提出的方法不限于本实施方式中提到的语法元素，而是可以包括在具有依赖于是否执行变换跳过的依赖性并包括变换跳过(启用)标志的高级语法集中定义的所有高级语法元素。
[0192]
如上所述，与基于变换跳过的编码相关的语法元素可以在高级语法集中定义，并可以在序列参数集(sps)中定义，如下表8的实施方式中一样。然而，在相关技术中在图片参数集(pps)中定义的变换跳过的最大块尺寸信息可以在sps中新定义，以避免hls之间的依赖性，并且这可以如在下表8中表示的。
[0193]
[表8]
[0194][0195]
另外，例如，sps语法的语法元素当中的上述实施方式的语法元素的语义可以如下表9中表示的。
[0196]
[表9]
[0197]
[0198]
参照以上表8和表9，与变换跳过相关的语法元素可以在sps中定义，并可以包括语法元素sps_transform_skip_enabled_flag、sps_bdpcm_enabled_flag、min_qp_prime_ts_minus4和log2_transform_skip_max_size_minus2。
[0199]
这里，由于语法元素sps_transform_skip_enabled_flag、sps_bdpcm_enabled_flag和min_qp_prime_ts_minus4已经在上表6和表7中详细说明，因此在本实施方式中，为了便于说明，将省略对其的详细说明。
[0200]
log2_transform_skip_max_size_minus2语法元素可以表示在变换跳过模式中使用的最大块尺寸。在这种情况下，log2_transform_skip_max_size_minus2语法元素可以在0至3的范围内。例如，如以上表9中公开的，在变换跳过模式中使用的最大块尺寸(例如，maxtssize)可以基于诸如1《《(log2_transform_skip_max_size_minus2 2)这样的计算来推导。
[0201]
另外，在sps中，可以定义对与变换跳过相关的语法元素当中的变换跳过启用标志语法元素(例如，sps_transform_skip_enabled_flag)有依赖性的语法元素。例如，如以上表8和表9中公开的，在sps中，基于变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值表示是否启用bdpcm的sps_bdpcm_enabled_flag语法元素、表示变换跳过模式下变换跳过块的最小量化参数信息的min_qp_prime_ts_minus4语法元素和表示在变换跳过模式下使用的最大块尺寸的log2_transform_skip_max_size_minus2语法元素可以具有依赖性。作为示例，如果变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值为1，则可以解析/发信号通知语法元素sps_bdpcm_enabled_flag、min_qp_prime_ts_minus4和log2_transform_skip_max_size_minus2。另外，如果变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值为0，则可以不解析/发信号通知语法元素sps_bdpcm_enabled_flag、min_qp_prime_ts_minus4和log2_transform_skip_max_size_minus2。
[0202]
另外，作为实施方式，本文献提出了用于通过使得对变换跳过相关高级语法元素和调色板编码相关高级语法元素有依赖性的语法元素能够根据依赖性条件确定是否执行解析/发信号通知来节省发送的比特的方法。作为示例，提出了用于通过变换跳过(启用)标志和/或调色板编码(启用)标志来解析具有依赖性的高级语法元素的方法。
[0203]
例如，作为依赖于基于变换跳过的编码的语法元素，存在变换跳过(启用)标志(例如，sps_transform_skip_enabled_flag)、关于变换跳过应用尺寸的信息(例如，log2_transform_skip_max_size_minus2)、用于变换跳过的最小量化参数信息(例如，min_qp_prime_ts_minus4)以及关于是否应用bdpcm的信息(例如，sps_bdpcm_enabled_flag)。另外，如上所述，由于在调色板编码期间转义值也没有改变，因此在执行量化时可以使用用于变换跳过的最小量化参数信息。因此，用于基于调色板模式的编码的调色板编码(启用)标志(例如，sps_palette_enabled_flag)和变换跳过期间的最小量化参数信息(例如，min_qp_prime_ts_minus 4)可以具有依赖性。作为示例，如果变换跳过(启用)标志或调色板编码(启用)标志的值被定义为1，则应该有必要发送相关标志或信息语法元素，而如果变换跳过(启用)标志或调色板编码(启用)标志的值被定义为0，则可以不发送除了相应标志语法元素之外的语法元素。
[0204]
即，提出了用于根据高级语法(例如，vps、sps、pps、aps、dps和切片头)中的变换跳
过(启用)标志的值和/或调色板编码(启用)标志的值来发送诸如关于变换跳过应用的最大尺寸的信息、变换跳过期间的最小量化参数信息以及是否应用bdpcm这样的依赖于是否执行变换跳过或者是否执行调色板编码的高级语法元素的方法。
[0205]
例如，(i)在变换跳过(启用)标志和调色板编码(启用)标志二者被定义为1的情况下，可以解析与依赖于变换跳过(启用)标志和调色板编码(启用)标志的语法元素的并集相对应的语法元素。(ii)在变换跳过(启用)标志被定义为1并且调色板编码(启用)标志为0的情况下，可以解析依赖于变换跳过(启用)标志的语法元素。(iii)在变换跳过(启用)标志被定义为0并且调色板编码(启用)标志为1的情况下，可以解析依赖于调色板编码(启用)标志的语法元素。(iv)在变换跳过(启用)标志和调色板编码(启用)标志二者为0的情况下，可以不解析依赖于两种编码工具的其它高级语法元素。
[0206]
本实施方式中提到的语法元素的解析顺序不受具体限制，并且在根据语法元素之间的依赖性确定是否执行解析的情况下，它们被认为彼此一致。另外，所提出的方法不限于本实施方式中提到的语法元素，而是可以具有依赖于是否执行变换跳过或调色板编码的依赖性，并且可以包括在包括变换跳过(启用)标志和调色板编码(启用)标志的高级语法集中定义的所有高级语法元素，
[0207]
如上所述，与基于变换跳过的编码和/或基于调色板模式的编码相关的语法元素可以在高级语法集中定义，并可以在序列参数集(sps)中定义，如下表10的实施方式中一样。
[0208]
[表10]
[0209][0210]
另外，例如，sps语法的语法元素当中的上述实施方式的语法元素的语义可以如下表11中表示的。
[0211]
[表11]
[0212][0213][0214]
参照以上表10和表11，在sps中，与变换跳过和/或调色板编码相关的语法元素可以被定义，并且可以包括语法元素sps_transform_skip_enabled_flag、sps_bdpcm_enabled_flag、sps_palette_enabled_flag和min_qp_prime_ts_minus4。
[0215]
这里，由于语法元素sps_transform_skip_enabled_flag、sps_bdpcm_enabled_flag和min_qp_prime_ts_minus4已经在以上表6至表9中详细说明，因此在本实施方式中，为了便于说明，将省略对其的详细说明。
[0216]
sps_palette_enabled_flag语法元素可以基于其值为0还是1来表示是否启用调色板编码(即，调色板预测模式)。例如，如果sps_palette_enabled_flag的值为1，则它可以表示启用了调色板编码，并且在这种情况下，可以通过编码单元语法解析/发信号通知pred_mode_plt_flag。这里，pred_mode_plt_flag语法元素可以表示是否可以针对当前编码单元使用调色板模式。如果sps_palette_enabled_flag的值为0，则它可以表示未启用调色板编码，并且在这种情况下，可以不在编码单元语法中解析/发信号通知pred_mode_plt_flag。换句话说，基于调色板编码启用标志sps_palette_enabled_flag，可以表示编码单元语法中是否存在pred_mode_plt_flag。
[0217]
另外，在sps中，可以定义对与变换跳过和/或调色板编码相关的语法元素当中的变换跳过启用标志语法元素(例如，sps_transform_skip_enabled_flag)有依赖性的语法元素。例如，如以上表10和表11中公开的，在sps中，基于变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值表示是否启用bdpcm的sps_bdpcm_enabled_flag语法元素可以具有依赖性。作为示例，如果变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值为1，则可以解析/发信号通知sps_bdpcm_enabled_flag语法元素。另
外，如果变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值为0，则可以不解析/发信号通知sps_bdpcm_enabled_flag语法元素。
[0218]
另外，在sps中，可以定义涉及与变换跳过和/或调色板编码相关的语法元素当中的调色板编码启用标志语法元素(例如，sps_palette_enabled_flag)的依赖性条件。例如，如以上表10和表11中公开的，在sps中，可以基于chroma_format_idc语法元素来解析/发信号通知调色板编码启用标志语法元素(例如，sps_palette_enabled_flag)。作为示例，如果chroma_format_idc语法元素的值为3，则可以解析/发信号通知sps_palette_enabled_flag语法元素。
[0219]
另外，在sps中，可以定义对与变换跳过和/或调色板编码相关的语法元素当中的变换跳过启用标志语法元素(例如，sps_transform_skip_enabled_flag)和/或调色板编码启用标志语法元素(例如，sps_palette_enabled_flag)有依赖性的语法元素。例如，如在以上表10和表11中公开的，在sps中，基于变换跳过启用标志(例如，sps_transform_skip_enabled_flag)和/或调色板编码启用标志语法元素(例如，sps_palette_enabled_flag)的值，表示变换跳过模式下的最小量化参数信息的min_qp_prime_ts_minus4语法元素可以具有依赖性。作为示例，在变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值为1或者调色板编码启用标志(例如，sps_palette_enabled_flag)的值为1的情况下，可以解析/发信号通知min_qp_prime_ts_minus4语法元素。
[0220]
另外，如上所述，与基于变换跳过的编码和/或基于调色板模式的编码相关的语法元素可以在高级语法集中定义，并且如下表12的实施方式中一样，可以在序列参数集(sps)中定义。然而，在相关技术的图片参数集(pps)中定义的变换跳过的最大块尺寸信息可以在sps中新定义，以避免hls之间的依赖性，并且这可以如在下表12中表示的。
[0221]
[表12]
[0222][0223]
另外，例如，sps语法的语法元素当中的用于上述实施方式的语法元素的语义可以如在下表13中表示的。
[0224]
[表13]
[0225][0226]
参照以上表12和表13，在sps中，与变换跳过和/或调色板编码相关的语法元素可以被定义，并且可以包括语法元素sps_transform_skip_enabled_flag、sps_bdpcm_enabled_flag、log2_transform_skip_max_size_minus2、sps_palette_enabled_flag和min_qp_prime_ts_minus4。
[0227]
这里，由于语法元素sps_transform_skip_enabled_flag、sps_bdpcm_enabled_flag、log2_transform_skip_max_size_minus2、sps_palette_enabled_flag和min_qp_prime_ts_minus4已经在以上表6至表11中详细描述，因此在本实施方式中，为了便于说明，将省略对其的详细说明。
[0228]
如在以上表12和表13的实施方式中公开的，在sps中，可以定义对与变换跳过和/或调色板编码相关的语法元素当中的变换跳过启用标志语法元素(例如，sps_transform_skip_enabled_flag)有依赖性的语法元素。例如，如以上表12和表13中公开的，在sps中，基于变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值表示是否启用bdpcm的sps_bdpcm_enabled_flag语法元素和表示在变换跳过模式中使用的最大块尺寸的log2_transform_skip_max_size_minus2语法元素可以具有依赖性。作为示例，如果变换跳过启
用标志(例如，sps_transform_skip_enabled_flag)的值为1，则可以解析/发信号通知语法元素sps_bdpcm_enabled_flag和log2_transform_skip_max_size_minus2。另外，如果变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值为0，则可以不解析/发信号通知语法元素sps_bdpcm_enabled_flag和log2_transform_skip_max_size_minus2。
[0229]
另外，在sps中，可以定义对与变换跳过和/或调色板编码相关的语法元素当中的变换跳过启用标志语法元素(例如，sps_transform_skip_enabled_flag)和/或调色板编码启用标志语法元素(例如，sps_palette_enabled_flag)有依赖性的语法元素。例如，如在以上表12和表13中公开的，基于变换跳过启用标志(例如，sps_transform_skip_enabled_flag)和/或调色板编码启用标志语法元素(例如，sps_palette_enabled_flag)的值表示变换跳过模式的最小量化参数信息的min_qp_prime_ts_minus4语法元素在sps中可以具有依赖性。作为示例，在变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值为1或者调色板编码启用标志(例如，sps_palette_enabled_flag)的值为1的情况下，可以解析/发信号通知min_qp_prime_ts_minus4语法元素。
[0230]
此外，源或编码图片/图像可以包括亮度分量数组，并且在一些情况下，还可以包括两个色度分量(cb，cr)数组，即，图片/图像的一个像素可以包括亮度样本和色度样本(cb，cr)。
[0231]
颜色格式可以表示亮度分量和色度分量(cb，cr)的配置格式，并可以被称为色度格式。颜色格式(或色度格式)可以是预定的，或者可以自适应地发信号通知。例如，可以基于chroma_format_idc和separate_colour_plane_flag中的至少一者发信号通知色度格式，如在下表14中一样。
[0232]
[表14]
[0233]
chroma_format_idcseparate_colour_plane_flag色度格式subwidthcsabheightc00单色11104:2:022204:2:221304:4:411314:4:411
[0234]
参照以上表14，在单色采样中，只有一个样本数组在名义上被视为亮度数组。
[0235]
在4:2:0采样中，两个色度数组中的每一个具有亮度数组的一半高度和一半宽度。
[0236]
在4:2:2采样中，两个色度数组中的每一个具有与亮度数组相同的高度和一半宽度。
[0237]
在4:4:4采样中，可以按照separate_colour_plane_flag的值应用以下。
[0238]-如果separate_colour_plane_flag的值为0，则两个色度数组中的每一个具有与亮度数组相同的高度和相同的宽度。
[0239]-否则，如果separate_colour_plane_flag的值为1，则三种颜色平面可以被分别作为单色采样图片处理。
[0240]
subwidthc和subheightc可以表示亮度样本与色度样本之间的比率。例如，如果chroma_format_idc为3，则色度格式是4:4:4，并且在这种情况下，如果亮度样本块的宽度为16，则相应色度样本块的宽度可以为16/subwidthc。通常，仅在色度数组类型(例如，
chromaarraytype)不为0的情况下才可以解析色度样本相关语法和比特流。
[0241]
另外，作为实施方式，本文献提出了用于通过使得对变换跳过相关高级语法元素和调色板编码相关高级语法元素有依赖性的高级元素能够根据依赖性条件确定是否执行解析/发信号通知来节省发送的比特的方法。作为示例，提出了用于通过变换跳过(启用)标志和调色板编码(启用)标志来解析具有依赖性的高级语法元素的方法。
[0242]
例如，作为依赖于基于变换跳过的编码的语法元素，存在变换跳过(启用)标志(例如，sps_transform_skip_enabled_flag)、关于变换跳过应用的尺寸的信息(例如，log2_transform_skip_max_size_minus2)、变换跳过期间的最小量化参数信息(例如，min_qp_prime_ts_minus4)以及关于是否应用bdpcm的信息(例如，sps_bdpcm_enabled_flag)。另外，如上所述，由于在调色板编码期间转义值也没有改变，因此在执行量化时可以使用用于变换跳过的最小量化参数信息。
[0243]
如在上述实施方式中表示的，如果变换跳过(启用)标志或调色板编码(启用)标志的值被定义为1，则应该有必要发送相关标志或信息语法元素，而如果变换跳过(启用)标志或调色板编码(启用)标志的值被定义为0，则可以不发送除了相应标志语法元素之外的语法元素。即，提出了用于根据高级语法(例如，vps、sps、pps、aps、dps和切片头)中的变换跳过(启用)标志和调色板编码(启用)标志的值来发送诸如变换跳过或调色板编码期间的最小量化参数信息以及是否应用bdpcm这样的依赖于是否执行变换跳过或者是否执行调色板编码的高级语法元素的方法。
[0244]
例如，(i)在变换跳过(启用)标志和调色板编码(启用)标志二者被定义为1的情况下，可以解析与依赖于变换跳过(启用)标志和调色板编码(启用)标志的语法元素的并集相对应的语法元素。(ii)在变换跳过(启用)标志被定义为1并且调色板编码(启用)标志为0的情况下，可以解析依赖于变换跳过(启用)标志的语法元素。(iii)在变换跳过(启用)标志被定义为0并且调色板编码(启用)标志为1的情况下，可以解析依赖于调色板编码(启用)标志的语法元素。(iv)在变换跳过(启用)标志和调色板编码(启用)标志二者为0的情况下，可以不解析依赖于两种编码工具的其它高级语法元素。
[0245]
本实施方式中提到的语法元素的解析顺序不受具体限制，并且在根据语法元素之间的依赖性确定是否执行解析的情况下，它们被认为彼此一致。另外，所提出的方法不限于本实施方式中提到的语法元素，而是可以具有依赖于是否执行变换跳过或调色板编码的依赖性，并可以包括在包括变换跳过(启用)标志和调色板编码(启用)标志的高级语法集中定义的所有高级语法元素。
[0246]
如上所述，与基于变换跳过的编码和/或基于调色板模式的编码相关的语法元素可以在高级语法集中定义，并可以在序列参数集(sps)中定义，如下表15的实施方式中一样。
[0247]
[表15]
[0248][0249]
另外，例如，sps语法的语法元素当中的上述实施方式的语法元素的语义可以如下表16中表示的。
[0250]
[表16]
[0251]
[0252][0253]
参照以上表15和表16，在sps中，与变换跳过和/或调色板编码相关的语法元素可以被定义，并且该语法元素可以包括语法元素sps_transform_skip_enabled_flag、sps_bdpcm_enabled_flag、sps_palette_enabled_flag、min_qp_prime_ts_luma_minus4和min_qp_prime_ts_chroma_minus4。
[0254]
这里，由于语法元素sps_transform_skip_enabled_flag、sps_bdpcm_enabled_flag和sps_palette_enabled_flag已经在以上表6至表11中详细说明，因此在本实施方式中，为了便于说明，将省略对其的详细说明。
[0255]
如在以上表15和表16的实施方式中公开的，在sps中，可以定义对与变换跳过和/或调色板编码相关的语法元素当中的变换跳过启用标志语法元素(例如，sps_transform_skip_enabled_flag)有依赖性的语法元素。例如，如以上表15和表16中公开的，在sps中，基于变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值表示是否启用bdpcm的sps_bdpcm_enabled_flag语法元素可以具有依赖性。作为示例，如果变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值为1，则可以解析/发信号通知sps_bdpcm_enabled_flag语法元素。另外，如果变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值为0，则可以不解析/发信号通知sps_bdpcm_enabled_flag语法元素。
[0256]
另外，在sps中，可以定义对与变换跳过和/或调色板编码相关的语法元素当中的调色板编码启用标志语法元素(例如，sps_palette_enabled_flag)有依赖性的语法元素。例如，如在以上表15和表16中公开的，在sps中，基于调色板编码启用标志(例如，sps_palette_enabled_flag)的值表示针对色度分量的变换跳过模式下的最小量化参数信息的min_qp_prime_ts_chroma_minus4语法元素可以具有依赖性。作为示例，如果调色板编码启用标志(例如，sps_palette_enabled_flag)的值为1，则可以解析/发信号通知min_qp_prime_ts_chroma_minus4语法元素。另外，如果调色板编码启用标志(例如，sps_palette_enabled_flag)的值为0，则可以不解析/发信号通知min_qp_prime_ts_chroma_minus4语法元素。
[0257]
另外，在sps中，可以定义对与变换跳过和/或调色板编码相关的语法元素当中的变换跳过启用标志语法元素(例如，sps_transform_skip_enabled_flag)和/或调色板编码启用标志语法元素(例如，sps_palette_enabled_flag)有依赖性的语法元素。例如，如在以上表15和表16中公开的，在sps中，基于变换跳过启用标志(例如，sps_transform_skip_enabled_flag)和/或调色板编码启用标志语法元素(例如，sps_palette_enabled_flag)的值表示针对亮度分量的变换跳过模式下的最小量化参数信息的min_qp_prime_ts_luma_minus4语法元素可以具有依赖性。作为示例，如果变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值为1或者调色板编码启用标志(例如，sps_palette_enabled_flag)的值为1，可以解析/发信号通知min_qp_prime_ts_luma_minus4语法元素。
[0258]
另外，作为实施方式，本文献提出了通过使得对变换跳过相关高级语法元素和调
色板编码相关高级语法元素有依赖性的高级元素能够根据依赖性条件确定是否执行解析/发信号通知来节省发送的比特的方法。作为示例，提出了用于通过变换跳过(启用)标志和调色板编码(启用)标志来解析具有依赖性的高级语法元素的方法。
[0259]
例如，作为依赖于基于变换跳过的编码的语法元素，存在变换跳过(启用)标志(例如，sps_transform_skip_enabled_flag)、关于变换跳过应用的尺寸的信息(例如，log2_transform_skip_max_size_minus2)、变换跳过期间的最小量化参数信息(例如，min_qp_prime_ts_minus4)以及关于是否应用bdpcm的信息(例如，sps_bdpcm_enabled_flag)。另外，如上所述，由于在调色板编码期间转义值也没有改变，因此在执行量化时可以使用用于变换跳过的最小量化参数信息。
[0260]
如在上述实施方式中表示的，如果变换跳过(启用)标志或调色板编码(启用)标志的值被定义为1，则应该有必要发送相关标志或信息语法元素，而如果变换跳过(启用)标志或调色板编码(启用)标志的值被定义为0，则可以不发送除了相应标志语法元素之外的语法元素。即，提出了用于根据高级语法(例如，vps、sps、pps、aps、dps和切片头)中的变换跳过(启用)标志和调色板编码(启用)标志的值来发送诸如关于变换跳过应用的最大尺寸的信息、变换跳过或调色板编码期间的最小量化参数信息以及是否应用bdpcm这样的依赖于是否执行变换跳过或者是否执行调色板编码的高级语法元素的方法。
[0261]
例如，(i)在变换跳过(启用)标志和调色板编码(启用)标志二者被定义为1的情况下，可以解析与依赖于变换跳过(启用)标志和调色板编码(启用)标志的语法元素的并集相对应的语法元素。(ii)在变换跳过(启用)标志被定义为1并且调色板编码(启用)标志为0的情况下，可以解析依赖于变换跳过(启用)标志的语法元素。(iii)在变换跳过(启用)标志被定义为0并且调色板编码(启用)标志为1的情况下，可以解析依赖于调色板编码(启用)标志的语法元素。(iv)在变换跳过(启用)标志和调色板编码(启用)标志二者为0的情况下，可以不解析依赖于两种编码工具的其它高级语法元素。
[0262]
本实施方式中提到的语法元素的解析顺序不受具体限制，并且在根据语法元素之间的依赖性确定是否执行解析的情况下，它们被认为彼此一致。另外，所提出的方法不限于本实施方式中提到的语法元素，而是可以具有依赖于是否执行变换跳过或调色板编码的依赖性，并可以包括在包括变换跳过(启用)标志和调色板编码(启用)标志的高级语法集中定义的所有高级语法元素，
[0263]
如上所述，与基于变换跳过的编码和/或基于调色板模式的编码相关的语法元素可以在高级语法集中定义，并可以在序列参数集(sps)中定义，如下表17的实施方式中一样。在本实施方式中，可以在sps中新定义关于在相关技术中的图片参数集(pps)中定义的变换跳过的最大尺寸的信息，以避免hls之间的依赖性，并且提出了基于先前使用的变换跳过和调色板编码相关语法元素的依赖性来执行解析/发信号通知的方法。
[0264]
[表17]
[0265][0266]
另外，例如，sps语法的语法元素当中的上述实施方式的语法元素的语义可以如下表18中表示的。
[0267]
[表18]
[0268]
[0269][0270]
参照以上表17和表18，在sps中，与变换跳过和/或调色板编码相关的语法元素可以被定义，并且可以包括语法元素sps_transform_skip_enabled_flag、sps_bdpcm_enabled_flag、log2_transform_skip_max_size_minus2、sps_palette_enabled_flag、min_qp_prime_ts_luma_minus4和min_qp_prime_ts_chroma_minus4。
[0271]
这里，由于语法元素sps_transform_skip_enabled_flag、sps_bdpcm_enabled_flag、log2_transform_skip_max_size_minus2、sps_palette_enabled_flag、min_qp_prime_ts_luma_minus4和min_qp_prime_ts_chroma_minus4已经在以上表6至表11中详细说明，因此在本实施方式中，为了便于说明，将省略对其的详细说明。
[0272]
如在以上表17和表18的实施方式中公开的，在sps中，可以定义对与变换跳过和/或调色板编码相关的语法元素当中的变换跳过启用标志语法元素(例如，sps_transform_skip_enabled_flag)有依赖性的语法元素。例如，如以上表17和表18中公开的，在sps中，基于变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值表示是否启用bdpcm的sps_bdpcm_enabled_flag语法元素和表示在变换跳过模式下使用的最大块尺寸的log2_transform_skip_max_size_minus2语法元素可以具有依赖性。作为示例，如果变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值为1，则可以解析/发信号通知语法元素sps_bdpcm_enabled_flag和log2_transform_skip_max_size_minus2。另外，如果变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值为0，则可以不解析/发信号通知语法元素sps_bdpcm_enabled_flag和log2_transform_skip_max_size_minus2。另外，在sps中，可以定义对与变换跳过和/或调色板编码相关的语法元素当中的调色板编码启用标志语法元素(例如，sps_palette_enabled_flag)有依赖性的语法元素。例如，如在以上表17和表18中公开的，在sps中，基于调色板编码启用标志(例如，sps_palette_enabled_flag)的值表示针对色度分量的变换跳过模式下的最小量化参数信息的min_qp_prime_ts_chroma_minus4语法元素可以具有依赖性。作为示例，如果调色板编码启用标志(例如，sps_palette_enabled_flag)的值为1，则可以解析/发信号通知min_qp_prime_ts_chroma_
minus4语法元素。另外，如果调色板编码启用标志(例如，sps_palette_enabled_flag)的值为0，则可以不解析/发信号通知min_qp_prime_ts_chroma_minus4语法元素。
[0273]
另外，在sps中，可以定义对与变换跳过和/或调色板编码相关的语法元素当中的变换跳过启用标志语法元素(例如，sps_transform_skip_enabled_flag)和/或调色板编码启用标志语法元素(例如，sps_palette_enabled_flag)有依赖性的语法元素。例如，如在以上表17和表18中公开的，在sps中，基于变换跳过启用标志(例如，sps_transform_skip_enabled_flag)和/或调色板编码启用标志语法元素(例如，sps_palette_enabled_flag)的值表示针对亮度分量的变换跳过模式下的最小量化参数信息的min_qp_prime_ts_luma_minus4语法元素可以具有依赖性。作为示例，如果变换跳过启用标志(例如，sps_transform_skip_enabled_flag)的值为1或者调色板编码启用标志(例如，sps_palette_enabled_flag)的值为1，可以解析/发信号通知min_qp_prime_ts_luma_minus4语法元素。
[0274]
已准备下图来说明本文献的详细示例。由于示例性地呈现了附图中描述的详细装置的名称或详细术语或名称(例如，语法元素的语法/名称)，因此本文献的技术特征不限于附图中使用的详细名称。图10和图11示意性例示了根据本文献的实施方式的视频/图像编码方法和相关部件的示例。
[0275]
图10和图11示意性例示了根据本文献的实施方式的视频/图像编码方法和相关部件的示例。
[0276]
图10中公开的方法可以由图2或图11中公开的编码设备200执行。这里，图11中公开的编码设备200简要地表示图2中公开的编码设备200。具体地，图10中的步骤s1000至s1010可以由图2中公开的残差处理器230执行，并且图10中的步骤s1020可以由图2中公开的熵编码器240执行。另外，尽管未例示，但推导预测样本的处理可以由编码设备200的预测器220执行，基于当前块的残差样本和预测样本生成当前块的重构样本和重构图片的处理可以由编码设备200的加法器250执行，并且对当前块的预测信息进行编码的处理可以由编码设备200的熵编码器240执行。另外，图10中公开的方法可以包括将执行的本文献的上述实施方式。因此，参照图10，将省略或简化对上述实施方式的重复内容的详细说明。
[0277]
参照图10，编码设备可以基于变换跳过启用信息来确定是否对当前块应用变换(s1000)。
[0278]
作为实施方式，编码设备可以首先确定当前块的预测模式，并可以推导预测样本。例如，编码设备可以确定对当前块是执行帧间预测还是帧内预测，并还可以基于rd成本来确定具体帧间预测模式或具体帧内预测模式。另外，编码设备可以基于ciip模式、ibc模式、bdpcm模式或调色板模式来确定是否对当前块执行预测。编码设备可以通过按照所确定的预测模式执行预测来推导当前块的预测样本。在这种情况下，可以应用诸如帧间预测或帧内预测这样的本文献中公开的各种预测方法。另外，编码设备可以生成并编码与应用于当前块的预测相关的信息(例如，预测模式信息)。
[0279]
此外，编码设备可以通过将预测样本与当前块的原始样本彼此比较来推导残差样本。编码设备可以通过对残差样本的变换处理来推导变换系数。在这种情况下，编码设备可以考虑编码效率来确定是否对当前块应用变换。即，编码设备可以确定是否对当前块的残差样本应用变换。
[0280]
例如，编码设备可以基于变换跳过启用信息来确定是对当前块(残差样本)应用变
换还是变换跳过模式。
[0281]
如上所述，变换跳过启用信息可以是关于是否启用变换跳过的信息，并且如表6至表18中公开的，它可以被表示为sps_transform_skip_enabled_flag语法元素。例如，如果sps_transform_skip_enabled_flag的值为1，则它可以表示启用了变换跳过，并且在这种情况下，可以通过变换单元语法来解析/发信号通知transform_skip_flag。这里，transform_skip_flag语法元素可以表示是否可以对关联变换块应用变换。如果sps_transform_skip_enabled_flag的值为0，则它可以表示未启用变换跳过，并且在这种情况下，可以不在变换单元语法中解析/发信号通知transform_skip_flag。变换跳过启用信息(例如，sps_transform_skip_enabled_flag)可以被包括在sps中，并可以被发信号通知给解码设备。即，基于sps中所包括的变换跳过启用信息(例如，sps_transform_skip_enabled_flag)的值为1，变换单元语法可以包括变换跳过标志(例如，transform_skip_flag)。在这种情况下，如果变换单元语法中所包括的变换跳过标志(例如，transform_skip_flag)的值为1，则可以对当前块执行未应用变换的模式(变换跳过模式)。另外，如果变换单元语法中所包括的变换跳过标志(例如，transform_skip_flag)的值为0，则可以对当前块应用变换。
[0282]
例如，如变换跳过启用信息的值为1(即，关于变换跳过启用信息表示变换跳过被启用)，则编码设备可以确定是否对当前块应用变换。即，编码设备可以基于变换跳过启用信息的值为1来生成关于是否对当前块应用变换的信息(变换跳过标志)，并可以通过变换单元语法来发信号通知变换跳过标志。在这种情况下，如果未对当前块应用变换(即，在变换跳过模式的情况下)，编码设备可以生成值为1的变换跳过标志，并可以将其包括在变换单元语法中。另外，在对当前块应用变换的情况下，编码设备可以生成值为0的变换跳过标志，并可以将其包括在变换单元语法中。
[0283]
编码设备可以基于是否应用变换来生成当前块的残差信息(s1010)。
[0284]
作为实施方式，编码设备可以推导出当前块的残差样本，并可以通过基于是否应用变换对当前块的残差样本应用变换或变换跳过来生成残差信息。例如，对于变换跳过标志值为1的当前块的残差样本，编码设备可以应用变换跳过模式。在这种情况下，编码设备可以推导出当前块的残差样本作为变换系数。另外，对于变换跳过标志值为0的当前块的残差样本，编码设备可以通过执行变换来推导变换系数。编码设备可以通过基于通过变换跳过或变换推导出的变换系数执行量化处理来推导量化变换系数。编码设备可以基于量化变换系数来生成残差信息。
[0285]
这里，残差信息可以是通过变换和/或量化处理生成的信息，并且可以是关于量化变换系数的信息，并且例如，可以包括关于量化变换系数的值信息、位置信息、变换技术、变换核和量化参数的信息。
[0286]
编码设备可以对图像信息(或视频信息)进行编码(s1020)。
[0287]
这里，图像信息可以包括残差信息。另外，图像信息可以包括与用于推导预测样本的与预测相关的信息(例如，预测模式信息)。另外，图像信息可以包括与变换跳过相关的信息，例如，变换跳过启用信息和变换跳过标志信息。即，图像信息可以包括在编码处理中推导出的各种信息，并且可以对包括这类各种信息的图像信息进行编码。
[0288]
另外，根据本文献中的上述实施方式图像信息可以包括各种信息，并可以包括在
如上所述的表1至表18中的至少一个中公开的信息。
[0289]
例如，图像信息可以包括序列参数集(sps)。sps可以包括变换跳过相关信息和调色板编码相关信息。作为示例，变换跳过相关信息可以包括变换跳过启用信息(例如，sps_transform_skip_enabled_flag)、bdpcm启用信息(例如，sps_bdpcm_enabled_flag)、关于在变换跳过模式下使用的最大块尺寸的信息(例如，log2_transform_skip_max_size_minus2)以及与变换跳过模式的最小允许量化参数相关的最小量化参数信息(例如，min_qp_prime_ts_minus4)。另外，作为示例，调色板编码相关信息可以包括调色板编码启用信息(例如，sps_palette_enabled_flag)和与变换跳过模式的最小允许量化参数相关的最小量化参数信息(例如，min_qp_prime_ts_minus4)。
[0290]
另外，例如，如上所述，在sps中所包括的与变换跳过和/或调色板编码相关的信息当中，可以定义对变换跳过启用信息(例如，sps_transform_skip_enabled_flag)有依赖性的信息。
[0291]
作为示例，sps可以被配置为基于变换跳过启用信息(例如，sps_transform_skip_enabled_flag)的值来解析/发信号通知关于是否启用bdpcm的bdpcm启用标志信息(例如，sps_bdpcm_enabled_flag)。在这种情况下，如果变换跳过启用标志信息(例如，sps_transform_skip_enabled_flag)的值为1，则bdpcm启用标志信息(例如，sps_bdpcm_enabled_flag)可以被包括在sps中，并且可以从sps解析/发信号通知该信息(例如，sps_bdpcm_enabled_flag)。另外，如果变换跳过启用标志信息(例如，sps_transform_skip_enabled_flag)的值为0，则可以不从sps解析/发信号通知bdpcm启用标志信息(例如，sps_bdpcm_enabled_flag)。
[0292]
另外，基于sps中的bdpcm启用标志信息(例如，sps_bdpcm_enabled_flag)的值，可以通过编码单元语法来解析/发信号通知关于是否对当前块应用bdpcm的bdpcm标志信息(例如，intra_bdpcm_flag)。在这种情况下，如果bdpcm启用标志信息(例如，sps_bdpcm_enabled_flag)的值为1，则bdpcm标志信息(例如，intra_bdpcm_flag)可以被包括在编码单元语法中，并且可以从编码单元语法解析/发信号通知该信息(例如，intra_bdpcm_flag)。另外，如果bdpcm启用标志信息(例如，sps_bdpcm_enabled_flag)的值为0，则可以不从编码单元语法解析/发信号通知bdpcm标志信息(例如，intra_bdpcm_flag)。
[0293]
另外，作为示例，sps可以被配置为基于变换跳过启用信息(例如，sps_transform_skip_enabled_flag)的值来解析/发信号通知关于在变换跳过模式下使用的最大块尺寸(例如，log2_transform_skip_max_size_minus2)的信息。在这种情况下，如果变换跳过启用标志信息(例如，sps_transform_skip_enabled_flag)的值为1，则关于在变换跳过模式下使用的最大块尺寸(例如，log2_transform_skip_max_size_minus2)的信息可以被包括在sps中，并且可以从sps解析/发信号通知该信息(例如，log2_transform_skip_max_size_minus2)。另外，如果变换跳过启用标志信息(例如，sps_transform_skip_enabled_flag)的值为0，则可以不从sps解析/发信号通知关于在变换跳过模式下使用的最大块尺寸(例如，log2_transform_skip_max_size_minus2)的信息。
[0294]
另外，作为示例，基于在sps中定义的变换跳过启用标志信息(例如，sps_transform_skip_enabled_flag)的值，可以通过变换单元语法来解析/发信号通知关于是否对当前块应用变换跳过的变换跳过标志信息(例如，transform_skip_flag)。在这种情况
下，如果变换跳过启用标志信息(例如，sps_transform_skip_enabled_flag)的值为1，则变换跳过标志信息(例如，transform_skip_flag)可以被包括在变换单元语法中，并且可以从变换单元语法解析/发信号通知该信息(例如，transform_skip_flag)。另外，如果变换跳过启用标志信息(例如，sps_transform_skip_enabled_flag)的值为0，则可以不从变换单元语法解析/发信号通知变换跳过标志信息(例如，transform_skip_flag)。
[0295]
另外，例如，在如上所述的sps中所包括的与变换跳过和/或调色板编码相关的信息当中，可以定义对关于是否启用调色板编码的调色板编码启用信息(例如，sps_palette_enabled_flag)有依赖性的信息。作为示例，基于在sps中定义的调色板编码启用信息(例如，sps_palette_enabled_flag)的值，可以通过编码单元语法解析/发信号通知关于是否对当前块应用调色板编码(调色板预测模式)的调色板预测模式标志信息(例如，pred_mode_plt_flag)。在这种情况下，如果调色板编码启用信息(例如，sps_palette_enabled_flag)的值为1，则调色板预测模式标志信息(例如，pred_mode_plt_flag)可以被包括在编码单元语法中，并且可以从编码单元语法解析/发信号通知该信息(例如，pred_mode_plt_flag)。另外，如果调色板编码启用信息(例如，sps_palette_enabled_flag)的值为0，则可以不从编码单元语法解析/发信号通知调色板预测模式标志信息(例如，pred_mode_plt_flag)。
[0296]
另外，例如，如上所述，在sps中所包括的与变换跳过和/或调色板编码相关的信息当中，可以定义对变换跳过启用信息(例如，sps_transform_skip_enabled_flag)和/或调色板编码启用信息(例如，sps_palette_enabled_flag)有依赖性的信息。
[0297]
作为示例，在sps中，基于变换跳过启用信息(例如，sps_transform_skip_enabled_flag)和/或调色板编码启用信息(例如，sps_palette_enabled_flag)中的至少一个，可以解析/发信号通知与变换跳过模式下的最小允许量化参数相关的最小量化参数信息(例如，min_qp_prime_ts_minus4)。换句话说，基于变换跳过启用信息(例如，sps_transform_skip_enabled_flag)的值为1或者调色板编码启用信息(例如，sps_palette_enabled_flag)的值为1的条件，最小量化参数信息(例如，min_qp_prime_ts_minus4)可以被包括在sps中，并且只有在满足以上条件的情况下，才可以解析/发信号通知最小量化参数信息(例如，min_qp_prime_ts_minus4)。
[0298]
这里，如上所述，最小量化参数信息(例如，min_qp_prime_ts_minus4)可以是与变换跳过模式下的最小允许量化参数相关的信息，并且基于此，可以推导出当前块的量化参数。
[0299]
例如，在对当前块应用变换跳过模式的情况下，可以基于最小量化参数信息(例如，min_qp_prime_ts_minus4)来推导当前块的量化参数，并且可以通过基于量化参数执行量化处理来推导量化变换系数。
[0300]
另外，例如，在对当前块应用调色板编码模式的情况下，可以基于最小量化参数信息(例如，min_qp_prime_ts_minus4)来推导当前块的转义值的量化参数。在这种情况下，可以通过基于量化参数将量化参数应用于当前块的转义值来推导量化转义值(例如，palette_escape_val)。应用调色板编码模式的处理可以如以上表4和表5中公开地执行。
[0301]
如上所述，包括各种信息的图像信息可以以比特流的形式编码和输出。可以通过网络或(数字)存储介质将比特流发送到解码设备。这里，网络可以包括广播网络和/或通信
网络，并且数字存储介质可以包括诸如usb、sd、cd、dvd、蓝光、hdd和ssd这样的各种存储介质。
[0302]
图12和图13示意性例示了根据本文献的实施方式的视频/图像解码方法和相关部件的示例。
[0303]
图12中公开的方法可以由图3或图13中公开的编码设备300执行。这里，图13中公开的解码设备300简要地表示图3中公开的解码设备300。具体地，图12中的步骤s1200可以由图3中公开的熵解码器310执行，图12中的步骤s1210至s1220可以由图3中公开的残差处理器320执行，并且图12中的步骤s1230可以由图3中公开的加法器340执行。另外，尽管未例示，但接收当前块的预测信息的处理可以由解码设备300的熵解码器310执行，并且推导当前块的预测样本的处理可以由解码设备300的预测器330执行。另外，图12中公开的方法可以包括将执行的本文献的上述实施方式。因此，参照图12，将省略或简化对上述实施方式的重复内容的详细说明。
[0304]
参照图12，解码设备可以从比特流接收图像信息(或视频信息)(s1200)。
[0305]
作为实施方式，解码设备可以通过解析比特流来推导图像重构(或图片重构)所必需的信息(例如，视频/图像信息)。在这种情况下，图像信息可以包括残差信息，并且残差信息可以包括量化变换系数的值信息、位置信息、变换技术、变换核和量化参数信息。另外，图像信息可以包括预测相关信息(例如，预测模式信息)。另外，图像信息可以包括与变换跳过相关的信息，例如，变换跳过启用信息和变换跳过标志信息。即，图像信息可以包括解码处理中必需的各种信息，并可以基于诸如指数哥伦布编码、cavlc或cabac这样的编码方法来解码。
[0306]
另外，图像信息可以包括根据本文献的上述实施方式的各种信息，并可以包括在如上所述的表1至表18中的至少一个中公开的信息。
[0307]
例如，图像信息可以包括序列参数集(sps)。sps可以包括变换跳过相关信息和调色板编码相关信息。作为示例，变换跳过相关信息可以包括变换跳过启用信息(例如，sps_transform_skip_enabled_flag)、bdpcm启用信息(例如，sps_bdpcm_enabled_flag)、关于在变换跳过模式下使用的最大块尺寸的信息(例如，log2_transform_skip_max_size_minus2)以及与变换跳过模式的最小允许量化参数相关的最小量化参数信息(例如，min_qp_prime_ts_minus4)。另外，作为示例，调色板编码相关信息可以包括调色板编码启用信息(例如，sps_palette_enabled_flag)和与变换跳过模式的最小允许量化参数相关的最小量化参数信息(例如，min_qp_prime_ts_minus4)。
[0308]
另外，例如，如上所述，在sps中所包括的与变换跳过和/或调色板编码相关的信息当中，可以定义对变换跳过启用信息(例如，sps_transform_skip_enabled_flag)有依赖性的信息。
[0309]
作为示例，sps可以被配置为基于变换跳过启用信息(例如，sps_transform_skip_enabled_flag)的值来解析/发信号通知关于是否启用bdpcm的bdpcm启用标志信息(例如，sps_bdpcm_enabled_flag)。在这种情况下，如果变换跳过启用标志信息(例如，sps_transform_skip_enabled_flag)的值为1，则bdpcm启用标志信息(例如，sps_bdpcm_enabled_flag)可以被包括在sps中，并且可以从sps解析/发信号通知该信息(例如，sps_bdpcm_enabled_flag)。另外，如果变换跳过启用标志信息(例如，sps_transform_skip_
enabled_flag)的值为0，则可以不从sps解析/发信号通知bdpcm启用标志信息(例如，sps_bdpcm_enabled_flag)。
[0310]
另外，基于sps中的bdpcm启用标志信息(例如，sps_bdpcm_enabled_flag)的值，可以通过编码单元语法来解析/发信号通知关于是否对当前块应用bdpcm的bdpcm标志信息(例如，intra_bdpcm_flag)。在这种情况下，如果bdpcm启用标志信息(例如，sps_bdpcm_enabled_flag)的值为1，则bdpcm标志信息(例如，intra_bdpcm_flag)可以被包括在编码单元语法中，并且可以从编码单元语法解析/发信号通知该信息(例如，intra_bdpcm_flag)。另外，如果bdpcm启用标志信息(例如，sps_bdpcm_enabled_flag)的值为0，则可以不从编码单元语法解析/发信号通知bdpcm标志信息(例如，intra_bdpcm_flag)。
[0311]
另外，作为示例，sps可以被配置为基于变换跳过启用信息(例如，sps_transform_skip_enabled_flag)的值来解析/发信号通知关于在变换跳过模式下使用的最大块尺寸(例如，log2_transform_skip_max_size_minus2)的信息。在这种情况下，如果变换跳过启用标志信息(例如，sps_transform_skip_enabled_flag)的值为1，则在变换跳过模式下使用的关于最大块尺寸(例如，log2_transform_skip_max_size_minus2)的信息可以被包括在sps中，并且可以从sps解析/发信号通知该信息(例如，log2_transform_skip_max_size_minus2)。另外，如果变换跳过启用标志信息(例如，sps_transform_skip_enabled_flag)的值为0，则可以不从sps解析/发信号通知关于在变换跳过模式下使用的最大块尺寸(例如，log2_transform_skip_max_size_minus2)的信息。
[0312]
另外，作为示例，基于在sps中定义的变换跳过启用标志信息(例如，sps_transform_skip_enabled_flag)的值，可以通过变换单元语法来解析/发信号通知关于是否对当前块应用变换跳过的变换跳过标志信息(例如，transform_skip_flag)。在这种情况下，如果变换跳过启用标志信息(例如，sps_transform_skip_enabled_flag)的值为1，则变换跳过标志信息(例如，transform_skip_flag)可以被包括在变换单元语法中，并且可以从变换单元语法解析/发信号通知该信息(例如，transform_skip_flag)。另外，如果变换跳过启用标志信息(例如，sps_transform_skip_enabled_flag)的值为0，则可以不从变换单元语法解析/发信号通知变换跳过标志信息(例如，transform_skip_flag)。
[0313]
另外，例如，在如上所述的sps中所包括的与变换跳过和/或调色板编码相关的信息当中，可以定义对关于是否启用调色板编码的调色板编码启用信息(例如，sps_palette_enabled_flag)有依赖性的信息。作为示例，基于在sps中定义的调色板编码启用信息(例如，sps_palette_enabled_flag)的值，可以通过编码单元语法来解析/发信号通知关于是否对当前块应用调色板编码(调色板预测模式)的调色板预测模式标志信息(例如，pred_mode_plt_flag)。在这种情况下，如果调色板编码启用信息(例如，sps_palette_enabled_flag)的值为1，则调色板预测模式标志信息(例如，pred_mode_plt_flag)可以被包括在编码单元语法中，并且可以从编码单元语法解析/发信号通知该信息(例如，pred_mode_plt_flag)。另外，如果调色板编码启用信息(例如，sps_palette_enabled_flag)的值为0，则可以不从编码单元语法解析/发信号通知调色板预测模式标志信息(例如，pred_mode_plt_flag)。
[0314]
另外，例如，如上所述，在sps中所包括的与变换跳过和/或调色板编码相关的信息当中，可以定义对变换跳过启用信息(例如，sps_transform_skip_enabled_flag)和/或调
色板编码启用信息(例如，sps_palette_enabled_flag)有依赖性的信息。
[0315]
作为示例，在sps中，基于变换跳过启用信息(例如，sps_transform_skip_enabled_flag)和/或调色板编码启用信息(例如，sps_palette_enabled_flag)中的至少一个，可以解析/发信号通知与变换跳过模式下的最小允许量化参数相关的最小量化参数信息(例如，min_qp_prime_ts_minus4)。换句话说，基于变换跳过启用信息(例如，sps_transform_skip_enabled_flag)的值为1或者调色板编码启用信息(例如，sps_palette_enabled_flag)的值为1的条件，最小量化参数信息(例如，min_qp_prime_ts_minus4)可以被包括在sps中，并且只有在满足以上条件的情况下，才可以解析/发信号通知最小量化参数信息(例如，min_qp_prime_ts_minus4)。
[0316]
这里，如上所述，最小量化参数信息(例如，min_qp_prime_ts_minus4)可以是与变换跳过模式下的最小允许量化参数相关的信息，并且基于此，可以推导出当前块的量化参数。
[0317]
例如，在对当前块应用变换跳过模式的情况下，可以基于最小量化参数信息(例如，min_qp_prime_ts_minus4)来推导当前块的量化参数，并且可以通过基于量化参数执行反量化处理(缩放处理)来推导反量化变换系数(缩放变换系数)。基于反量化变换系数，可以推导出当前块的残差样本。
[0318]
另外，例如，在对当前块应用调色板编码模式的情况下，可以基于最小量化参数信息(例如，min_qp_prime_ts_minus4)来推导当前块的转义值的量化参数。在这种情况下，可以通过基于量化参数执行反量化(缩放处理)来推导当前块的转义值。基于转义值，可以生成当前块的重构样本。应用调色板编码模式的处理可以如以上表4和表5中公开地执行。
[0319]
解码设备可以基于变换跳过启用信息确定是否对当前块应用变换(s1210)。
[0320]
作为实施方式，如果接收到包括变换跳过启用信息的图像信息，则解码设备可以基于变换跳过启用信息来确定对当前块是应用变换还是变换跳过模式。
[0321]
如上所述，变换跳过启用信息可以是关于是否启用变换跳过的信息，并可以被表示为如表6至表18中公开的sps_transform_skip_enabled_flag语法元素。例如，如果sps_transform_skip_enabled_flag的值为1，则它可以表示启用了变换跳过，并且在这种情况下，可以通过变换单元语法来解析/发信号通知transform_skip_flag。这里，transform_skip_flag语法元素可以表示是否可以对关联变换块应用变换。如果sps_transform_skip_enabled_flag的值为0，则它可以表示不启用变换跳过，并且在这种情况下，可以不在变换单元语法中解析/发信号通知transform_skip_flag。变换跳过启用信息(例如，sps_transform_skip_enabled_flag)可以被包括在sps中，并可以被从编码设备发信号通知给解码设备。即，基于sps中所包括的变换跳过启用信息(例如，sps_transform_skip_enabled_flag)的值为1，变换单元语法可以包括变换跳过标志(例如，transform_skip_flag)。在这种情况下，如果变换单元语法中所包括的变换跳过标志(例如，transform_skip_flag)的值为1，则可以对当前块执行不应用变换的模式(变换跳过模式)。另外，如果变换单元语法中所包括的变换跳过标志(例如，transform_skip_flag)的值为0，则可以对当前块应用变换。
[0322]
例如，如果变换跳过启用信息的值为1(即，针对变换跳过启用信息表示变换跳过被启用)，则解码设备可以确定是否对当前块应用变换。
[0323]
解码设备可以基于是否应用变换以及残差信息来推导残差样本(s1220)。
[0324]
作为实施方式，解码设备可以接收包括残差信息的图像信息。如上所述，残差信息可以包括量化变换系数的值信息、位置信息、变换技术、变换核和量化参数信息。解码设备可以基于残差信息中所包括的量化变换系数信息来推导当前块的量化变换系数，并可以基于量化变换系数来推导变换系数。另外，解码设备可以基于变换系数来推导残差样本。
[0325]
例如，如果变换跳过启用信息的值为1(即，针对变换跳过启用信息表示变换跳过被启用)，则解码设备可以从变换单元语法获得关于是否对当前块应用变换的信息(变换跳过标志)。在这种情况下，解码设备可以基于变换跳过标志信息来推导残差样本。例如，可以对变换跳过标志的值为1的当前块应用变换跳过模式，并且在这种情况下，解码设备可以将变换系数推导为当前块的残差样本。另外，可以对变换跳过标志的值为0的当前块应用变换，并且在这种情况下，解码设备可以通过变换系数的逆变换来推导当前块的残差样本。
[0326]
另外，针对变换跳过标志的值为1的当前块(即，变换跳过模式)，解码设备可以基于最小量化参数信息来推导在反量化处理中使用的量化参数。另外，解码设备可以通过基于量化参数执行反量化处理来推导反量化变换系数，并可以基于反量化变换系数来推导残差样本。
[0327]
这里，如上所述，最小量化参数信息可以是与变换跳过模式下的最小允许量化参数相关的信息，并可以基于变换跳过启用信息(例如，sps_transform_skip_enabled_flag)和/或调色板编码启用信息(例如，sps_palette_enabled_flag)中的至少一者被包括在图像信息(例如，sps)中。例如，基于变换跳过启用信息(例如，sps_transform_skip_enabled_flag)的值为1或者调色板编码启用信息(例如，sps_palette_enabled_flag)的值为1的条件，最小量化参数信息(例如，min_qp_prime_ts_minus4)可以被包括在sps中。即，只有在满足以上条件的情况下，才可以解析/发信号通知最小量化参数信息(例如，min_qp_prime_ts_minus4)。
[0328]
解码设备可以基于残差样本来生成重构样本(s1230)。
[0329]
作为实施方式，解码设备可以基于图像信息中所包括的预测信息(例如，预测模式信息)来确定是对当前块执行帧间预测还是帧内预测，并可以通过按照该确定执行预测来推导当前块的预测样本。另外，解码设备可以基于预测样本和残差样本来生成重构样本。在这种情况下，解码设备可以按照预测模式直接将预测样本用作重构样本，或者可以通过将残差样本与预测样本相加来生成重构样本。另外，解码设备可以基于重构样本来推导重构块或重构图片。此后，在需要时，解码设备可以对重构图片应用诸如去块滤波和/或sao过程这样的环路滤波过程，以便如上所述改进主观/客观图片质量。
[0330]
尽管在上述实施方式中已经基于顺序列出步骤或块的流程图描述了方法，但本文献的步骤不限于特定的顺序，并且特定步骤可以相对于上述步骤在不同的步骤中或以不同的顺序或者同时地执行。另外，本领域的普通技术人员将理解，流程图中的步骤不是排他性的，并且在没有对本公开的范围施加影响的情况下，可以在其中包括另一步骤，或者可以删除流程图中的一个或更多个步骤。
[0331]
根据本公开的以上提到的方法可以是软件的形式，并且根据本公开的编码设备和/或解码设备可以被包括在用于执行图像处理的装置(例如，tv、计算机、智能电话、机顶盒、显示装置等)中。
[0332]
当用软件实现本公开的实施方式时，可以用执行以上提到的功能的模块(处理或功能)实现以上提到的方法。模块可以被存储在存储器中并且由处理器执行。存储器可以安装在处理器的内部或外部，并可以经由各种公知装置连接到处理器。处理器可以包括专用集成电路(asic)、其他芯片集、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(rom)、随机存取存储器(ram)、闪速存储器、存储卡、存储介质和/或其他存储装置。换句话说，根据本公开的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，相应图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下，关于实现方式的信息(例如，关于指令的信息)或算法可以被存储在数字存储介质中。
[0333]
另外，应用本文献的实施方式的解码设备和编码设备可以被包括在多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、便携式摄像机、视频点播(vod)服务提供器、顶置(ott)视频装置、互联网流传输服务提供器、3d视频装置、虚拟现实(vr)装置、增强现实(ar)装置、图像电话视频装置、车载终端(例如，车(包括自主车辆)载终端、飞机终端或轮船终端)和医疗视频装置中；并且可以被用于处理图像信号或数据。例如，ott视频装置可以包括游戏控制台、blueray(蓝光)播放器、联网tv、家庭影院系统、智能手机、平板pc和数字视频记录仪(dvr)。
[0334]
另外，应用本文献的实施方式的处理方法可以以由计算机执行的程序的形式产生，并可以被存储在计算机可读记录介质中。根据本文献的实施方式的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(bd)、通用串行总线(usb)、rom、prom、eprom、eeprom、ram、cd-rom、磁带、软盘和光学数据存储装置。计算机可读记录介质还包括以载波(例如，互联网上的传输)的形式实施的媒体。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线或无线通信网络传输。
[0335]
另外，本文献的实施方式可以基于程序代码被实施为计算机程序产品，并且程序代码可以根据本文献的实施方式在计算机上执行。程序代码可以被存储在计算机可读载体上。
[0336]
图14表示可以应用本文献的实施方式的内容流传输系统的示例。
[0337]
参照图14，应用本文献的实施方式的内容流传输系统可以通常包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户装置和多媒体输入装置。
[0338]
编码服务器用来将从诸如智能电话、照相机、便携式摄像机等这样的多媒体输入装置输入的内容压缩为数字数据，生成比特流，并且将其传送至流传输服务器。作为另一示例，在诸如智能电话、照相机、便携式摄像机等这样的多媒体输入装置直接生成码流的情况下，可省略编码服务器。
[0339]
可通过本文献的实施方式应用于的编码方法或比特流生成方法来生成比特流。并且流传输服务器可在发送或接收比特流的处理中暂时存储比特流。
[0340]
流传输服务器基于用户的请求通过网络服务器向用户设备传送多媒体数据，该网络服务器充当向用户通知存在什么服务的工具。当用户请求用户想要的服务时，网络服务
器将请求转移至流传输服务器，并且流传输服务器将多媒体数据传送至用户。在这方面，内容流系统可包括单独的控制服务器，并且在这种情况下，控制服务器用来控制内容流系统中的各个设备之间的命令/响应。
[0341]
流传输服务器可从媒体存储装置和/或编码服务器接收内容。例如，在从编码服务器接收到内容的情况下，可实时地接收内容。在这种情况下，流传输服务器可将比特流存储预定时间段以流畅地提供流传输服务。
[0342]
例如，用户设备可包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航、板式pc、平板pc、超级本、可穿戴装置(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(hmd))、数字tv、台式计算机、数字标牌等。
[0343]
可将内容流系统中的每个服务器作为分布式服务器操作，并且在这种情况下，可以分布式方式处理由每个服务器接收的数据。
[0344]
本说明书中的权利要求可以以各种方式组合。例如，本说明书的方法权利要求中的技术特征可以组合以在设备中实施或执行，并且设备权利要求中的技术特征可以组合以在方法中实施或执行。此外，方法权利要求和设备权利要求中的技术特征可以组合以在设备中实施或执行。此外，方法权利要求和设备权利要求中的技术特征可以组合以在方法中实施或执行。