基于矩阵帧内预测的图像编码设备和方法与流程

1.本文献涉及基于矩阵帧内预测的图像编码设备和方法。


背景技术：

2.最近，在各种领域中对诸如4k或8k或更高的超高清(uhd)图像/视频的高分辨率、高质量图像/视频的需求已增加。随着图像/视频数据具有高分辨率和高质量，要发送的信息量或比特量相对于现有图像/视频数据增加，因此，使用诸如现有有线/无线宽带线路或现有存储介质的介质发送图像数据或者使用现有存储介质存储图像/视频数据增加了传输成本和存储成本。
3.另外，对诸如虚拟现实(vr)和人工现实(ar)内容或全息图的沉浸式媒体的兴趣和需求最近已增加，并且具有与现实图像不同的特性的图像/视频(例如，游戏图像)的广播已增加。
4.因此，需要非常高效的图像/视频压缩技术来有效地压缩、发送、存储和再现具有如上所述的各种特性的高分辨率、高质量图像/视频的信息。
5.此外，讨论了为了高效帧内预测而在基于矩阵的帧内预测(mip)处理中为具有各种大小的块实现预测的方案。


技术实现要素：

6.技术方案
7.根据本文献的实施方式，提供了一种用于增强图像/视频编码效率的方法和设备。
8.根据本文献的实施方式，提供了高效帧内预测方法和装置。
9.根据本文献的实施方式，提供了高效mip应用方法和装置。
10.根据本文献的实施方式，可根据当前块的类型自适应地选择是否应用mip。
11.根据本文献的实施方式，可在不限制与当前块的类型有关的条件的情况下执行mip处理。
12.根据本文献的实施方式，可根据当前块的类型自适应地选择mip模式的数量。
13.根据本文献的实施方式，可不对mip预测效率相对低的块执行mip处理。
14.根据本文献的实施方式，较少数量的mip模式可用于mip预测效率相对低的块。
15.根据本文献的实施方式，提供了一种由解码设备执行的视频/图像解码方法。
16.根据本文献的实施方式，提供了一种用于执行视频/图像解码的解码设备。
17.根据本文献的实施方式，提供了一种由编码设备执行的视频/图像编码方法。
18.根据本文献的实施方式，提供了一种用于执行视频/图像编码的编码设备。
19.根据本文献的一个实施方式，提供了一种计算机可读数字存储介质，其中存储有根据本文献的至少一个实施方式中公开的视频/图像编码方法生成的编码的视频/图像信息。
20.根据本文献的实施方式，提供了一种计算机可读数字存储介质，其中存储有使得
解码设备执行本文献的至少一个实施方式中公开的视频/图像解码方法的编码的信息或编码的视频/图像信息。
21.有益效果
22.根据本文献的实施方式，总图像/视频压缩效率可增强。
23.根据本文献的实施方式，可通过高效帧内预测增强主观/客观视觉质量。
24.根据本文献的实施方式，可高效地执行用于图像/视频编码的mip处理。
25.根据本文献的实施方式，可不对mip预测效率相对低的块执行mip处理，因此mip预测效率可增强。
26.根据本文献的实施方式，由于较少数量的mip模式用于mip预测效率相对低的块，所以mip模式的传输数据量可减少，并且mip预测效率可增强。
27.根据本文献的实施方式，由于在不限制与当前块的类型有关的条件的情况下执行mip处理，所以信令可简化，并且硬件实现方面存在优点。
附图说明
28.图1示意性地示出可应用于本文献的实施方式的视频/图像编码系统的示例。
29.图2是示意性地说明可应用于本文献的实施方式的视频/图像编码设备的配置的图。
30.图3是示意性地说明可应用于本文献的实施方式的视频/图像解码设备的配置的图。
31.图4示意性地示出本文献的实施方式适用于的基于帧内预测的图像解码方法的示例。
32.图5示出本文献的实施方式适用于的帧内预测模式的示例。
33.图6是说明根据实施方式的生成基于mip的预测样本的处理的图。
34.图7、图8和图9是示出根据本文献的实施方式的mip处理的流程图。
35.图10和图11示意性地示出根据本文献的实施方式的视频/图像编码方法和相关组件的示例。
36.图12和图13示意性地示出根据本文献的实施方式的图像/视频解码方法和相关组件的示例。
37.图14示出本文献中所公开的实施方式适用于的内容流系统的示例。
具体实施方式
38.本文献可按各种形式修改，描述并且在附图中示出其特定实施方式。然而，这些实施方式并非旨在限制本文献。以下描述中使用的术语仅用于描述特定实施方式，而非旨在限制本文献。单数表达包括复数表达，只要清楚地不同阅读即可。诸如“包括”和“具有”的术语旨在指示存在以下描述中使用的特征、数量、步骤、操作、元件、组件或其组合，因此应该理解，不排除存在或添加一个或更多个不同的特征、数量、步骤、操作、元件、组件或其组合的可能性。
39.此外，在本文献中描述的附图中的各个配置为了方便描述不同特性功能而被独立地示出，并不意味着各个配置被实现为单独的硬件或单独的软件。例如，各个组件当中的两
个或更多个组件可被组合以形成一个组件，或者一个组件可被划分成多个组件。各个组件被集成和/或分离的实施方式也被包括在本文献的公开的范围内。
40.本文献涉及视频/图像编码。例如，本文献中公开的方法/实施方式可应用于通用视频编码(vvc)标准、基本视频编码(evc)标准、aomedia video 1(av1)标准、第2代音频视频编码标准(avs2)或下一代视频/图像编码标准(例如，h.267、h.268等)中公开的方法。
41.本文献提出了视频/图像编码的各种实施方式，并且除非另外指明，否则上述实施方式也可彼此组合执行。
42.在本文献中，视频可指随时间的一系列图像。画面通常是指表示特定时间范围的一个图像的单元，切片/拼块是指就编码而言构成画面的一部分的单元。切片/拼块可包括一个或更多个编码树单元(ctu)。一个画面可由一个或更多个切片/拼块组成。一个画面可由一个或更多个拼块组组成。一个拼块组可包括一个或更多个拼块。图块可表示画面中的拼块内的ctu行的矩形区域。拼块可被分割成多个图块，各个图块可由拼块内的一个或更多个ctu行构成。未被分割成多个图块的拼块也可被称为图块。图块扫描可表示分割画面的ctu的特定顺序排序，其中，在图块内的ctu光栅扫描中ctu可排序，并且在拼块的图块的光栅扫描中拼块内的图块可连续地排序，并且在画面的拼块的光栅扫描中画面中的拼块可连续地排序。拼块是画面中的特定拼块列和特定拼块行内的ctu的矩形区域。拼块列是高度等于画面的高度并且宽度由画面参数集中的句法元素指定的ctu的矩形区域。拼块行是高度由画面参数集中的句法元素指定并且宽度等于画面的宽度的ctu的矩形区域。拼块扫描是分割画面的ctu的特定顺序排序，其中在拼块的ctu光栅扫描中ctu连续地排序，而在画面的拼块的光栅扫描中画面中的拼块连续地排序。切片包括可排他地包含在单个nal单元中的画面的整数数量的图块。切片可由多个完整拼块或仅一个拼块的完整图块的连续序列组成。在本文献中，拼块组和切片可代替彼此使用。例如，在本文献中，拼块组/拼块组头可被称为切片/切片头。
43.此外，一个画面可被划分成两个或更多个子画面。子画面可以是画面内的一个或更多个切片的矩形区域。
44.像素或画素可意指构成一个画面(或图像)的最小单元。另外，“样本”可用作与像素对应的术语。样本通常可表示像素或像素值，并且可仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
45.单元可表示图像处理的基本单位。单元可包括画面的特定区域和与该区域有关的信息中的至少一个。一个单元可包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可与诸如块或区域的术语互换使用。在一般情况下，m
×
n块可包括m列和n行的样本(或样本阵列)或变换系数的集合(或阵列)。另选地，样本可意指空间域中的像素值，并且当这种像素值被变换至频域时，其可意指频域中的变换系数。
46.在本文献中，“a或b”可意指“仅a”、“仅b”或“a和b二者”。换言之，本文献中的“a或b”可被解释为“a和/或b”。例如，在本文献中，“a、b或c(a,b或c)”意指“仅a”、“仅b”、“仅c”或“a、b和c的任何组合”。
47.本文献中使用的斜线(/)或顿号(、)可意指“和/或”。例如，“a/b”可意指“a和/或b”。因此，“a/b”可意指“仅a”、“仅b”或“a和b二者”。例如，“a、b、c”可意指“a、b或c”。
48.在本文献中，“a和b中的至少一个”可意指“仅a”、“仅b”或“a和b二者”。另外，在本
文献中，表达“a或b中的至少一个”或“a和/或b中的至少一个”可与“a和b中的至少一个”相同地解释。
49.另外，在本文献中，“a、b和c中的至少一个”意指“仅a”、“仅b”、“仅c”或“a、b和c的任何组合”。另外，“a、b或c中的至少一个”或“a、b和/或c中的至少一个”可意指“a、b和c中的至少一个”。
50.另外，本文献中使用的括号可意指“例如”。具体地，当指示“预测(帧内预测)”时，可提议“帧内预测”作为“预测”的示例。换言之，本文献中的“预测”不限于“帧内预测”，可提议“帧内预测”作为“预测”的示例。另外，即使当指示“预测(即，帧内预测)”时，也可提议“帧内预测”作为“预测”的示例。
51.在本文献中在一张图中单独描述的技术特性可单独地实现或同时实现。
52.以下，参照附图详细描述本实施方式的示例。另外，相似的标号用于贯穿附图指示相似的元件，并且省略关于相似元件的相同描述。
53.图1示出可应用本文献的实施方式的视频/图像编码系统的示例。
54.参照图1，视频/图像编码系统可包括第一装置(源装置)和第二装置(接收装置)。源装置可通过数字存储介质或网络将编码的视频/图像信息或数据以文件或流的形式发送到接收装置。
55.源装置可包括视频源、编码设备和发送器。接收装置可包括接收器、解码设备和渲染器。编码设备可被称为视频/图像编码设备，解码设备可被称为视频/图像解码设备。发送器可被包括在编码设备中。接收器可被包括在解码设备中。渲染器可包括显示器，并且显示器可被配置为单独的装置或外部组件。
56.视频源可通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可包括视频/图像捕获装置和/或视频/图像生成装置。例如，视频/图像捕获装置可包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可包括计算机、平板计算机和智能电话，并且可(以电子方式)生成视频/图像。例如，可通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可由生成相关数据的处理代替。
57.编码设备可对输入视频/图像进行编码。为了压缩和编码效率，编码设备可执行诸如预测、变换和量化的一系列处理。编码的数据(编码的视频/图像信息)可按比特流的形式输出。
58.发送器可通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流的形式发送到接收装置的接收器。数字存储介质可包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。发送器可包括用于通过预定文件格式生成媒体文件的元件，并且可包括用于通过广播/通信网络传输的元件。接收器可接收/提取比特流并将所接收的比特流发送到解码设备。
59.解码设备可通过执行与编码设备的操作对应的诸如解量化、逆变换和预测的一系列处理将视频/图像解码。
60.渲染器可渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。
61.图2是示意性地示出可应用本文献的实施方式的视频/图像编码设备的配置的图。以下，所谓的视频编码设备可包括图像编码设备。另外，图像编码方法/设备可包括视频编
码方法/设备。另选地，视频编码方法/设备可包括图像编码方法/设备。
62.参照图2，编码设备200包括图像分割器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可包括帧间预测器221和帧内预测器222。残差处理器230可包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230还可包括减法器231。加法器250可被称为重构器或重构块生成器。根据实施方式，图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可由至少一个硬件组件(例如，编码器芯片组或处理器)配置。另外，存储器270可包括解码画面缓冲器(dpb)，或者可由数字存储介质配置。硬件组件还可包括存储器270作为内部/外部组件。
63.图像分割器210可将输入到编码设备200的输入图像(或者画面或帧)分割成一个或更多个处理器。例如，处理器可被称为编码单元(cu)。在这种情况下，编码单元可根据四叉树二叉树三叉树(qtbttt)结构从编码树单元(ctu)或最大编码单元(lcu)递归地分割。例如，一个编码单元可基于四叉树结构、二叉树结构和/或三元结构被分割成深度更深的多个编码单元。在这种情况下，例如，可首先应用四叉树结构，稍后可应用二叉树结构和/或三元结构。另选地，可首先应用二叉树结构。可基于不再分割的最终编码单元来执行根据本公开的编码处理。在这种情况下，根据图像特性基于编码效率，最大编码单元可用作最终编码单元，或者如果需要，编码单元可被递归地分割成深度更深的编码单元并且具有最优大小的编码单元可用作最终编码单元。这里，编码处理可包括预测、变换和重构的处理(稍后描述)。作为另一示例，处理器还可包括预测单元(pu)或变换单元(tu)。在这种情况下，预测单元和变换单元可从上述最终编码单元拆分或分割。预测单元可以是样本预测的单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
64.在一些情况下，单元可与诸如块或区域的术语互换使用。在一般情况下，m
×
n块可表示由m列和n行组成的样本或变换系数的集合。样本通常可表示像素或像素值，可仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可用作与像素或画素的一个画面(或图像)对应的术语。
65.在编码设备200中，从输入图像信号(原始块、原始样本阵列)减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所示，在编码器200中从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可被称为减法器231。预测器可对要处理的块(以下，称为当前块)执行预测并且生成包括当前块的预测样本的预测块。预测器可确定基于当前块或cu应用帧内预测还是帧间预测。如在各个预测模式的描述中稍后描述的，预测器可生成与预测有关的各种类型的信息(例如，预测模式信息)并将所生成的信息发送到熵编码器240。关于预测的信息可在熵编码器240中编码并以比特流的形式输出。
66.帧内预测器222可参考当前画面中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。例如，非定向模式可包括dc模式和平面模式。例如，根据预测方向的详细程度，定向模式可包括33个定向预测模式或65个定向预测模式。然而，这仅是示例，可根据设置使用更多或更少的定向预测模式。帧内预测器222可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
67.帧间预测器221可基于参考画面上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动向量和参考画面索引。运动信息还可包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可相同或不同。时间邻近块可被称为并置参考块、并置cu(colcu)等，并且包括时间邻近块的参考画面可被称为并置画面(colpic)。例如，帧间预测器221可基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动向量和/或参考画面索引的信息。可基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，可不发送残差信号。在运动向量预测(mvp)模式的情况下，邻近块的运动向量可用作运动向量预测器，并且可通过用信号通知运动向量差来指示当前块的运动向量。
68.预测器220可基于下面描述的各种预测方法来生成预测信号。例如，预测器可不仅应用帧内预测或帧间预测以预测一个块，而且同时应用帧内预测和帧间预测二者。这可被称为组合帧间和帧内预测(ciip)。另外，预测器可基于帧内块复制(ibc)预测模式或调色板模式来预测块。ibc预测模式或调色板模式可用于游戏等的内容图像/视频编码，例如屏幕内容编码(scc)。ibc基本上在当前画面中执行预测，但是可与帧间预测相似地执行，使得在当前画面中推导参考块。即，ibc可使用本公开中描述的至少一个帧间预测技术。调色板模式可被视为帧内编码或帧内预测的示例。当应用调色板模式时，可基于关于调色板表和调色板索引的信息用信号通知画面内的样本值。
69.由预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可用于生成重构信号或生成残差信号。变换器232可通过对残差信号应用变换技术来生成变换系数。例如，变换技术可包括离散余弦变换(dct)、离散正弦变换(dst)、karhunen-lo
è
ve变换(klt)、基于图形的变换(gbt)或条件非线性变换(cnt)中的至少一个。这里，当像素之间的关系信息由图形表示时，gbt意指从图形获得的变换。cnt是指基于使用所有先前重构的像素生成的预测信号生成的变换。另外，变换处理可应用于具有相同大小的正方形像素块或者可应用于正方形以外的具有可变大小的块。
70.量化器233可将变换系数量化并将它们发送到熵编码器240，并且熵编码器240可对量化的信号(关于量化的变换系数的信息)进行编码并输出比特流。关于量化的变换系数的信息可被称为残差信息。量化器233可基于系数扫描顺序将块类型量化的变换系数重排为一维向量形式，并且基于一维向量形式的量化的变换系数来生成关于量化的变换系数的信息。可生成关于变换系数的信息。熵编码器240可执行例如指数golomb、上下文自适应可变长度编码(cavlc)、上下文自适应二进制算术编码(cabac)等的各种编码方法。熵编码器240可对量化的变换系数以外的视频/图像重构所需的信息(例如，句法元素的值等)一起或单独地进行编码。编码的信息(例如，编码的视频/图像信息)可按比特流的形式以nal(网络抽象层)为单位发送或存储。视频/图像信息还可包括关于各种参数集的信息，例如自适应参数集(aps)、画面参数集(pps)、序列参数集(sps)或视频参数集(vps)。另外，视频/图像信息还可包括一般约束信息。在本公开中，从编码设备发送/用信号通知给解码设备的信息
和/或句法元素可被包括在视频/画面信息中。视频/图像信息可通过上述编码处理编码并被包括在比特流中。比特流可经由网络发送或者可被存储在数字存储介质中。网络可包括广播网络和/或通信网络，并且数字存储介质可包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。发送从熵编码器240输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)可被包括作为编码设备200的内部/外部元件，并且另选地，发送器可被包括在熵编码器240中。
71.从量化器233输出的量化的变换系数可用于生成预测信号。例如，可通过经由解量化器234和逆变换器235对量化的变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。加法器250将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加以生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块不存在残差(例如，应用跳过模式的情况)，则预测块可用作重构块。加法器250可被称为重构器或重构块生成器。如下所述，所生成的重构信号可用于当前画面中要处理的下一块的帧内预测并且可通过滤波用于下一画面的帧间预测。
72.此外，可在画面编码和/或重构期间应用与色度缩放的亮度映射(lmcs)。
73.滤波器260可通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器260可通过对重构画面应用各种滤波方法来生成修改的重构画面并将修改的重构画面存储在存储器270(具体地，存储器270的dpb)中。例如，各种滤波方法可包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可生成与滤波有关的各种类型的信息并且将所生成的信息发送到熵编码器240，如在各个滤波方法的描述中稍后描述的。与滤波有关的信息可由熵编码器240编码并以比特流的形式输出。
74.发送到存储器270的修改的重构画面可用作帧间预测器221中的参考画面。当通过编码设备应用帧间预测时，可避免编码设备200与解码设备300之间的预测失配并且编码效率可改进。
75.存储器270dpb的dpb可存储用作帧间预测器221中的参考画面的修改的重构画面。存储器270可存储推导(或编码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。所存储的运动信息可被发送到帧间预测器221并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可存储当前画面中的重构块的重构样本并且可将重构样本传送至帧内预测器222。
76.图3是示出可应用本公开的实施方式的视频/图像解码设备的配置的示意图。另外，图像解码方法/设备可包括视频解码方法/设备。另选地，视频解码方法/设备可包括图像解码方法/设备。
77.参照图3，解码设备300可包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可包括帧间预测器331和帧内预测器332。残差处理器320可包括解量化器321和逆变换器321。根据实施方式，熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可由硬件组件(例如，解码器芯片组或处理器)配置。另外，存储器360可包括解码画面缓冲器(dpb)或者可由数字存储介质配置。硬件组件还可包括存储器360作为内部/外部组件。
78.当输入包括视频/图像信息的比特流时，解码设备300可重构与在图2的编码设备中处理视频/图像信息的处理对应的图像。例如，解码设备300可基于从比特流获得的块分
割相关信息来推导单元/块。解码设备300可使用编码设备中应用的处理器来执行解码。因此，例如，解码的处理器可以是编码单元，并且编码单元可根据四叉树结构、二叉树结构和/或三叉树结构从编码树单元或最大编码单元分割。可从编码单元推导一个或更多个变换单元。通过解码设备300解码和输出的重构的图像信号可通过再现设备再现。
79.解码设备300可接收从图2的编码设备以比特流的形式输出的信号，并且所接收的信号可通过熵解码器310解码。例如，熵解码器310可解析比特流以推导图像重构(或画面重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可包括关于各种参数集的信息，例如自适应参数集(aps)、画面参数集(pps)、序列参数集(sps)或视频参数集(vps)。另外，视频/图像信息还可包括一般约束信息。解码设备还可基于关于参数集的信息和/或一般约束信息将画面解码。本公开中稍后描述的用信号通知/接收的信息和/或句法元素可通过解码处理解码并从比特流获得。例如，熵解码器310基于诸如指数golomb编码、cavlc或cabac的编码方法对比特流中的信息进行解码，并且输出图像重构所需的句法元素和残差的变换系数的量化值。更具体地，cabac熵解码方法可接收与比特流中的各个句法元素对应的信元(bin)，使用解码目标句法元素信息、解码目标块的解码信息或在先前阶段中解码的符号/信元的信息来确定上下文模型，并且通过根据所确定的上下文模型预测信元出现的概率对信元执行算术解码，并且生成与各个句法元素的值对应的符号。在这种情况下，cabac熵解码方法可在确定上下文模型之后通过将解码的符号/信元的信息用于下一符号/信元的上下文模型来更新上下文模型。熵解码器310所解码的信息当中与预测有关的信息可被提供给预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310中执行了熵解码的残差值(即，量化的变换系数和相关参数信息)可被输入到残差处理器320。残差处理器320可推导残差信号(残差块、残差样本、残差样本阵列)。另外，熵解码器310所解码的信息当中关于滤波的信息可被提供给滤波器350。此外，用于接收从编码设备输出的信号的接收器(未示出)还可被配置成解码设备300的内部/外部元件，或者接收器可以是熵解码器310的组件。此外，根据本公开的解码设备可被称为视频/图像/画面解码设备，并且解码设备可被分类为信息解码器(视频/图像/画面信息解码器)和样本解码器(视频/图像/画面样本解码器)。信息解码器可包括熵解码器310，并且样本解码器可包括解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
80.解量化器321可将量化的变换系数解量化并输出变换系数。解量化器321可按二维块形式重排量化的变换系数。在这种情况下，可基于在编码设备中执行的系数扫描顺序来执行重排。解量化器321可使用量化参数(例如，量化步长信息)对量化的变换系数执行解量化并且获得变换系数。
81.逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本阵列)。
82.预测器可对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且可确定特定帧内/帧间预测模式。
83.预测器320可基于下述各种预测方法来生成预测信号。例如，预测器不仅可应用帧内预测或帧间预测以预测一个块，而且可同时应用帧内预测和帧间预测。这可被称为组合帧间和帧内预测(ciip)。另外，预测器可基于帧内块复制(ibc)预测模式或调色板模式来预测块。ibc预测模式或调色板模式可用于游戏等的内容图像/视频编码，例如屏幕内容编码
(scc)。ibc基本上执行当前画面中的预测，但是可与帧间预测相似地执行，使得在当前画面中推导参考块。即，ibc可使用本公开中描述的至少一种帧间预测技术。调色板模式可被视为帧内编码或帧内预测的示例。当应用调色板模式时，可基于关于调色板表和调色板索引的信息用信号通知画面内的样本值。
84.帧内预测器331可参考当前画面中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。帧内预测器331可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
85.帧间预测器332可基于参考画面上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动向量和参考画面索引。运动信息还可包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。例如，帧间预测器332可基于邻近块来配置运动信息候选列表并且基于所接收的候选选择信息来推导当前块的运动向量和/或参考画面索引。可基于各种预测模式来执行帧间预测，并且关于预测的信息可包括指示当前块的帧间预测模式的信息。
86.加法器340可通过将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块不存在残差，例如当应用跳过模式时，预测块可用作重构块。
87.加法器340可被称为重构器或重构块生成器。所生成的重构信号可用于当前画面中要处理的下一块的帧内预测，可如下所述通过滤波输出，或者可用于下一画面的帧间预测。
88.此外，可在画面解码处理中应用与色度缩放的亮度映射(lmcs)。
89.滤波器350可通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器350可通过对重构画面应用各种滤波方法来生成修改的重构画面并且将修改的重构画面存储在存储器360(具体地，存储器360的dpb)中。例如，各种滤波方法可包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
90.存储在存储器360的dpb中的(修改的)重构画面可用作帧间预测器332中的参考画面。存储器360可存储推导(或解码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。所存储的运动信息可被发送到帧间预测器260以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可存储当前画面中的重构块的重构样本并将重构样本传送至帧内预测器331。
91.在本文献中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可与解码设备300的滤波器350、帧间预测器332和帧内预测器331相同或分别与之对应应用。这也可适用于单元332和帧内预测器331。
92.如上所述，在视频编码中，执行预测以增加压缩效率。由此，可生成包括当前块(要编码的块)的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。预测
块从编码装置和解码装置相同地推导，并且编码装置对关于原始块与预测块之间的残差的信息(残差信息)而非原始块的原始样本值本身进行解码。通过用信号通知装置，图像编码效率可增加。解码设备可基于残差信息来推导包括残差样本的残差块，并且通过对残差块和预测块求和来生成包括重构样本的重构块，并且生成包括重构块的重构画面。
93.残差信息可通过变换处理和量化处理来生成。例如，编码设备可推导原始块与预测块之间的残差块，并且对包括在残差块中的残差样本(残差样本阵列)执行变换处理以推导变换系数，然后，通过对变换系数执行量化处理，推导量化的变换系数，以将残差相关信息(经由比特流)用信号通知给解码设备。这里，残差信息可包括位置信息、变换技术、变换核和量化参数、量化的变换系数的值信息等。解码设备可基于残差信息来执行解量化/逆变换处理并推导残差样本(或残差块)。解码设备可基于预测块和残差块来生成重构画面。编码设备还可对供稍后画面的帧间预测参考的量化的变换系数进行解量化/逆变换以推导残差块，并且基于其来生成重构画面。
94.在本文献中，量化/解量化和/或变换/逆变换中的至少一个可被省略。当量化/解量化被省略时，量化的变换系数可被称为变换系数。当变换/逆变换被省略时，变换系数可被称为系数或残差系数，或者为了表达的一致性，仍可称为变换系数。
95.在本文献中，量化的变换系数和变换系数可分别被称为变换系数和缩放的变换系数。在这种情况下，残差信息可包括关于变换系数的信息，并且关于变换系数的信息可通过残差编码句法用信号通知。变换系数可基于残差信息(或关于变换系数的信息)来推导，缩放的变换系数可通过对变换系数的逆变换(缩放)来推导。残差样本可基于缩放的变换系数的逆变换(变换)来推导。这也可在本文献的其它部分中应用/表达。
96.编码设备/解码设备的预测器可通过以块为单位执行帧间预测来推导预测样本。帧间预测可以是以取决于当前画面以外的画面的数据元素(例如，样本值或运动信息)的方式推导的预测。当对当前块应用帧间预测时，可基于参考画面索引所指示的参考画面上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块(预测样本阵列)。这里，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测当前块的运动信息。运动信息可包括运动向量和参考画面索引。运动信息还可包括帧间预测类型(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可相同或不同。时间邻近块可被称为并置参考块、并置cu(colcu)等，并且包括时间邻近块的参考画面可被称为并置画面(colpic)。例如，可基于当前块的邻近块来配置运动信息候选列表，并且可用信号通知指示选择(使用)哪一候选的标志或索引信息以推导当前块的运动向量和/或参考画面索引。可基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，当前块的运动信息可与邻近块的运动信息相同。在跳过模式下，与合并模式不同，可不发送残差信号。在运动向量预测(mvp)模式的情况下，所选邻近块的运动向量可用作运动向量预测器，并且可用信号通知当前块的运动向量。在这种情况下，可使用运动向量预测器与运动向量差之和来推导当前块的运动向量。
97.根据帧间预测类型(l0预测、l1预测、bi预测等)，运动信息可包括l0运动信息和/或l1运动信息。l0方向上的运动向量可被称为l0运动向量或mvl0，l1方向上的运动向量可
被称为l1运动向量或mvl1。基于l0运动向量的预测可被称为l0预测，基于l1运动向量的预测可被称为l1预测，基于l0运动向量和l1运动向量二者的预测可被称为双预测。这里，l0运动向量可指示与参考画面列表l0(l0)关联的运动向量，l1运动向量可指示与参考画面列表l1(l1)关联的运动向量。参考画面列表l0可包括按输出顺序比当前画面早的画面作为参考画面，参考画面列表l1可包括按输出顺序比当前画面晚的画面。先前画面可被称为前向(参考)画面，后续画面可被称为后向(参考)画面。参考画面列表l0还可包括按输出顺序比当前画面晚的画面作为参考画面。在这种情况下，先前画面可在参考画面列表l0中首先进行索引，后续画面可稍后进行索引。参考画面列表l1还可包括按输出顺序比当前画面早的先前画面作为参考画面。在这种情况下，后续画面可在参考画面列表1中首先进行索引，先前画面可稍后进行索引。输出顺序可对应于画面顺序计数(poc)顺序。
98.此外，在执行帧内预测的情况下，可使用样本之间的相关性，并且可获得原始块和预测块之间的差(即，残差)。上述变换和量化可应用于残差，并且由此，可去除空间冗余。以下，将详细描述使用帧内预测的编码方法和解码方法。
99.帧内预测意指基于包括当前块的画面(以下，当前画面)中的当前块之外的参考样本来生成当前块的预测样本的预测。这里，当前块之外的参考样本可被称为位于当前块周围的样本。在帧内预测应用于当前块的情况下，可推导要用于当前块的帧内预测的邻近参考样本。
100.例如，在当前块的大小(宽度
×
高度)为nw
×
nh的情况下，当前块的邻近参考样本可包括与当前块的左边界相邻的样本和总共2
×
nh个左下邻近样本、与当前块的上边界相邻的样本和总共2
×
nw个右上邻近样本以及当前块的一个左上邻近样本。此外，当前块的邻近参考样本可包括多列的上邻近样本和多行的左邻近样本。此外，当前块的邻近参考样本可包括与大小为nw
×
nh的当前块的右边界相邻的总共nh个样本、与当前块的下边界相邻的总共nw个样本以及当前块的一个右下邻近样本。
101.然而，当前块的一些邻近参考样本可能还未编码，或者可能尚不可用。在这种情况下，解码设备可通过用可用样本代替不可用样本来配置要用于预测的邻近参考样本。此外，解码设备可通过可用样本的插值来配置要用于预测的邻近参考样本。
102.在推导邻近参考样本的情况下，(i)可基于当前块的邻近参考样本的平均或插值来导出预测样本，或者(ii)可基于当前块的邻近参考样本当中的相对于预测样本存在于特定(预测)方向上的参考样本来导出预测样本。(i)的情况可在帧内预测模式是非定向模式或非角模式的情况下应用，(ii)的情况可在帧内预测模式是定向模式或角模式的情况下应用。
103.此外，可通过邻近参考样本当中的基于当前块的预测样本位于当前块的帧内预测模式的预测方向上的第一邻近样本与位于预测方向的相反方向上的第二邻近样本之间的插值来生成预测样本。上述情况可被称为线性插值帧内预测(lip)。此外，可使用线性模型基于亮度样本来生成色度预测样本。这种情况可被称为lm模式。
104.此外，可通过基于滤波的邻近参考样本推导当前块的临时预测样本并执行临时预测样本与现有邻近参考样本当中的根据帧内预测模式推导的至少一个参考样本(即，非滤波的邻近参考样本)的加权和来推导当前块的预测样本。上述情况可被称为位置相关帧内预测(pdpc)。
105.此外，帧内预测编码可按照这样的方法来执行：通过在当前块的邻近多参考样本行当中选择对应行来使用具有最高预测精度的参考样本行中的位于预测方向上的参考样本推导预测样本，并且向解码设备指示(用信号通知)此时使用的参考样本行。上述情况可被称为多参考行(mrl)帧内预测或基于mrl的帧内预测。
106.此外，在通过将当前块划分为垂直或水平子分区基于相同的帧内预测模式执行帧内预测时，邻近参考样本可以子分区为单位推导和使用。即，当前块的帧内预测模式可等同地应用于子分区，并且在这种情况下，由于邻近参考样本以子分区为单位推导和使用，所以在一些情况下帧内预测性能可增强。这种预测方法可被称为帧内子分区(isp)或基于isp的帧内预测。
107.区别于帧内预测模式，上述帧内预测方法可被称为帧内预测类型。帧内预测类型可被称为诸如帧内预测技术或附加帧内预测模式的各种术语。例如，如上所述，帧内预测类型(或附加帧内预测模式)可包括lip、pdpc、mrl和isp中的至少一个。除了诸如lip、pdpc、mrl或isp的特定帧内预测类型之外的一般帧内预测方法可被称为正常帧内预测类型。在不应用上述特定帧内预测类型的情况下，通常可应用正常帧内预测类型，并且可基于上述帧内预测模式执行预测。此外，根据需要，可执行对推导的预测样本的后滤波。
108.此外，除了上述帧内预测类型之外，基于矩阵的帧内预测(以下，mip)可用作帧内预测的一个方法。mip可被称为仿射线性加权帧内预测(alwip)或矩阵加权帧内预测(nwip)。
109.在mip应用于当前块的情况下，i)使用已执行平均处理的邻近参考样本，ii)可执行矩阵向量乘法处理，并且iii)根据需要，可通过进一步执行水平/垂直插值处理来推导当前块的预测样本。用于mip的帧内预测模式可以是上述lip、pdpc、mrl或isp帧内预测，但是可与正常帧内预测中使用的帧内预测模式不同地配置。
110.mip的帧内预测模式可被称为“仿射线性加权帧内预测模式”或基于矩阵的帧内预测模式。例如，根据mip的帧内预测模式，可不同地配置矩阵向量乘法中使用的矩阵和偏移。这里，矩阵可被称为(仿射)权重矩阵，偏移可被称为(仿射)偏移向量或(仿射)偏置向量。在本文献中，mip的帧内预测模式可被称为mip帧内预测模式、线性加权帧内预测模式、矩阵加权帧内预测模式或基于矩阵的帧内预测模式。详细mip方法将稍后描述。
111.已准备以下附图以说明本文献的详细示例。由于附图中描述的详细装置的名称、详细术语或名称(例如，句法的名称)是示例性呈现的，所以本文献的技术特征不限于以下附图中使用的详细名称。
112.编码设备可推导预测信息。具体地，预测信息可由帧内预测器222推导，并且可由熵编码器240编码。
113.编码设备(帧内预测器222)可对当前块执行帧内预测。编码设备可推导当前块的帧内预测模式/类型，推导当前块的邻近参考样本，并且基于帧内预测模式/类型和邻近参考样本来生成当前块中的预测样本。这里，确定帧内预测模式/类型、推导邻近参考样本和生成预测样本的处理可同时执行，任一个处理可在其它处理之前执行。
114.编码设备可执行预测样本滤波处理。预测样本滤波可被称为后滤波。一些或所有预测样本可通过预测样本滤波处理来滤波。根据情况，可省略预测样本滤波处理。
115.编码设备基于(滤波的)预测样本来生成当前块的残差样本。编码设备可通过当前
块的预测样本与原始样本基于相位的比较来推导残差样本。残差样本的推导可由编码设备的残差处理器230执行。
116.编码设备可对包括关于帧内预测的信息(预测信息)和关于残差样本的残差信息的图像信息进行编码。预测信息可包括帧内预测模式信息和帧内预测类型信息。残差信息可包括残差编码句法。残差信息可由残差处理器230推导，并且可由熵编码器240编码。残差信息是关于残差样本的信息。残差信息可包括关于残差样本的量化变换系数的信息。如上所述，残差样本可通过编码设备的变换器被推导为变换系数，并且可通过量化器被推导为量化变换系数。关于量化变换系数的信息可由熵编码器240通过残差编码处理编码。
117.编码设备可按比特流的形式输出编码的图像信息。输出比特流可通过存储介质或网络被传送至解码设备。
118.如上所述，编码设备可生成重构画面(包括重构样本和重构块)。为此，编码设备可通过再次执行量化变换系数的解量化/逆变换来推导(修改的)残差样本。残差样本在变换/量化之后被再次解量化/逆变换的原因是为了推导与解码设备如上所述推导的残差样本相同的残差样本。编码设备可基于预测样本和(修改的)残差样本来生成包括当前块的重构样本的重构块。基于重构块，可生成当前画面的重构画面。如上所述，环路内滤波处理可进一步应用于重构画面。
119.图4示意性地示出本文献的实施方式适用于的基于帧内预测的图像解码方法的示例。
120.参照图4，解码设备可执行与编码设备所执行的上述操作对应的操作。s400至s420可由解码设备的帧内预测器331执行，并且s400中的预测信息和s430中的残差信息可由解码设备的熵解码器310从比特流获得。解码设备的残差处理器320可基于残差信息来推导当前块的残差样本。具体地，残差处理器320的解量化器321可通过基于根据残差信息推导的量化变换系数执行解量化来推导变换系数，并且残差处理器的逆变换器322可通过对变换系数进行逆变换来推导当前块的残差样本。s440可由解码设备的加法器340或重构器执行。
121.解码设备可基于所接收的预测信息(帧内预测模式/类型信息)来推导当前块的帧内预测模式/类型(s400)。解码设备可推导当前块的邻近参考样本(s410)。解码设备基于帧内预测模式/类型和邻近参考样本来生成当前块中的预测样本(s420)。在这种情况下，解码设备可执行预测样本滤波处理。预测样本滤波可被称为后滤波。一些或所有预测样本可通过预测样本滤波处理来滤波。在一些情况下可省略预测样本滤波处理。
122.解码设备基于所接收的残差信息来生成当前块的残差样本(s430)。解码设备可基于预测样本和残差样本来生成当前块的重构样本，并且推导包括重构样本的重构块(s440)。可基于重构块生成当前画面的重构画面。如上所述，环路内滤波处理等可进一步应用于重构画面。
123.例如，帧内预测模式信息可包括指示最可能模式(mpm)是否应用于当前块或者是否应用剩余模式的标志信息(例如，intra_luma_mpm_flag)。此时，如果mpm应用于当前块，则预测模式信息还可包括指示帧内预测模式候选(mpm候选)之一的索引信息(例如，intra_luma_mpm_idx)。帧内预测模式候选(mpm候选)可由mpm候选列表或mpm列表组成。此外，如果mpm未应用于当前块，则帧内预测模式信息还可包括指示帧内预测模式候选(mpm候选)以外的剩余帧内预测模式之一的剩余模式信息(例如，intra_luma_mpm_remainder)。解码设备
可基于帧内预测模式信息来确定当前块的帧内预测模式。
124.此外，帧内预测类型信息可按各种形式实现。作为示例，帧内预测类型信息可包括指示帧内预测类型之一的帧内预测类型索引信息。作为另一示例，帧内预测类型信息可包括指示mrl是否应用于当前块以及如果应用mrl则使用哪一参考样本行的参考样本行信息(例如，intra_luma_ref_idx)、指示isp是否应用于当前块的isp标志信息(例如，intra_subpartitions_mode_flag)、如果应用isp则指示子分区的拆分类型的isp类型信息(例如，intra_subpartitions_split_flag)、指示是否应用pdcp的标志信息或者指示是否应用lip的标志信息中的至少一个。此外，帧内预测类型信息可包括指示mip是否应用于当前块的mip标志。
125.上述帧内预测模式信息和/或帧内预测类型信息可通过本文献中描述的编码方法来编码/解码。例如，上述帧内预测模式信息和/或帧内预测类型信息可基于截断(莱斯(rice))二进制码通过熵编码(例如，cabac、cavlc)来编码/解码。
126.此外，在应用帧内预测的情况下，应用于当前块的帧内预测模式可使用邻近块的帧内预测模式来确定。例如，解码设备可基于所接收的mpm索引在基于当前块的邻近块(例如，左和/或上邻近块)的帧内预测模式推导的最可能模式(mpm)列表和附加候选模式中选择mpm候选之一，或者可基于剩余帧内预测模式信息选择未包括在mpm候选(和平面模式)中的剩余帧内预测模式之一。mpm列表可被构造为包括或不包括平面模式作为候选。例如，如果mpm列表包括平面模式作为候选，则mpm列表可具有6个候选，而如果mpm列表不包括平面模式作为候选，则mpm列表可具有5个候选。如果mpm列表不包括平面模式作为候选，则可用信号通知指示当前块的帧内预测模式是否不是平面模式的非平面标志(例如，intra_luma_not_planar_flag)。例如，可首先用信号通知mpm标志，并且当mpm标志的值为1时，可用信号通知mpm索引和非平面标志。此外，当非平面标志的值为1时，可用信号通知mpm索引。这里，不包括平面模式作为候选的mpm列表的构造是为了首先通过首先用信号通知标志(非平面标志)来标识帧内预测模式是否是平面模式，因为平面模式始终被视为mpm，而非平面模式不是mpm。
127.例如，可基于mpm标志(例如，intra_luma_mpm_flag)来指示应用于当前块的帧内预测模式是在mpm候选(平面模式)中还是剩余模式中。mpm标志值1可表示当前块的帧内预测模式在mpm候选(和平面模式)中，mpm标志值0可表示当前块的帧内预测模式不在mpm候选(和平面模式)中。非平面标志(例如，intra_luma_not_planar_flag)值0可表示当前块的帧内预测模式是平面模式，非平面标志值1可表示当前块的帧内预测模式不是平面模式。mpm索引可按mpm_idx或intra_luma_mpm_idx句法元素的形式用信号通知，剩余帧内预测模式信息可按rem_intra_luma_pred_mode或intra_luma_mpm_remainder句法元素的形式用信号通知。例如，剩余帧内预测模式信息可按照其预测模式编号的顺序对全部帧内预测模式当中的未包括在mpm候选(和平面模式)中的剩余帧内预测模式进行索引，并且可指示它们中的一个。帧内预测模式可以是亮度分量(样本)的帧内预测模式。以下，帧内预测模式信息可包括mpm标志(例如，intra_luma_mpm_flag)、非平面标志(例如，intra_luma_not_planar_flag)、mpm索引(例如，mpm_idx或intra_luma_mpm_idx)和剩余帧内预测模式信息(rem_intra_luma_pred_mode或intra_luma_mpm_remainder)中的至少一个。在本文献中，mpm列表可被称为诸如mpm候选列表、候选模式列表(candmodellist)和候选帧内预测模式
列表的各种术语。
128.通常，当图像的块被拆分时，要编码的当前块和邻近块具有相似的图像性质。因此，当前块和邻近块很可能具有相同或相似的帧内预测模式。因此，编码器可使用邻近块的帧内预测模式来对当前块的帧内预测模式进行编码。例如，编码器/解码器可构成当前块的最可能模式(mpm)列表。mpm列表也可被称为mpm候选列表。这里，mpm可意指用于在对帧内预测模式进行编码时考虑当前块和邻近块之间的相似度来改进编码效率的模式。
129.图5示出本文献的实施方式适用于的帧内预测模式的示例。
130.参照图5，在具有左上对角预测方向的第34帧内预测模式附近，模式可被分成具有水平方向性的帧内预测模式和具有垂直方向性的帧内预测模式。在图5中，h和v分别意指水平方向性和垂直方向性。数字-32至32中的每一个指示样本网格位置上1/32单位的位移。第2至33帧内预测模式具有水平方向性，第34至66帧内预测模式具有垂直方向性。第18帧内预测模式和第50帧内预测模式分别指示水平帧内预测模式和垂直帧内预测模式。第2帧内预测模式可被称为左下对角帧内预测模式，第34帧内预测模式可被称为左上对角帧内预测模式，第66帧内预测模式可被称为右上对角帧内预测模式。
131.此外，上述mip中使用的帧内预测模式不是现有定向模式，而是可指示用于帧内预测的矩阵和偏移。即，可通过mip的帧内模式来推导帧内预测的矩阵和偏移。在这种情况下，在推导帧内模式以用于生成上述典型帧内预测或mpm列表的情况下，通过mip预测的块的帧内预测模式可被配置为预先配置的模式，例如平面模式或dc模式。此外，根据另一示例，mip的帧内模式可基于块大小映射在平面模式、dc模式或定向帧内模式上。
132.以下，作为帧内预测的一个方法，将描述基于矩阵的帧内预测(以下，mip)。
133.如上所述，基于矩阵的帧内预测可被称为仿射线性加权帧内预测(alwip)或矩阵加权帧内预测(mwip)。为了预测具有宽度w和高度h的矩形块的样本，mip使用块的重构邻近左边界样本当中的一个h行和块的重构邻近上边界样本当中的一个w行作为输入值。如果重构样本不可用，则可按照典型帧内预测中应用的插值方法来生成参考样本。
134.图6是说明根据实施方式的生成基于mip的预测样本的处理的图。参照图6，mip处理将描述如下。
135.1.平均处理
136.通过平均处理，在w＝h＝4的情况下可提取四个边界样本，在其它情况下可提取八个边界样本。
137.2.矩阵向量乘法处理
138.以平均样本作为输入执行矩阵向量乘法，随后与偏移相加。通过这种操作，可推导原始块中的子采样样本集合的缩减预测样本。
139.3.(线性)插值处理
140.通过作为各个方向上的单步线性插值的线性插值从子采样样本集合的预测样本生成剩余位置中的预测样本。
141.可从矩阵的三个集合s0、s1和s2选择生成预测块或预测样本所需的矩阵和偏移向量。
142.集合s0可由18个矩阵a
0i
，i∈{0,
…
,17}和18个偏移向量b
0i
，i∈{0,
…
,17}组成。例如，各个矩阵a
0i
，i∈{0,
…
,17}可具有16行和4列。在示例中，各个偏移向量b
0i
，i∈{0,
…
,
17}可具有大小16。集合s0的矩阵和偏移向量可用于大小为4
×
4的块。
143.集合s1可由10个矩阵a
1i
，i∈{0,
…
,9}和10个偏移向量b
1i
，i∈{0,
…
,9}组成。例如，各个矩阵a
1i
，i∈{0,
…
,9}可具有16行和8列。在示例中，各个偏移向量b
1i
，i∈{0,
…
,9}可具有大小16。集合s1的矩阵和偏移向量可用于大小为4
×
8、8
×
4和8
×
8的块。
144.最后，集合s2可由6个矩阵a
2i
，i∈{0,
…
,5}和6个偏移向量b
2i
，i∈{0,
…
,5}组成。例如，各个矩阵a
2i
，i∈{0,
…
,5}可具有64行和8列。在示例中，各个偏移向量b
2i
，i∈{0,
…
,5}可具有大小64。集合s2的矩阵和偏移向量或它们中的一些可用于不应用集合s0和集合s1的所有其它大小的块类型。
145.计算矩阵向量积所需的乘法的总数可始终等于或小于4
×w×
h。例如，在mip模式中可能需要每样本至多四次乘法。
146.关于邻近样本的平均的实施方式，在边界样本当中，在w＝h＝4的情况下可通过平均提取四个样本，并且可通过平均提取8个样本。例如，输入边界bdry
left
和bdry
top
可根据取决于块大小的预定义规则通过邻近边界样本的平均减小至更小的边界和
147.由于两个缩减边界和级联为缩减边界向量bdry
red
，所以在4
×
4类型块的情况下bdry
red
的大小为4，在所有其它块的情况下其大小为8。
148.在“mode”被称为mip模式的情况下，缩减边界向量bdry
red
和mip模式值(mode)的范围可如下式中定义。
149.[式1]
[0150][0151]
关于矩阵向量乘法的实施方式，可以平均样本作为输入来执行矩阵向量乘法。缩减输入向量bdry
red
之一生成缩减预测信号pred
red
。预测样本是具有宽度w
red
和高度h
red
的下采样块的信号。例如，w
red
和h
red
可如下式中定义。
[0152]
[式2]
[0153][0154][0155]
缩减预测样本pred
red
可通过在执行矩阵向量乘法之后与偏移相加来计算，并且可通过下式推导。
[0156]
[式3]
[0157]
pred
red
＝a
·
bdry
red
b
[0158]
这里，在w和h为4(w＝h＝4)的情况下a表示具有w
red
×hred
行和四列的矩阵，或者在所有其它情况下为8列，b表示大小为w
red
×hred
的向量。
[0159]
矩阵a和偏移向量b可选自集合s0、s1和s2。例如，索引idx＝idx(w,h)可如下式中定义。
[0160]
[式4]
[0161][0162]
如果idx等于或小于1(idx≤1)或idx为2，并且w和h之间的较小值大于4(min(w,h)》4)，则a被设定为b被设定为如果idx为2，w和h之间的较小值为4(min(w,h)＝4)，并且w为4，则a变为与下采样块中的奇数x坐标对应的的各行被去除的矩阵。此外，如果h为4，则a变为与下采样块中的奇数y坐标对应的的各列的矩阵。
[0163]
由于在w＝h＝4的情况下a由4列和16行组成，所以pred
red
的计算所需的乘法次数为4。在所有其它情况下，由于a由8列和w
red
×hred
行组成，所以可确认计算pred
red
需要每样本至多四次乘法。
[0164]
插值处理可被称为线性插值或双线性线性插值处理。如所示，插值处理可包括两步：1)垂直插值和2)水平插值。
[0165]
在w》＝h的情况下，可首先应用垂直线性插值，然后可应用水平线性插值。在w《h的情况下，可首先应用水平线性插值，然后可应用垂直线性插值。在4
×
4块的情况下，可省略插值处理。
[0166]
在max(w,h)≥8的w
×
h块的情况下，从w
red
×hred
上的缩减预测样本pred
red
推导预测样本。根据块类型，在垂直方向、水平方向或两个方向上执行线性插值。在两个方向上应用线性插值的情况下，在w《h的情况下首先在水平方向上应用线性插值，否则首先在垂直方向上应用线性插值。
[0167]
在max(w,h)≥8且w》＝h的w
×
h块的情况下，可认为不存在一般性损失。在这种情况下，如下执行一维线性插值。如果不存在一般性损失，则充分说明垂直方向上的线性插值。
[0168]
首先，缩减预测样本通过边界信号扩展至顶部。可定义垂直上采样系数u
ver
＝h/h
red
，并且如果配置则扩展的缩减预测样本可如下式中配置。
[0169]
对于帧内模式中的各个编码单元(cu)，指示mip模式是否应用于对应当前块的标志。如果应用mip模式，则可用信号通知mpm标志，并且可指示预测模式是否是mpm模式之一。例如，对于mpm可考虑三个模式。在示例中，mpm模式可通过截断二值化进行上下文编码。非mpm模式可被编码为固定长度码(flc)。通过基于取决于块大小(即，idx(w,h)∈{0,1,2})的预定义的映射表在正常帧内预测模式和mip帧内预测模式之间执行模式映射，这些mpm的偏差可与正常帧内预测模式组合。下式可表示正向(从正常模式至mip模式)和/或反向(从mip模式至正常模式)模式映射表。
[0170]
[式5]
[0171]
predmode
alwip
＝map_angular_to_alwip
idx
[predmode
angular
]
[0172]
[式6]
[0173][0174]
在示例中，35个模式可用于块(例如，max(w,h)《＝8&&w*h《32)。在另一示例中，19个模式可用于块(例如，max(w,h)＝8)。11个模式可用于块(例如，max(w,h)》8)。另外，为了减小存储器消耗，两个模式可如下式共享相同的矩阵和/或偏移向量。
[0175]
[式7]
[0176][0177]
以下，将描述在降低mip技术的复杂度的同时使性能最大化的方法。稍后要描述的实施方式可独立地执行，或者可组合执行。
[0178]
根据本文献的实施方式，可根据mip处理中的当前(亮度)块的类型自适应地选择(确定)是否应用mip。在现有实施方式中，如果亮度块的宽度和高度之间的差超过四倍(例如，32
×
4、64
×
8、64
×
4、4
×
32、8
×
64、4
×
64、128
×
4、128
×
8、128
×
16、4
×
128、8
×
128和16
×
128)，则不执行mip，并且/或者不发送表示是否应用mip的标志。在本实施方式中，通过扩展或去除这来在应用mip的情况下增强编码效率和解码效率的方法。
[0179]
在本实施方式的示例之一中，在当前(亮度)块的宽度为4并且其高度等于或大于16的情况下，可不应用mip，或者在当前(亮度)块的高度为4并且其宽度等于或大于16的情况下，可不应用mip。根据本示例的一些编码单元句法可与下表相同。
[0180]
[表1]
[0181][0182]
在上述示例中，对于mip效率低的4
×
16块和16
×
4块不应用mip，因此mip效率可改进。
[0183]
在本实施方式的示例当中的另一示例中，在当前(亮度)块的宽度为4并且其高度等于或大于32的情况下，可不应用mip，在当前(亮度)块的高度为4并且其宽度等于或大于32的情况下，可不应用mip。根据本示例的一些编码单元句法可如下表中。
[0184]
[表2]
[0185][0186]
通过上述示例，对于可高效且容易地应用mip的8
×
64块和64
×
8块可应用mip，因此mip效率可增强。
[0187]
根据本实施方式的另一示例，可去除mip的块类型限制。例如，在本示例中，对于所有块(经受编码)可始终应用mip。在用信号通知(解析)mip标志的情况下，可去除当前(亮度)块的宽度和/或高度的条件确定。因此，可简化mip解析条件，此外，软件实现和硬件实现方面的复杂度可降低。根据本示例的一些编码单元句法可如下表中。
[0188]
[表3]
[0189][0190]
通过应用本示例的测试结果可如下表中。
[0191]
[表4]
[0192][0193]
参考上表，在上述测试中呈现了全部帧内(ai)和随机接入(ra)。如上表所示，确认在本实施方式中不存在性能劣化。即，在所提出的方法3的情况下，由于可通过mip标志信令(解析)条件解除来简化信令(解析)负担，所以在硬件实现方面存在优点，并且不会发生编码和解码性能劣化。
[0194]
根据本实施方式，在图4的s400和/或s410中，可确定是否对当前块应用mip，并且在这种情况下，可如上所述根据当前(亮度)块的类型自适应地确定是否应用mip。在这种情况下，在s420中，编码设备自适应地对intra_mip_flag进行编码。
[0195]
在本文献的实施方式中，mip模式的数量可根据mip处理中的当前(亮度)块的类型自适应地确定(选择)。在现有实施方式中，35个mip模式可用于4
×
4亮度块(mipsizeid 0)，19个mip模式可用于4
×
4、8
×
4或8
×
8亮度块(mipsizeid 1)，11个mip模式可用于其它亮度块(mipsizeid 2)。
[0196]
在本实施方式中，较少数量的mip模式可用于mip效率低的块类型。通过本实施方式，关于mip模式的信息的传输数据量可减少。
[0197]
图7、图8和图9是示出根据本文献的实施方式的mip处理的流程图。
[0198]
参照图7，在与图7有关的实施方式中，如果当前(亮度)块的宽度和高度之间的差超过当前(亮度)块的宽度或高度的四倍(如果当前块的高度比当前块的宽度的四倍大，或者如果当前块的宽度比当前块的高度的四倍大)，则可使用数量小于11个基本模式
(mipsizeid 2)的mip模式，并且可发送与mip模式有关的信息。
[0199]
参照图8，在与图8有关的实施方式中，如果当前(亮度)块的宽度为4并且其高度等于或大于16，则可使用数量小于11个基本模式(mipsizeid 2)的mip模式，并且可发送与mip模式有关的信息。此外，如果当前(亮度)块的高度为4并且其宽度等于或大于16，则可使用数量小于11个基本模式(mipsizeid 2)的mip模式，并且可发送与mip模式有关的信息。
[0200]
参照图9，在与图9有关的实施方式中，如果当前(亮度)块的宽度为4并且其高度等于或大于32，则可使用数量小于11个基本模式(mipsizeid 2)的mip模式，并且可发送与mip模式有关的信息。此外，如果当前(亮度)块的高度为4并且其宽度等于或大于32，则可使用数量小于11个基本模式(mipsizeid 2)的mip模式，并且可发送与mip模式有关的信息。
[0201]
通过根据图7至图9的实施方式，通过对于mip预测效率较低的块(宽度和高度之间的差较大的块类型)使用少量的mip模式，mip模式的传输数据量可减少，并且由此，mip预测效率可增强。
[0202]
另外，在参照图7至图9说明的实施方式中，可仅使用11个mip模式中的一些，这是为了通过数据缩减来增加mip效率。在示例中，可仅使用11个mip模式之一，并且在这种情况下，可不发送mip模式数据。在另一示例中，可仅使用11个mip模式中的两个，并且在这种情况下，可发送一比特mip模式数据。在另一示例中，可仅使用11个mip模式中的四个，并且在这种情况下，可发送2比特mip模式数据。11个模式中的一个、两个或四个可在现有实施方式中按mip内核的顺序选择，或者可如上面根据图7至图9说明的方法中以块形式按mip选择模式概率的顺序选择。
[0203]
图10和图11示意性地示出根据本文献的实施方式的视频/图像编码方法和相关组件的示例。
[0204]
图10中公开的方法可由图2或图11中公开的编码设备执行。具体地，例如，图10的s1000至s1030可由图11的编码设备的预测器220执行，图10的s1040可由图11的编码设备的残差处理器230执行，图10的s1050可由图11的编码设备的熵编码器240执行。图10中公开的方法可包括本文献中上面描述的实施方式。
[0205]
参照图10，编码设备可确定基于矩阵的帧内预测(mip)是否应用于当前块(s1000)。如果mip应用于当前块，则编码设备可生成指示mip应用于当前块的帧内mip标志信息。如果mip不应用于当前块，则编码设备可生成指示mip不应用于当前块的帧内mip标志信息(例如，intra_mip_flag)。编码设备可输出包括帧内mip标志信息的图像信息作为比特流。
[0206]
编码设备可推导mip的mip模式(s1010)。可基于确定应用mip来推导mip模式。mip模式可以是多个模式中的任一个。
[0207]
编码设备可推导当前块的mip矩阵(s1020)。mip矩阵可根据mip模式来确定和推导。mip矩阵可基于当前块的大小来推导。
[0208]
编码设备可生成当前块的mip样本(s1030)。可基于当前块的邻近参考样本和mip矩阵来生成mip样本。
[0209]
编码设备可生成当前块的预测样本。可基于对mip样本的上采样来生成预测样本。
[0210]
编码设备可生成预测相关信息。基于确定mip应用于当前块，编码设备可生成预测相关信息。例如，预测相关信息可包括帧内mip标志信息(例如，intra_mip_flag)。另外，预
测相关信息还可包括帧内mip模式信息(例如，intra_mip_mode)。
[0211]
编码设备可生成当前块的残差样本(s1040)。编码设备可基于从mip样本推导的预测样本来生成残差样本。编码设备可基于当前块的原始样本与预测样本之间的差来生成残差样本。
[0212]
编码设备可推导(量化)变换系数。编码设备可基于对残差样本的变换处理来推导变换系数。例如，变换处理可包括dct、dst、gbt或cnt中的至少一个。编码设备可推导量化变换系数。编码设备可基于对变换系数的量化处理来推导量化变换系数。量化变换系数可基于系数扫描顺序具有一维向量形式。
[0213]
编码设备可生成残差信息。编码设备可生成表示量化变换系数的残差信息。可通过诸如指数哥伦布、cavlc和cabac的各种编码方法来生成残差信息。
[0214]
编码设备可对图像/视频信息进行编码(s1050)。图像/视频信息可包括关于残差样本的信息和/或与mip模式有关的mip模式信息。关于残差样本的信息可包括残差信息。另外，图像/视频信息可包括预测相关信息。预测相关信息可包括关于mip的信息。此外，图像/视频信息可包括与mip是否应用于当前块有关的帧内mip标志信息。帧内mip标志信息可与当前块的帧内预测模式类型是否是mip有关。mip模式信息可被称为与应用于当前块的mip有关的帧内mip模式信息。
[0215]
编码的视频/图像信息可按照比特流的形式输出。比特流可通过网络或存储介质发送至解码设备。
[0216]
根据本文献的实施方式，图像/视频信息可包括各种类型的信息。例如，图像/视频信息可包括如上所述的表1至表3中的至少一个中公开的信息。
[0217]
在实施方式中，可基于当前块的宽度和/或高度来推导mip的mip矩阵(mip权重矩阵)。
[0218]
在实施方式中，可基于mip矩阵来生成当前块的mip样本。
[0219]
在实施方式中，可基于mip样本来生成当前块的预测样本。
[0220]
在实施方式中，图像信息可包括mip模式信息。可进一步基于mip模式信息来推导mip矩阵。
[0221]
在实施方式中，mip模式信息的句法元素信元串可通过截断二值化方法来二值化。
[0222]
在实施方式中，图像信息可包括序列参数集(sps)。sps可包括与mip是否可用有关的mip可用标志信息(例如，sps_mip_enabled_flag)。
[0223]
在实施方式中，可通过对与当前块相邻的参考样本(边界样本)进行下采样来推导缩减边界样本。可基于缩减边界样本和矩阵之间的乘积来生成mip样本。
[0224]
在实施方式中，编码设备可执行mip样本的上采样。可基于上采样的mip样本来生成预测样本。可基于预测样本来推导残差样本。
[0225]
在实施方式中，当前块的高度可比当前块的宽度的四倍大。
[0226]
在实施方式中，当前块的宽度可比当前块的高度的四倍大。
[0227]
在实施方式中，当前块的大小为32
×
4、4
×
32、64
×
8、8
×
64、64
×
4、4
×
64、128
×
4、128
×
8、128
×
16、4
×
128、8
×
128或16
×
128。
[0228]
在实施方式中，mip矩阵可基于根据当前块的大小分类的三个矩阵集合来推导，并且/或者三个矩阵集合中的每一个可包括多个矩阵。
[0229]
图12和图13示意性地示出根据本文献的实施方式的视频/图像解码方法和相关组件的示例。
[0230]
图12中公开的方法可由图3或图13中公开的解码设备执行。具体地，例如，图12的s1200可由图13的解码设备的熵解码器310执行，图12的s1210至s1230可由解码设备的预测器330执行，图12的s1240可由解码设备的加法器340执行。图12中公开的方法可包括本文献中上面描述的实施方式。
[0231]
参照图12，解码设备可通过比特流获得(接收)包括预测模式信息的图像/视频信息(s1200)。预测模式信息可包括关于mip的信息。例如，解码设备可通过解析或解码比特流来获得帧内mip标志信息。这里，比特流可被称为编码的(图像)信息。图像/视频信息还可包括用于推导残差样本的残差信息和/或关于mip的信息。
[0232]
根据本文献的实施方式，图像/视频信息可包括各种类型的信息。例如，图像/视频信息可包括如上所述的表1至表3中的至少一个中公开的信息。
[0233]
解码设备可推导变换系数。具体地，解码设备可基于残差信息来推导量化变换系数。量化变换系数可基于系数扫描顺序具有一维向量形式。解码设备可基于对量化变换系数的解量化处理来推导变换系数。
[0234]
解码设备可生成残差样本。解码设备可基于变换系数来推导残差样本。解码设备可基于对变换系数的逆变换处理来生成残差样本。
[0235]
解码设备可推导当前块的帧内预测模式。解码设备可基于包括在图像信息中的预测相关信息当中的预测模式信息来推导帧内预测模式。
[0236]
解码设备可基于预测模式信息来推导当前块的mip模式(s1210)。可基于确定mip应用于帧内mip标志来推导mip模式。mip模式可以是多个模式中的任一个。
[0237]
解码设备可推导当前块的mip矩阵(s1220)。mip矩阵可根据mip模式来确定和推导。mip矩阵可基于当前块的大小来推导。
[0238]
解码设备可生成当前块的mip样本(s1230)。mip样本可基于当前块的邻近参考样本和mip矩阵来生成。
[0239]
解码设备可生成当前块的预测样本。解码设备可基于帧内预测模式来生成预测样本。解码设备可基于包括当前块的当前画面中的邻近参考样本来生成预测样本。
[0240]
解码设备可生成当前块的重构样本(s1240)。重构样本可基于预测样本和残差样本来生成。解码设备可根据预测模式直接使用预测样本作为重构样本，或者可通过将残差样本与预测样本相加来生成重构样本。
[0241]
在实施方式中，用于mip的mip矩阵(mip权重矩阵)可基于当前块的宽度和/或高度来推导。
[0242]
在实施方式中，可基于mip矩阵来生成当前块的mip样本。
[0243]
在实施方式中，可基于mip样本来生成当前块的预测样本。
[0244]
在实施方式中，图像信息可包括mip模式信息。可进一步基于mip模式信息来推导mip矩阵。
[0245]
在实施方式中，mip模式信息的句法元素信元串可通过截断二值化方法来二值化。
[0246]
在实施方式中，图像信息可包括序列参数集(sps)。sps可包括与mip是否可用有关的mip可用标志信息(例如，sps_mip_enabled_flag)。
[0247]
在实施方式中，可通过对与当前块相邻的参考样本(边界样本)进行下采样来推导缩减边界样本。可基于缩减边界样本和矩阵之间的乘积来生成mip样本。可基于mip样本来生成预测样本。
[0248]
在实施方式中，编码设备可执行mip样本的上采样。可基于上采样的mip样本来生成预测样本。即，可基于上采样的mip样本来生成预测样本。可基于预测样本和/或上采样的mip样本来生成重构样本。
[0249]
在实施方式中，当前块的高度可比当前块的宽度的四倍大。
[0250]
在实施方式中，当前块的宽度可比当前块的高度的四倍大。
[0251]
在实施方式中，当前块的大小为32
×
4、4
×
32、64
×
8、8
×
64、64
×
4、4
×
64、128
×
4、128
×
8、128
×
16、4
×
128、8
×
128或16
×
128。
[0252]
在实施方式中，mip矩阵可基于根据当前块的大小分类的三个矩阵集合来推导，并且/或者三个矩阵集合中的每一个可包括多个矩阵。
[0253]
在存在当前块的残差样本的情况下，解码设备可接收关于当前块的残差的信息。关于残差的信息可包括残差样本的变换系数。解码设备可基于残差信息来推导当前块的残差样本(或残差样本阵列)。具体地，解码设备可基于残差信息来推导量化变换系数。量化变换系数可基于系数扫描顺序具有一维向量形式。解码设备可基于对量化变换系数的解量化处理来推导变换系数。解码设备可基于变换系数来推导残差样本。
[0254]
解码设备可基于(帧内)预测样本和残差样本来生成重构样本，并且可基于重构样本来推导重构块或重构画面。具体地，解码设备可基于(帧内)预测样本和残差样本之和来生成重构样本。此后，如上所述，如果需要，解码设备可对重构画面应用诸如去块滤波和/或sao处理的环路内滤波过程，以便改进主观/客观画面质量。
[0255]
例如，解码设备可通过将比特流或编码信息解码来获得包括上述信息(或句法元素)中的全部或一些的图像信息。此外，比特流或编码信息可被存储在计算机可读存储介质中，或者可使得上述解码方法执行。
[0256]
在上述实施方式中，基于具有一系列步骤或方框的流程图来描述方法。本公开不限于上述步骤或方框的顺序。一些步骤或方框可同时发生或按照与如上所述的其它步骤或方框不同的顺序发生。此外，本领域技术人员将理解，上述流程图中所示的步骤不是排他性的，可包括另外的步骤，或者可删除流程图中的一个或更多个步骤，而不影响本公开的范围。
[0257]
根据本文献的上述实施方式的方法可按软件形式实现，并且根据本文献的编码装置和/或解码装置例如可被包括在执行tv、计算机、智能电话、机顶盒、显示装置等的图像处理的装置中。
[0258]
当本文献中的实施方式以软件实现时，上述方法可被实现为执行上述功能的模块(进程、函数等)。模块可被存储在存储器中并由处理器执行。存储器可位于处理器的内部或外部，并且可通过各种熟知手段联接到处理器。处理器可包括专用集成电路(asic)、其它芯片组、逻辑电路和/或数据处理装置。存储器可包括只读存储器(rom)、随机存取存储器(ram)、闪存、存储卡、存储介质和/或其它存储装置。即，本文献中描述的实施方式可在处理器、微处理器、控制器或芯片上实现和执行。例如，各个附图中所示的功能单元可在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下，关于用于实现的指令或算
法的信息可被存储在数字存储介质中。
[0259]
另外，应用了本公开的解码设备和编码设备可被包括在多媒体广播发送/接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监视相机、视频聊天设备、实时通信设备(例如，视频通信)、移动流设备、存储介质、摄像机、vod服务提供设备、顶置(ott)视频设备、互联网流服务提供设备、三维(3d)视频设备、电话会议视频设备、运输工具用户设备(即，车辆用户设备、飞机用户设备、船舶用户设备等)和医疗视频设备中，并且可用于处理视频信号和数据信号。例如，顶置(ott)视频设备可包括游戏机、蓝光播放器、互联网访问tv、家庭影院系统、智能电话、平板pc、数字视频记录仪(dvr)等。
[0260]
另外，应用了本文献的处理方法可按照要由计算机执行的程序的形式生成，并且可被存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可被存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机系统可读的数据的所有类型的存储装置。例如，计算机可读记录介质可包括bd、通用串行总线(usb)、rom、prom、eprom、eeprom、ram、cd-rom、磁带、软盘和光学数据存储装置。另外，计算机可读记录介质包括以载波的形式实现的介质(即，通过互联网的传输)。另外，通过该编码方法生成的比特流可被存储在计算机可读记录介质中或者可经由有线/无线通信网络发送。
[0261]
另外，本文献的实施方式可根据程序代码以计算机程序产品来实现，并且可通过本文献的实施方式在计算机中执行程序代码。程序代码可被存储在计算机可读的载体上。
[0262]
图14示出本文献中公开的实施方式可应用于的内容流系统的示例。
[0263]
参照图14，应用了本文献的实施方式的内容流系统可主要包括编码服务器、流服务器、网络服务器、媒体存储装置、用户装置和多媒体输入装置。
[0264]
编码服务器将从多媒体输入装置(例如，智能电话、相机、摄像机等)输入的内容压缩为数字数据以生成比特流并将比特流发送到流服务器。作为另一示例，当多媒体输入装置(例如，智能电话、相机、摄像机等)直接生成比特流时，可省略编码服务器。
[0265]
可通过应用了本公开的实施方式的编码方法或比特流生成方法来生成比特流，并且在发送或接收比特流的过程中，流服务器可暂时存储比特流。
[0266]
流服务器通过网络服务器基于用户的请求将多媒体数据发送到用户装置，并且网络服务器用作告知用户服务的介质。当用户向网络服务器请求期望的服务时，网络服务器将其传送至流服务器，并且流服务器将多媒体数据发送到用户。在这种情况下，内容流系统可包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流系统中的装置之间的命令/响应。
[0267]
流服务器可从媒体存储装置和/或编码服务器接收内容。例如，当从编码服务器接收内容时，内容可实时地接收。在这种情况下，为了提供平滑的流服务，流服务器可将比特流存储达预定时间。
[0268]
用户装置的示例可包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航、石板pc、平板pc、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字tv、台式计算机、数字标牌等。内容流系统中的各个服务器可作为分布式服务器来操作，在这种情况下从各个服务器接收的数据可被分布。
[0269]
内容流系统中的各个服务器可作为分布式服务器来操作，并且在这种情况下，从
各个服务器接收的数据可被分布和处理。
[0270]
本文中所描述的权利要求可按各种方式组合。例如，本文献的方法权利要求的技术特征可被组合并实现为设备，并且本文献的设备权利要求的技术特征可被组合并实现为方法。另外，本文献的方法权利要求的技术特征和设备权利要求的技术特征可被组合以实现为设备，本文献的方法权利要求的技术特征和设备权利要求的技术特征可被组合并实现为方法。