基于矩阵的帧内预测装置和方法与流程

1.本公开涉及图像编码技术，并且更具体地，涉及针对基于矩阵的帧内预测设备和基于矩阵的帧内预测的图像编码技术。


背景技术：

2.如今，在各个领域中对诸如4k、8k或更高的超高清(uhd)图像/视频这样的高分辨率和高质量图像/视频的需求已经不断增长。随着图像/视频数据变成更高分辨率和更高质量，与传统图像数据相比，所发送的信息量或比特量增加。因此，当使用诸如传统有线/无线宽带线这样的介质来发送图像数据或者使用现有存储介质来存储图像/视频数据时，其传输成本和存储成本增加。
3.另外，如今，对于诸如虚拟现实(vr)和人工现实(ar)内容或全息图等这样的沉浸式媒体的兴趣和需求正在增加，并且对具有与诸如游戏图像这样的真实图像不同的图像特征的图像/视频的广播正在增加。
4.因此，需要有效地压缩并发送或存储以及再现具有如上所述的各种特征的高分辨率和高质量图像/视频的信息的高效图像/视频压缩技术。


技术实现要素：

5.技术问题
6.本公开的一技术方面在于提供用于增加图像编码效率的方法和设备。
7.本公开的另一技术方面在于提供高效帧内预测方法和高效帧内预测设备。
8.本公开的又一技术方面在于提供用于基于矩阵的帧内预测的图像编码方法和图像编码设备。
9.本公开的又一技术方面在于提供用于编码关于基于矩阵的帧内预测的模式信息的图像编码方法和图像编码设备。
10.技术方案
11.根据本公开的实施方式，提供了一种由解码设备执行的图像解码方法。方法可以包括：接收指示基于矩阵的帧内预测(mip)是否用于当前块的标志信息；基于标志信息接收基于矩阵的帧内预测(mip)模式信息；基于mip模式信息生成当前块的帧内预测样本；以及基于帧内预测样本生成当前块的重构样本，其中，。
12.用于mip模式信息的语法元素bin串的最大长度根据当前块的大小被设置为不同的值。
13.该最大长度根据当前块的大小而被设置为三个值，并且当当前块的宽度和高度为4时，最大长度是最大的。
14.以旁通(bypass)方法对mip模式信息进行解码。
15.mip模式信息可以是指示应用于当前块的mip模式的索引信息。
16.帧内预测样本的生成可以包括：通过对与当前块邻近的参考样本进行降采样来推
导缩减边界样本；基于缩减边界样本与mip矩阵的乘法运算来推导缩减预测样本；以及通过对缩减预测样本进行上采样来生成当前块的帧内预测样本。
17.可以通过对参考样本进行平均来对缩减边界样本进行降采样，并且可以通过对缩减预测样本进行线性插值(interpolation)来对帧内预测样本进行上采样。
18.可以基于当前块的大小和索引信息来推导mip矩阵。
19.mip矩阵可以从根据当前块的大小分类的三个矩阵集中的任何一个矩阵集中选择，并且三个矩阵集中的每一个可以包括多个mip矩阵。
20.根据本公开的另一实施方式，提供了一种由编码设备执行的图像编码方法。方法可以包括：推导是否将基于矩阵的帧内预测mip应用于当前块；当将mip应用于当前块时，基于mip推导当前块的帧内预测样本；基于帧内预测样本推导当前块的残差样本；以及对关于残差样本的信息和关于mip的信息进行编码，其中，关于mip的信息包括基于矩阵的帧内预测(mip)模式信息，并且其中，通过截断的二值化方法来对用于mip模式信息的语法元素bin串进行二值化。
21.根据本公开的又一实施方式，可以提供一种数字存储介质，该数字存储介质存储包括根据由编码设备执行的图像编码方法生成的编码的图像信息和比特流的图像数据。
22.根据本公开的又一实施方式，可以提供一种数字存储介质，该数字存储介质存储包括编码的图像信息和比特流的图像数据以使解码设备执行图像解码方法。
23.技术效果
24.本公开可以具有各种效果。例如，根据本公开的实施方式，可以增加整体图像/视频压缩效率。此外，根据本公开的实施方式，可以通过高效帧内预测来降低实现复杂性并增强预测性能，由此提高整体编码效率。另外，根据本公开的实施方式，当执行基于矩阵的帧内预测时，可以高效地编码指示基于矩阵的帧内预测的索引信息，由此提高编码效率。
25.通过说明书中的详细示例可以获得的效果不限于上述效果。例如，可以存在相关领域的普通技术人员可以从说明书中理解或导出的各种技术效果。因此，说明书的详细效果不限于在说明书中明确描述的那些，并且可以包括可以从说明书的技术特征中理解或导出的各种效果。
附图说明
26.图1示意性地例示了可应用本公开的实施方式的视频/图像编码设备的配置。
27.图2示意性地例示了可应用本公开的实施方式的视频/图像解码设备的配置。
28.图3例示了用于编码语法元素的上下文自适应二进制算术编码(cabac)。
29.图4示意性地例示了可应用本公开的实施方式的基于帧内预测的图像编码方法示例。
30.图5示意性地例示了编码设备中的帧内预测器。
31.图6示意性地例示了可应用本公开的实施方式的基于帧内预测的图像解码方法示例。
32.图7示意性地例示了解码设备中的帧内预测器。
33.图8例示了可应用本公开的实施方式的帧内预测模式的示例。
34.图9例示了根据示例的基于mip的预测样本生成过程。
35.图10例示了4
×
4块的mip过程。
36.图11例示了8
×
8块的mip过程。
37.图12例示了8
×
4块的mip过程。
38.图13例示了16
×
16块的mip过程。
39.图14例示了mip过程中的边界平均过程。
40.图15例示了mip过程中的线性插值。
41.图16例示了根据本公开的实施方式的mip技术。
42.图17是示意性地例示根据本公开的实施方式的可以由解码设备执行的解码方法的流程图。
43.图18是示意性地例示根据本公开的实施方式的可以由编码设备执行的编码方法的流程图。
44.图19示意性地例示了可应用本公开的实施方式的视频/图像编码系统的示例。
45.图20例示了可应用本公开的实施方式的内容流传输系统的示例。
具体实施方式
46.本文档可以以各种方式修改，并且可以具有各种实施方式，并且将在附图中例示并详细描述特定实施方式。然而，这并不旨在将本文档限制于特定实施方式。在本说明书中常用的术语用于描述特定实施方式，而不用于限制本文档的技术精神。除非在上下文中另外明确表述，否则单数形式的表述包括复数表述。在本说明书中的诸如“包括”或“具有”之类的术语应当被理解为指示说明书中描述的特性、数量、步骤、操作、元件、部件或它们的组合的存在，而不排除一个或更多个其它特性、数量、步骤、操作、元件、部件或它们的组合的存在或者添加一个或更多个其它特性、数量、步骤、操作、元件、部件或它们的组合的可能性。
47.在本文档中描述的附图中的元件是为了便于与不同的特性功能相关的描述而独立地例示的。这并不意指每个元件被实现为单独的硬件或单独的软件。例如，元件中的至少两个可以被组合以形成单个元件，或者单个元件可以被划分成多个元件。其中元件被组合和/或分离的实施方式也被包括在本文档的权利范围内，除非它偏离本文档的本质。
48.在本文档中，术语“a或b”可以意指“仅a”、“仅b”或“a和b两者”。换句话说，在本文档中，术语“a或b”可以被解释为指示“a和/或b”。例如，在本文档中，术语“a、b或c”可以意指“仅a”、“仅b”、“仅c”或“a、b和c的任何组合”。
49.在本文档中使用的斜线“/”或逗号可以意指“和/或”。例如，“a/b”可以意指“a和/或b”。因此，“a/b”可以意指“仅a”、“仅b”或“a和b两者”。例如，“a，b，c”可以表示“a、b或c”。
50.在本文档中，“a和b中的至少一个”可以意指“仅a”、“仅b”或“a和b两者”。此外，在本文档中，表述“a或b中的至少一个”或者“a和/或b中的至少一个”可以被解释为“a和b中的至少一个”。
51.此外，在本文档中，“a、b和c中的至少一个”可以意指“仅a”、“仅b”、“仅c”或“a、b和c的任何组合”。此外，“a、b或c中的至少一个”或“a、b和/或c中的至少一个”可以意指“a、b和c中的至少一个”。
52.另外，本文档中使用的括号可以意指“例如”。具体地，在表达“预测(帧内预测)”的
情况下，这可以指示“帧内预测”被提出为“预测”的示例。换句话说，本文档中的“预测”不限于“帧内预测”，并且这可以指示“帧内预测”被提出为“预测”的示例。另外，即使在表达“预测(即，帧内预测)”的情况下，这也可以指示“帧内预测”被提出为“预测”的示例。
53.在本文档中，在一个附图中单独说明的技术特征可以被单独地实现，或者可以被同时实现。
54.本文档涉及视频/图像编码。例如，本文档中公开的方法/实施方式可以应用于通用视频编码(vvc)、基本视频编码(evc)标准、aomedia视频1(av1)标准、第二代音频视频编码标准(avs2)或下一代视频/图像编码标准(例如，h.267或h.268等)中公开的方法。
55.本文档呈现了视频/图像编码的各种实施方式，并且除非另有说明，否则实施方式可以彼此组合地执行。
56.在本文档中，视频可以指代随时间的一系列图像。图片通常指代表示特定时间区域中的一个图像的单元，而条带/贴片(slice/tile)是构成编码的图片的一部分的单元。条带/贴片可以包括一个或更多个编码树单元(ctu)。一幅图片可以由一个或更多个条带/贴片组成。一幅图片可以由一个或多个贴片组组成。一个贴片组可以包括一个或更多个贴片。砖块(brick)可以表示图片中的贴片内的ctu行的矩形区域。可以将贴片分割成多个块，每个砖块由贴片内的一或更多个ctu行组成。未被分割成多个砖块的贴片也可以被称为砖块。砖块扫描是砖块中的分割贴片的ctu的特定顺序排序，在图片中以ctu栅格扫描连续地排序，并且图片中的贴片以图片的贴片的栅格扫描连续地排序。贴片是图片中的特定贴片列和特定贴片行内的ctu的矩形区域。贴片列是ctu的矩形区域，其高度等于图片的高度并且宽度由图片参数集中的语法元素指定。贴片行是ctu的矩形区域，其高度由图片参数集中的语法元素指定并且宽度等于图片的宽度。贴片扫描是贴片中的分割图片的ctu的特定顺序排序，在图片中以ctu栅格扫描连续地排序，而图片中的贴片以图片的贴片的栅格扫描连续地排序。条带包括可以排它性地包括在单个nal单元中的图片的整数数量的砖块。条带可以由多个完整贴片构成或者仅由一个贴片的完整砖块的连续序列构成。贴片组和条带可以在本文档中可互换地使用。例如，在此文档中，贴片组/贴片组报头可以被称作条带/条带报头。
57.像素或图元(pel)可以是指构成一幅图片(或图像)的最小单元。另外，“样本”可以用作与像素相对应的术语。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
58.单元可以表示图像处理的基本单位。单元可以包括特定区域和与该区域相关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如，cb、cr)块。根据情况，可以将单元和诸如块、区域等这样的术语互换地使用。在通常情况下，m
×
n块可以包括由m列和n行组成的样本(或样本阵列)或变换系数的集(或阵列)。
59.在下文中，参照附图更具体地描述本文档的优选实施方式。在下文中，在附图中，相同的附图标记用于相同的元件，并且可以省略相同元件的冗余描述。
60.图1是例示可以应用本公开的实施方式的视频/图像编码设备的配置的示意图。在下文中，视频编码设备可以包括图像编码设备。
61.参照图1，编码设备100包括图像划分器110、预测器120、残差处理器130、和熵编码器140、加法器150、滤波器160和存储器170。预测器120可以包括帧间预测器121和帧内预测
器122。残差处理器130可以包括变换器132、量化器133、解量化器134、和逆变换器135。残差处理器130可以进一步包括减法器131。加法器150可以称为重构器或重构块生成器。根据实施方式，图像划分器110、预测器120、残差处理器130、熵编码器140、加法器150和滤波器160可以由至少一个硬件组件(例如，编码器芯片组或处理器)构成。此外，存储器170可以包括解码图片缓冲器(dpb)，或者可以由数字存储介质构成。硬件组件可以进一步包括作为内部/外部组件的存储器170。
62.图像划分器110可以将输入到编码设备100的输入图像(或图片或帧)划分为一个或更多个处理单元。例如，处理器可以被称为编码单元(cu)。在这种情况下，从编码树单元(ctu)或最大编码单元(lcu)开始，可以根据四叉树二叉树三叉树(qtbttt)结构来递归地划分编码单元。例如，基于四叉树结构、二叉树结构和/或三叉树结构，一个编码单元可以被划分为深度较深的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，并且可以稍后应用二叉树结构和/或三叉树结构。另选地，可以首先应用二叉树结构。可以基于不再划分的最终编码单元来执行根据本文档的编码过程。在这种情况下，基于根据图像特性的编码效率，最大编码单元可以直接用作最终编码单元，或者如果需要，可以将编码单元递归地划分为更深的深度的编码单元，并且可以将最佳大小的编码单元用作最终编码单元。这里，编码过程可以包括预测、变换和重构的过程，其将在后面描述。作为另一示例，处理器可以进一步包括预测单元(pu)或变换单元(tu)。在这种情况下，预测单元和变换单元可以与上述最终编码单元分开或划分开。预测单元可以是样本预测的单元，并且变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
63.在一些情况下，单元可以与诸如块或区域之类的术语互换地使用。在通常情况下，m
×
n块可以表示由m列和n行构成的样本或变换系数的集。样本通常可以表示像素或像素值，可以仅表示亮度分量的像素/像素值，或者仅表示色度分量的像素/像素值。样本可以用作与像素或图元(pel)的一幅图片(或图像)相对应的术语。
64.在编码设备100中，从输入图像信号(原始块、原始样本阵列)减去从帧间预测器121或帧内预测器122输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列)，并且将所生成残差信号发送到变换器132。在此情况下，如图所示，编码设备100中的用于从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可以称为减法器131。预测器可以对要处理的块(下文称为当前块)执行预测，并且生成包括当前块的预测样本的预测块。预测器可以基于当前块或cu来确定是应用帧内预测还是应用帧间预测。如后面在每个预测模式的描述中所描述的，预测器可以生成诸如预测模式信息之类的与预测相关的各种信息，并且将所生成的信息发送到熵编码器140。关于预测的信息可以在熵编码器140中编码并以比特流的形式输出。
65.帧内预测器122可以通过参考当前图片中的样本来预测当前块。根据预测模式，参考样本可以位于当前块的附近或与当前块分开。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。非定向模式可以包括例如dc模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33种定向预测模式或65种定向预测模式。然而，这仅仅是示例，根据设置，可以使用更多或更少的定向预测模式。帧内预测器122可以通过使用应用于相邻块的预测模式来确定应用于当前块的预测模式。
66.帧间预测器121可以基于参照图片上的运动向量所指定的参考块(参考样本阵列)
来推导针对当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息的量，可以基于相邻块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参照图片索引。运动信息还可以包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，相邻块可以包括当前图片中存在的空间相邻块和参照图片中存在的时间相邻块。包括参考块的参照图片和包括时间相邻块的参照图片可以相同或不同。时间相邻块可以被称为并置参考块、并置cu(colcu)等，并且包括时间相邻块的参照图片可以被称为并置图片(colpic)。例如，帧间预测器121可以基于相邻块来配置运动信息候选列表，并且生成指示哪个候选被用于推导当前块的运动向量和/或参照图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳变模式和合并模式的情况下，帧间预测器121可以使用相邻块的运动信息作为当前块的运动信息。在跳变模式下，与合并模式不同，不能发送残差信号。在运动信息预测(mvp)模式的情况下，相邻块的运动向量可以被用作运动向量预测器，并且可以通过发信号通知运动向量差来指示当前块的运动向量。
67.预测器120可以基于下面描述的各种预测方法生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来预测一个块，而且可以同时应用帧内预测和帧间预测二者。这可以被称为组合的帧间和帧内预测(ciip)。另外，预测器可以基于帧内块复制(ibc)预测模式或调色板(palette)模式进行块的预测。ibc预测模式或调色板模式可以用于游戏等的内容图像/视频编码，例如画面内容编码(scc)。ibc基本上在当前图片中执行预测，但可以与帧间预测类似地执行，因为在当前图片中推导参考块。也就是说，ibc可以使用本文档中所描述的至少一种帧间预测技术。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，可以基于关于调色板表和调色板索引的信息发信号通知图片内的样本值。
68.由预测器(包括帧间预测器121和/或帧内预测器122)生成的预测信号可以用于生成重构信号或生成残差信号。变换器132可以通过将变换技术应用于残差信号而生成变换系数。例如，变换技术可以包括离散余弦变换(dct)、离散正弦变换(dst)、karhunen
‑
lo
è
ve变换(klt)、基于图形的变换(gbt)或有条件非线性变换(cnt)中的至少一种。这里，gbt意指当用曲线图表示像素之间的关系信息时从曲线图获得的变换。cnt指代基于使用所有先前重构的像素生成的预测信号而生成的变换。另外，变换过程可以被应用于大小相同的正方形像素块，或者可以应用于大小可变的块而非正方形的块。
69.量化器133可以对变换系数进行量化并且将它们发送到熵编码器140，并且熵编码器140可以对量化后的信号(关于量化变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以被称为残差信息。量化器133可以基于系数扫描次序将块型的量化变换系数重新布置成一维向量，并且基于一维向量形式的量化变换系数来生成关于量化变换系数的信息。可以生成关于量化变换系数的信息。熵编码器140可以执行诸如例如指数哥伦布(exponential golomb)、上下文自适应可变长度编码(cavlc)、上下文自适应二进制算术编码(cabac)等的各种编码方法。熵编码器140可以对除了量化变换系数(例如，语法元素的值等)之外的视频/图像重构所需的信息一起或分别进行编码。编码的信息(例如，编码的视频/图像信息)可以以比特流的形式以网络抽象层(nal)为单位进行发送或存储。视频/图像信息还可以包括关于诸如适应参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频
参数集(vps)等的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。在本文档中，从编码设备发送到/发信号通知给解码设备的信息和/或语法元素可以被包括在视频/图片信息中。视频/图像信息可以通过上述编码过程进行编码并且被包括在比特流中。可以通过网络发送比特流，或者将其存储在数字存储介质中。网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。发送从熵编码器140输出的信号的发送器(未示出)或存储信号的存储单元(未示出)可以被包括为编码设备100的内部/外部元件，并且另选地，发送器可以被包括在熵编码器140中。
70.从量化器133输出的量化变换系数可以用于生成预测信号。例如，可以通过于经由解量化器134和逆变换器135将解量化和逆变换应用于量化变换系数来重构残差信号(残差块或残差样本)。加法器150将重构的残差信号与从帧间预测器121或帧内预测器122输出的预测信号相加以生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块不存在任何残差，诸如应用跳过模式的情况，则可以将预测块用作重构块。加法器150可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片中要处理的下一个块的帧内预测，并且可以通过下面描述的滤波而用于下一个图片的帧间预测。
71.此外，可以在图片编码和/或重构期间应用具有色度缩放的亮度映射(lmcs)。
72.滤波器160可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器160可以通过将各种滤波方法应用于重构图片而生成修改的重构图片并且将修改的重构图片存储在存储器170(具体地，存储器170的dpb)中。各种滤波方法可以包括(例如)去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器160可以生成与滤波相关的各种信息，并且将所生成的信息发送到熵编码器140，如后面在每个滤波方法的描述中所描述的。与滤波相关的信息可以由熵编码器140编码并以比特流的形式输出。
73.发送到存储器170的修改的重构图片可以在帧间预测器121中用作参照图片。当通过编码设备应用帧间预测时，可以避免编码设备200和解码设备之间的预测失配，并且可以提高编码效率。
74.存储器170的dpb可以存储修改的重构图片以用作帧间预测器121中的参照图片。存储器170可以存储当前图片中的已推导(或编码)运动信息的块的运动信息和/或图片中的已经重构的块的运动信息。所存储的运动信息可以发送到帧间预测器121并用作空间相邻块的运动信息或时间相邻块的运动信息。存储器170可以存储当前图片中的重构块的重构样本，并且可以将重构样本传送到帧内预测器122。
75.图2是例示可以应用本文档的实施方式的视频/图像解码设备的配置的示意图。
76.参照图2，解码设备200可以包括熵解码器210、残差处理器220、预测器230、加法器240、滤波器250、存储器260。预测器230可以包括帧间预测器231和帧内预测器232。残差处理器220可以包括解量化器221和逆变换器221。根据实施方式，熵解码器210、残差处理器220、预测器230、加法器240和滤波器250可以由硬件组件(例如，解码器芯片组或处理器)构成。另外，存储器260可以包括解码图片缓冲器(dpb)，或者可以由数字存储介质构成。硬件组件还可以包括存储器260作为内部/外部组件。
77.当输入包括视频/图像信息的比特流时，解码设备200可以与在图1的编码设备中处理视频/图像信息的处理对应地重构图像。例如，解码设备200可以基于与从比特流获得
的块分割相关信息来推导单元/块。解码设备200可以使用在编码设备中应用的处理器来执行解码。因此，解码的处理器可以是例如编码单元，并且可以根据四叉树结构、二叉树结构和/或三叉树结构从编码树单元或最大编码单元分割出编码单元。可以用编码单元推导一个或更多个变换单元。可以通过再现设备来再现通过解码设备200解码并输出的重构图像信号。
78.解码设备200可以接收以比特流的形式从图1的编码设备输出的信号，并且可以通过熵解码器210解码所接收的信号。例如，熵解码器210可以对比特流进行解析，以推导图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(aps)、图片参数集(pps)、序列参数集(sps)、或视频参数集(vps)之类的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。解码设备还可以基于关于参数集的信息和/或常规约束信息对图片进行解码。在本文档中后面描述的发信号通知/接收的信息和/或语法元素可以通过解码过程被解码并且从比特流中获得。例如，熵解码器210基于诸如指数哥伦布编码、cavlc、或cabac之类的编码方法对比特流中的信息进行解码，并且输出图像重构所需的语法元素和关于残差的变换系数的量化值。更具体地，cabac熵解码方法可以接收比特流中的与各语法元素对应的bin，使用在前一阶段解码的符号/bin的信息、解码目标语法元素信息或解码目标块的解码信息来确定上下文模型，并且通过根据所确定的上下文模型预测bin的发生概率来对bin执行算术解码，并且生成与每个语法元素的值对应的符号。在此情况下，cabac熵解码方法可以在确定上下文模型之后通过使用针对下一个符号/bin的上下文模型的解码的符号/bin的信息来更新上下文模型。在由熵解码器210解码的信息当中的与预测相关的信息可以被提供到预测器(帧间预测器232和帧内预测器231)，并且在熵解码器210中对其执行了熵解码的残差值，即，量化变换系数和相关的参数信息可以被输入到残差处理器220。残差处理器220可以推导残差信号(残差块、残差样本、残差样本阵列)。另外，在由熵解码器210解码的信息当中的关于滤波的信息可以被提供到滤波器250。此外，用于接收从编码设备输出的信号的接收器(未示出)还可以被配置为解码设备200的内部/外部元件，或者接收器可以是熵解码器210的组件。此外，根据本文档的解码设备可以被称为视频/图像/图片解码设备，并且解码设备可以被分为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器210，并且样本解码器可以包括解量化器221、逆变换器222、加法器240、滤波器250、存储器260、帧间预测器232和帧内预测器231中的至少一个。
79.解量化器221可以对量化变换系数进行解量化并且输出变换系数。解量化器221可以将量化变换系数重新布置为二维块的形式。在这种情况下，可以基于在编码设备中执行的系数扫描的顺序来执行重新布置。解量化器221可以通过使用量化参数(例如，量化步长信息)对量化变换系数执行解量化，并且获得变换系数。
80.逆变换器222对变换系数进行逆变换来获得残差信号(残差块、残差样本阵列)。
81.预测器可以对当前块执行预测，并且生成包括针对当前块的预测样本的预测块。预测器可以基于从熵解码器210输出的关于预测的信息来确定向当前块应用帧内预测还是帧间预测，并且可以确定具体的帧内/帧间预测模式。
82.预测器220可以基于下面描述的各种预测方法生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来预测一个块，而且可以同时应用帧内预测和帧间预测。这可
以被称为组合的帧间和帧内预测(ciip)。另外，预测器可以基于帧内块复制(ibc)预测模式或调色板模式进行块的预测。ibc预测模式或调色板模式可以用于游戏等的内容图像/视频编码，例如画面内容编码(scc)。ibc基本上在当前图片中执行预测，但可以与帧间预测类似地执行，因为在当前图片中推导参考块。也就是说，ibc可以使用本文档中所描述的至少一种帧间预测技术。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，可以基于关于调色板表和调色板索引的信息发信号通知图片内的样本值。
83.帧内预测器231可以通过参考当前图片中的样本来预测当前块。根据预测模式，参考的样本可以位于当前块的邻居中，或者可以隔开地定位。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。帧内预测器231可以通过使用应用于相邻块的预测模式来确定应用于当前块的预测模式。
84.帧间预测器232可以基于由参照图片上的运动向量指定的参考块(参考样本阵列)推导当前块的预测块。在此情况下，为了减少在帧间预测模式中发送的运动信息的量，可以基于相邻块与当前块之间的运动信息的相关性而以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参照图片索引。运动信息还可以包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，相邻块可以包括存在于当前图片中的空间相邻块以及存在于参照图片中的时间相邻块。例如，帧间预测器232可以基于相邻块来构造运动信息候选列表，并且基于所接收的候选选择信息推导当前块的运动向量和/或参照图片索引。可以基于各种预测模式执行帧间预测，并且关于预测的信息可以包括指示用于当前块的帧间预测的模式的信息。
85.加法器240可以通过将所获得的残差信号与从预测器(包括帧间预测器232和/或帧内预测器231)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块不存在任何残差，诸如当应用跳过模式时，可以将预测块用作重构块。
86.加法器240可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片中要处理的下一个块的帧内预测，可以通过下面描述的滤波而输出，或者可以用于下一个图片的帧间预测。
87.此外，可以在图片解码过程期间应用具有色度缩放的亮度映射(lmcs)。
88.滤波器250可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器250可以通过将各种滤波方法应用于重构图片而生成修改的重构图片并且将修改的重构图片存储在存储器260(具体地，存储器260的dpb)中。各种滤波方法可以包括(例如)去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
89.存储在存储器260的dpb中的(修改的)重构图片可以用作帧间预测器232中的参照图片。存储器260可以存储当前图片中的已推导(或解码)运动信息的块的运动信息和/或图片中的已经重构的块的运动信息。所存储的运动信息可以发送到帧间预测器160，从而用作空间相邻块的运动信息或时间相邻块的运动信息。存储器260可以存储当前图片中的重构块的重构样本并将重构样本传送到帧内预测器231。
90.在本文档中，编码设备100的滤波器160、帧间预测器121和帧内预测器122中描述的实施方式可以与解码设备200的滤波器250、帧间预测器232和帧内预测器231相同，或者分别应用以对应于解码设备200的滤波器250、帧间预测器232和帧内预测器231。
91.如上所述，在执行视频编码时，执行预测以增强压缩效率。可以通过预测生成包括当前块(即，目标编码块)的预测样本的预测块。在此情况下，预测块包括空间域(或像素域)中的预测样本。预测块在编码设备和解码设备中被同等地推导。编码设备可以通过向解码设备发信号通知关于原始块和预测块之间的残差的信息(残差信息)，而非原始块的原始样本值本身，来增强图像编码效率。解码设备可以基于残差信息推导包括残差样本的残差块，可以通过将残差块与预测块相加来生成包括重构样本的重构图片，并且可以生成包括重构块的重构图片。
92.可以通过变换和量化过程来生成残差信息。例如，编码设备可以推导原始块与预测块之间的残差块，可以通过对残差块中包括的残差样本(残差样本阵列)执行变换过程来推导变换系数，可以通过对变换系数执行量化过程来推导量化变换系数，并且可以(通过比特流)将相关残差信息发信号通知给解码设备。在此情况下，残差信息可以包括诸如值信息、位置信息、变换方案、变换核和量化变换系数的量化参数之类的信息。解码设备可以基于残差信息执行解量化/逆变换过程，并且可以推导残差样本(或残差块)。解码设备可以基于预测块和残差块生成重构图片。此外，编码设备可以通过对用于后续图片的帧间预测的参考的量化变换系数进行解量化/逆变换来推导残差块，并且可以生成重构图片。
93.如上所述，编码设备可以执行各种编码方法，诸如指数哥伦布、上下文自适应可变长度编码(cavlc)、和上下文自适应二进制算术编码(cabac)。此外，解码设备可以基于诸如指数哥伦布、cavlc或cabac之类的编码方法来解码比特流中的信息，可以输出图像重构所需的语法元素的值以及关于残差的变换系数的量化值。
94.例如，前面的编码方法可以执行如下。
95.图3例示了用于编码语法元素的上下文自适应二进制算术编码(cabac)。例如，在cabac的编码过程中，当输入信号是语法元素而非二进制值0时，编码设备可以通过二值化将输入信号变换为二进制值。当输入信号已经是二进制值(即，输入信号的值是二进制值)时，输入信号被旁通而不进行二值化。这里，形成二进制值的每个二进制数0或1可以被称为bin。例如，在二值化后的二进制串为110时，1、1和0中的每一个都称为一个bin。一个语法元素的bin可以指示语法元素的值。可以基于诸如截断的莱斯二值化过程和固定长度二值化过程之类的各种二值化方法来进行二值化，并且可以预定义用于目标语法元素的二值化方法。此二值化过程可以由熵编码器中的二值化器执行。
96.语法元素的二值化的bin可以被输入到常规编码引擎或旁通编码引擎。编码设备的常规编码引擎可以为bin指派反映概率值的上下文模型，并且可以基于指派的上下文模型对bin进行编码。编码设备的常规编码引擎可以对每个bin进行编码，然后可以更新bin的上下文模型。这些编码的bin可以被称为上下文编码的bin。
97.当语法元素的二值化的bin被输入到旁通编码引擎时，bin可以被如下编码。例如，编码设备的旁通编码引擎省略了估计输入的bin的概率的过程和在编码之后更新应用于bin的概率模型的过程。当应用旁通编码时，编码设备可以通过应用均匀概率分布而不是指派上下文模型来对输入的比特进行编码，因此增加编码速度。这些编码的bin可以被称为旁通bin。
98.熵解码可以以相反的顺序通过与上述熵编码相同的过程执行。
99.解码设备(熵解码器)可以对编码的图像/视频信息进行解码。图像/视频信息可以
包括划分相关信息、预测相关信息(例如，帧间/帧内预测分类信息、帧内预测模式信息和帧间预测模式信息)、残差信息、环路内滤波相关信息等，或者可以包括与其相关的各种语法元素。可以以语法元素为单位执行前述熵编码。
100.解码设备可以对目标语法元素执行二值化。这里，二值化可以基于各种二值化方法，诸如截断的莱斯二值化过程和固定长度二值化过程，并且可以预定义用于目标语法元素的二值化方法。解码设备可以通过该二值化过程推导目标语法元素的可用值的可用bin串(bin串候选)。二值化过程可以由熵解码器中的二值化器执行。
101.解码设备从比特流中的输入比特顺序地解码和解析目标语法元素的各个bin，并将推导出的bin串与语法元素的可用bin串进行比较。当推导出的bin串与可用bin串之一相同时，推导出对应于bin串的值作为语法元素的值。否则，解码设备还解析码流中的下一个比特，并再次执行上述过程。通过这个过程，比特流中的特定信息(特定语法元素)可以使用可变长度比特而不使用特定信息的起始比特或结束比特来发信号通知。因此，可以将更少数量的比特分配给更低的值，并且可以提高整体编码效率。
102.解码设备可以基于诸如cabac或cavlc之类的熵编码技术对来自比特流的bin串中的每个bin执行基于上下文的或基于旁通的解码。
103.当基于上下文模型对语法元素进行解码时，解码设备可以通过比特流接收与语法元素对应的bin，可以使用语法元素和关于要解码的块或相邻块的解码信息或关于在前一步骤中解码的符号/bin的信息来确定上下文模型，并且可以通过根据确定的上下文模型预测接收到的bin发生的概率并对bin执行算术解码来推导出语法元素的值。随后，可以将随后要解码的bin的上下文模型更新为所确定的上下文模型。
104.上下文模型可以被指派和更新给要被上下文编码(常规编码)的每个bin，并且可以基于ctxidx或ctxinc来指示上下文模式。可以基于ctxinc来推导ctxidx。具体地，例如，指示每个常规编码的bin的上下文模型的上下文索引(ctxidx)可以被推导为上下文索引增量(ctxinc)和上下文索引偏移(ctxidxoffset)的总和。这里，可以为每个bin推导出不同的ctxinc。ctxidxoffset可以表示为ctxidx的最低值。ctxidxoffset是一般用于区分其它语法元素的上下文模型的值，可以基于ctxinc对一个语法元素的上下文模型进行分类/推导。
105.在熵编码中，可以确定是通过常规编码引擎还是通过旁通编码引擎进行编码，并且可以切换编码路径。熵解码可以以相反顺序通过与编码相同的过程来执行。
106.例如，当语法元素经历旁通解码时，解码设备可以通过比特流接收与语法元素对应的bin，并且可以通过应用均匀概率分布来解码输入的bin。在这种情况下，解码设备可以省略推导语法元素的上下文模型的过程和在解码之后更新应用于bin的上下文模型的过程。
107.如上所述，残差样本可以通过变换和量化过程而被推导为量化变换系数。量化变换系数也可以称为变换系数。在这种情况下，块内的变换系数可以以残差信息的形式发信号通知。残差信息可以包括残差编码语法。也就是说，编码设备可以用残差信息构造残差编码语法，可以对残差编码语法进行编码，并且可以比特流的形式输出残差编码语法，并且解码设备可以从比特流中解码残差编码语法并且可以推导残差(量化)变换系数。如下所述，残差编码语法可以包括指示是否对块应用变换、块中最后有效变换系数的位置、子块中是否存在有效变换系数、有效变换系数的大小/代码等。
108.此外，如果执行帧内预测，则可以使用样本之间的相关性，并且可以获得原始块与预测块之间的差(即，残差)。可以将前述变换和量化应用于残差。因此，可以减少空间冗余。在下文中，具体描述了使用帧内预测的编码方法和解码方法。
109.帧内预测指代用于基于包括当前块的图片(以下称为当前图片)内的当前块外部的参考样本生成当前块的预测样本的预测。在此情况下，当前块外部的参考样本可以指代邻近当前块的样本。如果将帧内预测应用到当前块，则可以推导要用于当前块的帧内预测的相邻参考样本。
110.例如，当当前块的大小(宽度
×
高度)是nw
×
nh时，当前块的相邻参考样本可以包括与左边界相邻的样本和与当前块的左下相邻的总共2
×
nh个样本，与当前块的上边界相邻的样本和与当前块的右上相邻的总共2
×
nw个样本，以及与当前块的左上相邻的样本。另选地，当前块的相邻参考样本还可以包括多列上相邻样本和多行左相邻样本。此外，当前块的相邻参考样本还可以包括与具有nw
×
nh大小的当前块的右边界相邻的总共nh个样本、与当前块的下边界相邻的总共nw个样本和与当前块的右下相邻的一个样本。
111.在此情况下，当前块的相邻参考样本中的一些尚未被解码或可能不可用。在此情况下，解码设备可以通过用可用样本取代不可用样本来配置要用于预测的相邻参考样本。另选地，可以通过可用样本的插值来构造要用于预测的相邻参考样本。
112.如果推导相邻参考样本，则(i)可以基于当前块的相邻参考样本的平均或插值来推导预测样本，以及(ii)可以基于当前块的相邻参考样本当中的在针对预测样本的特定(预测)方向上存在的参考样本来推导预测样本。当帧内预测模式是非定向模式或非角度模式时，可以应用(i)。当帧内预测模式为定向模式或角度模式时，可以应用(ii)。
113.此外，还可以通过相邻参考样本当中的位于当前块的帧内预测模式的预测方向上的第一相邻样本与位于基于当前块的预测样本的预测方向的相反方向上的第二相邻样本之间的插值来生成预测样本。前述情况可以称为线性插值帧内预测(lip)。此外，还可以使用线性模型基于亮度样本生成色度预测样本。这种情况可以称为lm模式。
114.此外，可以基于经滤波的相邻参考样本来推导当前块的临时预测样本，并且还可以通过对常规相邻参考样本(即，未经滤波的相邻参考样本)当中的根据帧内预测模式推导出的至少一个参考样本和临时预测样本进行加权求和来推导当前块的预测样本。前述情况可以被称作位置相关帧内预测(pdpc)。
115.此外，可以通过在当前块的相邻的多条参考样本线当中选择具有最高预测精度的参考样本线来使用定位在对应线中的预测方向上的参考样本来推导预测样本，并且可以通过用于向解码设备指示(发信号通知)此时使用的参考样本线的方法来执行帧内预测编码。前述情况可以称为多参考线(mrl)帧内预测或基于mrl的帧内预测。
116.此外，可以通过将当前块分离成垂直或水平子分区而基于相同帧内预测模式执行帧内预测，并且可以以子分区为单位来推导并使用相邻参考样本。也就是说，在此情况下，当前块的帧内预测模式同等地应用于子分区，并且可以以子分区为单位来推导并使用相邻参考样本，由此增强一些情况下的帧内预测性能。这种预测方法可以被称为帧内子分区(isp)帧内预测或基于isp的帧内预测。
117.前述帧内预测方法可以与帧内预测模式分开地称为帧内预测类型。帧内预测类型可以称为各种词语，诸如帧内预测技术或附加帧内预测模式。例如，帧内预测类型(或附加
帧内预测模式等)可以包括前述lip、pdpc、mrl和isp中的至少一个。除了诸如lip、pdpc、mrl和isp之类的特定帧内预测类型之外的一般帧内预测方法可以被称作正常帧内预测类型。如果不应用特定帧内预测类型，那么通常可以应用正常帧内预测类型，并且可以基于前述帧内预测模式执行预测。此外，如果需要，则也可以执行用于推导的预测样本的后处理滤波。
118.除了上述帧内预测类型之外，基于矩阵的帧内预测(以下称为mip)可以被用作用于帧内预测的方法。mip可以被称为仿射线性加权帧内预测(alwip)或矩阵加权帧内预测(mwip)。
119.当mip应用于当前块时，用于当前块的预测样本可以通过以下来推导：i)使用已经经历平均过程的相邻参考样本；ii)执行矩阵
‑
向量乘法过程；和(iii)如果需要，进一步执行水平/垂直插值过程。用于mip的帧内预测模式可以与用于前述lip、pdpc、mrl或isp帧内预测中或用于正常帧内预测的帧内预测模式不同地配置。
120.mip的帧内预测模式可以被称作仿射线性加权帧内预测模式或基于矩阵的帧内预测模式。例如，矩阵
‑
向量乘法中使用的矩阵和偏移可以根据mip的帧内预测模式而被不同地配置。此处，矩阵可以被称作(仿射)加权矩阵，并且偏移可以被称作(仿射)偏移向量或(仿射)偏置向量。在本公开中，mip的帧内预测模式可以被称作mip帧内预测模式、线性加权帧内预测模式、矩阵加权帧内预测模式或基于矩阵的帧内预测模式。后面将描述特定mip方法。
121.下面的附图已经被准备以解释本文档的具体示例。由于在附图中描述的特定装置的名称或特定的词语或名称(例如，语法名称等)被示例性地呈现，所以本文档的技术特征不限于下面的附图中使用的特定名称。
122.图4示意性地例示了可应用本公开的实施方式的基于帧内预测的图像编码方法的示例，并且图5示意性地例示了编码设备中的帧内预测器。图5所示的编码设备中的帧内预测器也可以同等地或与其对应地应用到图1所示的编码设备100的帧内预测器122。
123.参照图4和图5，可以由编码设备的帧内预测器122执行s400，并且可以由编码设备的残差处理器130执行s410。具体地，s410可以由编码设备的减法器131执行。在s420中，预测信息可以由帧内预测器122推导，并且由熵编码器140编码。在s420中，残差信息可以由残差处理器130推导，并且由熵编码器140编码。残差信息指示关于残差样本的信息。残差信息可以包括关于残差样本的量化变换系数的信息。如上所述，可以根据通过编码设备的变换器132的变换系数推导残差样本，并且可以根据通过量化器133的量化变换系数推导变换系数。关于量化变换系数的信息可以由熵编码器140通过残差编码过程来编码。
124.编码设备对当前块执行帧内预测(s400)。编码设备可以推导当前块的帧内预测模式/类型，推导当前块的相邻参考样本，并且基于帧内预测模式/类型以及相邻参考样本来生成当前块中的预测样本。这里，还可以同时执行确定帧内预测模式/类型、推导相邻参考样本以及生成预测样本的过程，并且任何一个过程也可以比其它过程更早地执行。
125.例如，编码设备的帧内预测器122可以包括帧内预测模式/类型确定器122
‑
1、参考样本推导器122
‑
2和预测样本推导器122
‑
3，其中帧内预测模式/类型确定器122
‑
1可以确定当前块的帧内预测模式/类型，参考样本推导器122
‑
2可以推导当前块的相邻参考样本，并且预测样本推导器122
‑
3可以推导当前块的预测样本。此外，尽管未示出，但是如果执行预
测样本滤波过程，则帧内预测器122也还可以包括预测样本滤波器(未示出)。编码设备可以确定多个帧内预测模式/类型当中的应用于当前块的模式/类型。编码设备可以比较帧内预测模式/类型的rd成本并且确定当前块的最佳帧内预测模式/类型。
126.如上所述，编码设备还可以执行预测样本滤波过程。预测样本滤波可以被称作后滤波。预测样本中的一些或全部可以通过预测样本滤波过程进行滤波。在一些情况下，可以省略预测样本滤波过程。
127.编码设备基于(经滤波的)预测样本生成当前块的残差样本(s410)。编码设备可以基于当前块的原始样本中的相位来比较预测样本，并且推导残差样本。
128.编码设备可以对包括关于帧内预测的信息(预测信息)和关于残差样本的残差信息的图像信息进行编码(s420)。预测信息可以包括帧内预测模式信息和帧内预测类型信息。残差信息可以包括残差编码语法。编码设备可以通过变换/量化残差样本来推导量化变换系数。残差信息可以包括关于量化变换系数的信息。
129.编码设备可以以比特流的形式输出编码图像信息。输出的比特流可以通过存储介质或网络递送到解码设备。
130.如上所述，编码设备可以生成重构图片(包括重构样本和重构块)。为此，编码设备可以通过再次解量化/逆变换量化变换系数来推导(修改的)残差样本。如上所述，变换/量化残差样本并然后再次解量化/逆变换它们的原因是推导与由解码设备推导的残差样本相同的残差样本，如上所述。编码设备可以基于预测样本和(修改的)残差样本生成包括当前块的重构样本的重构块。可以基于重构块生成当前图片的重构图片。如上所述，还可以将环路内滤波过程等应用于重构图片。
131.图6示意性地例示了可应用本公开的实施方式的基于帧内预测的图像解码方法示例，并且图7示意性地例示了解码设备中的帧内预测器。图7所示的解码设备中的帧内预测器也可以同等地或与其对应地应用到图2所示的解码设备200的帧内预测器231。
132.参照图6和图7，解码设备可以执行与由编码设备执行的前述操作相对应的操作。可以由解码设备的帧内预测器231来执行s600至s620，并且可以由解码设备的熵解码器210从比特流中获取s600中的预测信息和s630中的残差信息。解码设备的残差处理器220可以基于残差信息推导当前块的残差样本。具体地，残差处理器220的解量化器221可以通过在基于残差信息推导的量化变换系数的基础上执行解量化来推导变换系数，并且残差处理器的逆变换器222通过对变换系数进行逆变换来推导当前块的残差样本。s640可以由解码设备的加法器240或重构器执行。
133.解码设备可以基于所接收的预测信息(帧内预测模式/类型信息)推导当前块的帧内预测模式/类型(s600)。解码设备可以推导当前块的相邻参考样本(s610)。解码设备基于帧内预测模式/类型和相邻参考样本来生成当前块中的预测样本(s620)。在此情况下，解码设备可以执行预测样本滤波过程。预测样本滤波可以被称作后滤波。预测样本中的一些或全部可以由预测样本滤波过程滤波。在一些情况下，可以省略预测样本滤波过程。
134.解码设备基于所接收的残差信息生成当前块的残差样本(s630)。解码设备可以基于预测样本和残差样本生成当前块的重构样本，并且推导包括重构样本的重构块(s640)。可以基于重构块生成当前图片的重构图片。如上所述，还可以将环路内滤波过程等应用于重构图片。
135.这里，解码设备的帧内预测器231可以包括帧内预测模式/类型确定器231
‑
1、参考样本推导器231
‑
2和预测样本推导器231
‑
3，其中帧内预测模式/类型确定器231
‑
1可以基于由熵解码器210获取的帧内预测模式/类型信息来确定当前块的帧内预测模式/类型，参考样本推导器231
‑
2可以推导当前块的相邻参考样本，并且预测样本推导器231
‑
3可以推导当前块的预测样本。此外，尽管未示出，但是如果执行前述预测样本滤波过程，则帧内预测器231也还可以包括预测样本滤波器(未示出)。
136.帧内预测模式信息可以包括(例如)指示是否将最可能模式(mpm)应用于当前块或者是否将其余模式应用于其的标志信息(例如，intra_luma_mpm_flag)。此时，如果将mpm应用于当前块，则预测模式信息还可以包括指示帧内预测模式候选(mpm候选)中的一个的索引信息(例如，intra_luma_mpm_idx)。帧内预测模式候选(mpm候选)可以由mpm候选列表或mpm列表构成。此外，如果mpm不应用于当前块，则帧内预测模式信息还可以包括指示除帧内预测模式候选(mpm候选)之外的其余帧内预测模式中的一个的其余模式信息(例如，intra_luma_mpm_remainder)。解码设备可以基于帧内预测模式信息确定当前块的帧内预测模式。
137.此外，帧内预测类型信息可以以各种形式实现。作为示例，帧内预测类型信息可以包括指示帧内预测类型中的一个的帧内预测类型索引信息。作为另一示例，帧内预测类型信息可以包括以下中的至少一个：参考样本线信息(例如，intra_luma_ref_idx)，其指示是否将mrl应用于当前块以及如果应用mrl则使用哪条参考样本线；isp标志信息(例如，intra_subpartitions_mode_flag)，其指示isp是否应用于当前块；isp类型信息(例如，intra_subpartitions_split_flag)，其指示如果应用isp则子分区的分割类型；指示是否应用pdcp的标志信息，其；或者指示是否应用lip的标志信息。此外，帧内预测类型信息可以包括指示mip是否应用于当前块的mip标志。
138.上述帧内预测模式信息和/或帧内预测类型信息可以通过本文档中描述的编码方法进行编码/解码。例如，可以通过基于截断的(莱斯)二进制码的熵编码(例如，cabac、cavlc)来编码/解码前述帧内预测模式信息和/或帧内预测类型信息。
139.此外，在应用帧内预测的情况下，可以使用相邻块的帧内预测模式来确定应用于当前块的帧内预测模式。例如，解码设备可以基于所接收的mpm索引在基于当前块的相邻块(例如，左相邻块和/或上相邻块)的帧内预测模式以及附加候选模式推导出的最可能模式(mpm)列表中的mpm候选中选择一个mpm候选，或者可以基于其余帧内预测模式信息选择不包括于mpm候选(和平面模式)中的其余帧内预测模式中的一个。mpm列表可以被构造为包括或不包括平面模式作为候选。例如，如果mpm列表包括平面模式作为候选，则mpm列表可以具有6个候选，而如果mpm列表不包括平面模式作为候选，则mpm列表可以具有5个候选。如果mpm列表不包括平面模式作为候选，则可以发信号通知指示当前块的帧内预测模式是否为平面模式的非平面标志(例如，intra_luma_not_planar_flag)。例如，可以首先发信号通知mpm标志，并且当mpm标志的值等于1时可以发信号通知mpm索引和非平面标志。此外，当非平面标志的值等于1时，可以发信号通知mpm索引。这里，构造mpm列表以不包括平面模式作为候选是首先通过首先发信号通知标志(非平面标志)来标识帧内预测模式是否为平面模式，因为平面模式一直被视为mpm，而非平面模式不是mpm。
140.例如，可以基于mpm标志(例如，intra_luma_mpm_flag)指示应用于当前块的帧内预测模式是在mpm候选(和平面模式)中还是在其余模式中。mpm标志值1可以表示当前块的
帧内预测模式在mpm候选(和平面模式)中，并且mpm标志值0可以表示当前块的帧内预测模式不在mpm候选(和平面模式)中。非平面标志(例如，intra_luma_not_planar_flag)值0可以表示当前块的帧内预测模式为平面模式，并且非平面标志值1可以表示当前块的帧内预测模式不是平面模式。mpm索引可以以mpm_idx或intra_luma_mpm_idx语法元素的形式发信号通知，并且其余帧内预测模式信息可以以rem_intra_luma_pred_mode或intra_luma_mpm_remainder语法元素的形式发信号通知。例如，其余帧内预测模式信息可以按其预测模式数量的次序对整个帧内预测模式当中的不包括于mpm候选(和平面模式)中的其余帧内预测模式进行索引，并且可以指示其中的一者。帧内预测模式可以为亮度分量(样本)的帧内预测模式。在下文中，帧内预测模式信息可以包括mpm标志(例如，intra_luma_mpm_flag)、非平面标志(例如，intra_luma_not_plane_flag)、mpm索引(例如，mpm_idx或intra_luma_mpm_idx)以及其余帧内预测模式信息(rem_intra_luma_pred_mode或intra_luma_mpm_remainder)中的至少一个。在本文档中，mpm列表可以被称作各种词语，诸如mpm候选列表、候选模式列表(candmodelist)和候选帧内预测模式列表。
141.通常，当分割图像的块时，要编码的当前块和相邻块具有类似的图像属性。因此，当前块和相邻块更可能具有相同或相似的帧内预测模式。因此，编码器可以使用相邻块的帧内预测模式来编码当前块的帧内预测模式。例如，编码器/解码器可以构成当前块的最可能模式(mpm)列表。mpm列表还可以被称作mpm候选列表。这里，mpm可以意指用于在对帧内预测模式进行编码时考虑当前块与相邻块之间的相似性来提高编码效率的模式。
142.图8例示了可以应用本文档的实施方式的帧内预测模式的示例。
143.参照图8，可以基于具有左上对角线预测方向的第34号帧内预测模式来将模式划分成具有水平方向性的帧内预测模式以及具有垂直方向性的帧内预测模式。在图8中，h和v分别意指水平方向性和垂直方向性。数字
‑
32到32中的每一个指示样本网格位置上的1/32单元的位移。第2至33号帧内预测模式具有水平方向性，并且第34至66号帧内预测模式具有垂直方向性。第18号帧内预测模式和第50号帧内预测模式分别指示水平帧内预测模式和垂直帧内预测模式。第2号帧内预测模式可以被称作左下对角线帧内预测模式，第34号帧内预测模式可以被称作左上对角线帧内预测模式，并且第66号帧内预测模式可以被称作右上对角线帧内预测模式。
144.用于mip的帧内预测模式可以指示用于帧内预测的矩阵和偏移，而非现有的定向模式。也就是说，可以通过mip的帧内模式推导用于帧内预测的矩阵和偏移。在此情况下，当推导用于一般帧内预测或用于生成上文所描述的mpm列表的帧内模式时，可以将由mip预测的块的帧内预测模式设置为预设模式，例如，平面模式或dc模式。根据另一示例，mip的帧内模式可以基于块大小而映射到平面模式、dc模式或定向帧内模式。
145.在下文中，描述了作为帧内预测方法的基于矩阵的帧内预测(mip)。
146.如上所述，基于矩阵的帧内预测(下文中，mip)可以被称作仿射线性加权帧内预测(alwip)或矩阵加权帧内预测(mwip)。为了预测具有宽度(w)和高度(h)的矩形块的样本，mip使用与块的左边界相邻的重构样本当中的一条h线以及与块的上边界相邻的重构样本当中的一条w线作为输入值。当没有重构样本可以用时，可以通过应用于一般帧内预测的插值方法来生成参考样本。
147.图9例示了根据示例的基于mip的预测样本生成过程。如下参照图9描述mip过程。
148.1.平均过程
149.在边界样本当中，通过平均过程提取针对w＝h＝4的情况的四个样本和针对任何其它情况的八个样本。
150.2.矩阵
‑
向量乘法过程
151.使用平均样本作为输入来执行矩阵向量乘法，随后添加偏移。通过此操作，可以推导出原始块中的下采样的样本集的缩减预测样本。
152.3.(线性)插值过程
153.通过线性插值从下采样的样本集的预测样本中生成其余位置处的预测样本，线性插值在每个方向上为单步线性插值。
154.生成预测块或预测样本所需的矩阵和偏移向量可以选自矩阵的三个集s0、s1和s2。
155.集s0可以包括16个矩阵a
0i
，i∈{0，
…
，15}，以及16个偏移向量b
0i
，i∈{0，
…
，15}，并且每个矩阵可以包括16个行、4个列。集s0的矩阵和偏移向量可以用于4
×
4块。在另一示例中，集s0可以包括18个矩阵。
156.集s1可以包括八个矩阵a
1i
，i∈{0，
…
，7}，以及八个偏移向量b
1i
，i∈{0，
…
，7}，并且每个矩阵可以包括16个行、8个列。在另一示例中，集s1可以包括六个矩阵。集s1的矩阵和偏移向量可以用于4
×
8、8
×
4和8
×
8块。另选地，集s1的矩阵和偏移向量可以用于4
×
h或w
×
4块。
157.最后，集s2可以包括六个矩阵a
2i
，i∈{0，
…
，5}，以及六个偏移向量b
2i
，i∈{0，
…
，5}，并且每个矩阵可以包括64个行、8个列。集s2的矩阵和偏移向量或者其中的一些可以用于具有集s0和集s1不应用的不同大小的任何块。例如，集s2的矩阵和偏移向量可以用于具有8或更大的高度和宽度的块的操作。
158.矩阵
‑
向量乘法的计算所需的乘法的总数总是小于或等于4
×
w
×
h。也就是说，在mip模式中，每个样本需要最多四次乘法。
159.在下文中，简要描述了整体mip过程。下面未描述的其余块可以在所描述的四个情况中的任一者中处理。
160.图10至图13例示了根据块的大小的mip过程，其中图10例示了用于4
×
4块的mip过程，图11例示了用于8
×
8块的mip过程，图12例示了用于8
×
4块的mip过程，并且图13例示了用于16
×
16块的mip过程。
161.如图10所示，给定4
×
4块，mip根据边界的每个轴线对两个样本进行平均。结果，四个输入样本是矩阵
‑
向量乘法的输入，并且矩阵取自集s0。添加偏移，由此生成16个最终预测样本。对于4
×
4块，不需要线性插值以生成预测样本。因此，每个样本可以执行的总共(4
×
16)/(4
×
4)＝4次乘法。
162.如图11所示，给定8
×
8块，mip根据边界的每个轴线对四个样本进行平均。结果，八个输入样本是矩阵
‑
向量乘法的输入，并且矩阵取自集s1。通过矩阵
‑
向量乘法在奇数位置处生成16个样本。
163.对于8
×
8块，每个样本执行总共(8
×
16)/(8
×
8)＝2次乘法以生成预测样本。在添加偏移之后，使用缩减上边界样本来对样本进行垂直插值，并且使用原始左边界样本来对样本进行水平插值。在此情况下，由于在插值过程中不需要乘法运算，所以对于mip需要每个样本总共两次乘法。
164.如图12所示，给定8
×
4块，mip根据边界的水平轴线对四个样本进行平均，并且根据垂直轴线在左边界上使用四个样本值。结果，八个输入样本是矩阵
‑
向量乘法的输入，并且矩阵取自集s1。通过矩阵向量乘法，在奇数水平位置和对应垂直位置处生成16个样本。
165.对于8
×
4块，每个样本执行总共(8
×
16)/(8
×
4)＝4次乘法以生成预测样本。在添加偏移之后，使用原始左边界样本对样本进行水平插值。在此情况下，由于在插值过程中不需要乘法运算，所以对于mip需要每个样本总共四次乘法。
166.如图13所示，给定16
×
16块，mip根据每个轴线对四个样本进行平均。结果，八个输入样本是矩阵
‑
向量乘法的输入，并且矩阵取自集s2。通过矩阵
‑
向量乘法，在奇数位置处生成64个样本。对于16
×
16块，每个样本执行总共(8
×
64)/(16
×
16)＝2次乘法以生成预测样本。在添加偏移之后，使用八个缩减上边界样本对样本进行垂直插值，并且使用原始左边界样本对样本进行水平插值。在此情况下，由于在插值过程中不需要乘法运算，所以对于mip需要每个样本总共两次乘法运算。
167.对于更大的块，mip过程与上述过程基本相同，并且可以容易地识别每个样本的乘法的数量小于4。
168.对于宽度大于8(w＞8)的w
×
8块，由于在奇数水平位置和每个垂直位置处生成样本，所以仅需要水平插值。在这种情况下，每个样本执行(8
×
64)/(w
×
8)＝64/w次乘法以用于缩减样本的预测操作。在w＝16的情况下，对于线性插值不需要附加乘法，并且在w＞16的情况下，线性插值所需的每个样本的附加乘法的数量小于2。也就是说，每个样本的乘法的总数小于或等于4。
169.对于宽度大于4(w>4)的w
×
4块，从省略对应于沿着降采样块的水平轴线的奇数条目的所有行而得到的矩阵被定义为ak。因此，输出的大小为32，并且仅执行水平插值。对于缩减样本的预测操作，每个样本执行(8
×
32)/(w
×
4)＝64/w次乘法。在w＝16的情况下，不需要附加乘法，并且在w＞16的情况下，线性插值所需的每个样本的附加乘法的数量小于2。也就是说，每个样本的乘法的总数小于或等于4。
170.当矩阵被转置时，可以相应地执行处理。
171.图14例示了mip过程中的边界平均过程。参照图14详细描述平均过程。
172.根据平均过程，对每个边界(左边界或上边界)应用平均。边界指示与当前块的边界邻近的相邻参考样本，如图16所示。例如，左边界(bdry
left
)指示与当前块的左边界邻近的左相邻参考样本，并且上边界(bdry
top
)指示与上部邻近的上相邻参考样本。
173.当当前块为4
×
4块时，可以通过平均过程将每个边界的大小缩减到两个样本。当当前块不是4
×
4块时，可以通过平均过程将每个边界的大小缩减到四个样本。
174.平均过程的第一步是将输入的边界(bdry
left
和bdry
top
)缩减到更小的边界(和)。和包括用于4
×
4块的两个样本，并且针对任何其它情况包括四个样本。
175.对于4
×
4块，其中0≤i<2，可以由下式表示，并且可以类似地定义
176.[式1]
[0177][0178]
当块的宽度是w＝4
×2k
时，其中0≤i<4，可以由下式表示，并且可以类似地定义
[0179]
[式2]
[0180][0181]
由于两个缩减边界和被级联成缩减边界向量bdry
red
，因此bdry
red
在4
×
4块中具有4的大小，并且在任何其它块中具有8的大小。
[0182]
当“模式(mode)”指示mip模式时，可以根据下式基于块的大小和intra_mip_transposed_flag值来定义缩减边界向量bdry
red
和mip模式的范围。
[0183]
[式3]
[0184][0185]
在上式中，intra_mip_transposed_flag可以被称作mip转置，并且此标志信息可以指示是否转置缩减预测样本。此语法元素的语义可以表示为“intra_mip_transposed_flag[x0][y0]指定用于亮度样本的基于矩阵的帧内预测模式的输入向量是否转置。
[0186]
最后，对于下采样的预测样本的插值，对于大块需要平均边界的第二版本。也就是说，如果宽度和高度中的较小值大于8(min(w，h)＞8)并且宽度等于或大于高度(w≥h)，则w＝8*2
l
，并且可以通过下式定义，其中0≤i<8。如果宽度和高度种的较小值大于8(min(w，h)＞8)并且高度大于宽度(h>w)，则可以类似地定义
[0187]
[式4]
[0188][0189]
接下来，描述了用于通过矩阵
‑
向量乘法来生成缩减预测样本的过程。
[0190]
缩减输入向量bdry
red
中的一个生成缩减预测样本pred
red
。预测样本是用于具有宽度w
red
和高度h
red
的降采样块的信号。这里，w
red
和h
red
被定义如下。
[0191]
[式5]
[0192][0193][0194]
缩减预测样本pred
red
可以通过执行矩阵
‑
向量乘法并然后添加偏移来获得，并且可以通过下式推导。
[0195]
[式6]
[0196]
pred
red
＝a
·
bdry
red
b这里，a是包括w
red
×
h
red
个行和四个列(其中w和h是4(w＝h＝4))或者八个列(在任何其它情况下)的矩阵，并且b是w
red
×
h
red
向量。
[0197]
矩阵a和向量b可以从s0、s1和s2进行如下选择，并且索引idx＝idx(w，h)可以由式7或式8定义。
[0198]
[式7]
[0199][0200]
[式8]
[0201][0202]
当idx为1或更小(idx≤1)时或当idx为2且w和h中的较小值大于4(min(w，h)＞4)时，a设置为并且b设置为当idx为2、w和h中的较小值为4(min(w，h)＝4)并且w为4时，a为通过移除的对应于降采样块中的奇数x坐标的每行而生成的矩阵。另选地，当h为4时，a为通过移除的对应于降采样块中的奇数y坐标的每列而生成的矩阵。
[0203]
最后，在式9中，缩减预测样本可以由其转置代替。
[0204]
[式9]
[0205]
·
w＝h＝4并且intra_mip_transposed_flag＝1
[0206]
·
max(w，h)＝8并且intra_mip_transposed_flag＝1
[0207]
·
max(w，h)＞8并且intra_mip_transposed_flag＝１
[0208]
当w＝h＝4时，由于a包括四个列和16个行，因此计算pred
red
所需的乘法的数量是4。在任何其它情况下，由于a包括八个列和w
red
×
h
red
个行，因此需要每样本最多四次乘法来计算pred
red
。
[0209]
图15例示了mip过程中的线性插值。参照图15将线性插值过程描述如下。
[0210]
插值过程可以被称作线性插值过程或双线性插值过程。插值过程可以包括两个步骤，其为1)垂直插值和2)水平插值，如同所示。
[0211]
如果w＞＝h，则可以首先应用垂直线性插值，随后是水平线性插值。如果w＜h，则可以首先应用水平线性插值，随后是垂直线性插值。在4
×
4块中，可以省略插值过程。
[0212]
在w
×
h块(其中max(w,h)≥8)中，预测样本是从w
red
×
h
red
的缩减预测样本pred
red
推导的。取决于块类型，线性插值可以垂直地、水平地或在两个方向上执行。当在两个方向上应用线性插值时，如果w<h，则首先在水平方向上应用线性插值，否则首先在垂直方向上应用线性插值。
[0213]
对于w
×
h块((其中max(w,h)≥8)并且w>＝h)，可以认为不存在一般性损失。在此情况下，如下执行一维线性插值。当不存在一般性损失时，充分地解释垂直方向上的线性插值。
[0214]
首先，缩减预测样本由边界信号向上扩展。当定义了垂直上采样系数u
ver
＝h/h
red
并且设置时，可以通过下式来设置扩展的缩减预测样本。
[0215]
[式10]
[0216][0217]
随后，可以通过下式从扩展的缩减预测样本生成垂直线性插值预测样本。
[0218]
[式11]
[0219][0220]
这里，x可以是0≤x＜w
red
，y可以是0≤y＜h
red
，并且k可以是0≤k＜u
ver
。
[0221]
在下文中，描述了一种用于最大化mip技术的性能同时降低其复杂度的方法。以下要描述的实施方式可以独立地或组合地执行。
[0222]
此外，当mip被应用到当前块时，可以单独配置mip被应用到的当前块的mpm列表。mpm列表可以被称为诸如mip mpm列表(或lwip mpm列表、candlwipmodelist)之类的各种名称，以便与当alwip未应用于当前块时的mpm列表区分开。在下文中，为了规定将其表示为mip mpm列表，但它也可以称为mpm列表。
[0223]
mip mpm列表可以包括n个候选，例如，n可以是3。mip mpm列表可以基于当前块的左相邻块和上相邻块来配置。这里，左相邻块可以指示位于与当前块的左边界邻近的相邻块当中的最上位置的块。此外，上相邻块可以指示位于与当前块的上边界邻近的相邻块当中的最左位置的块。
[0224]
例如，当mip被应用于左相邻块时，第一候选帧内预测模式(或candlwipmodea)可以被设置为与左相邻块的mip模式相同。此外，例如，当mip被应用于上相邻块时，第二候选帧内预测模式(或candlwipmodeb)可以被设置为与上相邻块的mip模式预测模式相同。
[0225]
此外，左相邻块或上相邻块可以基于帧内预测而不是mip来编码。也就是说，当对左相邻块或上相邻块进行编码时，可以应用除mip之外的帧内预测类型。在这种情况下，不适合将未应用mip的相邻块(左相邻块/上相邻块)的一般帧内预测模式编号用作应用了mip的当前块的候选帧内模式。因此，在这种情况下，作为示例，未应用mip的相邻块(左相邻块/上相邻块)的mip模式可以被视为特定值(例如，0，1或2等)的mip模式预测模式。另选地，作为另一示例，未应用mip的相邻块(左相邻块/上相邻块)的一般帧内预测模式可以基于预定
映射表映射到mip模式并用于配置mip mpm列表。在这种情况下，可以基于当前块的块大小类型来执行映射。
[0226]
此外，即使相邻块(例如，左相邻块/上相邻块)不可用(例如，位于当前图片外部，位于当前贴片/贴片组等的外部)，或者即使应用了mip，也可以根据块大小类型使用当前块不可用的mip模式。在这种情况下，可以使用针对第一候选和/或第二候选预定义的特定mip模式作为第一候选帧内预测模式或第二候选帧内预测模式。另外，可以使用针对第三候选预定义的特定mip预测模式作为第三候选帧内预测模式。
[0227]
在现有的mip模式中，类似于现有帧内预测模式推导方法，相对于非mpm和mpm单独地发送mpm标志，并且基于mpm或非mpm来编码用于当前块的mip模式。
[0228]
根据实施方式，对于应用mip技术的块，可以提出用于在不分离mpm和非mpm的情况下直接对mip模式进行编码的结构。此图像编码结构使得可以简化复杂语法结构。此外，由于实际上在mip模式中发生的各个模式的频率相对均匀地分布，因而与现有的帧内模式中的频率显著不同，因此所提出的编码结构使得可以在编码和解码mip模式信息时使效率最大化。
[0229]
根据实施方式的针对mip发送和接收的图像信息如下。以下语法可以包括在从前述编码设备发送到解码设备的视频/图像信息中，并且可以在编码设备中被配置/编码为以比特流的形式发信号通知给解码设备，并且解码设备可以根据语法中所公开的条件/次序来解析/解码所包括的信息(语法元素)。
[0230]
[表1]
[0231][0232]
如表1所示，可以在关于编码单元的语法信息中包括并发信号通知当前块的mip模式的语法intra_mip_flag和intra_mip_mode_idx，并且在用于当前块的语法intra_mip_flag及intra_mip_mode_idx。
[0233]
intra_mip_flag的等于1的值指示亮度样本的帧内预测类型是基于矩阵的帧内预测，并且等于0的值指示亮度样本的帧内预测类型不是基于矩阵的帧内预测。
[0234]
等于1的intra_mip_mode_idx指示亮度样本的基于矩阵的帧内预测模式。如上所述，该基于矩阵的帧内预测模式可以指示用于mip的矩阵或者矩阵和偏移。
[0235]
此外，根据示例，还可以通过编码单元的语法发信号通知指示基于矩阵的帧内预测的输入向量是否转置的标志信息(例如，intra_mip_transposed_flag)。等于1的intra_mip_transposed_flag指示输入向量被转置，并且可以通过此标志信息减少用于基于矩阵的帧内预测的矩阵的数量。
[0236]
intra_mip_mode_idx可以通过如下表所示的截断的二值化方法来编码和解码。
[0237]
[表2]
[0238][0239]
如表2所示，用固定长度码对intra_mip_flag进行二值化，而使用截断的二值化方法对intra_mip_mode_idx进行二值化，并且可以根据编码块的大小来设置最大二值化长度(cmax)。如果编码块的宽度和高度是4(cbwidth＝＝4&&cbheight＝＝4)，则可以将最大二值化长度设置为34，否则，可以根据编码块的宽度和高度是否为8或更小((cbwidth<＝8&&cbheight<＝8)？)来将最大二值化长度设置为18或10。
[0240]
intra_mip_mode_idx可以通过旁通方法而非基于上下文模型的方法来编码。通过在旁通方法中编码，可以增加编码速度和效率。
[0241]
根据另一示例，当通过截断的二值化方法对intra_mip_mode_idx进行二值化时，最大二值化长度可以如下表所示。
[0242]
[表3]
[0243][0244]
如表3所示，如果编码块的宽度和高度是4((cbwidth＝＝4&&cbheight＝＝4))，则intra_mip_mode_idx的最大二值化长度可以被设置为15；否则，如果编码块的宽度或高度是4((cbwidth＝＝4||cbheight＝＝4))，或者如果编码块的宽度和高度是8(cbwidth＝＝8&&cbheight＝＝8)，则可以将最大二值化长度设置为7，并且如果编码块的宽度或高度是4
((cbwidth＝＝4||cbheight＝＝4))或者如果编码块的宽度和高度不为8(cbwidth＝＝8&&cbheight＝＝8)，则可以将最大二值化长度设置为5。
[0245]
根据另一示例，可以用固定长度码对intra_mip_mode_idx进行编码。在这种情况下，为了增加编码效率，对于每个块大小，可用mip模式的数量可以被限制为2的幂(例如，a＝2
k1
‑
1，b＝2
k2
‑
1，并且c＝2
k3
‑
1，其中k1、k2和k3是正整数)。
[0246]
以上描述在下表中示出。
[0247]
[表4]
[0248][0249]
在表4中，当k1＝5、k2＝4且k3＝3时，intra_mip_mode可以被二值化如下。
[0250]
[表5]
[0251][0252]
另选地，根据示例，当k1设置为4且因此编码块的宽度和高度为4时，可以将块的intra_mip_mode的最大二值化长度设置为15。另外，当k2被设置为3且因此编码块的宽度或高度是4或者编码块的宽度和高度是8时，最大二值化长度可以被设置为7。
[0253]
实施方式可以提出仅针对mip技术能够被高效地应用到的特定块使用mip的方法。当应用根据实施方式的方法时，可以减少mip所需的矩阵向量的数量并且显著地减少存储矩阵向量所需的存储器(50％)。利用这些效果，编码效率保持几乎相同(小于0.1％)。
[0254]
下表例示了根据实施方式的包括应用mip技术的特定条件的语法。
[0255]
[表6]
[0256][0257]
如表6所示，可以添加仅向大块(cbwidth＞k1||cbheight＞k2)应用mip的条件，并且可以基于预设值(k1和k2)来确定块的大小。mip仅应用于大块的原因在于mip的编码效率出现在相对较大的块中。
[0258]
下表例示了其中表6中的k1和k2被预定义为8的示例。
[0259]
[表7]
[0260][0261]
表6和表7中的intra_mip_flag和intra_mip_mode_idx的语义与表1所示的相同。
[0262]
当intra_mip_mode_idx具有11个可能模式时，intra_mip_mode_idx可以通过截断的二值化(cmax＝10)来编码如下。
[0263]
[表8]
[0264][0265]
另选地，当可用mip模式限于八个模式时，intra_mip_mode_idx[x0][y0]可以用固定长度码编码如下。
[0266]
[表9]
[0267][0268]
在表8和表9中，intra_mip_mode_idx可以通过旁通方法进行编码。
[0269]
实施方式可以提出用于将用于大块的加权矩阵(ak)和偏移向量(bk)应用于小块的mip技术，以便在存储器节省方面高效地应用mip技术。当应用根据实施方式的方法时，可以减少mip所需的矩阵向量的数量，并且显著地减少存储矩阵向量所需的存储器(50％)。利用这些效果，编码效率保持几乎相同(小于0.1％)。
[0270]
图16例示了根据本公开的实施方式的mip技术。
[0271]
如图所示，图16的(a)示出了用于大块索引i的矩阵和偏移向量的运算，并且图16的(b)示出了应用于小块的采样的矩阵的运算和偏移向量运算。
[0272]
参照图16，可以通过考虑通过对用于大块的加权矩阵进行下采样获得的下采样加权矩阵(sub(ak))和通过将用于大块的偏移向量进行下采样获得的偏移向量(sub(bk))分别作为用于小块的加权矩阵和偏移向量来应用现有mip过程。
[0273]
这里，下采样可以仅在水平方向和垂直方向中的一个方向上被应用，或者可以在两个方向上被应用。具体地，可以基于对应块的宽度和高度来设置下采样因子(例如，2取1或4取1)以及垂直采样方向或水平采样方向。
[0274]
另外，可以基于当前块的大小而不同地设置应用此实施方式的mip的帧内预测模式的数量。例如，i)当当前块(编码块或变换块)的高度和宽度两者为4时，35个帧内预测模式(即，帧内预测模式0至34)可以是可用的，ii)当当前块的高度和宽度两者为8或小于8时，
19个帧内预测模式(即，帧内预测模式0至18)可以是可用的，并且iii)在其它情况下，11个帧内预测模式(即，帧内预测模式0至10)可以是可用的。
[0275]
例如，当当前块的高度和宽度二者都是4的情况被定义为块大小类型0，当前块的高度和宽度二者都是8或更小的情况被定义为块大小类型1，并且其它情况被定义为块大小类型2时，mip的帧内预测模式的数量可以如下表所示。
[0276]
[表10]
[0277][0278]
为了将用于大块(例如，块大小类型＝2)的加权矩阵和偏移向量应用于小块(例如，块大小＝0或块大小＝1)，每个块大小可用的帧内预测模式的数量可以如下表所示同等地应用。
[0279]
[表11]
[0280][0281]
另选地，如下表12所示，mip可以仅应用于块大小类型1和2，并且可以对用于块大小类型2的加权矩阵和偏移向量进行下采样以用于块大小类型1。因此，可以高效地节省存储器(50％)。
[0282]
[表12]
[0283][0284]
提供以下附图以描述本公开的具体示例。由于在附图中示出的装置的具体名称或特定信号/消息/字段的名称是为了例示而提供的，所以本公开的技术特征不限于在以下附图中使用的特定名称。
[0285]
在下文中，表示出了在当如上述实施方式中那样将mip应用于当前块时省略mpm推导并且也不发信号通知与mpm相关的信号的情况下的实验结果。
[0286]
实验是根据jvet
‑
n1010中定义的典型测试条件基于vtm 5.0参考软件来执行的。
[0287]
[表13]
[0288][0289]
[表14]
[0290][0291]
[表15]
[0292][0293]
图17是示意性地例示根据本公开的实施方式的可以由解码设备执行的解码方法的流程图。
[0294]
图17所示的方法可以由图2所示的解码设备200执行。具体地，图17的s1700至s1750可以由图2所示的熵解码器210和/或预测器230(具体地，帧内预测器231)来执行，并且图17的s1760可以由图2所示的加法器240来执行。此外，图17所示的方法可以包括在本公开的前述实施方式中。因此，在图17中，将省略或将简要进行与前述实施方式重叠的细节的具体描述。
[0295]
参照图17，解码设备可以从比特流中接收(即，获得)指示基于矩阵的帧内预测(mip)是否用当前块的标志信息(s1700)。
[0296]
标志信息是诸如intra_mip_flag之类的语法，并且可以在编码单元语法信息中被包括且发信号通知。
[0297]
解码设备可以基于所接收的标志信息接收基于矩阵的帧内预测(mip)模式信息(s1710)。
[0298]
mip模式信息可以表示为intra_mip_mode_idx，并且可以在intra_mip_flag等于1时发信号通知，intra_mip_mode_idx可以为指示应用于当前块的mip模式的索引信息，并且此索引信息可以用于推导在生成预测样本时的矩阵。
[0299]
根据示例，还可以通过编码单元语法发信号通知指示基于矩阵的帧内预测的输入向量是否被转置的标志信息，例如，intra_mip_transposed_flag。
[0300]
解码设备可以基于mip信息生成当前块的帧内预测样本。解码设备可以从当前块的相邻参考样本中推导至少一个相邻参考样本以生成帧内预测样本，并且可以基于相邻参考样本生成预测样本。
[0301]
解码设备可以通过截断的二值化方法对用于mip模式信息的语法元素bin串进行二值化，并使用旁通方法对其进行解码(s1720)。
[0302]
如上所述，用于mip模式信息的语法元素bin串的最大长度可以根据当前块的大小而被设置为不同的值。该最大长度可以根据当前块的大小而被设置为三个值，如表2或表3所示，并且当当前块的宽度和高度为4时，最大长度可以是最大的。
[0303]
例如，在表2中，如果编码块的宽度和高度为4，则最大二值化长度可以设置为34，而在表3中它可以设置为15。
[0304]
此外，这样的mip模式信息可以通过旁通方法而不是上下文模型化方法来解码。
[0305]
另外，可以用固定长度的码对intra_mip_flag进行二值化。
[0306]
当应用mip时，解码设备可以通过对与当前块邻近的参考样本进行降采样来推导缩减边界样本(s1730)。
[0307]
可以通过使用平均对参考样本进行降采样来推导缩减边界样本。
[0308]
当当前块的宽度和高度为4时，可以推导出四个缩减边界样本，并且在其它情况下，可以推导出八个缩减边界样本。
[0309]
用于降采样的平均过程可以应用于当前块的每个边界(例如，左边界或上边界)，并且可以应用于与当前块的边界邻近的相邻参考样本。
[0310]
根据示例，当当前块为4
×
4块时，可以通过平均过程将每个边界的大小减小到两个样本，并且当当前块不是4
×
4块时，可以通过平均过程将每个边界的大小减小到四个样本。
[0311]
随后，解码设备可以基于在当前块的大小和索引信息的基础上推导出的mip矩阵与缩减边界样本的乘法运算来推导缩减预测样本(s1740)。
[0312]
可以基于当前块的大小和接收到的索引信息来推导mip矩阵。
[0313]
mip矩阵可以从根据当前块的大小分类的三个矩阵集中的任何一个矩阵集中选择，并且三个矩阵集中的每一个可以包括多个mip矩阵。
[0314]
也就是说，可以设置mip的三个矩阵集，并且每个矩阵集可以包括多个矩阵和多个
偏移向量。可以根据当前块的大小分离地应用这些矩阵集。
[0315]
例如，可以将包括包含16个行和四个列的18或16个矩阵以及18或16个偏移向量的矩阵集应用于4
×
4块。索引信息可以是指示包括在一个矩阵集中的多个矩阵中的任何一个的信息。
[0316]
包括包含16个行和8个列的10或8个矩阵以及10或8个偏移向量的矩阵集可以应用于4
×
8、8
×
4和8
×
8块或者4
×
h或w
×
4块。
[0317]
另外，包括包含64个行和八个列的六个矩阵以及六个偏移向量的矩阵集可以应用于除了前述块之外的块或者具有8或更大的高度和宽度的块。
[0318]
基于在mip矩阵与缩减边界样本的乘法运算之后添加偏移的运算来推导缩减预测样本(即，已应用mip矩阵的预测样本)。
[0319]
解码设备可以通过对缩减预测样本进行上采样而生成当前块的帧内预测样本(s1750)。
[0320]
可以通过对缩减预测样本的线性插值来对帧内预测样本进行上采样。
[0321]
插值过程可以被称作线性插值或双线性插值过程，并且可以包括两个步骤，其为1)垂直插值和2)水平插值。
[0322]
如果w>＝h，则可以首先应用垂直线性插值，随后是水平线性插值。如果w<h，则可以首先应用水平线性插值，随后是垂直线性插值。在4
×
4块中，可以省略插值过程。
[0323]
解码设备可以基于预测样本生成当前块的重构样本(s1760)。
[0324]
在实施方式中，解码设备可以根据预测模式直接使用预测样本作为重构样本，或可以通过将残差样本添加到预测样本来生成重构样本。
[0325]
如果存在当前块的残差样本，则解码设备可以接收关于当前块的残差的信息。关于残差的信息可以包括残差样本的变换系数。解码设备可以基于残差信息推导当前块的残差样本(或残差样本阵列)。解码设备可以基于预测样本和残差样本生成重构样本，并且可以基于重构样本推导重构块或重构图片。此后，根据需要，为了增强主观/客观图片质量，解码设备可以将去块滤波和/或环路内滤波过程(诸如sao过程)应用于重构图片，如上所述。
[0326]
图18是示意性地例示根据本公开的实施方式的可以由编码设备执行的编码方法的流程图。
[0327]
图18所示的方法可以由图1所示的编码设备100执行。具体地，图18的s1800至s1830可以由图1所示的预测器120(具体地，帧内预测器122)执行，图18的s1840可以由图1所示的减法器131执行，并且图18的s1850和s1860可以由图1所示的熵编码器140执行。此外，图18所示的方法可以包括在本公开的前述实施方式中。因此，在图18中，将省略或将简要进行与前述实施方式重叠的细节的具体描述。
[0328]
参照图18，编码设备可以推导是否将基于矩阵的帧内预测(mip)应用于当前块(s1800)。
[0329]
编码设备可以应用各种预测技术以找到当前块的最佳预测模式，并且可以基于率失真优化(rdo)来确定最佳帧内预测模式。
[0330]
当确定mip应用于当前块时，编码设备可以通过对与当前块邻近的参考样本进行降采样来推导缩减边界样本(s1810)。
[0331]
可以通过使用平均对参考样本进行降采样来推导缩减边界样本。
[0332]
当当前块的宽度和高度为4时，可以推导出四个缩减边界样本，并且在其它情况下，可以推导出八个缩减边界样本。
[0333]
用于降采样的平均过程可以应用于当前块的每个边界(例如，左边界或上边界)，并且可以应用于与当前块的边界邻近的相邻参考样本。
[0334]
根据示例，当当前块为4
×
4块时，可以通过平均过程将每个边界的大小减小到两个样本，并且当当前块不是4
×
4块时，可以通过平均过程将每个边界的大小减小到四个样本。
[0335]
当推导缩减边界样本时，编码设备可以基于在当前块的大小的基础上选择的mip矩阵与缩减边界样本的乘法运算来推导缩减预测样本(s1820)。
[0336]
mip矩阵可以从根据当前块的大小分类的三个矩阵集中的任何一个矩阵集中选择，并且三个矩阵集中的每一个可以包括多个mip矩阵。
[0337]
也就是说，可以设置mip的三个矩阵集，并且每个矩阵集可以包括多个矩阵和多个偏移向量。可以根据当前块的大小分离地应用这些矩阵集。
[0338]
例如，可以将包括包含16个行和四个列的18或16个矩阵以及18或16个偏移向量的矩阵集应用于4
×
4块。索引信息可以是指示包括在一个矩阵集中的多个矩阵中的任何一个的信息。
[0339]
包括包含16个行和8个列的10或八个矩阵以及10或八个偏移向量的矩阵集可以应用于4
×
8、8
×
4和8
×
8块或者4
×
h或w
×
4块。
[0340]
另外，包括包含64个行和八个列的六个矩阵以及六个偏移向量的矩阵集可以应用于除了前述块之外的块或者具有8或更大的高度和宽度的块。
[0341]
基于在mip矩阵与缩减边界样本的乘法运算之后添加偏移的运算来推导缩减预测样本(即，已应用mip矩阵的预测样本)。
[0342]
编码设备可以通过对缩减预测样本进行上采样来生成当前块的帧内预测样本(s1830)。
[0343]
可以通过对缩减预测样本的线性插值来对帧内预测样本进行上采样。
[0344]
插值过程可以被称作线性插值或双线性插值过程，并且可以包括两个步骤，其为1)垂直插值和2)水平插值。
[0345]
如果w>＝h，则可以首先应用垂直线性插值，随后是水平线性插值。如果w<h，则可以首先应用水平线性插值，随后是垂直线性插值。在4
×
4块中，可以省略插值过程。
[0346]
编码设备可以基于当前块的预测样本和当前块的原始样本来推导当前块的残差样本(s1840)。
[0347]
然后，编码设备可以通过截断的二值化方法对用于mip模式信息的语法元素bin串进行二值化，并使用旁通方法对其进行编码(s1850)。
[0348]
如上所述，用于mip模式信息的语法元素bin串的最大长度可以根据当前块的大小而被设置为不同的值。该最大长度可以根据当前块的大小而被设置为三个值，如表2或表3所示，并且当当前块的宽度和高度为4时，最大长度可以是最大的。
[0349]
例如，在表2中，如果编码块的宽度和高度为4，则最大二值化长度可以设置为34，而在表3中它可以设置为15。
[0350]
此外，这样的mip模式信息可以通过旁通方法而不是上下文模型化方法来编码。
[0351]
另外，可以用固定长度的码对intra_mip_flag进行二值化。
[0352]
编码设备可以基于残差样本生成当前块的残差信息，并且可以输出包括所生成的残差信息、指示mip是否被应用的标志信息和mip模式信息的图像信息(s1860)。
[0353]
这里，残差信息可以包括与通过对残差样本进行变换和量化而推导出的量化变换系数相关的量化参数、值信息、位置信息、变换方案和变换核。
[0354]
指示mip是否被应用的标志信息是诸如intra_mip_flag之类的语法，并且可以被包括并编码在编码单元语法信息中。
[0355]
mip模式信息可以表示为intra_mip_mode_idx，并且可以在intra_mip_flag等于1时被编码，intra_mip_mode_idx可以为指示应用于当前块的mip模式的索引信息，并且此索引信息可以用于推导在生成预测样本时的矩阵。索引信息可以指示包括在一个矩阵集中的多个矩阵中的任何一个。
[0356]
根据示例，还可以通过编码单元语法发信号通知指示基于矩阵的帧内预测的输入向量是否被转置的标志信息，例如，intra_mip_transposed_flag。
[0357]
也就是说，编码设备可以对包括关于当前块的mip模式信息和/或残差信息的图像信息进行编码，并且可以将图像信息输出为比特流。
[0358]
比特流可以通过网络或(数字)存储介质发送到解码设备。网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括诸如usb、sd、cd、dvd、蓝光、hdd和ssd之类的各种存储介质。
[0359]
生成当前块的预测样本的前述过程可以由图1所示的编码设备100的帧内预测器122执行，推导残差样本的过程可以由图1所示的编码设备100的减法器131执行，并且生成和编码残差信息的过程可以由图1所示的编码设备100的残差处理器130和熵编码器140执行。
[0360]
在上述实施方式中，借助于一系列步骤或方框基于流程图解释了方法，但是本公开不限于步骤的顺序，并且可以按与上述顺序或步骤不同的顺序或步骤来执行某一步骤，或某一步骤与其它步骤并发地执行。此外，本领域普通技术人员可以理解，流程图中所示的步骤不是排它的，并且在不影响本公开的范围的情况下，可以并入另一步骤或者可以删除流程图中的一个或更多个步骤。
[0361]
根据本公开的上述方法可以被实现为软件形式，并且根据本公开的编码设备和/或解码设备可以被包括在诸如电视、计算机、智能电话、机顶盒和显示装置等之类的用于图像处理的设备中。
[0362]
当本公开中的实施方式通过软件来实施时，上述方法可以被实施为用于执行上述功能的模块(步骤、功能等)。这些模块可以存储在存储器中并且可以由处理器执行。存储器可以在处理器内部或外部，并且可以以各种众所周知的方式连接到处理器。处理器可以包括专用集成电路(asic)、其它芯片组、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(rom)、随机存取存储器(ram)、闪存、存储卡、存储介质和/或其它存储装置。也就是说，本公开中描述的实施方式可以在处理器、微处理器、控制器或芯片上实施和执行。例如，每个附图中所示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实施和执行。在此情况下，用于实现的信息(例如，关于指令的信息)或算法可以被存储在数字存储介质中。
[0363]
此外，本文档所应用于的解码设备和编码设备可以包括在多媒体广播发送和接收装置、移动通信终端、家庭电影视频装置、数字电影视频装置、用于监视的相机、视频对话装置、诸如视频通信之类的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(vod)服务提供装置、过顶传输(ott)视频装置、互联网流传输服务提供装置、三维(3d)视频装置、虚拟现实(vr)装置、增强现实(ar)装置、视频电话装置、运输装置终端(例如，车辆(包括自主车辆)终端、飞机终端和船舶终端)和医疗视频装置中，并且可以用于处理视频信号或数据信号。例如，过顶传输(ott)视频装置可以包括游戏机、蓝光播放器、互联网接入tv、家庭影院系统、智能电话、平板pc和数字视频记录器(dvr)。
[0364]
此外，本文档所应用的处理方法可以以由计算机执行的程序的形式产生，并且可以存储在计算机可读记录介质中。具有根据本文档的数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括其中存储计算机可读数据的所有类型的存储装置。计算机可读记录介质可以包括例如蓝光盘(bd)、通用串行总线(usb)、rom、prom、eprom、eeprom、ram、cd
‑
rom、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波形式实现的介质(例如，通过互联网的传输)。此外，使用编码方法生成的比特流可以存储在计算机可读记录介质中，或者可以通过有线和无线通信网络发送。
[0365]
此外，本文档的实施方式可以被实现为使用程序代码的计算机程序产品。程序代码可以由根据本文档的实施方式的计算机执行。程序代码可以存储在计算机可读的载波上。
[0366]
图19示意性地例示了可以应用本公开的实施方式的视频/图像编码系统的示例。
[0367]
参照图19，视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以经由数字存储介质或网络以文件或流传输的形式将编码后的视频/图像信息或数据传递到接收装置。
[0368]
源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以被称为视频/图像编码设备，并且解码设备可以被称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示器，并且显示器可以被配置为单独的装置或外部组件。
[0369]
视频源可以通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以(电子地)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可以被生成相关数据的处理取代。
[0370]
编码设备可以对输入视频/图像进行编码。编码设备可以执行诸如针对压缩和编码效率的预测、变换和量化这样的一系列过程。编码后的数据(编码后的视频/图像信息)可以以比特流的形式输出。
[0371]
发送器可以通过数字存储介质或网络以文件或流的形式将以比特流的形式输出的编码后的视频/图像信息或数据发送到接收装置的接收器。数字存储介质可以包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等这样的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器
可以接收/提取比特流，并且将接收的比特流发送到解码设备。
[0372]
解码设备可以通过执行与编码设备的操作对应的诸如解量化、逆变换和预测之类的一系列过程来解码视频/图像。
[0373]
渲染器可以渲染解码后的视频/图像。可以通过显示器显示渲染后的视频/图像。
[0374]
图20例示了可以应用本文档中公开的实施方式的内容流传输系统的示例。
[0375]
参照图20，应用本文档的实施方式的内容流传输系统基本上可以包括编码服务器、流传输服务器、web服务器、媒体存储装置、用户装置和多媒体输入装置。
[0376]
编码服务器将从诸如智能电话、相机、摄像机等的多媒体输入装置输入的内容压缩成数字数据以生成比特流，并且将比特流发送到流传输服务器。作为另一示例，当诸如智能电话、相机、摄像机等的多媒体输入装置直接生成比特流时，可以省略编码服务器。
[0377]
可以通过应用本文档的实施方式的编码方法或比特流生成方法来生成比特流，并且流传输服务器可以在发送或接收比特流的过程中临时存储比特流。
[0378]
流传输服务器基于用户的请求通过web服务器将多媒体数据发送到用户装置，并且web服务器用作用于向用户通知服务的介质。当用户从web服务器请求期望的服务时，web服务器将其传递到流传输服务器，并且流传输服务器向用户发送多媒体数据。在这种情况下，内容流传输系统可以包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流传输系统中的装置之间的命令/响应。
[0379]
流传输服务器可以从媒体存储装置和/或编码服务器接收内容。例如，当从编码服务器接收到内容时，可以实时接收内容。在这种情况下，为了提供平滑的流传输服务，流传输服务器可以将比特流存储预定时间。
[0380]
用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航装置、板式pc、平板pc、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字tv、台式计算机、数字标牌等。
[0381]
内容流传输系统中的每个服务器可以被操作为分布式服务器，在这种情况下，可以分发从每个服务器接收的数据。
[0382]
本说明书中的权利要求可以以各种方式组合。例如，本说明书的方法权利要求中的技术特征可以被组合以在设备中实现或执行，并且设备权利要求中的技术特征可以被组合以在方法中实现或执行。此外，方法权利要求和设备权利要求中的技术特征可以被组合以在设备中实现或执行。此外，方法权利要求和设备权利要求中的技术特征可以被组合以在方法中实现或执行。