简化MIP模式映射的图像编码/解码方法和设备，以及发送比特流的方法与流程

简化mip模式映射的图像编码/解码方法和设备，以及发送比特流的方法
技术领域
1.本公开涉及一种图像编码/解码方法和装置，并且更具体地，涉及一种使用帧内预测模式的图像编码/解码方法和装置，以及一种发送由本公开的图像编码方法/装置生成的比特流的方法。


背景技术：

2.最近，各个领域对高分辨率和高质量图像，例如高清(hd)图像和超高清(uhd)图像的需求正在增加。随着图像数据的分辨率和质量的提高，与现有图像数据相比，发送的信息量或比特量相对增加。发送的信息或比特量的增加导致传输成本和存储成本的增加。
3.因此，需要高效的图像压缩技术来有效地发送、存储和再现关于高分辨率和高质量图像的信息。


技术实现要素：

4.技术问题
5.本公开的一个目的是为了提供一种具有提高的编码/解码效率的图像编码/解码方法和装置。
6.本公开的另一目的是为了提供一种能够通过将邻近块的基于矩阵的预测模式映射到预定预测模式来降低预测复杂度的图像编码/解码方法和装置。
7.本公开的另一目的是为了提供一种发送由根据本公开的图像编码方法或装置生成的比特流的方法。
8.本公开的另一目的是为了提供一种存储由根据本公开的图像编码方法或装置生成的比特流的记录介质。
9.本公开的另一目的是为了提供一种存储由根据本公开的图像解码装置接收、解码并用于重构图像的比特流的记录介质。
10.由本公开解决的技术问题不限于上述技术问题，并且根据以下描述，这里未描述的其他技术问题将变得对本领域技术人员而言显而易见。
11.技术方案
12.一种由根据本公开的一个方面的图像解码装置执行的图像解码方法可以包括：基于位于当前块周围的邻近块的预测模式确定当前块的mpm(最可能模式)候选；基于mpm候选生成当前块的mpm列表；以及将包括在mpm列表中的多个mpm候选当中的通过帧内预测模式指示符识别的mpm候选确定为当前块的预测模式。
13.基于当前块和邻近块中的任何一个的预测模式是基于矩阵的帧内预测模式，可以将基于邻近块的预测模式确定的mpm候选确定为预定帧内预测模式。
14.基于当前块的预测模式是基于矩阵的帧内预测模式并且邻近块的预测模式是基于非矩阵的帧内预测模式，可以将基于邻近块的预测模式确定的mpm候选确定为预定的基
于矩阵的帧内预测模式。
15.可以通过指定基于矩阵的帧内预测模式的预定索引来识别预定的基于矩阵的帧内预测模式。
16.预定索引可以指定在多个基于矩阵的帧内预测模式当中的以最高频率使用的基于矩阵的帧内预测模式。
17.可以基于当前块的大小确定预定的基于矩阵的帧内预测模式。
18.基于当前块的预测模式是基于非矩阵的帧内预测模式并且邻近块的预测模式是基于矩阵的帧内预测模式，可以将基于邻近块的预测模式确定的mpm候选确定为预定帧内预测模式。预定帧内预测模式可以是平面模式。
19.可以基于多个mpm候选生成mpm列表，可以基于多个邻近块确定多个mpm候选，并且基于多个邻近块的所有预测模式都是基于矩阵的预测模式，可以将mpm列表生成为包括预定mpm候选。
20.预定mpm候选可以包括dc模式或垂直模式中的至少一种。
21.该图像解码方法可以包括：确定用于确定与当前块对应的色度块的帧内预测模式的亮度帧内预测模式，并且基于亮度帧内预测模式确定色度块的帧内预测模式，以及基于当前块是基于矩阵的帧内预测模式应用于的亮度块，可以将亮度帧内预测模式确定为平面模式。可以将色度块的帧内预测模式确定为亮度帧内预测模式。
22.基于当前块是基于非矩阵的帧内预测模式应用于的亮度块，可以基于当前块的帧内预测模式确定亮度帧内预测模式。
23.另外，一种根据本公开的一个方面的图像解码装置可以包括存储器和至少一个处理器。该至少一个处理器可以：基于位于当前块周围的邻近块的预测模式确定当前块的mpm(最可能模式)候选，基于mpm候选生成当前块的mpm列表，并且将包括在mpm列表中的多个mpm候选当中的通过帧内预测模式指示符识别的mpm候选确定为当前块的预测模式。基于当前块和邻近块中的任何一个的预测模式是基于矩阵的帧内预测模式，可以将基于邻近块的预测模式确定的mpm候选确定为预定帧内预测模式。
24.另外，一种由根据本公开的一个方面的图像编码装置执行的图像编码方法可以包括：基于位于当前块周围的邻近块的预测模式确定当前块的mpm(最可能模式)候选；基于mpm候选生成当前块的mpm列表；以及基于mpm列表确定指定当前块的预测模式的预测模式指示符。
25.基于当前块和邻近块中的任何一个的预测模式是基于矩阵的帧内预测模式，可以将基于邻近块的预测模式确定的mpm候选确定为预定帧内预测模式。
26.基于当前块的预测模式是基于矩阵的预测模式并且邻近块的预测模式是基于非矩阵的帧内预测模式，可以将预测模式候选确定为预定的基于矩阵的预测模式。
27.可以基于当前块的大小确定预定基于矩阵的预测模式。
28.基于当前块的预测模式是基于非矩阵的帧内预测模式并且邻近块的预测模式是基于矩阵的预测模式，可以将预测模式候选确定为预定的基于非矩阵的帧内预测模式。
29.可以基于多个预测模式候选生成预测模式列表，可以基于每个邻近块确定多个预测模式候选，并且基于每个邻近块的预测模式是基于矩阵的预测模式，可以将预测模式列表生成为包括预定预测模式。
30.另外，一种根据本公开的另一方面的发送方法可以发送由本公开的图像编码装置或图像编码方法生成的比特流。
31.另外，根据本公开的另一方面的计算机可读记录介质可以存储由本公开的图像编码装置或图像编码方法生成的比特流。
32.上面关于本公开简要地概括的特征仅仅是本公开的以下详细描述的示例性方面，并且不限制本公开的范围。
33.有益效果
34.根据本公开，可以提供一种具有提高的编码/解码效率的图像编码/解码方法和装置。
35.另外，根据本公开，可以提供一种能够通过将邻近块的基于矩阵的预测模式映射到预定预测模式来降低预测复杂度的图像编码/解码方法和装置。
36.另外，根据本公开，可以提供一种发送由根据本公开的图像编码方法或装置生成的比特流的方法。
37.另外，根据本公开，可以提供一种存储由根据本公开的图像编码方法或装置生成的比特流的记录介质。
38.另外，根据本公开，可以提供一种存储由根据本公开的图像解码装置接收、解码并用于重构图像的比特流的记录介质。
39.本领域技术人员将领会，能够通过本公开实现的效果不限于已经在上文中特别描述的内容，并且根据详细描述，将更清楚地理解本公开的其他优点。
附图说明
40.图1是示意性地示出本公开的实施例适用于的视频编译系统的视图。
41.图2是示意性地示出本公开的实施例适用于的图像编码装置的视图。
42.图3是示意性地示出本公开的实施例适用于的图像解码装置的视图。
43.图4是图示根据实施例的切片(slice)和拼块(tile)结构的视图。
44.图5至图6是图示根据实施例的定向帧内预测模式的视图。
45.图7和图8是图示根据实施例的mip模式的参考视图。
46.图9是根据实施例的用于将mip模式映射到正常帧内预测模式的映射表。
47.图10至图12是图示根据实施例的编译单元的语法的视图。
48.图13是图示用于将根据实施例的正常帧内预测模式映射到mip模式的映射表的视图。
49.图14是图示根据实施例的在预定mip帧内预测模式下配置的mpm列表的视图。
50.图15是图示根据实施例的使用mpm列表来对帧内预测模式进行编码的方法的流程图。
51.图16是图示根据实施例的由解码装置使用mpm列表来执行解码的方法的流程图。
52.图17是图示根据实施例的使用映射方法来生成mpm列表的方法的流程图。
53.图18是图示根据另一实施例的使用映射方法来生成mpm列表的方法的流程图。
54.图19是图示根据实施例的使用简化映射方法来生成mpm列表的方法的流程图。
55.图20是图示根据实施例的由编码装置使用简化映射方法来生成mpm列表的方法的
流程图。
56.图21是图示根据实施例的由解码装置使用简化映射方法来生成mpm列表的方法的流程图。
57.图22是图示使用图19的简化映射方法的编译性能数据的视图。
58.图23是图示根据另一实施例的使用简化映射方法来生成mpm列表的方法的流程图。
59.图24是图示根据实施例的由编码装置使用简化映射方法来生成mpm列表的另一实施例的流程图。
60.图25是图示根据实施例的由解码装置使用简化映射方法来生成mpm列表的另一实施例的流程图。
61.图26是图示使用图23的简化映射方法的编译性能数据的视图。
62.图27是图示根据另一实施例的使用映射方法来生成mpm列表的方法的流程图。
63.图28是图示根据另一实施例的使用简化映射方法来对性能数据进行编译的流程图。
64.图29是示出本公开的实施例适用于的内容流传输系统的视图。
具体实施方式
65.以下，将结合附图对本公开的实施例进行详细描述，以易于本领域技术人员实施。然而，本公开可以以各种不同的形式实施，并且不限于这里描述的实施例。
66.在描述本公开时，如果确定相关已知功能或构造的详细描述使本公开的范围不必要地含糊不清，则将省略其详细描述。在附图中，省略了与本公开的描述无关的部分，并且相似的附图标记被赋予相似的部分。
67.在本公开中，当一个组件“连接”、“耦合”或“链接”到另一组件时，它不仅可以包括直接连接关系，还可以包括中间组件存在的间接连接关系。另外，当一个组件“包括”或“具有”其他组件时，除非另有说明，否则是指还可以包括其他组件，而不是排除其他组件。
68.在本公开中，术语第一、第二等仅用于将一个组件与其他组件区分开的目的，并且不限制组件的顺序或重要性，除非另有说明。相应地，在本公开的范围内，一个实施例中的第一部件在另一实施例中可以被称为第二部件，类似地，一个实施例中的第二部件在另一实施例中可以被称为第一部件。
69.在本公开中，相互区分的组件旨在清楚地描述每个特征，并不意味着组件必须分开。即，多个组件可以集成在一个硬件或软件单元中实现，或者一个组件可以在多个硬件或软件单元中分布和实现。因此，即使没有特别说明，这些组件集成或分布式的实施例也包括在本公开的范围内。
70.在本公开中，各个实施例中所描述的组件并不一定是必不可少的组件，一些组件可以是可选的组件。因此，由实施例中描述的组件的子集组成的实施例也包括在本公开的范围内。此外，除了在各种实施例中描述的组件之外还包括其他组件的实施例包括在本公开的范围内。
71.本公开涉及图像的编码(encoding)和解码，除非在本公开中重新定义，否则本公开中使用的术语可以具有本公开所属技术领域中常用的一般含义。
72.在本公开中，“图片”一般是指表示特定时间段内的一个图像的单元，而切片(slice)/拼块(tile)是构成图片的一部分的编译(coding)单元，一个图片可以由一个或多个切片/拼块组成。此外，切片/拼块可以包括一个或多个编译树单元(ctu)。
73.在本公开中，“像素”或“像元(pel)”可以意指构成一个图片(或图像)的最小单个。此外，“样本”可以用作对应于像素的术语。一个样本一般可以表示像素或像素的值，也可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
74.在本公开中，“单元”可以表示图像处理的基本单元。该单元可以包括图片的特定区域和与该区域相关的信息中的至少一个。在某些情况下，该单元可以与诸如“样本阵列”、“块”或“区域”的术语互换使用。在一般情况下，m
×
n块可以包括m列n行的样本(或样本阵列)或变换系数的集合(或阵列)。
75.在本公开中，“当前块”可以意指“当前编译块”、“当前编译单元”、“编译目标块”、“解码目标块”或“处理目标块”之一。当执行预测时，“当前块”可以意指“当前预测块”或“预测目标块”。当执行变换(逆变换)/量化(解量化)时，“当前块”可以意指“当前变换块”或“变换目标块”。当执行滤波时，“当前块”可以意指“滤波目标块”。
76.此外，在本公开中，除非明确声明为色度块，否则“当前块”可以意指“当前块的亮度块”。“当前块的色度块”可以通过包括对诸如“色度块”或“当前色度块”的色度块的显式描述来表达。
77.在本公开中，斜线“/”或“，”可以解释为指示“和/或”。例如，“a/b”和“a，b”可以意指“a和/或b”。此外，“a/b/c”和“a/b/c”可以意指“a、b和/或c中的至少一个”。
78.在本公开中，术语“或”应被解释以指示“和/或”。例如，表达“a或b”可以包括1)仅“a”，2)仅“b”，或3)“a和b”两者。换言之，在本公开中，“或”应被解释以指示“附加地或可替选地”。
79.视频编译系统概述
80.图1是示意性地示出根据本公开的视频编译系统的视图。
81.根据实施例的视频编译系统可以包括编码装置10和解码装置20。编码装置10可以将编码的视频和/或图像信息或数据以文件或流的形式经由数字存储介质或网络递送到解码装置20。
82.根据实施例的编码装置10可以包括视频源生成器11、编译单元12和发射器13。根据实施例的解码装置20可以包括接收器21、解码单元22和渲染器23。编译单元12可以称为视频/图像编译单元，解码单元22可以称为视频/图像解码单元。发射器13可以被包括在编译单元12中。接收器21可以被包括在解码单元22中。渲染器23可以包括显示器并且显示器可以被配置为单独的装置或外部组件。
83.视频源生成器11可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源生成器11可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以(以电子方式)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获过程可以被生成相关数据的过程代替。
84.编译单元12可以对输入视频/图像进行编码。为了压缩和编译效率，编译单元12可
以执行一系列过程，例如预测、变换和量化。编译单元12可以以比特流的形式输出编码数据(编码视频/图像信息)。
85.发射器13可以通过数字存储介质或网络以文件或流的形式将编码的视频/图像信息或以比特流的形式输出的数据传输到解码装置20的接收器21。数字存储介质可以包括各种存储介质，例如usb、sd、cd、dvd、蓝光、hdd、ssd等。发射器13可以包括用于通过预定文件格式生成媒体文件的元件并且可以包括用于通过广播/通信网络传输的元件。接收器21可以从存储介质或网络中提取/接收比特流并将比特流传输到解码单元22。
86.解码单元22可以通过执行与编译单元12的操作对应的一系列过程，例如解量化、逆变换和预测来解码视频/图像。
87.渲染器23可以渲染解码的视频/图像。渲染的视频/图像可以通过显示器显示。
88.图像编码装置概要
89.图2是示意性地示出本公开的实施例可适用于的图像编码装置的视图。
90.如图2所示，图像编码装置100可以包括图像分区器110、减法器115、变换器120、量化器130、解量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测单元180、帧内预测单元185和熵编码器190。帧间预测单元180和帧内预测单元185可以统称为“预测单元”。变换器120、量化器130、解量化器140和逆变换器150可以被包括在残差处理器中。残差处理器还可以包括减法器115。
91.在一些实施例中，配置图像编码装置100的多个组件中的全部或至少一些可以由一个硬件组件(例如，编码器或处理器)来配置。此外，存储器170可以包括解码图片缓冲器(dpb)并且可以由数字存储介质配置。
92.图像分区器110可将输入到图像编码装置100的输入图像(或图片或帧)分区成一个或多个处理单元。例如，处理单元可以称为编译单元(cu)。可以通过根据四叉树二叉树三叉树(qt/bt/tt)结构递归地分区编译树单元(ctu)或最大编译单元(lcu)来获取编译单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编译单元分区为更深深度的多个编译单元。对于编译单元的分区，可以首先应用四叉树结构，然后可以应用二叉树结构和/或三叉树结构。可以基于不再分区的最终编译单元来执行根据本公开的编译过程。可以将最大编译单元用作最终编译单元，也可以将通过分区最大编译单元获取的更深深度的编译单元用作最终编译单元。这里，编译过程可以包括稍后将描述的预测、变换和重构的过程。作为另一示例，编译过程的处理单元可以是预测单元(pu)或变换单元(tu)。预测单元和变换单元可以从最终编译单元分割或分区。预测单元可以是样本预测单元，变换单元可以是用于导出变换系数的单元和/或用于从变换系数导出残差信号的单元。
93.预测单元(帧间预测单元180或帧内预测单元185)可以对要处理的块(当前块)执行预测，并且生成包括当前块的预测样本的预测块。预测单元可以在当前块或cu的基础上确定是应用帧内预测还是帧间预测。预测单元可以生成与当前块的预测有关的各种信息，并且将生成的信息传输到熵编码器190。关于预测的信息可以在熵编码器190中被编码并且以比特流的形式输出。
94.帧内预测单元185可以通过参考当前图片中的样本来预测当前块。根据帧内预测模式和/或帧内预测技术，参考样本可以位于当前块的邻居中或者可以被分开放置。帧内预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如dc模式和平面
模式。根据预测方向的详细程度，定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而，这仅仅是示例，可以根据设置使用更多或更少的定向预测模式。帧内预测单元185可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
95.帧间预测单元180可以基于由参考图片上的运动向量指定的参考块(参考样本阵列)来导出当前块的预测块。在这种情况下，为了减少在帧间预测模式下传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以相同或不同。时间邻近块可以被称为并置参考块、并置cu(colcu)等。包括时间邻近块的参考图片可以被称为并置图片(colpic)。例如，帧间预测单元180可基于邻近块配置运动信息候选列表并生成指定使用哪个候选来导出当前块的运动向量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测单元180可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可以不传输残差信号。在运动向量预测(mvp)模式的情况下，邻近块的运动向量可以用作运动向量预测子，并且当前块的运动向量可以通过编码运动向量差和运动向量预测子的指示符来用信号通知当前块的运动向量。运动向量差可以意指当前块的运动向量与运动向量预测子之间的差。
96.预测单元可以基于以下描述的各种预测方法和预测技术来生成预测信号。例如，预测单元不仅可以应用帧内预测或帧间预测，还可以同时应用帧内预测和帧间预测，以预测当前块。同时应用帧内预测和帧间预测两者来预测当前块的预测方法可以称为组合帧间和帧内预测(ciip)。此外，预测单元可以执行帧内块复制(ibc)以预测当前块。帧内块复制可以用于游戏等的内容图像/视频编译，例如，屏幕内容编译(scc)。ibc是一种在与当前块相隔预定距离的位置处使用当前图片中先前重构的参考块来预测当前图片的方法。当应用ibc时，参考块在当前图片中的位置可以被编码为对应于预定距离的向量(块向量)。ibc基本上在当前图片中执行预测，但是可以类似于帧间预测来执行，因为在当前图片内导出参考块。即，ibc可以使用本公开中描述的帧间预测技术中的至少一种。ibc基本上在当前图片中执行预测，但是可以类似于帧间预测来执行，因为在当前图片内导出参考块。即，ibc可以使用本公开中描述的帧间预测技术中的至少一种。
97.预测单元生成的预测信号可用于生成重构信号或生成残差信号。减法器115可以通过从输入图像信号(原始块或原始样本阵列)中减去从预测单元输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)。生成的残差信号可以被传输到变换器120。
98.变换器120可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括离散余弦变换(dct)、离散正弦变换(dst)、karhunen-lo
è
ve变换(klt)、基于图的变换(gbt)或条件非线性变换(cnt)中的至少一种。这里，gbt是指当像素之间的关系信息由图形表示时从图形获得的变换。cnt是指基于使用所有先前重构的像素生成的预测信号获取的变换。此外，变换处理可以应用于具有相同大小的方形像素块或者可以应用于具有可变大小而不是方形的块。
99.量化器130可以对变换系数进行量化并且将它们传输到熵编码器190。熵编码器190可以对量化的信号(关于量化的变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以被称为残差信息。量化器130可基于系数扫描顺序将块形式的量化变换系数重新排列为一维向量形式，并基于一维向量形式的量化变换系数生成关于量化变换系数的信息。
100.熵编码器190可以执行各种编码方法，例如指数哥伦布、上下文自适应可变长度编码(cavlc)、上下文自适应二进制算术编码(cabac)等。熵编码器190可以一起或单独地编码除量化变换系数之外的视频/图像重构所需的信息(例如，语法元素的值等)。编码的信息(例如，编码的视频/图像信息)可以比特流的形式以网络抽象层(nal)为单元进行传输或存储。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频参数集(vps)。此外，视频/图像信息还可以包括通用约束信息。本公开中描述的用信号通知的信息、传输的信息和/或语法元素可以通过上述编码过程被编码并且被包括在比特流中。
101.比特流可以通过网络传输或者可以存储在数字存储介质中。网络可以包括广播网络和/或通信网络，数字存储介质可以包括usb、sd、cd、dvd、蓝光、hdd、ssd等各种存储介质。可以包括传输从熵编码器190输出的信号的发射器(未示出)和/或存储该信号的存储单元(未示出)作为图像编码装置100的内部/外部元件。替代地，可以提供发射器作为熵编码器190的组件。
102.从量化器130输出的量化变换系数可用于生成残差信号。例如，可以通过解量化器140和逆变换器150对量化的变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。
103.加法器155将重构残差信号与从帧间预测单元180或帧内预测单元185输出的预测信号相加，生成重构信号(重构图像、重构块、重构样本阵列)。如果要处理块没有残差，例如应用跳过模式的情况，则可以将预测块用作重构块。加法器155可以称为重构器或重构块生成器。生成的重构信号可以用于当前图片中要处理的下一个块的帧内预测，并且可以用于通过如下所述的滤波对下一个图片进行帧间预测。
104.滤波器160可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器160可以通过对重构图片应用各种滤波方法来生成修改的重构图片，并将修改的重构图片存储在存储器170中，具体地，存储器170的dpb中。各种滤波方法可以包括，例如，去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。滤波器160可以生成与滤波有关的各种信息并将所生成的信息传输到熵编码器190，如稍后在每种滤波方法的描述中所描述的。与滤波相关的信息可以由熵编码器190编码并以比特流的形式输出。
105.传输到存储器170的修改的重构图片可以用作帧间预测单元180中的参考图片。当通过图像编码装置100应用帧间预测时，可以避免图像编码装置100和图像解码装置之间的预测失配并且可以提高编码效率。
106.存储器170的dpb可以存储修改的重构图片以用作帧间预测单元180中的参考图片。存储器170可以存储从其中导出(或编码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测单元180并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前图片中重构块
的重构样本并且可以将重构样本传送到帧内预测单元185。
107.图像解码装置概要
108.图3是示意性地示出本公开的实施例可适用的图像解码装置的视图。
109.如图3所示，图像解码装置200可以包括熵解码器210、解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测单元260和帧内预测单元265。帧间预测单元260和帧内预测单元265可以统称为“预测单元”。解量化器220和逆变换器230可以被包括在残差处理器中。
110.根据实施例，配置图像解码装置200的多个组件中的全部或至少一些可以由硬件组件(例如，解码器或处理器)来配置。此外，存储器250可以包括解码图片缓冲器(dpb)或者可以由数字存储介质配置。
111.已经接收到包括视频/图像信息的比特流的图像解码装置200可以通过执行与由图2的图像编码装置100执行的处理对应的处理来重构图像。例如，图像解码装置200可以使用在图像编码装置中应用的处理单元来执行解码。因此，解码的处理单元例如可以是编译单元。编译单元可以通过分区编译树单元或最大编译单元来获得。通过图像解码装置200解码和输出的重构图像信号可以通过再现装置(未示出)再现。
112.图像解码装置200可以接收以比特流的形式从图2的图像编码装置输出的信号。接收到的信号可以通过熵解码器210进行解码。例如，熵解码器210可以解析比特流以导出图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频参数集(vps)。此外，视频/图像信息还可以包括通用约束信息。图像解码装置还可以基于参数集信息和/或通用约束信息对图片进行解码。本公开中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程被解码并从比特流中获得。例如，熵解码器210基于诸如指数哥伦布编码、cavlc或cabac的编码方法对比特流中的信息进行解码，并输出图像重构所需的语法元素的值和残差的变换系数的量化值。更具体地，cabac熵解码方法可以接收与比特流中每个语法元素对应的bin，使用解码目标语法元素信息、邻近块和解码目标块的解码信息或前一阶段解码的符号/bin的信息来确定上下文模型，根据确定的上下文模型通过预测bin的出现概率，对bin进行算术解码，生成与每个语法元素的值对应的符号。在这种情况下，cabac熵解码方法可以在确定上下文模型后，通过将解码的符号/bin的信息用于下一个符号/bin的上下文模型来更新上下文模型。由熵解码器210解码的信息中与预测相关的信息可以被提供给预测单元(帧间预测单元260和帧内预测单元265)，以及在熵解码器210中对其执行熵解码的残差值，即，量化的变换系数和相关的参数信息可以被输入到解量化器220。另外，可以将关于熵解码器210解码的信息当中的滤波的信息提供给滤波器240。同时，用于接收从图像编码装置输出的信号的接收器(未示出)可以进一步被配置为图像解码装置200的内部/外部元件，或者接收器可以是熵解码器210的组件。
113.同时，根据本公开的图像解码装置可以被称为视频/图像/图片解码装置。图像解码装置可以分为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器210。样本解码器可以包括解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测单元160或帧内预测单元265中的至少一个。
114.解量化器220可以对量化的变换系数进行解量化并输出变换系数。解量化器220可以以二维块的形式重新排列量化的变换系数。在这种情况下，可以基于在图像编码装置中执行的系数扫描顺序来执行重新排列。解量化器220可以通过使用量化参数(例如，量化步长信息)对量化的变换系数执行解量化并获得变换系数。
115.逆变换器230可以对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
116.预测单元可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测单元可以基于关于从熵解码器210输出的预测的信息来确定是将帧内预测还是帧间预测应用于当前块，并且可以确定特定的帧内/帧间预测模式(预测技术)。
117.与在图像编码装置100的预测单元中描述的相同的是，预测单元可以基于稍后描述的各种预测方法(技术)来生成预测信号。
118.帧内预测单元265可以通过参考当前图片中的样本来预测当前块。帧内预测单元185的描述同样适用于帧内预测单元265。
119.帧间预测单元260可以基于由参考图片上的运动向量指定的参考块(参考样本阵列)来导出当前块的预测块。在这种情况下，为了减少在帧间预测模式下传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。例如，帧间预测单元260可以基于邻近块配置运动信息候选列表，并且基于接收到的候选选择信息导出当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示当前块的帧间预测模式的信息。
120.加法器235可以通过将获得的残差信号与从预测单元(包括帧间预测单元260和/或内预测单元265)输出的预测信号(预测块、预测样本阵列)相加生成重构块。如果要处理的块没有残差，诸如在应用跳过模式时，则可以将预测块用作重构块。加法器155的描述同样适用于加法器235。加法器235可以称为重构器或重构块生成器。生成的重构信号可以用于当前图片中要处理的下一个块的帧内预测，并且可以用于通过如下所述的滤波对下一个图片进行帧间预测。
121.滤波器240可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器240可以通过对重构图片应用各种滤波方法来生成修改的重构图片，并将修改的重构图片存储在存储器250中，具体地，存储器250的dpb中。各种滤波方法可以包括，例如，去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。
122.存储在存储器250的dpb中的(修改的)重构图片可以用作帧间预测单元260中的参考图片。存储器250可以存储从其中导出(或解码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测单元260，以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器250可以存储当前图片中重构块的重构样本并将重构样本传送到帧内预测单元265。
123.在本公开中，在图像编码装置100的滤波器160、帧间预测单元180和帧内预测单元185中描述的实施例可以同等地或对应地应用于图像解码装置200的滤波器240、帧间预测
单元260和帧内预测单元265。
124.分区结构
125.可以基于根据实施例的分区结构执行根据本公开的图像编码/解码方法。例如，可以基于以分区结构为基础导出的ctu、cu(和/或tu或pu)执行诸如预测、残差处理((逆)变换、(解)量化等)、语法元素编译和滤波的过程。块分区过程可以由上述编码装置的图像分区器110执行并且分区相关信息可以由熵编码器190编码(处理)并且以比特流的形式发送到解码装置。解码装置的熵解码器210可以基于从比特流获得的分区相关信息导出当前图片的块分区结构，并且基于此，可以执行一系列过程(例如，预测、残差处理、块/图片重构、环内滤波等)用于图像解码。cu大小和tu大小可以相同或者多个tu可以存在于cu区域中。同时，cu大小可以通常表示亮度分量(样本)cb大小。tu大小可以通常表示亮度分量(样本)tb大小。可以按照根据图片/图像的色度格式(颜色格式，例如4:4:4、4:2:2、4:2:0等)的分量比来基于亮度分量(样本)cb或tb大小导出色度分量(样本)cb或tb大小。可以基于指定可用最大tb大小的maxtbsize导出tu大小。例如，当cu大小大于maxtbsize时，可以从cu导出maxtbsize的多个tu(tb)并且可以以tu(tb)为单位执行变换/逆变换。另外，例如，当应用帧内预测时，可以以cu(或cb)为单位导出帧内预测模式/类型，并且可以以tu(或tb)为单位执行邻近参考样本导出和预测样本生成过程。在这种情况下，一个或多个tu(或tb)可以存在于一个cu(或cb)区域中，并且在这种情况下，多个tu(或tb)可以共享相同的帧内预测模式/类型。
126.另外，在根据本公开的图像编码和解码中，图像处理单元可以具有分层结构。例如，可以将一个图片分区成一个或多个拼块或拼块组。一个拼块组可以包括一个或多个拼块。一个拼块可以包括一个或多个ctu。如上所述，ctu可以被分区成一个或多个cu。拼块可以由包括在图片中以特定行和特定列组合的ctu的矩形区域构成。拼块组可以包括根据拼块光栅扫描的整数个拼块。拼块组头可以用信号通知适用于对应拼块组的信息/参数。当编码/解码装置具有多核心处理器时，可以并行地执行针对拼块或拼块组的编码/解码过程。这里，拼块组可以具有包括帧内(i)拼块组、预测(p)拼块组和双预测(b)拼块组的拼块组类型之一。对于i拼块组中的块，可以不使用帧间预测并且可以使用仅帧内预测进行预测。当然，即使在这种情况下，也可以在没有预测的情况下编译并用信号通知原始样本值。对于p拼块组中的块，可以使用帧内预测或帧间预测，并且可以在帧间预测时使用仅单向预测。同时，对于b拼块组中的块，可以使用帧内预测或帧间预测，并且可以在使用帧间预测时使用直到双预测。
127.另外，可以将一个图片分区成一个或多个切片。切片可以由整数个拼块或连续地布置在一个拼块内的行中的ctu的集合组成。可以支持两种切片模式。一种是光栅扫描切片模式而另一种是矩形切片模式。在光栅扫描切片模式下，切片可以由以光栅扫描顺序存在于一个图片中的连续拼块组成，如图4所示。在矩形切片模式下，切片可以由以矩形形状存在于一个图片中的拼块组成。可以根据拼块光栅扫描顺序在切片内扫描矩形切片中的拼块。
128.在编码装置中，拼块/拼块组、切片以及最大和最小编译单元大小可以根据图像的特性(例如，分辨率)并且考虑到编译效率或并行处理被确定，并且关于其的信息或能够导出该信息的信息可以被包括在比特流中。
129.在解码器中，可以获得指定当前图片的切片、拼块/拼块组或拼块中的ctu被分区成多个编译单元的信息。当仅在特定条件下获得(发送)此类信息时，效率可以提高。
130.切片头或拼块组头(拼块组头语法)可以包括共同地适用于切片或拼块组的信息/参数。aps(aps语法)或pps(pps语法)可以包括共同地适用于一个或多个图片的信息/参数。sps(sps语法)可以包括共同地适用于一个或多个序列的信息/参数。vps(vps语法)可以包括共同地适用于整个视频的信息/参数。在本公开中，更高级语法可以包括aps语法、pps语法、sps语法或vps语法中的至少一种。
131.另外，例如，可以在编码阶段通过更高级语法来构建关于拼块/拼块组的分区和构建的信息并且将其以比特流的形式发送到解码装置。
132.另外，在根据本公开的图像编码/解码中，编译树方案可以支持亮度和色度分量块以具有单独的块树结构。可以将一个ctu中的亮度和色度块具有相同的块树结构的情况表示为single_tree。可以将一个ctu中的亮度和色度块具有单独的块树结构的情况表示为dual_tree。在这种情况下，可以将亮度分量的块树类型称为dual_tree_luma，并且可以将色度分量的块树类型称为dual_tree_chroma。对于p和b切片/拼块组，可以将一个ctu中的亮度和色度ctb限制成具有相同的编译树结构。然而，对于i切片/拼块组，亮度和色度块可以具有单独的块树结构。当应用单独的块树模式时，可以基于特定编译树结构将亮度ctb分区成cu并且可以基于另一编译树结构将色度ctb分区成色度cu。例如，i切片/拼块组中的cu可以由亮度分量的编译块或两个色度分量的编译块组成，并且p或b切片/拼块组的cu可以由三种颜色分量的块组成。以下，在本公开中，可以将切片称为拼块/拼块组并且可以将拼块/拼块组称为切片。
133.帧内预测概要
134.以下，将描述根据实施例的帧内预测方法。帧内预测可以指示基于当前块所属于的图片(以下称为当前图片)中的参考样本为当前块生成预测样本的预测。当帧内预测应用于当前块时，可以导出要用于当前块的帧内预测的邻近参考样本。当前块的邻近参考样本可以包括与具有nwxnh大小的当前块的左边界相邻的样本和与左底部邻近的总共2xnh个样本、与当前块的顶部边界相邻的样本以及与右顶部邻近的总共2xnw个样本和与当前块的左顶部邻近的一个样本。可替选地，当前块的邻近参考样本可以包括多列顶部邻近样本和多行左邻近样本。另外，当前块的邻近参考样本可以包括与具有nwxnh大小的当前块的右边界相邻的总共nh个样本、与当前块的底部边界相邻的总共nw个样本和与当前块右底部邻近的一个样本。同时，当将稍后描述的isp被应用时，可以以子分区为单位导出邻近参考样本。
135.另一方面，当前块的一些邻近参考样本尚未被解码或者可能不可用。在这种情况下，解码装置可以通过用可用样本取代不可用样本来构建要用于预测的邻近参考样本。或者，可以使用可用样本的插值来构建要用于预测的邻近参考样本。
136.当邻近参考样本被导出时，(i)可以基于当前块的邻近参考样本的平均或插值导出预测样本，并且(ii)可以基于当前块的邻近参考样本当中相对于预测样本存在于特定(预测)方向上的参考样本导出预测样本。可以将(i)的情况称为非定向模式或非角度模式并且可以将(ii)的情况称为定向模式或角度模式。另外，可以用邻近参考样本当中基于当前块的预测样本位于当前块的帧内预测模式的预测方向的相反方向上的第二邻近样本和第一邻近样本，通过插值生成预测样本。可以将上述情况称为线性插值帧内预测(lip)。另
外，可以使用线性模型来基于亮度样本生成色度预测样本。可以将此情况称作lm模式。另外，可以基于滤波的邻近参考样本导出当前块的时间预测样本，并且可以通过将该时间预测样本和现有邻近参考样本当中根据帧内预测模式导出的至少一个参考样本即未滤波的邻近参考样本进行加权求和来导出当前块的预测样本。可以将上述情况称为位置相关帧内预测(pdpc)。另外，可以从当前块的多条邻近参考样本线中选择具有最高预测准确度的参考样本线以使用对应线中位于预测方向上的参考样本来导出预测样本，并且此时，可以通过将所使用的参考样本线指示(用信号通知)给解码装置来执行帧内预测编码。可以将上述情况称为多参考线(mrl)帧内预测或基于mrl的帧内预测。另外，可以将当前块划分成垂直或水平子分区以基于相同的帧内预测模式执行帧内预测，并且可以以子分区为单位导出和使用邻近参考样本。也就是说，在这种情况下，当前块的帧内预测模式被同等地应用于子分区并且以子分区为单位导出和使用邻近参考样本，从而提高帧内预测性能。可以将这样的预测方法称为帧内子分区(isp)或基于isp的帧内预测。另外，当基于预测样本的预测方向指示邻近参考样本之间的空间时，也就是说，当预测方向指示分数样本位置时，可以通过对位于预测方向周围(在分数样本位置周围)的多个参考样本的插值来导出预测样本的值。可以将上述帧内预测方法称为帧内预测类型以与帧内预测模式区分开。另外，在使用位于当前块左边和顶部的重构邻近像素来生成当前块的子采样像素集的预测信号之后，可以在垂直和水平方向上对所生成的预测信号和邻近样本值进行插值以生成具有原始大小的预测信号，从而应用矩阵加权帧内预测(mip)来执行当前块的帧内预测。
137.可以将帧内预测类型称为诸如帧内预测方案或附加帧内预测模式的各种术语。例如，帧内预测类型(或附加帧内预测模式)可以包括lip、pdpc、mrl、isp或mip中的至少一种。关于帧内预测类型的信息可以由编码装置编码、被包括在比特流中并且用信号通知给解码装置。可以以各种形式实现关于帧内预测类型的信息，所述各种形式诸如指示是否应用每种帧内预测类型的标志信息或指示若干帧内预测类型之一的索引信息。
138.同时，必要时，可以相对于所导出的预测样本执行后滤波。具体地，帧内预测过程可以包括帧内预测模式/类型确定步骤、邻近参考样本导出步骤和基于帧内预测模式/类型的预测样本导出步骤。另外，必要时，可以相对于所导出的预测样本执行后滤波。
139.以下，将描述基于帧内预测的视频/图像编码方法。首先，编码装置相对于当前块执行帧内预测。编码装置可以导出当前块的帧内预测模式/类型，导出当前块的邻近参考样本，并且基于帧内预测模式/类型和邻近参考样本生成当前块中的预测样本。这里，可以同时地执行帧内预测模式/类型确定、邻近参考样本导出和预测样本生成过程或者可以在其他过程之前执行任何一个过程。同时，当执行下述预测样本滤波过程时，帧内预测器185还可以包括预测样本滤波器。编码装置可以在多种帧内预测模式/类型当中确定应用于当前块的模式/类型。编码装置可以比较帧内预测模式/类型的速率失真(rd)成本并且确定当前块的最佳帧内预测模式/类型。
140.同时，编码装置可以执行预测样本滤波过程。可以将预测样本滤波称为后滤波。通过预测样本滤波过程，一些或所有预测样本可以被滤波。在一些情况下，可以省略预测样本滤波过程。
141.接下来，编码装置可以基于预测样本生成当前块的残差样本。编码装置可以在相位方面将当前块的原始样本与预测样本进行比较并且导出残差样本。
142.接下来，编码装置可以对包括关于帧内预测的信息(预测信息)和关于残差样本的残差信息的图像信息进行编码。预测信息可以包括帧内预测模式信息和帧内预测类型信息。编码装置可以以比特流的形式输出编码图像信息。可以通过存储介质或网络将输出比特流发送到解码装置。
143.残差信息可以包括残差编译语法，将稍后对此进行描述。编码装置可以对残差样本进行变换/量化并且导出量化变换系数。残差信息可以包括关于量化变换系数的信息。
144.同时，如上所述，编码装置可以生成重构图片(包括重构样本和重构块)。为此，编码装置可以相对于量化变换系数执行逆量化/逆变换并且导出(修改的)残差样本。对残差样本进行变换/量化然后执行逆量化/逆变换的原因是为了导出与由解码装置如上所述导出的残差样本相同的残差样本。编码装置可以基于预测样本和(修改的)残差样本生成包括当前块的重构样本的重构块。基于重构块，可以生成当前图片的重构图片。如上所述，环内滤波过程适用于重构图片。
145.以下，将描述基于帧内预测的视频/图像编码方法。解码装置可以执行与由编码装置执行的操作对应的操作。
146.首先，解码装置可以基于所接收到的预测信息(帧内预测模式/类型信息)导出当前块的帧内预测模式/类型。解码装置可以导出当前块的邻近参考样本。解码装置可以基于帧内预测模式/类型和邻近参考样本在当前块中生成预测样本。在这种情况下，解码装置可以执行预测样本滤波过程。可以将预测样本滤波称为后滤波。通过预测样本滤波过程，一些或所有预测样本可以被滤波。在一些情况下，可以省略预测样本滤波过程。
147.解码装置可以基于所接收到的残差信息生成当前块的残差样本。解码装置可基于预测样本和残差样本生成当前块的重构样本并且导出包括重构样本的重构块。基于重构块，可以生成当前图片的重构图片。环内滤波过程还适用于重构图片。
148.帧内预测模式信息可以包括例如指示是否将最可能模式(mpm)或剩余模式应用于当前块的标志信息(例如，intra_luma_mpm_flag)，并且当mpm被应用于当前块时，预测模式信息还可以包括指示帧内预测模式候选(mpm候选)之一的索引信息(例如，intra_luma_mpm_idx)。帧内预测模式候选(mpm候选)可以配置mpm候选列表或mpm列表。例如，mpm候选列表可以包括邻近块的帧内预测模式或预设基本帧内预测模式。另外，当mpm未被应用于当前块时，帧内预测模式信息还可以包括指示排除帧内预测模式候选(mpm候选)的剩余帧内预测模式之一的剩余模式信息(例如，intra_luma_mpm_remainder)。解码装置可以基于帧内预测模式信息确定当前块的帧内预测模式。
149.同时，当应用上述mip模式时，用于mip模式的mpm列表可以被配置成确定当前块的mip模式。可以以配置用于帧内模式的上述mpm列表的方式配置用于mip模式的mpm列表。例如，当应用mip模式时，用于mip模式的mpm候选列表可以被配置成包括邻近块的mip模式或预定默认mip模式。另外，当mpm不应用于当前块时，帧内预测模式信息还可以包括指定除了mip模式候选(mpm候选)之外的剩余mip模式之一的剩余模式信息(例如，intra_luma_mpm_remainder)。解码装置可以基于帧内预测模式信息确定当前块的mip模式。
150.帧内预测模式
151.以下，将更详细地描述帧内预测模式。图5示出根据实施例的帧内预测方向。为了捕获自然视频中呈现的任何边缘方向，如图5所示，帧内预测模式可以包括两种非定向帧内
预测模式和65种定向帧内预测模式。非定向帧内预测模式可以包括平面帧内预测模式和dc帧内预测模式，而定向帧内预测模式可以包括第二帧内预测模式至第66帧内预测模式。
152.同时，除了上述帧内预测模式之外，帧内预测模式还可以包括用于色度样本的交叉分量线性模型(cclm)模式。cclm模式可以根据为了lm参数导出是考虑左样本、上样本还是两者而分割成l_cclm、t_cclm、lt_cclm并且可以被仅应用于色度分量。例如，可以根据如下表所示的帧内预测模式值为帧内预测模式编索引。
153.[表1]
[0154]
帧内预测模式相关名称0intra_planar1intra_dc2..66intra_angular2..intra_angular6681..83intra_lt_cclm、intra_l_cclm、intra_t_cclm
[0155]
图6示出根据另一实施例的帧内预测方向。这里，虚线方向示出仅应用于非正方形块的宽角度模式。如图6所示，为了捕获自然视频中呈现的任何边缘方向，根据实施例的帧内预测模式可以包括两种非定向帧内预测模式和93种定向帧内预测模式。非定向帧内预测模式可以包括平面帧内预测模式和dc帧内预测模式，而定向帧内预测模式可以包括第二帧内预测模式至第80帧内预测模式和第-1帧内预测模式至第-14帧内预测模式，如由图6的箭头所表示的。平面预测模式可以由intra_planar表示，并且dc预测模式可以由intra_dc表示。另外，定向帧内预测模式可以由intra_angular-14至intra_angular-1和intra_angular2至intra_angular80表示。
[0156]
同时，帧内预测类型(或附加帧内预测模式)可以包括lip、pdpc、mrl、isp或mip中的至少一种。可以基于帧内预测类型信息指示帧内预测类型，并且可以以各种形式实现帧内预测类型信息。例如，帧内预测类型信息可以包括指示帧内预测类型之一的帧内预测类型索引信息。作为另一示例，帧内预测类型信息可以包括以下各项中的至少一种：指示mrl是否被应用于当前块并且如果被应用则哪条参考样本线被使用的参考样本线信息(例如，intra_luma_ref_idx)、指示isp是否被应用于当前块的isp标志信息(例如，intra_subpartitions_mode_flag)、指示当应用isp时子分区的分割类型的isp类型信息(例如，intra_subpartitions_split_flag)、指示是否应用pdpc的标志信息、指示是否应用lip的标志信息或指示是否应用mip的mip标志信息。
[0157]
可以使用本公开中描述的编译方法来对帧内预测模式信息和/或帧内预测类型信息进行编码/解码。例如，可以通过熵编译(例如，cabac、cavlc)基于截断(莱斯)二进制码对帧内预测模式信息和/或帧内预测类型信息进行编码/解码。
[0158]
当相对于当前块执行帧内预测时，可以执行对当前块的亮度分量块(亮度块)和色度分量块(色度块)的预测。在这种情况下，可以与亮度块的帧内预测模式分开地设置色度块的帧内预测模式。
[0159]
例如，可以基于帧内色度预测模式信息指定用于色度块的帧内预测模式，并且可以以intra_chroma_pred_mode语法元素的形式用信号通知帧内色度预测模式信息。例如，帧内色度预测模式信息可以指示平面模式、dc模式、垂直模式、水平模式、导出模式(dm)和cclm中的一种。这里，平面模式可以指示帧内预测模式#0，dc模式可以指示帧内预测模式#
1，垂直模式可以指示帧内预测模式#26，并且水平模式可以指示帧内预测模式#10。还可以将dm称为直接模式。可以将cclm称为lm。
[0160]
同时，dm和cclm是用于使用关于亮度块的信息来预测色度块的从属帧内预测模式。dm可以指示与用于亮度分量的帧内预测模式相同的帧内预测模式应用于用于色度分量的帧内预测模式的模式。另外，cclm可以指示使用通过在生成用于色度块的预测块的过程中对亮度块的重构样本进行子采样并且然后对子采样样本应用cclm参数α和β所导出的样本作为色度块的预测样本的帧内预测模式。
[0161]
基于矩阵的帧内预测概要
[0162]
还可以将基于矩阵的帧内预测(mip)模式称为仿射线性加权帧内预测(alwip)模式、线性加权帧内预测(lwip)模式或矩阵加权帧内预测(mwip)模式。可以将除基于矩阵的预测以外的帧内预测模式定义为基于非矩阵的预测模式。例如，可以将基于非矩阵的预测模式称为非定向帧内预测和定向帧内预测。以下，作为术语基于非矩阵的预测模式，可以互换地使用帧内预测模式和正常帧内预测。以下，可以将基于矩阵的预测称为mip模式。
[0163]
当mip模式应用于当前块时，i)可以使用对其执行平均步骤的邻近参考样本，ii)可以执行矩阵向量乘法步骤，iii)必要时，可以进一步执行水平/垂直插值，从而导出当前块的预测样本。
[0164]
可以通过将邻近样本的值进行平均来执行平均步骤。当如图7的(a)所示当前块的宽度和宽度按像素单位为4时，可以通过取每个边界的平均并且生成包括两个顶部样本和两个左样本的总共四个样本来执行平均过程，而当如图7的(b)所示当前块的宽度和宽度按像素单位不是4时，可以通过取每个边界的平均并且生成包括四个顶部样本和四个左样本的总共八个样本来执行平均步骤。
[0165]
可以通过将平均样本乘以矩阵向量然后加上偏移向量来执行矩阵向量乘法步骤，从而为原始块的子采样像素集生成预测信号。可以根据当前块的宽度和宽度来确定矩阵的大小和偏移向量。
[0166]
水平/垂直插值步骤是从子采样预测信号生成原始块大小的预测信号的步骤。如图8所示，可以通过使用子采样预测信号和邻近像素值来执行垂直和水平插值而生成原始块大小的预测信号。图8示出相对于8x8块执行mip预测的实施例。在8x8块的情况下，如图7的(b)所示，可以生成总共八个平均样本。通过将八个平均样本乘以矩阵向量并且加上偏移向量，如图8的(a)所示，可以在偶数坐标位置处生成16个样本值。此后，如图8的(b)所示，可以使用当前块的顶部样本的平均值来执行垂直插值。此后，如图8的(c)所示，可以使用当前块的左样本来执行水平插值。
[0167]
可以与用于上述lip、pdpc、mrl和isp帧内预测或正常帧内预测的帧内预测模式不同地配置用于mip模式的帧内预测模式。可以将用于mip模式的帧内预测模式称作mip帧内预测模式、mip预测模式或mip模式。例如，可以根据用于mip的帧内预测模式不同地设置用于矩阵向量乘法的矩阵和偏移。这里，可以将矩阵称作(mip)权重矩阵，并且可以将偏移称作(mip)偏移向量或(mip)偏置向量。
[0168]
上述帧内预测类型信息可以包括指定mip模式是否应用于当前块的mip标志(例如，intra_mip_flag)。当mip模式应用于当前块(例如，intra_mip_flag的值是1)时，可以单独地配置用于mip模式的mpm列表。另外，帧内预测类型信息可以包括指定mpm列表是否被用
于mip模式的mip mpm标志(例如，intra_mip_mpm_flag)、指定用于mpm列表的当前块的mip模式的mpm索引(例如，intra_mip_mpm_idx)以及用于当在mpm列表中不使用当前块的mip模式时直接指定mip模式的剩余帧内预测模式信息(例如，intra_mip_mpm_remainder)。
[0169]
当执行mip模式时，可以根据配置mip的矩阵和偏移来设置各种mip模式。可以基于当前块的大小不同地设置用于mip的帧内预测模式的数目。例如，i)当当前块(例如，cb或tb)的高度和宽度是4时，35种帧内预测模式(即，帧内预测模式0至34)可以是可用的，ii)当当前块的高度和宽度都小于或等于8时，19种帧内预测模式(即，帧内预测模式0至18)可以是可用的，iii)在其他情况下，11种帧内预测模式(即，帧内预测模式0至10)可以是可用的。
[0170]
例如，当当前块的高度和宽度是4的情况被称为块大小类型0时，可以将当前块的高度和宽度都小于或等于8的情况称为块大小类型1，而其他情况被称为块大小类型2，可以如下表所示的那样概括用于mip的帧内预测模式的数目。然而，这是示例并且可以改变块大小类型和可用帧内预测模式的数目。
[0171]
[表2]
[0172][0173]
在实施例中，关于当前块的帧内预测模式/类型的信息可以在诸如cu(cu语法)的级别下被编译并用信号通知或者可以根据条件被隐式地确定。在这种情况下，这可以针对一些模式/类型被显式地用信号通知并且可以针对剩余模式被隐式地导出。例如，cu语法可以承载关于(帧内)预测模式/类型的信息，如图10至图12所示。
[0174]
这里，pred_mode_flag可以指定当前cu的预测模式。例如，pred_mode_flag的值0可以指定当前cu以帧间预测模式被编码。pred_mode_flag的值1可以指定当前cu以帧内预测模式被编码。
[0175]
pcm_flag[x0][y0]可以指定脉冲编译调制(pcm)模式是否应用于当前块。当pcm模式应用于当前块时，可以在不应用预测/变换/量化的情况下对当前块中的原始样本的值进行编译和用信号通知。例如，对于与(x0,y0)位置相对应的亮度cu，pcm_flag[x0][y0]可以指定存在pcm_sample语法并且是否不存在transfrom_tree()语法。例如，pcm_flag[x0][y0]的值1可以指定存在pcm_sample()语法而不存在transform_tree()语法。pcm_flag[x0][y0]的值0可以指定存在pcm_sample()语法并且存在transform_tree()语法。
[0176]
intra_mip_flag[x0][y0]可以指定当前块是否是以mip模式预测的。例如，intra_mip_flag[x0][y0]的第一值(例如，0)可以指定当前块不是以mip模式预测的。intra_mip_flag[x0][y0]的第二值(例如，1)可以指定当前块是以mip模式预测的。
[0177]
当intra_mip_flag[x0][y0]具有第二值(例如，1)时，可以从比特流进一步获得关于mip模式的信息。例如，可以从比特流进一步获得作为指定当前块的mip模式的信息的intra_mip_mpm_flag[x0][y0]、intra_mip_mpm_idx[x0][y0]和intra_mip_mpm_remainder[x0][y0]语法元素。当mip预测模式应用于当前块时，可以配置用于mip的mpm列表，并且intra_mip_mpm_flag可以指定当前块的mip模式是否存在于mip(或mpm候选)的mpm列表中。
intra_mip_mpm_idx可以指定当在用于mip的mpm列表中存在当前块的mip预测模式(即，intra_mip_mpm_flag的值是1)时，在mpm列表中的候选当中用作当前块的mip预测模式的候选的索引。intra_mip_mpm_remainder可以指定当在用于mip的mpm列表中不存在当前块的mip预测模式(即，intra_mip_mpm_flag的值是0)时，当前块的mip预测模式，并且指定所有mip预测模式中的任何一种或者将所有mip预测模式当中除了用于mip的mpm列表中的候选模式之外的剩余模式中的任何一种指定为当前块的mip预测模式。
[0178]
同时，当intra_mip_flag[x0][y0]具有第一值(例如，0)时，可以不从比特流获得关于mip的信息，并且可以从比特流获得除mip以外的帧内预测信息。在实施例中，可以从比特流获得指定是否生成用于正常帧内预测的mpm列表的intra_luma_mpm_flag[x0][y0]。
[0179]
当帧内预测模式应用于当前块时，可以配置用于其的mpm列表，intra_luma_mpm_flag可以指定在mpm列表(或mpm候选)中存在用于当前块的帧内预测模式。例如，intra_luma_mpm_flag的第一值(例如，0)可以指定在mpm列表中不存在当前块的帧内预测模式。intra_luma_mpm_flag的第二值(例如，1)可以指定在mpm列表中存在当前块的帧内预测模式。当intra_luma_mpm_flag的值是1时，可以从比特流获得intra_luma_not_planar_flag。
[0180]
intra_luma_not_planar_flag可以指定当前块的帧内预测模式是否是平面模式。例如，intra_luma_not_planar_flag的第一值(例如，0)可以指定当前块的帧内预测模式是平面模式。intra_luma_not_planar_flag的第二值(例如，1)可以指定当前块的帧内预测模式不是平面模式。
[0181]
当intra_luma_not_planar_flag是
‘
真’(即，值1)时，可以解析和编译intra_luma_mpm_idx。在实施例中，平面模式可以总是作为候选被包括在mpm列表中。然而，如上所述，可以通过首先用信号通知intra_luma_not_planar_flag来从mpm列表中排除平面模式，并且在这种情况下，可以在上述各种帧内预测类型(正常帧内预测、mrl、isp、lip等)中配置统一mpm列表。在这种情况下，可以将mpm列表中的候选的数目减少到5。intra_luma_mpm_idx可以在包括在从中排除了平面模式的mpm列表中的候选当中指定在当前块的帧内预测模式下使用的候选。
[0182]
同时，当intra_luma_mpm_flag的值是0时，可以解析/编译intra_luma_mpm_remainder。intra_luma_mpm_remainder可以将所有帧内预测模式之一指定为当前块的帧内预测模式或者可以将mpm列表中除了候选模式之外的剩余模式中的任何一种指定为当前块的帧内预测模式。
[0183]
mpm列表
[0184]
当应用帧内预测时，可以使用邻近块的帧内预测模式来确定应用于当前块的帧内预测模式。例如，解码装置可以基于使用比特流接收的mpm索引(例如，intra_luma_mpm_idx)选择基于当前块的邻近块(例如，左和/或顶部邻近块)的帧内预测模式和附加候选模式而导出的mpm列表中的mpm候选之一。可替选地，解码装置可以基于剩余模式信息(例如，intra_luma_mpm_remainder)选择未被包括在mpm候选中的剩余帧内预测模式之一。例如，可以基于mpm标志(例如，intra_luma_mpm_flag)指示应用于当前块的帧内预测模式是在mpm候选中还是在剩余模式中以确定当前块的帧内预测模式。mpm标志的值1可以指示当前块的帧内预测模式在mpm列表(候选)中，而mpm标志的值0可以指示当前块的帧内预测模式不在mpm列表(候选)中。
[0185]
可以以intra_luma_mpm_flag语法元素的形式用信号通知mpm标志，可以以mpm_idx或intra_luma_mpm_idx语法元素的形式用信号通知mpm索引，并且可以以rem_intra_luma_pred_mode或intra_luma_mpm_remainder语法元素的形式用信号通知剩余帧内预测模式信息。在实施例中，剩余帧内预测模式信息可以指定未被包括在所有帧内预测模式的mpm列表中的剩余帧内预测模式之一并且按预测模式编号的顺序被索引。帧内预测模式可以是用于亮度分量(样本)的帧内预测模式。以下，帧内预测模式信息可以包括mpm标志(例如intra_luma_mpm_flag)、mpm索引(例如mpm_idx或intra_luma_mpm_idx)或剩余的帧内预测模式信息(例如rem_intra_luma_pred_mode或intra_luma_mpm_remainder)中的至少一种。在本公开中，可以将mpm列表称为诸如mpm候选列表、candmodelist等的各种术语。
[0186]
mpm列表可以包括高度很可能应用于当前块的候选帧内预测模式(mpm候选)。mpm列表可以被配置成包括邻近块的帧内预测模式，并且可以被配置成进一步包括根据预定方法的预定帧内预测模式。
[0187]
在实施例中，为了使生成mpm列表的复杂度维持低，可以生成包括三个mpm的mpm列表。例如，即使当使用67种帧内预测模式时，mpm列表也可以包括三个mpm候选。当当前块的帧内预测模式未被包括在mpm列表中时，可以使用剩余模式。在这种情况下，剩余模式可以包括64个剩余候选，可以用信号通知指定64个剩余候选之一的剩余帧内预测模式信息。例如，剩余帧内预测模式信息可以包括6比特语法元素(例如rem_intra_luma_pred_mode或intra_luma_mpm_remainder语法元素)。
[0188]
在实施例中，可以考虑邻近帧内模式、导出帧内模式和默认帧内模式来配置mpm列表。例如，编码装置可以使用邻近块的预测模式来对当前块的预测模式进行编码。
[0189]
例如，当在帧内预测模式下对邻近块进行编码时，编码装置可以确认或导出邻近块的预测模式。例如，编码装置可以基于左邻近块的预测模式和顶部邻近块的预测模式来确定当前块的预测模式，并且在这种情况下，可以将对应邻近块的预测模式确定为最可能模式(mpm)。在这方面，可以将确定mpm表达为列举mpm候选或配置mpm列表。
[0190]
在实施例中，左邻近块可以指定位于与当前块的左边界相邻的邻近块的最上侧的块。另外，顶部邻近块可以指定位于与当前块的顶部边界相邻的邻近块的最左侧的块。编码装置可以确定左邻近块的预测模式和顶部邻近块的预测模式是否相同。可以通过对两个相邻块的帧内预测模式执行修剪(pruning)过程来形成初始mpm列表。可以执行修剪过程，使得仅不同的预测模式被包括在mpm列表中。
[0191]
如果左邻近块的预测模式和顶部邻近块的预测模式不相同，则可以将第一mpm设置为左邻近块的预测模式，可以将第二mpm设置为顶部邻近块的预测模式，可以将第三mpm设置为帧内平面模式、帧内dc模式或帧内垂直模式(帧内预测模式#50)之一。具体地，当两个邻近块的帧内预测模式彼此不同时，可以将两种帧内预测模式设置为mpm，并且在通过mpm修剪检查之后，可以向mpm列表添加默认帧内模式之一。这里，默认帧内模式可以包括帧内平面模式、帧内dc模式和/或帧内垂直模式(帧内预测模式#50)。
[0192]
例如，当左邻近块的预测模式和顶部邻近块的预测模式不相同时，可以根据以下情况配置mpm列表。
[0193]
情况1：如果左邻近块的帧内预测模式和顶部邻近块的帧内预测模式都不是帧内平面模式，则mpm列表可以被配置成包括左邻近块的帧内预测模式块、顶部邻近块的帧内预
测模式和帧内平面模式。
[0194]
情况2：当不满足情况1的条件时，如果左邻近块的帧内预测模式和顶部邻近块的帧内预测模式都不是帧内dc模式，则mpm列表可以被配置成包括左邻近块的帧内预测模式、顶部邻近块的帧内预测模式和帧内dc模式。
[0195]
情况3：当不满足情况2的条件时，mpm列表可以被配置成包括左邻近块的帧内预测模式、顶部邻近块的帧内预测模式和帧内垂直模式。
[0196]
同时，当左邻近块的预测模式和顶部邻近块的预测模式相同时，编码装置可以确定左邻近块的预测模式是否小于2。例如，编码装置可以确定左邻近块的预测模式是帧内平面模式、帧内dc模式还是如图6所示具有指示位于当前块的底部处的块的方向性的预测模式。
[0197]
如果左邻近块的预测模式小于2，则可以将第一mpm设置为帧内平面模式，可以将第二mpm设置为帧内dc模式，并且可以将第三mpm设置为帧内垂直模式(帧内预测模式#50)。
[0198]
同时，如果左邻近块的预测模式不小于2，则可以将第一mpm设置为左邻近块的预测模式，可以将第二mpm设置为(左邻近块的预测模式-1)，并且可以将第三mpm设置为(左邻近块的预测模式 1)。
[0199]
例如，当左邻近块的预测模式和顶部邻近块的预测模式相同时，可以配置mpm列表如下。
[0200]
情况1：当左邻近块的帧内预测模式的值小于2时，mpm列表可以被配置成包括帧内平面模式、帧内dc模式和帧内垂直模式。
[0201]
情况2：当不满足情况1的条件时，mpm列表可以被配置成包括左邻近块的帧内预测模式以及当左邻近块的帧内预测模式的值是a时与值2 ((a 61)％64)对应的帧内预测模式和与值2 ((a-1)％64)对应的帧内预测模式。
[0202]
同时，可以执行去除重复模式的附加修剪过程，使得仅唯一模式被包括。另外，对于除了三个mpm之外的64种非mpm模式的熵编译，可以使用6比特固定长度码。也就是说，可以将指示64种非mpm模式的索引熵编译成6比特固定长度码(6比特flc)。
[0203]
另外，编码装置可以确定将应用于当前块的最佳帧内预测模式是否属于以上配置的mpm候选。
[0204]
如果当前块的帧内预测模式属于mpm候选，则编码装置可以对mpm标志和mpm索引进行编码。这里，mpm标志可以指定当前块的帧内预测模式是否是从邻近帧内预测块导出的(也就是说，当前块的帧内预测模式属于mpm)。另外，mpm索引可以指定在mpm候选当中哪种mpm模式被应用为当前块的帧内预测模式。
[0205]
相比之下，如果当前块的帧内预测模式不属于mpm候选，则编码装置可以使用剩余模式来对当前块的帧内预测模式进行编码。
[0206]
同时，在实施例中，编码装置和解码装置可以配置包括6个mpm的mpm列表。为了生成包括6个mpm的mpm列表，可以考虑默认mpm列表。当左邻近块的帧内预测模式的值是a时，可以配置默认mpm列表如下。
[0207]
默认6mpm列表＝{a,平面(0)或dc(1),垂直(50),hor(18),ver-4(46),ver 4(54)}
[0208]
此外，通过对两个邻近块的帧内模式执行修剪过程，可以更新默认6-mpm列表以生成6-mpm列表。例如，当两个邻近块的帧内预测模式相同并且两个邻近块的帧内预测模式的
值大于帧内dc模式的值1时，6-mpm列表可以包括作为默认模式的左邻近块的帧内预测模式、帧内平面模式和帧内dc模式，并且还包括通过向邻近块的帧内预测模式添加预定偏移值并且相对于总数个帧内预测模式执行模运算而导出的三种导出模式。
[0209]
同时，当邻近块的帧内预测模式彼此不同时，可以通过包括两个邻近块的帧内预测模式作为前两种mpm模式来配置6-mpm列表。可以从默认模式和邻近块的帧内预测模式导出剩余四种mpm模式。
[0210]
当mip不应用于当前块时，可以使用上述mpm列表配置方法。例如，上述mpm列表配置方法可以用于导出在lip、pdpc、mrl、isp帧内预测或正常帧内预测(非定向帧内预测和定向帧内预测)中使用的帧内预测模式。然而，可以基于上述mip对左邻近块或顶部邻近块进行编译。在这种情况下，如果应用mip的邻近块(左邻近块/顶部邻近块)的mip模式编号无变化地应用于未应用mip的当前块的mpm列表，则因为指示了无意的帧内预测模式，所以这可能是不适当的。因此，在这种情况下，可以将应用mip的邻近块(左邻近块/顶部邻近块)的帧内预测模式视为dc模式或平面模式。可替选地，作为另一示例，应用mip的邻近块(左邻近块/顶部邻近块)的帧内预测模式可以基于映射表被映射到正常帧内预测模式并且用于配置mpm列表。在这种情况下，可以基于当前块的块大小类型执行映射。例如，可以将图9所示的根据实施例的映射表用于映射。
[0211]
在图9的表中，mip intrapredmode[xnbx][ynbx]指定邻近块(左邻近块/顶部邻近块)的mip模式，并且块大小类型mipsizeid指定邻近块或当前块的块大小类型。块大小类型值0、1和2下方的数字指示在每种块大小类型的情况下mip模式被映射到的正常帧内预测模式。例如，可以将当前块的高度和宽度为4的情况称为块大小类型0，可以将当前块的高度和宽度都等于或小于8的情况称为块大小类型1，并且可以将另一种情况称为块大小类型2。
[0212]
这里，正常帧内预测模式是除mip模式以外的帧内预测模式并且可以意指非定向帧内预测模式或定向帧内预测模式。例如，当当前块的块大小类型是0并且邻近块的mip模式编号是10时，映射的正常帧内预测模式编号可以是18。然而，映射关系可以是示例并且可以发生改变。
[0213]
另外，在实施例中，可以不在mpm列表中包括帧内平面模式。为此，可以单独地用信号通知指定当前块的帧内预测模式是否是帧内平面模式的信息。当当前块的预测模式不是帧内平面模式时，可以生成mpm列表以用信号通知帧内预测模式。编码装置可以使用在对当前块进行编码时如下生成的mpm列表来将当前块的帧内预测模式用信号通知给解码装置，并且解码装置可以如下使用所生成的mpm列表来确定当前块的帧内模式。
[0214]
可以基于当前块的邻近块的帧内预测模式确定mpm列表。例如，可以基于当前块的左邻近块和顶部邻近块的帧内预测模式确定mpm列表。例如，编码装置和解码装置可以基于以左邻近块的帧内预测模式为基础确定的第一帧内预测候选和以顶部邻近块的帧内预测模式为基础确定的第二帧内预测候选来确定mpm列表。
[0215]
这里，顶部邻近块可以是与当前块的顶部相邻的块当中位于最右侧的块。左邻近块可以是与当前块的左边相邻的块当中位于最下侧的块。例如，当当前块的坐标是(xcb,ycb)，当前块的宽度是cbwidth并且当前块的高度是cbheight时，左邻近块的坐标可以是(xcb-1,ycb cbheight-1)并且顶部邻近块的坐标可以是(xcb cbwidth-1,ycb-1)。
[0216]
当左邻近块不可用时、当左邻近块的预测模式不是帧内预测模式时或者当左邻近
块的预测模式是mip模式时，编码装置和解码装置可以将第一帧内预测候选的值确定为指定帧内平面模式的值(例如，0)。当左邻近块不满足这样的条件时，编码装置和解码装置可以将第一帧内预测候选的值确定为指定左邻近块的帧内预测模式的值。
[0217]
另外，当顶部邻近块不可用时、当顶部邻近块的模式不是帧内预测模式时或者当顶部邻近块的预测模式是mip模式时，编码装置和解码装置可以将第二帧内预测候选的值确定为指定帧内平面模式的值(例如，0)。当顶部邻近块不满足这样的条件时，编码装置和解码装置可以将第二帧内预测候选的值确定为指定顶部邻近块的帧内预测模式的值。
[0218]
在实施例中，mpm列表可以被配置成包括五种候选模式。在实施例中，可以根据以下情况配置mpm列表。以下，第一帧内预测候选被称为candintrapredmodea，第二帧内预测候选被称为candintrapredmodeb，并且mpm列表被称为candmodelist[x]。这里，x可以是0至4的整数。
[0219]
情况1：当第一帧内预测候选的值和第二帧内预测候选的值相同并且第一帧内预测候选的值大于1(例如，当不是帧内平面模式或帧内dc模式时)时，可以配置mpm列表candmodelist[x]如下。
[0220]
candmodelist[0]＝candintrapredmodea
[0221]
candmodelist[1]＝2 ((candintrapredmodea 61)％64)
[0222]
candmodelist[2]＝2 ((candintrapredmodea-1)％64)
[0223]
candmodelist[3]＝2 ((candintrapredmodea 60)％64)
[0224]
candmodelist[4]＝2 (candintrapredmodea％64)
[0225]
情况2：在不满足情况1的条件的情况下，当第一帧内预测候选的值和第二帧内预测候选的值不相同并且第一帧内预测候选的值或第二帧内预测候选的值大于1(例如，不是帧内平面模式或帧内dc模式)时，可以配置mpm列表candmodelist[x]如下。
[0226]
首先，可以计算minab和maxab如下。
[0227]
minab＝min(candintrapredmodea,candintrapredmodeb)
[0228]
maxab＝max(candintrapredmodea,candintrapredmodeb)
[0229]
当第一帧内预测候选的值和第二帧内预测候选的值都大于1时，可以配置mpm列表candmodelist[0]和candmodelist[1]如下。
[0230]
candmodelist[0]＝candintrapredmodea
[0231]
candmodelist[1]＝candintrapredmodeb
[0232]
在这种情况下，当maxab-minab的值是1时，可以配置candmodelist[2]至candmodelist[4]如下。
[0233]
candmodelist[2]＝2 ((minab 61)％64)
[0234]
candmodelist[3]＝2 ((maxab-1)％64)
[0235]
candmodelist[4]＝2 ((minab 60)％64)
[0236]
同时，当maxab-minab的值等于或大于62时，可以配置candmodelist[2]至candmodelist[4]如下。
[0237]
candmodelist[2]＝2 ((minab-1)％64)
[0238]
candmodelist[3]＝2 ((maxab 61)％64)
[0239]
candmodelist[4]＝2 (minab％64)
[0240]
同时，当maxab-minab的值是2时，可以配置candmodelist[2]至candmodelist[4]如下。
[0241]
candmodelist[2]＝2 ((minab-1)％64)
[0242]
candmodelist[3]＝2 ((minab 61)％64)
[0243]
candmodelist[4]＝2 ((maxab-1)％64)
[0244]
同时，当maxab-minab的值不满足上述条件时，可以配置candmodelist[2]至candmodelist[4]如下。
[0245]
candmodelist[2]＝2 ((minab 61)％64)
[0246]
candmodelist[3]＝2 ((minab-1)％64)
[0247]
candmodelist[4]＝2 ((maxab 61)％64)
[0248]
同时，当第一帧内预测候选的值和第二帧内预测候选的值都不大于1并且仅第一帧内预测候选和第二帧内预测候选中的任何一个大于1时，可以配置mpm列表candmodelist[x]如下。
[0249]
candmodelist[0]＝maxab
[0250]
candmodelist[1]＝2 ((maxab 61)％64)
[0251]
candmodelist[2]＝2 ((maxab-1)％64)
[0252]
candmodelist[3]＝2 ((maxab 60)％64)
[0253]
candmodelist[4]＝2 (maxab％64)
[0254]
情况3：当不满足情况2的条件时，可以配置mpm列表candmodelist[x]如下。
[0255]
candmodelist[0]＝intra_dc
[0256]
candmodelist[1]＝intra_angular50
[0257]
candmodelist[2]＝intra_angular18
[0258]
candmodelist[3]＝intra_angular46
[0259]
candmodelist[4]＝intra_angular54
[0260]
基于矩阵的帧内预测模式中的mpm列表配置
[0261]
当mip应用于当前块时，可以单独地配置应用mip的当前块的mpm列表。可以将mpm列表称为诸如mip mpm列表(或用于mip的mpm列表或candmipmodelist)的各种名称，以便在mip不应用于当前块时与mpm列表区分开。以下，为了区分，这个被表达为mip mpm列表或者还可以被称为mpm列表。
[0262]
mip mpm列表可以包括n个候选，并且例如，n可以是3。可以基于当前块的左邻近块和顶部邻近块配置mip mpm列表。这里，左邻近块可以是与当前块的左边界相邻的邻近块当中位于最上侧的块。另外，顶部邻近块可以指示与当前块的顶部边界相邻的邻近块当中位于最左侧的块。例如，当当前块的坐标是(xcb,ycb)时，左邻近块的坐标可以是(xcb-1,ycb)并且顶部邻近块的坐标可以是(xcb,ycb-1)。可替选地，左邻近块可以是与当前块的左边界相邻的邻近块当中位于最下侧的块。另外，顶部邻近块可以是与当前块的顶部边界相邻的邻近块当中位于最右侧的块。
[0263]
当mip应用于左邻近块时，可以将第一候选帧内预测模式设置为与左邻近块的mip帧内预测模式相同。这里，可以将第一候选帧内预测模式表达为candmipmodea。另外，例如，当mip适用于顶部邻近块时，可以将第二候选帧内预测模式设置为与顶部邻近块的mip帧内
预测模式相同。这里，可以将第二候选帧内预测模式表达为candmipmodeb。
[0264]
同时，可以通过比较当前块和邻近块的大小来确定候选帧内预测模式。例如，当mip应用于左邻近块并且左邻近块的块大小类型与当前块的块大小类型相同时，可以将第一候选帧内预测模式(例如candmipmodea)设置为与左邻近块的mip帧内预测模式相同。另外，当mip应用于顶部邻近块并且顶部邻近块的块大小类型与当前块的块大小类型相同时，可以将第二候选帧内预测模式(例如，candmipmodeb)设置为与顶部邻近块的mip帧内预测模式相同。
[0265]
同时，可以基于除mip以外的帧内预测对左邻近块或顶部邻近块进行编码。例如，可以以除mip以外的另一帧内预测模式对左邻近块或顶部邻近块进行编码。在这种情况下，无变化地将不应用mip的邻近块(例如，左邻近块或顶部邻近块)的正常帧内预测模式编号用作应用mip的候选帧内模式是不适当的。因此，在这种情况下，例如，可以通过将预定mip帧内预测模式视为应用于不应用mip的邻近块来执行处理。例如，当mip不应用于邻近块时，可以将对应块的mip帧内预测模式确定为特定mip帧内预测模式值(例如，0、1或2)，从而生成mip mpm列表。
[0266]
可替选地，作为另一示例，可以基于要用于配置mip mpm列表的映射表将不应用mip的邻近块的正常帧内预测模式映射到mip帧内预测模式。在这种情况下，可以基于当前块的块大小类型执行映射。例如，作为映射表，可以使用图13所示的根据实施例的映射表。
[0267]
图13示出用于将邻近块的正常帧内预测模式映射到mip帧内预测模式的映射表的实施例。如图13所示，intrapredmodey[xnbx][ynbx]指示邻近块(左邻近块/顶部邻近块)的帧内预测模式。这里，邻近块的帧内预测模式可以是亮度分量(样本)的帧内预测模式。块大小类型mipsizeid指示邻近块或当前块的块大小类型。块大小类型值0、1和2下方的数字指示在每种块大小类型的情况下正常帧内预测模式被映射到的mip帧内预测模式。块大小类型0可以指示块具有4x4像素大小的情况。块大小类型1可以指示块具有4x8、8x4或8x8像素大小的情况。块大小类型2可以指示块大小大于8x8像素大小的情况。
[0268]
在实施例中，邻近块(例如，左邻近块/顶部邻近块)可能是不可用的，因为它位于当前图片外部或在当前拼块/切片外部或者即使已应用了mip，也可以根据块大小类型来应用不可用于当前块的mip帧内预测模式。另外，可以将预定义mip帧内预测模式用作第一候选帧内预测模式、第二候选帧内预测模式和第三候选帧内预测模式。图14示出了图示可以在这种情况下根据当前块的大小使用的预定mip帧内预测模式的实施例的表。例如，当邻近块的所有mip帧内预测信息都不可用时，可以根据图14的示例基于当前块的大小生成mip mpm列表。
[0269]
在实施例中，可以获得邻近块的mip帧内预测模式。在这种情况下，当左邻近块的mip帧内预测模式与顶部邻近块的mip帧内预测模式不同时，可以将左邻近块的mip帧内预测模式设置为第一候选帧内预测模式。另外，可以将顶部邻近块的mip帧内预测模式设置为第二候选帧内预测模式。因此，可以将mip mpm列表的第一候选(例如，candmipmodelist[0])设置为左邻近块的mip帧内预测模式，并且可以将mip mpm列表的第二候选(例如，candmipmodelist[1])设置为顶部邻近块的mip帧内预测模式。
[0270]
可以改变mip列表中的帧内预测候选的顺序。例如，顶部邻近块的mip帧内预测模式可以作为mip mpm列表的第一候选(例如，candmipmodelist[0])被包括，而左邻近块的
mip帧内预测模式可以作为mip mpm列表的第二候选(例如，candmipmodelist[1])被包括。
[0271]
作为第三候选帧内预测模式，可以使用根据图14的预定mip帧内预测模式。例如，可以将图14的第三候选帧内预测模式用作mip mpm列表的第二候选(例如，candmipmodelist[2])。
[0272]
在另一实施例中，可以将第三候选帧内预测模式确定为不与可以根据图14所示的mip帧内预测模式的顺序来确定的第一候选帧内预测模式和第二候选帧内预测模式重叠的mip帧内预测模式。例如，当在mip mpm列表的第一候选和第二候选中不使用图14的第一候选帧内预测模式时，可以将图14的第一候选帧内预测模式用作mip mpm列表的第三候选(例如，candmipmodelist[2])。否则，例如，当在mip mpm列表的第一候选和第二候选中不使用图15的第二候选帧内预测模式时，可以将图14的第二候选帧内预测模式用作mip mpm列表的第三候选(例如，candmipmodelist[2])。否则，可以将图13的第三候选帧内预测模式用作mip mpm列表的第三候选(例如，candmipmodelist[2])。
[0273]
可替选地，当左邻近块的mip帧内预测模式和顶部邻近块的mip帧内预测模式相同时，左邻近块的mip帧内预测模式和顶部邻近块的mip帧内预测模式之一可以作为mip mpm列表的第一候选(例如，candmipmodelist[0])被包括，并且mip mpm列表的第二候选(例如，candmipmodelist[1])和mip mpm列表的第三候选(例如，candmipmodelist[2])可以使用如上所述图15中示出的预定mip帧内预测模式。
[0274]
如上所述，可以基于mip mpm列表导出当前块的mip帧内预测模式。在这种情况下，如上所述，可以将可以被包括在mip的帧内预测模式信息中的mpm标志称为intra_mip_mpm_flag，可以将mpm索引称为intra_mip_mpm_idx，并且可以将剩余帧内预测模式信息称为intra_mip_mpm_remainder。
[0275]
使用mpm列表确定帧内预测模式
[0276]
可以例如执行编码装置的帧内预测模式信令过程和解码装置的帧内预测模式确定过程如下。
[0277]
图15是图示使用mpm列表来对帧内预测模式进行编码的方法的流程图。编码装置可以如上所述为当前块配置mpm列表(s1510)。
[0278]
接下来，编码装置可以确定当前块的帧内预测模式(s1520)。编码装置可以基于各种帧内预测模式执行预测，并且基于速率失真优化(rdo)确定最佳帧内预测模式。在实施例中，编码装置可以使用仅在mpm列表中配置的mpm候选来确定最佳帧内预测模式，或者可以通过进一步使用剩余帧内预测模式以及在mpm列表中配置的mpm候选来确定最佳帧内预测模式。例如，如果当前块的帧内预测类型是除正常帧内预测类型以外的特定类型(例如，lip、mrl或isp)，则编码装置可以考虑仅mpm候选作为当前块的帧内预测模式候选来确定最佳帧内预测模式。在这种情况下，可以仅根据mpm候选确定当前块的帧内预测模式，并且在这种情况下，可以不对mpm标志进行编码/用信号通知。在这种情况下，解码装置可以在不用单独地接收mpm标志的情况下估计mpm标志是1。
[0279]
编码装置可以以比特流的形式编码和输出帧内预测模式信息(s1530)。在实施例中，编码装置可以通过对指定当前块的帧内预测模式是否是帧内平面模式的信息(例如，intra_luma_not_planar_flag)进行编码来用信号通知当前块的帧内预测模式是否是帧内平面模式。当当前块的帧内预测模式是帧内平面模式时，编码装置可以将intra_luma_not_
planar_flag的值设置为第一值(例如，0)。同时，当当前块的帧内预测模式不是帧内平面模式时，编码装置可以将intra_luma_not_planar_flag的值设置为第二值(例如，1)。
[0280]
同时，当当前块的帧内预测模式不是帧内平面模式时，编码装置可以根据基于块的增量脉冲码调制(bdpcm)是否应用于当前块和应用方向来确定并用信号通知帧内预测模式。在实施例中，当bdpcm应用于当前块时，编码装置可以根据bdpcm应用方向确定帧内预测模式。例如，编码装置可以基于bdpcm应用方向是水平方向或垂直方向中的任何一个，将帧内预测模式确定为相同方向上的水平模式或垂直模式。另外，在这种情况下，编码装置可以通过对指定bdpcm是否应用于当前块的信息(intra_bdpcm_flag)和指定bdpcm应用方向的信息(intra_bdpcm_dir_flag)进行编码和用信号通知来用信号通知当前块的帧内预测模式。在这种情况下，可以跳过mpm标志的信令。
[0281]
同时，当当前块的预测模式不是帧内平面模式并且不应用bdpcm时，编码装置可以对包括上述mpm标志(例如，intra_luma_mpm_flag)、mpm索引(例如，intra_luma_mpm_idx)和/或剩余帧内预测模式信息(例如，intra_luma_mpm_remainder)的帧内预测模式信息进行编码以用信号通知帧内预测模式。通常，mpm索引和剩余帧内预测模式信息是相互替代的并且可能不在为一个块指定帧内预测模式时同时地用信号通知。也就是说，可以一起用信号通知mpm标志值1和mpm索引，或者可以一起用信号通知mpm标志值0和剩余帧内预测模式信息。然而，如上所述，当特定帧内预测类型应用于当前块时，可以不用信号通知mpm标志并且可以用信号通知仅mpm索引。也就是说，在这种情况下，帧内预测模式信息可以包括仅mpm索引。
[0282]
同时，通常，当当前块的帧内预测模式是mpm列表中的mpm候选之一时，编码装置可以生成指定mpm候选之一的mpm索引(例如，intra_luma_mpm_idx)。如果当前块的帧内预测模式不存在于mpm列表中，则可以生成指定在未被包括在mpm列表中的剩余帧内预测模式当中的与当前块的帧内预测模式相同的模式的剩余帧内预测模式信息(例如，intra_luma_mpm_remainder)。例如，当当前块的帧内预测模式(例如，intrapredmodey)被编码成intra_luma_mpm_remainder时，编码装置可以首先将intrapredmodey减去1，按照帧内预测模式值的大小的顺序以降序排列属于mpm列表的帧内预测模式，并且中从candmodelist[0]到candmodelist[4]与intrapredmodey的值执行比较的同时，将通过在intrapredmodey-1的值小于candmodelist[]的值时将intrapredmodey的值减小1所确定的intrapredmodey的值确定为intra_luma_mpm_remainder。
[0283]
同时，当当前块的帧内预测模式是mip模式时，编码装置可以生成用于mip模式的mpm列表并且如上所述对当前块进行编码。在这种情况下，可以用信号通知用于mip模式的mpm编码信息。在这种情况下，可以将mpm标志作为intra_mip_mpm_flag用信号通知，可以将mpm索引作为intra_mip_mpm_idx用信号通知，可以将剩余帧内预测模式信息作为intra_mip_mpm_remainder用信号通知。
[0284]
图16是图示根据实施例的由解码装置使用mpm列表来执行解码的方法的流程图。解码装置可以按照由编码装置确定并用信号通知的帧内预测模式信息来确定帧内预测模式。
[0285]
参考图16，解码装置可以从比特流获得帧内预测模式信息(s1610)。帧内预测模式信息可以包括如上所述的mpm标志、mpm索引或剩余帧内预测模式中的至少一种。
[0286]
解码装置可以配置mpm列表(s1620)。mpm列表可以被配置为与由编码装置配置的mpm列表相同。也就是说，mpm列表可以包括邻近块的帧内预测模式，并且还包括根据预定方法的特定帧内预测模式。
[0287]
在实施例中，解码装置可以基于指定当前块的帧内预测模式是否不是帧内平面模式的信息(例如，intra_luma_not_planar_flag)来确定当前块的帧内预测模式是否是帧内平面模式。当intra_luma_not_planar_flag的值是第一值(例如，0)时，解码装置可以确定当前块的帧内预测模式是帧内平面模式。同时，当intra_luma_not_planar_flag的值是第二值(例如，1)时，解码装置可以确定当前块的帧内预测模式不是帧内平面模式。
[0288]
同时，当当前块的帧内预测模式不是帧内平面模式时，解码装置可以根据基于块的增量脉冲码调制(bdpcm)是否应用于当前块和应用方向来确定帧内预测模式。在实施例中，当从比特流获得的指定bdpcm是否应用于当前块的信息(intra_bdpcm_flag)指定应用bdpcm时，解码装置可以基于指定从比特流获得的bdpcm的应用方向的信息(intra_bdpcm_dir_flag)确定水平方向或垂直方向的至少一个bdpcm应用方向。另外，在与所确定的bdpcm应用方向相同的方向上，可以将帧内预测模式确定为水平模式或垂直模式。
[0289]
同时，当当前块的预测模式不是帧内平面模式并且不应用bdpcm时，解码装置可以使用上述方法来生成mpm列表以确定帧内预测模式。例如，可以基于当前块的邻近块的帧内预测模式确定mpm列表。解码装置可以基于当前块的顶部邻近块和左邻近块的帧内预测模式确定mpm列表。例如，在实施例中，解码装置可以基于以左邻近块的帧内预测模式为基础确定的第一帧内预测候选和以顶部邻近块的帧内预测模式为基础确定的第二帧内预测候选来确定mpm列表。
[0290]
解码装置可以使用mpm列表来确定是否确定当前块的帧内预测模式(s1630)。例如，当mpm标志的值是1时，解码装置可以导出在mpm列表中的mpm候选当中由mpm索引指定的候选作为当前块的帧内预测模式。例如，解码装置可以根据作为mpm索引的intra_luma_mpm_idx的值来确定当前块的帧内预测模式。例如，解码装置可以将candmodelist[intra_luma_mpm_idx]确定为当前块的帧内预测模式。
[0291]
作为另一示例，当mpm标志的值是0时，解码装置可以导出在未被包括在mpm列表中的剩余帧内预测模式当中由剩余帧内预测模式信息指定的帧内预测模式作为当前块的帧内预测模式(s1640)。
[0292]
例如，解码装置可以基于指定当前块的帧内预测模式的剩余帧内预测模式信息(例如，intra_luma_mpm_remainder)确定当前块的帧内预测模式(例如，intrapredmodey)。例如，解码装置可以将intrapredmodey的值设置为intra_luma_mpm_remainder 1。此后，解码装置可以按照帧内预测模式值的大小的顺序以升序排列属于mpm列表的帧内预测模式，并且在从candmodelist[0]到candmodelist[4]与ntrapredmodey的值执行比较的同时，通过在intrapredmodey的值小于candmodelist[]的值时将intrapredmodey的值增加一来确定指定当前块的帧内预测模式的intrapredmodey的值。
[0293]
同时，作为另一示例，当当前块的帧内预测类型是特定类型(例如，lip、mrl或isp)时，解码装置可以导出mpm列表中由mpm索引指定的候选作为当前块的帧内预测模式，而不用检查mpm标志。
[0294]
同时，当当前块的帧内预测模式是mip模式时，解码装置可以生成用于mip的mpm列
表以如上所述对当前块进行解码。在这种情况下，可以通过比特流获得mip模式的mpm编码信息。在这种情况下，可以通过intra_mip_mpm_flag获得mpm标志，可以使用intra_mip_mpm_idx获得mpm索引，并且可以使用intra_mip_mpm_remainder获得剩余帧内预测模式信息。
[0295]
基于矩阵的帧内预测模式与正常帧内预测模式之间的映射
[0296]
如上所述，为了确定当前块的mip模式或帧内预测模式，可以基于关于邻近块的信息生成用于正常帧内预测模式的mpm列表或用于mip的mpm列表。在这种情况下，邻近块可以包括当前块的左邻近块和顶部邻近块。这里，正常帧内预测模式意指除mip模式以外的帧内预测模式。例如，正常帧内预测模式可以意指作为非定向帧内预测模式的帧内平面模式和帧内dc模式以及定向帧内预测模式。
[0297]
当mip模式应用于当前块但是除mip模式以外的帧内预测模式(正常帧内预测模式)应用于邻近块时，需要将邻近块的帧内预测模式映射到mip模式以使用邻近块的预测信息来生成当前块的mpm列表。另外，当正常帧内预测模式应用于当前块但是mip模式应用于邻近块时，需要将邻近块的mip模式映射到正常帧内预测模式以使用邻近块的预测信息来生成当前块的mpm列表。
[0298]
然而，mip模式具有问题的原因在于因为mip模式可以如下根据亮度块的大小具有各种数目的预测模式，所以难以一一对应地映射正常帧内预测模式和mip模式。
[0299]
[表3]
[0300]
亮度块大小mip模式的数目4x4亮度块35种mip模式4x8、8x4、8x8亮度块19种mip模式其他亮度块11种mip模式
[0301]
由于正常帧内预测模式的数目和mip模式的数目不同，所以为了对它们进行插值和映射，可以通过图9和图13所示的映射表来执行mip模式和正常帧内预测模式的映射。例如，当参考邻近块来生成以正常帧内模式编码的当前块的mpm列表时，如果邻近块的帧内预测模式是mip模式，则为了将邻近块的mip模式映射到帧内预测模式，应如图17所示的那样生成mpm列表。更具体地，在编码和解码过程中，编码装置和解码装置可以识别当前块的预测模式是正常帧内预测模式(s1710)，并且识别邻近块的预测模式是mip模式(s1720)。当邻近块的预测模式是mip模式时，编码装置和解码装置可以检查邻近块是否是4x4亮度块(s1730)。当邻近块是4x4亮度块时，编码装置和解码装置可以根据将图9的35种mip模式映射到67种帧内模式的方法来确定与邻近块的mip模式对应的正常帧内预测模式(s1740)。当邻近块不是4x4亮度块时，编码装置和解码装置可以检查邻近块是4x8、8x4还是8x8亮度块(s1750)。当邻近块是4x8、8x4或8x8亮度块时，编码装置和解码装置可以根据将图9的19种mip模式映射到67种帧内模式的方法来确定与邻近块的mip模式对应的正常帧内预测模式(s1760)。可替选地，当邻近块不是4x8、8x4或8x8亮度块时，编码装置和解码装置可以根据将图9的11种mip模式映射到67种帧内模式的方法来确定与邻近块的mip模式对应的正常帧内预测模式(s1770)。最后，编码装置和解码装置可以根据上述方法来用所确定的正常帧内预测模式生成当前块的mpm列表(s1780)。
[0302]
以类似方式，当参考邻近块以生成以mip模式编码的当前块的mpm列表时，如果邻
近块的帧内预测模式是正常帧内预测模式，则应如图18所示的那样执行步骤s1810至s1880以将邻近块的帧内预测模式映射到mip模式。
[0303]
更具体地，在编码和解码过程中，编码装置和解码装置可以识别当前块的预测模式是mip模式(s1810)，并且识别邻近块的预测模式是正常帧内预测模式(s1820)。当邻近块的预测模式是正常帧内预测模式时，编码装置和解码装置可以检查邻近块是否是4
×
4亮度块(s1830)。当邻近块是4
×
4亮度块时，编码装置和解码装置可以根据将图13的67种正常帧内预测模式映射到35种mip模式的方法来确定与邻近块的正常帧内预测模式对应的mip模式(s1840)。当邻近块不是4
×
4亮度块时，编码装置和解码装置可以检查邻近块是否是4
×
8、8
×
4或者8
×
8亮度块(s1850)。当邻近块是4
×
8、8
×
4或8
×
8亮度块时，编码装置和解码装置可以根据将图13的67种正常帧内预测模式映射到19种帧内模式的映射方法来确定与邻近块的正常帧内预测模式对应的mip模式(s1860)。可替选地，当邻近块不是4
×
8、8
×
4或8
×
8亮度块时，编码装置和解码装置可以根据将图13的67种正常帧内预测模式映射到11种帧内模式的方法来确定与邻近块的正常帧内预测模式对应的mip模式(s1870)。最后，编码装置和解码装置可以根据上述方法在所确定的mip模式下生成当前块的mpm列表(s1880)。
[0304]
然而，当执行这种映射时，由于发生mip模式与帧内预测模式之间的相关性，需要执行当前块和邻近块的大小之间的比较，并且用于存储这样的映射表的附加存储器是必需的。
[0305]
基于矩阵的帧内预测模式到正常帧内预测模式的映射
[0306]
以下，将描述根据实施例的用于通过去除块大小和mip模式及帧内预测模式之间的相关性来降低映射算法的复杂度并且节省用于存储映射表的存储器的映射方法。
[0307]
当mip模式被映射到正常帧内预测模式时，根据实施例的编码装置和解码装置可以在不使用块大小和映射表的情况下将mip模式确定为预定帧内预测模式。
[0308]
例如，当mip模式被转换成帧内预测模式时，根据实施例的编码装置和解码装置可以将所有mip模式映射到帧内平面模式。
[0309]
可替选地，当mip模式被转换成帧内预测模式时，根据实施例的编码装置和解码装置可以将所有mip模式映射到帧内dc模式。
[0310]
可替选地，当mip模式被转换成帧内预测模式时，根据实施例的编码装置和解码装置可以将所有mip模式映射到帧内垂直模式。
[0311]
可替选地，当mip模式被转换成帧内预测模式时，根据实施例的编码装置和解码装置可以将所有mip模式映射到帧内水平模式。
[0312]
在实施例中，为了确定当前块的帧内预测模式，当搜索邻近块的帧内预测模式以生成mpm列表时，如果mip预测应用于邻近块，则可以将邻近块的帧内预测模式导出为帧内平面模式，从而生成当前块mpm列表。
[0313]
同时，在当前块(或编译单元)包括亮度块和色度块的情况下，在配置色度块的帧内预测模式时，如果mip预测应用于与色度块的位置对应的亮度块，则可以导出由色度块的dm(直接模式，使用与色度块对应的亮度块帧内预测模式)指定的帧内预测模式作为帧内平面模式。
[0314]
通过将mip模式映射到帧内预测模式，编码装置或解码装置可以简单地确定所有mip模式都是预定正常帧内预测模式并且在当以正常帧内模式对当前块进行编码或解码时
生成mpm列表时，基于所对应的正常帧内预测模式生成mpm列表。因此，可以如图19所示的那样简化参考图17描述的mpm列表生成步骤。参考图19，在参考图17描述的mpm列表生成步骤中，能够看到步骤s1730至s1780被简化为当所有mip模式都被映射到预定正常帧内预测模式时确定与mip模式对应的正常帧内预测模式的步骤s1791以及按所确定的正常帧内预测模式生成mpm列表的步骤s1792。这里，预定正常帧内预测模式可以是帧内平面模式、帧内dc模式、帧内垂直模式和帧内水平模式中的任何一种。
[0315]
类似地，即使色度块的上述帧内预测模式被确定，当与色度块对应的亮度块是mip模式时，也可以将与亮度块对应的帧内预测模式确定为预定正常帧内预测模式，而不用根据大小执行映射。
[0316]
以下，将参考图20描述由根据实施例的编码装置执行的图像编码方法。根据实施例的编码装置可以包括存储器和至少一个处理器并且由该至少一个处理器执行以下编码方法。
[0317]
根据实施例的编码装置可以识别当前块的预测模式(s2010)。当当前块的预测模式是帧内预测模式时，编码装置可以基于位于当前块周围的邻近块的预测模式确定候选帧内预测模式(s2020)。候选帧内预测模式可以包括第一候选帧内预测模式和第二候选帧内预测模式。可以基于位于当前块周围的第一邻近块的预测模式确定第一候选帧内预测模式，并且可以基于位于当前块周围的第二邻近块的预测模式确定第二候选帧内预测模式。这里，第一候选帧内预测模式可以是上述第一帧内预测候选，而第二候选帧内预测模式可以是上述第二帧内预测候选。例如，编码装置可以基于左邻近块的帧内预测模式确定第一候选帧内预测模式(例如，candintrapredmodea)并且基于顶部邻近块的帧内预测模式确定第二候选帧内预测模式(例如，candintrapredmodeb)。
[0318]
在这种情况下，当邻近块的预测模式是mip模式时，编码装置可以将所对应的邻近块的候选帧内预测模式确定为预定帧内预测模式。这里，预定帧内预测模式可以是帧内平面模式、帧内dc模式、帧内水平模式和帧内垂直模式中的任何一种。例如，当左邻近块的帧内预测模式是mip模式时，编码装置可以将第一候选帧内预测模式(例如，candintrapredmodea)确定为帧内平面模式、帧内dc模式、帧内水平模式和帧内垂直模式中的任何一种。可替选地，当顶部邻近块的帧内预测模式是mip模式时，编码装置可以将第二候选帧内预测模式(例如，candintrapredmodeb)确定为帧内平面模式、帧内dc模式、帧内水平模式和帧内垂直模式中的任一种。
[0319]
接下来，编码装置可以基于候选帧内预测模式生成当前块的候选帧内预测模式列表(s2030)。候选帧内预测模式列表可以是上述mpm列表。例如，编码装置可以如上所述基于第一候选帧内预测模式和第二候选帧内预测模式生成候选帧内预测模式列表。在这种情况下，当第一邻近块的预测模式和第二邻近块的预测模式都是mip模式时，编码装置可以确定候选帧内预测模式列表包括预定候选帧内预测模式。这里，预定候选帧内预测模式可以是dc模式或垂直模式中的至少一种。
[0320]
接下来，编码装置可以基于候选帧内预测模式列表对指示当前块的帧内预测模式的帧内预测模式指示符进行编码(s2040)。这里，帧内预测模式指示符可以包括以intra_luma_mpm_flag语法元素的形式用信号通知的mpm标志、以mpm_idx或intra_luma_mpm_idx语法元素的形式用信号通知的mpm索引、或以rem_intra_luma_pred_mode或intra_luma_
mpm_remainder语法元素的形式用信号通知的剩余帧内预测模式信息。编码装置可以通过对帧内预测模式指示符进行编码来生成比特流并且将其发送到解码装置。
[0321]
以下，将参考图21描述由根据实施例的解码装置执行的图像解码方法。根据实施例的解码装置可以包括存储器和至少一个处理器并且由该至少一个处理器执行以下解码方法。
[0322]
首先，根据实施例的解码装置可以识别当前块的预测模式(s2110)。当当前块的预测模式是帧内预测模式时，解码装置可以基于位于当前块周围的邻近块的预测模式确定当前块的候选帧内预测模式(s2120)。
[0323]
当邻近块的预测模式是mip模式时，解码装置可以将候选帧内预测模式确定为预定帧内预测模式。这里，预定帧内预测模式可以是帧内平面模式、帧内dc模式、帧内水平模式和帧内垂直模式中的任何一种。
[0324]
解码装置可以基于邻近块的mip模式指示符确定邻近块的预测模式是否是mip模式。mip模式指示符可以是上述mip标志(例如，intra_mip_flag)，并且解码装置可以从比特流获得mip模式指示符。
[0325]
候选帧内预测模式可以包括第一候选帧内预测模式和第二候选帧内预测模式。在这种情况下，可以基于位于当前块周围的第一邻近块的预测模式确定第一候选帧内预测模式，并且可以基于位于当前块周围的第二邻近块的预测模式确定第二候选帧内预测模式。
[0326]
这里，第一候选帧内预测模式可以是上述第一帧内预测候选，而第二候选帧内预测模式可以是上述第二帧内预测候选。例如，解码装置可以基于左邻近块的帧内预测模式确定第一候选帧内预测模式(例如，candintrapredmodea)并且基于顶部邻近块的帧内预测模式确定第二候选帧内预测模式(例如，candintrapredmodeb)。
[0327]
例如，当左邻近块的帧内预测模式是mip模式时，解码装置可以将第一候选帧内预测模式(例如，candintrapredmodea)确定为帧内平面模式、帧内dc模式、帧内水平模式和帧内垂直模式中的任何一种。可替选地，当顶部邻近块的帧内预测模式是mip模式时，解码装置可以将第二候选帧内预测模式(例如，candintrapredmodeb)确定为帧内平面模式、帧内dc模式、帧内水平模式和内部垂直模式中的任何一种。
[0328]
另外，解码装置可以基于候选帧内预测模式生成当前块的候选帧内预测模式列表(s2130)。候选帧内预测模式列表可以是上述mpm列表。例如，解码装置可以如上所述基于第一候选帧内预测模式和第二候选帧内预测模式生成候选帧内预测模式列表。在这种情况下，当第一邻近块的预测模式和第二邻近块的预测模式都是mip模式时，解码装置可以确定候选帧内预测模式列表包括预定候选帧内预测模式。这里，预定候选帧内预测模式可以是dc模式或垂直模式中的至少一种。
[0329]
另外，当第一候选帧内预测模式和第二候选帧内预测模式相同并且第一候选帧内预测模式是具有大于指定dc模式的预测模式值的值的帧内预测模式时，解码装置可以生成包括第一候选帧内预测模式的值的候选帧内预测模式列表。
[0330]
另外，当第一邻近块的预测模式是mip模式，第一候选帧内预测模式和第二候选帧内预测模式彼此不同并且第二候选帧内预测模式是具有大于指示dc模式的预测模式值的值的帧内预测模式时，解码装置可以生成包括第二候选帧内预测模式的候选帧内预测模式列表。
[0331]
另外，解码装置可以基于候选帧内预测模式列表确定当前块的帧内预测模式(s2140)。解码装置可以基于从比特流获得的帧内预测模式指示符将包括在候选帧内预测模式列表中的候选帧内预测模式中的任何一种确定为当前块的帧内预测模式。例如，帧内预测模式指示符可以是上述mpm索引，并且可以通过比特流以mpm_idx或intra_luma_mpm_idx语法元素的形式用信号通知。
[0332]
另外，根据实施例的编码装置可以根据上述mip模式的映射来对色度块的帧内预测模式进行编码。根据实施例的编码装置可以使用dm模式来用信号通知色度块的帧内预测模式。在这种情况下，编码装置可以将根据dm模式应用的帧内预测模式确定为由参考模式指定的帧内预测模式。这里，可以基于与色度块对应的亮度块的预测模式确定参考模式，并且可以通过lumaintrapredmode或intrapredmodey的参数来识别参考模式。
[0333]
例如，编码装置可以将与色度块对应的亮度块的帧内预测模式确定为参考模式。因此，编码装置可以将以dm模式确定的色度块的帧内预测模式确定为亮度块的帧内预测模式。
[0334]
在这种情况下，当亮度块是应用mip模式的亮度块时，编码装置可以将参考模式确定为平面模式而不是mip模式。因此，编码装置可以将已被确定为dm模式的色度块的帧内预测模式确定为帧内平面模式。
[0335]
可替选地，当mip模式不应用于亮度块时，编码装置可以根据亮度块的预测模式确定参考模式。例如，当以预定模式预测亮度块时，编码装置可以将参考模式确定为帧内dc模式。这里，预定模式可以包括ibc模式或其他模式。因此，编码装置可以将已被确定为dm模式的色度块的帧内预测模式确定为帧内dc模式。
[0336]
另外，编码装置可以基于参考模式对色度块的帧内预测模式进行编码。例如，编码装置可以选择帧内平面模式作为用于对色度块进行编码的最佳预测模式，并且当与色度块对应的亮度块的预测模式是mip模式时，对指示色度块的帧内预测模式是根据dm模式识别的帧内预测模式的信息进行编码。
[0337]
另外，与编码方法一致，根据实施例的解码装置可以根据上述mip模式的映射来确定色度块的帧内预测模式。根据实施例的解码装置可以基于与色度块对应的亮度块的预测模式确定用于确定色度块的帧内预测模式的参考模式。这里，可以通过lumaintrapredmode或intrapredmodey的参数来识别参考模式。
[0338]
在这种情况下，当与色度块对应的亮度块是应用mip模式的亮度块时，解码装置可以将参考模式确定为平面模式。因此，解码装置可以将已被确定为dm模式的色度块的帧内预测模式确定为帧内平面模式。
[0339]
可替选地，当mip模式不应用于亮度块时，解码装置可以根据亮度块的预测模式来确定参考模式。例如，当以ibc模式或其他预定模式预测亮度块时，解码装置可以将参考模式确定为帧内dc模式。因此，解码装置可以将已被确定为dm模式的色度块的帧内预测模式确定为帧内dc模式。
[0340]
可替选地，当mip模式不应用于亮度块并且不以ibc模式或其他预定模式预测亮度块时，解码装置可以将参考模式确定为亮度块的帧内预测模式。因此，解码装置可以将已被确定为dm模式的色度块的帧内预测模式确定为亮度块的帧内预测模式。
[0341]
另外，解码装置可以基于参考模式确定色度块的帧内预测模式。例如，当色度模式
的帧内预测模式是dm模式时，解码装置可以将色度块的帧内预测模式确定为与参考模式对应的帧内预测模式。
[0342]
因此，即使当以正常帧内模式对当前块进行编码或解码时参考的亮度块或邻近块的预测模式是mip模式时，编码装置和解码装置也不需要比较当前块或邻近块的大小，从而降低计算复杂度。此外，由于不需要使用映射表进行映射，所以可以提高存储器空间效率。
[0343]
图22示出实验数据，该实验数据示出与使用图17所示的映射表的方法相比的当通过在邻近块的mip模式被转换成帧内预测模式时根据图19的映射方法将所有mip模式映射到帧内平面内模式来生成当前块的mpm列表时的编码速率。如图22所示，能够看到在编码速率方面没有差异。也就是说，通过应用上述方法，可以在使编码损失最小化的同时降低算法复杂度并且减少对用于映射表的存储器的使用。
[0344]
正常帧内预测模式到mip帧内预测模式的映射
[0345]
以下，将描述根据另一实施例的通过去除块大小和mip模式及帧内预测模式之间的相关性来降低映射算法的复杂度并且节省用于存储映射表的存储器的映射方法。
[0346]
当正常帧内预测模式被映射到mip模式时，根据实施例的编码装置和解码装置可以在不使用块大小和映射表的情况下将所有正常帧内预测模式确定为预定mip模式。
[0347]
例如，当正常帧内预测模式被转换成mip模式时，根据实施例的编码装置和解码装置可以将所有正常帧内预测模式映射到mip模式#0。
[0348]
可替选地，当正常帧内预测模式被转换成mip模式时，根据实施例的编码装置和解码装置可以将所有正常帧内预测模式映射到mip模式#1。
[0349]
可替选地，当正常帧内预测模式被转换成mip模式时，根据实施例的编码装置和解码装置可以将所有正常帧内预测模式映射到mip模式#3。
[0350]
可替选地，当正常帧内预测模式被转换成mip模式时，根据实施例的编码装置和解码装置可以将所有正常帧内预测模式映射到在编码或解码过程中具有最可能选择速率的mip模式。
[0351]
通过将mip模式映射到帧内预测模式，编码装置或解码装置可以在当以mip对当前块进行编码或解码时生成mpm列表时简单地将所有正常帧内预测模式确定为预定mip模式，并且基于所对应的mip模式生成mpm列表。因此，可以如图23所示的那样简化参考图18描述的mpm列表生成步骤。参考图23，在参考图18描述的mpm列表生成步骤中，能够看到步骤s1830至s1880被简化为随着所有正常帧内预测模式都被映射到预定mip模式，确定与正常帧内预测模式对应的mip模式的步骤s1891(s1891)以及用所确定的mip模式生成mpm列表的步骤s1892(s1892)。这里，预定mip模式可以是#0、#1、#3中的任何一种以及在编码或解码过程中具有最可能选择速率的mip模式。
[0352]
以下，将参考图24描述由根据实施例的图像编码装置执行的图像编码方法。根据实施例的图像编码装置可以基于位于当前块周围的邻近块的预测模式确定当前块的mpm候选(s2410)。
[0353]
在当前块和邻近块中的任何一个的预测模式是基于矩阵的预测模式(例如，mip模式)时，编码装置可以将基于邻近块的预测模式确定的mpm候选确定为预定帧内预测模式。
[0354]
例如，在当前块的预测模式是基于矩阵的帧内预测模式并且邻近块的预测模式是基于非矩阵的帧内预测模式(例如，正常帧内预测模式)时，编码装置可以将基于邻近块的
预测模式而确定的mpm候选确定为预定的基于矩阵的预测模式。这里，可以如上所述基于当前块的大小确定预定的基于矩阵的帧内预测模式。
[0355]
在这种情况下，可以通过指定基于矩阵的帧内预测模式的预定索引来识别预定的基于矩阵的帧内预测模式，并且该预定索引可以表示在多个基于矩阵的帧内预测模式当中的以最高频率使用的基于矩阵的帧内预测模式。例如，如上所述，预定的基于矩阵的帧内预测模式可以是#0、#1、#3，以及在编码或解码过程中具有最可能选择速率的基于矩阵的帧内预测模式中的任何一种。
[0356]
同时，在当前块的预测模式是基于非矩阵的帧内预测模式并且邻近块的预测模式是基于矩阵的帧内预测模式时，编码装置可以将基于邻近块的预测模式而确定的mpm候选确定为预定帧内预测模式。在这种情况下，预定帧内预测模式可以是平面模式、dc模式、垂直模式和水平模式中的任何一种。
[0357]
同时，编码装置可以基于多个邻近块确定多个mpm候选。另外，编码装置可以基于多个mpm候选确定mpm列表。在这种情况下，当多个邻近块的所有预测模式都是基于矩阵的预测模式时，编码装置可以生成mpm列表以包括预定mpm候选。在这种情况下，预定mpm候选可以包括dc模式或垂直模式中的至少一种。
[0358]
接下来，编码装置可基于mpm候选生成当前块的mpm列表(s2420)。
[0359]
最后，编码装置可以基于mpm列表确定指定当前块的预测模式的预测模式指示符(s2430)。
[0360]
另外，为了将与当前块对应的色度块的帧内预测模式编码成dm模式，编码装置可以确定由dm模式指定的帧内预测模式。编码装置可以确定用于对与当前块对应的色度块的帧内预测模式进行编码的亮度帧内预测模式。
[0361]
这里，亮度帧内预测模式可以基于与色度块对应的亮度块的预测模式被确定，并且可以通过lumaintrapredmode或intrapredmodey的参数来识别。例如，可以以与上述参考模式相同的方式使用亮度帧内预测模式。
[0362]
在实施例中，编码装置可以取决于当前块的编码模式是否是基于矩阵的帧内预测模式而确定亮度帧内预测模式。例如，在当前块是基于矩阵的帧内预测模式应用于的亮度块时，编码装置可以将亮度帧内预测模式确定为平面模式。
[0363]
可替选地，在当前块是基于非矩阵的帧内预测模式应用于的亮度块时，编码装置可以基于当前块的帧内预测模式确定亮度帧内预测模式。例如，编码装置可以将亮度帧内预测模式确定为当前块的帧内预测模式。
[0364]
接下来，编码装置可以将由dm模式指定的色度块的帧内预测模式确定为亮度帧内预测模式(例如，参考模式)。最后，编码装置可以选择用于执行色度块的帧内预测的最佳模式。当由dm模式指定的帧内预测模式被选择为最佳模式时，编码装置可以对指定已在由dm模式指定的帧内预测模式下对色度块进行编码的色度块的帧内预测模式信息进行编码并且生成比特流，从而将对应信息用信号通知给解码装置。
[0365]
图25是图示由根据实施例的解码装置执行的图像解码方法的流程图。首先，解码装置可以基于位于当前块周围的邻近块的预测模式确定当前块的最可能模式(mpm)候选(s2510)。
[0366]
在当前块和邻近块中的任何一个的预测模式是基于矩阵的帧内预测模式(例如，
mip模式)时，解码装置可以将基于邻近块的预测模式而确定的mpm候选确定为预定帧内预测模式。
[0367]
例如，在当前块的预测模式是基于矩阵的帧内预测模式并且邻近块的预测模式是基于非矩阵的帧内预测模式(例如，正常帧内预测模式)时，解码装置可以将基于邻近块的预测模式而确定的mpm候选确定为预定的基于矩阵的帧内预测模式。在这种情况下，可以如上所述基于当前块的大小确定预定的基于矩阵的帧内预测模式。
[0368]
在这种情况下，可以通过指定基于矩阵的帧内预测模式的预定索引来识别预定的基于矩阵的帧内预测模式，并且预定索引可以表示在多个基于矩阵的帧内预测模式当中的以最高频率使用的基于矩阵的帧内预测模式。例如，如上所述，预定的基于矩阵的帧内预测模式可以是#0、#1、#3，以及在编码或解码过程中具有最可能选择速率的基于矩阵的帧内预测模式中的任何一种。
[0369]
同时，在当前块的预测模式是基于非矩阵的帧内预测模式并且邻近块的预测模式是基于矩阵的帧内预测模式时，解码装置可以将基于邻近块的预测模式而确定的mpm候选确定为预定帧内预测模式。在这种情况下，预定帧内预测模式可以是平面模式、dc模式、垂直模式和水平模式中的任何一种。
[0370]
同时，可以基于多个mpm候选生成mpm列表，并且可以基于多个邻近块确定多个mpm候选。当多个邻近块的所有预测模式都是基于矩阵的预测模式时，解码装置可以生成mpm列表以包括预定mpm候选。在这种情况下，预定mpm候选可以包括dc模式或垂直模式中的至少一种。
[0371]
接下来，解码装置可以基于mpm候选生成当前块的mpm列表(s2520)。
[0372]
接下来，解码装置可以将包括在mpm列表中的多个mpm候选当中的通过帧内预测模式指示符识别的mpm候选确定为当前块的预测模式(s2530)。
[0373]
另外，解码装置可以确定与当前块对应的色度块的帧内预测模式。解码装置可以确定用于确定与当前块对应的色度块的帧内预测模式的亮度帧内预测模式。
[0374]
这里，亮度帧内预测模式可以基于与色度块对应的亮度块的预测模式被确定，并且可以通过lumaintrapredmode或intrapredmodey的参数来识别。例如，可以以与上述参考模式相同的方式使用亮度帧内预测模式。
[0375]
在实施例中，解码装置可以取决于当前块的编码模式是否是基于矩阵的帧内预测模式而确定亮度帧内预测模式。例如，在当前块是基于矩阵的帧内预测模式应用于的亮度块时，解码装置可以将亮度帧内预测模式确定为平面模式。
[0376]
可替选地，在当前块是基于非矩阵的帧内预测模式应用于的亮度块时，解码装置可以基于当前块的帧内预测模式确定亮度帧内预测模式。
[0377]
最后，解码装置可以基于亮度帧内预测模式确定色度块的帧内预测模式。例如，解码装置可以将色度块的帧内预测模式确定为亮度帧内预测模式。
[0378]
图26示出实验数据，该实验数据示出与参考图18描述的当生成mpm列表时的编码速率相比的当邻近块的正常帧内预测模式被转换成mip模式时根据上述映射方法将所有正常帧内预测模式映射到mip模式#0来生成用于当前块的mip模式的mpm列表时的编码速率。如图26所示，能够看到在编码速率方面没有差异。也就是说，通过应用上述方法，可以在使编码损失最小化的同时降低算法复杂度并且减少对用于映射表的存储器的使用。
[0379]
可替选地，根据实施例的编码装置和解码装置可以使用如下表4所示的简化映射表来将正常帧内预测模式转换成mip模式。
[0380]
[表4]
[0381][0382]
例如，根据实施例的编码装置和解码装置可以根据当前块的大小(mipsizeid)来将所有正常帧内预测模式映射到mip模式#17、0或1。
[0383]
如上所述，当前块的大小0可以意指4x4亮度块，当前块的大小1可以意指4x8、8x4或8x8亮度块，并且当前块的大小2可以意指超过8x8亮度块。
[0384]
可替选地，根据实施例的编码装置和解码装置可以使用如下表5所示的简化映射表来将正常帧内预测模式转换成mip模式。
[0385]
[表5]
[0386][0387]
例如，根据实施例的编码装置和解码装置可以根据当前块的大小(mipsizeid)来将所有正常帧内预测模式映射到mip模式#5、0或6。可替选地，根据实施例的编码装置和解码装置可以使用如下表6所示的简化映射表来将正常帧内预测模式转换成mip模式。
[0388]
[表6]
[0389][0390]
例如，根据实施例的编码装置和解码装置可以根据当前块的大小(mipsizeid)针对每个块大小来将所有正常帧内预测模式映射到具有最可能选择速率的mip模式。根据实施例的编码装置和解码装置可以通过使用简化映射表来降低算法复杂度，但是在块的大小的比较方面，可以与在不用比较块的大小的情况下将所有正常帧内预测模式映射到mip模式的上述映射方法相比执行更复杂的映射。
[0391]
生成mip模式的mpm列表的方法
[0392]
如上所述，当当前块的预测模式是mip模式时，需要检查邻近块的mip模式以生成当前块的mpm列表。图27是图示根据实施例的用于配置当前块的mpm列表的候选mip模式确定方法的流程图。
[0393]
参考图27，在实施例中，即使邻近块的预测模式是mip模式(s2510)，当当前块和邻近块可以具有的mip模式的数目相同时，也就是说，当当前块和邻近块的大小相同(s2520)时，编码装置和解码装置也可以将邻近块的mip模式确定为用于配置当前块的mpm列表的候选mip模式(s2530)。例如，即使邻近块的预测模式是mip模式(s2510)，当当前块和邻近块可以具有的mip模式的数目不同时，也就是说，当当前块和邻近块的大小不相同(s2520)时，编
码装置和解码装置可以将用于配置当前块的mpm列表的候选mip模式的值确定为-1(s2540)。候选mip模式的值-1可以指定不能使用来自邻近块的mip模式值。
[0394]
另外，当邻近块的预测模式不是mip模式(s2510)时，编码装置和解码装置可以如参考图18所描述的那样根据图18将正常帧内预测模式转换成候选mip模式(s2550)。
[0395]
如在图27的方法中一样，编码装置和解码装置在参考邻近块来确定当前块的候选mip模式的过程中应始终检查当前块和邻近块的大小，并且在邻近块的预测模式不是mip模式时应如参考图18所示出的那样执行映射，从而增加了计算复杂度。
[0396]
为了降低计算复杂度，根据实施例的编码装置和解码装置可以在生成在mip模式下编码或解码的当前块的mpm列表时检查邻近块是否处于mip模式，并且相应地确定候选mip模式。例如，当邻近块的编码或解码模式是mip模式时，编码装置和解码装置可以将候选mip模式设置为模式#0。可替选地，当邻近块的编码或解码模式不是mip模式时，编码装置和解码装置可以将mip模式的值设置为-1。因此，由于编码装置和解码装置仅需要检查mip模式是否应用于邻近块，因此可以更简化用于确定候选mip模式的算法，并且当邻近块处于正常帧内预测模式时，可以跳过用于将其转换为mip模式的映射过程。
[0397]
同时，编码装置和解码装置可以基于当前块和邻近块的大小确定候选mip模式以提高预测准确度。例如，当当前块处于mip模式，参考邻近块来生成mpm列表并且邻近块的预测模式是mip模式时，编码装置和解码装置可以参考下表7将候选mip模式确定为mipmpmcand[sizeid][0]。sizeid可以意指邻近块的大小，sizeid 0可以意指4x4亮度块，sizeid 1可以意指4x8、8x4或8x8亮度块，而sizeid2可以意指超过8x8亮度块。
[0398]
[表7]
[0399][0400]
例如，编码装置和解码装置可以在邻近块的大小是4x4时将候选mip模式设置为#17，在邻近块的大小是4x8、8x4或8x8时将候选mip模式设置为#0，在其他区块中将候选mip模式设置为#1。编码装置和解码装置可以通过根据邻近块的大小自适应地选择默认候选mip模式来提高mpm模式准确度。可替选地，为了降低计算复杂度，根据实施例的编码装置和解码装置可以在不用考虑邻近块的编码模式的情况下选择候选mip模式并且通过无变化地使用它来生成mpm列表。
[0401]
例如，当生成用于mip模式的mpm列表时，编码装置和解码装置可以如下固定地确定用于mip模式的mpm列表(例如，candmipmodelist[])，而不用考虑邻近块的mip模式。例如，当生成三个mip mpm列表时，x可以具有0至2的值，因此可以参考表7配置candmipmodelist[x]如下。在这种情况下，sizeid表示邻近块的大小，但是编码装置和解码装置可以根据当前块的大小来确定sizeid，以便跳过参考关于邻近块的信息的过程。
[0402]
candmipmodelist[0]＝mipmpmcand[sizeid][0]
[0403]
candmipmodelist[1]＝mipmpmcand[sizeid][1]
[0404]
candmipmodelist[2]＝mipmpmcand[sizeid][2]
[0405]
图28示出实验数据，该实验数据示出与当通过基于根据图25的方法确定的候选mip模式生成mpm列表来对图像进行编码时的编码速率相比的当通过在不用根据上述映射方法考虑邻近块的编码模式的情况下如上所述固定地确定用于mip模式的mpm列表来对图像进行编码时的编码速率。如图28所示，能够看到在编码速率方面没有差异。也就是说，通过应用上述方法，可以在使编码损失最小化的同时降低算法复杂度并且减少对用于映射表的存储器的使用。
[0406]
在另一实施例中，当生成用于mip模式的mpm列表时，编码装置和解码装置可以在不用考虑邻近块的编码模式的情况下基于模式选择概率固定地确定用于mip模式的mpm列表(例如，candmipmodelist[])如下。例如，当生成三个mip mpm列表时，x可以具有0至2的值，并且相对于表8可以配置candmipmodelist[x]如下。在sortedmipmpmcand[sizeid][x]中，可以基于mip模式选择概率为每个块大小存储候选mip模式。例如，可以将在对应sizeid中具有最高选择频率的候选mip模式存储在在sortedmipmpmcand[sizeid][0]中，并且可以将在对应sizeid中具有次最高选择频率的候选mip模式存储在sortedmipmpmcand[sizeid][1]中。在这种情况下，sizeid表示邻近块的大小，但是编码装置和解码装置可以根据当前块的大小来确定sizeid，以便跳过参考关于邻近块的信息的过程。
[0407]
candmipmodelist[0]＝sortedmipmpmcand[sizeid][0]
[0408]
candmipmodelist[1]＝sortedmipmpmcand[sizeid][1]
[0409]
candmipmodelist[2]＝sortedmipmpmcand[sizeid][2]
[0410]
[表8]
[0411][0412]
应用实施例
[0413]
虽然为了描述的清楚起见，上述本公开的示例性方法被表示为一系列操作，但并不旨在限制执行步骤的顺序，并且必要时这些步骤可以同时或以不同的顺序来执行。为了实现根据本发明的方法，所描述的步骤可以进一步包括其他步骤，可以包括除了一些步骤之外的其余步骤，或者可以包括除了一些步骤之外的其他附加步骤。
[0414]
在本公开中，执行预定操作(步骤)的图像编码装置或图像解码装置可以执行确认相应操作(步骤)的执行条件或情况的操作(步骤)。例如，如果描述了在满足预定条件时执行预定操作，则图像编码装置或图像解码装置可以在确定是否满足预定条件之后执行预定操作。
[0415]
本公开的各种实施例不是所有可能组合的列表并且旨在描述本公开的代表性方面，并且在各种实施例中描述的事项可以独立地或以两个或更多个的组合应用。
[0416]
本公开的各种实施例可以以硬件、固件、软件或其组合来实现。在通过硬件实现本公开的情况下，本公开可以通过专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理器件(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、通用处理器、控制器、微控制器、微处理器等来实现。
[0417]
此外，应用本公开的实施例的图像解码装置和图像编码装置可以包括在多媒体广播传送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监控摄像头、视频聊天装置、诸如视频通信的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(vod)服务提供装置、ott视频(过顶视频)装置、互联网流传输服务提供装置、三维(3d)视频装置、视频电话视频装置、医疗视频装置等，并且可用于处理视频信号或数据信号。例如，ott视频装置可以包括游戏机、蓝光播放器、互联网接入电视、家庭影院系统、智能手机、平板pc、数字录像机(dvr)等。
[0418]
图29是示出可应用本公开的实施例的内容流传输系统的视图。
[0419]
如图29中所示，应用本公开的实施例的内容流传输系统可以主要包括编码服务器、流传输服务器、网络服务器、媒体存储、用户装置和多媒体输入装置。
[0420]
编码服务器将从诸如智能手机、相机、便携式摄像机等多媒体输入装置输入的内容压缩成数字数据以生成比特流并将该比特流发送到流服务器。作为另一示例，当智能手机、相机、摄像机等多媒体输入装置直接生成码流时，可以省略编码服务器。
[0421]
比特流可以由应用本公开的实施例的图像编码方法或图像编码装置生成，并且流传送服务器可以在发送或接收比特流的过程中临时存储比特流。
[0422]
流传输服务器基于用户通过网络服务器的请求将多媒体数据发送到用户装置，并且网络服务器用作向用户通知服务的媒介。当用户从网络服务器请求所需的服务时，网络服务器可以将其递送到流传输服务器，并且流传输服务器可以向用户发送多媒体数据。在这种情况下，内容流传输系统可以包括单独的控制服务器。在这种情况下，控制服务器用作控制内容流系统中装置之间的命令/响应。
[0423]
流传输服务器可以从媒体存储和/或编码服务器接收内容。例如，当从编码服务器接收到内容时，可以实时接收内容。在这种情况下，为了提供平滑的流传输服务，流传输服务器可以在预定时间内存储比特流。
[0424]
用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航装置、平板pc、平板计算机、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字电视、台式计算机、数字标牌等。
[0425]
内容流传输系统中的每个服务器都可以作为分布式服务器运行，在这种情况下，从每个服务器接收的数据可以被分布。
[0426]
本公开的范围包括用于使根据各种实施例的方法的操作能够在装置或计算机上执行的软件或者可执行命令(例如，操作系统、应用、固件、程序等)、具有存储在其上并可在装置或计算机上执行的此类软件或命令的一种非暂时性计算机可读介质。
[0427]
工业适用性
[0428]
本公开的实施例可以被用于对图像进行编码或解码。