视频译码中的矩阵帧内预测参数的信令的制作方法

视频译码中的矩阵帧内预测参数的信令
1.本技术要求享受于2020年6月18日递交的美国专利申请no.16/905,182的优先权，该美国专利申请要求享受于2019年6月21日递交的美国临时专利申请no.62/865,077、于2019年6月28日递交的美国临时专利申请no.62/868,754、以及于2019年7月9日递交的美国临时专利申请no.62/872,070的权益，上述申请中的每个申请的全部内容通过引用的方式被并入。
技术领域
2.本公开内容涉及视频编码和视频解码。


背景技术：

3.数字视频能力可以被合并到宽范围的设备中，包括数字电视机、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型计算机或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电话、所谓的“智能电话”、视频电话会议设备、视频流式传输设备等。数字视频设备实现视频译码技术(诸如在通过mpeg-2、mpeg-4、itu-t h.263、itu-t h.264/mpeg-4(第10部分，高级视频译码(avc))、itu-t h.265/高效率视频译码(hevc)定义的标准以及这样的标准的扩展中描述的那些技术)。通过实现这样的视频译码技术，视频设备可以更高效地发送、接收、编码、解码和/或存储数字视频信息。
4.视频译码技术包括空间(图片内(intra-picture))预测和/或时间(图片间(inter-picture))预测以减少或去除在视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频图片或视频图片的一部分)可以被分割为视频块，视频块还可以被称为译码树单元(ctu)、译码单元(cu)和/或译码节点。图片的经帧内译码(i)的切片中的视频块是使用相对于相同图片中的相邻块中的参考样本的空间预测来编码的。图片的经帧间译码(p或b)的切片中的视频块可以使用相对于相同图片中的相邻块中的参考样本的空间预测或者相对于其它参考图片中的参考样本的时间预测。图片可以被称为帧，以及参考图片可以被称为参考帧。


技术实现要素：

5.概括而言，本公开内容描述了用于帧内预测的技术，包括推导以及用信号通知仿射线性加权帧内预测(alwip)模式(其也被称为矩阵帧内预测(mip))。通常，使用mip模式集合来执行mip。mip模式中的每种mip模式对应于不同的预定义mip参数集。然而，预定义mip参数集对于所有类型的块来说可能不是最佳的。例如，在预定义mip参数集之外的mip参数集可以导致用于特定块的更高译码效率。如在本公开内容描述的，用于图片的可用mip参数集可以包括预定义mip参数集，并且还可以包括与新mip模式相关联的额外mip参数集。使用这样的额外mip参数集可以提高译码效率。
6.在一个示例中，本公开内容描述了一种对视频数据进行解码的方法，所述方法包
括：获得包括使用编解码器来编码的所述视频数据的经编码表示的比特流；确定用于所述视频数据的图片的多个可用矩阵帧内预测(mip)参数集(mps)，其中：所述多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)在所述比特流中用信号通知的额外mps的集合，所述默认mps中的每个默认mps与所述编解码器中的预定义mip模式相关联，并且所述额外mps的集合中的每个额外mps与新mip模式的集合中的新mip模式相关联；使用与所述多个可用mps中的mps相关联的mip模式来生成用于所述图片的当前块的预测块；以及基于用于所述当前块的所述预测块和用于所述当前块的残差数据来重构所述当前块。
7.在另一示例中，本公开内容描述了一种使用编解码器对视频数据进行编码的方法，所述方法包括：确定用于所述视频数据的图片的多个可用矩阵帧内预测(mip)参数集(mps)，其中：所述多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)在所述比特流中用信号通知的额外mps的集合，所述默认mps中的每个默认mps与所述编解码器中的预定义mip模式相关联，并且所述额外mps的集合中的每个额外mps与新mip模式相关联；在包括所述视频数据的经编码表示的比特流中用信号通知所述额外mps的集合；使用与所述多个可用mps中的mps相关联的mip模式来生成用于所述图片的当前块的预测块；以及基于用于所述当前块的所述预测块和所述当前块的样本来生成用于所述当前块的残差数据。
8.在另一示例中，本公开内容描述了一种用于对视频数据进行解码的设备，所述设备包括：存储器，其用于存储所述视频数据；以及在电路中实现的一个或多个处理器，所述一个或多个处理器被配置为：获得包括使用编解码器来编码的所述视频数据的经编码表示的比特流；确定用于所述视频数据的图片的多个可用矩阵帧内预测(mip)参数集(mps)，其中：所述多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)在所述比特流中用信号通知的额外mps的集合，所述默认mps中的每个默认mps与所述编解码器中的预定义mip模式相关联，并且所述额外mps的集合中的每个额外mps与新mip模式的集合中的新mip模式相关联；使用与所述多个可用mps中的mps相关联的mip模式来生成用于所述图片的当前块的预测块；以及基于用于所述当前块的所述预测块和用于所述当前块的残差数据来重构所述当前块。
9.在另一示例中，本公开内容描述了一种用于使用编解码器对视频数据进行编码的设备，所述设备包括：存储器，其用于存储所述视频数据；以及在电路中实现的一个或多个处理器，所述一个或多个处理器被配置为：确定用于所述视频数据的图片的多个可用矩阵帧内预测(mip)参数集(mps)，其中：所述多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)在所述比特流中用信号通知的额外mps的集合，所述默认mps中的每个默认mps与所述编解码器中的预定义mip模式相关联，并且所述额外mps的集合中的每个额外mps与新mip模式相关联；在包括所述视频数据的经编码表示的比特流中用信号通知所述额外mps的集合；使用与所述多个可用mps中的mps相关联的mip模式来生成用于所述图片的当前块的预测块；以及基于用于所述当前块的所述预测块和所述当前块的样本来生成用于所述当前块的残差数据。
10.在另一示例中，本公开内容描述了一种对视频数据进行解码的设备，所述设备包括：用于获得包括使用编解码器来编码的所述视频数据的经编码表示的比特流的单元；用于确定用于所述视频数据的图片的多个可用矩阵帧内预测(mip)参数集(mps)的单元，其
中：所述多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)在所述比特流中用信号通知的额外mps的集合，所述默认mps中的每个默认mps与所述编解码器中的预定义mip模式相关联，并且所述额外mps的集合中的每个额外mps与新mip模式的集合中的新mip模式相关联；用于使用与所述多个可用mps中的mps相关联的mip模式来生成用于所述图片的当前块的预测块的单元；以及用于基于用于所述当前块的所述预测块和用于所述当前块的残差数据来重构所述当前块的单元。
11.在另一示例中，本公开内容描述了一种使用编解码器对视频数据进行编码的设备，所述设备包括：用于确定用于所述视频数据的图片的多个可用矩阵帧内预测(mip)参数集(mps)的单元，其中：所述多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)在所述比特流中用信号通知的额外mps的集合，所述默认mps中的每个默认mps与所述编解码器中的预定义mip模式相关联，并且所述额外mps的集合中的每个额外mps与新mip模式相关联；用于在包括所述视频数据的经编码表示的比特流中用信号通知所述额外mps的集合的单元；用于使用与所述多个可用mps中的mps相关联的mip模式来生成用于所述图片的当前块的预测块的单元；以及用于基于用于所述当前块的所述预测块和所述当前块的样本来生成用于所述当前块的残差数据的单元。
12.在另一示例中，本公开内容描述了一种具有存储在其上的指令的计算机可读存储介质，所述指令在被执行时使得一个或多个处理器进行以下操作：获得包括使用编解码器来编码的所述视频数据的经编码表示的比特流；确定用于所述视频数据的图片的多个可用矩阵帧内预测(mip)参数集(mps)，其中：所述多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)在所述比特流中用信号通知的额外mps的集合，所述默认mps中的每个默认mps与所述编解码器中的预定义mip模式相关联，并且所述额外mps的集合中的每个额外mps与新mip模式的集合中的新mip模式相关联；使用与所述多个可用mps中的mps相关联的mip模式来生成用于所述图片的当前块的预测块；以及基于用于所述当前块的所述预测块和用于所述当前块的残差数据来重构所述当前块。
13.在另一示例中，本公开内容描述了一种具有存储在其上的指令的计算机可读存储介质，所述指令在被执行时使得一个或多个处理器进行以下操作：确定用于所述视频数据的图片的多个可用矩阵帧内预测(mip)参数集(mps)，其中：所述多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)在所述比特流中用信号通知的额外mps的集合，所述默认mps中的每个默认mps与所述编解码器中的预定义mip模式相关联，并且所述额外mps的集合中的每个额外mps与新mip模式相关联；在包括所述视频数据的经编码表示的比特流中用信号通知所述额外mps的集合；使用与所述多个可用mps中的mps相关联的mip模式来生成用于所述图片的当前块的预测块；以及基于用于所述当前块的所述预测块和所述当前块的样本来生成用于所述当前块的残差数据。
14.在附图和下文的描述中阐述了一个或多个示例的细节。根据说明书、附图和权利要求，其它特征、对象和优势将是显而易见的。
附图说明
15.图1是示出可以执行本公开内容的技术的示例视频编码和解码系统的框图。
16.图2是示出箭头指向参考样本的帧内预测方向的概念图。
17.图3是示例8x4矩形块的概念图，其中，不使用“较近”的参考样本，而可以使用较远的参考样本。
18.图4是示出广角帧内预测模式的概念图。
19.图5、6和7是示出用于在对角方向范围之外的帧内预测模式的模式映射过程的概念图。
20.图8是示出在模式2和66之外的广角(-1到-14以及67到80)(总共93种角度模式)的概念图。
21.图9是提供帧内预测角度的规范的表。
22.图10是4x8块和8x4块的示例划分的概念图。
23.图11是除了大小4x8、8x4和4x4的块之外的所有块的示例划分的概念图。
24.图12是示出来自多个参考行的可以用于译码块的帧内预测的参考样本的概念图。
25.图13示出了用于4x4块内的样本位置(0,0)和(1,0)的dc模式pdpc权重的示例。
26.图14是示出帧内预测角度模式的概念图。
27.图15是示出对角右上模式的概念图。
28.图16是示出对角左下模式的概念图。
29.图17是示出邻接对角右上模式的概念图。
30.图18是示出邻接对角左下模式的概念图。
31.图19是在8x8块上的仿射加权线性帧内预测(alwip)过程的示例的概念图。
32.图20是示出可以执行本公开内容的技术的示例视频编码器的框图。
33.图21是示出可以执行本公开内容的技术的示例视频解码器的框图。
34.图22是示出根据本公开内容的一种或多种技术的用于对当前块进行编码的示例方法的流程图。
35.图23是示出根据本公开内容的一种或多种技术的用于对视频数据的当前块进行解码的示例方法的流程图。
36.图24是示出根据本公开内容的一种或多种技术的视频编码器使用mip模式来对块进行编码的示例操作的流程图。
37.图25是示出根据本公开内容的一种或多种技术的视频解码器使用mip模式来对块进行解码的示例操作的流程图。
具体实施方式
38.矩阵帧内预测(mip)是被采纳到通用视频译码(vvc)中的一种技术。mip还可以被称为“仿射线性加权帧内预测”(alwip)。mip是帧内预测的一种形式，其中，预测块是通过以下操作来生成的：对块的参考样本进行下采样，将参考样本的矢量乘以矩阵并且加上偏差矢量，将所得到的样本值映射到预测块内的预定位置，并且在一些示例中对预测块中的样本值执行线性插值以确定用于预测块内的剩余位置的样本值。参考样本的矢量可以是参考样本的经下采样的集合。对于一些类型的块，使用mip可以导致更好的译码效率，但是对于其它类型的块，常规帧内预测技术可以导致比mip更好的译码效率。因此，可以使用mip对图片内的一些块进行译码，并且可以使用常规帧内预测技术(诸如平面帧内预测模式、dc帧内预测模式或方向帧内预测模式)对图片内的一些块进行译码。
39.以下文档是vvc的最新草案：bross等人，“versatile video coding(draft 5)”，itu-t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)，第14次会议：瑞士日内瓦，2019年3月19-27日，jvet-n1001-v8(以下简称“vvc草案5”)。vvc草案5在使用mip时使用若干预定义矩阵来生成预测块。视频编码器可以用信号通知索引，该索引指示预定义矩阵中的哪一个将用于生成用于使用mip来编码的块的预测块。由于不同的块具有不同的特性，所以不同的矩阵可以生成用于不同的块的更准确的预测块。因此，当在mip中存在从中进行选择的更多矩阵时，译码效率可以提高。然而，存储更多预定义矩阵可能增加视频解码器的成本和复杂性，并且可能增加用信号通知索引的成本。
40.本公开内容描述了可以解决这些问题中的一个或多个问题的技术。例如，视频编码器可以确定用于视频数据的图片的多个可用mip参数集(mps)。多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)额外mps的集合。默认mps中的每个默认mps与编解码器中的预定义mip模式相关联。额外mps的集合中的每个额外mps与新mip模式相关联。本公开内容将除了预定义mip模式以外的mip模式称为新mip模式。视频编码器可以在比特流中用信号通知额外mps的集合，该比特流包括视频数据的经编码表示。另外，视频编码器可以使用与多个可用mps中的mps相关联的mip模式来生成用于图片的当前块的预测块。视频编码器可以基于用于当前块的预测块和当前块的样本来生成用于当前块的残差数据。
41.同样，视频解码器可以获得包括使用编解码器来编码的视频数据的经编码表示的比特流。视频解码器可以确定用于视频数据的图片的多个可用mps。多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)在比特流中用信号通知的额外mps的集合。默认mps中的每个默认mps与编解码器中的预定义mip模式相关联。额外mps的集合中的每个额外mps与新mip模式的集合中的新mip模式相关联。在该示例中，视频解码器可以使用与多个可用mps中的mps相关联的mip模式来生成用于图片的当前块的预测块。视频解码器可以基于用于当前块的预测块和用于当前块的残差数据来重构当前块。
42.因此，本公开内容的技术可以允许在与默认mps相对应的mip模式或与额外mps相对应的mip模式之间进行选择方面的灵活性，这可以提高译码效率，因为视频编码器能够选择具有导致更好的译码效率的矩阵的mip模式(与在视频编码器被限制到预定义mip模式集合时相比)。此外，在一些示例中，视频编码器能够专门针对视频编码器正在编码的内容来训练或调谐与新mip模式相对应的mps。
43.图1是示出可以执行本公开内容的技术的示例视频编码和解码系统100的框图。概括而言，本公开内容的技术涉及对视频数据进行译码(coding)(编码(encoding)和/或解码(decoding))。通常，视频数据包括用于处理视频的任何数据。因此，视频数据可以包括原始的未经编码的视频、经编码的视频、经解码(例如，经重构)的视频、以及视频元数据(诸如信令数据)。
44.如图1所示，在该示例中，系统100包括源设备102，源设备102提供要被目的地设备116解码和显示的、经编码的视频数据。具体地，源设备102经由计算机可读介质110来将视频数据提供给目的地设备116。源设备102和目的地设备116可以包括多种多样的设备中的任何设备，包括台式计算机、笔记本计算机(即，膝上型计算机)、平板计算机、移动设备(例如，笔记本计算机(即，膝上型计算机)、平板计算机、电话手机(诸如智能电话、相机、或被配置为支持无线通信的其它类型的设备)、机顶盒、电视机、广播接收机设备、相机、显示设备、
数字媒体播放器、视频游戏控制台、视频流式传输设备等。在一些情况下，源设备102和目的地设备116可以被配备用于无线通信，以及因此可以被称为无线通信设备。
45.在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200以及输出接口108。目的地设备116包括输入接口122、视频解码器300、存储器120以及显示设备118。根据本公开内容，源设备102的视频编码器200和目的地设备116的视频解码器300可以被配置为应用用于执行帧内预测(包括对用于线性加权帧内预测的模式的推导和用信号通知)的技术。因此，源设备102表示视频编码设备的示例，而目的地设备116表示视频解码设备的示例。在其它示例中，源设备和目的地设备可以包括其它组件或排列。例如，源设备102可以从诸如外部相机的外部视频源接收视频数据。同样，目的地设备116可以与外部显示设备对接，而不是包括集成的显示设备。
46.在图1中所示的系统100仅是一个示例。通常，任何数字视频编码和/或解码设备可以执行用于帧内预测(包括对用于线性加权帧内预测的模式的推导和用信号通知)的技术。源设备102和目的地设备116仅是这样的译码设备的示例，其中，源设备102生成经译码的视频数据以用于传输给目的地设备116。本公开内容将“译码”设备指代为执行对数据的译码(例如，编码和/或解码)的设备。因此，视频编码器200和视频解码器300分别表示译码设备(具体地，视频编码器和视频解码器)的示例。在一些示例中，设备102、116可以以基本上对称的方式进行操作，使得设备102、116中的每一者包括视频编码和解码组件。因此，系统100可以支持在视频设备102、116之间的单向或双向视频传输，例如，以用于视频流式传输、视频回放、视频广播或视频电话。
47.通常，视频源104表示视频数据(即原始的未经编码的视频数据)的源，以及将视频数据的顺序的一系列图片(还被称为“帧”)提供给视频编码器200，视频编码器200对用于图片的数据进行编码。源设备102的视频源104可以包括视频捕获设备，诸如摄像机、包含先前捕获的原始视频的视频存档单元、和/或用于从视频内容提供者接收视频的视频馈送接口。作为另外的替代方式，视频源104可以生成基于计算机图形的数据作为源视频，或者生成实时视频、被存档的视频和计算机生成的视频的组合。在每种情况下，视频编码器200可以对被捕获的、预捕获的或计算机生成的视频数据进行编码。视频编码器200可以将图片从所接收的次序(有时被称为“显示次序”)重新排列为用于译码的译码次序。视频编码器200可以生成包括经编码的视频数据的比特流。然后，源设备102可以经由输出接口108将经编码的视频数据输出到计算机可读介质110上，以便由例如目的地设备116的输入接口122接收和/或取回。
48.源设备102的存储器106和目的地设备116的存储器120表示通用存储器。在一些示例中，存储器106、120可以存储原始视频数据，例如，来自视频源104的原始视频以及来自视频解码器300的原始的经解码的视频数据。另外或替代地，存储器106、120可以存储可由例如视频编码器200和视频解码器300分别执行的软件指令。尽管存储器106和存储器120在该示例中被示为与视频编码器200和视频解码器300分开，但是应当理解的是，视频编码器200和视频解码器300还可以包括用于在功能上类似或等效目的的内部存储器。此外，存储器106、120可以存储例如从视频编码器200输出并且输入到视频解码器300的经编码的视频数据。在一些示例中，存储器106、120的部分可以被分配为一个或多个视频缓冲器，例如，以存储原始的经解码和/或经编码的视频数据。
49.计算机可读介质110可以表示能够将经编码的视频数据从源设备102传送给目的地设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110表示通信介质，其使得源设备102能够例如经由射频网络或基于计算机的网络，来实时地向目的地设备116直接地发送经编码的视频数据。输出接口108可以根据诸如无线通信协议的通信标准来对包括经编码的视频数据的传输信号进行调制，以及输入接口122可以根据诸如无线通信协议的通信标准来对所接收的传输信息进行解调。通信介质可以包括任何无线或有线通信介质，例如，射频(rf)频谱或一条或多条物理传输线。通信介质可以形成诸如以下各项的基于分组的网络的一部分：局域网、广域网、或诸如互联网的全球网络。通信介质可以包括路由器、交换机、基站、或对于促进从源设备102到目的地设备116的通信而言可以有用的任何其它设备。
50.在一些示例中，计算机可读介质110可以包括存储设备112。源设备102可以将经编码的数据从输出接口108输出到存储设备112。类似地，目的地设备116可以经由输入接口122从存储设备112存取经编码的数据。存储设备112可以包括各种各样的分布式或本地存取的数据存储介质中的任何一者，诸如硬盘驱动器、蓝光光盘、dvd、cd-rom、闪存、易失性或非易失性存储器、或用于存储经编码的视频数据的任何其它适当的数字存储介质。
51.在一些示例中，计算机可读介质110可以包括文件服务器114或可以存储由源设备102生成的经编码的视频数据的另一中间存储设备。源设备102可以将经编码的视频数据输出到文件服务器114或者可以存储由源设备102生成的经编码的视频的另一中间存储设备。目的地设备116可以经由流式传输或下载来从文件服务器114存取被存储的视频数据。文件服务器114可以是能够存储经编码的视频数据并且将该经编码的视频数据发送给目的地设备116的任何类型的服务器设备。文件服务器114可以表示网页服务器(例如，用于网站)、文件传输协议(ftp)服务器、内容递送网络设备、或网络附加存储(nas)设备。目的地设备116可以通过任何标准数据连接(包括互联网连接)来从文件服务器114存取经编码的视频数据。这可以包括适于存取被存储在文件服务器114上的经编码的视频数据的无线信道(例如，wi-fi连接)、有线连接(例如，数字用户线(dsl)、电缆调制解调器等)、或这两者的组合。文件服务器114和输入接口122可以被配置为根据流式传输协议、下载传输协议、或其组合来操作。
52.输出接口108和输入接口122可以表示无线发射机/接收机、调制解调器、有线联网组件(例如，以太网卡)、根据各种各样的ieee 802.11标准中的任何一种标准进行操作的无线通信组件、或其它物理组件。在其中输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据蜂窝通信标准(诸如4g、4g-lte(长期演进)、改进的lte、5g等)来传输数据(诸如经编码的视频数据)。在其中输出接口108包括无线发射机的一些示例中，输出接口108和输入接口122可以被配置为根据其它无线标准(诸如ieee 802.11规范、ieee 802.15规范(例如，zigbee
tm
)、bluetooth
tm
标准等)来传输数据(诸如经编码的视频数据)。在一些示例中，源设备102和/或目的地设备116可以包括相应的片上系统(soc)设备。例如，源设备102可以包括用于执行被赋予视频编码器200和/或输出接口108的功能的soc设备，以及目的地设备116可以包括用于执行被赋予视频解码器300和/或输入接口122的功能的soc设备。
53.本公开内容的技术可以应用于视频译码，以支持各种各样的多媒体应用中的任何
一者，诸如空中电视广播、有线电视传输、卫星电视传输、互联网流式视频传输(诸如基于http的动态自适应流式传输(dash))、被编码到数据存储介质上的数字视频、对被存储在数据存储介质上的数字视频的解码、或其它应用。
54.目的地设备116的输入接口122从计算机可读介质110(例如，通信介质、存储设备112、文件服务器114等)接收经编码的视频比特流。经编码的视频比特流可以包括由视频编码器200定义的诸如以下语法元素的信令信息(其还被视频解码器300使用)：所述语法元素具有描述视频块或其它译码单元(例如，切片、图片、图片组、序列等)的特性和/或处理的值。显示设备118将经解码的视频数据的经解码的图片显示给用户。显示设备118可以表示各种各样的显示设备中的任何一者，诸如阴极射线管(crt)、液晶显示器(lcd)、等离子显示器、有机发光二极管(oled)显示器、或另一种类型的显示设备。
55.尽管在图1中未示出，但是在一些示例中，视频编码器200和视频解码器300可以各自与音频编码器和/或音频解码器集成，以及可以包括适当的mux-demux单元或其它硬件和/或软件，以处理包括公共数据流中的音频和视频两者的经复用的流。如果适用，mux-demux单元可以遵循itu h.223复用器协议或其它协议(诸如用户数据报协议(udp))。
56.视频编码器200和视频解码器300各自可以被实现为各种各样的适当的编码器和/或解码器电路中的任何一者，诸如一个或多个微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、分立逻辑、软件、硬件、固件、或其任何组合。当所述技术部分地在软件中实现时，设备可以将用于软件的指令存储在适当的非暂时性计算机可读介质中，以及使用一个或多个处理器在硬件中执行指令以执行本公开内容的技术。视频编码器200和视频解码器300中的每一者可以被包括在一个或多个编码器或解码器中，编码器或解码器中的任一者可以被集成为相应设备中的组合编码器/解码器(codec)的一部分。包括视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器、和/或无线通信设备(诸如蜂窝电话)。
57.视频编码器200和视频解码器300可以根据视频译码标准(诸如itu-t h.265(还被称为高效率视频译码(hevc)标准)或对其的扩展(诸如多视图和/或可缩放视频译码扩展))进行操作。替代地，视频编码器200和视频解码器300可以根据其它专有或行业标准(诸如联合探索测试模型(jem)或itu-t h.266标准，还被称为通用视频译码(vvc))进行操作。vvc的重要目标是提供相比于现有hevc标准而言在压缩性能方面的显著改进，从而辅助部署更高质量的视频服务和新兴应用(诸如360
°
全向沉浸式多媒体和高动态范围(hdr)视频)。在以下文档中描述了vvc标准的最新草案：bross等人，“versatile video coding(draft 5)”，itu-t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)，第14次会议：瑞士日内瓦，2019年3月19-27日，jvet-n1001-v8(以下简称为“vvc草案5”)。然而，本公开内容的技术不限于任何特定的译码标准。
58.通常，视频编码器200和视频解码器300可以执行对图片的基于块的译码。术语“块”通常指代包括要被处理的(例如，在编码和/或解码过程中要被编码、被解码或以其它方式使用的)数据的结构。例如，块可以包括亮度和/或色度数据的样本的二维矩阵。通常，视频编码器200和视频解码器300可以对以yuv(例如，y、cb、cr)格式表示的视频数据进行译码。也就是说，并不是对用于图片的样本的红色、绿色和蓝色(rgb)数据进行译码，视频编码器200和视频解码器300可以对亮度和色度分量进行译码，其中，色度分量可以包括红色色
相和蓝色色相色度分量两者。在一些示例中，视频编码器200在进行编码之前将所接收的经rgb格式化的数据转换为yuv表示，以及视频解码器300将yuv表示转换为rgb格式。替代地，预处理和后处理单元(未示出)可以执行这些转换。
59.概括而言，本公开内容可以涉及对图片的译码(例如，编码和解码)以包括对图片的数据进行编码或解码的过程。类似地，本公开内容可以涉及对图片的块的译码以包括对用于块的数据进行编码或解码(例如，预测和/或残差译码)的过程。经编码的视频比特流通常包括用于表示译码决策(例如，译码模式)以及将图片分割为块的语法元素的一系列值。因此，关于对图片或块进行译码的参考通常应当被理解为对用于形成图片或块的语法元素的值进行译码。
60.hevc定义了各种块，包括译码单元(cu)、预测单元(pu)和变换单元(tu)。根据hevc，视频译码器(诸如视频编码器200)根据四叉树结构来将译码树单元(ctu)分割为cu。也就是说，视频译码器将ctu和cu分割为四个相等的、不重叠的正方形，以及四叉树的每个节点具有零个或四个子节点。没有子节点的节点可以被称为“叶节点”，以及这样的叶节点的cu可以包括一个或多个pu和/或一个或多个tu。视频译码器可以进一步分割pu和tu。例如，在hevc中，残差四叉树(rqt)表示对tu的分区。在hevc中，pu表示帧间预测数据，而tu表示残差数据。经帧内预测的cu包括帧内预测信息，诸如帧内模式指示。
61.作为另一示例，视频编码器200和视频解码器300可以被配置为根据jem或vvc进行操作。根据jem或vvc，视频译码器(诸如视频编码器200)将图片分割为多个译码树单元(ctu)。视频编码器200可以根据树结构(诸如四叉树-二叉树(qtbt)结构或多类型树(mtt)结构)分割ctu。qtbt结构去除了多种分割类型的概念，诸如在hevc的cu、pu和tu之间的分隔。qtbt结构包括两个级别：根据四叉树分割而被分割的第一级别、以及根据二叉树分割而被分割的第二级别。qtbt结构的根节点对应于ctu。二叉树的叶节点对应于译码单元(cu)。
62.在mtt分割结构中，可以使用四叉树(qt)分割、二叉树(bt)分割以及一个或多个类型的三叉树(tt)分割来对块进行分割。三叉树分割是其中块被分为三个子块的分割。在一些示例中，三叉树分割将块划分为三个子块，而不通过中心划分原始块。mtt中的分割类型(例如，qt、bt和tt)可以是对称的或不对称的。
63.在一些示例中，视频编码器200和视频解码器300可以使用单个qtbt或mtt结构来表示亮度分量和色度分量中的每一者，而在其它示例中，视频编码器200和视频解码器300可以使用两个或更多个qtbt或mtt结构，诸如用于亮度分量的一个qtbt/mtt结构以及用于两个色度分量的另一个qtbt/mtt结构(或者用于相应色度分量的两个qtbt/mtt结构)。
64.视频编码器200和视频解码器300可以被配置为使用根据hevc的四叉树分割、qtbt分割、mtt分割、或其它分割结构。为了解释的目的，关于qtbt分割给出了本公开内容的技术的描述。然而，应当理解的是，本公开内容的技术还可以应用于被配置为使用四叉树分割或者还使用其它类型的分割的视频译码器。
65.可以以各种方式在图片中对块(例如，ctu或cu)进行分组。作为一个示例，砖块可以指代图片中的特定瓦片(tile)内的ctu行的矩形区域。瓦片可以是图片中的特定瓦片列和特定瓦片行内的ctu的矩形区域。瓦片列指代ctu的矩形区域，其具有等于图片的高度的高度以及由语法元素(例如，诸如在图片参数集中)指定的宽度。瓦片行指代ctu的矩形区域，其具有由语法元素指定的高度(例如，诸如在图片参数集中)以及等于图片的宽度的宽
度。
66.在一些示例中，可以将瓦片分割为多个砖块(brick)，每个砖块可以包括瓦片内的一个或多个ctu行。没有被分割为多个砖块的瓦片也可以被称为砖块。然而，作为瓦片的真实子集的砖块可以不被称为瓦片。
67.图片中的砖块也可以以切片来排列。切片可以是图片的整数个砖块，其可以唯一地被包含在单个网络抽象层(nal)单元中。在一些示例中，切片包括多个完整的瓦片或者仅包括一个瓦片的完整砖块的连续序列。
68.本公开内容可以互换地使用“nxn”和“n乘n”来指代块(诸如cu或其它视频块)在垂直和水平维度方面的样本大小，例如，16x16个样本或16乘16个样本。通常，16x16 cu将在垂直方向上具有16个样本(y＝16)，以及将在水平方向上具有16个样本(x＝16)。同样地，nxn cu通常在垂直方向上具有n个样本，以及在水平方向上具有n个样本，其中n表示非负整数值。cu中的样本可以按行和列来排列。此外，cu不一定需要在水平方向上具有与在垂直方向上相同的数量的样本。例如，cu可以包括nxm个样本，其中m不一定等于n。
69.视频编码器200对用于cu的表示预测和/或残差信息以及其它信息的视频数据进行编码。预测信息指示将如何预测cu以便形成用于cu的预测块。残差信息通常表示在编码之前的cu的样本与预测块之间的逐样本差。
70.为了预测cu，视频编码器200通常可以通过帧间预测或帧内预测来形成用于cu的预测块。帧间预测通常指代根据先前译码的图片的数据来预测cu，而帧内预测通常指代根据相同图片的先前译码的数据来预测cu。为了执行帧间预测，视频编码器200可以使用一个或多个运动矢量来生成预测块。视频编码器200通常可以执行运动搜索，以识别例如在cu与参考块之间的差方面与cu紧密匹配的参考块。视频编码器200可以使用绝对差之和(sad)、平方差之和(ssd)、平均绝对差(mad)、均方差(msd)、或其它这样的差计算来计算差度量，以确定参考块是否与当前cu紧密匹配。在一些示例中，视频编码器200可以使用单向预测或双向预测来预测当前cu。
71.jem或vvc的一些示例还提供仿射运动补偿模式，其可以被认为是帧间预测模式。在仿射运动补偿模式下，视频编码器200可以确定表示非平移运动(诸如放大或缩小、旋转、透视运动或其它不规则的运动类型)的两个或更多个运动矢量。
72.为了执行帧内预测，视频编码器200可以选择帧内预测模式来生成预测块。jem或vvc的一些示例提供六十七种帧内预测模式，包括各种方向模式、以及平面模式和dc模式。通常，视频编码器200选择帧内预测模式，帧内预测模式描述要根据其来预测当前块(例如，cu的块)的样本的、当前块的相邻样本。假设视频编码器200以光栅扫描次序(从左到右、从上到下)对ctu和cu进行译码，则这样的样本通常可以是在与当前块相同的图片中在当前块的上方、左上方或左侧。
73.视频编码器200对表示用于当前块的预测模式的数据进行编码。例如，对于帧间预测模式，视频编码器200可以对表示使用各种可用帧间预测模式中的哪一种帧间预测模式的数据以及用于对应模式的运动信息进行编码。对于单向或双向帧间预测，例如，视频编码器200可以使用高级运动矢量预测(amvp)或合并模式来对运动矢量进行编码。视频编码器200可以使用类似的模式来对用于仿射运动补偿模式的运动矢量进行编码。
74.在诸如对块的帧内预测或帧间预测的预测之后，视频编码器200可以计算用于该
块的残差数据。残差数据(诸如残差块)表示在块与用于该块的预测块之间的逐样本差，该预测块是使用对应的预测模式来形成的。视频编码器200可以将一种或多种变换应用于残差块，以在变换域中而非在样本域中产生经变换的数据。例如，视频编码器200可以将离散余弦变换(dct)、整数变换、小波变换或概念上类似的变换应用于残差视频数据。另外，视频编码器200可以在第一变换之后应用二次变换，诸如模式相关的不可分离二次变换(mdnsst)、信号相关变换、karhunen-loeve变换(klt)等。视频编码器200在应用一种或多种变换之后产生变换系数。
75.如上所述，在任何变换以产生变换系数之后，视频编码器200可以执行对变换系数的量化。量化通常指代如下的过程：在该过程中，对变换系数进行量化以可能减少用于表示变换系数的数据量，从而提供进一步的压缩。通过执行量化过程，视频编码器200可以减少与变换系数中的一些或全部系数相关联的比特深度。例如，视频编码器200可以在量化期间将n比特的值向下舍入为m比特的值，其中n大于m。在一些示例中，为了执行量化，视频编码器200可以执行对要被量化的值的按比特右移位。
76.在量化之后，视频编码器200可以扫描变换系数，从而根据包括经量化的变换系数的二维矩阵产生一维矢量。可以将扫描设计为将较高能量(以及因此较低频率)的变换系数放在矢量的前面，以及将较低能量(以及因此较高频率)的变换系数放在矢量的后面。在一些示例中，视频编码器200可以利用预定义的扫描顺序来扫描经量化的变换系数以产生经串行化的矢量，以及以及然后对矢量的经量化的变换系数进行熵编码。在其它示例中，视频编码器200可以执行自适应扫描。在扫描经量化的变换系数以形成一维矢量之后，视频编码器200可以例如根据上下文自适应二进制算术译码(cabac)来对一维矢量进行熵编码。视频编码器200还可以对用于描述与经编码的视频数据相关联的元数据的语法元素的值进行熵编码，以供视频解码器300在对视频数据进行解码时使用。
77.为了执行cabac，视频编码器200可以将上下文模型内的上下文指派给要被发送的符号。上下文可以涉及例如符号的相邻值是否为零值。概率确定可以是基于被指派给符号的上下文的。
78.视频编码器200还可以例如在图片报头、块报头、切片报头中生成针对视频解码器300的语法数据(诸如基于块的语法数据、基于图片的语法数据和基于序列的语法数据)、或其它语法数据(诸如序列参数集(sps)、图片参数集(pps)或视频参数集(vps))。同样地，视频解码器300可以对这样的语法数据进行解码以确定如何解码对应的视频数据。
79.以这种方式，视频编码器200可以生成比特流，其包括经编码的视频数据，例如，描述将图片分割为块(例如，cu)以及用于该块的预测和/或残差信息的语法元素。最终，视频解码器300可以接收比特流以及对经编码的视频数据进行解码。
80.通常，视频解码器300执行与由视频编码器200执行的过程互易的过程，以对比特流的经编码的视频数据进行解码。例如，视频解码器300可以使用cabac，以与视频编码器200的cabac编码过程基本上类似的、但是互易的方式来对用于比特流的语法元素的值进行解码。语法元素可以定义用于将图片分割为ctu、以及根据对应的分割结构(诸如qtbt结构)对每个ctu进行分割以定义ctu的cu的分割信息。语法元素还可以定义用于视频数据的块(例如，cu)的预测和残差信息。
81.残差信息可以通过例如经量化的变换系数来表示。视频解码器300可以对块的经
量化的变换系数进行逆量化和逆变换以重新产生用于该块的残差块。视频解码器300使用经信号通知的预测模式(帧内预测或帧间预测)和相关的预测信息(例如，用于帧间预测的运动信息)来形成用于该块的预测块。视频解码器300然后可以对预测块和残差块(在逐个样本的基础上)进行组合以重新产生原始块。视频解码器300可以执行额外处理，诸如执行去块过程以减少沿着块的边界的视觉伪影。
82.视频编码器200和视频解码器300可以实现本公开内容的技术中的任何技术。例如，视频编码器200可以确定用于视频数据的图片的多个可用mip参数集(mps)。多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)在比特流中用信号通知的额外mps的集合。默认mps中的每个默认mps与编解码器中的预定义mip模式相关联。额外mps的集合中的每个额外mps与新mip模式相关联。可用mps不需要包括所有默认mps或在比特流中用信号通知的每个额外mps。另外，视频编码器200可以使用与多个可用mps中的mps相关联的mip模式来生成用于图片的当前块的预测块。视频编码器可以基于用于当前块的预测块和当前块的样本来生成用于当前块的残差数据。
83.同样地，视频解码器300可以获得包括使用编解码器来编码的视频数据的经编码表示的比特流。视频解码器300可以确定用于视频数据的图片的多个可用mps。多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)在比特流中用信号通知的额外mps的集合。默认mps中的每个默认mps与编解码器中的预定义mip模式相关联。额外mps的集合中的每个额外mps与新mip模式的集合中的新mip模式相关联。可用mps不需要包括所有默认mps或在比特流中用信号通知的每个额外mps。在该示例中，视频解码器300可以使用与多个可用mps中的mps相关联的mip模式来生成用于图片的当前块的预测块。视频解码器300可以基于用于当前块的预测块和用于当前块的残差数据来重构当前块。
84.概括而言，本公开内容可能涉及“用信号通知”某些信息(诸如语法元素)。术语“用信号通知”通常可以指代对用于语法元素的值和/或用于对经编码的视频数据进行解码的其它数据的传送。也就是说，视频编码器200可以在比特流中用信号通知用于语法元素的值。通常，用信号通知指代在比特流中生成值。如上所述，源设备102可以基本上实时地或不是实时地(诸如可能在将语法元素存储到存储设备112以供目的地设备116稍后取回时发生)将比特流传输到目的地设备116。
85.如上所提到的，视频编码器200和视频解码器300可以执行帧内预测以生成用于视频数据的块的预测块。视频编码器200和视频解码器300可以使用若干不同的帧内预测模式来生成预测块。例如，帧内预测可以包括dc预测模式、平面预测模式和方向(或角度)预测模式。在vvc测试模型2(vtm2)(j.chen，y.ye，s.kim，“algorithm description for versatile video coding and test model 2(vtm2)”，第11次jvet会议，斯洛文尼亚卢布尔雅那，2018年7月，jvet-k1002)中，用于正方形块的方向预测模式对应于在当前块的-135度到45度之间的方向，如图2所示。
86.在vtm2中，用于指定用于帧内预测的预测块的块结构不限于正方形(即，其中宽度w＝高度h)。确切而言，基于内容的特性，矩形或非正方形预测块(w》h或w《h)可以用于提高译码效率。在这样的矩形块中，将帧内预测的方向限制在-135度到45度内可能导致其中使用较远的参考样本而不是较近的参考样本来进行帧内预测的情形。这样的设计很可能对译码效率具有影响。例如，可能更有益的是，使限制范围放宽，以便可以使用较近的参考样本
(超出-135到45度的角度)进行预测。在图3中给出了这样的情况的示例。换句话说，图3是示例8x4矩形块的框图，其中，由于帧内预测方向被限制在-135度到45度的范围内，因此不使用“较近的”参考样本(右上虚线圆)，而可以使用较远的参考样本(左下虚线圆)。
87.图4是广角帧内预测模式的图示。在图4中，除了65种角度模式之外，还描绘了广角(-1到-10以及67到76)。换句话说，图4是示出在模式2和66之外的广角(-1到-14以及67到80)的概念图，总共93种角度模式。
88.在第12次jvet会议期间，将对广角帧内预测的修改采纳到vvc测试模式3(vtm3)中(参见以下文档：l.zhao，x.zhao，s.liu，x.li，“ce3-related:unification of angular intra prediction for square and non-square blocks”，第12次jvet会议，中国澳门特别行政区，2018年10月，jvet-l0279；j.chen，y.ye，s.kim，“algorithm description for versatile video coding and test model 3(vtm3)”，第12次jvet会议，中国澳门特别行政区，2018年10月，jvet-l1002；以及b.bross，j.chen，s.liu，“versatile video coding(draft 3)”，第12次jvet会议，中国澳门特别行政区，2018年10月，jvet-l1001)。这种采用包括两种修改，以统一用于正方形和非正方形块的角度帧内预测。首先，修改角度预测方向以覆盖所有块形状的对角方向。第二，如图5、6和7所示，对于所有块纵横比(正方形和非正方形)，所有角度方向都被保持在左下对角方向和右上对角方向之间的范围内。图5、6和7是示出用于在对角方向范围之外的帧内预测模式的模式映射过程的概念图。具体地，在图5中，正方形块不需要角度模式重新映射；图6示出了用于水平非正方形块的角度模式重新映射；以及图7示出了用于垂直非正方形块的角度模式重新映射。此外，对于所有块形状，顶部参考行和左侧参考列中的参考样本数量被限制为2*width 1和2*height 1。
89.在图8中提供了在vtm3中采用的更广角的图示。具体地，图8是示出超出帧内预测模式2和66的广角(-1至-14以及67至80)(总共93种角度模式)的概念图。尽管vtm3定义了95种帧内预测模式，但是对于任何块大小，仅允许67种帧内预测模式。允许的确切帧内预测模式取决于块宽与块高的比率。这是通过限制用于某些块大小的模式范围来实现的。
90.图9是提供帧内预测角度(intrapredangle)的规范的表。具体地，图9示出了在vtm3(jvet-l1001)中predmodeintra与角度参数intrapredangle之间的映射表。在图9中，与非正方形块对角相对应的角度帧内模式用下划线表示。在图9中，垂直和水平模式用斜体表示。在图9中，正方形块对角模式用下划线和斜体表示。在本公开内容中，具有正ntrapredangle值的角度模式被称为正角度模式(帧内预测模式索引《18或》50)，而具有负intrapredangle值的角度模式被称为负角度模式(帧内预测模式索引》18和《50)。
91.可以如下基于intrapredangle来推导逆角度参数invangle。
[0092][0093]
应注意的是，如同在vtm3规范中的情况一样，作为32的倍数(0、32、64、128、256、512)的intrapredangle值始终与来自非分数参考阵列样本的预测相对应。
[0094]
表1:与各种块纵横比相对应的对角模式
[0095]
块纵横比(宽度/高度)对角模式1(正方形)2,34,6628,28,72
412,24,76814,22,781616,20,801/2-6,40,601/4-10,44,561/8-12,46,541/16-14,48,52
[0096]
子分区内译码(isp)(参见s.de lux
á
n hern
á
ndez，v.george，j.ma，t.nguyen，h.schwarz，d.marpe，t.wiegand(hhi)，“ce3:intra sub-partitions coding mode”，jvet-m0102)是一种将译码块划分为两个或四个子块的方法。以解码顺序重构块内的每个子块(在以解码顺序重构后续子块之前)。图10是块1000成为4x8块1002a、1002b或8x4块1004a、1004b的示例划分的概念图。图11是除了大小4x8、8x4和4x4的块之外的块(诸如块1006)的示例划分的概念图。在以下文档中，isp仅应用于亮度译码块：bross等人，“versatile video coding(draft 4)”，itu-t st 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)，第13次会议，摩洛哥马拉喀什，2019年1月9-18日，文档jvet-m1001(以下简称为“vvc草案4”)，isp仅适用于亮度译码块。用于这些经isp译码的块的参考样本被限制为来自最靠近译码块的参考行(参见例如，如下面关于图12所描述的，mrlidx＝0)。
[0097]
一个比特用于用信号通知译码块是否被拆分为isp，并且第二比特用于指示拆分类型：水平或垂直。基于所使用的帧内模式和拆分类型，可以使用两种不同类别的处理顺序。这两种类别的处理顺序被称为“正常顺序”和“反向顺序”。按照正常顺序，要处理的第一子分区是包含cu的左上方样本并且然后继续向下(水平分割)或向右(垂直分割)的子分区。另一方面，反向处理顺序从包含cu的左下方样本的子分区开始(水平分割)并且然后继续向上，或者从包含cu的右上方样本的子分区开始并且继续向左(垂直分割)。
[0098]
在vvc草案4中使用了isp的仅使用正常处理顺序的变型。应注意的是，术语“子块”和“子分区”在本文档中可互换地使用，并且两者均指代通过使用isp对译码块进行分割而获得的块。在下面的语法表1和语法表2中示出了在vvc草案4中与isp相关的一些语法和语义，其中相关语法用《！》
…
《/！》标签来表示。
[0099]
语法表1
[0100]
[0101][0102]
语法表2
[0103]
[0104]
[0105][0106]
译码单元的语义
[0107]
《！》intra_subpartitions_mode_flag[x0][y0]等于1指定将当前帧内译码单元分割为numintrasubpartitions[x0][y0]个矩形变换块子分区。intra_subpartitions_mode_flag[x0][y0]等于0指定不将当前帧内译码单元分割为矩形变换块子分区。当intra_subpartitions_mode_flag[x0][y0]不存在时，推断其等于0。
[0108]
intra_subpartitions_split_flag[x0][y0]指定子分区内拆分类型是水平还是垂直。当不存在intra_subpartitions_mode_flag[x0][y0]时，推断其等于0。变量intrasubpartitionssplittype指定用于当前亮度译码块的拆分类型，如表2-3所示。如下推导intrasubpartitionssplittype：
[0109]
–
如果intra_subpartitions_mode_flag[x0][y0]等于0，则intrasubpartitionssplittype被设置为等于0。
[0110]
–
否则，intrasubpartitionssplittype被设置为等于1 intra_subpartitions_split_flag[x0][y0]。
[0111]
表2-3-与intrasubpartitionssplittype的名称关联
[0112]
intrasubpartitionssplittypeintrasubpartitionssplittype的名称0isp_no_split1isp_hor_split2isp_ver_split
[0113]
变量numintrasubpartitions指定帧内亮度译码块被划分为的变换块子分区的数
量。如下推导numintrasubpartitions：
[0114]
–
如果intrasubpartitionssplittype等于isp_no_split，则numintrasubpartitions被设置为等于1。
[0115]
–
否则，如果以下条件中的一项为真，则numintrasubpartitions被设置为等于2：
[0116]
–
cbwidth等于4，并且cbheight等于8，
[0117]
–
cbwidth等于8，并且cbheight等于4。
[0118]
–
否则，numintrasubpartitions被设置为等于4。《/！》
[0119]
在译码块的邻域中的样本用于块的帧内预测。通常，最接近译码块的左侧边界和顶部边界的经重构的参考样本行用作用于帧内预测的参考样本。然而，vvc草案4还使得在译码块的邻域中的其它样本能够用作参考样本。图12示出了可以用于帧内预测的参考样本行。对于每个译码块，用信号通知指示所使用的参考行的索引。
[0120]
在vvc草案4中，可以仅使用具有等于0、1和3的mrlidx的参考行。在vvc草案4中，利用截断一元码字来对用于对块进行译码的参考行的索引(值0、1和2分别指示具有mrlidx 0、1和3的行)进行译码。在vvc的一些版本中，当参考行索引大于0时(即，当mrlidx》0时)，不使用平面和dc模式。在vvc的后来版本中，当具有mrlidx》0的参考行用于帧内预测时，允许使用dc模式。
[0121]
基于块的帧内预测是诸如avc、hevc、vvc等的视频标准的一部分。通常，来自相邻重构块的参考样本行用于预测当前块内的样本。一个或多个样本行可以用于预测。参考样本由典型的帧内预测模式(诸如dc、平面和角度/方向模式)采用。
[0122]
在以下文档中描述了位置相关帧内预测组合(pdpc)：j.pfaff等人，“ce3:affine linear weighted intra prediction(ce3-4.1,ce3-4.2)”，itu-t st 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)，第14次会议，瑞士日内瓦，2019年3月19-27日，文档jvet-n0217(以下简称为“jvet-n0217”)；并且在以下文档中进一步简化了pdpc：s.de lux
á
n hern
á
ndez等人，“ce3:intra sub-partitions coding mode”，itu-t st 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)，第13次会议，摩洛哥马拉喀什，2019年1月9-18日，文档jvet-m0102。如在下文中概述的，在以下文档中，pdpc被应用于平面、dc、水平和垂直模式，而无需用信号通知：j.chen等人，“algorithm description for versatile video coding and test model 3(vtm3)”，itu-t st 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)，第12次会议，中国澳门，2018年10月3-12日，文档jvet-l1002(以下简称为“jvet-l1002”)。在以下文档中，pdpc进一步被扩展到对角方向模式和与对角方向模式邻接的模式：f.bossen，“non-ce3:a unified luma intra mode list construction process”，itu-t st 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)，第13次会议，摩洛哥马拉喀什，2019年1月9-18日，文档jvet-m0528。
[0123]
利用帧内预测模式(dc、平面、角度)来预测位于(x,y)的预测样本pred(x,y)，并且使用用于单个参考样本行的pdpc表达式来修改其值：
[0124]
pred(x,y)＝(wl
×
r-1,y
wt
×rx,-1
–
wtl
×
r-1,-1
(64
–
wl
–
wt wtl)
×
pred(x,y) 32)》》6，
ꢀꢀ
(等式1)
[0125]
其中，r
x,-1
、r-1,y
分别表示位于当前样本(x,y)的顶部和左侧的参考样本，并且r-1,-1
表示位于当前块的左上角的参考样本。对于dc模式，对于具有维度width和height的
块，如下计算权重：
[0126]
wt＝32》》((y《《1)》》shift),wl＝32》》((x《《1)》》shift),wtl＝(wl》》4) (wt》》4)，
[0127]
其中，shift＝(log2(width) log2(height) 2)》》2，
[0128]
而对于平面模式wtl＝0，对于水平模式wtl＝wt，并且对于垂直模式wtl＝wl。可以仅利用加法和移位来计算pdpc权重。可以使用以上等式1在单个步骤中计算pred(x,y)的值。
[0129]
图13示出了用于一个4x4块内的(0,0)和(1,0)位置的dc模式pdpc权重(wl,wt,wtl)。如果pdpc被应用于dc、平面、水平和垂直帧内模式，则不应用额外的边界滤波器，诸如dc模式边界滤波器或水平/垂直模式边缘滤波器。
[0130]
等式1可以被一般化为包括额外的参考样本行。在这种情况下，在r
x,-1
、r-1,y
、r-1,-1
的领域中的多个参考样本是可用的，并且每一者可以具有指派的权重，该权重可以例如通过训练进行优化。
[0131]
2019年10月3日公开的美国专利公开文本2019/0306513将pdpc扩展到对角帧内模式和与对角模式邻接的角度模式。预期的对角帧内模式是根据左下方向和右上方向进行预测的模式、以及若干邻接的角度模式(例如，在左下对角模式与垂直模式之间的n种邻接模式、以及在右上对角模式与水平模式之间的n或m种邻接模式)。图14示出了角度模式的标识。通常，邻接模式可以是可用角度模式的选择的子集。角度模式之间的间距可能是不均匀的，并且可以跳过一些角度模式。
[0132]
图15、16、17和18提供了由到对角和邻接角度帧内模式的pdpc扩展所使用的样本的定义。图15示出了用于将pdpc扩展到右上对角模式的参考样本r
x,-1
、r-1,y
和r-1,-1
的定义。预测样本pred(x’,y’)位于预测块内的(x’,y’)处。参考样本r
x,-1
的坐标x由以下等式给出：x＝x’ y’ 1，并且参考样本r-1,y
的坐标y类似地由以下等式给出：y＝x’ y’ 1。
[0133]
用于右上对角模式的pdpc权重例如为：
[0134]
wt＝16》》((y’《《1)》》shift),wl＝16》》((x’《《1)》》shift),wtl＝0
[0135]
类似地，图16示出了用于将pdpc扩展到左下对角模式的参考样本r
x,-1
、r-1,y
和r-1,-1
的定义。参考样本r
x,-1
的坐标x由以下等式给出：x＝x’ y’ 1，并且参考样本r-1,y
的坐标y为：y＝x’ y’ 1。
[0136]
用于右上对角模式的pdpc权重例如为：
[0137]
wt＝16》》((y’《《1)》》shift),wl＝16》》((x’《《1)》》shift),wtl＝0。
[0138]
在图17中示出了邻接右上对角模式的情况。通常，对于在图14中定义的角度α，如下确定参考样本r-1,y
的y坐标：
[0139]
y＝y’ tan(α)
×
(x’ 1)，
[0140]rx,-1
的x坐标由以下等式给出：
[0141]
x＝x’ cotan(α)
×
(y’ 1)，
[0142]
其中，tan(α)和cotan(α)分别是角度α的正切和余切。例如，用于邻接右上对角模式的pdpc权重为：
[0143]
wt＝32》》((y’《《1)》》shift),wl＝32》》((x’《《1)》》shift),wtl＝0,或者wt＝32》》((y’《《1)》》shift),wl＝0,wtl＝0
[0144]
类似地，在图18中示出了邻接左下对角模式的情况。
[0145]
通常，对于在图14中定义的角度β，如下确定参考样本r
x,-1
的x坐标：
[0146]
x＝x’ tan(β)
×
(y’ 1)，
[0147]
并且r-1,y
的y坐标由以下等式给出：
[0148]
y＝y’ cotan(β)
×
(x’ 1)，
[0149]
其中，tan(β)和cotan(β)分别是角度β的正切和余切。例如，用于邻接左下对角模式的pdpc权重为：
[0150]
wl＝32》》((x’《《1)》》shift),wt＝32》》((y’《《1)》》shift),wtl＝0,或者wl＝32》》((x’《《1)》》shift),wt＝0,wtl＝0
[0151]
与针对dc、平面、水平和垂直模式pdpc的情况一样，对于对角和邻接对角模式不存在额外的边界滤波(当pdpc扩展到这些模式时)，如在以下文档中指定的：j.yao等人，“non-ce3:intra prediction information coding”、itu-t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)，第13次会议：摩洛哥马拉喀什，2019年1月9-18日，文档jvet-m0210(以下简称为“jvet-m0210”)。
[0152]
在jvet-n0217中描述的仿射线性加权帧内预测(alwip)使用仿射线性加权预测模型从相邻参考样本生成块的预测。首先，处理相邻样本(例如，在一些情况下，对相邻样本进行下采样)；然后使用经处理的相邻样本以(使用仿射模型)推导减少的样本集合，其可以类似于预测样本的经中间下采样的版本。可以通过对中间值进行上采样(如果必要的话)来获得最终预测。alwip也可以被称为矩阵帧内预测(mip)。
[0153]
在图19中给出了mip过程的图示。对块的参考样本150(也被称为边界样本)进行下采样，以获得减少的边界样本152。将边界样本154的矢量表示bdry
red
与矩阵ak相乘，并且加上偏移/偏差项bk，以获得预测块156的经下采样的版本pred
red
。可以通过对预测样本pred
red
以及边界样本150进行上采样来获得最终预测块158。基于针对块指示的模式值来选择矩阵ak和偏移/偏差矢量bk。
[0154]
对中间预测样本的推导使用仿射线性加权预测模型(即mip模型)。定义了三种类型，并且针对每种类型而推导的中间样本的数量不同，如下：
[0155]
1)针对宽度和高度均等于4的块大小，为4x4。
[0156]
2)除了当宽度和高度均等于4时，针对宽度和高度均小于等于8的块大小(即4x8、8x4和8x8块)，为8x8。
[0157]
3)针对其中宽度和高度中的至少一项大于8的块，为16x16。
[0158]
在这三种类型中的每种类型中，使用不同数量的alwip模式：分别为35、19和11。
[0159]
alwip的信令可以包括：
[0160]
a)标志(alwip_flag)，其用于指示当前块是利用alwip进行译码的。
[0161]
b)当块是利用alwip进行译码的时，用信号通知另一标志来指示当前块是否是利用alwip mpm模式进行译码的。
[0162]
a.如果alwip mpm，则用信号通知mpm索引。
[0163]
b.否则，用信号通知剩余模式值的索引。
[0164]
alwip_flag是利用允许的四种上下文进行上下文译码的：
[0165]
–
如果块宽度》2*高度或者高度》2*宽度，则使用上下文3。
[0166]
–
否则，使用上下文ctxid，其中，如下推导ctxid：
[0167]
ο将ctxid初始化为0。
[0168]
ο如果左侧相邻块是利用alwip进行译码的，则ctxid 。
[0169]
ο如果上方相邻块是利用alwip进行译码的，则ctxid 。
[0170]
在其它示例中，可以针对alwip使用不同的信令。
[0171]
对alwip mpm的推导可以涉及以下步骤：
[0172]
1)将leftintramode和aboveintramode初始化为-1。
[0173]
2)如果左侧相邻块是经帧内译码的：
[0174]
a.如果左侧相邻块是利用alwip模式l进行译码的：
[0175]
i.如果l具有与当前块相同的alwip类型，则leftintramode被设置为等于l。
[0176]
b.左侧相邻块的帧内模式被映射到与当前块相同类型的alwip模式，并且被指派给leftintramode。
[0177]
3)如果上方相邻块是经帧内译码的：
[0178]
a.如果上方相邻块是利用alwip模式a进行译码的：
[0179]
i.如果a具有与当前块相同的alwip类型，则aboveintramode被设置为等于a。
[0180]
b.上方相邻块的帧内模式被映射到与当前块相同类型的alwip模式，并且被指派给aboveintramode。
[0181]
4)然后，基于leftintramode和aboveintramode来推导mpm。
[0182]
在其它示例中，对alwip mpm的推导可以涉及其它步骤或者不被执行。
[0183]
在本公开内容的其余部分中，利用alwip进行译码的块可以被称为经alwip译码的块、alwip块、经mip译码的块、或mip块；其它块(利用常规帧内预测、帧内子分区或多个参考行进行译码)可以被称为非alwip块或非mip块。
[0184]
对于w
×
h块(其中max(w,h)≥8)，预测信号通过线性插值，从在w
red
×hred
上的降低的预测信号pred
red
产生。根据块形状，在垂直、水平或两个方向上进行线性插值。如果要在两个方向上应用线性插值，如果w《h，则首先在水平方向上应用线性插值，而否则，首先在垂直方向上应用线性插值。
[0185]
考虑在不损失一般性的情况下，w
×
h块，其中，max(w,h)≥8并且w≥h。然后，可以如下执行一维线性插值。在不损失一般性的情况下，其足以描述在垂直方向上的线性插值。首先，通过边界信号将降低的预测信号扩展到顶部。定义垂直上采样因子u
ver
＝h/h
red
并且写为写为然后，通过以下等式定义扩展的降低的预测信号：
[0186][0187]
然后，从该扩展的降低的预测信号，可以通过以下等式来生成经垂直线性插值的预测信号：
[0188][0189]
对于0≤x《w
red
,0≤y《h
red
并且0≤k《u
ver
。
[0190]
mip使用若干预定义参数(矩阵、偏移矢量)以使用上述方法来生成预测块。用信号通知mpm_index或模式索引，以确定要用于块的特定矩阵。视频编码器200和视频解码器300两者具有要从中进行选择的预定义矩阵集合。这些矩阵/参数通常通过对若干序列进行训练来生成。在理想情况下，针对mip定义的矩阵越多，预测将越好。然而，随着参数数量的增加，指定要使用的矩阵的信令成本也增加。此外，定义的参数越多，在设备的只读存储器(rom)中存储这些矩阵就需要越多的存储器。
[0191]
最佳解决方案(诸如预测准确度与存储器/信令成本之间的权衡)可能是不可能的。然而，对于不同内容，不同的矩阵对于mip可能是有益的。因此，允许更多的mip矩阵将是有益的。vvc编码器可以具有计算资源，以推导针对特定内容进行调谐的矩阵。这样的矩阵可能针对特定内容表现良好，但可能不够通用，而无法用于针对所有其它内容的预测。具有固定的mip矩阵集合可能是低效的。
[0192]
为了便于描述，下文定义/澄清了一些术语；要注意的是，在描述的其余部分中，术语“矩阵”用于指示用于mip的参数集；该参数集可以包含用于推导一个以上的样本的预测的参数，并且可以被定义/推导为一组参数子集，每个子集用于推导一样本。因此，尽管术语矩阵指示参数的二维表示，但是这样的表示可能不是可用的或甚至是不可能的；在通用术语中，术语矩阵可以仅表示一组参数子集。每个参数子集可以是与以下各项相关联的参数列表：
[0193]
1.mip模式矩阵：mip模式矩阵是包含用于执行与mip模式相关联的预测的参数的矩阵；为了便于解释，本公开内容可以将mip模式矩阵称为矩阵。
[0194]
2.默认mip模式(d-mip模式)：d-mip模式是在编解码器中预定义的mip模式。默认mip模式可以基于一个或多个块特性或从其它语法元素推导的信息而与一些块相关联。
[0195]
3.显式mip模式(e-mip模式)：e-mip模式是从未被包括在编解码器中的预定义mip模式中的矩阵而推导的mip模式；该矩阵可以显式地用信号通知。显式mip模式可以基于一个或多个块特性或从其它语法元素推导的信息而与一些块相关联。这种关联也可以用信号通知以及在视频解码器300处推导/推断。
[0196]
4.参考样本位置阵列(rsla)：rsla是在当前块的邻域中的在mip中使用的参考样本位置集合。通常，rsla与mip模式相关联。
[0197]
5.预测样本位置阵列(psla)：psla是当前块中的样本位置集合，其对应于mip模式直接地生成预测值的位置。通常，预测样本位置阵列与特定mip模式相关联。在图19的背景下，预测块156的加阴影的非参考样本是psla。
[0198]
6.显式样本预测器参数子集(espps)：显式样本预测器参数子集是矩阵的子集，并
且包含用于预测psla中的样本的参数。通常，espps与mip模式和预测样本位置相关联。在一些示例中，机器学习系统用于确定espps。因此，在这样的示例中，可以使用机器学习系统来确定新的mip模式。
[0199]
7.mip模式集合：mip模式集合是一组mip模式。mip模式集合可以包括d-mip模式和e-mip模式。可以基于e-mip模式的信令来定义多个mip模式集合。mip模式集合可以在编解码器、序列参数集、图片参数集、图片、切片、瓦片的级别或另一级别定义。
[0200]
8.mip模式列表：mip模式列表是一组mip模式，其可以是mip模式集合的子集，并且可以是可用于特定图片。
[0201]
9.默认mip模式列表:默认mip模式列表是使用默认推导方法来从用于当前图片的mip模式集合而推导的mip模式列表。
[0202]
10.mip模式列表修改：mip模式列表修改是修改默认mip模式列表以生成用于当前图片的经修改的mip模式列表的过程。mip模式列表修改过程可以包括从默认mip模式列表中移除一种或多种mip模式，并且从mip模式集合中添加一种或多种mip模式。
[0203]
本公开内容描述了可以提高mip的效率的技术。根据本公开内容的技术，可以定义以下概念。
[0204]
1.默认mip(d-mip)模式集合:一组d-mip模式形成d-mip模式集合。形成d-mip模式集合的一组d-mip模式可以在编解码器中指定，并且在视频编码器200和视频解码器300处可用。可以针对每种mip模式来指定矩阵。在一些示例中，d-mip模式集合可以包含在编解码器中指定的所有mip模式。在其它示例中，d-mip模式集合或特定块可以仅包含与当前块相关联的那些d-mip模式。
[0205]
2.显式mip(e-mip)模式集合：显式mip模式集合被指定为与编解码器中的d-mip模式集合不同的一组mip模式。在一些示例中，e-mip模式集合包含e-mip模式。e-mip模式集合可以通过信令或其它手段来传送到视频解码器300。视频编码器200可以始终为特定内容选择预定义的模式集合。视频编码器200可以通过在本文档中公开的一种或多种手段来将这些模式传送到视频解码器300。在一些示例中，e-mip模式集可以仅包含与当前块相关联的e-mip模式。
[0206]
3.总mip(t-mip)模式集合：总mip模式集合是一组d-mip和e-mip模式。在一些示例中，t-mip模式集合可以仅包含与当前块相关联的d-mip模式和e-mip模式。t-mip模式集合可以简单地被称为用于图片或图片集合的mip模式集合。
[0207]
在本公开内容的一些示例中，可以针对特定块或图片定义mip模式。例如，在一些这样的示例中，可以指定语法元素来指示是将d-mip模式用于当前块还是将e-mip模式用于当前块。例如，可以在译码块语法结构中用信号通知默认mip标志(例如，default_mip_flag)。在该示例中，default_mip_flag等于1指定使用d-mip模式，并且default_mip_flag等于0指定不使用d-mip模式，而替代地使用e-mip模式。
[0208]
可以用信号通知语法元素以指定是相对于已经指定的模式来指定e-mip模式(即，e-mip模式是否为从属e-mip模式)还是独立地指定e-mip模式(即，e-mip模式是否为独立e-mip模式)。当独立地指定e-mip模式时，视频编码器200和视频解码器300可以在不使用另一mip模式的参数的情况下推导e-mip模式的参数。在其它情况下，视频编码器200和视频解码器300可以使用一种或多种mip模式的参数来推导e-mip模式的参数。
[0209]
用信号通知与新mip模式相关联的矩阵可以包括用信号通知espps的列表。可以使用独立espps信令或从属espps信令来进行用信号通知espps。
[0210]
当使用独立espps信令来用信号通知espps时，espps的参数是独立于其它espps用信号通知的。在视频解码器300处推导espps中的参数数量。espps中的参数数量可以基于块特性来推导或在比特流中用信号通知。
[0211]
在一些示例中，使用指定的译码方案(诸如固定长度译码、指数golomb译码或另一种类型的译码)来用信号通知espps中的每个参数。用于对这些语法元素进行译码的参数可以从比特流中的其它语法元素来推导。例如，用于用信号通知参数的比特数量可以取决于e-mip模式所属的mip类别。在一些示例中，比特数量可以被限制在可以预定或用信号通知的特定范围内。在一些示例中，espps的一个或多个参数可以与相同espps中的前一个参数进行增量译码。
[0212]
在从属espps信令中，espps的参数可以用信号通知为依赖于相同mip模式的一个或多个espps(被称为参考espps)。在一些示例中，一个或多个语法元素可以利用espps来用信号通知，该espps指定要从其推导espps参数的参考espps。例如，在一些示例中，可以指定参考espps的索引，或者可以指定与参考espps的索引的增量。
[0213]
在一些示例中，针对参考espps的指示可以与和espps相关联的样本的位置相关联。在图19的示例中，预测块156中的加阴影的块是psla中的样本。如果(x,y)指定当前样本在psla中的相对位置，则可以将参考索引指定为来自psla中的另一样本的espps。或者换句话说，如果(x1,y1)和(x2,y2)是psla中的两个位置，则(x1,y1)的espss可以从(x2,y2)的espss来推导；在这种情况下，参考索引可以基于(x1,y1)相对于块或(x2,y2)或两者的位置来指定(x2,y2)的位置。在一些示例中，当前样本和参考样本的(x,y)位置的x坐标可以被约束为相同。在一些示例中，当前样本和参考样本的(x,y)的y坐标可以被约束为相同。
[0214]
在一些示例中，参考样本可以被约束在espps的(x,y)样本的邻域内。邻域可以通过指示x、y坐标偏移的一个或多个门限或指定坐标的其它手段来指定。例如，参考样本可以被约束到psla中的(x-1,y)或(x,y-1)位置。
[0215]
在一些示例中，可以存在用于规定espps及其参考espps中的参数数量应相同的约束。
[0216]
此外，在一些示例中，仅参数数量用信号通知为依赖于参考espps，并且参数是独立地用信号通知的。例如，当espps中的参数数量不同于参考espps中的参数数量时，可以用信号通知两个参数数量之间的增量。
[0217]
在一些示例中，espps的第一参数可以用信号通知为依赖于参考espps的参数中的一个参数(例如，第一)。在一些示例中，espps中的一个或多个参数可以相对于参考espps中的对应的一个或多个参数来用信号通知。在一些示例中，语法元素可以指示可以通过操作(例如，转置、移位、旋转、加法、减法等)从参考espps来获得espps。
[0218]
在一些示例中，语法元素可以指示可以通过操作(例如，转置、移位、旋转、加法、减法等)从参考mip参数来获得e-mip参数。在一些示例中，语法元素可以指示可以基于两个或更多个操作(例如，移位和增量译码、默认值初始化和增量译码、两个或更多个移位操作等)的组合从参考mip参数来获得e-mip参数。
[0219]
在一些示例中，参考espps可以属于不同的mip模式。在这样的示例中，可以指定一
个或多个语法元素以指示参考espps的mip模式(例如，mip模式索引；或者mip模式类别，之后跟随mip模式索引；参考mip模式和当前mip模式的索引的增量)。在一些示例中，还可以用信号通知指定参考espps是d-mip模式还是e-mip模式的指示；这可以与语法元素一样简单，或者可以从指定的参考mip索引来推导(例如，属于某个范围的索引可以是d-mip模式，而属于另一范围的索引可以是e-mip模式)。
[0220]
如果固定长度码字用于espps，则可以在比特流中预定义或用信号通知用于码字的比特数量。
[0221]
用信号通知一组模式-对于给定图片，可以用信号通知一种或多种e-mip模式。这些e-mip模式可以被添加到e-mip模式集合中。
[0222]
视频编码器200和视频解码器300可以刷新在各个点处设置的e-mip模式。刷新e-mip模式集合将从可用于图片的mip模式集合中移除e-mip模式。在一些示例中，在每个图片的结尾处刷新e-mip模式集合。在一些示例中，在每个访问单元的结尾处刷新e-mip模式集合。访问单元可以是属于不同层的一个或多个图片单元的集合，并且包含与同一时间相关联的用于从解码图片缓冲器输出的经译码的图片。在一些示例中，在每个经译码的层视频序列或经译码的视频序列的结尾处刷新e-mip模式集合。
[0223]
在一些示例中，视频编码器200和视频解码器300可以执行e-mip模式的参数化制定。在一些示例中，可以指定参数形式来定义e-mip模式的矩阵。在这种情况下，用信号通知e-mip模式可以包括用信号通知这些参数中的一个或多个参数。例如，与每种模式相关联的矩阵参数可以被指定为分段线性函数集合(其中，每个分段可以是连续的，或者可以不是连续的)；在这种情况下，仅需要用信号通知分段线性函数的斜率和截距，而不是用信号通知所有参数；参数可以从分段线性函数来推导。视频解码器300可以基于参数值来推导e-mip模式的mip模式矩阵。在一些示例中，立方表达式可以用于描述e-mip模式的mip模式矩阵，或者立方表达式可以用于描述e-mip模式的espps。参数形式的参数可以显式地用信号通知或相对于其它参数进行增量译码。
[0224]
在一些示例中，视频编码器200和视频解码器300可以实现动态mip模式集合更新过程。动态mip模式集合更新过程是用于mip模式集合的动态更新过程，其可以包括以下步骤中的一个或多个步骤：
[0225]
1.根据在编解码器中预定义的mip模式来生成默认mip模式集合。
[0226]
2.根据在序列级别参数集(例如，sps)中指定的mip模式来更新序列mip模式集合。用于更新序列mip模式集合的操作可以包括将一种或多种mip模式添加到mip模式集合中或者从mip模式集合中移除一种或多种模式。视频编码器200和视频解码器300可以从默认mip模式集合和在参数集中指定的mip模式来推导序列mip模式集合。
[0227]
3.从序列mip模式集合和针对当前图片显式地指定的任何mip模式来推导图片mip模式集合。图片mip模式集合可以具有临时效果(即，图片mip模式集合仅影响当前图片)，或者图片mip模式集合可以用于更新序列mip模式集合。例如，在一个示例中，当图片mip模式集合用于更新序列mip模式集合时，序列mip模式集合中的一个或多个mip模式集合可以被移除，并且针对当前图片指定的一个或多个mip模式集合可以被包括在序列mip模式集合中。在该示例中，经更新的序列mip模式集合可以应用于在当前图片之后的一个或多个图片。其它因素可以用于确定针对mip模式集合的更新是否是临时的。可以用于确定图片mip
模式集合是否是临时的因素可以包括以下各项中的一项或多项：当前图片是否为参考图片、图片的时间id、图片的层id、图片的nal单元类型、可用于图片的和/或针对图片用信号通知的mip模式数量等等。
[0228]
4.确定mip模式列表。尽管一种或多种mip模式可以是可用的，但是仅mip模式的子集可以可用于针对当前图片的预测。可用mip模式的该子集在用于当前图片的mip模式列表中表示，并且可以基于比特流中的与mip模式列表生成相关联的语法元素来推导，或者可以基于预定过程来推导。
[0229]
5.执行mip模式列表修改。图片中的一个或多个切片可以基于图片的特性来使用不同的mip模式列表。视频编码器200和视频解码器300可以基于比特流中的修改指令/信令来生成这样的mip模式列表，这些修改指令/信令采用mip模式列表并且通过以下操作中的一个或多个操作来修改内容：改变列表中的mip模式中的一些mip模式的位置，从图片mip模式集合中添加一种或多种模式，从图片mip模式集合中移除一种或多种模式，等等。
[0230]
mip模式索引的信令可以根据在mip模式列表中存在的mip模式的数量来修改。例如，如果在mip模式列表中存在k种模式，则可以修改对于对mip模式索引进行译码所需要的比特数量，以便高效地对k种mip模式进行译码；可以设置与用信号通知mip模式索引相关联的最大值，以便高效地对k种mip模式进行译码。当mip模式的数量(k)为1时，可以不用信号通知mip模式索引，并且对mip的指示(即，关于使用mip对块进行译码的指示)可以直接与mip模式相关联。当mip模式列表中的mip模式的数量(k)为零时，可以对mip信令的参数施加限制。例如，指定使用mip对块进行译码的语法元素可以被限制为指示mip未被启用。因此，在一些示例中，可以在比特流中用信号通知mip模式索引，并且mip模式索引的信令取决于mip模式列表中的mip模式数量。mip模式索引指示mip模式。
[0231]
在一些示例中，编解码器可以对其它帧内预测模式施加约束。例如，在一些示例中，可以在比特流中用信号通知语法元素，以指示仅有mip模式(e-mip或d-mip)可以用于针对一个或多个图片的帧内预测。在这样的情况下，可以不用信号通知与其它帧内预测模式相关联的语法元素。
[0232]
在一些示例中，mip模式的rsla可以被指定为与当前块共享边界或紧邻当前块边界的在当前块的左侧和上方的参考样本对齐。在其它示例中，rsla可以被指定为在当前块的上方和左侧的参考样本的子集。更一般地，rsla可以包含在当前块的邻域中的样本子集。
[0233]
当mip模式的rsla样本不包括所有参考样本时，可以指定选择或推导机制以推导形成rsla的样本子集(例如，下采样、随机选择等)。例如，视频编码器200可以选择并且用信号通知推导机制，以推导形成rsla的样本子集。
[0234]
在一些示例中，mip模式的psla可以被指定为固定的样本位置集合。例如，mip模式的psla可以包括预测块的所有样本位置。在其它示例中，预测块的样本位置的子集可以被指定为psla。当mip模式的psla不包括预测块的所有样本位置时，过程可以被指定为推导未被psla覆盖的剩余/缺失样本位置处的值(例如，上采样)。例如，视频编码器200可以用信号通知使用哪个过程来推导未被psla覆盖的剩余/缺失样本位置处的值。用信号通知用于特定mip模式的psla可以提高那些mip模式的译码效率。在图19的背景下，剩余/缺失样本位置在预测块156中由白色正方形指示。
[0235]
在一些示例中，对于每种mip模式，可以指定rsla和/或psla。例如，用于d-mip模式
的rsla可以被指定为与当前块边界紧邻的在当前块的上方和左侧的所有参考样本，并且用于d-mip模式的psla可以被指定为预测块中的所有样本位置。在该示例中，用于e-mip模式的rsla可以是参考样本的二次抽样版本，并且用于e-mip模式的psla是预测块中的样本位置的二次抽样版本。更一般地，信令/推导机制可以被指定为识别用于特定块的rsla(例如，rsla候选列表的索引)和mip模式。类似地，信令/推导机制可以被指定为识别用于特定块的psla(例如，psla候选列表的索引)和mip模式。
[0236]
因此，在一些示例中，在比特流中用信号通知用于mip模式的rsla。用于mip模式的rsla指示在当前块的邻域中的在mip模式中使用的参考样本位置集合。作为使用mip模式来生成预测块的一部分，视频译码器(例如，视频编码器200或视频解码器300)可以针对mip模式的psla中的每个样本位置，通过将由用于mip模式的rsla指示的参考样本位置处的参考样本乘以在与mip模式相关联的mps中指定的矩阵的矩阵系数，并且加上在与mip模式相关联的mps中指定的偏移值，从而确定预测值。在一些情况下，用信号通知用于mip模式的rsla可以提高译码效率。
[0237]
在mip模式和其它过程(滤波、pdpc等)之间可以存在各种关系。例如，以下过程中的一个或多个过程可以与mip模式相关联，或者更具体地，与e-mip模式相关联。在该示例中，关联可以基于预定义规则来推导，或者关联可以作为e-mip模式的一部分用信号通知：
[0238]
1.参考样本滤波
[0239]
2.使用的插值滤波器(例如，高斯、hevc色度插值滤波器等)
[0240]
3.pdpc
[0241]
4.边界滤波
[0242]
可以在图片级别指定上面指定的一个或多个约束。然而，在其它示例中，可以在除了图片级别以外的级别指定上面指定的约束中的一个或多个约束。例如，与图片相关联的e-mip模式可以与访问单元中的所有图片相关联。在另一示例中，上述对其它帧内预测模式的约束可以在访问单元级别、序列级别等应用。
[0243]
在一些示例中，用于用信号通知mip参数(例如，矩阵、偏移等)的比特数量可以是固定的，或者用于用信号通知mip参数的比特数量可以在比特流中用信号通知。在一些示例中，mip参数可以使用未显式地具有特定比特数量的比特的码字(例如，指数golomb译码)来用信号通知。
[0244]
如上所述，使用mip模式来生成预测块可以包括将参考样本乘以矩阵系数并且加上偏移值。乘法和加法的结果可以被称为中间值，并且中间值的比特深度可以被称为中间比特深度。在包括乘法或加法/减法的典型定点运算中，存在其中用于存储运算的结果所需要的精度(或比特数量)大于一个或多个操作数的精度的情况。例如，当将n比特数字与m比特数字相乘时，输出的最大精度可以是n m个比特；类似地，当将n比特数字与m比特数字相加时，输出的最大精度可以是max(n,m) 1个比特。尽管这些中间值的精度可能更高，但是最终结果可能具有较小的精度/比特深度(这通常通过舍入或移位来实现)。可以将预测操作的中间比特深度指定为与d-mip模式的中间比特深度相同。更一般地，还可以分别为每种e-mip模式指定预测操作的中间比特深度。例如，用于预测操作的中间比特深度可以通过预定义过程确定/推导或在比特流中用信号通知。
[0245]
在一些示例中，mip参数可以用于共同指示与mip模式参数一起用信号通知的所有
参数。对用于参数的一个或多个语法元素的译码可以使用诸如固定长度译码、golomb译码、截断二进制译码、截断一元译码等任何方法来用信号通知。与译码相关联的一个或多个参数(例如，用于用信号通知语法元素的比特数量、诸如rice参数之类的二值化参数、最大符号值等)可以依赖于在比特流中用信号通知的一个或多个语法元素。
[0246]
在本公开内容中规定的一个或多个约束可能受到基于以下各项的进一步约束或限制：块形状、块宽度和高度、纵横比、使用的帧内模式或其它语法元素、或其推导的变量的特性。例如，添加额外模式的决定可以仅应用于某些纵横比，诸如不等于1(即，非方形块)，或者mip参数集更新可以仅被应用于大于特定门限的块大小(诸如宽度或高度大于或等于8)。
[0247]
在一些示例中，可以用信号通知一个或多个语法元素以指示可用d-mip模式集合。例如，被视为不可用的d-mip模式可以不用于针对引用指示这种可用性的参数集或语法结构的块/图片的mip。信令可以包括环路或标志列表，其用于指示哪种d-mip模式将被视为包括在mip模式集合或mip模式列表中。环路或标志列表中的每个标志对应于d-mip模式。在该背景下，如果存在k种d-mip模式，则用信号通知k个标志。在一些示例中，具有值1的标志指示d-mip被包括在mip模式集合或mip模式列表中；具有值0的标志指示d-mip未被包括在mip模式列表的mip模式集合中。还可以基于可用的e-mip模式的数量和d-mip模式的数量来修改与mip模式相关的一个或多个语法元素的信令。mip模式的可用性可以在序列级别推导，或者可以在帧/图片、块、比特流、瓦片、砖块或其它级别。关于mip模式的可用性在何处被推导的确定可以基于用信号通知的语法元素、相关联的语法结构的位置，或者以另一种方式。
[0248]
当mps信令在多个级别(例如，在sps、pps、aps等处)进行时，一个信令集合可以覆盖或修改从另一级别推导的mip集合或mip列表。例如，在aps或pps级别的mps信令可以修改在序列级别推导的mip集合或列表。这种修改可以是临时性的或永久性的。
[0249]
上文公开的一个或多个示例适用于mip模式或者可以适用于mip矩阵。在一些示例中，一个矩阵或一个方法集合可以用于推导一种以上的mip模式。例如，矩阵可以与一个参数相关联，并且其转置可以与另一参数相关联。
[0250]
可以定义一种或多种技术，以便从一个参数集推导一种或多种mip模式。例如，在一些示例中，从一个mip参数集推导一种或多种mip模式可以涉及对mip参数的规则或不规则下采样。对这些mip参数的下采样可以与下采样滤波器相关联。因此，一个mip参数集(其与mip模式相关联的)可以用于推导可以与另一mip模式相关联的mip参数。例如，可以将适用于8x8块的mip参数下采样2倍，以获得用于4x4块的mip参数。对滤波器(例如，滤波器的长度、滤波器系数等)和/或下采样因子的选择可以由以下参数中的一个或多个参数来确定：与矩阵相关联的mip模式和/或类别、与mip模式相关联的mip模式和/或类别、块大小等。
[0251]
尽管本公开内容描述了用于用信号通知mip参数的技术，但是本公开内容的技术可以适用于其中可以在比特流中用信号通知用于预测的参数的任何预测方法。这可以包括其它矩阵式预测技术，或者更一般地，包括任何预测方法。
[0252]
图20是示出可以执行本公开内容的技术的示例视频编码器200的框图。图20是出于解释的目的而提供的，以及不应当被认为对在本公开内容中泛泛地举例说明和描述的技术进行限制。出于解释的目的，本公开内容在视频译码标准(诸如hevc视频译码标准和正在开发的h.266/vcc视频译码标准)的背景下描述了视频编码器200。然而，本公开内容的技术
不限于这些视频译码标准，并且通常适用于视频编码和解码。
[0253]
在图20的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、解码图片缓冲器(dpb)218和熵编码单元220。视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、dpb 218和熵编码单元220中的任何一者或全部可以在一个或多个处理器中或者在处理电路中实现。此外，视频编码器200可以包括额外或替代的处理器或处理电路以执行这些和其它功能。例如，如图20的示例中所示，帧内预测单元226可以包括mip单元227。
[0254]
视频数据存储器230可以存储要由视频编码器200的组件来编码的视频数据。视频编码器200可以从例如视频源104(图1)接收被存储在视频数据存储器230中的视频数据。dpb 218可以充当参考图片存储器，其存储参考视频数据以在由视频编码器200对后续视频数据进行预测时使用。视频数据存储器230和dpb 218可以由各种各样的存储器设备中的任何一者形成，诸如动态随机存取存储器(dram)(包括同步dram(sdram))、磁阻式ram(mram)、电阻式ram(rram)、或其它类型的存储器设备。视频数据存储器230和dpb 218可以由相同的存储器设备或分别的存储器设备来提供。在各个示例中，视频数据存储器230可以与视频编码器200的其它组件在芯片上(如图所示)，或者相对于那些组件在芯片外。
[0255]
在本公开内容中，对视频数据存储器230的引用不应当被解释为限于在视频编码器200内部的存储器(除非如此具体地描述)或者在视频编码器200外部的存储器(除非如此具体地描述)。而是，对视频数据存储器230的参考应当被理解为存储视频编码器200接收以用于编码的视频数据(例如，用于要被编码的当前块的视频数据)的参考存储器。图1的存储器106还可以提供对来自视频编码器200的各个单元的输出的临时存储。
[0256]
说明了图20的各个单元以帮助理解由视频编码器200执行的操作。该单元可以被实现为固定功能电路、可编程电路、或其组合。固定功能电路指代提供特定功能并且关于可以执行的操作而预先设置的电路。可编程电路指代可以被编程以执行各种任务并且以可以执行的操作来提供灵活功能的电路。例如，可编程电路可以执行软件或固件，软件或固件使得可编程电路以软件或固件的指令所定义的方式进行操作。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，该单元中的一个或多个单元可以是不同的电路块(固定功能或可编程)，以及在一些示例中，一个或多个单元可以是集成电路。
[0257]
视频编码器200可以包括根据可编程电路形成的算术逻辑单元(alu)、基本功能单元(efu)、数字电路、模拟电路和/或可编程内核。在其中使用由可编程电路执行的软件来执行视频编码器200的操作的示例中，存储器106(图1)可以存储视频编码器200接收并且执行的软件的目标代码，或者视频编码器200内的另一存储器(未示出)可以存储这样的指令。
[0258]
视频数据存储器230被配置为存储所接收的视频数据。视频编码器200可以从视频数据存储器230取回视频数据的图片，以及将视频数据提供给残差生成单元204和模式选择单元202。视频数据存储器230中的视频数据可以是要被编码的原始视频数据。
[0259]
模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包括额外功能单元，其根据其它预测模式来执行视频预测。作为示
例，模式选择单元202可以包括调色板单元、块内复制单元(其可以是运动估计单元222和/或运动补偿单元224的一部分)、仿射单元、线性模型(lm)单元等。
[0260]
模式选择单元202通常协调多个编码通路(pass)，以测试编码参数的组合以及针对这样的组合的所得到的速率-失真值。编码参数可以包括将ctu分割为cu、用于cu的预测模式、用于cu的残差数据的变换类型、用于cu的残差数据的量化参数等。模式选择单元202可以最终选择编码参数的具有比其它测试的组合更好的速率-失真值的组合。
[0261]
视频编码器200可以将从视频数据存储器230取回的图片分割为一系列ctu，以及将一个或多个ctu封装在切片内。模式选择单元202可以根据树结构(诸如上述hevc的qtbt结构或四叉树结构)来分割图片的ctu。如上所述，视频编码器200可以通过根据树结构来分割ctu，从而形成一个或多个cu。这样的cu通常还可以被称为“视频块”或“块”。
[0262]
通常，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)以生成用于当前块(例如，当前cu，或者在hevc中的pu和tu的重叠部分)的预测块。为了对当前块进行帧间预测，运动估计单元222可以执行运动搜索以识别在一个或多个参考图片(例如，被存储在dpb 218中的一个或多个先前译码的图片)中的一个或多个紧密匹配的参考块。具体地，运动估计单元222可以例如根据绝对差之和(sad)、平方差之和(ssd)、平均绝对差(mad)、均方差(msd)等，来计算表示潜在参考块将与当前块的类似程度的值。运动估计单元222通常可以使用在当前块与所考虑的参考块之间的逐样本差来执行这些计算。运动估计单元222可以识别根据这些计算所得到的具有最低值的参考块，其指示与当前块最紧密匹配的参考块。
[0263]
运动估计单元222可以形成一个或多个运动矢量(mv)，所述运动矢量限定相对于当前块在当前图片中的位置而言参考块在参考图片中的位置。然后，运动估计单元222可以将运动矢量提供给运动补偿单元224。例如，对于单向帧间预测，运动估计单元222可以提供单个运动矢量，而对于双向帧间预测，运动估计单元222可以提供两个运动矢量。然后，运动补偿单元224可以使用运动矢量来生成预测块。例如，运动补偿单元224可以使用运动矢量来取回参考块的数据。作为另一示例，如果运动矢量具有分数样本精度，则运动补偿单元224可以根据一个或多个插值滤波器来对用于预测块的值进行插值。此外，对于双向帧间预测，运动补偿单元224可以取回用于通过相应的运动矢量标识的两个参考块的数据以及例如通过逐样本平均或加权平均来将所取回的数据进行组合。
[0264]
作为另一示例，对于帧内预测或帧内预测译码，帧内预测单元226可以根据与当前块相邻的样本来生成预测块。例如，对于方向性模式，帧内预测单元226通常可以在数学上将相邻样本的值进行组合，以及跨越当前块在所定义的方向上填充这些计算出的值以产生预测块。作为另一示例，对于dc模式，帧内预测单元226可以计算当前块的相邻样本的平均，以及生成预测块以包括针对预测块的每个样本的该得到的平均。
[0265]
在图20的示例中，mip单元227可以使用mip模式来生成用于视频数据的当前块的预测块。例如，mip单元227可以执行在图19的示例中所示的过程以生成预测块。然而，根据本公开内容的一种或多种技术，mip单元227可以确定用于视频数据的图片的多个可用矩阵帧内预测(mip)参数集(mps)。多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)额外mps的集合。默认mps中的每个默认mps与编解码器(例如，vvc或另一视频编解码器)中的预定义mip模式相关联。额外mps的集合中的每个额外mps与新mip模式相关联。mip
单元227可以使用与多个可用mps中的mps相关联的mip模式来生成用于图片的当前块的预测块。视频编码器200可以在包括视频数据的经编码表示的比特流中用信号通知额外mps的集合。
[0266]
模式选择单元202将预测块提供给残差生成单元204。残差生成单元204从视频数据存储器230接收当前块的原始的未经编码的版本，以及从模式选择单元202接收预测块。残差生成单元204计算在当前块与预测块之间的逐样本差。所得到的逐样本差定义了用于当前块的残差块。在一些示例中，残差生成单元204还可以确定残差块中的样本值之间的差以使用残差差分脉冲码调制(rdpcm)来生成残差块。在一些示例中，可以使用执行二进制减法的一个或多个减法器电路来形成残差生成单元204。
[0267]
在其中模式选择单元202将cu分割为pu的示例中，每个pu可以与亮度预测单元和对应的色度预测单元相关联。视频编码器200和视频解码器300可以支持具有各种大小的pu。如上所指出的，cu的大小可以指代cu的亮度译码块的大小，以及pu的大小可以指代pu的亮度预测单元的大小。假设特定cu的大小为2nx2n，则视频编码器200可以支持用于帧内预测的2nx2n或nxn的pu大小、以及用于帧间预测的2nx2n、2nxn、nx2n、nxn或类似的对称的pu大小。视频编码器200和视频解码器300还可以支持针对用于帧间预测的2nxnu、2nxnd、nlx2n和nrx2n的pu大小的非对称分割。
[0268]
在其中模式选择单元不将cu进一步分割为pu的示例中，每个cu可以与亮度译码块和对应的色度译码块相关联。如上所述，cu的大小可以指代cu的亮度译码块的大小。视频编码器200和视频解码器300可以支持2nx2n、2nxn或nx2n的cu大小。
[0269]
对于其它视频译码技术(举几个示例，诸如帧内块复制模式译码、仿射模式译码和线性模型(lm)模式译码)，模式选择单元202经由与译码技术相关联的相应单元来生成用于正被编码的当前块的预测块。在一些示例中(诸如调色板模式译码)，模式选择单元202可以不生成预测块，而是替代地生成指示基于所选择的调色板来重构块的方式的语法元素。在这样的模式下，模式选择单元202可以将这些语法元素提供给熵编码单元220以进行编码。
[0270]
如上所述，残差生成单元204接收用于当前块和对应的预测块的视频数据。然后，残差生成单元204针对当前块生成残差块。为了生成残差块，残差生成单元204计算在预测块与当前块之间的逐样本差。
[0271]
变换处理单元206将一种或多种变换应用于残差块，以生成变换系数的块(本文中被称为“变换系数块”)。变换处理单元206可以将各种变换应用于残差块，以形成变换系数块。例如，变换处理单元206可以将离散余弦变换(dct)、方向变换、karhunen-loeve变换(klt)、或概念上类似的变换应用于残差块。在一些示例中，变换处理单元206可以对残差块执行多种变换，例如，初级变换和二次变换(诸如旋转变换)。在一些示例中，变换处理单元206不对残差块应用变换。
[0272]
量化单元208可以对变换系数块中的变换系数进行量化，以产生经量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(qp)值来对变换系数块的变换系数进行量化。视频编码器200(例如，经由模式选择单元202)可以通过调整与cu相关联的qp值来调整被应用于与当前块相关联的变换系数块的量化程度。量化可能引起信息损失，以及因此，经量化的变换系数可能具有与变换处理单元206所产生的原始变换系数相比较低的精度。
[0273]
逆量化单元210和逆变换处理单元212可以将逆量化和逆变换分别应用于经量化的变换系数块，以根据变换系数块来重构残差块。重构单元214可以基于经重构的残差块和由模式选择单元202生成的预测块来产生与当前块相对应的重构块(尽管潜在地具有某种程度的失真)。例如，重构单元214可以将经重构的残差块的样本与来自模式选择单元202所生成的预测块的对应样本相加，以产生经重构的块。
[0274]
滤波器单元216可以对经重构的块执行一个或多个滤波器操作。例如，滤波器单元216可以执行去块操作以减少沿着cu的边缘的块效应伪影。在一些示例中，可以跳过滤波器单元216的操作。
[0275]
视频编码器200将经重构的块存储在dpb 218中。例如，在其中不需要滤波器单元216的操作的示例中，重构单元214可以将经重构的块存储到dpb 218中。在其中需要滤波器单元216的操作的示例中，滤波器单元216可以将经滤波的重构块存储到dpb 218中。运动估计单元222和运动补偿单元224可以从dpb 218取回根据经重构的(以及潜在地经滤波的)块形成的参考图片，以对后续编码的图片的块进行帧间预测。另外，帧内预测单元226可以使用在dpb 218中的当前图片的经重构的块来对当前图片中的其它块进行帧内预测。
[0276]
通常，熵编码单元220可以对从视频编码器200的其它功能组件接收的语法元素进行熵编码。例如，熵编码单元220可以对来自量化单元208的经量化的变换系数块进行熵编码。作为另一示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对作为视频数据的另一示例的语法元素执行一个或多个熵编码操作，以生成经熵编码的数据。例如，熵编码单元220可以执行上下文自适应可变长译码(cavlc)操作、cabac操作、可变-可变(v2v)长度译码操作、基于语法的上下文自适应二进制算术译码(sbac)操作、概率区间分割熵(pipe)译码操作、指数哥伦布编码操作、或对数据的另一类型的熵编码操作。在一些示例中，熵编码单元220可以在其中语法元素未被熵编码的旁路模式下操作。
[0277]
视频编码器200可以输出比特流，其包括用于重构切片或图片的块所需要的经熵编码的语法元素。具体地，熵编码单元220可以输出比特流。
[0278]
上述操作是关于块描述的。这样的描述应当被理解为用于亮度译码块和/或色度译码块的操作。如上所述，在一些示例中，亮度译码块和色度译码块是cu的亮度分量和色度分量。在一些示例中，亮度译码块和色度译码块是pu的亮度分量和色度分量。
[0279]
在一些示例中，不需要针对色度译码块重复关于亮度译码块执行的操作。作为一个示例，不需要重复用于识别用于亮度译码块的运动矢量(mv)和参考图片的操作来识别用于色度块的mv和参考图片。而是，可以对用于亮度译码块的mv进行缩放以确定用于色度块的mv，以及参考图片可以是相同的。作为另一示例，对于亮度译码块和色度译码块，帧内预测过程可以是相同的。
[0280]
视频编码器200表示被配置为对视频数据进行编码的设备的示例，该设备包括：被配置为存储视频数据的存储器；以及在电路中实现并且被配置为实现本公开内容的技术中的任何技术的一个或多个处理器。例如，在一个示例中，视频编码器200表示被配置为对视频数据进行编码的设备的示例，该设备包括：被配置为存储视频数据的存储器；以及在电路中实现并且被配置为进行以下操作的一个或多个处理器：确定用于视频数据的图片的多个可用mps。多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)额外mps的集
合。在该示例中，默认mps中的每个默认mps与编解码器中的预定义mip模式相关联，并且额外mps的集合中的每个额外mps与新mip模式相关联。此外，在该示例中，一个或多个处理器可以被配置为：使用与多个可用mps中的mps相关联的mip模式来生成用于图片的当前块的预测块。处理器可以在包括视频数据的经编码表示的比特流中用信号通知额外mps的集合。处理器还可以被配置为：基于用于当前块的预测块和当前块的样本来生成用于当前块的残差数据。
[0281]
图21是示出可以执行本公开内容的技术的示例视频解码器300的框图。图21是出于解释的目的而提供的，以及不对在本公开内容中广泛地举例说明和描述的技术进行限制。出于解释的目的，本公开内容跟jem、vvc和hevc的技术描述了视频解码器300。然而，本公开内容的技术可以由被配置为其它视频译码标准的视频译码设备来执行。
[0282]
在图21的示例中，视频解码器300包括译码图片缓冲器(cpb)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和解码图片缓冲器(dpb)314。cpb存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和dpb 314中的任何一者或全部可以在一个或多个处理器中或者在处理电路中实现。此外，视频解码器300可以包括额外或替代的处理器或处理电路以执行这些和其它功能。例如，在图21的示例中，帧内预测单元226可以包括mip单元227。
[0283]
预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可以包括额外单元，其根据其它预测模式来执行预测。作为示例，预测处理单元304可以包括调色板单元、块内复制单元(其可以形成运动补偿单元316的一部分)、仿射单元、线性模型(lm)单元等。在其它示例中，视频解码器300可以包括更多、更少或不同的功能组件。
[0284]
cpb存储器320可以存储要由视频解码器300的组件解码的视频数据，诸如经编码的视频比特流。例如，可以从计算机可读介质110(图1)获得被存储在cpb存储器320中的视频数据。cpb存储器320可以包括存储来自经编码的视频比特流的经编码的视频数据(例如，语法元素)的cpb。此外，cpb存储器320可以存储除了经译码的图片的语法元素之外的视频数据，诸如表示来自视频解码器300的各个单元的输出的临时数据。dpb314通常存储经解码的图片，视频解码器300可以输出经解码的图片，和/或在解码经编码的视频比特流的后续数据或图片时使用经解码的图片作为参考视频数据。cpb存储器320和dpb 314可以由各种各样的存储器设备中的任何一者形成，诸如dram，包括sdram、mram、rram或其它类型的存储器设备。cpb存储器320和dpb 314可以由相同的存储器设备或分别的存储器设备来提供。在各个示例中，cpb存储器320可以与视频解码器300的其它组件在芯片上，或者相对于那些组件在芯片外。
[0285]
另外或替代地，在一些示例中，视频解码器300可以从存储器120(图1)取回经译码的视频数据。也就是说，存储器120可以如上文所讨论地利用cpb存储器320来存储数据。同样，当视频解码器300的功能中的一些或全部功能是在要被视频解码器300的处理电路执行的软件中实现时，存储器120可以存储要被视频解码器300执行的指令。
[0286]
说明了在图21中示出的各个单元以帮助理解由视频解码器300执行的操作。该单元可以被实现为固定功能电路、可编程电路、或其组合。类似于图20，固定功能电路指代提供特定功能并且关于可以执行的操作而预先设置的电路。可编程电路指代可以被编程以执
行各种任务并且以可以执行的操作来提供灵活功能的电路。例如，可编程电路可以执行软件或固件，软件或固件使得可编程电路以软件或固件的指令所定义的方式进行操作。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作的类型通常是不可变的。在一些示例中，该单元中的一个或多个单元可以是不同的电路块(固定功能或可编程)，以及在一些示例中，一个或多个单元可以是集成电路。
[0287]
视频解码器300可以包括根据可编程电路形成的alu、efu、数字电路、模拟电路和/或可编程内核。在其中由在可编程电路上执行的软件执行视频解码器300的操作的示例中，片上或片外存储器可以存储视频解码器300接收并且执行的软件的指令(例如，目标代码)。
[0288]
熵解码单元302可以从cpb接收经编码的视频数据，以及对视频数据进行熵解码以重新产生语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310和滤波器单元312可以基于从比特流中提取的语法元素来生成经解码的视频数据。
[0289]
通常，视频解码器300逐块地重构图片。视频解码器300可以单独地对每个块执行重构操作(其中，当前正在被重构(即，被解码)的块可以被称为“当前块”)。
[0290]
熵解码单元302可以对定义经量化的变换系数块的经量化的变换系数的语法元素以及诸如量化参数(qp)和/或变换模式指示的变换信息进行熵解码。逆量化单元306可以使用与经量化的变换系数块相关联的qp来确定量化程度，以及同样地，确定供逆量化单元306应用的逆量化程度。逆量化单元306可以例如执行按比特左移操作以对经量化的变换系数进行逆量化。逆量化单元306从而可以形成包括变换系数的变换系数块。
[0291]
在逆量化单元306形成变换系数块之后，逆变换处理单元308可以将一个或多个逆变换应用于变换系数块，以生成与当前块相关联的残差块。例如，逆变换处理单元308可以将逆dct、逆整数变换、逆karhunen-loeve变换(klt)、逆旋转变换、逆方向变换或另一逆变换应用于变换系数块。
[0292]
此外，预测处理单元304根据由熵解码单元302进行熵解码的预测信息语法元素来生成预测块。例如，如果预测信息语法元素指示当前块是经帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示在dpb 314中的要从其取回参考块的参考图片、以及标识相对于当前块在当前图片中的位置而言参考块在参考图片中的位置的运动矢量。运动补偿单元316通常可以以与关于运动补偿单元224(图20)所描述的方式基本类似的方式来执行帧间预测过程。
[0293]
作为另一示例，如果预测信息语法元素指示当前块是经帧内预测的，则帧内预测单元318可以根据通过预测信息语法元素指示的帧内预测模式来生成预测块。再次，帧内预测单元318通常可以以与关于帧内预测单元226(图20)所描述的方式基本上类似的方式来执行帧内预测过程。帧内预测单元318可以从dpb 314取回当前块的相邻样本的数据。
[0294]
根据本公开内容的技术，帧内预测单元318的mip单元227可以生成预测块。例如，mip单元227可以确定用于视频数据的图片的多个可用mps。多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)在比特流中用信号通知的额外mps的集合。默认mps集合中的每个默认mps与编解码器中的预定义mip模式相关联。额外mps的集合中的每个额外mps与新mip模式的集合中的新mip模式相关联。mip单元227可以使用与多个可用mps中的mps相关联的mip模式来生成用于图片的当前块的预测块。
[0295]
重构单元310可以使用预测块和残差块来重构当前块。例如，重构单元310可以将
残差块的样本与预测块的对应样本相加来重构当前块。
[0296]
滤波器单元312可以对经重构的块执行一个或多个滤波器操作。例如，滤波器单元312可以执行去块操作以减少沿着经重构的块的边缘的块效应伪影。不一定在所有示例中执行滤波器单元312的操作。
[0297]
视频解码器300可以将经重构的块存储在dpb 314中。例如，在不执行滤波器单元312的操作的示例中，重构单元310可以将经重构的块存储到dpb 314中。在执行滤波器单元312的操作的示例中，滤波器单元312可以将经滤波的重构块存储到dpb 314中。如上所讨论的，dpb 314可以将参考信息(诸如用于帧内预测的当前图片以及用于后续运动补偿的先前解码的图片的样本)提供给预测处理单元304。此外，视频解码器300可以从dpb 314输出经解码的图片，以用于在诸如图1的显示设备118之类的显示设备上的后续呈现。
[0298]
以这种方式，视频解码器300表示视频解码设备的示例，该视频解码设备包括：被配置为存储视频数据的存储器；以及一个或多个处理器，其在电路中实现并且被配置为实现本公开内容的技术中的任何技术。例如，在一个示例中，视频解码器300可以表示视频解码设备的示例，该视频解码设备包括：被配置为存储视频数据的存储器；以及一个或多个处理器，其在电路中实现并且被配置为：获得比特流，该比特流包括使用编解码器来编码的视频数据的经编码表示。一个或多个处理器还可以被配置为确定用于视频数据的图片的多个可用mps。在该示例中，多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)在比特流中用信号通知的额外mps的集合，默认mps中的每个默认mps与编解码器中的预定义mip模式相关联，并且额外mps的集合中的每个额外mps与新mip模式的集合中的新mip模式相关联。此外，一个或多个处理器可以被配置为使用与多个可用mps中的mps相关联的mip模式来生成用于图片的当前块的预测块。一个或多个处理器还可以被配置为基于用于当前块的预测块和用于当前块的残差数据来重构当前块。
[0299]
以下文本描述了可以如何实现在本公开内容中公开的一种或多种技术的示例。根据第一示例实现，指定nd种d-mip模式的集合，并且为当前图片指定ne种e-mip模式的集合。每种d-mip模式属于一rsla和一psla，其覆盖预测块的二次抽样版本。在该示例中，所有e-mip模式都属于相同的rsla和psla。用于每种d-mip模式的espps被表示为参数矢量。numparampsla(nw,nh)和numparamrsla(nw,nh)可以分别用于表示用于psla和rsla的nwxnh大小的预测块的第i espp中的参数数量。
[0300]ak
(k＝0..nd–
1)可以用于表示用于大小nwxnh的当前块的nd个d-mip矩阵，其中，ak是npxnr矩阵，其中，np＝numparampsla(nw,nh)并且nr＝numparamrsla(nw,nh)。矩阵ak是预定义的，并且已经在视频编码器200和视频解码器300中可用。
[0301]
如下用信号通知ne种e-mip模式。该信令可以是译码单元语法结构、sps、pps或比特流中的任何语法结构。当在特定参数集(例如，sps、pps或其它类型的参数集)中用信号通知时，针对引用特定参数集的所有切片指定ne种e-mip模式。例如，如果视频编码器200确定e-mip模式集合对于特定视频内容是有益的，则视频编码器200可以在sps中用信号通知这些e-mip模式，从而使e-mip模式集合可用于引用sps的所有图片。下文是示例语法表，其包含用于用信号通知e-mip模式的语法元素。
[0302]
语法表3
[0303][0304]
在语法表3中，num_emip_modes指定紧跟在该语法元素之后用信号通知的emip模式的数量。num_emip_modes的值可以在0到15(含)的范围内。
[0305]
此外，在语法表3中，emip_type_flag[i]等于0指定第i e-mip模式的参数可以独立于其它mip模式的参数来推导。emip_type_flag[i]等于1指定第i e-mip模式的参数可以从一种或多种mip模式的参数来推导。从其推导第i e-mip模式的参数的mip模式被称为第i e-mip模式的参考mip模式。
[0306]
因此，在一些示例中，比特流中的语法元素(例如，emip_type_flag)指示mip模式是相对于已经指定的mip模式来指定的还是mip模式是独立地指定的。基于语法元素指示mip模式是相对于已经指定的模式来指定的，视频解码器300可以使用一种或多种mip模式的参数来推导mip模式的参数。否则，基于语法元素指示e-mip模式是独立地指定的，视频解码器300可以在不使用任何其它mip模式的任何参数的情况下推导mip模式的参数。类似地，视频编码器200可以使用一种或多种mip模式的参数来推导mip模式的参数，并且在比特流中用信号通知指示mip模式是相对于已经指定的mip模式来指定的语法元素(例如，emip_type_flag＝1)。替代地，视频编码器200可以在不使用任何其它mip模式的任何参数的情况
下推导mip模式的参数，并且可以在比特流中用信号通知指示mip模式是独立地指定的语法元素(例如，emip_type_flag＝0)。
[0307]
在语法表3中，emip_num_rsl[]和emip_num_psl[]可以分别用于指定rsla和psla中的与第i e-mip模式相关联的条目数量。
[0308]
在上面的语法表3中，emip_infer_num_psla_flag[](以及类似地，emip_infer_num_rsla_flag[])可以用于指定psla中的可以从其它mip模式推断或从其它mip模式推导的条目数量。
[0309]
在一些示例中，可以指定额外语法元素emip_num_addn_params[]来指示用于执行mip所需要的额外参数。例如，可以在预测中使用的每个espps中定义偏移参数，在这种情况下，emip_num_addn_params[]可以被设置为1。
[0310]
emip_param[i][m][n]指定与第i e-mip模式的第m预测样本位置相关联的第n e-mip参数。当不存在时，在本公开内容中指定的一个或多个语法元素(例如，num_emip_modes、emip_type_flag、emip_num_rsl、emip_num_psl、emip_infer_num_psla_flag、emip_infer_num_rsla_flag、emip_num_addn_params等)可以被推断为默认值(例如，零)。第n e-mip参数可以是矩阵系数或偏移值。
[0311]
在一些示例中，可以用信号通知指定第i mip模式的参考mip模式的索引的额外语法元素。
[0312]
在一些示例中，用信号通知emip_param(诸如对于esps的第一参数)，并且将后续e-mip参数相对于先前e-mip参数进行增量编码。换句话说，使用指示后续e-mip参数与先前e-mip参数之间的差异的语法元素来用信号通知后续e-mip参数。下面的语法表示出了示例语法，其中后续e-mip参数是经增量译码的。
[0313]
语法表4
[0314][0315]
在语法表4中，delta_emip_param[i][m][n]可以用于指定与e-mip参数相关联的增量值。增量值可以用于推导与第i e-mip的第m预测样本位置相关联的第n e-mip参数。
[0316]
在一些示例中，可以针对e-mip模式用信号通知参考mip索引。参考mip索引可以指
向d-mip模式或先前用信号通知的e-mip模式。emip_param[][][]、emip_num_addn_params[][]和其它相关参数可以相对于参考mip的对应值进行增量译码。
[0317]
在一些示例中，除了以上信令之外，视频编码器200还可以用信号通知e-mip模式的psla和rsla的位置。例如，可以将e-mip模式的位置阵列(即psla和rsla)的样本指定为(x,y)坐标集合并且用信号通知。在一些示例中，e-mip模式的位置阵列的样本被指定为与块边界、图片边界、瓦片边界、砖块边界或可以被定义并且包含当前块的任何类型的空间区域的边界的偏移。在一些示例中，e-mip模式的位置阵列的样本被指定为扫描顺序中的偏移，该扫描顺序遍历包含当前块的区域。示例扫描顺序可以包括光栅扫描顺序、z扫描顺序、对角扫描顺序、反向扫描顺序或可以被定义的任何其它扫描顺序。可以用于指定扫描顺序的空间区域可以不同于块的区域(例如，扫描顺序可以在cu级别，而块可以是tu块)。可以将坐标的参考点(对应于坐标(0,0))选择为块、cu、tu、瓦片、图片、砖块或与当前块具有某种关系的任何其它位置的左上方样本。在一些示例中，psla和rsla可能不具有不同的信令方法的规范。
[0318]
因此，在一些示例中，作为使用mip模式来生成用于当前块的预测块的一部分，视频编码器200和视频解码器300可以针对mip模式的psla中的每个样本位置，使用在espps中包含的与该样本位置相对应的参数来预测用于该样本位置的样本。视频编码器200和视频解码器300可以基于针对mip模式的psla的样本位置的预测样本来对预测块的剩余样本进行插值。在这样的示例中，用于mip模式的espps可以在比特流中用信号通知为依赖于另一espps或独立于任何其它espps。此外，在一些示例中，mip模式的psla可以是在比特流中用信号通知的。
[0319]
本公开内容的技术的第二示例实现方式实现了关于用信号通知mip参数的思想的变化。在第二示例实现中，假设未修改参考样本和预测样本的位置。例如，可以指定不同类别的mip模式，并且每个类别可以具有针对特定类别和特定块大小的rsla和psla的特定定义。例如，在jvet-n1008-v8中，针对特定块大小指定了三个类别的块：
[0320]
类别块大小mip模式数量参数数量04x435144014x8,8x4,8x81914402其它块大小113456
[0321]
rsla和psla的位置也在jvet-n1008-v8中定义(基于参考样本位置的子集(该子集可以从参考样本的经下采样的网格来推导)、以及预测块样本的子集(该子集可以为参考样本的经下采样的网格))。
[0322]
在该示例中，所定义的mip模式与所定义的mip模式类别相关联。对于所定义的每个类别的mip模式，新mip模式可以被包括在该类别中。此外，一些现有mip模式(即d-mip模式)也可以被视为不可用。
[0323]
以下定义可以关于第二示例实现来应用：
[0324]
·
mip参数集(mps)：与mip模式相关联的参数集，其用于预测利用mip模式而译码的块。mps被统称为与mip模式相关联的所有参数(例如，矩阵系数、偏移矢量等)。
[0325]
·
mps子集：mps的用于对预测块中的一个样本进行预测的参数子集。在当前mip设计下，该样本可以属于预测块中的经下采样的网格。mps子集可以指代由mip模式使用的矩
阵的一行以及其偏移矢量的一个条目。
[0326]
·
默认mip参数集(dmps)：与编解码器中的预定义的mip模式(即d-mip模式)相关联的mps。
[0327]
·
额外mip参数集(amps)：在比特流中用信号通知并且与新mip模式(即e-mip模式)相关联的mps。amps可以独立地用信号通知，或者用信号通知为依赖于一个或多个mps。amps可以在序列参数集或其它类型的参数集中用信号通知。
[0328]
·
可用mip参数集(可用mps)：可用于特定块的mip参数集。在一些示例中，可用mip参数集对于序列(诸如经译码的视频序列)中的图片的所有块是相同的。可用mip参数集是在sps(或其它类型的参数集)中用信号通知的所有amps和所有dmps的子集的并集。
[0329]
与mip模式相关联的mps a可以被定义为参数矢量。令n
mps
(a)为与mip模式相关联的参数数量。a中的参数可以用于定义矩阵和偏移矢量。
[0330]
此外，n
dmps
[i]可以是属于在编解码器中指定的第i类别的dmps的数量。当amps被指定为依赖于先前定义的mps(即，参考dmps)时，用信号通知参考dmps的索引，并且将参数作为与参考dmps的参数的增量值来用信号通知。
[0331]
在一些示例中，允许视频编码器200和视频解码器300根据在比特流中指定的其它amps来预测amps，诸如在该amps之前用信号通知的那些amps。换句话说，可以允许具有索引i的amps引用具有索引j的amps，其中j《i。
[0332]
此外，在第二示例实现中，用于每个图片的可用mps由比特流中的指示来确定。除了在sps中用信号通知的amps之外，该信令还可以指示针对序列将不考虑哪些预定义dmps(即在序列中不可用)。对可用mps的确定可以每个序列执行一次，并且在一个序列中不改变。
[0333]
在一些示例(其中，available_mps语法结构或available_mps的子集可以在其它参数集(例如，aps、pps、vps、dps等)或比特流的其它部分(例如，切片报头)中用信号通知，或者是针对除了序列以外的粒度(例如，图片、帧、切片、瓦片、砖块、块、瓦片组等)定义的)中，可用mps可以以相应的粒度来确定/推导，或者以可用mps可以不同于先前推导的可用mps的粒度来确定/推导。
[0334]
在一些示例中，当存在一个以上的类别的块时，针对每个类别指定不同的dmps集合。类似地，在一些示例中，针对每个类别单独地指定了amps集合。因此，在一些示例中，用于图片的可用mps可以包括用于多个类别中的每个类别的至少一个mps。在一些这样的示例中，多个类别中的每个类别可以对应于不同的块大小集合，或者可以以其它方式定义。
[0335]
根据第二示例实现，用于amps的语法结构可以在序列参数集中指定，如下面的语法表5和6所示。
[0336]
语法表5
[0337][0338]
语法表6
[0339]
[0340][0341]
在一些示例中，不用信号通知amps_type_idc[]，并且可以在不同的环路中针对每个mip类别单独地用信号通知。在下面的语法表7中所示的语法结构中，单独地用信号通知用于每个类别的amps数量。其它语法元素的信令和定义也相应地修改。在一些替代方式中，用信号通知一个modify_available_dmps_flag来以移除整个组。
[0342]
语法表7
[0343][0344]
在一些示例中，以上语法元素的二值化和译码(例如，num_amps、pred_amps_flag和/或其它语法元素，包括在本公开内容的其它地方描述的语法元素)仅为一个示例，并且其它码字和二值化方案也可以用于一个或多个语法元素。例如，语法元素可以使用指数golomb译码、golomb译码、rice译码、固定长度译码、一元译码、截断一元译码、截断二进制译码等或其组合进行译码。
[0345]
在一些示例中，可以针对每个类别单独用信号通知modify_available_dmps_flag语法元素。在其它示例中，可以采用用信号通知可用dmps集合的其它方式，例如，对应于所包括的dmps的索引列表、对应于未被包括的dmps的索引列表，等等。
[0346]
在上面的语法表6中，变量numpredsamples[]和numrefsamples[]取决于块大小类别。此外，可以针对上面的语法表5-7中的语法元素指定以下语义。
[0347]
available_mps_present_flag等于1指定在sps中用信号通知available_mps_syntax()语法结构。available_mps_present_flag等于0指定在sps中不用信号通知available_mps_syntax()结构。
[0348]
num_amps指定在amps_syntax()结构中用信号通知的额外mps的数量。num_amps的值应在0到15(含)的范围内。
[0349]
amps_type_idc[i]指定与第i amps相关联的mip大小id。amps_type_idc[i]的值应在0到2(含)的范围内。
[0350]
在一些示例中，可以允许amps信令定义用于新类别的mip模式的矩阵。可以定义特定于以下参数中的一个或多个参数的类别：块大小、宽度、高度、rsla、plsa或其它标识符，包括但不限于预测模式、相邻块的特性等。在一些情况下，可以在编解码器的规范中定义此类类别。在一些情况下，与定义此类类别相关联的信令(例如，用信号通知定义类别的一个或多个参数)也被包括在比特流中。例如，除了在矩阵中已经定义的一些类别之外，还可以用信号通知和定义mip模式类别集合(这些类别是预定义的，并且用信号通知的类型可以被包括在不同的列表中，或者可以被包括在相同的列表中)，并且每个amps可以指定类别的索引(索引，例如，用于指定预定义或用信号通知的语法元素，以及特定类别的索引)。在该示例中，指定了三个预定义类别，并且不包括用信号通知的类别。
[0351]
在类别数量除了2之外的一些示例中，可以修改信令以反映例如存在五个类别并且因此值范围应为0到4(含)。类似地，可以推导/用信号通知类别数量，在这种情况下，值范围将相应地变化。一个或多个语法元素的二值化或译码也可以相应地变化。
[0352]
pred_amps_flag[i]等于1指定第i amps依赖于由ref_mps_idx[i]指定的另一mps。pred_amps_flag[i]等于0指定第i amps是独立于其它mps来用信号通知的。
[0353]
num_bits_for_amps_param_val_minus1[i]加1指定用于用信号通知语法元素amps_param_val[i][j][k]的比特数量。num_bits_for_amps_param_val_minus1[i]的值应在0到5(含)的范围内。
[0354]
在一些示例中，其它约束可以应用于num_bits_for_amps_param_val_minus1的比特数量。例如，比特数量可以被限制为小于特定门限，并且门限可以在比特流中(例如，在任何参数集或比特流的其它部分中)用信号通知。
[0355]
在一些示例中，用于指定语法元素mps参数的比特数量可以取决于mps类别或其它语法元素。在一些示例中，比特数量可以根据语法元素num_bits_for_amps_param_val_minus1[]来推导。
[0356]
在其它示例中，对于不同的mps参数，比特数量可以是不同的。对于每个mps参数或mps参数子集，视频译码器(例如，视频编码器200或视频解码器300)可以显式地用信号通知或推断比特数量。在其它示例中，可以将比特数量指定为受到用信号通知的门限约束。
[0357]
ref_mps_idx[i]指定用于推导第i mps参数的mps索引。ref_mps_idx[i]的值应在0到n
dmps
[i]
–
1(含)的范围内。由ref_mps_idx[i]指示的mps被称为用于第i amps的参考mps。
[0358]
在一些示例中，当pred_amps_flag[i]等于1时，比特流一致性的要求是与第i amps的参考mps相关联的mipsizeid[][]的值应等于amps_type_idc[i]。
[0359]
用于用信号通知ref_mps_idx[]的比特数量可以取决于可用的dpms数量。例如，用于表示ref_mps_idx[i]的比特数量可以被设置为等于ceil(log2(n
dmps
[i]-1))。在其它示例中，比特数量可以取决于mps数量或可用mps数量。在其它示例中，比特数量可以取决于通过用信号通知的dmps数量和amps数量之和推导的mps数量。
[0360]
pred_amps_subset_flag[i][j]等于1指定从参考mps的第j子集来预测第i mps的第j子集。pred_amps_subset_flag[i][j]等于0指定不从参考mps来预测第i mps的第j子
集。当pred_amps_flag[i]等于1时，对于在0到numpredsamples[amps_type_idc[i]]
–
1(含)的范围内的所有j，pred_amps_subset_flag[i][j]的值被推断为等于0。当pred_amps_flag[i]等于1时，对于在0到numpredsamples[amps_type_idc[i]]
–
1(含)的范围内的j的至少一个值，pred_amps_subset_flag[i][j]的值应等于1。
[0361]
在一些示例中，当pred_amps_flag[i]等于1，并且pred_amps_subset_flag[i][j]的值在0到numpredsamples[amps_type_idc[i]]
–
2(含)的范围内时，语法元素pred_amps_subset_flag[i][j](对于j＝numpredsamples[amps_type_idc[i]]
–
1)可以不用信号通知，并且可以被推断为等于1。
[0362]
在一些示例中，可以指定指示mps或mps子集是根据另一mps或mps子集来推导的其它方法。此处公开的技术适用于任何此类参考方法。其思想是指示一个mps或mps子集作为从其推导当前mps或mps子集的参数的参考。例如，一个mps的一个或多个mps子集可以具有属于不同mps的参考mps子集。在其它示例中，mps子集可以被限制为指代相同mps的子集。此外，在一些示例中，mps或mps子集也可以引用任何mps或任何mps子集以用于参考；在一些这样的情况下，可能需要额外信令来指示mps子集的参考mps。
[0363]
在一些示例中，可以用信号通知语法元素，以指定mps的amps子集可以从相同mps的另一amps子集来推导。在一些示例中，amps子集的一个或多个参数可以从相同amps子集的其它参数来推导。
[0364]
在一些情况下，即使amps子集中的条目数量不同于参考amps子集，amps子集的参数子集也可以从另一amps子集来推导。在一些示例中，可以用信号通知一个或多个语法元素以指示从其它mip参数预测的mip参数。可以用信号通知另外的语法元素以指定用于推导的参考参数。
[0365]
amps_param_val[i][j][k]用于推导第i amps的第j子集的第k参数。用于用信号通知amps_param_val[i][j][k]的比特数量等于num_bits_for_amps_param_val_minus1[i] 1。对于在0到n
dmps
[i]
–
1(含)的范围内的i，dmpsparamval[i][j][k]可以指定第i dmps的第j子集的第k参数。对于在0到n
amps
–
1(含)的范围内的i，ampsparamval[i][j][k]可以指定第i amps的第j子集的第k参数。如下推导变量ampsparamval[i][j][k]：
[0366][0367]
modify_available_dmps_flag等于1指定用信号通知语法元素dmps_included_flag[][]。modify_available_dmps_flag等于0指定不用信号通知语法元素dmps_included_flag[][]，并且所有dmps都被视为可用于引用sps的图片。
[0368]
在一些示例中，可以针对每个mip类别用信号通知modify_available_dmps_flag。在一些示例中，可以用信号通知指定一种或多种mip模式不可用于或将不用于预测的语法元素。在其它示例中，可以用信号通知指定mip类别中的一种或多种mip模式不可用于或将不用于预测的语法元素。语法元素还可以指示整个类别的mip模式是否将被视为不可用于
或不用于预测。尽管本公开内容中的一个或多个语法元素的语义可以指定特定决策(例如，可用模式)，但是必须理解，所公开的方法也可以应用于语法元素的其它解释(例如，modify_available_dmps_flag可以作为modify_unavailable_dmps_flag来用信号通知)。
[0369]
dmps_included_flag[m][n]等于1指定与第m类别的mps相对应的第n dmps可以用于引用sps的图片的预测。dmps_included_flag[m][n]等于0指定与第n类别的mps相对应的第n dmps不应用于引用sps的图片的预测。在一些示例中，当不用信号通知时，dmps_included_flag[m][n]的值被推断为等于1。因此，在一些示例中，视频编码器200可以在比特流的sps中包括指示dmps中的特定dmps是否可用于引用sps的视频数据的图片的预测的语法元素(例如，dmps_included_flag)。换句话说，语法元素指示特定dmps是否被包括在默认mps的子集中，默认mps被包括在用于图片的可用mps中。类似地，视频解码器300可以基于在比特流的sps中用信号通知的语法元素(例如，dmps_included_flag)来确定默认mps中的特定默认mps可用于引用sps的视频数据的图片的预测。
[0370]
在其它示例中，可以指定用信号通知为不可用的dmps数量，并且可以用信号通知指定不可用dmps的索引列表。
[0371]
如下推导用于引用sps的图片的可用mps：
[0372][0373]
在其它示例中，dmps和amps可以全部放在一个mps列表中。在一个示例中，仅有可用的dmps和amps可以放在列表中。将理解的是，描述一组dmps和amps的多种方式是可能的，并且此处公开的方法涵盖其中一种或全部。此处的思想是定义可用mps集合(包括dmps子集和amps子集)，并且将对mip模式的指示仅限于可用mps中的那些mps。这也可以相应地修改mip模式索引的信令。
[0374]
在一些示例中，不存在来自mip模式的模式到常规帧内模式的映射，反之亦然。在推导非mip mpm时，由amps定义的所有mip模式可以被视为平面模式。如果使用从mip到常规帧内模式的有意义的映射，反之亦然，则可能需要在信令中包括额外语法元素以指示与amps相关联的映射。如果使用mip mpm推导，一些替代方式可以不考虑在mip mpm中包括amps。
[0375]
mip模式索引的信令可以被修改为依赖于变量numavailablemps[m]，例如，类别m中的mps的最大值现在可以是numavailablemps[m]，而不是n
dmps
[m]。如果指定用于指示用于类别m的mip模式的mpsidx，则当mpsidx《numavailabledmps[m]时，选择具有等于availablempsidx[m][mpsidx]的索引的dmps。否则，选择具有等于availablempsidx[m][mpsidx]的索引的amps。
[0376]
在一些示例中，可以指定对numavailabledmps[]的值的约束，以使得numavailabledmps[]大于预定或用信号通知的门限。在其它示例中，可以指定对numavailablemps[]的值的约束，以使得numavailablemps[]大于预定或用信号通知的门限。在一些示例中，一个或多个mps参数的信令可以基于对numavailabledmps或numavailablemps施加的约束来修改。
[0377]
在一些示例中，可以指定对numavailabledmps[]的值的约束，以使得numavailabledmps[]小于预定或用信号通知的门限。在其它示例中，可以指定对numavailablemps[]的值的约束，以使得numavailablemps[]大于预定或用信号通知的门限。在一些示例中，可以基于对numavailabledmps或numavailablemps施加的约束来修改用信号通知的一个或多个mps参数的信令。
[0378]
在一些示例中，变量numavailabledmps、numavailablemps或用信号通知的新模式的数量(num_amps)可以基于以下各项来约束：最大mps数量(其可以取决于或特定于每个mip类别)、或者由总的mps、dmps、amps或可用mps中的一者或多者使用的最大存储器/最大参数数量的一个或多个考虑因素。例如，mip模式可以被译码为截断二进制码字，并且对于特定类别m，作为译码的参数的码字的最大值可以被设置为numavailablemps[m]。
[0379]
在一些示例中，在mps参数在多个参数集和切片报头处用信号通知时，amps也可以被指定为不可用。
[0380]
本公开内容所提出的信令技术可以具有至少两个主要好处：(1)定义或添加新的mip模式的能力，以及(2)将一个或多个预定义mip模式标记为不可用。这种机制支持多个用例，下面列出了其中一些用例：
[0381]
1)具有针对特定内容来训练mip模式参数的能力的编码器(例如，视频编码器200)现在将具有用信号通知其新训练的参数的灵活性。用信号通知的参数将被定义为可以用于更高效地压缩内容的一种新模式。例如，视频编码器200可以具有多个测试序列，并且使用训练(机器学习或其它方法)来推导给出用于这些序列的重构数据中的最小误差的矩阵参数。序列中的样本值可以被分割为较小的区域，并且可以通过这些训练序列的不同压缩版本来执行预测。最小误差可以是重构值和原始值的最小均方误差。在一些情况下，训练还可以通过估计可以用于用信号通知mip模式的比特数量来包括速率分量(即，率失真优化)。
[0382]
2)对于一些内容，预定义矩阵中的一些矩阵可能根本不使用，或者可能无法提供足够的性能。然而，目前包括预定义模式，并且其对mip模式的信令成本产生负面影响。如果
在比特流中指定了未被使用的模式，则视频编码器200将能够更高效地指定mip模式，并且视频解码器300将能够识别正确的模式。例如，以下文档表明vvc中的若干预定义矩阵可能对vvc公共测试条件(ctc)是没有用的：salehifar等人，“ce3 related:low memory and computational complexity matrix based intra prediction(mip)”，itu-t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)，第15次会议：瑞典哥德堡，2019年7月3-12日，2019年6月21日提交的文档jvet-o0139。代替完全移除这些矩阵，一个稳健的解决方案可以指示一些矩阵不用于特定比特流。这将保留用于非ctc内容的预定义矩阵(在其可能有益的情况下)，但是针对一些情况(例如，ctc)也允许更高效/不太复杂的mip模式信令。
[0383]
3)一些编码器(例如，视频编码器200)可能没有资源来训练全新的矩阵，但是可能具有重新调谐/修改现有模式参数的能力；如果这些经修改的参数与预定义参数没有显著不同，则使用pred_amps_flag和ref_mps_idx对available_mps_syntax()的参数预测可以用于用信号通知经修改的模式参数。这在添加新模式时允许一定的灵活性，同时不会带来用信号通知独立新模式的参数的成本。
[0384]
图22是根据本公开内容的一种或多种技术的用于对当前块进行编码的示例方法的流程图。当前块可以是当前cu。尽管关于视频编码器200(图1和图20)进行了描述，但是应当理解，其它设备可以被配置为执行与图22的方法类似的方法。
[0385]
在该示例中，视频编码器200最初预测当前块(350)。例如，视频编码器200可以形成用于当前块的预测块。视频编码器200(例如，视频编码器200的mip单元227(图20))可以使用诸如e-mip模式之类的mip模式来形成预测块。视频编码器200可以根据在本公开内容中提供的示例中的任何示例来用信号通知e-mip模式。
[0386]
然后，视频编码器200可以计算用于当前块的残差块(352)。为了计算残差块，视频编码器200可以计算原始的未经编码的块与用于当前块的预测块之间的差。
[0387]
然后，视频编码器200可以对残差块进行变换以生成变换系数块(354)。视频编码器200可以对变换系数进行量化(356)。接下来，视频编码器200可以扫描残差块的经量化的变换系数(358)。在扫描期间或在扫描之后，视频编码器200可以对变换系数进行熵编码(360)。例如，视频编码器200可以使用cavlc或cabac来对变换系数进行编码。然后，视频编码器200可以输出块的经熵编码的数据(362)。
[0388]
图23是示出根据本公开内容的一种或多种技术的用于对视频数据的当前块进行解码的示例方法的流程图。当前块可以是当前cu。尽管关于视频解码器300(图1和21)进行了描述，但是应当理解，其它设备可以被配置为执行与图23的方法类似的方法。
[0389]
视频解码器300可以接收用于当前块的经熵编码的数据(诸如经熵编码的预测信息和用于与当前块相对应的残差块的变换系数的经熵编码的数据)(370)。视频解码器300可以对经熵编码的数据进行熵解码以确定用于当前块的预测信息并且重新产生残差块的变换系数(372)。
[0390]
视频解码器300可以例如使用如由用于当前块的预测信息所指示的帧内或帧间预测模式来预测当前块(374)，以计算用于当前块的预测块。视频解码器300(例如，视频解码器300的mip单元319(图21))可以使用mip模式(例如，e-mip模式)来生成用于当前块的预测块。视频解码器300可以根据在本公开内容中提供的示例中的任何示例来确定e-mip模式。
[0391]
此外，在图23的示例中，视频解码器300可以对所重新产生的变换系数进行逆扫描，以创建经量化的变换系数的块(376)。然后，视频解码器300可以对变换系数进行逆量化以及逆变换以产生残差块(378)。视频解码器300可以通过将用于当前块的预测块和残差块进行组合来对当前块进行解码(380)。
[0392]
图24是示出根据本公开内容的一种或多种技术的视频编码器200使用mip模式来对块进行编码的示例操作的流程图。在图24的示例中，视频编码器200(例如，视频编码器200的mip单元227(图21))可以确定用于视频数据的图片的多个可用mps(400)。多个可用mps是以下各项的并集：(i)所有默认mps的子集、以及(ii)在比特流中用信号通知的额外mps的集合。在该示例中，默认mps中的每个默认mps与编解码器中的预定义mip模式相关联。额外mps的集合中的每个额外mps与新mip模式相关联。在一些示例中，多个可用mps包括用于多个类别中的每个类别的至少一个mps。在一些示例中，多个类别中的每个类别可以对应于不同的块大小集合。用于图片的可用mps可以仅应用于图片，可以应用于包括图片的序列，或者可以在另一级别定义。
[0393]
视频编码器200可以在比特流中用信号通知额外mps的集合(402)。例如，视频编码器200可以使用在语法表3、语法表4、语法表5、语法表6或本公开内容的其它示例中所示的语法元素来在比特流中用信号通知额外mps的集合。
[0394]
此外，在图24的示例中，视频编码器200可以使用与多个可用mps中的mps相关联的mip模式来生成用于图片的当前块的预测块(404)。例如，视频编码器200可以使用mps的矩阵和偏移/偏置项来确定预测块156(图19)的样本值。在一些示例中，视频编码器200可以使用mps的psla来确定预测块156中的预测样本的位置。此外，在一些示例中，视频编码器200可以使用mps的rsla来确定边界样本152(图19)。
[0395]
在其中mip模式在新mip模式的集合中并且是显式mip(e-mip)模式的一些示例中，视频编码器200可以使用一种或多种mip模式的参数来推导mip模式的参数。此外，视频编码器200可以在比特流中用信号通知指示mip模式是相对于已经指定的mip模式来指定的语法元素。在其它示例中，视频编码器200可以在不使用任何其它mip模式的任何参数的情况下推导mip模式的参数。在这样的示例中，视频编码器200可以在比特流中用信号通知指示mip模式是独立地指定的语法元素。
[0396]
在其中mip模式在新mip模式的集合中并且是显式mip(e-mip)模式的一些示例中，视频编码器200可以在比特流中用信号通知用于mip模式的espps列表。与mip模式相关联的mps包括用于mip模式的espps列表。mip模式的psla是当前块中的与mip模式直接地生成预测值的位置相对应的样本位置集合。espps中的每个espps对应于mip模式的psla中的样本位置。作为使用mip模式来生成用于当前块的预测块的一部分，视频编码器200可以针对mip模式的psla中的每个样本位置，使用在与该样本位置相对应的espps中包含的参数来预测用于该样本位置的样本。另外，视频编码器200可以基于用于mip模式的psla的样本位置的预测样本来对预测块的剩余样本进行插值。在一些这样的示例中，视频编码器200可以在比特流中将用于mip模式的espps用信号通知为依赖于另一espps。另一espps可以是编解码器中的另一e-mip模式或特定的预定义mip模式。此外，在一些示例中，视频编码器200可以在比特流中用信号通知mip模式的psla。
[0397]
此外，在一些示例中，视频编码器200可以用信号通知指示mip模式的mip模式索
引。在该示例中，用信号通知mip模式索引可以取决于mip模式列表中的mip模式数量。例如，根据mip模式列表中mip模式数量，可以使用不同的译码方案(诸如指数golomb译码、golomb译码、固定长度译码或其它译码类型)来对mip模式索引进行译码。
[0398]
在一些示例中，视频编码器200可以在比特流中用信号通知用于mip模式的rsla。用于mip模式的rsla指示在当前块的邻域中的在mip模式中使用的参考样本位置集合。作为使用mip模式来生成预测块的一部分，视频编码器200可以针对mip模式的psla中的每个样本位置，通过将由用于mip模式的rsla指示的参考样本位置处的参考样本乘以在与mip模式相关联的mps中指定的矩阵的矩阵系数并且加上在与mip模式相关联的mps中指定的偏移值，来确定预测值。
[0399]
在图24的示例中，视频编码器200可以基于用于当前块的预测块和当前块的样本来生成用于当前块的残差数据(406)。例如，视频编码器200(例如，视频编码器200的残差生成单元204(图20))可以通过从当前块的对应样本中减去预测块的样本来生成用于当前块的残差数据。在一些示例中，视频编码器200可以随后执行如在本公开内容的其他地方描述的变换、量化和熵编码操作。
[0400]
图25是示出根据本公开内容的一种或多种技术的视频解码器300使用mip模式来对块进行解码的示例操作的流程图。在图25的示例中，视频解码器300可以获得包括使用编解码器来编码的视频数据的经编码表示的比特流(450)。例如，视频解码器300可以从输入接口(诸如输入接口122(图1))来从cpb存储器320(图21)获得比特流。
[0401]
视频解码器300可以确定用于视频数据的图片的多个可用mps(452)。多个可用mps可以是以下各项的并集：(i)所有默认mps的子集、以及(ii)在比特流中用信号通知的额外mps的集合。默认mps中的每个默认mps与编解码器中的预定义mip模式相关联。额外mps的集合中的每个额外mps与新mip模式的集合中的新mip模式相关联。用于图片的可用mps可以仅应用于图片，可以应用于包括图片的序列，或者可以在另一级别定义。
[0402]
视频解码器300可以根据在本公开内容中提供的示例中的任何示例来确定可用mps。例如，在一些示例中，视频解码器300可以确定可用mps，使得多个mps包括用于多个类别中的每个类别的至少一个mps。在一些示例中，多个类别中的每个类别对应于不同的块大小集合。
[0403]
此外，在一些示例中，比特流可以包括指示e-mip模式是相对于已经指定的mip模式来指定的还是e-mip模式是独立地指定的语法元素。e-mip模式是新mip模式中的一种mip模式。在该示例中，视频解码器300可以基于语法元素指示e-mip模式是相对于已经指定的模式来指定的，使用一种或多种mip模式的参数来推导e-mip模式的参数。否则，基于语法元素指示e-mip模式是独立地指定的，视频解码器300可以在不使用任何其它mip模式的参数的情况下推导e-mip模式的参数。
[0404]
视频解码器300可以使用与多个可用mps中的mps相关联的mip模式来生成用于图片的当前块的预测块(454)。例如，视频解码器300可以使用mps的矩阵和偏移/偏置项来确定预测块156(图19)的样本值。在一些示例中，视频解码器300可以使用mps的psla来确定预测块156中的预测样本的位置。此外，在一些示例中，视频解码器300可以使用mps的rsla来确定边界样本152(图19)。例如，关于图19，视频解码器300可以使用mps的rsla的参考样本来确定边界152。
[0405]
可以在比特流中用信号通知mip模式索引以指示mip模式。在本公开内容的一些示例中，用信号通知mip模式索引取决于mip模式列表中的mip模式数量。例如，根据mip模式列表中的mip模式数量，可以使用不同的译码方案(诸如指数golomb译码、golomb译码、固定长度译码或其它译码类型)来对mip模式索引进行译码。可用mps中的每个可用mps可以与mip模式列表中的不同mip模式相关联。
[0406]
在一些示例中，mip模式在新mip模式的集合中并且是显式mip(e-mip)模式。此外，在一些这样的示例中，语法元素(例如，在比特流中)指示mip模式是相对于已经指定的mip模式来指定的还是mip模式是独立地指定的。在该示例中，基于语法元素指示mip模式是相对于已经指定的模式来指定的，视频解码器300可以使用一种或多种mip模式的参数来推导mip模式的参数。否则，基于语法元素指示mip模式是独立地指定的，视频解码器300可以在不参考任何其它mip模式的参数的情况下推导mip模式的参数。
[0407]
在一些示例中，mip模式在新mip模式的集合中并且是显式mip(e-mip)模式。此外，mip模式的psla是当前块中的与mip模式直接地生成预测值的位置相对应的样本位置集合，并且与mip模式相关联的mps包括用于mip模式的espps列表。在这样的示例中，用于mip模式的espps列表是在比特流中用信号通知的。espps中的每个espps对应于mip模式的psla中的样本位置。在该示例中，作为使用mip模式来生成用于当前块的预测块的一部分，视频解码器300可以针对mip模式的psla中的每个样本位置，使用与该样本位置相对应的espps中包含的参数来预测用于该样本位置的样本。视频解码器300可以基于用于mip模式的psla的样本位置的所预测的样本来对预测块的剩余样本进行插值。在一些示例中，用于mip模式espps在比特流中用信号通知为依赖于另一espps。另一espps可以是编解码器中的另一e-mip模式或特定的预定义mip模式。在其它示例中，用于mip模式的espps是预定的。此外，在一些示例中，mip模式的psla可以是在比特流中用信号通知。在其它示例中，用于mip模式的plsa是预定的。
[0408]
在一些示例中，用于mip模式的rsla是在比特流中用信号通知的。用于mip模式的rsla指示在当前块的邻域中的在mip模式中使用的参考样本位置集合。在这样的示例中，作为使用mip模式来生成预测块的一部分，视频解码器300可以针对mip模式的psla中的每个样本位置，通过将由用于mip模式的rsla指示的参考样本位置处的参考样本乘以在与mip模式相关联的mps中指定的矩阵的矩阵系数并且加上在与mip模式相关联的mps中指定的偏移值，来确定预测值。
[0409]
此外，在图25的示例中，视频解码器300可以基于用于当前块的预测块和用于当前块的残差数据来重构当前块(456)。例如，视频解码器300(例如，图25的重构单元310(图23))可以将用于当前块的预测块的样本与残差数据的对应样本相加以重构当前块。
[0410]
下文是根据本公开内容的一种或多种技术的示例的非限制性列表。
[0411]
示例1、一种对视频数据进行译码的方法，所述方法包括在本公开内容中阐述的技术中的任何技术。
[0412]
示例2、根据示例1所述的方法，其中，译码包括解码。
[0413]
示例3、根据示例1-2中任一项所述的方法，其中，译码包括编码。
[0414]
示例4、根据示例1-3中任一项所述的方法，其中：比特流包括视频数据的经编码表示，所述比特流中的语法元素包括显式矩阵帧内预测(e-mip)模式是相对于已经指定的模
式来指定的还是所述e-mip模式是独立地指定的，并且所述方法包括：基于所述语法元素指示所述e-mip模式是相对于所述已经指定的模式来指定的，使用一种或多种mip模式的参数来推导所述e-mip模式的参数；以及使用仿射线性加权预测模型，以基于所述视频数据的当前块的相邻参考样本和所述e-mip模式的所述参数来生成用于所述当前块的预测块。
[0415]
示例5、根据示例4所述的方法，其中，所述语法元素是第一语法元素，并且所述比特流中的第二语法元素指示所述e-mip模式的所述参数是可基于两个或更多个操作的组合而从参考mip参数获得的。
[0416]
示例6、根据示例4-5中任一项所述的方法，其中：显式样本预测器参数子集(espps)的参数用信号通知为依赖于相同mip模式的参考espp，并且所述比特流包括与所述espps一起用信号通知的指定所述参考espps的一个或多个语法元素、所述参考espps的索引、或者所述参考espps的索引的增量。
[0417]
示例7、根据示例4-6中任一项所述的方法，其中：译码包括解码，并且所述方法还包括基于用于所述当前块的所述预测块来重构所述当前块。
[0418]
示例8、根据示例4-6中任一项所述的方法，其中：译码包括编码，并且所述方法还包括基于用于所述当前块的所述预测块来生成残差数据。
[0419]
示例9、一种用于对视频数据进行译码的设备，所述设备包括用于执行根据示例1-8中任一项所述的方法的一个或多个单元。
[0420]
示例10、根据示例9所述的设备，其中，所述一个或多个单元包括在电路中实现的一个或多个处理器。
[0421]
示例11、根据示例9和10中任一项所述的设备，还包括：用于存储所述视频数据的存储器。
[0422]
示例12、根据示例9-11中任一项所述的设备，还包括：被配置为显示经解码的视频数据的显示器。
[0423]
示例13、根据示例9-12中任一项所述的设备，其中，所述设备包括相机、计算机、移动设备、广播接收机设备或机顶盒中的一者或多者。
[0424]
示例14、根据示例9-13中任一项所述的设备，其中，所述设备包括视频解码器。
[0425]
示例15、根据示例9-14中任一项所述的设备，其中，所述设备包括视频编码器。
[0426]
示例16、一种具有存储在其上的指令的计算机可读存储介质，所述指令在被执行时使得一个或多个处理器执行根据示例1-8中任一项所述的方法。
[0427]
要认识到的是，根据示例，本文描述的技术中的任何技术的某些动作或事件可以以不同的顺序执行，可以被添加、合并或完全省略(例如，并非全部描述的动作或事件对于所述技术的实践是必要的)。此外，在某些示例中，动作或事件可以例如通过多线程处理、中断处理或多个处理器并发地而不是顺序地执行。
[0428]
在一个或多个示例中，所描述的功能可以在硬件、软件、固件或其任何组合中实现。如果在软件中实现，则所述功能可以作为一个或多个指令或代码存储在计算机可读介质上或者通过其进行发送以及由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于诸如数据存储介质的有形介质或者通信介质，所述通信介质包括例如根据通信协议来促进计算机程序从一个地方传送到另一个地方的任何介质。以这种方式，计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质、或者(2)
诸如信号或载波的通信介质。数据存储介质可以是可以由一个或多个计算机或者一个或多个处理器访问以取得用于实现在本公开内容中描述的技术的指令、代码和/或数据结构的任何可用的介质。计算机程序产品可以包括计算机可读介质。
[0429]
举例来说而非进行限制，这样的计算机可读存储介质可以包括ram、rom、eeprom、cd-rom或其它光盘存储、磁盘存储或其它磁存储设备、闪存、或者能够用于以指令或数据结构形式存储期望的程序代码以及能够由计算机访问的任何其它介质。此外，任何连接被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤光缆、双绞线、数字用户线(dsl)或者无线技术(诸如红外线、无线电和微波)来从网站、服务器或其它远程源发送指令，则同轴电缆、光纤光缆、双绞线、dsl或者无线技术(诸如红外线、无线电和微波)被包括在介质的定义中。然而，应当理解的是，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其它暂时性介质，而是替代地针对非暂时性的有形存储介质。如本文所使用的，磁盘和光盘包括压缩光盘(cd)、激光光盘、光盘、数字多功能光盘(dvd)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘利用激光来光学地复制数据。上述各项的组合也应当被包括在计算机可读介质的范围之内。
[0430]
指令可以由一个或多个处理器来执行，诸如一个或多个数字信号处理器(dsp)、通用微处理器、专用集成电路(asic)、现场可编程门阵列(fpga)、或其它等效的集成或分立逻辑电路。相应地，如本文所使用的术语“处理器”和“处理电路”可以指代前述结构中的任何一者或者适于实现本文描述的技术的任何其它结构。另外，在一些方面中，本文描述的功能可以在被配置用于编码和解码的专用硬件和/或软件模块内提供，或者被并入经组合的编解码器中。此外，所述技术可以充分地在一个或多个电路或逻辑元件中实现。
[0431]
本公开内容的技术可以在各种各样的设备或装置中实现，包括无线手机、集成电路(ic)或一组ic(例如，芯片组)。在本公开内容中描述了各个组件、模块或单元以强调被配置为执行所公开的技术的设备的功能性方面，但是不一定需要通过不同的硬件单元来实现。而是，如上所述，各个单元可以被组合在编解码器硬件单元中，或者由可互操作的硬件单元的集合(包括如上所述的一个或多个处理器)结合适当的软件和/或固件来提供。
[0432]
已经描述了各个示例。这些和其它示例在以下权利要求的范围内。