默认的环内整形参数的制作方法

默认的环内整形参数
1.相关申请的交叉参考
2.根据适用的《专利法》和/或《巴黎公约》的规定，本技术及时要求于2019年3月23日提交的国际专利申请号pct/cn2019/079393的优先权和利益。根据美国法律，将上述申请的全部公开以参考方式并入本文，作为本技术公开的一部分。
技术领域
3.本专利文件涉及视频编解码技术、设备和系统。


背景技术：

4.尽管在视频压缩方面有所进步，在互联网和其他数字通信网络中，数字视频占用的带宽最大。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。


技术实现要素：

5.描述了涉及数字视频编解码、并且具体地涉及用于视频编解码的环内整形(ilr)的设备、系统和方法。所述方法可应用于现有视频编解码标准(例如，高效视频编解码(hevc))和未来视频编解码标准二者、或视频编解码器。
6.在一个典型的方面，所公开的技术可用于提供一种用于视频处理的方法。所述方法包括：执行包括一个或多个视频数据单元的视频和所述视频的比特流表示之间的转换，其中，所述比特流表示符合格式规则，所述格式规则指定包含指示用于编解码模式的默认参数的边信息，所述编解码模式适用于对其启用所述编解码模式的所述一个或多个视频数据单元的视频块，并且其中，所述边信息提供参数用于基于所述视频块在原始域和整形域中的表示和/或色度视频块的色度残差的取决于亮度的缩放，构造所述视频块。
7.在另一典型的方面，所公开的技术可用于提供一种用于视频处理的方法。所述方法包括：执行包括一个或多个视频数据单元的视频和所述视频的比特流表示之间的转换，其中所述比特流表示符合格式规则，所述格式规则指定包含指示用于编解码模式的默认参数的边信息，所述编解码模式适用于对其启用所述编解码模式的所述一个或多个视频数据单元的视频块，其中，在所述比特流表示中不存在显式地信令通知的参数的情况下将所述默认参数用于所述编解码模式，并且其中，所述编解码模式包括基于所述视频块在原始域和整形域中的表示和/或色度视频块的色度残差的取决于亮度的缩放，构造所述视频块。
8.在又一典型的方面，所公开的技术可用于提供一种用于视频处理的方法。所述方法包括：为包括一个或多个视频数据单元的视频和所述视频的比特流表示之间的转换配置所述比特流表示，所述比特流表示包括信令通知时域层信息的语法元素、以及适用于所述一个或多个视频数据单元的视频块的编解码模式的参数；以及基于所述配置执行所述转换，其中所述编解码模式包括基于原始域和整形域和/或色度视频块的色度残差的取决于亮度的缩放，构造所述视频块。
9.在又一典型的方面，所公开的技术可用于提供一种用于视频处理的方法。所述方法包括：为包括一个或多个视频数据单元的视频和所述视频的比特流表示之间的转换解析所述比特流表示，所述比特流表示包括信令通知时域层信息的语法元素、以及适用于所述一个或多个视频数据单元的视频块的编解码模式的参数；以及基于所述配置执行所述转换，其中所述编解码模式包括基于原始域和整形域和/或色度视频块的色度残差的取决于亮度的缩放，构造所述视频块。
10.在又一典型的方面，所公开的技术可用于提供一种用于视频处理的方法。所述方法包括：执行视频的第一视频数据单元和所述视频的比特流表示之间执行转换，其中编解码模式适用于所述第一视频数据单元的视频块，其中所述编解码模式包括基于与所述编解码模式相关的边信息，基于原始域和整形域和/或色度视频块的色度残差的取决于亮度的缩放，构造所述视频块，并且其中，根据基于时域层索引的规则来确定所述边信息。
11.在又一典型的方面，所公开的技术可用于提供一种用于视频处理的方法。所述方法包括：为包括一个或多个视频数据单元的视频和所述视频的比特流表示之间的转换配置所述比特流表示，所述比特流表示包括信令通知时域层信息的语法元素、以及适用于所述一个或多个视频数据单元的视频块的编解码模式的参数；以及基于所述配置执行所述转换，其中所述编解码模式包括基于使用自适应环路滤波器(alf)系数的滤波处理来构造所述视频的当前块。
12.在又一典型的方面，所公开的技术可用于提供一种用于视频处理的方法。所述方法包括：为包括一个或多个视频数据单元的视频和所述视频的比特流表示之间的转换解析所述比特流表示，所述比特流表示包括信令通知时域层信息的语法元素、以及适用于所述一个或多个视频数据单元的视频块的编解码模式的参数；以及基于所述配置执行所述转换，其中所述编解码模式包括基于使用自适应环路滤波器(alf)系数的滤波处理来构造所述视频的当前块。
13.在又一典型的方面，所公开的技术可用于提供一种用于视频处理的方法。所述方法包括：执行视频的第一视频数据单元和所述视频的比特流表示之间的转换，其中，编解码模式适用于所述第一视频数据单元的视频块，其中，所述编解码模式包括：基于与所述编解码模式相关的边信息，基于使用自适应环路滤波器(alf)系数的滤波处理来构造所述视频的当前块，并且其中，根据基于时域层索引的规则来确定所述边信息。
14.在又一典型的方面，上述方法以处理器可执行代码的形式实施，并且存储在计算机可读的程序介质中。
15.在又一典型的方面，公开了一种设备，其被配置为或可操作以执行上述方法。该设备可以包括被编程以实现该方法的处理器。
16.在又一典型的方面，一种视频解码器装置，其可以实现如本文所述的方法。
17.在附图、说明书和权利要求书中更详细地描述了所公开技术的上述方面、以及其他方面和特征。
附图说明
18.图1示出了构造merge候选列表的示例。
19.图2示出了空域候选的位置的示例。
20.图3示出了接受空域merge候选的冗余检查的候选对的示例。
21.图4a和图4b示出了基于当前块的尺寸和形状的第二预测单元(pu)的位置示例。
22.图5示出了时域merge候选的运动矢量缩放示例。
23.图6示出了时域merge候选的候选位置示例。
24.图7示出了生成组合的双向预测merge候选的示例。
25.图8示出了构造运动矢量预测候选的示例。
26.图9示出了空域运动矢量候选的运动矢量缩放示例。
27.图10示出了使用编解码单元(cu)的可选时域运动矢量预测(atmvp)算法的运动预测示例。
28.图11示出了空时运动矢量预测(stmvp)算法使用的带有子块和临近块的编解码单元(cu)的示例。
29.图12示出了用于导出照明补偿(ic)参数的临近样本点的示例。
30.图13a和13b分别示出了简化的4参数仿射模型和简化的6参数仿射模型的示例。
31.图14示出了每个子块的仿射运动向量场(mvf)的示例。
32.图15a和15b分别示出了4参数和6参数仿射模型的示例。
33.图16示出了继承仿射候选的af_inter的运动矢量预测的示例。
34.图17示出了构造仿射候选的af_inter的运动向量预测的示例。
35.图18a和18b分别示出了af_merge模式的示例候选块和cpmv预测器推导。
36.图19示出仿射merge模式的候选位置的示例。
37.图20示出umve搜索处理的示例。
38.图21示出umve搜索点的示例。
39.图22示出了基于双边模板匹配的解码器侧运动矢量细化(dmvr)的示例。
40.图23示出了使用整形的解码流的示例性流程图。
41.图24示出了在双边滤波器中使用的临近样本点的示例。
42.图25示出了覆盖在权重计算中使用的两个样本点的窗口的示例。
43.图26示出扫描模式的示例。
44.图27示出了帧间模式解码处理的示例。
45.图28示出了帧间模式解码处理的另一示例。
46.图29示出了使用重构后滤波器的帧间模式解码处理的示例。
47.图30示出了使用重构后滤波器的帧间模式解码处理的另一示例。
48.图31a至31d示出了视频处理的示例方法的流程图。
49.图32是用于实现本文所述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。
50.图33是可以实现所公开的技术的示例性视频处理系统的框图。
具体实施方式
51.由于对高分辨率视频的需求日益增加，视频编解码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且不断地被改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换为压缩格式，或反之亦然。
视频质量、用于表示视频的数据量(由比特率决定)、编码和解码算法的复杂度、对数据丢失和错误的敏感度、易于编辑、随机访问和端到端延迟(延迟)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如，高效视频编解码(hevc)标准(也称为h.265或mpeg
‑
h第2部分)、待定案的多功能视频编解码标准或其他当前和/或未来的视频编解码标准。
52.所公开技术的实施例可以应用于现有的视频编解码标准(例如，hevc、h.265)和未来的标准，以提高压缩性能。在本文件中，使用章节标题来提高描述的可读性，并且不以任何方式将讨论或实施例(和/或实现)仅限于各自的章节。
53.1.hevc/h.265中的帧间预测的示例
54.多年来，视频编解码标准有了显著的改进，并且现在在某种程度上提供了高编解码效率和对更高分辨率的支持。最新标准诸如hevc和h.265等是基于混合视频编解码结构，其中采用了时域预测加变换编解码。
55.1.1预测模式的示例
56.每个帧间预测的pu(预测单元)都有一个或两个参考图片列表的运动参数。在一些实施例中，运动参数包括运动矢量和参考图片索引。在其他实施例中，两个参考图片列表之一的使用也可以使用inter_pred_idc发信令。在又一实施例中，运动矢量可显式地编码为相对于预测器的增量。
57.当cu采用跳过模式编解码时，pu与cu相关联，并且没有显著的残差系数，没有编解码运动矢量增量或参考图片索引。指定了一种merge模式，通过该模式，可以从临近的pu(包括空域和时域候选)中获取当前pu的运动参数。merge模式可以应用于任何帧间预测的pu，而不仅仅是跳过模式。merge模式的另一种选择是运动参数的显式传输，其中为每个pu显式地信令通知运动矢量(更确切地说，与运动矢量预测器相比的运动矢量差(mvd))、每个参考图片列表的对应的参考图片索引、以及参考列表的使用。在本文中将这种类型的模式称为高级运动矢量云测(amvp)。
58.当信令指示要使用两个参考图片列表中的一个时，从一个样本点块中生成pu。这被称为“单向预测”。单向预测对p条带(slice)和b条带都可用。
59.当信令指示要使用两个参考图片列表时，从两个样本点块中生成pu。这被称为“双向预测”。双向预测仅对b条带可用。
60.参考图片列表
61.在hevc中，术语“帧间预测”被用于表示从除了当前解码图片之外的参考图片的数据元素(例如，样本点值或运动矢量)导出的预测。如在h.264/avc中一样，可以从多个参考图片预测图片。用于帧间预测的参考图片被组织在一个或多个参考图片列表中。参考索引标识列表中的哪些参考图片应用于创建预测信号。
62.单个参考图片列表(列表0)被用于p条带，并且两个参考图片列表(列表0和列表1)被用于b条带。需要注意的是，列表0/1中包含的参考图片就捕获/显示顺序而言可以来自过去和将来的图片。
63.1.1.1构造merge模式的候选的实施例
64.当使用merge模式预测pu时，从比特流中解析指向merge候选列表中条目的索引，并且使用该索引检索运动信息。此列表的构造可按以下步骤顺序进行概括：
65.步骤1：初始候选推导
66.步骤1.1：空域候选推导
67.步骤1.2：空域候选冗余检查
68.步骤1.3：时域候选推导
69.步骤2：附加候选插入
70.步骤2.1：创建双向预测候选
71.步骤2.2：插入零运动候选
72.图1示出了基于上面概括的步骤序列构造merge候选列表的示例。对于空域merge候选推导，在位于五个不同位置的候选中最多选择四个merge候选。对于时域merge候选推导，在两个候选中最多选择一个merge候选。由于在解码器处假定每个pu的候选数为常量，因此当候选数未达到片标头中发信令的最大merge候选数(maxnummergecand)时，生成附加的候选。由于候选数是恒定的，所以最佳merge候选的索引使用截断的一元二值化(tu)进行编解码。如果cu的尺寸等于8，则当前cu的所有pu都共享一个merge候选列表，这与2n
×
2n预测单元的merge候选列表相同。
73.1.1.2构造空域merge候选
74.在空域merge候选的推导中，在位于图2所示位置的候选中最多选择四个merge候选。推导顺序为a1，b1，b0，a0和b2。只有当位置a1，b1，b0，a0的任何pu不可用(例如，因为它属于另一个条带或片(tile))或是内部编解码时，才考虑位置b2。在增加a1位置的候选后，对剩余候选的增加进行冗余检查，其确保具有相同运动信息的候选被不包括在列表之外，从而提高编解码效率。
75.为了降低计算的复杂度，在所提到的冗余检查中并不考虑所有可能的候选对。相反，只有与图3中的箭头链接的对才会被考虑，并且只有当用于冗余检查的对应候选没有相同的运动信息时，才将候选添加到列表中。复制运动信息的另一个来源是与2nx2n不同的分区相关的“第二pu”。例如，图4a和4b分别描述了n
×
2n和2n
×
n情况下的第二pu。当当前的pu被划分为n
×
2n时，对于列表构造不考虑a1位置的候选。在一些实施例中，添加此候选可能导致两个具有相同运动信息的预测单元，这对于在编解码单元中仅具有一个pu是冗余的。同样地，当当前pu被划分为2n
×
n时，不考虑位置b1。
76.1.1.3构造时域merge候选
77.在此步骤中，只有一个候选添加到列表中。特别地，在这个时域merge候选的推导中，基于与给定参考图片列表中当前图片具有最小poc差异的并置pu导出了缩放运动矢量。用于推导并置pu的参考图片列表在条带标头中显式地发信令。
78.图5示出了时域merge候选(如虚线所示)的缩放运动矢量的推导示例，其使用poc距离tb和td从并置pu的运动矢量进行缩放，其中tb定义为当前图片的参考图片和当前图片之间的poc差异，并且td定义为并置图片的参考图片与并置图片之间的poc差异。时域merge候选的参考图片索引设置为零。对于b条带，得到两个运动矢量(一个是对于参考图片列表0，另一个是对于参考图片列表1)并将其组合使其成为双向预测merge候选。
79.在属于参考帧的并置pu(y)中，在候选c0和c1之间选择时域候选的位置，如图6所示。如果位置c0处的pu不可用、内部编解码或在当前ctu之外，则使用位置c1。否则，位置c0被用于时域merge候选的推导。
80.1.1.4构造附加类型的merge候选
81.除了空时merge候选，还有两种附加类型的merge候选：组合双向预测merge候选和零merge候选。组合双向预测merge候选是利用空时merge候选生成的。组合双向预测merge候选仅用于b条带。通过将初始候选的第一参考图片列表运动参数与另一候选的第二参考图片列表运动参数相结合，生成组合双向预测候选。如果这两个元组提供不同的运动假设，它们将形成新的双向预测候选。
82.图7示出了此过程的一个示例，其中原始列表(710，在左侧)中具有mvl0和refidxl0或mvl1和refidxl1的两个候选被用于创建添加到最终列表(720，在右侧)中的组合双向预测merge候选。关于被认为生成这些附加merge候选的组合有很多规则。
83.插入零运动候选以填充merge候选列表中的其余条目，从而达到maxnummergecand的容量。这些候选具有零空域位移和从零开始并且每次将新的零运动候选添加到列表中时都会增加的参考图片索引。这些候选使用的参考帧的数目对于单向预测和双向预测分别是1帧和2帧。在一些实施例中，对这些候选不执行冗余检查。
84.1.2高级运动矢量预测(amvp)的实施例
85.amvp利用运动矢量与临近的pu的空时相关性，其用于运动参数的显式传输。首先通过检查左上方的时域临近的pu位置的可用性、去掉多余的候选位置并且加上零矢量以使候选列表长度恒定来构造运动矢量候选列表。然后，编解码器可以从候选列表中选择最佳的预测器，并发送指示所选候选的对应索引。与merge索引信令类似，最佳运动矢量候选的索引使用截断的一元进行编解码。在这种情况下，要编解码的最大值为2(见图8)。在后面的章节中，提供了关于运动矢量预测候选的推导处理的细节。
86.1.2.1推导amvp候选的示例
87.图8概括了运动矢量预测候选的推导过程，并可以对每个参考图片列表使用refidx作为输入来实现。
88.在运动矢量预测中，考虑了两种类型的运动矢量候选：空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选的推导，基于位于先前图2所示的五个不同位置的每个pu的运动矢量最终推导出两个运动矢量候选。
89.对于时域运动矢量候选的推导，从两个候选中选择一个运动矢量候选，这两个候选是基于两个不同的并置位置推导出的。在作出第一个空时候选列表后，移除列表中重复的运动矢量候选。如果潜在候选的数量大于二，则从列表中移除相关联的参考图片列表中参考图片索引大于1的运动矢量候选。如果空时运动矢量候选数小于二，则会在列表中添加附加的零运动矢量候选。
90.1.2.2构造空域运动矢量候选
91.在推导空域运动矢量候选时，在五个潜在候选中最多考虑两个候选，这五个候选来自先前图2所示位置上的pu，这些位置与运动merge的位置相同。当前pu左侧的推导顺序定义为a0、a1、以及缩放的a0、缩放的a1。当前pu上面的推导顺序定义为b0、b1,b2、缩放的b0、缩放的b1、缩放的b2。因此，每侧有四种情况可以用作运动矢量候选，其中两种情况不需要使用空域缩放，并且两种情况使用空域缩放。四种不同的情况概括如下：
92.‑‑
无空域缩放
93.(1)相同的参考图片列表，并且相同的参考图片索引(相同的poc)
94.(2)不同的参考图片列表，但是相同的参考图片(相同的poc)
95.‑‑
空域缩放
96.(3)相同的参考图片列表，但是不同的参考图片(不同的poc)
97.(4)不同的参考图片列表，并且不同的参考图片(不同的poc)
98.首先检查无空域缩放的情况，然后检查允许空域缩放的情况。当poc在临近pu的参考图片与当前pu的参考图片之间不同时，都会考虑空域缩放，而不考虑参考图片列表。如果左侧候选的所有pu都不可用或是内部编解码，则允许对上述运动矢量进行缩放，以帮助左侧和上方mv候选的平行推导。否则，不允许对上述运动矢量进行空域缩放。
99.如图9中的示例所示，对于空域缩放情况，以与时域缩放类似的方式缩放临近pu的运动矢量。一个区别是，给出当前pu的参考图片列表和索引作为输入；实际的缩放处理与时域缩放处理相同。
100.1.2.3构造时域运动矢量候选
101.除了参考图片索引的推导外，时域merge候选的所有推导过程与空域运动矢量候选的推导过程相同(如图6中的示例所示)。在一些实施例中，向解码器发参考图片索引的信令。
102.2.联合探索模型(jem)中帧间预测方法的示例
103.在一些实施例中，使用名为联合探索模型(jem)的参考软件来探索未来的视频编解码技术。在jem中，基于子块的预测被用于多种编解码工具中，诸如仿射预测、可选时域运动矢量预测(atmvp)、空时运动矢量预测(stmvp)、双向光流(bio)、帧速率上转换(fruc)、局部自适应运动矢量分辨率(lamvr)、重叠块运动补偿(obmc)、局部照明补偿(lic)和解码器侧运动矢量细化(dmvr)。
104.2.1基于的运动矢量预测示例
105.在具有四叉树加二叉树(qtbt)的jem中，每个cu对于每个预测方向最多可以具有一组运动参数。在一些实施例中，通过将大的cu分割成子cu并导出该大cu的所有子cu的运动信息，编解码器中考虑了两种子cu级的运动矢量预测方法。可选时域运动矢量预测(atmvp)方法允许每个cu从多个小于并置参考图片中当前cu的块中获取多组运动信息。在空时运动矢量预测(stmvp)方法中，通过利用时域运动矢量预测器和空域邻接运动矢量递归地导出子cu的运动矢量。在一些实施例中，为了保持子cu运动预测的更精确的运动场，可以禁用参考帧的运动压缩。
106.2.1.1可选时域运动矢量预测(atmvp)的示例
107.在atmvp方法中，通过从小于当前cu的块中提取多组运动信息(包括运动矢量和参考索引)，修改时域运动矢量预测(tmvp)方法。
108.图10示出了cu 1000的atmvp运动预测处理的示例。atmvp方法分两步预测cu 1000内子cu 1001的运动矢量。第一步是用时域矢量识别参考图片1050中的对应块1051。参考图片1050也被称为运动源图片。第二步是将当前的cu 1000划分为子cu 1001，并从每个子cu对应的块中获取每个子cu的运动矢量和参考索引。
109.在第一步中，参考图片1050和对应的块由当前cu 1000的空域临近块的运动信息确定。为了避免临近块的重复扫描处理，使用当前cu 1000的merge候选列表中的第一个merge候选。第一个可用的运动矢量及其相关联的参考索引被设置为时域矢量和运动源图片的索引。这样，与tmvp相比，可以更准确地识别对应的块，其中对应的块(有时称为并置
块)始终位于相对于当前cu的右下角或中心位置。
110.在第二步中，通过将时域矢量添加到当前cu的坐标中，通过运动源图片1050中的时域矢量识别子cu 1051的对应块。对于每个子cu，使用其对应块的运动信息(例如，覆盖中心样本点的最小运动网格)来导出子cu的运动信息。在识别出对应n
×
n块的运动信息后，将其转换为当前子cu的运动矢量和参考索引，与hevc的tmvp方法相同，其中应用运动缩放和其他处理。例如，解码器检查是否满足低延迟条件(例如，当前图片的所有参考图片的poc都小于当前图片的poc)，并可能使用运动矢量mvx(例如，与参考图片列表x对应的运动矢量)来为每个子cu预测运动矢量mvy(例如，x等于0或1且y等于1
‑
x)。
111.2.1.2空时运动矢量预测(stmvp)示例
112.在stmvp方法中，子cu的运动矢量按照光栅扫描顺序递归导出。图11示出具有四个子块和临近块的一个cu的示例。考虑8
×
8的cu 1100，其包括四个4
×
4子cu a(1101)、b(1102)、c(1103)和d(1104)。当前帧中临近的4
×
4块标记为a(1111)、b(1112)、c(1113)和d(1114)。
113.子cu a的运动推导由识别其两个空域邻居开始。第一个邻居是子cu a1101上方的n
×
n块(块c 1113)。如果该块c(1113)不可用或内部编解码，则检查子cu a(1101)上方的其他n
×
n块(从左到右，从块c 1113处开始)。第二个邻居是子cu a 1101左侧的一个块(块b 1112)。如果块b(1112)不可用或是内部编解码，则检查子cu a1101左侧的其他块(从上到下，从块b 1112处开始)。每个列表从临近块获得的运动信息被缩放到给定列表的第一个参考帧。接下来，按照hevc中规定的与tmvp相同的程序，推导出子块a 1101的时域运动矢量预测(tmvp)。提取块d 1104处的并置块的运动信息并进行相应的缩放。最后，在检索和缩放运动信息后，对每个参考列表分别平均所有可用的运动矢量。将平均运动矢量指定为当前子cu的运动矢量。
114.2.1.3子cu运动预测模式信令的示例
115.在一些实施例中，子cu模式作为附加的merge候选模式启用，并且不需要附加的语法元素来对该模式发信令。将另外两个merge候选添加到每个cu的merge候选列表中，以表示atmvp模式和stmvp模式。在其他实施例中，如果序列参数集指示启用了atmvp和stmvp，则最多可以使用七个merge候选。附加merge候选的编解码逻辑与hm中的merge候选的编解码逻辑相同，这意味着对于p或b条带中的每个cu，可能需要对两个附加merge候选进行两次额外的rd检查。在一些实施例中，例如jem，merge索引的所有二进制文件都由cabac(基于文本的自适应二进制算术编解码)进行上下文编解码的。在其他实施例中，例如hevc，只有第一个二进制文件是上下文编解码的，并且其余的二进制文件是上下文旁路编解码的。
116.2.2jem中局部照明补偿(lic)的示例
117.局部照明补偿(lic)基于用于照明变化的线性模型，使用比例因子a和偏移量b。并且其对每个帧间模式编解码的编解码单元(cu)自适应地启用或禁用。
118.当lic应用于cu时，采用最小二乘误差法，通过使用当前cu的临近样本点及其对应的参考样本点导出参数a和b。更具体地，如图12所示，使用参考图片中cu的子采样(2:1子采样)临近样本点和对应的样本点(由当前cu或子cu的运动信息识别)。
119.2.2.1预测块的推导
120.推导出ic参数并将其分别应用于每个预测方向。对于每个预测方向，用解码的运
动信息生成第一预测块，然后通过应用lic模型获得临时预测块。之后，使用两个临时预测块来导出最终预测块。
121.当使用merge模式对cu进行编解码时，以类似于merge模式下运动信息复制的方式从临近块复制lic标志；否则，将为cu信令通知lic标志，以指示lic是否适用。
122.当为图片启用lic时，需要附加的cu级rd检查来确定是否为cu应用lic。当对cu启用lic时，对于整数像素运动搜索和分数像素运动搜索，分别使用绝对差的平均去除和(mr
‑
sad)和绝对hadamard变换差的平均去除和(mr
‑
satd)，而不使用sad和satd。
123.为了降低编解码复杂度，在jem中应用以下编解码方案：当当前图片与其参考图片之间没有明显的照度变化时，对整个图片禁用lic。为了识别这种情况，在编解码器处计算当前图片的直方图和当前图片的每个参考图片的直方图。如果当前图片和当前图片的每个参考图片之间的直方图差小于给定阈值，则对当前图片禁用lic；否则，对当前图片启用lic。
124.2.3vvc中帧间预测的示例
125.存在几种新的用于帧间预测改进的编解码工具，诸如用于信令通知mvd的自适应运动矢量差分辨率(amvr)、仿射预测模式、三角预测模式(tpm)、atmvp、广义双向预测(gbi)、双向光流(bio)。
126.2.3.1vvc中编解码块结构的示例
127.在vvc中，采用四叉树/二叉树/多叉树(qt/bt/tt)结构，以将图像划分成正方形或矩形块。除qt/bt/tt外，对于i帧，vvc还采用了分离树(又称为双编解码树)。使用分离树，为亮度和色度分量分别信令通知编解码块结构。
128.2.3.2自适应运动矢量差分辨率的示例
129.在一些实施例中，当在条带标头中use_integer_mv_flag等于0时，运动矢量差(mvd)(在pu的运动矢量和预测运动矢量之间)以四分之一亮度样本点为单位发信令。在jem中，引入了局部自适应运动矢量分辨率(lamvr)。在jem中，mvd可以用四分之一亮度样本点、整数亮度样本点或四亮度样本点的单位进行编解码。mvd分辨率控制在编解码单元(cu)级别，并且mvd分辨率标志有条件地为每个至少有一个非零mvd分量的cu发信令。
130.对于具有至少一个非零mvd分量的cu，第一个标志将发信令以指示cu中是否使用四分之一亮度样本点mv精度。当第一个标志(等于1)指示不使用四分之一亮度样本点mv精度时，另一个标志发信令以指示是使用整数亮度样本点mv精度还是使用四亮度样本点mv精度。
131.当cu的第一个mvd分辨率标志为零或没有为cu编解码(意味着cu中的所有mvd都为零)时，cu使用四分之一亮度样本点mv分辨率。当一个cu使用整数亮度样本点mv精度或四亮度样本点mv精度时，该cu的amvp候选列表中的mvp将取整到对应的精度。
132.2.3.3仿射运动补偿预测的示例
133.在hevc中，仅将平移运动模型应用于运动补偿预测(mcp)。然而，相机和对象可能具有多种运动，例如放大/缩小、旋转、透视运动和/或其他不规则运动。在vvc中，采用4参数仿射模型和6参数仿射模型的简化仿射变换运动补偿预测。如图13a和13b所示，分别由两个(在使用变量a、b、e和f的4参数仿射模型中)或三个(在使用变量a、b、c、d、e和f的6参数仿射模型中)控制点运动矢量来描述块的仿射运动场。
134.分别用以下4参数仿射模型和6参数仿射模型的等式来描述块的运动矢量场(mvf)：
[0135][0136][0137]
其中(mv
h0
,mv
h0
)为左上控制点(cp)的运动矢量，并且(mv
h1
,mv
h1
)为右上角控制点的运动矢量，并且(mv
h2
,mv
h2
)为左下角控制点的运动矢量，(x，y)表示代表点相对于当前块内的左上样本点的代表点的坐标。cp运动矢量可以被信令通知(如在仿射amvp模式中)或者是动态地导出(如在仿射merge模式中)。w和h是当前块的宽度和高度。实际上，除法是通过带取整的右移操作来实现的。在vtm中，代表点被定义为子块的中心位置，例如，当子块的左上相对于当前块内的左上样本点的坐标为(xs，ys)时，代表点的坐标被定义为(xs 2，ys 2)。对于每个子块(例如，vtm中的4
×
4)，代表点被用于导出整个子块的运动矢量。
[0138]
图14示出了块1300的每个子块的仿射mvf的示例，其中为了进一步简化运动补偿预测，应用基于子块的仿射变换预测。为了得到每个m
×
n子块的运动矢量，可以根据等式(1)和(2)计算每个子块的中心样本点的运动矢量，并取整到运动矢量分数精度(例如，jem中的1/16)。然后应用运动补偿插值滤波器，利用导出的运动矢量生成各子块的预测。通过仿射模式介绍了1/16像素的插值滤波器。在mcp之后，将每个子块的高精度运动矢量取整，并保存为与常规运动矢量相同的精度。
[0139]
2.3.3.1仿射预测的信令的示例
[0140]
与平移运动模型类似，仿射预测也有两种模式用于信令通知侧面信息。它们是affine_inter模式和affine_merge模式。
[0141]
2.3.3.2af_inter模式的示例
[0142]
对于宽度和高度都大于8的cu，可以应用af_inter模式。在比特流中，cu级别的仿射标志被信令通知，以指示是否使用af_inter模式。
[0143]
在此模式中，对于每个参考图片列表(列表0或列表1)，按照以下顺序用三种类型的仿射运动预测器构造仿射amvp候选列表，其中每个候选包括当前块的估计的cpmv。信令通知在编解码器侧发现的最佳cpmv的差(例如图17中的mv0mv1mv2)、以及估计的cpmv。此外，进一步信令通知从中导出估计的cpmv的仿射amvp候选的索引。
[0144]
1)继承的仿射运动预测器
[0145]
检查顺序与在hevc amvp列表构造中空域mvp的检查顺序相似。首先，从{a1，a0}中的第一个块导出左继承的仿射运动预测器，该块是仿射编解码的，并且具有与当前块相同的参考图片。其次，从{b1，b0，b2}中的第一块导出上述继承的仿射运动预测器，该块是仿射编解码的，并且具有与当前块相同的参考图片。图16描绘了五个块a1、a0、b1、b0、b2。
[0146]
一旦发现临近块是仿射编解码的，则利用覆盖临近块的编解码单元的cpmv来推导
当前块的cpmv的预测器。例如，如果a1用非仿射模式编解码，并且a0用4参数仿射模式编解码，则将从a0导出左侧继承的仿射mv预测器。在这种情况下，覆盖a0的cu的cpmv(如图18b中表示为的左上cpmv和表示为的右上cpmv)被用于导出当前块的估计的cpmv(表示为的当前块的左上(坐标为(x0，y0))、右上(坐标为(x1，y1))和右下(坐标为(x2，y2))位置)。
[0147]
2)构造的仿射运动预测器
[0148]
如图17所示，构造的仿射运动预测器由从具有相同参考图片的临近帧间编解码块导出的控制点运动矢量(cpmv)组成。如果当前仿射运动模型为4参数仿射，则cpmv的数量为2；否则，如果当前仿射运动模型为6参数仿射，则cpmv的数量为3。左上cpmv由组{a，b，c}中的第一个块处的mv导出，该块帧间编解码的，并且具有与当前块相同的参考图片。右上cpmv由组{d，e}中的第一个块处的mv导出，该块是帧间编解码的，并且具有与当前块相同的参考图片。左下cpmv由组{f，g}中第一个块处的mv导出，该是帧间编解码的，并且具有与当前块相同的参考图片。
[0149]
如果当前仿射运动模型是4参数仿射，则只有当和两者都被找到(也就是说，和被用作当前块的左上(坐标为(x0，y0))和右上(坐标为(x1，y1))位置的估计的cpmv)时，将构造的仿射运动预测器插入候选列表。
[0150]
如果当前仿射运动模型是6参数仿射，则只有当和都被找到(也就是说，和被用作当前块的左上(坐标为(x0，y0))、右上(坐标为(x1，y1))和右下(坐标为(x2，y2))位置的估计的cpmv)时，将构造的仿射运动预测器插入候选列表。
[0151]
在将构造的仿射运动预测器插入候选列表中时，不应用剪切处理。
[0152]
3)常规amvp运动预测器
[0153]
以下适用，直到仿射运动预测器的数量达到最大值。
[0154]
1)如果可用，通过将所有cpmv设置为等于来导出仿射运动预测器。
[0155]
2)如果可用，通过将所有cpmv设置为等于来导出仿射运动预测器。
[0156]
3)如果可用，通过将所有cpmv设置为等于来导出仿射运动预测器。
[0157]
4)如果可用，通过将所有cpmv设置为等于hevc tmvp来导出仿射运动预测器。
[0158]
5)通过将所有cpmv设置为等于零mv来导出仿射运动预测器。
[0159]
注意，已在构造的仿射运动预测器中导出
[0160]
在af_inter模式中，当使用4/6参数仿射模式时，需要2/3个控制点，并且因而需要为这些控制点编解码2/3个mvd，如图15a和15b所示。在现有实现中，可如下推导mv，例如，从mvd0预测mvd1和mvd2。
[0161][0162][0163]
[0164]
其中，mvd
i
和mv1分别是左上像素(i＝0)、右上像素(i＝1)或左下像素(i＝2)的预测运动矢量、运动矢量差和运动矢量，如图15b所示。在一些实施例中，两个运动矢量的相加(例如，mva(xa，ya)和mvb(xb，yb))分别等于两个分量的总和。例如，newmv＝mva mvb意味着将newmv的两个分量分别设置为(xa xb)和(ya yb)。
[0165]
2.3.3.3af_merge模式的示例
[0166]
当在af_merge模式中应用cu时，它从有效的临近重构块中获得以仿射模式编解码的第一个块。并且候选块的选择顺序是从左、上、右上、左下到左上，如图18a所示(依次表示为a、b、c、d、e)。例如，如果临近左下块用仿射模式编解码(如图18b中a0表示的)，则提取包含块a的临近cu/pu的左上、右上和左下的控制点(cp)运动矢量mv
0n
,mv
1n
和mv
2n
。并且基于mv
0n
,mv
1n
和mv
2n
计算当前cu/pu左上/右上/左下的运动矢量mv
0c
,mv
1c
和mv
2c
(仅用于6参数仿射模型)，需要注意的是，在vtm
‑
2.0中，如果当前块是仿射编解码的，则位于左上角的子块(例如，vtm中的4
×
4块)存储mv0，位于右上角的子块存储mv1。如果当前块用6参数仿射模型编解码，则位于左下角的子块存储mv2；否则(用4参数仿射模型)，lb存储mv2'。其他子块存储用于mc的mv。
[0167]
在根据等式(1)和(2)中的仿射运动模型计算出当前cu的cpmv v0和v1之后，可以生成当前cu的mvf。为了识别当前cu是否以af_merge模式编解码，当至少一个临近块以仿射模式编解码时，可在比特流中信令通知仿射标志。
[0168]
在一些实施例中(例如，jvet
‑
l0142和jvet
‑
l0632)，可用以下步骤来构造仿射merge候选列表：
[0169]
1)插入继承的仿射候选
[0170]
继承仿射候选是指该候选是从其有效临近仿射编解码块的仿射运动模型导出的。从临近块的仿射运动模型中导出最大的两个仿射候选并插入候选列表中。对于左侧预测器，扫描顺序是{a0，a1}；对于上方预测，扫描顺序是{b0，b1，b2}。
[0171]
2)插入构造的仿射候选
[0172]
如果仿射merge候选列表中的候选数量小于maxnumaffinecand(在本文中设为5)，则将构造仿射候选插入候选列表中。构造仿射候选是指该候选是通过组合每个控制点的临近运动信息构造的。
[0173]
a)首先从图19所示的规定的空域邻居和时域邻居导出控制点的运动信息。cpk(k＝1,2,3,4)表示第k个控制点。a0,a1,a2,b0,b1,b2和b3是用于预测cpk(k＝1,2,3)的空域位置；t是用于预测cp4的时域位置。
[0174]
cp1、cp2、cp3和cp4的坐标分别为(0，0)，(w，0)，(h，0)和(w，h)，其中w和h是当前块的宽度和高度。
[0175]
按照以下优先顺序获得每个控制点的运动信息：
[0176]
对于cp1，检查优先级为b2
‑
>b3
‑
>a2。如果b2可用，则使用b2。否则，如果b2不可用，则使用b3。如果b2和b3都不可用，则使用a2。如果三个候选都不可用，则无法获得cp1的运动信息。
[0177]
对于cp2，检查优先级为b1
‑
>b0；
[0178]
对于cp3，检查优先级为a1
‑
>a0；
[0179]
对于cp4，使用t。
[0180]
b)其次，使用控制点的组合来构造仿射merge候选。
[0181]
i.需要三个控制点的运动信息来构造6参数仿射候选。可以从以下四个组合中的一个来选择这三个控制点({cp1，cp2，cp4}，{cp1，cp2，cp3}，{cp2，cp3，cp4}，{cp1，cp3，cp4})。组合{cp1,cp2,cp3},{cp2,cp3,cp4},{cp1,cp3,cp4}将被转换到由左上、右上和左下控制点表示的6参数运动模型。
[0182]
ii.需要两个控制点的运动信息来构造4参数仿射候选。可以从以下六个组合中的一个来选择这两个控制点({cp1,cp4},{cp2,cp3},{cp1,cp2},{cp2,cp4},{cp1,cp3},{cp3,cp4})。组合{cp1,cp4},{cp2,cp3},{cp2,cp4},{cp1,cp3},{cp3,cp4}将被转换到由左上和右上控制点表示的4参数运动模型。
[0183]
iii.按以下顺序将构造仿射候选的组合插入到候选列表中：
[0184]
{cp1,cp2,cp3},{cp1,cp2,cp4},{cp1,cp3,cp4},{cp2,cp3,cp4},{cp1,cp2},{cp1,cp3},{cp2,cp3},{cp1,cp4},{cp2,cp4},{cp3,cp4}。
[0185]
i.对于组合的参考列表x(x为0或1)，选择控制点中使用率最高的参考索引作为列表x的参考索引，并缩放指向差参考图片的运动矢量。
[0186]
在导出候选之后，执行完整修剪处理以检查是否已将相同候选插入到列表中。如果存在相同的候选，则丢弃导出的候选。
[0187]
3)填充零运动矢量
[0188]
如果仿射merge候选列表中的候选数量小于5，则在候选列表中插入具有零参考索引的零运动矢量，直到列表满为止。
[0189]
更具体地，对于子块merge候选列表，4参数merge候选的mv设置为(0，0)且预测方向设置为来自列表0的单向预测(对于p条带)和双向预测(对于b条带)。
[0190]
2.3.4运动矢量差merge(mmvd)的示例
[0191]
在jvet
‑
l0054中，提出了最终运动矢量表达(umve，也称为mmvd)。umve与提出的运动矢量表达方法被用于跳过或merge模式。
[0192]
umve重用与vvc中常规merge候选列表中包含的merge候选相同的merge候选。在merge候选中，可以选择基础候选，并通过所提出的运动矢量表达方法进一步扩展。
[0193]
umve提供了一种新的运动矢量差(mvd)表示方法，其中使用起点、运动幅度和运动方向来表示mvd。
[0194]
这个提出的技术按原样使用merge候选列表。但是只有默认merge类型(mrg_type_default_n)的候选才被考虑用于umve的扩展。
[0195]
基础候选索引定义了起点。基础候选索引指示列表中候选的最佳候选，如下所示。
[0196]
表1基础候选idx
[0197][0198][0199]
如果基础候选的数量等于1，则不信令通知基础候选idx。
[0200]
距离索引是运动幅度信息。距离索引指示距离起点信息的预定义的距离。预定义的距离如下所示：
[0201]
表2距离idx
[0202][0203]
方向索引表示mvd相对于起点的方向。方向索引可以表示如下所示的四个方向。
[0204]
表3方向idx
[0205]
方向idx00011011x
‑
轴
–
n/an/ay
‑
轴n/an/a
–
[0206]
在一些实施例中，在发送跳过标志或merge标志之后立即信令通知umve标志。如果跳过或merge标志为真，则解析umve标志。如果umve标志等于1，则解析umve语法。但是，如果不是1，则解析仿射标志。如果仿射标志等于1，则是仿射模式，但是，如果不是1，则解析vtm的跳过/merge模式的跳过/merge索引。
[0207]
由于umve候选而导致的附加线缓冲器是不需要的。因为软件的跳过/merge候选被直接用作基础候选。通过使用输入umve索引，在运动补偿前判定mv的补充。不需要为此保留长线缓冲器。
[0208]
在当前普通测试条件下，可以选择merge候选列表中的第一个或第二个merge候选作为基础候选。
[0209]
2.3.5解码器侧运动矢量细化(dmvr)的示例
[0210]
在双向预测操作中，对于一个块区域的预测，将分别使用列表0的运动矢量(mv)和列表1的mv形成的两个预测块组合以形成单个预测信号。在解码器侧运动矢量细化(dmvr)方法中，进一步细化双向预测的两个运动矢量。
[0211]
在jem设计中，通过双边模板匹配处理对运动矢量进行细化。将双边模板匹配应用在解码器中，以在双边模板和参考图片中的重构样本点之间执行基于失真的搜索，以便在不传输附加运动信息的情况下获得细化的mv。图22示出了一个示例。如图22所示，从分别来自列表0的初始mv0和列表1的mv1，将双边模板生成为两个预测块的加权组合(即平均值)。模板匹配操作包括计算生成的模板与参考图片中的样本点区域(围绕初始预测块)之间的成本度量。对于两个参考图片中的每一个，产生最小模板成本的mv被视为该列表的更新的mv以替换初始mv。在jem中，为每个列表搜索九个mv候选。九个mv候选包括原始mv和8个周围mv，其中一个亮度样本点在水平或垂直方向上、或者在水平和垂直方向二者上偏移到原始mv。最后，将图22所示的两个新mv(即mv0’和mv1’)用于生成最终的双向预测结果。使用绝对差之和(sad)作为成本度量。应当注意的是，当计算由一个周围mv生成的预测块的成本时，实际使用取整的mv(到整数像素)而不是真实的mv来获得预测块。
[0212]
为了进一步简化dmvr的处理，jvet
‑
m0147提出了对jem中设计的几种修改。更具体地，vtm
‑
4.0采用的dmvr设计(即将发布)具有以下主要特点：
[0213]
·
列表0和列表1之间具有(0,0)位置sad的早期终止；
[0214]
·
dmvr的块尺寸w*h>＝64&&h>＝8；
[0215]
·
对于cu尺寸>16*16的dmvr，将cu划分为多个16x16子块；
[0216]
·
参考块尺寸(w 7)*(h 7)(对于亮度)；
[0217]
·
基于25点sad的整数像素搜索(即(
‑
)2细化搜索范围，单级)；
[0218]
·
基于双线性插值的dmvr；
[0219]
·
列表0和列表1之间的mvd镜像。以允许双边匹配；
[0220]
·
基于“参数误差曲面方程”的子像素细化；
[0221]
·
具有参考块填充(如果需要)的亮度/色度mc；
[0222]
·
细化的mv仅用于mc和tmvp。
[0223]
2.3.6组合帧内帧间预测(ciir)的示例
[0224]
在jvet
‑
l0100中，提出了多假设预测，其中组合帧内帧间预测是产生多假设的一种方法。
[0225]
当应用多假设预测来改进帧内模式时，多假设预测将一个帧内预测和一个merge索引预测组合。在merge cu中，当标志为真时，为merge模式信令通知一个标志，以从帧内候选列表中选择帧内模式。对于亮度分量，从包括dc、平面、水平和垂直4种帧内预测模式中导出帧内候选列表，并且帧内候选列表的尺寸可以是3或4，具体取决于块的形状。当cu宽度大于cu高度的两倍时，帧内模式列表不包括水平模式，并且当cu高度大于cu宽度的两倍时，帧内模式列表不包括垂直模式。使用加权平均将由帧内模式索引选择的一个帧内预测模式和由merge索引选择的一个merge索引预测组合起来。对于色度分量，总是在没有额外信令的情况下应用dm。组合预测的权重描述如下。当选择dc或平面模式、或cb宽度或高度小于4时，应用相等的权重。对于cb宽度和高度大于或等于4的cb，当选择水平/垂直模式时，首先将一个cb垂直/水平地划分为四个相等的区域。将表示为(w_intra
i
,w_inter
i
)的每个权重集应用于对应区域，其中i是从1到4，并且(w_intra1,w_inter1)＝(6,2),(w_intra2,w_inter2)＝(5,3),(w_intra3,w_inter3)＝(3,5),并且(w_intra4,w_inter4)＝(2,6)。将(w_intra1,w_inter1)用于最接近参考样本点的区域，并且(w_intra4,w_inter4)用于最远离参考样本点的区域。然后，通过将两个加权预测相加并右移3位，可以计算出组合预测。此外，预测因子的帧内假设的帧内预测模式可以被保存，以供后续临近cu参考。
[0226]
2.4 jvet
‑
m0427中的环内整形(ilr)
[0227]
环内整形器(ilr)的基本思想是将原始(在第一域)信号(预测/重构信号)转换到第二域(整形域)。
[0228]
环内亮度整形器被实现为一对查找表(lut)，但是两个lut中只有一个需要被信令通知，因为另一个lut可以从信令通知的lut中计算出来。每个lut是一维的、10比特的、1024个条目的映射表(1d
‑
lut)。一个lut是前向lut fwdlut，它将输入的亮度代码值y
i
映射到更改的值y
r
：y
r
＝fwdlut[y
i
]。另一个lut是反向lut invlut，它将更改的代码值y
r
映射到(表示y
i
的重构值)。
[0229]
2.4.1分段线性(pwl)模型
[0230]
在一些实施例中，分段线性(pwl)的实现方式如下：
[0231]
设x1，x2为两个输入轴点，并且y1，y2为一段的对应输出轴点。在x1和x2之间的任何输入值x的输出值y可以通过以下等式进行插值：
[0232]
y＝((y2
‑
y1)/(x2
‑
x1))*(x
‑
x1) y1
[0233]
在定点实现中，该等式可以重写为：
[0234]
y＝((m*x 2
fp_prec
‑1)>>fp_prec) c
[0235]
其中m是标量，c是偏移，并且fp_prec是用于指定精度的常量值。
[0236]
注意，在ce
‑
12软件中，pwl模型用于预计算1024个条目的fwdlut和invlut映射表；但是pwl模型还允许实现在不预先计算lut的情况下动态计算等同的映射值。
[0237]
2.4.2测试ce12
‑2[0238]
2.4.2.1亮度整形
[0239]
环内亮度整形(即，提议中的ce12
‑
2)的测试2提供了一种较低复杂度的管道，该管道还消除了条带间重构中分块帧内预测的解码延迟。对于帧间和帧内条带，帧内预测都在整形域中执行。
[0240]
不管条带类型如何，帧内预测总是在整形域中执行。通过这样的布置，帧内预测可以在先前的tu重构完成后立即开始。这种布置还可以为帧内模式提供统一的而不是取决于条带的处理。图23示出了基于模式的ce12
‑
2解码处理的框图。
[0241]
ce12
‑
2也测试亮度和色度残差缩放的16段分段线性(pwl)模型，而不是ce12
‑
1的32段分段pwl模型。
[0242]
用ce12
‑
2中的环内亮度整形器进行条带间重构(浅绿色阴影块指示整形域中的信号：亮度残差；帧内亮度预测的；以及帧内亮度重构的)。
[0243]
2.4.2.2取决于亮度的色度残差缩放(lcrs)
[0244]
取决于亮度的色度残差缩放是用定点整数运算实现的乘法处理。色度残差缩放补偿了亮度信号与色度信号的相互作用。色度残差缩放在tu级应用。更具体地，以下适用：
[0245]
对于帧内，平均重构亮度。
[0246]
对于帧间，平均预测亮度。
[0247]
平均值被用于识别pwl模型中的索引。该索引标识缩放因子cscaleinv。色度残差乘以该数字。
[0248]
应当注意的是，色度缩放因子是从前向映射的预测亮度值而不是重构亮度值计算出的。
[0249]
2.4.2.3 ilr边信息的信令
[0250]
在片组标头(类似于alf)中发送参数(当前)。这些需要40
‑
100比特。下表基于jvet
‑
l1001的版本9。添加的语法以大黑体字体示出。使用[[删除部分]]包围的加粗双方括号示出删除。
[0251]
在7.3.2.1序列参数集rbsp语法中：
[0252][0253]
在7.3.3.1通用片组标头语法中：
[0254][0255][0256]
添加新的语法表
‑
片组整形模型：
[0257][0258]
在通用序列参数集rbsp语义中，添加以下语义：
[0259]
sps_reshaper_enabled_flag等于1指定在编解码视频序列(cvs)中使用整形器。sps_reshaper_enabled_flag等于0指定在cvs中不使用整形器。
[0260]
在片组标头语法中，添加以下语义：
[0261]
tile_group_reshaper_model_present_flag等于1指定片组标头中存在tile_group_reshaper_model()。tile_group_reshaper_model_present_flag等于0指定片组标头中不存在tile_group_reshaper_model()。当tile_group_reshaper_model_present_flag不存在时，推断它等于0。
[0262]
tile_group_reshaper_enabled_flag等于1指定为当前片组启用整形器。tile_group_reshaper_enabled_flag等于0指定不为当前片组启用整形器。当tile_group_reshaper_enable_flag不存在时，推断它等于0。
[0263]
tile_group_reshaper_chroma_residual_scale_flag等于1指定为当前片组启用色度残差缩放。tile_group_reshaper_chroma_residual_scale_flag等于0指定不为当前片组启用色度残差缩放。当tile_group_reshaper_chroma_residual_scale_flag不存在时,推断它等于0。
[0264]
添加tile_group_reshaper_model()语法：
[0265]
reshape_model_min_bin_idx指定将在整形器重构处理中使用的最小二进制数(bin)(或段)。reshape_model_min_bin_idx的值应在0至maxbinidx的范围内(包括0和maxbinidx)。maxbinidx的值应当等于15。
[0266]
reshape_model_delta_max_bin_idx指定将在整形器重构处理中使用的最大二进制数(bin)(或段)。将reshape_model_max_bin_idx的值设置为等于maxbinidx
–
reshape_model_delta_max_bin_idx。
[0267]
reshaper_model_bin_delta_abs_cw_prec_minus1加1指定用于语法reshape_model_bin_delta_abs_cw[i]的表示的比特数。
[0268]
reshape_model_bin_delta_abs_cw[i]指定第i个二进制数的绝对增量码字值。
[0269]
reshaper_model_bin_delta_sign_cw_flag[i]指定reshape_model_bin_delta_abs_cw[i]的符号，如下所示：
[0270]
如果reshape_model_bin_delta_sign_cw_flag[i]等于0,则对应的变量rspdeltacw[i]为正值。
[0271]
否则(reshape_model_bin_delta_sign_cw_flag[i]不等于0),则对应的变量rspdeltacw[i]为负值。
[0272]
当reshape_model_bin_delta_sign_cw_flag[i]不存在时,推断它等于0。变量rspdeltacw[i]＝(1
‑
2*reshape_model_bin_delta_sign_cw[i])*reshape_model_bin_delta_abs_cw[i]。
[0273]
按以下步骤导出变量rspcw[i]：
[0274]
将变量orgcw设置为等于(1<<bitdepth
y
)/(maxbinidx 1)。
[0275]
如果reshaper_model_min_bin_idx<＝i<＝reshaper_model_max_bin_idx
[0276]
则rspcw[i]＝orgcw rspdeltacw[i]。
[0277]
否则，rspcw[i]＝0。
[0278]
如果bitdepth
y
的值等于10，则rspcw[i]的值应当在32至2*orgcw
‑
1的范围内。
[0279]
变量inputpivot[i](其中i在0到maxbinidx 1的范围内，包括0和maxbinidx 1)导出为inputpivot[i]＝i*orgcw。
[0280]
变量reshapepivot[i](其中i在0到maxbinidx 1的范围内，包括0和maxbinidx 1)、变量scalecoef[i]和invscalecoeff[i](其中i在0到maxbinidx的范围内，包括0和maxbinidx)推导如下：
[0281][0282]
变量chromascalecoef[i](其中i在0到maxbinidx的范围内，包括0和maxbinidx)可以推导如下：
[0283]
chromaresidualscalelut[64]＝{16384,16384,16384,16384,16384,16384,16384,8192,8192,8192,8192,5461,5461,5461,5461,4096,4096,4096,4096,3277,3277,3277,3277,2731,2731,2731,2731,2341,2341,2341,2048,2048,2048,1820,1820,1820,1638,1638,1638,1638,1489,1489,1489,1489,1365,1365,1365,1365,1260,1260,1260,1260,1170,1170,1170,1170,1092,1092,1092,1092,1024,1024,1024,1024}；
[0284][0285]
2.4.2.4 ilr的使用
[0286]
在编码器侧，首先将每个图片(或片组)都转换到整形域。并且在整形域中执行所有编码处理。对于帧内预测，临近块位于整形域中；对于帧间预测，首先将参考块(从解码图片缓冲器的原始域生成的)转换到整形域。然后生成残差并将其编码到比特流。
[0287]
在整个图片(或片组)完成编码/解码后，将整形域中的样本点转换到原始域，然后应用去块滤波器和其他滤波器。
[0288]
在以下情况下，对预测信号的前向整形被禁用。
[0289]
当前块是帧内编解码的；
[0290]
当前块被编解码为cpr(当前图片参考，也称为帧内块复制，ibc)；
[0291]
当前块被编解码为组合帧间帧内模式(ciip)，并且为帧内预测块禁用前向整形。
[0292]
jvet
‑
n0805
[0293]
在jvet
‑
n0805中，为了避免在片组标头中信令通知ilr的边信息，提出在aps中信令通知它们。它包括以下主要思想：
[0294]
‑
任选地，在sps中发送lmcs参数。
[0295]
‑
为alf和lmcs参数定义aps类型。每个aps只有一种类型。
[0296]
‑
在aps中发送lmcs参数。
[0297]
‑
如果启用了lmcs工具，则在tgh中有标志，以指示lmcs aps_id是否存在。如果未信令通知，则使用sps参数。
[0298]
*需要添加语义约束，以在启用工具时始终具有被参考的有效内容。
[0299]
2.5.2.5.1 jvet
‑
m1001(vvc工作草案4)上的建议设计的实现
[0300][0301]
sps_lmcs_enabled_flag等于1指定在编解码视频序列(cvs)中使用亮度映射与色度缩放。sps_lmcs_enabled_flag等于0指定在cvs中不使用亮度映射与色度缩放。
[0302]
sps_lmcs_default_model_present_flag等于1指定该sps中存在默认lmcs数据。sps_lmcs_default_model_flag等于0指定该sps中不存在默认lmcs数据。当不存在时，sps_lmcs_default_model_present_flag的值被推断为等于0。
[0303][0304]
aps_params_type指定aps中携带的aps参数的类型，如下表所定义：
[0305]
表7
‑
x aps参数类型代码和aps参数类型
[0306]
[0307][0308]
在第3条中添加以下定义：
[0309]
alf aps：aps_params_type等于alf_aps的aps。
[0310]
lmcs aps：aps_params_type等于lmcs_aps的aps。
[0311]
进行以下语义更改：
[0312]
...
[0313]
tile_group_alf_aps_id指定片组所参考的alf aps的adaptation_parameter_set_id。adaptation_parameter_set_id等于tile_group_alf_aps_id的alf aps nal单元的temporalid应当小于或等于编解码的片组nal单元的temporalid。
[0314]
当具有相同的adaptation_parameter_set_id值的多个alf aps被同一图片的两个或多个片组参考时，具有相同的adaptation_parameter_set_id值的多个alf aps应当具有相同的内容。
[0315]
...
[0316]
[[tile_group_reshaper_model_present_flag等于1指定tile_group_reshaper_model()存在于片组标头中。tile_group_reshaper_model_present_flag等于0指定tile_group_reshaper_model()不存在于片组标头中。当tile_group_reshaper_model_present_flag不存在时，将其推断为等于0。]]
[0317]
tile_group_lmcs_enabled_flag等于1指定为当前片组启用亮度映射与色度缩放。tile_group_lmcs_enabled_flag等于0指定不为当前片组启用亮度映射与色度缩放。当tile_group_lmcs_enable_flag不存在时，将其推断为等于0。
[0318]
tile_group_lmcs_use_default_model_flag等于1指定片组的亮度映射与色度缩放操作使用默认lmcs模型。tile_group_lmcs_use_default_model_flag等于0指定片组的
亮度映射与色度缩放操作使用由tile_group_lmcs_aps_id参考的lmcs aps中的lmcs模型。当tile_group_reshaper_use_default_model_flag不存在时，将其推断为等于0。
[0319]
tile_group_lmcs_aps_id指定片组参考的lmcs aps的adaptation_parameter_set_id。adaptation_parameter_set_id等于tile_group_lmcs_aps_id的lmcs aps nal单元的temporalid应小于或等于编解码片组nal单元的temporalid。
[0320]
当具有相同的adaptation_parameter_set_id值的多个lmcs aps被同一图片的两个或多个片组参考时，具有相同的adaptation_parameter_set_id值的多个lmcs aps应当具有相同的内容。
[0321]
tile_group_chroma_residual_scale_flag等于1指定为当前片组启用色度残差缩放。tile_group_chroma_residual_scale_flag等于0指定不为当前片组启用色度残差缩放。当tile_group_chroma_residual_scale_flag不存在时，推断它等于0。
[0322]
2.4.2.6 jvet
‑
n0138
[0323]
本文提出了用于携带整形模型参数和alf参数的自适应参数集(aps)的扩展应用。在上一次会议中，决定通过避免多个片组中参数的不必要的冗余信令，由aps而不是片组标头来携带alf参数，以提高编解码效率。基于相同的原因，提出了由aps而不是片组标头来携带整形模型参数。为了识别aps中的参数类型(至少是alf或整形模型)，aps语法中需要aps类型信息和aps id。
[0324]
自适应参数集语法和语义
[0325][0326]
adaptation_parameter_set_type标识asp中参数的类型。adaptation_parameter_set_type的值应在0到1的范围内(包括0和1)。如果adaptation_parameter_set_type等于0，则信令通知alf参数。否则，将信令通知整形模型参数。
[0327]
通用片组标头语法和语义
[0328][0329]
2.5虚拟管道数据单元(vpdu)
[0330]
虚拟管道数据单元(vpdu)被定义为图片中不重叠的mxm亮度(l)/nxn色度(c)单元。在硬件解码器中，由多个管道级同时处理连续的vpdu；不同的级同时处理不同的vpdu。在大多数管道级中，vpdu尺寸大致与缓冲器尺寸成比例，因此保持vpdu的尺寸小是很重要的。在hevc硬件解码器中，将vpdu尺寸设置为最大变换块(tb)尺寸。将最大tb尺寸从32x32
‑
l/16x16
‑
c(如在hevc中)增大到64x64
‑
l/32x32
‑
c(如在当前vvc中)可以带来编解码增益，与hevc相比，得到4倍的vpdu尺寸(64x64
‑
l/32x32
‑
c)。然而，除了四叉树(qt)编解码单元(cu)分割外，vvc还采用了三叉树(tt)和二叉树(bt)来实现额外的编解码增益，可以将tt和bt划分递归地应用于128x128
‑
l/64x64
‑
c编解码树块(ctu)，与hevc相比，得到16倍的vpdu尺寸(128x128
‑
l/64x64
‑
c)。
[0331]
在vvc的当前设计中，vpdu的尺寸被定义为64x64
‑
l/32x32
‑
c。
[0332]
2.6自适应参数集
[0333]
vvc采用自适应参数集(aps)来携带alf参数。片组标头包含启用alf时有条件地存在的aps_id。aps包含aps_id和alf参数。为aps(来自jvet
‑
m0132)分配新的nut(nal单元类型，如在avc和hevc中)值。对于vtm
‑
4.0中的常规测试条件(即将出现)，提出仅使用aps_id＝0并将aps与每个图片一起发送。目前，aps id值的范围是0
…
31，并且可以跨图片共享aps(并且在图片中的不同片组中aps可以不同)。当存在时，id值应为固定长度编解码的。在相同图片中，不能将id值与不同的内容重复使用。
[0334]
2.7相关工具
[0335]
2.7.1扩散滤波器(df)
[0336]
在jvet
‑
l0157中，提出了扩散滤波器，其中可以用扩散滤波器进一步修改cu的帧内/帧间预测信号。
[0337]
均匀扩散滤波器。均匀扩散滤波器是通过将预测信号与固定掩模(给出为h
i
或h
iv
)卷积来实现的，定义如下。除了预测信号本身之外，块的左侧和上方的一行重构样本点被用作滤波信号的输入，其中在帧间块上可以避免使用这些重构样本点。
[0338]
让pred作为通过帧内或运动补偿预测获得的给定块上的预测信号。为了处理滤波器的边界点，需要将预测信号扩展为预测信号pred
ext
。这种扩展的预测可以通过两种方式形成：作为中间步骤，向预测信号添加块左侧或上方的一行重构样本点，然后在所有方向上
镜像所得的信号；可选地，在所有方向上只镜像预测信号本身。后一种扩展用于帧间块。在这种情况下，只有预测信号本身包括扩展预测信号pred
ext
的输入。
[0339]
如果将要使用滤波器h
i
，则提出使用上述边界扩展，用h
i
*pred来替换预测信号pewd。这里，滤波器掩模h
i
为：
[0340][0341]
如果将要使用滤波器h
iv
，则提出用h
iv
*pred来替换预测信号pred。
[0342]
这里，滤波器h
iv
为h
iv
＝h
i
*h
i
*h
i
*h
i
。
[0343]
定向扩散滤波器。不是使用信号自适应扩散滤波器、定向滤波器，而是使用水平滤波器h
hor
和垂直滤波器h
ver
，它们仍然有固定的掩模。更准确地说，对应于先前章节的掩模h
i
的均匀扩散滤波仅限于沿垂直或沿水平方向应用。通过将固定滤波器掩模
[0344][0345]
应用于预测信号来实现垂直滤波器，并且通过使用倒置的掩模来实现垂直滤波器。
[0346]
2.7.2双边滤波器(bf)
[0347]
在jvet
‑
l0406中提出了双边滤波器，并且通常将它应用于具有非零变换系数、并且条带量化参数大于17的亮度块。因此，无需信令通知双边滤波器的使用。如果应用双边滤波器，则在逆变换后立即对解码样本点执行。此外，从编解码信息中显式地导出滤波器参数(即权重)。
[0348]
将滤波处理定义为：
[0349][0350]
其中，p
0,0
是当前样本点的强度，并且p
′
0,0
是当前样本点的修正强度，p
k,0
和w
k
分别是第k个临近样本点的强度和权重参数。图24描绘了一个当前样本点及其四个临近样本点(即k＝4)的示例。
[0351]
更具体地，与第k个临近样本点相关联的权重w
k
(x)定义如下：
[0352]
w
k
(x)＝distance
k
×
range
k
(x)
ꢀꢀ
(2)
[0353]
其中
[0354]
并且
[0355]
其中，σ
d
取决于编解码模式和编解码块尺寸。当tu被进一步划分时，所描述的滤波处理被应用于帧内编解码块和帧间编解码块，以启用并行处理。
[0356]
为了更好地捕获视频信号的统计特性，并提高滤波器的性能，用σ
d
参数调整由等式(2)得到的权重函数，如表4所示，其取决于编解码模式和块分割的参数(最小尺寸)。
[0357]
表4不同块尺寸和编解码模式的σ
d
的值
[0358]
最小(块宽度、块高度)帧内模式帧间模式4826287252其它5232
[0359]
为了进一步提高编解码性能，对于帧间编解码的块，当tu未划分时，用覆盖当前样本点和临近样本点的两个窗口之间的代表性强度差来代替当前样本点与其一个临近样本点之间的强度差。因此，将滤波处理的等式修正为：
[0360][0361]
其中，p
k,m
和p
0,m
分别表示以p
k,0
和p
0,0
为中心的窗口中的第m个样本点。在本提案中，将窗口尺寸设置为3
×
3。覆盖p
2,0
和p
0,0
的两个窗口如图25所示。
[0362]
2.7.3 hadamard变换域滤波器(hf)
[0363]
在jvet
‑
k0068中，在重构后应用于cu级的1d
‑
hadamard变换域中的环内滤波器实现了无乘法运算。将所提出的滤波器应用于满足预定义的条件的所有cu块，并且滤波器参数是从编解码信息中导出的。
[0364]
通常将所提出的滤波应用于具有非零变换系数的亮度重构块，4x4块和条带量化参数大于17的情况除外。滤波器参数是从编解码信息中显式地导出的。如果应用了所提出的滤波器，则在逆变换后立即对解码样本点执行该滤波。
[0365]
对于来自重构块的每个像素，像素处理包括以下步骤：
[0366]
·
根据扫描模式扫描处理像素周围的4个临近像素(包括当前像素)；
[0367]
·
读取像素的4点hadamard变换；
[0368]
·
基于以下公式的频谱滤波：
[0369][0370]
其中(i)是hadamard频谱中频谱分量的索引，r(i)是与索引相对应的重构像素的频谱分量，σ是使用以下等式从编解码器量化参数qp中导出的滤波参数：
[0371]
σ＝2
(1 0.126*(qp
‑
27))
[0372]
扫描模式的示例如图26所示，其中a是当前像素，并且{b,c,d}是周围像素。
[0373]
对于位于cu边界上的像素，调整扫描模式以确保所有所需像素都在当前cu内。
[0374]
3.现有实现的缺陷
[0375]
在现有的ilr实现中，可能存在以下缺陷：
[0376]
1)在片组标头处信令通知ilr边信息不合适，因为它需要太多比特。此外，不允许在不同图片/片组之间进行预测。因此，对于每个片组，需要发送ilr的边信息，这可能导致低比特率下的编解码损失，尤其对于低分辨率。
[0377]
2)ilr和dmvr(或其他新引入的编解码工具)之间的交互不清楚。例如，将ilr应用于帧间预测信号以将原始信号转换到整形域，并且解码的残差在整形域中。而dmvr也依赖于预测信号来细化一个块的运动矢量。究竟将dmvr应用于原始域还是整形域是不清楚的。
[0378]
3)ilr与屏幕内容编解码工具(例如，调色板、b
‑
dpcm、ibc、变换跳过、变换量化旁路、i
‑
pcm模式)之间的交互不清楚。
[0379]
4)ilr中使用了取决于亮度的色度残差缩放。因此，引入了额外的延迟(由于亮度和色度之间的依赖关系)，这对硬件设计是不利的。
[0380]
5)vpdu的目标是确保在开始处理其他64x64正方形区域之前完成一个64x64正方形区域的处理。然而，根据ilr的设计，由于色度依赖于亮度的预测信号，因此ilr的使用没有限制，这可能导致vpdu的破坏。
[0381]
6)当一个cu遇到全部零系数时，预测块和重构块仍然执行前向和反向整形处理，这浪费了计算复杂度。
[0382]
7)在jvet
‑
n0138中，提出了在aps中信令通知ilr信息。该解决方案可能会导致一些新问题。例如，设计了两种aps。但是，为ilr信令通知的adaptation_parameter_set_id可能参考不包含ilr信息的aps。类似地，为自适应环路滤波(alf)信令通知的adaptation_parameter_set_id可能参考不包含alf信息的aps。
[0383]
4.视频编解码的环内整形的示例方法
[0384]
本公开技术的实施例克服了现有实现的缺陷，从而提供具有更高编解码效率的视频编解码。基于所公开的技术，在以下针对各种实现描述的示例中说明了可以增强现有和未来的视频编解码标准的环内整形的方法。下面提供的公开技术的示例解释了一般概念，并不意味着被解释为限制性的。在示例中，除非明确表示相反，否则可以组合这些示例中描述的各种特征。应当指出，一些提出的技术可以应用于现有的候选列表构造处理。
[0385]
在本文中，解码器侧运动矢量推导(dmvd)包括诸如dmvr和fruc的执行运动估计以导出或细化块/子块运动信息的方法，以及诸如bio的执行逐样本点运动细化的方法。
[0386]
1.dmvd技术中的运动信息细化处理(诸如dmvr)可取决于整形域中的信息。
[0387]
a.在一个示例中，在用于运动信息细化之前，可将从原始域中的参考图片生成的预测块首先转换到整形域。
[0388]
i.可选地，此外，在整形域中执行成本计算(例如，sad、mr
‑
sad)/梯度计算。
[0389]
ii.可选地，此外，在运动信息被细化之后，对用细化的运动信息生成的预测块禁用整形处理。
[0390]
b.可选地，dmvd技术中的运动信息细化处理(诸如dmvr)可取决于原始域中的信息。
[0391]
i.可以用原始域中的预测块调用dmvd处理。
[0392]
ii.在一个示例中，在运动信息细化之后，可以将利用细化的运动信息获得的预测
块或最终预测块(例如，两个预测块的加权平均值)进一步转换到整形域以生成最终重构块。
[0393]
iii.可选地，此外，在运动信息细化之后，对用细化的运动信息生成的预测块禁用整形处理。
[0394]
2.提出将当前片/片组/图片中的样本点和从使用的参考图片中导出的样本点的域进行对齐(无论都在原始区域还是整形区域)以导出局部照明补偿(lic)参数。
[0395]
a.在一个示例中，利用整形域来推导lic参数。
[0396]
i.可选地，此外，在用于导出lic参数之前，可以首先将样本点(例如，参考图片中的参考样本点(是否通过插值)以及参考样本点的临近/非相邻样本点(是否通过插值))转换到整形域。
[0397]
b.在一个示例中，利用原始域来导出lic参数。
[0398]
i.可选地，此外，在用于导出lic参数之前，可以首先将当前块的空域临近/非相邻样本点(例如，在当前片组/图片/片中)转换到原始域。
[0399]
c.提出当在一个域中导出lic参数时，当将lic参数应用于预测块时，应使用相同的预测块的域。
[0400]
i.在一个示例中，当调用项目a时，可以将参考块转换到整形域，并且将lic模型应用于整形的参考块。
[0401]
ii.在一个示例中，当调用项目b时，将参考块保留在原始域中，并且将lic模型应用于原始域中的参考块。
[0402]
d.在一个示例中，将lic模型应用于整形域中的预测块(例如，首先通过前向整形将预测块转换到整形域)。
[0403]
e.在一个示例中，首先将lic模型应用于原始域中的预测块，然后，可以将取决于应用lic的预测块的最终预测块转换到整形域(例如，通过前向整形)并用于导出重构块。
[0404]
f.上述方法可以扩展到依赖于参考图片中的空域临近/非相邻样本点和参考样本点的其它编解码工具。
[0405]
3.对于应用于预测信号的滤波器(诸如扩散滤波器(df))，将滤波器应用于原始域中的预测块。
[0406]
a.可选地，此外，随后，对滤波后的预测信号应用整形以生成重构块。
[0407]
b.图27描绘了帧间编解码的处理的示例。
[0408]
c.可选地，将滤波器应用于整形域中的预测信号。
[0409]
i.可选地，此外，首先将整形应用于预测块；然后，可以将滤波方法进一步应用于整形的预测块以生成重构块。
[0410]
ii.图28描绘了帧间编解码的处理的示例。
[0411]
d.滤波器参数可取决于是否启用ilr。
[0412]
4.对于应用于重构块的滤波器(例如，双边滤波器(bf)、hadamard变换域滤波器(hf))，将滤波器应用于原始域而不是整形域中的重构块。
[0413]
a.可选地，此外，首先将整形域中的重构块转换到原始域，然后应用滤波器并利用滤波器来生成重构块。
[0414]
b.图29描绘了帧间编解码的处理的示例。
[0415]
c.可选地，可将滤波器应用于整形域中的重构块。
[0416]
i.可选地，此外，在应用反向整形之前，可以首先应用滤波器。
[0417]
然后，可将滤波后的重构块转换到原始域。
[0418]
ii.图30描绘了帧间编解码的处理的示例。
[0419]
d.滤波器参数可取决于是否启用ilr。
[0420]
5.提出应用滤波处理，可将其应用于整形域中的重构块(例如，在帧内/帧间或其它类型的预测方法之后)。
[0421]
a.在一个示例中，在整形域中执行去块滤波器(dbf)处理。在这种情况下，在dbf之前不应用反向整形。
[0422]
i.在这种情况下，dbf参数可能不同，这取决于是否应用了整形。
[0423]
ii.在一个示例中，dbf处理可取决于是否启用了整形。
[0424]
1.在一个示例中，当在原始域中调用dbf时应用此方法。
[0425]
2.可选地，当在整形域中调用dbf时应用此方法。
[0426]
b.在一个示例中，在整形域中执行样本点自适应偏移(sao)滤波处理。在这种情况下，在sao之前不应用反向整形。
[0427]
c.在一个示例中，在整形域中执行自适应环路滤波器(alf)滤波处理。在这种情况下，在alf之前不应用反向整形。
[0428]
d.可选地，此外，还可以在dbf之后对块应用反向整形。
[0429]
e.可选地，此外，还可以在sao之后对块应用反向整形。
[0430]
f.可选地，此外，还可以在alf之后对块应用反向整形。
[0431]
g.可以用其他类型的滤波方法来代替上述滤波方法。
[0432]
6.提出在新的参数集中(诸如ilr aps)而不是片组标头中信令通知ilr参数。
[0433]
a.在一个示例中，片组标头可以包含aps_id。可选地，此外，当启用ilr时，aps_id有条件地存在。
[0434]
b.在一个示例中，ilr aps包含aps_id和ilr参数。
[0435]
c.在一个示例中，为ilr aps分配新的nut(nal单元类型，如avc和hevc中的)值。
[0436]
d.在一个示例中，ilr aps id值的范围将是0
…
m(例如，m＝2k
‑
1)。
[0437]
e.在一个示例中，可以跨图片共享ilr aps(并且可以在图片中的不同片组中不同)。
[0438]
f.在一个示例中，当存在时，id值可以是固定长度编解码的。可选地，可以使用指数golomb(eg)编解码、截断一元或其他二值化方法对其进行编解码。
[0439]
g.在一个示例中，同一图片中的不同内容不能重复使用id值。
[0440]
h.在一个示例中，ilr aps和alf参数的aps可以共享相同的nut。
[0441]
i.可选地，可以用用于alf参数的当前aps来携带ilr参数。在这种情况下，上述提到ilr aps的方法可以被当前aps替代。
[0442]
j.可选地，可以在sps/vps/pps/序列标头/图片标头中携带ilr参数。
[0443]
k.在一个示例中，可将ilr参数包括在整形器模型信息、ilr方法的使用、色度残差缩放因子中。
[0444]
l.可选地，此外，可以在一个级别(诸如在aps中)信令通知ilr参数，和/或可以在
第二个级别(诸如片组标头中)进一步信令通知ilr的使用。
[0445]
m.可选地，此外，可应用预测编解码来对具有不同aps索引的ilr参数进行编解码。
[0446]
7.提出了将前向/反向整形处理应用于色度块来消除亮度和色度之间的依赖关系，而不是将基于亮度的色度残差缩放(lcrs)应用于色度块。
[0447]
a.在一个示例中，可将一个m段的分段线性(pwl)模型和/或前向/后向查找表用于一个色度分量。可选地，可将两个pwl模型和/或前向/后向查找表分别用于编解码两个色度分量。
[0448]
b.在一个示例中，可以从亮度的pwl模型和/或前向/后向查找表导出色度的pwl模型和/或前向/后向查找表。
[0449]
i.在一个示例中，不需要进一步信令通知色度的pwl模型/查找表。
[0450]
c.在一个示例中，可以在sps/vps/aps/pps/序列标头/图片标头/片组标头/片标头/ctu行/ctu组/区域中信令通知色度的pwl模型和/或前向/后向查找表。
[0451]
8.在一个示例中，如何信令通知一个图片/片组的ilr参数可能取决于先前编解码的图片/片组的ilr参数。
[0452]
a.例如，可以通过一个或多个先前编解码的图片/片组的ilr参数来预测一个图片/片组的ilr参数。
[0453]
9.提出对于特定的块维度/时域层/片组类型/图片类型/编解码模式/特定类型的运动信息，禁用取决于亮度的色度残差缩放(lcrs)。
[0454]
a.在一个示例中，即使将前向/反向整形处理应用于亮度块，也不能将lcrs应用于对应的色度块。
[0455]
b.可选地，即使不将前向/反向整形处理应用于亮度块，也可以将lcrs应用于对应的色度块。
[0456]
c.在一个示例中，当应用交叉分量线性模型(cclm)模式时，不使用lcrs。cclm模式包括lm、lm
‑
a和lm
‑
l。
[0457]
d.在一个示例中，当不应用交叉分量线性模型(cclm)模式时，不使用lcrs。cclm模式包括lm、lm
‑
a和lm
‑
l。
[0458]
e.在一个示例中，当编解码的亮度块超过一个vpdu(例如，64x64)时。
[0459]
i.在一个示例中，当亮度块尺寸包含小于m
×
h个样本点时(例如16、32或64个亮度样本点)，不允许lcrs。
[0460]
ii.可选地，当亮度块的宽度或/和高度的最小尺寸小于或不大于x时，不允许lcrs。在一个示例中，x被设置为8。
[0461]
iii.可选地，当亮度块的宽度或/和高度的最小尺寸不小于x时，不允许lcrs。在一个示例中，x被设置为8。
[0462]
iv.可选地，当块的宽度>th1或>＝th1和/或亮度块的高度>th2或>＝th2时，不允许lcrs。在一个示例中，th1和/或th2被设置为8。
[0463]
1.在一个示例中，th1和/或th2被设置为128。
[0464]
2.在一个示例中，th1和/或th2被设置为64。
[0465]
v.可选地，当亮度块的宽度<th1或<＝th1和/或亮度块的高度<th2或<＝th2时，不允许lcrs。在一个示例中，th1和/或th2被设置为8。
[0466]
10.是否禁用ilr(前向整形处理和/或反向整形处理)可取决于系数。
[0467]
a.在一个示例中，当一个块是用全零系数编解码时，跳过应用于预测块的前向整形处理。
[0468]
b.在一个示例中，当一个块是用全零系数编解码时，跳过应用于重构块的反向整形处理。
[0469]
c.在一个示例中，当一个块是用位于特定位置的仅一个非零系数编解码时(例如，位于一个块的左上位置的dc系数，位于一个块内的左上编解码组的系数)，跳过应用于预测块的前向整形处理和/或应用于重构块的反向整形处理。
[0470]
d.在一个示例中，当一个块是用仅m(例如，m＝1)个非零系数编解码时，跳过应用于预测块的前向整形处理和/或应用于重构块的反向整形处理。
[0471]
11.提出如果编解码块超过一个vpdu，则将ilr应用区域划分为虚拟管道数据单元(vpdu)。每个应用区域(例如，最大尺寸为64x64)被视为ilr操作的单独cu。
[0472]
a.在一个示例中，当块的宽度>th1或>＝th1和/或块的高度>th2或>＝th2时，可以将其划分为宽度小于th1或<＝th1和/或高度小于th2或<＝th2的子块，并且可以对每个子块执行ilr。
[0473]
i.在一个示例中，子块可以具有相同的宽度或/和高度。
[0474]
ii.在一个示例中，除了右边界或/和底边界处以外的子块可以具有相同的宽度或/和高度。
[0475]
iii.在一个示例中，除了左边界或/和顶边界处以外的子块可以具有相同的宽度或/和高度。
[0476]
b.在一个示例中，当块的尺寸(即宽度*高度)>th3或>＝th3时，可以将其划分成尺寸<th3或<＝th3的子块，并且可以对每个子块执行ilr。
[0477]
i.在一个示例中，子块可以具有相同的尺寸。
[0478]
ii.在一个示例中，除了右边界或/和底边界处以外的子块可以具有相同的尺寸。
[0479]
iii.在一个示例中，除了左边界或/和上边界处以外的子块可以具有相同的尺寸。
[0480]
c.可选地，ilr的使用仅限于某些块尺寸。
[0481]
i.在一个示例中，当编解码块超过一个vpdu(例如，64x64)时，不允许ilr。
[0482]
ii.在一个示例中，当块尺寸包含小于m
×
h个样本点时(例如16、
[0483]
32或64个亮度样本点)，不允许ilr。
[0484]
iii.可选地，当块宽度或/和高度的最小尺寸小于或不大于x时，不允许ilr。在一个示例中，x被设置为8。
[0485]
iv.可选地，当块宽度或/和高度的最小尺寸不小于x时，不允许ilr。在一个示例中，x被设置为8。
[0486]
v.可选地，当块的宽度>th1或>＝th1和/或块的高度>th2或>＝th2时，不允许ilr。在一个示例中，th1和/或th2被设置为8。
[0487]
1.在一个示例中，th1和/或th2被设置为128。
[0488]
2.在一个示例中，th1和/或th2设置为64。
[0489]
vi.可选地，当块的宽度<th1或<＝th1和/或块的高度<th2或<＝th2时，不允许ilr。在一个示例中，th1和/或th2被设置为8。
[0490]
12.以上方法(例如，是否禁用ilr和/或是否禁用lcrs和/或是否信令通知用于色度编解码的pwl/查找表)可取决于颜色格式，诸如4:4:4/4:2:0。
[0491]
13.可以在存在整形器模型的指示(例如，tile_group_reshaper_model_present_flag)的条件下对启用ilr的指示(例如，tile_group_reshaper_enable_flag)进行编解码。
[0492]
a.可选地，可以在tile_group_reshaper_enable_flag的条件下对tile_group_reshaper_model_present_flag进行编解码。
[0493]
b.可选地，只能对两个语法元素(包括tile_group_reshaper_model_present_flag和tile_group_reshaper_enable_flag)中的一个进行编解码。将另一个的值设置为等于可能信令通知的值。
[0494]
14.可将不同的剪切方法应用于预测信号和重构处理。
[0495]
a.在一个示例中，可以应用自适应剪切方法，并且可以在整形域中定义要剪切的最大值和最小值。
[0496]
b.在一个示例中，可将自适应剪切应用于整形域中的预测信号。
[0497]
c.可选地，此外，可以将固定剪切(例如，根据比特深度)应用于重构块。
[0498]
15.滤波器参数(诸如df、bf、hf中使用的参数)可取决于是否启用ilr。
[0499]
16.提出对于调色板模式下编解码的块，禁用ilr或以不同方式应用ilr。
[0500]
a.在一个示例中，当块以调色板模式编解码时，跳过整形和反向整形。
[0501]
b.可选地，当块以调色板模式编解码时，可以应用不同的整形和反向整形函数。
[0502]
17.可选地，当应用ilr时，可以不同地编解码调色板模式。
[0503]
a.在一个示例中，当应用ilr时，可以在原始域中编解码调色板模式。
[0504]
b.可选地，当应用ilr时，可以在整形的域中编解码调色板模式。
[0505]
c.在一个示例中，当应用ilr时，可以在原始域中信令通知调色板预测器。
[0506]
d.可选地，可以在整形域中信令通知调色板预测器。
[0507]
18.提出对于用ibc模式编解码的块，禁用ilr或以不同的方式应用ilr。
[0508]
a.在一个示例中，当块以ibc模式编解码时，跳过整形和反向整形。
[0509]
b.可选地，当块以ibc模式编解码时，应用不同的整形和反向整形。
[0510]
19.可选地，当应用ilr时，可以不同地编解码ibc模式。
[0511]
a.在一个示例中，当应用ilr时，可以在原始域中执行ibc。
[0512]
b.可选地，当应用ilr时，可以在整形的域中执行ibc。
[0513]
20.提出对于以b
‑
dpcm模式编解码的块，禁用ilr或以不同的方式应用ilr。
[0514]
a.在一个示例中，当块以b
‑
dpcm模式编解码时，跳过整形和反向整形。
[0515]
b.可选地，当块以b
‑
dpcm模式编解码时，应用不同的整形和反向整形。
[0516]
21.可选地，当应用ilr时，可以不同地编解码b
‑
dpcm模式。
[0517]
a.在一个示例中，当应用ilr时，可以在原始域中执行b
‑
dpcm。
[0518]
b.可选地，当应用ilr时，可以在整形的域中执行b
‑
dpcm。
[0519]
22.提出对于以变换跳过模式编解码的块，禁用ilr或以不同的方式应用ilr。
[0520]
a.在一个示例中，当块以变换跳过模式编解码时，跳过整形和反向整形。
[0521]
b.可选地，当块以变换跳过模式编解码时，可以应用不同的整形和反向整形。
[0522]
23.可选地，当应用ilr时，可以不同地编解码变换跳过模式。
[0523]
a.在一个示例中，当应用ilr时，可以在原始域中执行变换跳过。
[0524]
b.可选地，当应用ilr时，可以在整形域中执行变换跳过。
[0525]
24.提出对于以i
‑
pcm模式编解码的块，禁用ilr或以不同的方式应用ilr。
[0526]
a.在一个示例中，当块以调色板模式编解码时，跳过整形和反向整形。
[0527]
b.可选地，当块以调色板模式编解码时，可以应用不同的整形和反向整形函数。
[0528]
25.可选地，当应用ilr时，可以不同地编解码i
‑
pcm模式。
[0529]
a.在一个示例中，当应用ilr时，可以在原始域中编解码i
‑
pcm模式。
[0530]
b.可选地，当应用ilr时，可以在整形域中编解码i
‑
pcm模式。
[0531]
26.提出对于以变换量化旁路模式编解码的块，禁用ilr或以不同的方式应用ilr。
[0532]
a.在一个示例中，当块以变换量化旁路模式编解码时，跳过整形和反向整形。
[0533]
27.可选地，当块以变换量化旁路模式编解码时，应用不同的整形和反向整形函数。
[0534]
28.对于上述项，当禁用ilr时，可以跳过前向整形和/或反向整形处理。
[0535]
a.可选地，预测和/或重构和/或残差信号在原始域中。
[0536]
b.可选地，预测和/或重构和/或残差信号在整形域中。
[0537]
29.可以允许多个整形/反向整形函数(诸如多个pwl模型)来编解码一个图片/一个片组/一个vpdu/一个区域/一个ctu行/多个cu。
[0538]
a.如何从多个函数中选择可取决于块维度/编解码模式/图片类型/低延迟检查标志/运动信息/参考图片/视频内容等。
[0539]
b.在一个示例中，可以按照sps/vps/pps/序列标头/图片标头/片组标头/片标头/区域/vpdu等信令通知多组ilr边信息(例如，整形/反向整形函数)的信号。
[0540]
i.可选地，此外，可以利用ilr边信息的预测编解码。
[0541]
c.在一个示例中，可以在pps/图片标头/片组标头/片标头/区域/vpdu等中信令通知多于一个aps_idx。
[0542]
30.在一个示例中，在除了vps、sps、pps或aps以外的新语法集中信令通知整形信息。例如，在表示为inloop_reshaping_parameter_set()(irps或任何其他名称)的集合中信令通知整形信息。
[0543]
a.示例性语法设计如下：
[0544][0545]
inloop_reshaping_parameter_set_id提供供其他语法元素参考的irps的标识符。
[0546]
注意：可以跨图片共享irps，并且图片内的不同片组中的irps可以不同。
[0547]
irps_extension_flag等于0指定irps rbsp语法结构中不存在irps_extension_data_flag语法元素。irps_extension_flag等于1指定irps rbsp语法结构中存在irps_extension_data_flag语法元素。
[0548]
irps_extension_data_flag可以是任何值。其存在和值不影响解码器与本规范本版本中指定的配置文件的一致性。符合本规范本版本的解码器应忽略所有irps_extension_data_flag语法元素。
[0549]
b.示例性语法设计如下：
[0550]
通用片组标头语法和语义
[0551][0552]
tile_group_irps_id指定片组参考的irps的inloop_reshaping_parameter_set_id。inloop_reshaping_parameter_set_id等于tile_group_irps_id的irps nal单元的temporalid应小于或等于编解码的片组nal单元的temporalid。
[0553]
31.在一个示例中，irl信息与aps中的alf信息一起被信令通知。
[0554]
a.示例性语法设计如下:
[0555]
自适应参数集语法和语义
[0556][0557]
b.在一个示例中，在片组标头中信令通知一个tile_group_aps_id，以指定片组参考的aps的adaptation_parameter_set_id。当前片组的alf信息和ilr信息都在指定的ap中信令通知。
[0558]
i.示例性语法设计如下:
[0559]
[0560]
32.在一个示例中，在不同的aps中信令通知ilr信息和alf信息。
[0561]
a.在片组标头中信令通知第一个id(可以命名为tile_group_aps_id_alf)，以指定片组参考的第一个aps的第一个adaptation_parameter_set_id。在指定的第一个aps中信令通知当前片组的alf信息。
[0562]
b.在片组标头中信令通知第二个id(可以命名为tile_group_aps_id_irps)，以指定片组参考的第二个aps的第二个adaptation_parameter_set_id。在指定的第二个aps中信令通知当前片组的ilr信息。
[0563]
c.在一个示例中，第一个aps必须具有一致性比特流中的alf信息；
[0564]
d.在一个示例中，第二个aps必须具有一致性比特流的ilr信息；
[0565]
e.示例性语法设计如下：
[0566][0567][0568]
33.在一个示例中，一些具有指定的adaptation_parameter_set_id的aps必须具有alf信息。另一个示例是，一些具有指定的adaptation_parameter_set_id的aps必须具有ilr信息。
[0569]
a.例如，adaptation_parameter_set_id等于2n的aps必须具有alf信息。n是任意整数；
[0570]
b.例如，adaptation_parameter_set_id等于2n 1的aps必须具有ilr信息。n是任意整数；
[0571]
c.示例性语法设计如下:
[0572][0573][0574]
i.例如，2*tile_group_aps_id_alf指定片组参考的第一个aps的第一个adaptation_parameter_set_id。在指定的第一个aps中信令通知当前片组的alf信息。
[0575]
ii.例如，2*tile_group_aps_id_irps 1指定片组参考第二个aps的第二个adaptation_parameter_set_id。在指定的第二个aps中信令通知当前片组的ilr信息。
[0576]
34.在一个示例中，片组不能参考在指定类型的网络抽象层(nal)单元之前信令通知的aps(或irps)，该网络抽象层(nal)单元是在当前片组之前信令通知的。
[0577]
a.在一个示例中，片组不能参考在指定类型的片组之前信令通知的aps(或irps)，该指定类型的片组是在当前片组之前信令通知的。
[0578]
b.例如，片组不能参考在sps之前信令通知的aps(或irps)，该sps是在当前片组之前信令通知的。
[0579]
c.例如，片组不能参考在pps之前信令通知的aps(或irps)，该pps是在当前片组之前信令通知的。
[0580]
d.例如，片组不能参考在访问单元分隔符nal(aud)之前信令通知的aps(或irps)，
该访问单元分隔符nal(aud)是在当前片组之前信令通知的。
[0581]
e.例如，片组不能参考在比特流结束nal(eob)之前信令通知的aps(或irps)，该比特流结束nal(eob)是在当前片组之前信令通知的。
[0582]
f.例如，片组不能参考在序列结束nal(eos)之前信令通知的aps(或irps)，该序列结束nal(eos)是在当前片组之前信令通知的。
[0583]
g.例如，片组不能参考在瞬时解码刷新(idr)nal之前信令通知的aps(或irps)，该瞬时解码刷新(idr)nal是在当前片组之前信令通知的。
[0584]
h.例如，片组不能参考在干净随机访问(cra)nal之前信令通知的aps(或irps)，该干净随机访问(cra)nal是在当前片组之前信令通知的。
[0585]
i.例如，片组不能参考在帧内随机访问点(irap)访问单元之前信令通知的aps(或irps)，该帧内随机访问点(irap)访问单元是在当前片组之前信令通知的。
[0586]
j.例如，片组不能参考在i片组(或图片、或条带)之前信令通知的aps(或irps)，该i片组(或图片、或条带)是在当前片组之前信令通知的。
[0587]
k.当在aps或irps中携带ilr信息时，也可以应用idf
‑
p1903237401h和idf
‑
p1903234501h中公开的方法。
[0588]
35.一致性比特流应满足：当为一个视频数据单元(诸如序列)启用环内整形方法时，应定义默认的ilr参数(诸如默认模型)。
[0589]
a.当将sps_lmcs_enabled_flag设置为1时，应将sps_lmcs_default_model_present_flag设置为1。
[0590]
b.可以在ilr启用标志的条件下而不是默认模型存在标志(诸如sps_lmcs_default_model_present_flag)的条件下信令通知默认参数。
[0591]
c.对于每个片组，可以在不参考sps默认模型使用标志的情况下信令通知默认模型使用标志(诸如tile_group_lmcs_use_default_model_flag)。
[0592]
d.一致性比特流应满足：当ilr的对应aps类型中没有ilr信息、并且强制一个视频数据单元(诸如片组)使用ilr技术时，应使用默认模型。
[0593]
e.可选地，一致性比特流应满足：当ilr的对应aps类型中没有ilr信息、并且强制一个视频数据单元(诸如片组)使用ilr技术时(诸如tile_group_lmcs_enable_flag等于1)时，使用默认模型的指示应为真，例如，tile_group_lmcs_use_default_model_flag应为1。
[0594]
f.默认的ilr参数(诸如默认模型)必须在视频数据单元(诸如sps)中发送。
[0595]
i.可选地，此外，当指示ilr的使用的sps标志为真时，应发送默认的ilr参数。
[0596]
g.在视频数据单元(例如sps)中必须发送至少一个ilr aps。
[0597]
i.在一个示例中，至少一个ilr aps包含默认的ilr参数(诸如默认模型)。
[0598]
36.可以用一个标志表示默认的ilr参数。当这个标志指示使用默认的ilr参数时，不需要进一步信令通知ilr数据。
[0599]
37.可以在未信令通知时预定义默认的ilr参数。例如，默认的ilr参数可以对应于标识映射。
[0600]
38.时域层信息可以与ilr参数一起被信令通知，诸如在ilr aps中。
[0601]
a.在一个示例中，可以在lmcs_data()中信令通知时域层索引。
[0602]
b.在一个示例中，可以在lmcs_data()中信令通知时域层索引减1。
[0603]
c.可选地，此外，当编码/解码一个片组/片时，限制为参考那些与较小或相等的时域层索引相关联的ilr aps。
[0604]
d.可选地，当编码/解码一个片组/片时，限制为参考那些与较小的时域层索引相关联的ilr aps。
[0605]
e.可选地，当编码/解码一个片组/片时，限制为参考那些与较大的时域层索引相关联的ilr aps。
[0606]
f.可选地，当编码/解码一个片组/片时，限制为参考那些与较大或相等的时域层索引相关联的ilr aps。
[0607]
g.可选地，当编码/解码一个片组/片时，限制为参考那些与相等的时域层索引相关联的ilr aps。
[0608]
h.在一个示例中，是否应用上述限制可取决于一条信息，该信息可被信令通知到解码器或由解码器推断。
[0609]
39.时域层信息可以与alf参数一起被信令通知，诸如在alf aps中。
[0610]
a.在一个示例中，可以在alf_data()中信令通知时域层索引。
[0611]
b.在一个示例中，可以在alf_data()中信令通知时域层索引减1。
[0612]
c.可选地，此外，当解码/解码一个片/片组内的一个片组/片或一个ctu时，限制为参考那些与较小或相等的时域层索引相关联的alf aps。
[0613]
d.可选地，当编码/解码一个片组/片时，限制为参考那些与较小的时域层索引相关联的alf aps。
[0614]
e.可选地，当编码/解码一个片组/片时，限制为参考那些与较大的时域层索引相关联的alf aps。
[0615]
f.可选地，当编码/解码一个片组/片时，限制为参考那些与较大或相等的时域层索引相关联的alf aps。
[0616]
g.可选地，当编码/解码一个片组/片时，限制为参考那些与相等的时域层索引相关联的alf aps。
[0617]
h.在一个示例中，是否应用上述限制可取决于一条信息，该信息可被信令通知到解码器或由解码器推断。
[0618]
40.在一个示例中，原始样本点和整形样本点之间的整形映射可能不是正关系(即，不允许将一个较大的值映射到较小的值)。
[0619]
a.例如，原始样本点和整形样本点之间的整形映射可以是负关系，其中对于两个值，可将原始域中的较大值映射到整形域中的较小值。
[0620]
41.在一致性比特流中，只允许语法元素aps_params_type是几个预定义值，诸如0和1。
[0621]
a.在另一个示例中，只允许其为0和7。
[0622]
42.在一个示例中，如果可以应用ilr，则必须信令通知默认的ilr信息(例如，sps_lmcs_enabled_flag为真)。
[0623]
上述示例可并入下面描述的方法(例如，方法3100)的上下文中，其可在视频解码器或视频编码器处实现。
[0624]
图31a示出了用于视频处理的示例性方法的流程图。方法3110包括：在操作3112
处，执行包括一个或多个视频数据单元的视频和视频的比特流表示之间的转换。
[0625]
在一些实施例中，比特流表示符合格式规则，该格式规则指定包括指示用于编解码模式的默认参数的边信息，该编解码模式适用于对其启用编解码模式的一个或多个视频数据单元的视频块，并且边信息提供参数用于基于视频块在原始域和整形域中的表示构造视频块、和/或取决于亮度缩放色度视频块的色度残差。
[0626]
在其他实施例中，比特流表示符合格式规则，该格式规则指定包括指示用于编解码模式的默认参数的边信息，该编解码模式适用于对其启用编解码模式的一个或多个视频数据单元的视频块，在比特流表示中不存在显式地信令通知的参数的情况下，将默认参数用于编解码模式，并且编解码模式包括基于视频块在原始域和整形域中的表示构造视频块、和/或取决于亮度缩放色度视频块的色度残差。
[0627]
图31b示出了用于视频处理的示例性方法的流程图。方法3120包括：在操作3122处，为包括一个或多个视频数据单元的视频和视频的比特流表示之间的转换配置比特流表示，所述比特流表示包括信令通知时域层信息的语法元素、以及适用于一个或多个视频数据单元的视频块的编解码模式的参数。方法3120还包括：在操作3124处，基于配置执行转换。
[0628]
图31c示出了用于视频处理的示例性方法的流程图。方法3130包括：在操作3132处，为包括一个或多个视频数据单元的视频和视频的比特流表示之间的转换解析比特流表示，所述比特流表示包括信令通知时域层信息的语法元素、以及适用于一个或多个视频数据单元的视频块的编解码模式的参数。方法3130还包括：在操作3134处，基于配置执行转换。
[0629]
在一些实施例中，编解码模式包括基于视频块在原始域和整形域中的表示构造视频块、和/或取决于亮度缩放色度视频块的色度残差。
[0630]
在其他实施例中，编解码模式包括基于使用自适应环路滤波器(alf)系数的滤波处理来构造视频的当前块。
[0631]
图31d示出了用于视频处理的示例性方法的流程图。方法3140包括：在操作3142处，执行视频的第一视频数据单元和视频的比特流表示之间的转换。
[0632]
在一些实施例中，编解码模式适用于第一视频数据单元的视频块，该编解码模式包括基于原始域和整形域构造视频块、和/或基于与编解码模式相关的边信息、取决于亮度缩放色度视频块的色度残差，并且根据基于时域层索引的规则来确定边信息。
[0633]
在其他实施例中，编解码模式适用于第一视频数据单元的视频块，该编解码模式包括基于与编解码模式相关的边信息，基于使用自适应环路滤波器(alf)系数的滤波处理来构造视频的当前块，并且根据基于时域层索引的规则来确定边信息。
[0634]
5.公开技术的示例实现
[0635]
在一些实施例中，当启用tile_group_reshaper_model_present_flag时，tile_group_reshaper_enable_flag有条件地存在。
[0636]
在7.3.3.1通用片组标头语法中：
[0637][0638][0639]
可选地，当启用tile_group_reshaper_enable_flag时，tile_group_reshaper_model_present_flag有条件地存在。
[0640][0641]
可选地，可以仅信令通知两个语法元素tile_group_reshaper_model_present_flag或tile_group_reshaper_enable_flag中的一个。未信令通知的语法元素被推断为等于可信令通知的语法元素。在这种情况下，该语法元素控制ilr的使用。
[0642]
可选地，一致性比特流要求tile_group_reshaper_model_present_flag应等于
tile_group_reshaper_enable_flag。
[0643]
可选地，可以在aps中而不是在片组标头中信令通知tile_group_reshaper_model_present_flag、和/或tile_group_reshaper_enable_flag、和/或tile_group_reshaper_model()、和/或tile_group_reshaper_chroma_residual_scale_flag。
[0644]
实施例2在jvet
‑
n0805上
[0645][0646]
sps_lmcs_enabled_flag等于1指定在编解码视频序列(cvs)中使用亮度映射与色度缩放。sps_lmcs_enabled_flag等于0指定在cvs中不使用亮度映射与色度缩放。
[0647]
sps_lmcs_default_model_present_flag等于1指定该sps中存在默认lmcs数据。sps_lmcs_default_model_flag等于0指定该sps中不存在默认lmcs数据。当不存在时，sps_lmcs_default_model_present_flag的值被推断为等于0。
[0648]
...
[0649][0650]
aps_params_type指定aps中携带的aps参数的类型，如下表所定义：
[0651]
表7
‑
x aps参数类型代码和aps参数类型
[0652]
[0653][0654]
alf aps：aps_params_type等于alf_aps的aps。
[0655]
lmcs aps：aps_params_type等于lmcs_aps的aps。
[0656]
进行以下语义更改：
[0657]
...
[0658]
tile_group_alf_aps_id指定片组所参考的alf aps的adaptation_parameter_set_id。adaptation_parameter_set_id等于tile_group_alf_aps_id的alf aps nal单元的temporalid应当小于或等于编解码的片组nal单元的temporalid。
[0659]
当具有相同的adaptation_parameter_set_id值的多个alf aps被同一图片的两个或多个片组参考时，具有相同的adaptation_parameter_set_id值的多个alf aps应当具有相同的内容。
[0660]
...
[0661]
tile_group_lmcs_enabled_flag等于1指定为当前片组启用亮度映射与色度缩放。tile_group_lmcs_enabled_flag等于0指定不为当前片组启用亮度映射与色度缩放。当tile_group_lmcs_enable_flag不存在时，将其推断为等于0。
[0662]
tile_group_lmcs_use_default_model_flag等于1指定片组的亮度映射与色度缩
放操作使用默认lmcs模型。tile_group_lmcs_use_default_model_flag等于0指定片组的亮度映射与色度缩放操作使用由tile_group_lmcs_aps_id参考的lmcs aps中的lmcs模型。当tile_group_reshaper_use_default_model_flag不存在时，将其推断为等于0。
[0663]
tile_group_lmcs_aps_id指定片组参考的lmcs aps的adaptation_parameter_set_id。adaptation_parameter_set_id等于tile_group_lmcs_aps_id的lmcs aps nal单元的temporalid应小于或等于编解码片组nal单元的temporalid。
[0664]
当具有相同的adaptation_parameter_set_id值的多个lmcs aps被同一图片的两个或多个片组参考时，具有相同的adaptation_parameter_set_id值的多个lmcs aps应当具有相同的内容。
[0665]
tile_group_chroma_residual_scale_flag等于1指定为当前片组启用色度残差缩放。tile_group_chroma_residual_scale_flag等于0指定不为当前片组启用色度残差缩放。当tile_group_chroma_residual_scale_flag不存在时，推断它等于0。
[0666]
…
[0667]
亮度映射与色度缩放数据语法
[0668][0669]
图32是视频处理设备3200的框图。设备3200可用于实现本文所述的一种或多种方法。设备3200可实施于智能手机、平板电脑、计算机、物联网(iot)接收器等中。设备3200可以包括一个或多个处理器3202、一个或多个存储器3204和视频处理硬件3206。处理器3202可以被配置成实现本文中描述的一个或多个方法(包括但不限于方法3100)。存储器3204可用于存储用于实现本文描述的方法和技术的数据和代码。视频处理硬件3206可用于在硬件电路中实现本文中描述的一些技术。
[0670]
在一些实施例中，可以使用如关于图32所述的在硬件平台上实现的设备来实现视频编解码方法。
[0671]
图33是示出其中可以实现本文公开的各种技术的示例性视频处理系统3300的框图。各种实现可以包括系统3300的部分或全部组件。系统3300可以包括用于接收视频内容的输入3302。视频内容可以原始或未压缩格式(例如，8或10比特多分量像素值)接收，或者可以压缩或编解码格式接收。输入3302可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(pon)等有线接口和诸如wi
‑
fi或蜂窝接口的无线接口。
[0672]
系统3300可以包括编解码组件3304，其可以实现本文中描述的各种编码或译码方
法。编解码组件3304可以降低从输入3302到编解码组件3304的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件3304的输出可以被存储，或者通过如组件3306表示的连接的通信来发送。组件3308可以使用在输入3302处接收的视频的存储或通信的比特流(或编解码)表示来生成发送到显示接口3310的像素值或可显示视频。从比特流表示生成用户可视视频的处理有时称为视频解压缩。此外，虽然某些视频处理操作被称为“编码”操作或工具，但是应当理解，编码工具或操作在编码器处使用，并且将由解码器执行反转编码结果的对应的解码工具或操作。
[0673]
外围总线接口或显示接口的示例可以包括通用串行总线(usb)或高清晰度多媒体接口(hdmi)或显示端口等。存储接口的示例包括sata(串行高级技术附件)、pci、ide接口等。本文中描述的技术可以实施在各种电子设备中，例如能够执行数字数据处理和/或视频显示的移动电话、膝上型计算机、智能手机或其他设备。
[0674]
在一些实施例中，可以实现以下技术解决方案：
[0675]
a1.一种视频处理方法，包括：执行包括一个或多个视频数据单元的视频和所述视频的比特流表示之间的转换，其中，所述比特流表示符合格式规则，所述格式规则指定包含指示用于编解码模式的默认参数的边信息，所述编解码模式适用于对其启用所述编解码模式的所述一个或多个视频数据单元的视频块，并且其中，所述边信息提供参数用于基于所述视频块在原始域和整形域中的表示和/或色度视频块的色度残差的取决于亮度的缩放，构造所述视频块。
[0676]
a2.根据解决方案a1所述的方法，其中在确定所述比特流表示包括设置为1的所述色度残差的所述取决于亮度的缩放的指示(sps_lmcs_enabled_flag)时，所述比特流表示还包括设置为1的使用默认模型的指示(sps_lmcs_default_model_present_flag)。
[0677]
a3.根据解决方案a1所述的方法，其中所述比特流表示中的自适应参数集(aps)不包括与所述编解码模式相关联的参数，并且其中，使用所述默认参数将所述编解码模式应用于所述视频块数据。
[0678]
a4.根据解决方案a3所述的方法，其中所述一个或多个视频数据单元包括片组，并且其中，所述比特流表示还包括设置为1的使用所述片组的默认模型的指示(tile_group_lmcs_use_default_model_flag)。
[0679]
a5.根据解决方案a1所述的方法，其中所述比特流表示还包括包含所述默认参数的序列参数集(sps)。
[0680]
a6.根据解决方案a5所述的方法，其中所述比特流表示还包括所述sps中指示所述编解码模式被启用的标志。
[0681]
a7.根据解决方案a1所述的方法，其中所述比特流表示还包括序列参数集(sps)，所述sps包括用于所述编解码模式的至少一个自适应参数集(aps)。
[0682]
a8.根据解决方案a7所述的方法，其中所述至少一个aps包括所述默认参数。
[0683]
a9.根据解决方案a1所述的方法，其中使用所述比特流表示中的一个标志来信令通知为所述编解码模式启用所述默认参数的指示。
[0684]
a10.根据解决方案a1所述的方法，其中，其中在确定所述比特流表示包括所述色度残差的所述取决于亮度的缩放的指示(sps_lmcs_enabled_flag)时，所述比特流表示包括所述默认参数。
[0685]
a11.一种视频编解码方法，包括：执行包括一个或多个视频数据单元的视频和所述视频的比特流表示之间的转换，其中所述比特流表示符合格式规则，所述格式规则指定包含指示用于编解码模式的默认参数的边信息，所述编解码模式适用于对其启用所述编解码模式的所述一个或多个视频数据单元的视频块，其中，在所述比特流表示中不存在显式地信令通知的参数的情况下将所述默认参数用于所述编解码模式，并且其中，所述编解码模式包括基于所述视频块在原始域和整形域中的表示和/或色度视频块的色度残差的取决于亮度的缩放，构造所述视频块。
[0686]
a12.根据解决方案a11所述的方法，其中所述边信息包括对所述默认参数的预定值的索引。
[0687]
a13.根据解决方案a12所述的方法，其中所述默认参数的所述预定值对应于标识映射。
[0688]
a14.根据解决方案a11所述的方法，其中所述边信息包括所述默认参数。
[0689]
a15.根据解决方案a1至a14中任一项所述的方法，其中所述编解码模式是环内整形(ilr)模式。
[0690]
a16.根据解决方案a1至a15中任一项所述的方法，其中所述转换从所述比特流表示生成所述一个或多个视频数据单元中的至少一个。
[0691]
a17.根据解决方案a1至a15中任一项所述的方法，其中所述转换从所述一个或多个视频数据单元中的至少一个生成所述比特流表示。
[0692]
a18.一种视频系统中的装置，其包括处理器和其上具有指令的非暂时性存储器，其中，在所述处理器执行所述指令时，所述指令使所述处理器实现解决方案a1至a17中任一项所述的方法。
[0693]
a19.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于实现解决方案a1至a17中任一项所述的方法的程序代码。
[0694]
在一些实施例中，可以实现以下技术解决方案：
[0695]
b1.一种视频处理方法，包括：执行视频的第一视频数据单元和所述视频的比特流表示之间执行转换，其中编解码模式适用于所述第一视频数据单元的视频块，其中所述编解码模式包括基于与所述编解码模式相关的边信息，基于原始域和整形域和/或色度视频块的色度残差的取决于亮度的缩放，构造所述视频块，并且其中，根据基于时域层索引的规则来确定所述边信息。
[0696]
b2.根据解决方案b1所述的方法，其中基于所述视频的第二视频数据单元的所述编解码模式的边信息来确定所述边信息。
[0697]
b3.根据解决方案b2所述的方法，其中所述第二视频数据单元的所述时域层索引小于或等于所述第一视频数据单元的所述时域层索引。
[0698]
b4.根据解决方案b2所述的方法，其中所述第二视频数据单元的所述时域层索引小于所述第一视频数据单元的所述时域层索引。
[0699]
b5.根据解决方案b2所述的方法，其中所述第二视频数据单元的所述时域层索引等于所述第一视频数据单元的所述时域层索引。
[0700]
b6.根据解决方案b2所述的方法，其中所述第二视频数据单元的所述时域层索引大于所述第一视频数据单元的所述时域层索引。
[0701]
b7.根据解决方案b1所述的方法，其中基于所述编解码模式的一个或多个自适应参数集(aps)来确定所述边信息。
[0702]
b8.根据解决方案b7所述的方法，其中所述一个或多个aps与小于或等于阈值的所述时域层索引相关联。
[0703]
b9.根据解决方案b7所述的方法，其中所述一个或多个aps与大于阈值的所述时域层索引相关联。
[0704]
b10.根据解决方案b7所述的方法，其中所述一个或多个aps与大于或等于阈值的所述时域层索引相关联。
[0705]
b11.根据解决方案b7所述的方法，其中所述一个或多个aps与等于阈值的所述时域层索引相关联。
[0706]
b12.根据解决方案b8至b11中任一项所述的方法，其中所述阈值是所述第一视频数据单元的所述时域层索引。
[0707]
b13.一种视频处理方法，包括：为包括一个或多个视频数据单元的视频和所述视频的比特流表示之间的转换配置所述比特流表示，所述比特流表示包括信令通知时域层信息的语法元素、以及适用于所述一个或多个视频数据单元的视频块的编解码模式的参数；以及基于所述配置执行所述转换，其中所述编解码模式包括基于原始域和整形域和/或色度视频块的色度残差的取决于亮度的缩放，构造所述视频块。
[0708]
b14.一种视频处理方法，包括：为包括一个或多个视频数据单元的视频和所述视频的比特流表示之间的转换解析所述比特流表示，所述比特流表示包括信令通知时域层信息的语法元素、以及适用于所述一个或多个视频数据单元的视频块的编解码模式的参数；以及基于所述配置执行所述转换，其中所述编解码模式包括基于原始域和整形域和/或色度视频块的色度残差的取决于亮度的缩放，构造所述视频块。
[0709]
b15.根据解决方案b13或b14所述的方法，其中，所述时域层信息包括基于时域层索引信令通知的值，在与以所述取决于亮度的方式缩放的所述色度残差相关联的数据(lmcs_data())中信令通知所述时域层索引。
[0710]
b16.根据解决方案b15所述的方法，其中所述信令通知的值是所述时域层索引。
[0711]
b17.根据解决方案b15所述的方法，其中所述信令通知的值是所述时域层索引减1。
[0712]
b18.根据解决方案b1或b13或b14所述的方法，其中执行所述转换还基于在所述比特流表示中信令通知的一条信息。
[0713]
b19.根据解决方案b1或b13或b14所述的方法，其中执行所述转换还基于从在所述比特流表示中信令通知的信息中推断出的一条信息。
[0714]
b20.根据解决方案b1至b19中任一项所述的方法，其中所述编解码模式是亮度映射与色度缩放(lmcs)模式，并且所述aps是lmcs aps。
[0715]
b21.根据解决方案b1至b20中任一项所述的方法，其中所述转换从所述比特流表示生成所述当前块。
[0716]
b22.根据解决方案b1至b20中任一项所述的方法，其中所述转换从所述当前块生成所述比特流表示。
[0717]
b23.一种视频系统中的装置，其包括处理器和其上具有指令的非暂时性存储器，
其中，在所述处理器执行所述指令时，所述指令使所述处理器实现解决方案b1至b22中任一项所述的方法。
[0718]
b24.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于实现解决方案b1至b22中任一项所述的方法的程序代码。
[0719]
在一些实施例中，可以实现以下技术解决方案：
[0720]
c1.一种视频处理方法，包括：执行视频的第一视频数据单元和所述视频的比特流表示之间的转换，其中，编解码模式适用于所述第一视频数据单元的视频块，其中，所述编解码模式包括：基于与所述编解码模式相关的边信息，基于使用自适应环路滤波器(alf)系数的滤波处理来构造所述视频的当前块，并且其中，根据基于时域层索引的规则来确定所述边信息。
[0721]
c2.根据解决方案c1所述的方法，其中基于所述视频的所述第二视频数据单元的所述编解码模式的边信息来确定所述边信息。
[0722]
c3.根据解决方案c2所述的方法，其中所述第二视频数据单元的所述时域层索引小于或等于所述第一视频数据单元的所述时域层索引。
[0723]
c4.根据解决方案c2所述的方法，其中所述第二视频数据单元的所述时域层索引小于所述第一视频数据单元的所述时域层索引。
[0724]
c5.根据解决方案c2所述的方法，其中所述第二视频数据单元的所述时域层索引等于所述第一视频数据单元的所述时域层索引。
[0725]
c6.根据解决方案c2所述的方法，其中所述第二视频数据单元的所述时域层索引大于所述第一视频数据单元的所述时域层索引。
[0726]
c7.根据解决方案c1所述的方法，其中基于所述编解码模式的一个或多个自适应参数集(aps)来确定所述边信息。
[0727]
c8.根据解决方案c7所述的方法，其中所述一个或多个aps与小于或等于阈值的所述时域层索引相关联。
[0728]
c9.根据解决方案c7所述的方法，其中所述一个或多个aps与大于阈值的所述时域层索引相关联。
[0729]
c10.根据解决方案c7所述的方法，其中所述一个或多个aps与大于或等于阈值的所述时域层索引相关联。
[0730]
c11.根据解决方案c7所述的方法，其中所述一个或多个aps与等于阈值的所述时域层索引相关联。
[0731]
c12.根据解决方案c8至c11中任一项所述的方法，其中所述阈值是所述第一视频数据单元的所述时域层索引。
[0732]
c13.一种视频处理方法，包括：为包括一个或多个视频数据单元的视频和所述视频的比特流表示之间的转换配置所述比特流表示，所述比特流表示包括信令通知时域层信息的语法元素、以及适用于所述一个或多个视频数据单元的视频块的编解码模式的参数；以及基于所述配置执行所述转换，其中所述编解码模式包括基于使用自适应环路滤波器(alf)系数的滤波处理来构造所述视频的当前块。
[0733]
c14.一种视频处理方法，包括：为包括一个或多个视频数据单元的视频和所述视频的比特流表示之间的转换解析所述比特流表示，所述比特流表示包括信令通知时域层信
息的语法元素、以及适用于所述一个或多个视频数据单元的视频块的编解码模式的参数；以及基于所述配置执行所述转换，其中所述编解码模式包括基于使用自适应环路滤波器(alf)系数的滤波处理来构造所述视频的当前块。
[0734]
c15.根据解决方案c13或c14所述的方法，其中，所述时域层信息包括基于时域层索引信令通知的值，在与所述编解码模式相关联的数据(alf_data())中信令通知所述时域层索引。
[0735]
c16.根据解决方案c15所述的方法，其中所述信令通知的值是所述时域层索引。
[0736]
c17.根据解决方案c15所述的方法，其中所述信令通知的值是所述时域层索引减1。
[0737]
c18.根据解决方案c1或c13或c14所述的方法，其中执行所述转换还基于在所述比特流表示中信令通知的一条信息。
[0738]
c19.根据解决方案c1或c13或c14所述的方法，其中执行所述转换还基于从在所述比特流表示中信令通知的信息中推断出的一条信息。
[0739]
c20.根据解决方案c1至c19中任一项所述的方法，其中所述编解码模式是自适应环路滤波(alf)模式，并且所述aps是alf aps。
[0740]
c21.根据解决方案c1至c20中任一项所述的方法，其中所述转换从所述比特流表示生成所述当前块。
[0741]
c22.根据解决方案c1至c20中任一项所述的方法，其中所述转换从所述当前块生成所述比特流表示。
[0742]
c23.一种视频系统中的装置，其包括处理器和其上具有指令的非暂时性存储器，其中，在所述处理器执行所述指令时，所述指令使所述处理器实现解决方案c1至c22中任一项所述的方法。
[0743]
c24.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于实现解决方案c1至c22中任一项所述的方法的程序代码。
[0744]
所公开技术的一些实施例包括：作出启用视频处理工具或模式的决策或确定。在一个示例中，当视频处理工具或模式被启用时，编解码器将在视频块的处理中使用或实现该工具或模式，但不一定基于该工具或模式的使用来修改产生的比特流。也就是说，当基于决策或确定启用视频处理工具或模式时，从视频块到视频的比特流表示的转换将使用该视频处理工具或模式。在另一示例中，当视频处理工具或模式被启用时，解码器将在知晓已经基于视频处理工具或模式修改了比特流的情况下处理比特流。也就是说，将使用基于决策或确定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。
[0745]
所公开技术的一些实施例包括：作出禁用视频处理工具或模式的决策或确定。在一个示例中，当视频处理工具或模式被禁用时，编解码器将不在将视频块转换到视频的比特流表示的转换中使用该工具或模式。在另一示例中，当视频处理工具或模式被禁用时，解码器将在知晓未使用基于所述决策或确定而启用的视频处理工具或模式修改比特流的情况下来处理比特流。
[0746]
在本文中，术语“视频处理”可指视频编码、视频解码、视频转码、视频压缩或视频解压缩。例如，可以在从视频的像素表示到对应的比特流表示的转换期间应用视频压缩算法，反之亦然。例如，当前视频块的比特流表示可以对应于由语法定义的比特流中的并置位
置或在不同位置传播的比特。例如，可以根据经过转换和编码的误差残差来编码宏块，并且也可以使用比特流中的标头和其他字段中的比特来编码宏块。此外，在转换期间，如上述解决方案中描述的，解码器可以在知道某些字段可能存在或不存在的情况下，基于所述确定来解析比特流。类似地，编解码器可以通过在编码表示中包括或不包括语法字段来确定是否包括某些语法字段，并对应地生成编码表示(比特流表示)。
[0747]
从上述来看，应当理解的是，为了便于说明，本发明公开的技术的具体实施例已经在本文中进行了描述，但是可以在不偏离本发明范围的情况下进行各种修改。因此，除了的之外，本发明公开的技术不限于权利要求的限定。
[0748]
本专利文件中描述的主题的实现和功能操作可以在各种系统、数字电子电路、或计算机软件、固件或硬件中实现，包括本说明书中所公开的结构及其结构等效体，或其中一个或多个的组合。本说明说中描述的主题的实现可以实现为一个或多个计算机程序产品，即一个或多个编码在有形的且非易失的计算机可读介质上的计算机程序指令的模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。
[0749]
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。
[0750]
本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，fpga(现场可编程门阵列)或asic(专用集成电路)。
[0751]
例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如eprom、eeprom和闪存设备。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。
[0752]
虽然本专利文件包含许多细节，但不应将其解释为对任何发明或权利要求范围的
限制，而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。
[0753]
同样，尽管图纸中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
[0754]
仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。