使用亮度差值的跨分量自适应环路滤波器的制作方法

使用亮度差值的跨分量自适应环路滤波器
1.相关申请的交叉引用
2.根据适用的《专利法》和/或依据《巴黎公约》的规定，本技术旨在及时要求于2019年10月29日提交的国际专利申请no.pct/cn2019/113955的优先权和利益。出于全部目的，根据法律，上述申请的全部公开内容作为本技术公开内容的一部分通过引用并入。
技术领域
3.本专利文档涉及图像和视频的编码与解码。


背景技术：

4.数字视频占互联网和其他数字通信网络上最大的带宽使用。随着能够接收和显示视频的连接用户设备数量增加，预计对于数字视频使用的带宽需求将继续增长。


技术实现要素：

5.本文档公开了可以由视频编码器和解码器使用以在视频编码或解码期间执行跨分量自适应环路滤波的技术。
6.在一个示例方面，公开了一种视频处理方法。该方法包括：对于视频的视频区域与所述视频的比特流表示之间的转换，做出将跨分量自适应环路滤波(cc-alf)工具用于使用亮度样点值来细化色度样点值的确定；以及基于所述确定执行所述转换，其中，所述细化包括使用最终细化来校正所述色度样点值，所述最终细化为通过选择性地滤波所述亮度样点值确定的第一细化值的进一步细化。
7.在另一个示例方面，公开了另一种视频处理方法。该方法包括：对于视频的视频区域与所述视频的比特流表示之间的转换，做出将跨分量自适应环路滤波(cc-alf)工具用于使用第二分量的第二视频块的样点值来校正第一分量的第一视频块的样点值的确定；以及基于所述确定执行所述转换；其中，除均满足1)其中，所述第一分量为cr或cb分量并且2)所述第二分量为y分量的情况以外，使用所述cc-alf工具。
8.在又一示例方面，公开了另一种视频处理方法。该方法包括：对于视频的视频单元与所述视频的比特流表示之间的转换，做出根据规则将跨分量自适应环路滤波(cc-alf)工具用于使用第二分量的样点值来校正第一分量的样点值的确定；以及基于所述确定执行所述转换；其中，所述规则规定使用两个或更多个alf自适应参数集(aps)，所述两个或更多个alf aps包括所述比特流表示中的第一alf aps和第二alf aps。
9.在又一示例方面，公开了另一种视频处理方法。该方法包括：对于视频的视频区域与所述视频的比特流表示之间的转换，做出根据规则将跨分量自适应环路滤波(cc-alf)工具用于使用第二分量的样点值来校正第一分量的样点值的确定；以及基于所述确定执行所述转换；其中，所述规则规定使用两个或更多个cc-alf滤波器，所述两个或更多个cc-alf滤波器包括应用于所述视频区域中的第一样点的第一cc-alf滤波器和应用于所述视频区域中的第二样点的第二cc-alf滤波器。
10.在又一示例方面，公开了另一种视频处理方法。该方法包括：对于视频的视频区域与所述视频的比特流表示之间的转换，基于所述视频区域的亮度样点推导出所述视频区域的第一颜色分量的第一偏移；基于所述第一偏移推导出所述视频区域的第二颜色分量的第二偏移；以及基于所述视频区域的所述亮度样点，通过将跨分量自适应环路滤波(cc-alf)工具应用于校正所述第一颜色分量和所述第二颜色分量来执行所述转换。
11.在又一示例方面，公开了另一种视频处理方法。该方法包括：对于包括多个分量的视频的视频块与所述视频的比特流表示之间的转换，确定在m
×
n子块级别使用跨分量自适应环路滤波(cc-alf)工具，m和n为正整数，其中m和n中的至少一个大于1；以及基于所述确定执行所述转换，其中，所述cc-alf工具用于基于所述视频的第二分量来校正所述视频的第一分量的m
×
n子块样点。
12.在又一示例方面，公开了另一种视频处理方法。该方法包括：对于视频的视频区域与所述视频的比特流表示之间的转换，确定使用基于亮度样点差值滤波的跨分量自适应环路滤波器(cc-alf)过程来校正所述视频区域的色度样点；以及基于所述确定执行所述转换。
13.在又一示例方面，公开了另一种视频处理方法。该方法包括：根据规则执行视频的色度分量的部分与所述视频的比特流表示之间的转换，其中，所述规则规定跨分量自适应环路滤波(cc-alf)工具是否可用于所述视频的所述部分的所述转换取决于是否为亮度分量的对应部分指示了自适应环路滤波(alf)工具的可用性或使用。
14.在又一示例方面，公开了另一种视频处理方法。该方法包括：在视频的视频区域与所述视频的比特流表示之间执行转换，其中，所述比特流表示符合格式规则，所述格式规则规定是否包括指示所述比特流表示中跨分量自适应环路滤波(cc-alf)工具的使用的语法元素取决于可用的自适应环路滤波(alf)自适应参数集(aps)的数量。
15.在又一示例方面，公开了另一种视频处理方法。该方法包括：在视频的视频单元与所述视频的比特流表示之间执行转换，其中，所述比特流表示符合格式规则，所述格式规则规定使用第二分量的样点值来细化第一分量的样点值的跨分量自适应环路滤波(cc-alf)工具的适用性包括在不同于条带级别的视频单元级别的所述比特流表示中。
16.在又一示例方面，公开了另一种视频处理方法。该方法包括：在视频的视频区域与所述视频的比特流表示之间执行转换，其中，所述比特流表示符合格式规则，所述格式规则规定指示所述比特流表示中跨分量自适应环路滤波(cc-alf)工具的使用的语法元素是否取决于用于亮度分量的对应部分的自适应环路滤波(alf)工具的可用性。
17.在又一示例方面，公开了另一种视频处理方法。该方法包括：在视频的视频区域与所述视频的比特流表示之间执行转换，其中，所述比特流表示符合格式规则，所述格式规则规定所述比特流表示包括自适应参数集(aps)，所述aps包括语法元素以指示所述aps是否包含与跨分量自适应环路滤波(cc-alf)工具相关的信息。
18.在又一示例方面，公开了另一种视频处理方法。该方法包括：确定排除规则适用于视频的视频区域与所述视频的比特流表示之间的转换，其中，所述排除规则规定所述转换不允许将编解码工具和跨分量自适应环路滤波(cc-alf)工具一起用于所述视频区域；以及基于所述确定执行所述转换。
19.在又一示例方面，公开了另一种视频处理方法。该方法包括：对于视频的色度块与
所述视频的比特流表示之间的转换，根据规则执行，其中，在所述转换期间，使用跨分量自适应环路滤波器(cc-alf)工具来基于亮度块的样点确定所述色度块的预测；其中，所述规则规定用于所述预测的所述亮度块和/或在所述转换期间使用所述cc-alf工具的顺序。
20.在又一示例方面，公开了另一种视频处理方法。该方法包括：根据规则确定处理色度分量的自适应环路滤波器(alf)和所述色度分量的跨分量自适应环路滤波(cc-alf)的顺序；以及基于所述确定执行视频与所述视频的比特流表示之间的转换，其中，所述规则规定在所述视频的视频区域处所述顺序是预定义的还是自适应改变的，所述视频区域具有m
×
n的尺寸，并且m和n为正整数。
21.在又一示例方面，公开了另一种视频处理方法。该方法包括：执行视频的视频区域与所述视频的比特流表示之间的转换，其中，所述比特流表示符合格式规则，所述格式规则规定在所述比特流表示中包括语法元素，所述语法元素指示对于一个色度分量的自适应环路滤波(alf)和跨分量自适应环路滤波(cc-alf)的使用。
22.在又一示例方面，公开了一种视频编码器装置。所述视频编码器包括配置为实施上述方法的处理器。
23.在又一示例方面，公开了一种视频解码器装置。所述视频解码器包括配置为实施上述方法的处理器。
24.在又一示例方面，公开了一种其上存储有代码的计算机可读介质。所述代码以处理器可执行代码的形式体现本文描述的方法之一。
25.这些以及其他特征贯穿本文档描述。
附图说明
26.图1示出了视频编码器的示例。
27.图2示出了基于几何变换的自适应环路滤波器的示例形状。
28.图3a至图3d示出了子采样拉普拉斯计算示例的示例。
29.图4a和图4b示出了自适应环路滤波器布置及形状的示例。
30.图5示出了自适应环路滤波器的示例。
31.图6和图7为用于实施本文描述的视频解码器或视频编码器装置的硬件平台的示例的框图。
32.图8为示出示例视频编解码系统的框图。
33.图9为示出根据本公开的一些实施例的编码器的框图。
34.图10为示出根据本公开的一些实施例的解码器的框图。
35.图11为基于本公开技术的一些实施方式的视频处理的示例方法的流程图。
36.图12a至图12d为基于本公开技术的一些实施方式的视频处理的示例方法的流程图。
37.图13为基于本公开技术的一些实施方式的视频处理的示例方法的流程图。
38.图14a至图14c为基于本公开技术的一些实施方式的视频处理的示例方法的流程图。
具体实施方式
39.为了便于理解，在本文档中使用了章节标题，并且不将每个章节中公开的技术和实施例的适用性仅限于该章节。此外，在一些描述中使用h.266术语仅仅是为了便于理解，而不是为了限制所公开技术的范围。这样，本文描述的技术也适用于其他视频编解码器设计。
40.1.概述
41.本专利文档涉及视频编解码技术。具体地，它涉及图像/视频编解码中的跨分量自适应环路滤波器。它可以应用于现有的视频编解码标准(如hevc)，或者待定案的标准(多功能视频编解码)。它也可以应用于未来的视频编解码标准或视频编解码器。
42.2.背景
43.视频编解码标准主要通过开发众所周知的itu-t和iso/iec标准而发展起来的。itu-t制作了h.261和h.263，iso/iec制作了mpeg-1和mpeg-4视觉，并且这两个组织联合制作了h.262/mpeg-2视频、h.264/mpeg-4高级视频编解码(avc)和h.265/hevc标准。自h.262以来，视频编解码标准基于混合视频编解码结构，其中采用了时域预测加变换编解码。为了探索hevc以外的未来视频编解码技术，vceg和mpeg于2015年联合成立了联合视频探索团队(jvet)。此后，jvet采纳了许多新的方法并将其引入到名为联合探索模型(jem)的参考软件中。在2018年4月，创建了vceg(q6/16)和iso/iec jtc1 sc29/wg11(mpeg)之间的联合视频专家小组(jvet)，以致力于vvc标准，其目标是相比于hevc降低50％比特率。
44.2.1.颜色空间和色度子采样
45.颜色空间，也被称为颜色模型(或颜色系统)，是一种抽象的数学模型，该模型简单地将颜色的范围描述为数字的元组，通常是3或4个值或颜色分量(例如，rgb)。从根本上讲，颜色空间是坐标系和子空间的详细阐述(elaboration)。
46.针对视频压缩，最常用的颜色空间是ycbcr和rgb。ycbcr、y’cbcr或者y pb/cb pr/cr，也被称为ycbcr或y’cbcr，是视频和数字摄影系统中用作彩色图像管线的一部分的颜色空间族。y’是亮度分量，cb和cr是蓝差和红差色度分量。y’(带基色)与y(y是亮度)不同，这意味着光强是基于伽马校正的rgb基色进行非线性编码的。
47.色度子采样是利用人类视觉系统对色差的敏感度低于对亮度的敏感度，通过对于色度信息实施比亮度信息更低的精度来编码图像的实践。
48.2.1.1 4:4:4
49.三个y'cbcr分量中的每一个都具有相同的样点率，因此没有色度子采样。这种方案有时用于高端电影扫描仪和影片后期制作。
50.2.1.2 4:2:2
51.两个色度分量以亮度样点率的一半进行采样：水平色度精度减半。在几乎没有视觉差异的情况下，这将未压缩视频信号的带宽减少了三分之一。
52.2.1.3 4:2:0
53.在4:2:0中，与4:1:1相比，水平采样加倍，但由于cb和cr通道仅在该方案中的每条交替线上被采样，所以垂直精度减半。因此数据速率是相同的。在水平方向和垂直方向将cb和cr均以2倍进行子采样。有三种4:2:0方案的变体，其具有不同的水平和垂直选址。
54.·
在mpeg-2中，cb和cr在水平方向共位。cb和cr在垂直方向上位于像素之间(位于
间隙中)。
55.·
在jpeg/jif、h.261和mpeg-1中，cb和cr位于间隙中，在交替亮度样点的中间。
56.·
在4:2:0dv中，cb和cr在水平方向上共位。在垂直方向上，它们在交替线上共位。
57.2.1.4不同颜色分量的编解码
58.取决于separate_colour_plane_flag的值，将变量chromaarraytype的值分配如下：
59.如果separate_colour_plane_flag等于0，则将chromaarraytype设置为等于chroma_format_idc。
60.否则(separate_colour_plane_flag等于1)，则将chromaarraytype设置为等于0。
61.2.2典型视频编解码器的编解码流程
62.图1示出了vvc的编码器框图的示例，其中包含三个环路内滤波块：去方块滤波器(df)、样点自适应偏移(sao)和alf。与使用预定义滤波器的df不同，sao和alf利用当前图片的原始样点，分别通过用信令通知偏移和滤波器系数的编解码侧信息来添加偏移和应用有限脉冲响应(fir)滤波器，来减少原始样点与重构样点之间的均方误差。alf位于每张图片的最后一个处理阶段，可以被视为试图捕捉和修复由前几个阶段造成的伪影的工具。
63.2.3 jem中基于几何变换的自适应环路滤波器
64.在jem中，应用了基于几何变换的自适应环路滤波器(galf)，其具有基于块的滤波器自适应。对于亮度分量，基于局部梯度的方向和活动性，为每个2
×
2块选择25个滤波器中的一个。
65.2.3.1滤波器形状
66.在jem中，可以为亮度分量选择多达三种菱形滤波器形状(如图2所示)。在图片级别信令通知索引，以指示用于亮度分量的滤波器形状。
67.图2示出了galf滤波器形状的示例(左：5
×
5菱形，中：7
×
7菱形，右：9
×
9菱形)。
68.对于图片中的色度分量，总是使用5
×
5菱形形状。
69.2.3.1.1块分类
70.将每个2
×
2块分类为25个类别中的一个。分类索引c是基于其方向性d和活动性的量化值推导出的，如下：
[0071][0072]
为了计算d和首先使用1-d拉普拉斯计算水平、垂直以及两个对角线方向的梯度：
[0073][0074][0075]
[0076][0077]
索引i和j指的是2
×
2块中左上样点的坐标，并且r(i,j)指示坐标(i,j)处的重构样点。
[0078]
那么水平方向和垂直方向的梯度的d最大值和最小值设置为：
[0079][0080]
并且，两个对角线方向的梯度的最大值和最小值设置为：
[0081][0082]
为了推导出方向性d的值，将这些值相互比较并且与两个阈值t1和t2进行比较：
[0083]
步骤1：如果两者都为真，则d设置为0。
[0084]
步骤2：如果则从步骤3继续；否则从步骤4继续。
[0085]
步骤3：如果则d设置为2；否则d设置为1。
[0086]
步骤4：如果则d设置为4；否则d设置为3。
[0087]
活动性值a计算如下：
[0088][0089]
进一步将a量化到0至4(包括端点)的范围，并且将量化值表示为
[0090]
对于图片中的两个色度分量，不应用分类方法，即，对每个色度分量应用单个alf系数集。
[0091]
2.3.1.2滤波器系数的几何变换
[0092]
在滤波每个2
×
2块之前，取决于为该块计算的梯度值，将诸如旋转或者对角线和垂直翻转的几何变换应用于滤波器系数f(k,l)。这相当于将这些变换应用于滤波器支持区域中的样点。这个想法是通过对齐它们的方向性来使应用了alf的不同块更加相似。
[0093]
引入了三种几何变换，包括对角线、垂直翻转和旋转：
[0094]
对角线：fd(k,l)＝f(l,k)，
[0095]
垂直翻转：fv(k,l)＝f(k,k-l-1)，
ꢀꢀ
(9)
[0096]
旋转：fr(k,l)＝f(k-l-1,k)。
[0097]
其中，k是滤波器的尺寸，并且0≤k,l≤k-1是系数坐标，使得位置(0,0)在左上角并且位置(k-1,k-1)在右下角。取决于为该块计算的梯度值，将变换应用于滤波器系数f(k,l)。表1总结了变换与四个方向的四个梯度之间的关系。
[0098]
表1：为一个块计算的梯度与变换的映射
[0099]
梯度值变换g
d2
《g
d1
并且gh《gv不变换gd2
《g
d1
并且gv《gh对角线g
d1
《g
d2
并且gh《gv垂直翻转g
d1
《g
d2
并且gv《gh旋转
[0100]
2.3.1.3滤波器参数信令通知
[0101]
在jem中，为第一个ctu信令通知galf滤波器参数，即，在条带标头之后并且在第一个ctu的sao参数之前。最多可以信令通知25个亮度滤波器系数集。为了减少比特开销，可以合并不同分类的滤波器系数。此外，参考图片的galf系数被存储并被允许被重新用作当前图片的galf系数。当前图片可以选择使用为参考图片存储的galf系数，并且绕过galf系数信令通知。在这种情况下，仅信令通知参考图片之一的索引，并且为当前图片继承所指示的参考图片的存储的galf系数。
[0102]
为了支持galf时域预测，维持galf滤波器集合的候选列表。在解码新序列的开始，候选列表是空的。在解码一幅图片之后，对应的滤波器集合可以添加到候选列表中。一旦候选列表的大小达到最大允许值(即，在当前jem中为6)，一个新的滤波器集合就覆盖解码顺序中最旧的集合，也就是说，先进先出(fifo)规则应用于更新候选列表。为了避免重复，只有当对应的图片不使用galf时域预测时，才能将集合添加到列表中。为了支持时域可伸缩性，有多个滤波器集合的候选列表，并且每个候选列表与一个时域层相关联。更具体地，由时域层索引(tempidx)分配的每个阵列可以组成具有等于较低tempidx的先前解码图片的滤波器集合。例如，第k个阵列被分配为与等于k的tempidx相关联，并且它只包含来自tempidx小于或等于k的图片的滤波器集合。在对某个图片进行编解码后，与该图片相关联的滤波器集合将用于更新与相等或更高的tempidx相关联的那些阵列。
[0103]
galf系数的时域预测用于帧间编解码的帧，以最小化信令通知开销。对于帧内帧，时域预测不可用，并且16个固定滤波器集合被分配给每个类别。为了指示固定滤波器的使用，信令通知每个类别的标志，并且如果需要，信令通知选择的固定滤波器的索引。即使为给定的类别选择了固定滤波器，仍然可以为该类别发送自适应滤波器f(k,l)的系数，在这种情况下，将应用于重构图像的滤波器的系数是两个系数集合的总和。
[0104]
可以在cu级别控制亮度分量的滤波过程。信令通知标志来指示galf是否应用于cu的亮度分量。对于色度分量，仅在图片级别指示是否应用galf。
[0105]
2.3.1.4滤波过程
[0106]
在解码侧，当为块启用galf时，块内的每个样点r(i,j)被滤波，从而得到如下所示的样点值r
′
(i,j)，其中l表示滤波器长度，f
m,n
表示滤波器系数，以及f(k,l)表示解码的滤波器系数。
[0107][0108]
或者，自适应环路滤波器的滤波过程可以表示如下：
[0109]
o(x,y)＝∑
(i,j)
w(i,j).i(x i,y j)，
ꢀꢀ
(11)
[0110]
其中，样点i(x i,y j)是输入样点，o(x,y)是滤波后的输出样点(即，滤波器结果)，以及w(i,j)表示滤波器系数。实际上，在vtm4.0中，它是使用用于固定点精度计算的整数算法来实现的：
[0111][0112]
其中，l表示滤波器长度，并且其中w(i,j)是固定点精度下的滤波器系数。
[0113]
2.4非线性alf
[0114]
2.4.1滤波重建
[0115]
等式(11)可以在不影响编解码效率的情况下重新表述为以下表达式：
[0116]
o(x,y)＝i(x,y) ∑
(i,j)≠(0,0)
w(i,j).(i(x i,y j)-i(x,y))
ꢀꢀ
(13)
[0117]
其中，w(i,j)是与等式(11)中滤波器系数相同的滤波器系数[除了w(0,0)在等式(13)中等于1而其在等式(11)中等于1-∑
(i,j)≠(0,0)
w(i,j)]。
[0118]
2.4.2修改的滤波器
[0119]
利用上述(13)的滤波器公式，当相邻样点值(i(x i,y j))与被滤波的当前样点值(i(x,y))相差太大时，我们可以通过使用简单的裁剪函数容易地引入非线性以使alf更有效来减少相邻样点值(i(x i,y j))的影响。
[0120]
在本提案中，将alf滤波器修改如下：
[0121]o′
(x,y)＝i(x,y) ∑
(i,j)≠(0,0)
w(i,j).k(i(x i,y j)-i(x,y),k(i,j))，
[0122]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
[0123]
其中，k(d,b)＝min(b,max(-b,d))是裁剪函数，并且k(i,j)是裁剪参数，其取决于(i,j)滤波器系数。编码器执行该优化以找到最佳k(i,j)。
[0124]
为了便于实现，滤波器系数w(i,j)以整数精度被存储和使用。上面的等式可以被改写如下：
[0125]o′
(i,j)＝i(i,j) ((∑
k≠0
∑
l≠0
w(k,l)
×
k(i(i k,j l)-i(i,j),c(k,l)) 64)＞＞7)
ꢀꢀ
(16)
[0126]
其中，w(k,l)表示解码的滤波器系数，k(x,y)是裁剪函数，并且c(k,l)表示解码的裁剪参数。变量k和l在到之间变化，其中l表示滤波器长度。裁剪函数k(x,y)＝min(y,max(-y,x))对应于函数clip3(-y,y,x)。
[0127]
在jvet-n0242实施方式中，为每个alf滤波器规定了裁剪参数k(i,j)，每个滤波器系数信令通知一个裁剪值。这意味着在比特流中为每个亮度滤波器可以信令通知多达12个裁剪值，为色度滤波器可以信令通知多达6个裁剪值。为了限制信令通知成本和编码器复杂度，我们将裁剪值的评估限制为小的可能值的集合。在该提案中，我们仅使用4个固定值，这4个固定值对于帧间和帧内片组是相同的。
[0128]
因为亮度的局部差值的变化通常高于色度，所以我们对亮度和色度滤波器使用两种不同的集合。我们还在每个集合中包括最大样点值(本文为1024用于10比特位深)，使得如果不需要，则可以禁用裁剪。
[0129]
表2中提供了jvet-n0242测试中使用的裁剪值集合。这4个值是通过在对数域中大致相等地划分亮度的样点值(按10比特编解码)的整个范围和色度的从4到1024的范围来选择的。
[0130]
更准确地说，裁剪值的亮度表是通过以下公式获得的：
[0131]
其中m＝2
10
并且n＝4
ꢀꢀ
(13)
[0132]
类似地，裁剪值的色度表是根据以下公式获得的：
[0133]
，其中，m＝2
10
，n＝4，并且a＝4
ꢀꢀ
(14)
[0134]
表2：授权裁剪值。
[0135][0136]
通过使用与上表2中的裁剪值的索引对应的golomb编码方案，在“alf_data”语法元素中对所选择的裁剪值进行编解码。该编码方案与用于滤波器索引的编码方案相同。
[0137]
2.5 vvc中的基于几何变换的自适应环路滤波器
[0138]
与jem中相比，vvc中的galf目前的设计有以下主要变化：
[0139]
1)移除自适应滤波器形状。对于亮度分量只允许7
×
7滤波器形状，并且对于色度分量只允许5
×
5滤波器形状。
[0140]
2)在alf自适应参数集(aps)中信令通知alf滤波器系数。
[0141]
3)可以应用非线性alf。
[0142]
4)对于每个ctu，无论是启用还是禁用alf，信令通知每个颜色分量的一个比特标志。
[0143]
5)在4
×
4级别而不是2
×
2级别执行类别索引的计算。此外，如jvet-l0147中所提出的，利用子采样拉普拉斯计算方法进行alf分类。更具体地，不需要为一个块内的每个样点计算水平/垂直/45度对角线梯度/135度对角线梯度。相反，使用1:2子采样。
[0144]
图3a示出了垂直梯度的子采样位置的子采样拉普拉斯计算的示例。
[0145]
图3b示出了水平梯度的子采样位置的子采样拉普拉斯计算的示例。
[0146]
图3c示出了对角线梯度的子采样位置的子采样拉普拉斯计算的示例。
[0147]
图3d示出了对角线梯度的子采样位置的子采样拉普拉斯计算的示例。
[0148]
2.6自适应参数集中alf参数的信令通知
[0149]
在vvc草案的最新版本中，可以在自适应参数集(aps)中信令通知alf参数，并且alf参数可以由每个ctu自适应地选择。在一个aps中，可以信令通知多达25个亮度滤波器系数集合和裁剪值索引，以及多达8个色度滤波器系数集合和裁剪值索引。为了减少比特开销，可以合并亮度分量的不同分类的滤波器系数。在条带标头中，信令通知用于当前条带的aps的索引。
[0150]
用等于128的范数(norm)量化滤波器系数。为了限制乘法复杂度，应用了比特流一致性，使得非中心位置的系数值应在-27至2
7-1(包括端点)的范围内。不在比特流中信令通
知中心位置系数，并且将其认为等于128。
[0151]
alf的详细信令通知(在jvet-p2001-v9中)如下。
[0152]
7.3.2.5自适应参数集语法
[0153][0154]
7.3.2.16自适应环路滤波器数据语法
[0155]
[0156]
[0157][0158]
7.4.3.5自适应参数集语义
[0159]
每个aps rbsp在被参考之前应可用于解码过程，其包括在至少一个访问单元(access unit)中，该单元的temporalid小于或等于参考它的或通过外部方式提供的编解码的条带nal单元的temporalid。
[0160]
令asplayerid为aps nal单元的nuh_layer_id。如果nuh_layer_id等于asplayerid的层是独立层(即，vps_independent_layer_flag[generallayeridx[asplayerid]]等于1)，则包含aps rbsp的aps nal单元的nuh_layer_id应等于参考它的编解码的条带nal单元的nuh_layer_id。否则，包含aps rbsp的aps nal单元的nuh_layer_id应等于参考它的编解码的条带nal单元的nuh_layer_id，或者等于包含参考它的编解码的条带nal单元的层的直接依赖层的nuh_layer_id。
[0161]
访问单元内具有特定的adaptation_parameter_set_id值和特定的aps_params_type值的所有aps nal单元应具有相同的内容。
[0162]
adaptation_parameter_set_id为aps提供了标识符，供其他语法元素参考。
[0163]
当aps_params_type等于alf_aps或scaling_aps时，adaptation_parameter_set_id的值应在0至7(包括端点)的范围内。
[0164]
当aps_params_type等于lmcs_aps时，adaptation_parameter_set_id的值应在0至3(包括端点)的范围内。
[0165]
如表7-2中所规定的，aps_params_type规定在aps中携带的aps参数的类型。当aps_params_type等于1(lmcs_aps)时，adaptation_parameter_set_id的值应在0至3(包括端点)的范围内。
[0166]
表7-2 aps参数类型代码和aps参数类型
[0167][0168]
注1每种类型的aps使用单独的值空间用于adaptation_parameter_set_id。
[0169]
注2 aps nal单元(具有特定的adaptation_parameter_set_id值和特定的aps_params_type值)可以跨图片共享，图片内的不同条带可以参考不同的alf aps。
[0170]
aps_extension_flag等于0规定在aps rbsp语法结构中不存在aps_extension_data_flag语法元素。aps_extension_flag等于1规定在aps rbsp语法结构中存在aps_extension_data_flag语法元素。
[0171]
aps_extension_data_flag可以具有任何值。其存在及其值不影响解码器与本规范的本版本中规定的配置文件一致性。符合本规范的本版本的解码器应忽略所有aps_extension_data_flag语法元素。
[0172]
7.4.3.14自适应环路滤波器数据语义
[0173]
alf_luma_filter_signal_flag等于1规定信令通知亮度滤波器集合。alf_luma_filter_signal_flag等于0规定不信令通知亮度滤波器集合。
[0174]
alf_chroma_filter_signal_flag等于1规定信令通知色度滤波器。alf_chroma_filter_signal_flag等于0规定不信令通知色度滤波器。当chromaarraytype等于0时，alf_chroma_filter_signal_flag应等于0。
[0175]
规定不同自适应环路滤波器数量的变量numalffilters设置为等于25。
[0176]
alf_luma_clip_flag等于0规定对亮度分量应用线性自适应环路滤波。alf_luma_clip_flag等于1规定可以对亮度分量应用非线性自适应环路滤波。
[0177]
alf_luma_num_filters_signed_minus 1加1规定可以信令通知亮度系数的自适应环路滤波器类别的数量。alf_luma_num_filters_signed_mins 1的值应在0至numalffilters-1(包括端点)的范围内。
[0178]
alf_luma_coeff_delta_idx[filtidx]规定由从0至numalffilters-1的范围内的filtidx指示的滤波器类别的被信令通知的自适应环路滤波器亮度系数增量的索引。当alf_luma_coeff_delta_idx[filtidx]不存在时，推断其等于0。alf_luma_coeff_delta_idx[filtidx]的长度为ceil(log2(alf_luma_num_filters_signalled_minus1 1))比特。
[0179]
alf_luma_coeff_signalled_flag等于1指示信令通知alf_luma_coeff_flag[sfidx]。alf_luma_coeff_signalled_flag等于0指示不信令通知alf_luma_coeff_flag[sfidx]。
[0180]
alf_luma_coeff_flag[sfidx]等于1规定信令通知由sfidx指示的亮度滤波器的系数。alf_luma_coeff_flag[sfidx]等于0规定由sfidx指示的亮度滤波器的所有滤波器系数都设置为等于0。当不存在时，alf_luma_coeff_flag[sfidx]设置为等于1。
[0181]
alf_luma_coeff_abs[sfidx][j]规定由sfidx指示的被信令通知的亮度滤波器的第j个系数的绝对值。当alf_luma_coeff_abs[sfidx][j]不存在时，推断其等于0。
[0182]
指数golomb二值化uek(v)的阶k设置为等于3。
[0183]
如下，alf_luma_coeff_sign[sfidx][j]规定由sfidx指示的滤波器的第j个亮度系数的符号：
[0184]-如果alf_luma_coeff_sign[sfidx][j]等于0，则对应的亮度滤波器系数具有正值。
[0185]-否则(alf_luma_coeff_sign[sfidx][j]等于1)，则对应的亮度滤波器系数具有负值。
[0186]
当alf_luma_coeff_sign[sfidx][j]不存在时，推断其等于0。
[0187]
其中sfidx＝0..alf_luma_num_filters_signalled_minus1、j＝0..11的变量filtcoeff[sfidx][j]被初始化如下：
[0188]
filtcoeff[sfidx][j]＝alf_luma_coeff_abs[sfidx][j]*
ꢀꢀ
(7-47)
[0189]
(1-2*alf_luma_coeff_sign[sfidx][j])
[0190]
如下，推导出具有其中filtidx＝0..numalffilters-1和j＝0..11的元素alfcoeff
l
[adaptation_parameter_set_id][filtidx][j]的亮度滤波器系数alfcoeff
l
[adaptation_parameter_set_id]：
[0191]
alfcoeff
l
[adaptation_parameter_set_id][filtidx][j]＝filtcoeff[alf_luma_coeff_delta_idx[filtidx]][j]
ꢀꢀꢀ
(7-48)
[0192]
如下，推导出其中i＝0..64和j＝0..11的固定滤波器系数alffixfiltcoeff[i][j]以及其中m＝0..15和n＝0..24的类别到滤波器映射alfclasstofiltmap[m][n]：
[0193]
[0194]
[0195][0196]
alfclasstofiltmap＝
ꢀꢀ
(7-50)
[0197]
{
[0198]
{8,2,2,2,3,4,53,9,9,52,4,4,5,9,2,8,10,9,1,3,39,39,10,9,52}
[0199]
{11,12,13,14,15,30,11,17,18,19,16,20,20,4,53,21,22,23,14,25,26,26,27,28,10}
[0200]
{16,12,31,32,14,16,30,33,53,34,35,16,20,4,7,16,21,36,18,19,21,26,37,38,39}
[0201]
{35,11,13,14,43,35,16,4,34,62,35,35,30,56,7,35,21,38,24,40,16,21,48,57,39}
[0202]
{11,31,32,43,44,16,4,17,34,45,30,20,20,7,5,21,22,46,40,47,26,48,63,58,10}
[0203]
{12,13,50,51,52,11,17,53,45,9,30,4,53,19,0,22,23,25,43,44,37,27,28,10,55}
[0204]
{30,33,62,51,44,20,41,56,34,45,20,41,41,56,5,30,56,38,40,47,11,37,42,57,8}
[0205]
{35,11,23,32,14,35,20,4,17,18,21,20,20,20,4,16,21,36,46,25,41,26,48,49,58}
[0206]
{12,31,59,59,3,33,33,59,59,52,4,33,17,59,55,22,36,59,59,60,22,36,59,25,55}
[0207]
{31,25,15,60,60,22,17,19,55,55,20,20,53,19,55,22,46,25,43,60,37,28,10,55,52}
[0208]
{12,31,32,50,51,11,33,53,19,45,16,4,4,53,5,22,36,18,25,43,26,27,27,
28,10}
[0209]
{5,2,44,52,3,4,53,45,9,3,4,56,5,0,2,5,10,47,52,3,63,39,10,9,52}
[0210]
{12,34,44,44,3,56,56,62,45,9,56,56,7,5,0,22,38,40,47,52,48,57,39,10,9}
[0211]
{35,11,23,14,51,35,20,41,56,62,16,20,41,56,7,16,21,38,24,40,26,26,42,57,39}
[0212]
{33,34,51,51,52,41,41,34,62,0,41,41,56,7,5,56,38,38,40,44,37,42,57,39,10}
[0213]
{16,31,32,15,60,30,4,17,19,25,22,20,4,53,19,21,22,46,25,55,26,48,63,58,55}
[0214]
},
[0215]
比特流一致性的要求是其中filtidx＝0..numalffilters
–
1以及j＝0..11的alfcoeff
l
[adaptation_parameter_set_id][filtidx][j]的值应在-27至2
7-1(包括端点)的范围内。
[0216]
alf_luma_clip_idx[sfidx][j]规定在乘以由sfidx指示的被信令通知的亮度滤波器的第j个系数之前要使用的裁剪值的裁剪索引。比特流一致性的要求是，其中sfidx＝0..alf_luma_num_filters_signalled_minus1和j＝0..11的alf_luma_clip_idx[sfidx][j]的值应在0至3(包括端点)的范围内。
[0217]
取决于设置为等于bitdepthy的bitdepth和设置为等于alf_luma_clip_idx[alf_luma_coeff_delta_idx[filtidx]][j]的clipidx，如表7-4中所规定的推导出具有其中filtidx＝0..numalffilters
–
1和j＝0..11的元素alfclipl[adaptation_parameter_set_id][filtidx][j]的亮度滤波器裁剪值alfclip
l
[adaptation_parameter_set_id]。
[0218]
alf_chroma_num_alt_filters_minus1加1规定色度分量的可替代滤波器的数量。
[0219]
alf_chroma_clip_flag[altidx]等于0规定当使用具有索引altidx的色度滤波器时，对色度分量应用线性自适应环路滤波；alf_chroma_clip_flag[altidx]等于1规定当使用具有索引altidx的色度滤波器时，对色度分量应用非线性自适应环路滤波。当不存在时，alf_chroma_clip_flag[altidx]被推断为等于0。
[0220]
alf_chroma_coeff_abs[altidx][j]规定具有索引altidx的可替代色度滤波器的第j个色度滤波器系数的绝对值。当alf_chroma_coeff_abs[altidx][j]不存在时，推断其等于0。比特流一致性的要求是，alf_chroma_coeff_abs[altidx][j]的值应在0至2
7-1(包括端点)的范围内。
[0221]
指数golomb二值化uek(v)的阶k设置为等于3。
[0222]
如下，alf_chroma_coeff_sign[altidx][j]规定具有索引altidx的可替代色度滤波器的第j个色度滤波器系数的符号：
[0223]-如果alf_chroma_coeff_sign[altidx][j]等于0，则对应的色度滤波器系数具有正值。
[0224]-否则(alf_chroma_coeff_sign[altidx][j]等于1)，则对应的色度滤波器系数具有负值。
[0225]
当alf_chroma_coeff_sign[altidx][j]不存在时，推断其等于0。
[0226]
如下，推导出具有其中altidx＝0..alf_chroma_num_alt_filters_minus1和j＝0..5的元素alfcoeffc[adaptation_parameter_set_id][altidx][j]的色度滤波器系数alfcoeffc[adaptation_parameter_set_id][altidx]：
[0227]
alfcoeffc[adaptation_parameter_set_id][altidx][j]＝alf_chroma_coeff_abs[altidx][j]*(1-2*alf_chroma_coeff_sign[altidx][j])
ꢀꢀ
(7-51)
[0228]
比特流一致性的要求是，其中altidx＝0..alf_chroma_num_alt_filters_minus1和j＝0..5的alfcoeffc[adaptation_parameter_set_id][altidx][j]的值应在-2
7-1至2
7-1(包括端点)的范围内。
[0229]
alf_chroma_clip_idx[altidx][j]规定在乘以具有索引altidx的可替代色度滤波器的第j个系数之前要使用的裁剪值的裁剪索引。比特流一致性的要求是，其中altidx＝0..alf_chroma_num_alt_filters_minus1和j＝0..5的alf_chroma_clip_idx[altidx][j]的值应在0至3(包括端点)的范围内。
[0230]
取决于设置为等于bitdepthc的bitdepth和设置为等于alf_chroma_clip_idx[altidx][j]的clipidx，如表7-4中所规定的，推导出具有其中altidx＝0..alf_chroma_num_alt_filters_minus1和j＝0..5的元素alfclipc[adaptation_parameter_set_id][altidx][j]的色度滤波器裁剪值alfclipc[adaptation_parameter_set_id][altidx]。
[0231]
表7-4-取决于bitdepth和clipidx的规范alfclip
[0232][0233]
2.7 ctu的alf参数的信令通知
[0234]
在vtm6中，在自适应参数集(aps)中信令通知alf滤波器参数。在一个apf中，可以信令通知多达25个亮度滤波器系数集合和裁剪值索引，以及多达8个色度滤波器系数集合和裁剪值索引。为了减少比特开销，可以合并亮度分量的不同分类的滤波器系数。在条带标头中，信令通知用于当前条带的aps索引。
[0235]
从aps解码的裁剪值索引允许使用裁剪值的亮度表和裁剪值的色度表来确定裁剪值。这些裁剪值取决于内部比特深度。
[0236]
在条带标头中，可以信令通知多达7个aps索引，以规定用于当前条带的亮度滤波
器集合。可以在ctb级别进一步控制滤波过程。总是信令通知标志来指示是否将alf应用于亮度ctb。亮度ctb可以从16个固定滤波器集合和来自aps的滤波器集合中选择滤波器集合。为亮度ctb信令通知滤波器集合索引，以指示应用哪个滤波器集合。这16个固定滤波器集合在编码器和解码器中都是预定义和硬编解码的。
[0237]
对于色度分量，在条带标头中信令通知aps索引，以指示用于当前条带的色度滤波器集合。在ctb级别，如果aps中有多于一个的色度滤波器集合，则为每个色度ctb信令通知滤波器索引。
[0238]
更具体地，以下内容适用：
[0239]
首先对条带开/关控制标志进行编解码，以指示条带中是否至少有一个ctu应用alf。当它为真时，对于每个ctu，按顺序检查并信令通知以下内容：
[0240]
关于亮度部分：
[0241]
1、是否将alf应用于亮度ctb。如果是，则转到步骤2。否则，不需要进一步的信令通知。
[0242]
2、检查用于当前条带的alf aps数量，用numalfaps表示它。
[0243]
3、如果numalfaps等于0，则信令通知固定滤波器的索引(例如，alf_luma_fixed_filter_idx)。否则，以下内容适用：
[0244]-信令通知标志来指示其是否是从第一alf aps预测的。
[0245]-如果不是，则转到步骤4。否则，停止亮度ctb的alf参数的信令通知。
[0246]
4、如果numalfaps大于1，则信令通知标志来指示其是否是从alf aps预测的。
[0247]-如果不是，则信令通知固定滤波器的索引；
[0248]-如果是，并且numalfaps大于2，则用截断一元信令通知alf aps的索引减1。
[0249]
关于色度部分：
[0250]
1、是否将alf应用于cb/cr ctb。如果是，则转到步骤2。否则，不需要进一步的信令通知。
[0251]
2、信令通知与第i个alf aps相关联的滤波器的索引，其中aps索引在条带标头中信令通知。
[0252]
7.3.8.2编解码树单元语法
[0253]
[0254]
[0255][0256]
2.8跨分量自适应环路滤波器(cc-alf)
[0257]
跨分量自适应环路滤波器(cc-alf)使用亮度样点值来细化每个色度分量。基本上，如果应用了cc-alf，则cc-alf通过滤波亮度样点来为每个色度样点生成校正。它用作环路滤波器步骤。该工具由比特流中的信息控制，该信息包括以下两者：(a)每个色度分量的滤波器系数和(b)控制样点块的滤波器应用的掩码(mask)。
[0258]
图4a示出了cc-alf相对于其他环路滤波器的布置。cc-alf通过将线性菱形滤波器(如图4b中所示)应用到每个色度分量的亮度通道来操作，其表示为
[0259][0260]
其中，
[0261]
(x,y)是被细化的色度分量i位置，
[0262]
(xc,yc)是基于(x,y)的亮度位置，
[0263]
si是色度分量i的亮度中的滤波器支持，
[0264]ci
(x0,y0)表示滤波器系数。
[0265]
图4a示出了cc-alf相对于其他环路滤波器的布置。图4b示出了菱形滤波器。
[0266]
在jvet-o0636中进一步描述了cc-alf过程。关键特征特性包括：
[0267]
·
支持区域围绕其居中的亮度位置(xc,yc)是基于亮度与色度平面之间的空域缩放因子计算的。
[0268]
·
所有滤波器系数都在aps中传输，并且具有8比特动态范围。
[0269]
·
可以在条带标头中参考aps。
[0270]
·
用于条带的每个色度分量的cc-alf系数也存储在对应于时域子层的缓冲区中。使用条带级别标志来促进这些时域子层滤波器系数集合的重新使用。
[0271]
·
cc-alf滤波器的应用被控制在可变的块尺寸上，并且由为每个样点块接收的上下文编解码标志来信令通知。对于每个色度分量在条带级别接收块尺寸以及cc-alf启用标志。
[0272]
·
水平虚拟边界的边界填充利用了重复(repetition)。对于剩余的边界，使用与常规alf相同类型的填充。
[0273]
2.8.1 jvet-p1008中cc-alf的进一步简化
[0274]
与jvet-p0080相比，提出了以下新的方面来简化cc-alf设计。
[0275]-复杂性降低
[0276]
○
如图5中所示，通过将滤波器形状改变为3
×
4菱形形状来减少滤波器操作中的乘法数量。
[0277]
○
将cc-alf系数的动态范围限制到6比特。
[0278]
○
允许与色度alf共享乘法器。
[0279]-与alf对齐
[0280]
○
将滤波器选择限制在ctu级别的信令通知。
[0281]
○
移除时域层系数缓冲区。
[0282]
○
在alf虚拟边界处使用对称线选择。
[0283]
此外，由于简化降低了编解码效率，限制每个色度分量最多应用4个滤波器。
[0284]
图5示出了3
×
4菱形滤波器的示例。
[0285]
2.8.1.1 cc_alf的句法和语义
[0286]
7.3.6条带标头语法
[0287]
7.3.6.1通用条带标头语法
[0288]
[0289]
[0290]
[0291]
[0292][0293]
自适应环路滤波器数据语法
[0294]
[0295][0296]
7.3.8.2编解码树单元语法
[0297]
[0298][0299]
3、一些公开的技术方案解决的技术问题
[0300]
当前的cc-alf设计具有以下问题：
[0301]
1、仅应用了一种利用亮度信息来细化色度样点的cc-alf模式，缺乏灵活性。
[0302]
2、使用相同的sps标志控制非线性alf和cc-alf的使用。不可能将cc-alf与非线性alf分别单独关闭。
[0303]
3、cc-alf的信令通知独立于非线性alf标志(即，slice_alf_enabled_flag)，这是不合理的。
[0304]
4、对于每个ctb，只允许一个cc-alf滤波器(对于cb由alf_ctb_cross_component_cb_idc指示，对于cr由alf_ctb_cross_component_cr_idc指示)，这不能捕获局部特性。
[0305]
5、cc-alf利用亮度信息来细化色度样点，而诸如sao的其他滤波器也可以细化色度样点。同一色度样点的重复细化可能会导致较大的失真。
[0306]
6、对于一个ctb，cc-alf和色度alf滤波过程的输入是相同的，即sao过程之后的重构样点。cc-alf与色度alf滤波过程之间的相互作用没有被考虑。
[0307]
4、实施例和技术的列表
[0308]
下面的实施例的列表应被认为是解释一般概念的示例。不应狭隘地解释这些项目。此外，这些项目可以以任何方式进行组合。
[0309]
在本文档中，alf滤波器可以表示使用给定颜色分量的信息应用于给定颜色分量的滤波器(例如，使用亮度信息将亮度alf滤波器(线性或非线性)应用于亮度；使用色度信息将色度alf滤波器应用于色度，例如，cb色度alf滤波器用于滤波cb样点；以及cr色度alf滤波器用于滤波cr样点)；而cc-alf滤波器可以表示使用第二颜色分量信息应用于第一颜色分量的滤波器(例如，第一颜色分量可以是cb或cr；第二颜色分量可以是亮度)。
[0310]
cc-alf的扩展
[0311]
1、cc-alf可以扩展到通过滤波第二分量中的样点来校正第一分量中的样点的情况，其排除了第一分量是cb/cr并且第二分量是y的情况。
[0312]
a.此外，或者，可以信令通知cc-alf被应用于哪个颜色分量的指示。
[0313]
b.在一个示例中，第一颜色分量可以是ycbcr格式中的y，或者是rgb格式中的g。
[0314]
c.在一个示例中，第一颜色分量可以是ycbcr格式中的cb，或者是rgb格式中的b。
[0315]
d.在一个示例中，第一颜色分量可以是ycbcr格式中的cr，或者是rgb格式中的r。
[0316]
e.在一个示例中，第二颜色分量可以是ycbcr格式中的y，或者是rgb格式中的g。
[0317]
f.在一个示例中，第二颜色分量可以是ycbcr格式中的cb，或者是rgb格式中的b。
[0318]
g.在一个示例中，第二颜色分量可以是ycbcr格式中的cr，或者是rgb格式中的r。
[0319]
2、提出当在cc-alf中推导出第一分量的“样点校正”或“细化样点”时，可以将来自多于一个分量的样点进行滤波。
[0320]
a.在一个示例中，当计算来自第一分量的样点的校正时，可以将来自第二分量和第三分量的样点进行滤波，其中，第一分量不同于第二分量和第三分量。
[0321]
i.在一个示例中，第一分量是ycbcr格式中的cb，并且第二分量和第三分量分别是y和cr。
[0322]
ii.在一个示例中，第一分量是ycbcr格式中的cr，并且第二分量和第三分量分别是y和cb。
[0323]
iii.在一个示例中，第一分量是ycbcr格式的中y，并且第二分量和第三分量分别是cb和cr。
[0324]
iv.在一个示例中，第一分量是rgb格式中的g，并且第二分量和第三分量分别是r和b。
[0325]
v.在一个示例中，第一分量是rgb格式中的b，并且第二分量和第三分量分别是r和g。
[0326]
vi.在一个示例中，第一分量是rgb格式中的r，并且第二分量和第三分量分别是g和b。
[0327]
b.或者，当计算来自第一分量的样点的校正时，可以将来自第二分量和第三分量的样点进行滤波，其中，第一分量与第二分量或第三分量相同。
[0328]
i.在一个示例中，第一分量是ycbcr格式中的cb，并且第二分量和第三分量分别是cb和y。
[0329]
ii.在一个示例中，第一分量是ycbcr格式中的cb，并且第二分量和第三分量分别是cb和cr。
[0330]
iii.在一个示例中，第一分量是ycbcr格式中的cr，并且第二分量和第三分量分别是cr和y。
[0331]
iv.在一个示例中，第一分量是ycbcr格式中的cr，并且第二分量和第三分量分别是cr和cb。
[0332]
v.在一个示例中，第一分量是ycbcr格式中的y，并且第二分量和第三分量分别是y和cb。
[0333]
vi.在一个示例中，第一分量是ycbcr格式中的y，并且第二分量和第三分量分别是y和cr。
[0334]
vii.在一个示例中，第一分量是rgb格式中的g，并且第二分量和第三分量分别是g和r。
[0335]
viii.在一个示例中，第一分量是rgb格式中的g，并且第二分量和第三分量分别是g和b。
[0336]
ix.在一个示例中，第一分量是rgb格式中的b，并且第二分量和第三分量分别是b和r。
[0337]
x.在一个示例中，第一分量是rgb格式中的b，并且第二分量和第三分量分别是b和
g。
[0338]
xi.在一个示例中，第一分量是rgb格式中的r，并且第二分量和第三分量分别是r和g。
[0339]
xii.在一个示例中，第一分量是rgb格式中的r，并且第二分量和第三分量分别是r和b。
[0340]
c.在一个示例中，当计算来自第一分量的样点的校正时，可以将来自三个分量的样点进行滤波。
[0341]
i.在一个示例中，第一分量是ycbcr格式中的cb，或者是cr或y。
[0342]
ii.在一个示例中，第一分量是rgb格式中的g，或者是r或b。
[0343]
iii.在一个示例中，三个分量是ycbcr格式中的y、cb和cr。
[0344]
iv.在一个示例中，三个分量是rgb格式中的r、g和b。
[0345]
d.在一个示例中，第一/第二/第三分量和/或对于一个偏移推导需要滤波多少分量的指示可以从编码器信令通知到解码器或者预先定义。
[0346]
在以下描述中，假设将cc-alf应用于色度分量(例如，cb或cr)。应当注意的是，当将cc-alf扩展以细化其他颜色分量(例如亮度或者g，或b，或r)时，可以通过改变颜色分量来应用类似的想法。
[0347]
cc-alf中的多个滤波器
[0348]
3、对于cc-alf过程，视频单元(例如条带/图片)可以参考多于1个alf aps。也就是说，对于视频单元中的至少第一样点，可以利用第一alf aps中的cc-alf滤波器，而第二alf aps中的cc-alf滤波器可以用于视频单元中的至少第二样点。
[0349]
a.在一个示例中，可以对所参考的alf aps的数量进行编解码。
[0350]
b.在一个示例中，可以对alf aps的索引进行编解码。
[0351]
c.在一个示例中，亮度alf滤波器所参考的相同的alf aps集合可以用于cc-alf。
[0352]
i.此外，或者，不需要信令通知用于推导出cc-alf滤波器的alf aps。
[0353]
d.在一个示例中，亮度alf所参考的alf aps的子集或超集可以用于cc-alf。
[0354]
i.此外，或者，可以信令通知用于推导出cc-alf滤波器和亮度alf滤波器的alf aps的差值。
[0355]
4、对于cc-alf过程，多于1个cc-alf滤波器可以用于视频区域(例如ctb)。也就是说，对于视频区域中的至少第一样点，可以利用第一cc-alf滤波器，而第二cc-alf滤波器中的cc-alf滤波器可以用于视频区域中的至少第二样点。
[0356]
a.在一个示例中，可以在视频区(例如，ctb/cu/cb/pu/pb，ctb行)中信令通知多个cc-alf滤波器的指示。
[0357]
i.在一个示例中，该指示可以包括一个alf aps中所选择的cc-alf滤波器索引。
[0358]
ii.或者，该指示可以包括所选择的cc-alf滤波器索引和其中与cc-alf滤波器相关联的alf aps的索引。
[0359]
iii.或者，该指示可以包括没有在aps中信令通知的所选择的固定cc-alf滤波器。
[0360]
a)此外，或者，固定cc-alf滤波器可以是预定义的并且用于预测所选择的cc-alf滤波器/作为所选择的cc-alf滤波器由块继承。
[0361]
iv.在一个示例中，视频区与视频区域相同。
[0362]
v.或者，视频区可以大于(例如，条带)或小于(例如，cu)视频区域。
[0363]
b.在一个示例中，色度样点可以分类为多个集合，并且如何选择cc-alf滤波器可以取决于分类结果。
[0364]
i.在一个示例中，两个色度分量可以独立地推导出分类。
[0365]
a)在一个示例中，色度分量的分类过程可以取决于色度分量的色度样点信息。
[0366]
ii.在一个示例中，两个色度分量可以联合推导出分类。
[0367]
a)在一个示例中，两个对应的色度块(cb和cr)的分类过程可以取决于两个块内的色度样点。
[0368]
iii.在一个示例中，色度分量的分类过程可以取决于亮度颜色分量的信息。
[0369]
a)在一个示例中，可以将相同的类别索引设置为色度块及其对应的亮度块。
[0370]
iv.在一个示例中，一个或多个色度分量的分类过程可以取决于基于多于一个分量的联合决定。(例如y cb cr或y cb或y cr)
[0371]
v.在一个示例中，色度样点可以遵循亮度alf中亮度样点的相应分类被分类成多个集合。
[0372]
vi.此外，或者，可以进一步信令通知关于如何根据分类索引选择cc-alf滤波器的指示，例如可以信令通知对于每个分类索引的cc-alf滤波器索引。
[0373]
改进的cc-alf的滤波过程
[0374]
5、提出在用于细化色度样点之前修改细化(例如，推导出的偏移)。
[0375]
a.在一个示例中，推导出的偏移可以被裁剪到给定范围。
[0376]
i.在一个示例中，是否和/或如何裁剪偏移可以从编码器信令通知到解码器。
[0377]
6、代替对于像素的两个对应色度样点执行两次cc-alf滤波过程，提出调用一次。假设第一颜色分量的像素s的offset1可以从亮度样点推导出，则第二颜色分量的像素s的offset2可以从offset1推导出。
[0378]
a.在一个示例中，offset1等于offset2。
[0379]
b.在一个示例中，offset1加offset2可以等于0。
[0380]
c.在一个示例中，offset2可以作为offset1的线性函数被推导出。例如，offset2等于a*offset1 b。
[0381]
d.在一个示例中，裁剪操作可以用于从offset1推导出offset2。
[0382]
e.在一个示例中，可以基于offset1和联合cb及cr模式的条带级别符号标志(例如，slice_joint_cbcr_sign_flag)推导出offset2。
[0383]
i.在一个示例中，当slice_joint_cbcr_sign_flag为0时，offset2可以设置为等于offset1。
[0384]
a)或者，在一个示例中，当slice_joint_cbcr_sign_flag为1时，offset2可以设置为等于-offset1。
[0385]
f.在一个示例中，一个cc-alf滤波器集合可以用于两个对应的色度样点(例如，cb和cr)。
[0386]
i.此外，或者，对于两个色度分量，cc-alf滤波器的指示可以仅被信令通知一次，而不是两次。
[0387]
g.此外，或者，色度分量的偏移的校正可以进一步被信令通知或推导出。
[0388]
i.在一个示例中，从亮度样点推导出的偏移(由o表示)可以直接用于细化第一色度分量的一个样点(例如，cb)；o和o的校正都可以用于细化第二色度分量的一个样点(例如，cr)。
[0389]
7、代替在样点级别执行cc-alf滤波过程，提出在子块(包含多于1个样点)级别应用cc-alf滤波过程。
[0390]
a.在一个示例中，对于子块内的所有色度样点，可以仅调用一次偏移推导过程。
[0391]
b.在一个示例中，对于子块内的色度样点，可以利用相同的偏移。
[0392]
i.或者，可以进一步修改至少从第二颜色分量推导出的偏移，例如，从至少第二颜色分量推导出的偏移可以设置为内部偏移，并且子块中样点的最终偏移可以从内部偏移推导出。
[0393]
c.在一个示例中，子块尺寸可以设置为m
×
n(例如，2
×
2、2
×
1、1
×
2)。
[0394]
d.在一个示例中，子块尺寸可以取决于颜色格式(例如4:4:4或4:2:0)。
[0395]
e.在一个示例中，子块尺寸在不同的块(例如ctb)中可以不同。
[0396]
f.在一个示例中，对于不同的颜色分量，子块尺寸可以不同。
[0397]
g.在一个示例中，cc-alf滤波器支持区域可以取决于子块尺寸。
[0398]
h.在一个示例中，可以在视频单元中信令通知子块尺寸和/或cc-alf调用的粒度(granularity)。
[0399]
8、调用cc-alf滤波过程，以将系数滤波应用于亮度样点差值，而不是直接应用于亮度样点。
[0400]
a.在一个示例中，亮度样点差值可以被定义为滤波器支持(区域)中的一个亮度样点和对应的亮度样点之间的差值。假设色度样点坐标由(x，y)表示。
[0401]
i.在一个示例中，对于4:4:4格式，对应的亮度样点是位于(x，y)的一个。
[0402]
ii.在一个示例中，对于非4:4:4格式，对应的亮度样点是位于(2x，2y)的亮度样点。
[0403]
iii.在一个示例中，对于4:2:0格式，对应的亮度样点被推导出为位于(2x，2y)和(2x，2y 1)的两个样点的函数(例如，平均)。
[0404]
iv.在一个示例中，等式(18)中的滤波过程可以被重写为：
[0405][0406]
其中，
[0407]
(x,y)是被细化的色度分量i位置，
[0408]
(xc,yc)是基于(x,y)的亮度位置，
[0409]
si是对于色度分量i的亮度中的滤波器支持，
[0410]ci
(x0,y0)表示滤波器系数。
[0411]
注意，如果对应的样点被定义为(xc,yc)，那么x0和y0都等于0将从si排除。
[0412]
b.此外，或者，亮度样点差值可以在使用之前被进一步修改，例如被裁剪。
[0413]
i.在一个示例中，等式(18)中的滤波过程可以被重写为：
[0414][0415]
其中，
[0416]
(x,y)是被细化的色度分量i位置，
[0417]
(xc,yc)是基于(x,y)的亮度位置，
[0418]
si是对于色度分量i的亮度中的滤波器支持，
[0419]ci
(x0,y0)表示滤波器系数。
[0420]
注意，如果对应的样点被定义为(xc,yc)，那么x0和y0都等于0将从si排除，并且函数clip可以取决于(x0,y0)。
[0421]
ii.在一个示例中，可以信令通知是否和/或如何进行裁剪。
[0422]
iii.在一个示例中，可以向解码器信令通知裁剪参数。
[0423]
a)此外，或者，可以利用亮度alf过程中的裁剪参数的信令通知方法来信令通知cc-alf中的裁剪参数。
[0424]
iv.在一个示例中，亮度alf过程中使用的裁剪参数(如果可用)可以在cc-alf中重新使用。
[0425]
cc-alf的信令通知
[0426]
9、在一个示例中，在aps中信令通知至少一个语法元素，以指示aps是否包含与cc-alf相关的信息。
[0427]
a.在一个示例中，包含与cc-alf相关的信息的aps可以被标记为新的aps类型。
[0428]
b.可以用一个语法元素(例如，由alf_cross_component_filter_signal_flag表示)对信令通知cb和cr cc-alf滤波器的指示(例如，alf_cross_component_cb_filter_signal_flag和alf_cross_component_cr_filter_signal_flag)进行联合编解码。
[0429]
i.或者，语法元素可以是非二进制值。
[0430]
10、cc-alf和编解码工具x可以是排他使用的。也就是说，如果使用cc-alf，则x被禁用，反之亦然。
[0431]
a.在一个示例中，编解码工具x可以是：
[0432]
i.色度分量的sao
[0433]
ii.lmcs中的色度残差缩放
[0434]
iii.对(一个或多个)色度分量的去方块。
[0435]
iv.对(一个或多个)色度分量的alf。
[0436]
b.在一个示例中，cc-alf相关边信息(side information)的信令通知可以处于启用/禁用编解码工具x的条件检查下。
[0437]
c.在一个示例中，编解码工具x相关边信息的信令通知可以处于启用/禁用cc-alf的条件检查下。
[0438]
d.在一个示例中，如果编解码工具(cc-alf或x)被禁用，则不信令通知对应的边信息。
[0439]
e.可以对于整个序列，或者对于整个图片，或者对于整个条带，或者对于诸如片、子图片、ctb、编解码块等区域，确定cc-alf和编解码工具x是否是排他使用。
[0440]
11、启用/禁用视频区域(例如ctb)或视频单元(例如序列或图片或条带)的cc-alf可以取决于亮度分量的alf的信令通知和/或使用。
[0441]
a.在一个示例中，如果没有对于亮度分量信令通知alf参数，则强制禁用cc-alf。
[0442]
i.此外，或者，cc-alf相关边信息的信令通知可以处于亮度分量的alf使用(例如，alf_luma_filter_signal_flag)的条件检查下。
[0443]
ii.此外，或者，如果没有信令通知alf参数，则可以跳过cc-[0444]
alf相关边信息的信令通知。
[0445]
b.在一个示例中，如果对于亮度分量禁用alf，则强制禁用cc-alf。
[0446]
i.此外，或者，cc-alf相关边信息的信令通知(例如，slice_cross_component_alf_cb_enabled_flag、slice_cross_component_alf_cr_enabled_flag、alf_ctb_cross_component_cb_idc或alf_ctb_cross_component_cr_idc)可以处于亮度分量的alf使用(例如，slice_alf_enabled_flag或alf_ctb_flag)的条件检查下。
[0447]
ii.此外，或者，可以跳过cc-alf相关边信息的信令通知。
[0448]
12、是否信令通知cc-alf的使用可以取决于可用alf aps的数量。
[0449]
a.在一个示例中，cc-alf相关信息的信令通知(例如，slice_cross_component_alf_cb_enabled_flag，slice_cross_component_alf_cr_enabled_flag)处于可用alf aps的数量不等于0的条件检查下。或者，cc-alf相关信息的信令通知处于可用alf aps的数量大于0的条件检查下。
[0450]
b.在一个示例中，如果可用alf aps的数量等于0，则可以跳过cc-alf相关信息的信令通知(例如，slice_cross_component_alf_cb_enabled_flag，slice_cross_component_alf_cr_enabled_flag)。
[0451]
c.或者，一致性比特流应满足对于cc-alf和/或alf的被信令通知的aps索引应不小于传输的alf aps的数量。
[0452]
d.或者，一致性比特流应满足对于cc-alf和/或alf的被信令通知的aps索引应参考一个可用的alf aps。
[0453]
e.或者，是否信令通知cc-alf的使用可以取决于包含cc-alf信息的可用alf aps的数量。
[0454]
cc-alf的调用
[0455]
13、cc-alf可以应用于块的预测阶段。
[0456]
a.在一个示例中，在编码器侧，可以基于原始块和cc-alf滤波结果(例如，原始信号与cc-alf滤波结果之间的差值)生成预测误差。
[0457]
b.在一个示例中，在编码器侧，可以基于原始块、根据给定预测模式的预测块、cc-alf滤波结果来生成预测误差，例如设置为原始信号减预测信号减cc-alf滤波结果。
[0458]
c.在一个示例中，在解码器侧，块的重构可以取决于cc-alf滤波结果和残差。
[0459]
d.在一个示例中，在解码器侧，块的重构可以取决于cc-alf滤波结果、残差和从帧内/帧间/其他编解码模式生成的预测块。
[0460]
e.在一个示例中，可以对于块内的部分样点启用上述示例，但对于剩余样点禁用。
[0461]
i.在一个示例中，部分样点可以表示前n行/列的样点。
[0462]
ii.在一个示例中，部分样点可以表示后n行/列的样点。
[0463]
iii.在一个示例中，n可以取决于cc-alf中使用的滤波器形状。
[0464]
14、可以在一个块(例如ctb)的重构之后，在解码另一个块之前，应用cc-alf。
[0465]
15、可以应用不同顺序的滤波方法来代替在sao和alf之间应用cc-alf。
[0466]
a.在一个示例中，可以在所有环路内滤波器之前应用cc-alf。
[0467]
b.在一个示例中，可以在块的重构之后应用cc-alf，并且滤波后的重构块可以用于预测先前的块。
[0468]
c.在一个示例中，可以在sao之前应用cc-alf。
[0469]
16、可以在视频单元(例如，序列/图片/视图/子图片/片)而不是条带中信令通知是否启用或禁用cc-alf。
[0470]
a.在一个示例中，可以根据alf的启用来有条件地信令通知使用cc-alf的指示。
[0471]
b.在一个示例中，可以根据色度颜色格式和/或单独的平面编解码启用标志来有条件地信令通知使用cc-alf的指示。
[0472]
c.在一个示例中，条带/ctb/ctu中使用cc-alf的指示可以处于对于视频单元启用cc-alf的条件检查下。
[0473]
d.在一个示例中，可以在sps/vps/pps/图片标头/条带标头中信令通知语法元素(例如，标志)，以指示是否允许启用cc-alf。
[0474]
i.此外，或者，仅当对于视频单元启用alf时(例如，仅当sps_alf_enabled_flag等于1时)，可以对语法元素进行编解码。
[0475]
ii.此外，或者，仅当对于视频单元启用alf并且chromaarraytype不为0时(例如，仅当sps_alf_enabled_flag等于1并且chromaarraytype不为零时)，可以对语法元素进行编解码。
[0476]
17、可以根据亮度分量的alf的启用来有条件地信令通知使用cc-alf的指示。
[0477]
a.在一个示例中，如果对于亮度分量禁用alf，则在没有显式信令通知cc-alf的情况下，也禁用cc-alf。
[0478]
18、可以在m
×
n区域上预定义或自适应地改变处理色度分量的alf和色度分量的cc-alf的顺序。
[0479]
a.在一个示例中，由于m
×
n区域上的色度alf滤波过程而被滤波的样点可以在被输入到m
×
n区域上的色度分量的cc-alf之前被进一步修改。
[0480]
b.在一个示例中，由于第一m
×
n区域的色度alf滤波过程和/或cc-alf而被滤波的样点可以被用作第二m
×
n区域的输入。
[0481]
c.在一个示例中，可以首先进行m
×
n区域上的色度分量的cc-alf，随后进行m
×
n区域上的色度分量的alf。
[0482]
i.在一个示例中，对于一个m
×
n区域，色度alf滤波过程的输入可以是cc-alf的输出。
[0483]
ii.在一个示例中，在被输入到m
×
n区域上的色度分量的alf之前，m
×
n区域中的样点可以由cc-alf进行修改。
[0484]
d.在一个示例中，m
×
n区域可以是ctb。
[0485]
e.在一个示例中，m
×
n区域可以小于ctb。
[0486]
i.在一个示例中，m
×
n区域可以是一个样点。
[0487]
f.可以例如在vps/dps/sps/pps/图片标头/条带标头中将该顺序从编码器信令通知到解码器。
[0488]
19、可以信令通知语法元素来指示给定色度分量(例如，cb或cr)的alf和cc-alf的使用。
[0489]
a.在一个示例中，语法元素的值可以是非二进制的。
[0490]
i.在一个示例中，语法的值等于k指示对于给定颜色分量，非线性alf和cc-alf均禁用。
[0491]
ii.在一个示例中，语法的值等于l指示对于给定颜色分量，非线性alf和cc-alf均启用。
[0492]
iii.在一个示例中，语法值等于m指示对于给定颜色分量，仅启用非线性alf，而禁用cc-alf。
[0493]
iv.在一个示例中，语法值等于n指示对于给定颜色分量，仅启用cc-alf，而禁用非线性alf。
[0494]
v.在以上示例中，k、l、m、n是四个整数值，例如k＝0、l＝3、m＝1且n＝2。
[0495]
b.可以用固定长度、一元、截断一元、k阶eg等二值化方法来编解码语法元素的值。
[0496]
20、是否和/或如何应用上述方法可以基于下面列出的一个或多个条件：
[0497]
a.视频内容(例如，屏幕内容或自然内容)；
[0498]
b.dps/sps/vps/pps/aps/图片标头/条带标头/片组标头/最大编解码单元(lcu)/编解码单元(cu)/lcu行/lcu组/tu/pu块/视频编解码单元中信令通知的消息；
[0499]
c.cu/pu/tu/块/视频编解码单元的位置；
[0500]
d.当前块和/或其相邻块的解码信息：
[0501]
i.当前块和/或其相邻块的块尺寸/块形状；
[0502]
e.颜色格式的指示(如4:2:0、4:4:4、rgb或yuv)；
[0503]
f.编解码树结构(如双树或单树)；
[0504]
g.条带/片组类型和/或图片类型；
[0505]
h.颜色分量(例如，可以仅被应用于亮度分量和/或色度分量)；
[0506]
i.时域层id；
[0507]
j.标准的档次/级别/等级。
[0508]
图6为视频处理装置600的框图。装置600可以用于实施本文所述的一种或多种方法。装置600可以体现在智能手机、平板、计算机、物联网(iot)接收器等中。装置600可以包括一个或多个处理器602、一个或多个存储器604和视频处理电路606。(一个或多个)处理器602可以被配置为实施本文件中描述的一种或多种方法。(一个或多个)存储器604可以用于存储数据和用于实施本文描述的方法和技术的代码。视频处理电路606可以用于在硬件电路中实施本文件中描述的一些技术。在一些实施例中，硬件电路606可以部分或完全在处理器602(例如，图形处理器)内。
[0509]
图7为示出其中可以实施本文公开的各种技术的示例视频处理系统700的框图。各种实施方式可以包括系统700的一些或全部组件。系统700可以包括用于接收视频内容的输入702。视频内容可以是以原始或未压缩格式(例如，8或10比特多分量像素值)接收的，或者可以是以压缩或编码格式接收的。输入702可以表示网络接口、外围总线接口或存储接口。
网络接口的示例包括诸如以太网、无源光网络(pon)等的有线接口以及诸如wi-fi或蜂窝接口的无线接口。
[0510]
系统700可以包括编解码组件704，其可以实施本文件中描述的各种编解码或编码方法。编解码组件704可以降低从输入702到编解码组件704的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件704的输出可以经由由组件706所表示的连接的通信来存储或传输。组件708可以使用在输入702处接收的视频的被存储或通信的比特流(或编解码)表示，以生成被发送到显示接口710的像素值或可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解，编解码工具或操作在编码器处被使用，并且反转编解码结果的相应解码工具或操作将由解码器来执行。
[0511]
外围总线接口或显示接口的示例可以包括通用串行总线(usb)或高清晰度多媒体接口(hdmi)或显示端口等。存储接口的示例包括sata(串行高级技术附件)、pci、ide接口等。本文件中描述的技术可以体现在各种电子设备中，例如移动电话、笔记本电脑、智能手机或者能够执行数字数据处理和/或视频显示的其他设备。
[0512]
图8为示出可以利用本公开的技术的示例视频编解码系统100的框图。
[0513]
如图8所示，视频编解码系统100可以包括源设备110和目标设备120。源设备110生成编码的视频数据，其可以被称为视频编码设备。目标设备120可以解码由源设备110生成的编码的视频数据，其可以被称为视频解码设备。
[0514]
源设备110可以包括视频源112、视频编码器114和输入/输出(i/o)接口116。
[0515]
视频源112可以包括诸如视频捕获设备、从视频内容提供商接收视频数据的接口、和/或用于生成视频数据的计算机图形系统的源，或者这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码的图片和关联数据。编解码的图片是图片的编解码表示。关联数据可以包括序列参数集、图片参数集和其他语法结构。i/o接口116可以包括调制器/解调器(调制解调器)和/或发射器。编码的视频数据可以通过网络130a经由i/o接口116直接传输到目标设备120。编码的视频数据也可以被存储在存储介质/服务器130b上，以供目标设备120访问。
[0516]
目标设备120可以包括i/o接口126、视频解码器124和显示设备122。
[0517]
i/o接口126可以包括接收器和/或调制解调器。i/o接口126可以从源设备110或存储介质/服务器130b获取编码的视频数据。视频解码器124可以对编码的视频数据进行解码。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目标设备120集成，或者可以在目标设备120的外部，目标设备120被配置为与外部显示设备接口。
[0518]
视频编码器114和视频解码器124可以根据视频压缩标准(例如高效视频编解码(hevc)标准、多功能视频编解码(vvc)标准和其他当前和/或进一步的标准)。
[0519]
图9为示出视频编码器200的示例的框图，该视频编码器200可以是图8所示的系统100中的视频编码器114。
[0520]
视频编码器200可以被配置为执行本公开的任何或所有技术。在图9的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各种组件之
间共享。在一些示例中，处理器可以被配置为执行本公开描述的任何或所有技术。
[0521]
视频编码器200的功能组件可以包括分割单元201、预测单元202、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲区213和熵编码单元214，预测单元202可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206。
[0522]
在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中，预测单元202可以包括帧内块复制(ibc)单元。ibc单元可以在ibc模式中执行预测，在该模式中至少一个参考图片是当前视频块所在的图片。
[0523]
此外，诸如运动估计单元204和运动补偿单元205的一些组件可以高度集成，但出于解释的目的在图9的示例中被单独地表示。
[0524]
分割单元201可以将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。
[0525]
模式选择单元203可以例如基于误差结果来选择编解码模式(帧内或帧间)之一，并且将得到的帧内或帧间编解码块提供给残差生成单元207以生成残差块数据，并且提供给重构单元212以用作参考图片重构编码块。在一些示例中，模式选择单元203可以选择其中预测基于帧间预测信号和帧内预测信号的帧内帧间组合预测(ciip)模式。模式选择单元203还可以在帧间预测的情况下选择块的运动矢量的精度(例如，子像素或整数像素精度)。
[0526]
为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲区213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲区213的除了与当前视频块相关联的图片之外的图片的解码的样点来确定当前视频块的预测视频块。
[0527]
运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作，例如，取决于当前视频块是在i条带、p条带还是b条带中。
[0528]
在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以在列表0或列表1的参考图片中搜索当前视频块的参考视频块。然后运动估计单元204可以生成指示列表0或列表1中包含参考视频块的参考图片的参考索引和指示当前视频块与参考视频块之间的空域位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
[0529]
在其他示例中，运动估计单元204可以对当前视频块执行双向预测，运动估计单元204可以在列表0中的参考图片中搜索当前视频块的参考视频块，并且还可以在列表1中的参考图片中搜索当前视频块的另一参考视频块。然后运动估计单元204可以生成指示列表0和列表1中包含参考视频块的参考图片的参考索引以及指示参考视频块与当前视频块之间的空域位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
[0530]
在一些示例中，运动估计单元204可以输出完整的运动信息集合，用于解码器的解码处理。
[0531]
在一些示例中，运动估计单元204可以不输出当前视频的完整运动信息集合。相
反，运动估计单元204可以参考另一个视频块的运动信息来信令通知当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与相邻视频块的运动信息足够相似。
[0532]
在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中指示值，该值向视频解码器300指示当前视频块具有与另一视频块相同的运动信息。
[0533]
在另一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中识别另一个视频块和运动矢量差值(mvd)。运动矢量差值指示当前视频块的运动矢量与所指示的视频块的运动矢量之间的差值。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差值来确定当前视频块的运动矢量。
[0534]
如上所述，视频编码器200可以预测性地信令通知运动矢量。可以由视频编码器200实施的预测信令通知技术的两个示例包括高级运动矢量预测(amvp)和merge模式信令通知。
[0535]
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可以基于同一图片中的其他视频块的经解码的样点来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测的视频块和各种语法元素。
[0536]
残差生成单元207可以通过从当前视频块减去(例如，由减号指示)当前视频块的(多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中样点的不同样点分量的残差视频块。
[0537]
在其他示例中，例如在跳过模式中，对于当前视频块可以没有当前视频块的残差数据，并且残差生成单元207可以不执行减法操作。
[0538]
变换处理单元208可以通过对与当前视频块相关联的残差视频块应用一个或多个变换来为当前视频块生成一个或多个变换系数视频块。
[0539]
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(qp)值来量化与当前视频块相关联的变换系数视频块。
[0540]
逆量化单元210和逆变换单元211可以分别将逆量化和逆变换应用于变换系数视频块，以从该变换系数视频块重构残差视频块。重构单元212可以将重构的残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样点，以产生与当前块相关联的重构视频块，用于存储在缓冲区213中。
[0541]
在重构单元212重构视频块之后，可以执行环路滤波操作来减少视频块中的视频块伪影。
[0542]
熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时，熵编码单元214可以执行一个或多个熵编码操作以生成经熵编码的数据并输出包括经熵编码的数据的比特流。
[0543]
图10为示出视频解码器300的示例的框图，该视频解码器300可以是图8所示的系统100中的视频解码器114。
[0544]
视频解码器300可以被配置为执行本公开的任何或所有技术。在图10的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各种组件之
间被共享。在一些示例中，处理器可以被配置为执行本公开描述的任何或所有技术。
[0545]
在图10的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305以及重构单元306和缓冲区307。在一些示例中，视频解码器300可以执行通常与关于视频编码器200(例如，图9)描述的编码过程相反的解码过程。
[0546]
熵解码单元301可以检索编码的比特流。编码的比特流可以包括经熵编解码的视频数据(例如，视频数据的编码块)。熵解码单元301可以解码经熵编解码的视频数据，并且根据经熵解码的视频数据，运动补偿单元302可以确定包括运动矢量、运动矢量精度、参考图片列表索引的运动信息和其他运动信息。例如，运动补偿单元302可以通过执行amvp和merge模式来确定这样的信息。
[0547]
可以基于插值滤波器执行插值，运动补偿单元302可以产生运动补偿块。语法元素中可以包括要以子像素精度使用的插值滤波器的标识符。
[0548]
运动补偿单元302可以使用如视频编码器200在视频块的编码期间使用的插值滤波器来计算参考块的子整数像素的插值。运动补偿单元302可以根据接收到的语法信息确定视频编码器200使用的插值滤波器，并使用该插值滤波器来产生预测块。
[0549]
运动补偿单元302可以使用一些语法信息来确定用于对编码的视频序列的(一个或多个)帧和/或(一个或多个)条带进行编码的块的大小、描述如何对编码的视频序列的图片的每个宏块进行分割的分割信息、指示如何对每个分割进行编码的模式、每个帧间编码的块的一个或多个参考帧(和参考帧列表)以及解码所编码的视频序列的其他信息。
[0550]
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空域相邻块形成预测块。逆量化单元303对在比特流中提供的、并由熵解码单元301解码的量化视频块系数进行逆量化，即，去量化。逆变换单元303应用逆变换。
[0551]
重构单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的对应的预测块相加，以形成解码块。如果需要，还可以应用去方块滤波器来对解码块进行滤波，以便去除块效应伪像。然后解码的视频块被存储在缓冲区307中，缓冲区307为后续的运动补偿提供参考块。
[0552]
所公开的技术的一些实施例包括做出启用视频处理工具或模式的决定或确定。在一个示例中，当启用视频处理工具或模式时，编码器将在视频块的处理中使用或实施该工具或模式，但是不一定基于该工具或模式的使用来修改产生的比特流。也就是说，当基于该决定或确定启用视频处理工具或模式时，从视频块到视频的比特流表示的转换将使用视频处理工具或模式。在另一个示例中，当启用视频处理工具或模式时，解码器将在知道比特流已经基于视频处理工具或模式被修改的情况下处理该比特流。也就是说，从视频的比特流表示到视频块的转换将使用基于决定或确定而启用的视频处理工具或模式来执行。
[0553]
所公开的技术的一些实施例包括做出禁用视频处理工具或模式的决定或确定。在示例中，当禁用视频处理工具或模式时，编码器将不会在视频块到视频的比特流表示的转换中使用该工具或模式。在另一个示例中，当禁用视频处理工具或模式时，解码器将在知道比特流没有使用基于决定或确定被禁用的视频处理工具或模式被修改的情况下处理该比特流。
[0554]
在本文件中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压
缩。例如，可以在从视频的像素表示到对应的比特流表示的转换期间应用视频压缩算法，反之亦然。如语法所定义的，例如，当前视频块的比特流表示可以对应于位于比特流内共位或分布在不同位置上的比特。例如，可以根据经变换和经编解码的误差残差值以及还可以使用标头中的比特和比特流中的其他字段来对宏块进行编码。
[0555]
在一些实施例中，一种视频处理方法包括：对于包括多个分量视频块的视频的视频区域与视频的比特流表示之间的转换，做出在转换期间使用跨分量自适应环路滤波器(cc-alf)来使用第二分量的第二分量视频块的重构样点值来校正第一分量的第一分量视频块的重构样点值的确定，其中，第一分量不包括cb和cr颜色表示，并且其中，第二分量不包括亮度(y)分量；以及基于该确定来执行转换。在各种实施例中，比特流表示可以标识第一分量，使用ycbcr格式来表示视频，并且其中第一分量是y分量，或者使用rgb格式来表示视频，并且其中第一分量是g分量。
[0556]
接下来提供一些实施例优选的条款的列表。
[0557]
第一组条款示出了在先前章节(例如，项目1)中讨论的技术的示例实施例。
[0558]
1.一种视频处理方法(例如，图11中描述的方法700)，包括：对于包括多个分量视频块的视频的视频区域与视频的比特流表示之间的转换，做出在转换期间使用跨分量自适应环路滤波器(cc-alf)来使用至少两个分量的视频块的重构样点值来校正第一分量的第一分量视频块的重构样点值的确定(702)；以及基于该确定执行(704)转换。
[0559]
2.根据条款1所述的方法，其中，两个分量中的一个是第一分量。
[0560]
3.根据条款1所述的方法，其中，两个分量不同于第一分量。
[0561]
4.根据条款1所述的方法，其中，基于三种颜色分量的视频块的重构样点值来使用cc-alf。
[0562]
以下条款示出了在先前章节(例如，项目4)中讨论的技术的示例实施例。
[0563]
5.一种视频处理方法，包括：对于包括多个分量视频块的视频的视频区域与视频的比特流表示之间的转换，做出使用第一跨分量自适应环路滤波器(cc-alf)来转换视频区域的第一部分，以及使用第二cc-alf来转换视频区域的第二部分的确定；以及基于该确定执行转换；其中，第一cc-alf用于使用视频区域的第一部分的第二分量的重构样点值来校正视频区域的第一部分的第一分量的重构样点值；并且其中，第二cc-alf用于使用视频区域的第二部分的第四分量的重构样点值来校正视频区域的第二部分的第三分量的重构样点值。
[0564]
6.根据条款5所述的方法，其中，比特流表示包括对多个cc-alf和/或第一cc-alf和/或第二cc-alf使用的指示。
[0565]
7.根据条款6所述的方法，其中，指示包括在编解码树块或编解码单元或预测单元或预测块或编解码树块行级别中。
[0566]
8.根据条款5-7中任一项所述的方法，其中，转换包括将第一分量或第三分量的样点分类成多个集合，并且基于该分类确定第一cc-alf和/或第二cc-alf的特性。
[0567]
9.根据条款5-7中任一项所述的方法，其中，第一分量和第三分量相同；并且第二分量和第四分量相同帧。
[0568]
以下条款示出了在先前章节(例如，项目7)中讨论的技术的示例实施例。
[0569]
10.一种视频处理方法，包括：对于包括多个分量的视频的视频块和视频的比特流
表示之间的转换，确定在m
×
n子块级别使用跨分量自适应环路滤波器(cc-alf)，并且从一个m
×
n子块的至少第二分量的样点中推导出第一偏移；以及基于该确定执行转换，其中，m和n是正整数；并且其中，cc-alf用于至少基于第一偏移来校正视频的第一分量的m
×
n子块样点。
[0570]
11.根据条款10所述的方法，其中，cc-alf对m
×
n子块中的所有样点使用第一偏移值。
[0571]
12.根据条款10所述的方法，其中，cc-alf对m
×
n子块中的样点使用多个最终偏移值，而该最终偏移从第一偏移中推导出。
[0572]
13.根据条款10-12中任一项所述的方法，其中，m和n取决于视频的颜色格式。
[0573]
14.根据条款10-13中任一项所述的方法，其中，视频的另一视频块的转换对于转换使用不同大小的子块。
[0574]
15.根据条款10-13中任一项所述的方法，其中，m
×
n＝2
×
2或m
×
n＝2
×
1或m
×
n＝1
×
2。
[0575]
以下条款示出了在先前章节(例如，项目10)中讨论的技术的示例实施例。
[0576]
16.一种视频处理方法，包括：确定排除规则适用于视频的当前视频块与视频的比特流表示之间的转换，其中，排除规则规定转换不允许将编解码工具和跨分量自适应环路滤波器编解码工具一起用于当前视频块；以及基于该确定执行转换
[0577]
17.根据条款16所述的方法，其中，编解码工具包括对于色度分量的样点自适应偏移编解码工具。
[0578]
18.根据条款16所述的方法，其中，编解码工具包括对于采用色度缩放编解码工具的亮度映射的残差缩放工具。
[0579]
19.根据条款16所述的方法，其中，编解码工具包括对于色度样点的去方块过程或自适应环路滤波器。
[0580]
20.根据条款16-19中任一项所述的方法，其中，在比特流表示中将排除规则作为字段信令通知。
[0581]
以下条款示出了在先前章节(例如，项目15)中讨论的技术的示例实施例。
[0582]
21.一种视频处理方法，包括：在视频块与视频的比特流表示之间的转换期间，确定将跨分量自适应环路滤波器(cc-alf)和一个或多个环路滤波器应用于视频的视频块的重构样点的顺序；以及根据该顺序执行转换；其中，该顺序不包括在样点自适应偏移工具之后和自适应环路滤波器工具之前使用cc-alf。
[0583]
22.根据条款21所述的方法，其中，顺序规定在应用任何其他环路滤波器之前，将cc-alf应用于重构样点。
[0584]
23.根据条款21所述的方法，其中，顺序规定在转换期间在用于视频的后续视频块的预测之前，将cc_alf应用于视频块的重构样点。
[0585]
24.根据条款21-23中任一项所述的方法，其中，顺序规定在样点自适应偏移环路滤波器之前使用cc-alf。
[0586]
25.根据条款1至24中任一项所述的方法，其中，转换包括将视频编码成编解码表示。
[0587]
26.根据条款1至25中任一项所述的方法，其中，转换包括解码编解码表示以生成
视频的像素值。
[0588]
27.一种视频解码装置，包括处理器，该处理器被配置为实现条款1至26中的一个或多个所述的方法。
[0589]
28.一种视频编码装置，包括处理器，该处理器被配置为实现条款1至26中的一个或多个所述的方法。
[0590]
29.一种其上存储有计算机代码的计算机程序产品，当由处理器执行时，该代码使该处理器实现条款1至26中任一项所述的方法。
[0591]
30.本文件中描述的方法、装置或系统。
[0592]
第二组条款描述了在先前章节(例如，项目1至7)中公开的技术的某些特征和方面。
[0593]
1.一种视频处理方法(例如，图12a中描述的方法1210)，包括：对于视频的视频区域与视频的比特流表示之间的转换，做出(1212)将跨分量自适应环路滤波(cc-alf)工具用于使用亮度样点值来细化色度样点值的确定；以及基于该确定执行(1214)转换，其中，细化包括使用最终细化来校正色度样点值，最终细化是通过选择性地滤波亮度样点值确定的第一细化值的进一步细化。
[0594]
2.根据条款1所述的方法，其中，第一细化值的进一步细化包括将第一细化值裁剪到给定范围。
[0595]
3.根据条款2所述的方法，其中，比特流表示包括指示是否和/或如何裁剪第一细化的信息。
[0596]
4.一种视频处理方法(例如，图12b中描述的方法1220)，包括：对于视频的视频区域与视频的比特流表示之间的转换，做出(1222)将跨分量自适应环路滤波(cc-alf)工具用于使用第二分量的第二视频块的样点值来校正第一分量的第一视频块的样点值的确定；以及基于该确定执行(1224)转换；其中，除了同时满足1)其中第一分量是cr分量或cb分量，以及2)第二分量是y分量的情况以外，使用cc-alf工具。
[0597]
5.根据条款4所述的方法，其中，比特流表示标识第一分量。
[0598]
6.根据条款4所述的方法，其中，第一分量和第二分量中的至少一个是以ycbcr格式表示的第一视频块中的y分量或以rgb格式表示的第一视频块中的g分量。
[0599]
7.根据条款4所述的方法，其中，第一分量和第二分量中的至少一个是以ycbcr格式表示的第一视频块中的cb分量或以rgb格式表示的第一视频块中的b分量。
[0600]
8.根据条款4所述的方法，其中，第一分量和第二分量中的至少一个是以ycbcr格式表示的第一视频块中的cr分量或以rgb格式表示的第一视频块中的r分量。
[0601]
9.根据条款4所述的方法，其中，使用cc-alf工具来进一步使用第三分量的第三视频块的样点值来细化第一视频块的样点值，第二分量和第三分量不同于第一分量，并且其中当校正第一分量的样点值时，滤波来自第二分量和第三分量的样点。
[0602]
10.根据条款9所述的方法，其中，第一分量是使用ycbcr格式表示的第一视频块中的cb，并且第二分量和第三分量分别是y分量和cr分量。
[0603]
11.根据条款9所述的方法，其中，第一分量是使用ycbcr格式表示的第一视频块中的cr，并且第二分量和第三分量分别是y分量和cb分量。
[0604]
12.根据条款9所述的方法，其中，第一分量是使用ycbcr格式表示的第一视频块中
的y，并且第二分量和第三分量分别是cb分量和cr分量。
[0605]
13.根据条款9所述的方法，其中，第一分量是使用rgb格式表示的第一视频块中的g，并且第二分量和第三分量分别是r分量和b分量。
[0606]
14.根据条款9所述的方法，其中，第一分量是使用rgb格式表示的第一视频块中的b，并且第二分量和第三分量分别是r分量和g分量。
[0607]
15.根据条款9所述的方法，其中，第一分量是使用rgb格式表示的第一视频块中的r，并且第二分量和第三分量分别是g分量和b分量。
[0608]
16.根据条款4所述的方法，其中，使用cc-alf工具来进一步使用第三分量的第三视频块的样点值来细化第一视频块的样点值，第二分量和第三分量之一与第一分量相同，并且其中当校正第一分量的样点值时，滤波来自第二分量和第三分量的样点。
[0609]
17.根据条款16所述的方法，其中，第一分量是使用ycbcr格式表示的第一分量视频块中的cb，并且第二分量和第三分量分别是cb分量和y分量。
[0610]
18.根据条款16所述的方法，其中，第一分量是使用ycbcr格式表示的第一分量视频块中的cb，并且第二分量和第三分量分别是cb分量和cr分量。
[0611]
19.根据条款16所述的方法，其中，第一分量是使用ycbcr格式表示的第一分量视频块中的cr，并且第二分量和第三分量分别是cr分量和y分量。
[0612]
20.根据条款16所述的方法，其中，第一分量是使用ycbcr格式表示的第一分量视频块中的cr，并且第二分量和第三分量分别是cr分量和cb分量。
[0613]
21.根据条款16所述的方法，其中，第一分量是使用ycbcr格式表示的第一分量视频块中的y，并且第二分量和第三分量分别是y分量和cb分量。
[0614]
22.根据条款16所述的方法，其中，第一分量是使用ycbcr格式表示的第一分量视频块中的y，并且第二分量和第三分量分别是y分量和cr分量。
[0615]
23.根据条款16所述的方法，其中，第一分量是使用rgb格式表示的第一分量视频块中的g，并且第二分量和第三分量分别是g分量和r分量。
[0616]
24.根据条款16所述的方法，其中，第一分量是使用rgb格式表示的第一分量视频块中的g，并且第二分量和第三分量分别是g分量和b分量。
[0617]
25.根据条款16所述的方法，其中，第一分量是使用rgb格式表示的第一分量视频块中的b，并且第二分量和第三分量分别是b分量和r分量。
[0618]
26.根据条款16所述的方法，其中，第一分量是使用rgb格式表示的第一分量视频块中的b，并且第二分量和第三分量分别是b分量和g分量。
[0619]
27.根据条款16所述的方法，其中，第一分量是使用rgb格式表示的第一分量视频块中的r，并且第二分量和第三分量分别是r分量和g分量。
[0620]
28.根据条款16所述的方法，其中，第一分量是使用rgb格式表示的第一分量视频块中的r，并且第二分量和第三分量分别是r分量和b分量。
[0621]
29.根据条款4所述的方法，其中，cc-alf工具还使用第三分量的第三视频块的样点值，第一分量至第三分量彼此不同，并且其中第一视频块的样点值基于第一视频块至第三视频块的滤波样点值进行细化。
[0622]
30.根据条款29所述的方法，其中，第一分量是使用ycbcr格式表示的第一分量视频块中的cb、cr或y。
[0623]
31.根据条款29所述的方法，其中，第一分量是使用rgb格式表示的第一分量视频块中的g、r或b。
[0624]
32.根据条款29所述的方法，其中，第一分量至第三分量是ycbcr格式中的y、cb和cr分量。
[0625]
33.根据条款29所述的方法，其中，第一分量至第三分量是rgb格式中的r、g和b分量。
[0626]
34.根据条款29所述的方法，其中，比特流表示包括以下中的至少一个：i)第一分量至第三分量的指示和/或ii)要被归档用于偏移推导的分量的数量。
[0627]
35.一种视频处理方法，包括：对于视频的视频单元与视频的比特流表示之间的转换，根据规则做出将跨分量自适应环路滤波(cc-alf)工具用于使用第二分量的样点值来校正第一分量的样点值的确定；以及基于确定执行转换；其中，规则规定使用两个或更多个alf自适应参数集(aps)，该两个或更多个alf aps包括比特流表示中的第一alf aps和第二alf aps。
[0628]
36.根据条款35所述的方法，其中，第一aps和第二aps相同。
[0629]
37.根据条款35所述的方法，其中，第一aps和第二aps彼此不同。
[0630]
38.根据条款35所述的方法，其中，视频单元对应于视频的条带或图片。
[0631]
39.根据条款35所述的方法，其中，规则规定两个或更多个alf aps包括应用于视频单元中的第一样点的第一alf aps和应用于视频单元中的第二样点的第二alf aps。
[0632]
40.根据条款35所述的方法，其中，由视频单元参考的两个或更多个alf aps的数量包括在比特流表示中。
[0633]
41.根据条款35所述的方法，其中，由视频单元参考的两个或更多个alf aps的索引包括在比特流表示中。
[0634]
42.根据条款35所述的方法，其中，cc-alf工具利用亮度alf滤波器所参考的两个或更多个alf aps的相同集合、子集或超集。
[0635]
43.根据条款42所述的方法，其中，用于推导出cc-alf滤波器的两个或更多个alf aps不包括在比特流表示中。
[0636]
44.根据条款42所述的方法，其中，用于推导出cc-alf滤波器和亮度alf滤波器的alf aps的差值包括在比特流表示中。
[0637]
45.一种视频处理方法，包括：对于视频的视频区域与视频的比特流表示之间的转换，根据规则做出将跨分量自适应环路滤波(cc-alf)工具用于使用第二分量的样点值来校正第一分量的样点值的确定；以及基于确定执行转换；其中，规则规定使用两个或更多个cc-alf滤波器，两个或更多个cc-alf滤波器包括应用于视频区域中的第一样点的第一cc-alf滤波器和应用于视频区域中的第二样点的第二cc-alf滤波器。
[0638]
46.根据条款45所述的方法，其中，比特流表示包括视频区域中的指示。
[0639]
47.根据条款45所述的方法，其中，比特流表示包括小于或大于视频区域的视频区中的指示。
[0640]
48.根据条款47所述的方法，其中，视频区域对应于编解码树块，并且视频区是条带或编解码单元。
[0641]
49.根据条款45至48中任一项所述的方法，其中，比特流表示包括指示，该指示包
括从一个alf自适应参数集(aps)中选择的两个或更多个cc-alf滤波器的索引。
[0642]
50.根据条款45至48中任一项所述的方法，其中，比特流表示包括指示，该指示包括从一个或多个alf aps中选择的两个或更多个cc-alf滤波器的索引以及一个或多个alf aps的索引。
[0643]
51.根据条款45至48中任一项所述的方法，其中，两个或更多个cc-alf滤波器中的至少一个从预定义的固定cc-alf滤波器选择或者从视频区域继承，并且其中比特流表示包括指示，该指示包括不在aps中的所选择的固定cc-alf滤波器的索引。
[0644]
52.根据条款45所述的方法，其中，转换包括一个或多个过程，用于将一个或多个色度分量的色度样点分类成多个集合，并且基于分类来确定第一cc-alf滤波器和/或第二cc-alf滤波器的特性。
[0645]
53.根据条款52所述的方法，其中，两个色度分量的色度样点独立地推导出分类。
[0646]
54.根据条款52所述的方法，其中，两个色度分量的色度样点联合地推导出分类。
[0647]
55.根据条款52所述的方法，其中，对于将色度分量的色度样点进行分类的一个或多个过程取决于对应的亮度颜色分量的信息。
[0648]
56.根据条款52所述的方法，其中，对于将一个或多个色度分量的色度样点进行分类的一个或多个过程取决于基于多于一个色度分量的联合决定。
[0649]
57.根据条款52所述的方法，其中，基于亮度alf中对应亮度样点的分类，将色度样点分类成多个集合。
[0650]
58.根据条款52所述的方法，其中，信令通知根据分类索引的关于第一cc-alf滤波器和/或第二cc-alf滤波器的指示。
[0651]
59.一种视频处理方法(例如，图12c中描述的方法1230)，包括：对于视频的视频区域与视频的比特流表示之间的转换，基于视频区域的亮度样点推导出(1232)视频区域的第一颜色分量的第一偏移；基于第一偏移推导出(1234)视频区域的第二颜色分量的第二偏移；以及基于视频区域的亮度样点，通过应用跨分量自适应环路滤波(cc-alf)工具来校正第一颜色分量和第二颜色分量来执行(1236)转换。
[0652]
60.根据条款59所述的方法，其中，第一偏移和第二偏移彼此相同。
[0653]
61.根据条款59所述的方法，其中，第一偏移和第二偏移的总和等于0。
[0654]
62.根据条款59所述的方法，其中，使用第一偏移的线性函数推导出第二偏移。
[0655]
63.根据条款59所述的方法，其中，使用第一偏移的裁剪操作推导出第二偏移。
[0656]
64.根据条款59所述的方法，其中，基于第一偏移和指示联合cb和cr模式的条带级别标志推导出第二偏移。
[0657]
65.根据条款59所述的方法，其中，cc-alf滤波器集合用于第一颜色分量和第二颜色分量。
[0658]
66.根据条款59所述的方法，其中，信令通知或推导出第一偏移和第二偏移中的至少一个的校正。
[0659]
67.一种视频处理方法(例如，图12d中描述的方法1240)，包括：对于包括多个分量的视频的视频块和视频的比特流表示之间的转换，确定(1242)在m
×
n子块级别使用跨分量自适应环路滤波器(cc-alf)，m和n是正整数，其中m和n中的至少一个大于1；以及基于该确定执行(1244)转换，其中cc-alf工具用于基于视频的第二分量来校正视频的第一分量的m
×
n子块样点。
[0660]
68、根据条款67所述的方法，还包括从一个m
×
n子块的至少第二分量的样点中推导出第一偏移，并且其中cc-alf工具用于基于第一偏移校正m
×
n子块样点。
[0661]
69.根据条款68所述的方法，其中，cc-alf工具对于m
×
n子块中的所有样点使用第一偏移。
[0662]
70.根据条款68所述的方法，其中，cc-alf工具对于m
×
n子块中的样点使用最终偏移，且最终偏移从第一偏移推导出。
[0663]
71.根据条款67所述的方法，其中，m和n取决于视频的颜色格式。
[0664]
72.根据条款67所述的方法，其中，m
×
n＝2
×
2，或m
×
n＝2
×
1，或m
×
n＝1
×
2。
[0665]
73.根据条款67所述的方法，其中，视频的另一视频块的转换对于转换使用不同大小的子块。
[0666]
74.根据条款67所述的方法，其中，m和n取决于第一分量表示哪种颜色。
[0667]
75.根据条款67所述的方法，其中，cc-alf工具支持区域取决于m的值和n的值。
[0668]
76.根据条款67所述的方法，其中，在视频的视频单元中信令通知m和n的值、和/或cc-alf工具的粒度。
[0669]
77.根据条款1至76中任一项所述的方法，其中，转换包括将视频编码成比特流表示。
[0670]
78.根据条款1至76中任一项所述的方法，其中，转换包括解码比特流表示以生成视频。
[0671]
79.一种视频处理设备，包括被配置为实现条款1至78中任一项或多项所述的方法的处理器。
[0672]
80.一种存储程序代码的计算机可读介质，当执行该程序代码时，使处理器实现条款1至78中任一项或多项所述的方法。
[0673]
81.一种计算机可读介质，存储根据上述任一方法生成的编解码表示或比特流表示。
[0674]
第三组条款描述了在先前章节中(例如，项目8)公开的技术的某些特征和方面。
[0675]
1.一种视频处理方法(例如，图13中描述的方法1310)，包括：
[0676]
对于视频的视频区域与视频的比特流表示之间的转换，确定使用基于亮度样点差值滤波的跨分量自适应环路滤波器(cc-alf)过程来校正视频区域的色度样点；以及基于该确定执行转换。
[0677]
2.根据条款1所述的方法，其中，亮度样点差值对应于滤波器支持区域中的亮度样点值与视频区域的色度样点对应的亮度样点值之间的差值。
[0678]
3.根据条款2所述的方法，其中，对应的亮度样点位于4:4:4格式的视频区域的(x，y)处，并且其中(x，y)指示色度样点的坐标。
[0679]
4.根据条款2所述的方法，其中，对应的亮度样点位于非4:4:4格式的视频区域的(2x，2y)处，并且其中(x，y)指示色度样点的坐标。
[0680]
5.根据条款2所述的方法，其中，对应的亮度样点被推导为位于4:2:0格式的视频区域的(2x，2y)和(2x，2y 1)处的两个样点的函数，并且其中(x，y)指示色度样点的坐标。
[0681]
6.根据条款1所述的方法，其中，亮度样点差值在使用前被裁剪。
[0682]
7.根据条款6所述的方法，其中，比特流表示包括关于是否和/或如何裁剪亮度样点差值的信息。
[0683]
8.根据条款6所述的方法，其中，比特流表示包括对于裁剪亮度样点差值的裁剪参数。
[0684]
9.根据条款6所述的方法，其中，利用亮度alf过程中裁剪参数的信令通知方法来信令通知cc-alf过程中的裁剪参数。
[0685]
10.根据条款1所述的方法，其中，在cc-alf过程中使用在亮度alf过程中使用的裁剪参数。
[0686]
11.根据条款1至10中任一项所述的方法，其中，转换包括将视频编码成比特流表示。
[0687]
12.根据条款1至10中任一项所述的方法，其中，转换包括解码比特流表示以生成视频。
[0688]
13.一种视频处理装置，包括被配置为实现条款1至12中任一项或多项所述的方法的处理器。
[0689]
14.一种存储程序代码的计算机可读介质，当执行该程序代码时，使得处理器实现条款1至12中任一项或多项所述的方法。
[0690]
15.一种计算机可读介质，存储根据上述任一方法生成的编解码表示或比特流表示。
[0691]
第四组条款描述了在先前章节(例如，项目9-20)中公开的技术的某些特征和方面。
[0692]
1.一种视频处理方法(例如，图14a所示的方法1410)，包括：根据规则执行(1412)视频的色度分量的部分与视频的比特流表示之间的转换，其中，该规则规定跨分量自适应环路滤波(cc-alf)工具是否可用于视频的该部分的转换取决于是否为亮度分量的对应部分指示自适应环路滤波(alf)工具的可用性或使用。
[0693]
2.根据条款1所述的方法，其中，色度分量的部分对应于视频区域或视频单元。
[0694]
3.根据条款2所述的方法，其中，视频区域对应于编解码树块。
[0695]
4.根据条款2所述的方法，其中，视频单元对应于视频的序列或图片或条带。
[0696]
5.根据条款1所述的方法，其中，规则规定在没有为亮度分量的对应部分信令通知alf参数的情况下，cc-alf工具不可用。
[0697]
6.根据条款1所述的方法，其中，与cc-alf工具相关的信息的信令通知基于对于亮度分量的对应部分的alf工具的使用。
[0698]
7.根据条款1所述的方法，其中，在对于亮度分量的对应部分的alf工具被禁用的情况下，比特流表示省略与cc-alf工具相关的信息。
[0699]
8.根据条款6所述的方法，其中，在条带级别中与cc-alf工具相关的信息的信令通知取决于条带级别中对于亮度分量的对应部分的alf工具的使用。
[0700]
9.根据条款6所述的方法，其中，在编解码树块(ctb)级别中与cc-alf工具相关的信息的信令通知取决于ctb级别中对于亮度分量的对应部分的alf工具的使用。
[0701]
10.根据条款6所述的方法，其中，使用对应于i)slice_cross_component_alf_cb_enabled_flag，ii)slice_cross_component_alf_cr_enabled_flag，iii)alf_ctb_cross_
component_cb_idc，或iv)alf_ctb_cross_component_cr_idc的语法元素来信令通知与cc-alf工具相关的信息。
[0702]
11.根据条款6所述的方法，其中，使用对应于i)slice_alf_enabled_flag或ii)alf_ctb_flag的语法元素来信令通知对于亮度分量的对应部分的alf工具的使用。
[0703]
12.根据条款1所述的方法，其中，在没有对于亮度分量的对应部分信令通知alf参数的情况下，跳过与cc-alf工具相关的信息的信令通知。
[0704]
13.根据条款1所述的方法，其中规则规定在对于亮度分量的对应部分禁用alf工具的情况下，对于色度分量的部分禁用cc-alf工具。
[0705]
14.一种视频处理方法，包括：在视频的视频区域与视频的比特流表示之间执行转换，其中，比特流表示符合格式规则，该格式规则规定是否包括比特流表示中指示跨分量自适应环路滤波(cc-alf)工具的使用的语法元素取决于可用的自适应环路滤波(alf)自适应参数集(aps)的数量。
[0706]
15.根据条款14所述的方法，其中，格式规则规定在alf aps的数量不等于0或大于0的情况下，在比特流表示中包括该语法元素。
[0707]
16.根据条款14所述的方法，其中，格式规则规定在alf aps的数量为0的情况下，在比特流表示中省略该语法元素。
[0708]
17.根据条款14所述的方法，其中，格式规则规定一致性比特流满足对于cc-alf工具和/或alf工具的aps索引不小于传输的alf aps的数量。
[0709]
18.根据条款14所述的方法，其中，格式规则规定一致性比特流满足对于cc-alf工具和/或alf工具的aps索引参考一个可用的alf aps。
[0710]
19.根据条款14所述的方法，其中，alf aps包含与cc-alf工具相关的信息。
[0711]
20.一种视频处理方法，包括：在视频的视频单元与视频的比特流表示之间执行转换，其中，比特流表示符合格式规则，该格式规则规定在不同于条带级别的视频单元级别的比特流表示中包括使用第二分量的样点值来细化第一分量的样点值的跨分量自适应环路滤波(cc-alf)工具的适用性。
[0712]
21.根据条款20所述的方法，其中，视频单元对应于序列、图片、视图、子图片或片，而不对应于条带。
[0713]
22.根据条款20所述的方法，其中，格式规则还规定基于alf工具的启用来信令通知cc-alf工具的使用的指示。
[0714]
23.根据条款20所述的方法，其中，格式规则还规定基于色度颜色格式和/或指示视频单元的视频块同时包含亮度和色度样点的语法元素来信令通知cc-alf工具的使用的指示。
[0715]
24.根据条款20所述的方法，其中，格式规则还规定基于色度颜色格式和/或单独的颜色平面编解码的使用，在比特流表示中包括cc-alf工具的使用的指示。
[0716]
25.根据条款20所述的方法，其中，格式规则还规定基于对于视频单元的cc-alf工具的适用性，在比特流表示中包括对应于条带、编解码树块或编解码树单元的视频区域中cc-alf工具的使用的指示。
[0717]
26.根据条款20所述的方法，其中，格式规则还规定，在序列参数集(sps)、视频参数集(vps)、图片参数集(pps)、图片标头或条带标头中信令通知指示cc-alf工具的适用性
的语法元素。
[0718]
27.根据条款26所述的方法，其中，仅在对于视频单元启用alf工具时对语法元素进行编解码。
[0719]
28.根据条款26所述的方法，其中，仅对于同时满足i)对于视频单元启用alf工具和ii)变量chromaarraytype不等于0的条件对语法元素进行编解码。
[0720]
29.根据条款26所述的方法，其中，仅对于同时满足i)对于视频单元启用alf和ii)视频单元的色度格式为单色的条件对语法元素进行编解码。
[0721]
30.一种视频处理方法，包括：在视频的视频区域与视频的比特流表示之间执行转换，其中，比特流表示符合格式规则，该格式规则规定语法元素是否指示比特流表示中跨分量自适应环路滤波(cc-alf)工具的使用取决于用于亮度分量的对应部分的自适应环路滤波(alf)工具的可用性。
[0722]
31.根据条款30所述的方法，其中，格式规则规定在alf工具不可用于亮度分量的对应部分的情况下，禁用cc-alf工具而不显式地信令通知。
[0723]
32.一种视频处理方法，包括：在视频的视频区域与视频的比特流表示之间执行转换，其中，比特流表示符合格式规则，该格式规则规定比特流表示包括自适应参数集(aps)，该aps包括语法元素以指示该aps是否包含与跨分量自适应滤波cc-alf工具相关的信息。
[0724]
33.根据条款32所述的方法，其中，包括与cc-alf工具相关的信息的aps具有与另一aps不同的类型，该另一aps没有与cc-alf类型相关的信息。
[0725]
34.根据条款32所述的方法，其中，语法元素对应于与应用于cb分量的cc-alf工具相关的第一语法元素和与应用于cr分量的cc-alf工具相关的第二语法元素的组合。
[0726]
35.根据条款32所述的方法，其中，语法元素具有非二进制值。
[0727]
36.一种视频处理方法(例如，图14b所示的方法1420)，包括：确定排除规则适用于视频的视频区域与视频的比特流表示之间的转换，其中，排除规则规定转换不允许对于视频区域一起使用编解码工具和跨分量自适应环路滤波(cc-alf)工具；以及基于该确定执行转换。
[0728]
37.根据条款36所述的方法，其中，编解码工具包括对于色度分量的样点自适应偏移编解码工具、对于采用色度缩放编解码工具的亮度映射的残差缩放工具、对于色度分量的去方块过程或对于色度分量的自适应环路滤波器。
[0729]
38.根据条款36所述的方法，其中，比特流表示包括与取决于编解码工具的启用状态的cc-alf工具相关的信息。
[0730]
39.根据条款36所述的方法，其中，比特流表示包括与取决于cc-alf工具的启用状态的编解码工具相关的信息。
[0731]
40.根据条款36所述的方法，其中，比特流表示符合格式规则，该格式规则规定在禁用编解码工具的情况下省略与编解码工具相关的信息。
[0732]
41.根据条款36所述的方法，其中，比特流表示符合格式规则，该格式规则规定在禁用cc-alf工具的情况下省略与cc-alf工具相关的信息。
[0733]
42.根据条款36所述的方法，其中，视频区域对应于整个序列、整个图片、整个条带、片、子图片、编解码树块或编解码块。
[0734]
43.一种视频处理方法，包括：根据规则执行视频的色度块与视频的比特流表示之
间的转换，其中，在转换期间使用跨分量自适应环路滤波器(cc-alf)工具以基于亮度块的样点来确定色度块的预测；其中，规则规定在转换期间用于预测的亮度块和/或使用cc-alf工具的顺序。
[0735]
44.根据条款43所述的方法，其中，规则规定在预测阶段期间应用cc-alf工具来预测色度块的样点值。
[0736]
45.根据条款44所述的方法，其中，基于在应用cc-alf工具之前的原始信号与cc-alf滤波结果之间的差值来产生预测误差。
[0737]
46.根据条款44所述的方法，其中，色度块的重构取决于cc-alf滤波结果和残差。
[0738]
47.根据条款44所述的方法，其中，规则适用于色度块中的部分样点，但不适用于色度块中的剩余样点。
[0739]
48.根据条款47所述的方法，其中，部分样点对应于前n行或前n列处的样点或者后n行或后n列处的样点。
[0740]
49.根据条款48所述的方法，其中，n取决于在cc-alf工具中使用的滤波器形状。
[0741]
50.根据条款43所述的方法，其中，规则规定在色度块的重构之后、在解码另一个块之前应用cc-alf工具。
[0742]
51.根据条款43所述的方法，其中，规则规定顺序不包括在样点自适应偏移工具之后和自适应环路滤波器工具之前使用cc-alf工具。
[0743]
52.根据条款43所述的方法，其中，规则规定在应用任何其他环路滤波器之前应用cc-alf工具。
[0744]
53.根据条款43所述的方法，其中，规则规定在用于视频的后续视频块的预测之前，将cc-alf工具应用于色度块的重构样点。
[0745]
54.根据条款43所述的方法，其中，规则规定在样点自适应偏移环路滤波器之前应用cc-alf工具。
[0746]
55.一种视频处理方法(例如，图14c所示的方法1430)，包括：根据规则确定(1432)处理色度分量的自适应环路滤波器(alf)和色度分量的跨分量自适应环路滤波(cc-alf)的顺序；以及基于该确定执行(1434)视频和视频的比特流表示之间的转换，其中，规则规定顺序在视频的视频区域处是预定义的还是自适应改变的，视频区域具有m
×
n的大小，并且m和n是正整数。
[0747]
56.根据条款55所述的方法，其中，在m
×
n区域上应用cc-alf之前修改在处理m
×
n区域上的alf之后获得的滤波样点。
[0748]
57.根据条款55所述的方法，其中，将在处理第一m
×
n区域上的alf或cc-alf之后获得的滤波样点用作第二m
×
n区域的输入。
[0749]
58.根据条款55所述的方法，其中，首先执行m
×
n区域上的色度分量的cc-alf，然后执行m
×
n区域上的色度分量的alf。
[0750]
59.根据条款58所述的方法，其中，提供cc-alf的输出作为alf的输入。
[0751]
60.根据条款58所述的方法，其中，在被提供作为alf的输入之前由cc-alf修改m
×
n区域中的样点。
[0752]
61.根据条款55所述的方法，其中，视频区域对应于编解码树块(ctb)或小于ctb。
[0753]
62.根据条款55所述的方法，其中，在序列参数集(sps)、视频参数集(vps)、图片参
数集(pps)、相关性参数集(dps)、图片标头或条带标头中信令通知顺序。
[0754]
63.一种视频处理方法，包括：在视频的视频区域与视频的比特流表示之间执行转换，其中，比特流表示符合格式规则，该格式规则规定比特流表示中包括语法元素，语法元素指示对于一个色度分量的自适应环路滤波(alf)和跨分量自适应环路滤波(cc-alf)的使用。
[0755]
64.根据条款63所述的方法，其中，语法元素具有非二进制的值。
[0756]
65.根据条款64所述的方法，其中，值等于k指示对于一个颜色分量禁用alf和cc-alf，alf是非线性的，并且k是整数。
[0757]
66.根据条款64所述的方法，其中，值等于l指示对于一个颜色分量启用alf和cc-alf，alf是非线性的，并且l是整数。
[0758]
67.根据条款64所述的方法，其中，值等于m指示对于给定的颜色分量，只启用非线性alf，而禁用cc-alf，m是整数。
[0759]
68.根据条款64所述的方法，其中，值等于n指示对于一个颜色分量，只启用cc-alf，而禁用非线性alf，n是整数。
[0760]
69.根据条款65至68中任一项所述的方法，其中，k、l、m、n是彼此不同的四个整数值。
[0761]
70.根据条款63所述的方法，其中，语法元素具有用固定长度二进制化、一元二进制化、截断一元二进制化或k阶指数golomb二进制化进行编解码的值。
[0762]
71.根据前述条款中任一项所述的方法，其中，所述方法还基于以下至少一个：1)视频内容的类型；2)序列参数集(sps)、视频参数集(vps)、图片参数集(pps)、相关性参数集(dps)、自适应参数集(aps)、图片标头、条带标头、片组标头、最大编解码单元(lcu)、编解码单元(cu)、lcu行、一组lcu、变换单元(tu)、预测单元(pu)块或视频编解码单元中信令通知的消息；3)cu、pu、tu、块或视频编解码单元的位置；4)当前块和/或相邻块的解码信息；5)当前块和/或相邻块的尺寸或形状；6)颜色格式的指示；7)编解码树结构；8)条带类型、片组类型和/或图片类型；9)颜色分量的类型；10)时域层标识符；11)标准的档次、级别或等级。
[0763]
72.根据前述条款中任一项所述的方法，其中，cc-alf工具应用于使用第二分量的样点值来细化第一分量的样点值。
[0764]
73.根据条款1至72中任一项所述的方法，其中，转换包括将视频编码成比特流表示。
[0765]
74.根据条款1至72中任一项所述的方法，其中，转换包括解码比特流表示以生成视频。
[0766]
75.一种视频处理装置，包括被配置为实现条款1至74中任一项或多项所述的方法的处理器。
[0767]
76.一种存储程序代码的计算机可读介质，当执行该程序代码时，使得处理器实现条款1至74中任一项或多项所述的方法。
[0768]
77.一种计算机可读介质，存储根据上述任一方法生成的编解码表示或比特流表示。
[0769]
在本文件中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，视频压缩算法可以在从视频的像素表示到对应的比特流表示的转换期间被应用，
反之亦然。如语法所定义的，例如，当前视频块的比特流表示可以对应于在比特流内共位或在比特流内分布在不同位置的比特。例如，可以根据变换和编解码的误差残差值以及还可以使用比特流中的标头中的比特和其他字段来对宏块进行编码。
[0770]
本技术文件中描述的公开和其他解决方案、示例、实施例、模块和功能操作能够在数字电子电路、或计算机软件、固件或硬件中实现，包括本技术文件中所公开的结构及其结构等效体，或其中一个或多个的组合。本技术文件中所公开的实施例以及其他实施例可以实现为一个或多个计算机程序产品，例如一个或多个编码在有形的且非易失的计算机可读介质上的计算机程序指令的模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储装置、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理装置”包括用于处理数据的所有设备、装置和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。传播的信号是人为生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编码信息以传输到合适的接收器装置。
[0771]
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。
[0772]
本技术文件中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且设备也可以实现为特殊用途的逻辑电路，例如，fpga(现场可编程门阵列)或asic(专用集成电路)。
[0773]
例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如eprom、eeprom和闪存设备；磁盘，例如，内部硬盘或可移动硬盘；磁光盘；以及cd rom和dvd rom盘。处理器和存储器可以由专用逻辑电路来补充，或merge到专用逻辑电路中。
[0774]
虽然本专利文件包含许多细节，但不应将其解释为对任何发明或权利要求范围的限制，而应解释为对特定技术的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管
上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。
[0775]
同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
[0776]
仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。