用于视频编解码的自适应环路滤波的制作方法

用于视频编解码的自适应环路滤波
1.相关申请的交叉引用
2.根据适用的专利法和/或依据巴黎公约的规则，本技术旨在及时要求于2019年4月16日提交的国际专利申请no.pct/cn2019/082855的优先权和权益。出于根据美国法律的所有目的，前述申请的全部公开通过引用而并入作为本技术的公开的一部分。
技术领域
3.本专利文档涉及视频编解码技术、设备和系统。


背景技术：

4.尽管视频压缩技术有所进步，但数字视频仍然在互联网和其它数字通信网络上占据最大的带宽使用。随着能够接收和显示视频的联网用户设备数量的增加，预计对数字视频使用的带宽需求将继续增长。


技术实现要素：

5.描述了与数字视频编解码相关，并且更具体地，与用于视频编解码的自适应环路滤波相关的设备、系统和方法。所描述的方法可以被应用于现有的视频编解码标准(例如，高效视频编解码(high efficiency video coding，hevc))和未来的视频编解码标准(例如，通用视频编解码(versatile video coding，vvc))或编解码器。
6.视频编解码标准主要是通过众所周知的itu
‑
t和iso/iec标准的发展而演变的。itu
‑
t产生了h.261和h.263，iso/iec产生了mpeg
‑
1和mpeg
‑
4visual，并且这两个组织联合产生了h.262/mpeg
‑
2视频和264/mpeg
‑
4高级视频编解码(advanced video coding，avc)标准和h.265/hevc标准。自h.262以来，视频编解码标准基于混合视频编解码结构，其中利用了时域预测加变换编解码。为了探索hevc以外的未来的视频编解码技术，vceg和mpeg于2015年联合成立了联合视频探索小组(joint video exploration team，jvet)。此后，jvet采用了许多新方法，并将其放入到命名为联合探索模型(joint exploration model，jem)的参考软件中。2018年4月，建立了vceg(q6/16)和iso/iec jtc1 sc29/wg11(mpeg)之间的联合视频专家小组(joint video expert team，jvet)以致力于vvc标准，目标是与hevc相比的50％比特率降低。
7.在一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：对视频的当前视频块执行滤波过程，其中该滤波过程使用滤波器系数并且包括具有至少一个中间结果的两个或更多个操作；对至少一个中间结果应用裁剪操作；以及基于至少一个中间结果来执行当前视频块和视频的比特流表示之间的转换，其中，至少一个中间结果基于滤波器系数和当前视频块的当前样点与当前样点的临近样点之间的差的加权和。
8.在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：将视频的当前视频块编码为视频的比特流表示，其中，当前视频块是用自适应环
路滤波器(alf)编解码的；以及基于一个或多个时域自适应滤波器集合的可用性或使用，在比特流表示中选择性地包括一个或多个时域自适应滤波器集合内的时域自适应滤波器集合的指示。
9.在又一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：基于视频的比特流表示中的时域自适应滤波器集合的指示来确定一个或多个时域自适应滤波器集合的可用性或使用，其中该一个或多个时域自适应滤波器集合包括适用于用自适应环路滤波器(alf)编解码的视频的当前视频块的时域自适应滤波器集合；以及通过基于该确定来选择性地应用时域自适应滤波器集合，从比特流表示生成解码的当前视频块。
10.在又一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：基于可用的时域自适应环路滤波(alf)系数集，为用自适应环路滤波器编解码的当前视频块确定多个时域alf系数集，其中，可用的时域alf系数集已经在该确定之前被编码或解码，并且其中，多个alf系数集用于包括当前视频块的片组、片、条带、图片、编解码树块(ctb)或视频单元；以及基于多个时域alf系数集，执行当前视频块和当前视频块的比特流表示之间的转换。
11.在又一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：为视频的当前视频块和视频的比特流表示之间的转换确定视频的视频区域的头中的自适应环路滤波(alf)的指示等于与比特流表示相关联的自适应参数集(aps)网络抽象层(nal)单元中的alf的指示；以及执行转换。
12.在又一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：基于视频的视频区域使用的自适应环路滤波器的类型，对视频的当前视频块和视频的比特流表示之间的转换选择性地启用非线性自适应环路滤波(alf)操作；以及在该选择性地启用之后执行转换。
13.在又一个代表性方面，上述方法以处理器可执行代码的形式被体现并且被存储在计算机可读程序介质中。
14.在又一个代表性方面，公开了一种被配置为或可操作来执行上述方法的设备。该设备可以包括被编程来实施该方法的处理器。
15.在再一个代表性方面，视频解码器装置可以实施如本文所描述的方法。
16.在附图、说明书和权利要求书中更详细地描述了所公开的技术的以上以及其它方面和特征。
附图说明
17.图1示出了用于视频编解码的编码器框图的示例。
18.图2a、图2b和图2c示出了基于几何变换的自适应环路滤波器(galf)滤波器形状的示例。
19.图3示出了galf编码器决定的流程图的示例。
20.图4a
‑
图4d示出了用于自适应环路滤波器(alf)分类的示例子采样拉普拉斯算子计算。
21.图5示出了亮度滤波器形状的示例。
22.图6示出了宽视频图形阵列(wvga)序列的区域划分的示例。
23.图7示出了具有重整形(reshape)的解码流程的示例性流程图。
24.图8示出了双向光流(bio)算法使用的光流轨迹的示例。
25.图9a和图9b示出了在没有块扩展的情况下使用双向光流(bio)算法的示例快照。
26.图10示出了利用光流的预测细化(prof)的示例。
27.图11a
‑
图11f示出了根据所公开的技术的用于自适应环路滤波的示例方法的流程图。
28.图12是用于实施在本文档中描述的可视媒体解码或可视媒体编码技术的硬件平台的示例的框图。
29.图13是其中可以实施所公开的技术的示例视频处理系统的框图。
具体实施方式
30.由于对更高分辨率视频的增长的需求，视频编解码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且被不断改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换为压缩格式，反之亦然。视频质量、用于表示视频的数据量(由比特率确定)、编解码和解码算法的复杂性、对数据丢失和错误的敏感性、编辑的便利性、随机访问和端到端延迟(时延)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如高效视频编解码(hevc)标准(也称为h.265或mpeg
‑
h第2部分)、待最终确定的通用视频编解码(vvc)标准、或其他当前和/或未来的视频编解码标准。
31.在一些实施例中，使用称为联合探索模型(jem)的参考软件来探索未来的视频编解码技术。在jem中，在几个编解码工具(诸如仿射预测、可选时域运动矢量预测(atmvp)、空时运动矢量预测(stmvp)、双向光流(bio)、帧速率上转换(fruc)、局部自适应运动矢量分辨率(lamvr)、重叠块运动补偿(obmc)、局部照明补偿(lic)和解码器侧运动矢量细化(dmvr))中采用基于子块的预测。
32.所公开的技术的实施例可以被应用于现有的视频编解码标准(例如，hevc、h.265)和未来的标准，以提高运行时性能。在本文档中使用章节标题以提高描述的可读性，并且不以任何方式将讨论或实施例(和/或实施方式)仅限制于相应的章节。
33.1色彩空间和色度子采样的示例
34.色彩空间，也称为色彩模型(或色彩系统)，是抽象的数学模型，其简单地将色彩的范围描述为数字的元组，通常为3或4个值或色彩分量(例如，rgb)。从根本上讲，色彩空间是坐标系和子空间的详化。
35.对于视频压缩，最常用的色彩空间是ycbcr和rgb。
36.ycbcr、y
′
cbcr、或y pb/cb pr/cr，也写为ycbcr或y'cbcr，是色彩空间家族，在视频和数字摄影系统中用作色彩图像流水线的一部分。y
′
是亮度分量，cb和cr是蓝差和红差色度分量。y
′
(有基色)不同于作为亮度的y，意味着光强度是基于伽马校正的rgb基色非线性编解码的。
37.色度子采样是通过对色度信息实施比亮度信息更低的分辨率来编码图像的实践，利用了人类视觉系统对色差比亮度更低的敏锐度。
38.1.1 4:4:4色彩格式
39.三个y'cbcr分量中的每一个都具有相同的采样率，因此没有色度子采样。该方案有时用于高端电影扫描仪和电影后期制作中。
40.1.2 4:2:2色彩格式
41.两个色度分量以亮度采样率的一半进行采样，例如水平色度分辨率被减半。这将未压缩视频信号的带宽减少了三分之一，几乎没有视觉差异。
42.1.3 4:2:0色彩格式
43.在4:2:0下，水平采样与4:1:1相比被加倍，但由于cb和cr通道在该方案中仅在每条交替线上被采样，因此垂直分辨率被减半。数据速率因此相同。cb和cr每个水平地和垂直地以因子2进行子采样。有4:2:0方案的三种变体，具有不同的水平和垂直选点(siting)。
44.○
在mpeg
‑
2中，cb和cr是水平共置的。cb和cr位于垂直方向上的像素之间(位于中间)。
45.○
在jpeg/jfif、h.261和mpeg
‑
1中，cb和cr位于中间，在交替亮度样点的中间。
46.○
在4:2:0dv中，cb和cr在水平方向上共置。在垂直方向上，它们在交替线上共置。
47.2典型视频编解码器的编解码流程示例
48.图1示出了vvc的编码器框图的示例，其包含三个环路滤波块：去方块滤波器(df)、样点自适应偏移(sao)和alf。与使用预定义的滤波器的df不同，sao和alf利用当前图片的原始样点，用信令通知偏移和滤波器系数的编解码边信息，分别通过添加偏移和通过应用有限脉冲响应(fir)滤波器来减小原始样点和重构样点之间的均方误差。alf位于每个图片的最后一个处理阶段，并且可以被看作试图捕捉和修复前一阶段创建的伪像(artifact)的工具。
49.3 jem中的基于几何变换的自适应环路滤波器的示例
50.在jem中，利用基于块的滤波器自适应[3]的基于几何变换的自适应环路滤波器(galf)被应用。对于亮度分量，基于局部梯度的方向和活动，为每个2
×
2块选择25个滤波器当中的一个。
[0051]
3.1滤波器形状的示例
[0052]
在jem中，可以为亮度分量选择至多三个菱形滤波器形状(如图2a、图2b和图2c所示，分别为5
×
5菱形、7
×
7菱形和9
×
9菱形)。在图片级别信令通知索引，以指示用于亮度分量的滤波器形状。对于图片中的色度分量，总是使用5
×
5菱形形状。
[0053]
3.1.1块分类
[0054]
每个2
×
2块被归类为25个类别中的一个。分类索引c基于其方向性d和活动的量化值进行推导，如下：
[0055][0056]
为了计算d和首先使用1
‑
d拉普拉斯算子计算水平、垂直和两个对角线方向的梯度：
[0057][0058]
[0059][0060][0061]
索引i和j表示2
×
2块中的左上方样点的坐标，并且r(i,j)表示坐标(i,j)处的重构样点。
[0062]
然后水平和垂直方向的梯度的d的最大值和最小值被设置为：
[0063][0064]
并且两个对角线方向的梯度的最大值和最小值被设置为：
[0065][0066]
为了推导方向性d的值，将这些值相互比较，并且与两个阈值t1和t2进行比较：
[0067]
步骤1.如果和都为真，则d被设置为0。
[0068]
步骤2.如果从步骤3继续；否则，从步骤4继续。
[0069]
步骤3.如果则d被设置为2；否则，d被设置为1。
[0070]
步骤4.如果则d被设置为4；否则，d被设置为3。
[0071]
活动值a被计算为：
[0072][0073]
a被进一步量化到0至4的范围(包括0和4)，并且量化值被表示为
[0074]
对于图片中的两个色度分量，不应用分类方法，即对每个色度分量应用单个alf系数集合。
[0075]
3.1.2滤波器系数的几何变换
[0076]
在对每个2
×
2块进行滤波之前，根据为该块计算的梯度值，对滤波器系数f(k,l)应用几何变换，诸如旋转或对角线和垂直翻转。这相当于将这些变换应用于滤波器支持区域中的样点。这个想法通过对齐应用alf的不同块的方向性来使该不同块更加类似。
[0077]
引入了三种几何变换，包括对角线、垂直翻转和旋转：
[0078]
对角线：f
d
(k,l)＝f(l,k),
[0079]
垂直翻转：f
v
(k,l)＝f(k,k
‑
l
‑
1)，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0080]
旋转：f
r
(k,l)＝f(k
‑
l
‑
1,k).
[0081]
在本文中，k是滤波器的尺寸，并且0≤k,l≤k
‑
1是系数坐标，使得位置(0,0)在左上角，并且位置(k
‑
1,k
‑
1)在右下角。根据为该块计算的梯度值，将变换应用于滤波器系数f(k,l)。表1总结了变换和四个方向的四个梯度之间的关系。
[0082]
表1:为一个块计算的梯度和变换的映射
[0083]
梯度值变换g
d2
<g
d1
并且g
h
<g
v
无变换g
d2
<g
d1
并且g
v
<g
h
对角线g
d1
<g
d2
并且g
h
<g
v
垂直翻转g
d1
<g
d2
并且g
v
<g
h
旋转
[0084]
3.1.3滤波器参数的信令通知
[0085]
在jem中，为第一ctu信令通知galf滤波器参数，即，在第一ctu的条带头之后并且在sao参数之前。可以信令通知至多25个亮度滤波器系数集合。为了减少比特开销，可以合并不同分类的滤波器系数。此外，参考图片的galf系数被存储并允许被重新用作当前图片的galf系数。当前图片可以选择使用为参考图片存储的galf系数，并且避开galf系数信令。在这种情况下，仅信令通知参考图片中的一个的索引，并且为当前图片继承所指示的参考图片的存储的galf系数。
[0086]
为了支持galf时域预测，维护galf滤波器集的候选列表。在解码新序列的开始，候选列表是空的。在解码一个图片之后，可以将对应的滤波器集合添加到候选列表。一旦候选列表的尺寸达到最大允许值(即，在当前jem中为6)，新的滤波器集合按解码顺序覆盖最旧的集合，即应用先进先出(fifo)规则来更新候选列表。为了避免重复，只有当对应的图片不使用galf时域预测时，才能将集合添加到列表。为了支持时域可伸缩性，有多个滤波器集的候选列表，并且每个候选列表与时域层相关联。更具体地，通过时域层索引(tempidx)分配的每个阵列可以由具有等于更低tempidx的先前解码的图片的滤波器集组成。例如，第k个阵列被分配为与等于k的tempidx相关联，并且它仅包含来自tempidx小于或等于k的图片的滤波器集。在对某个图片进行编解码之后，与图片相关联的滤波器集将用于更新与等于或高于tempidx相关联的那些阵列。
[0087]
galf系数的时域预测用于帧间编解码的帧，以最小化信令开销。对于帧内帧，时域预测不可用，并且16个固定滤波器的集合被分配给每个类别。为了指示固定滤波器的使用，信令通知每个类别的标志，并且如果需要，还信令通知所选择的固定滤波器的索引。即使当为给定类别选择固定滤波器时，自适应滤波器的系数f(k,l)仍然可以为该类别进行传送，在这种情况下，将被应用于重构图像的滤波器的系数是两个系数集合的和。
[0088]
亮度分量的滤波过程可以在cu级别进行控制。信令通知标志来指示galf是否被应用于cu的亮度分量。对于色度分量，仅在图片级别指示是否应用galf。
[0089]
3.1.4滤波过程
[0090]
在解码器侧，当对块启用galf时，对块内的每个样点r(i,j)进行滤波，产生如下所示的样点值r
′
(i,j)，其中l表示滤波器长度，f
m,n
表示滤波器系数，并且f(k,l)表示解码的滤波器系数。
[0091][0092]
3.1.5编码器侧滤波器参数的确定过程
[0093]
在图3中示出了galf的整个编码器决定过程。对于每个cu的亮度样点，编码器决定是否应用galf，并且适当的信令标志被包括在条带头中。对于色度样点，应用滤波器的决定是基于图片级别而不是cu级别做出的。此外，仅当为图片启用亮度galf时，才检查图片的色度galf。
[0094]
4 vvc中的基于几何变换的自适应环路滤波器的示例
[0095]
与jem中的相比，vvc中的galf的当前设计具有以下主要改变：
[0096]
1)自适应滤波器形状被移除。针对亮度分量仅允许7
×
7滤波器形状，并且针对色度分量允许5
×
5滤波器形状。
[0097]
2)alf参数的时域预测和来自固定滤波器的预测都被移除。
[0098]
3)对于每个ctu，一个比特标志被信令通知是启用还是禁用alf。
[0099]
4)类别索引的计算是在4x4级别而不是2x2级别执行的。此外，如jvet
‑
l0147中所建议的，利用了用于alf分类的子采样拉普拉斯算子计算方法。更具体地，不需要计算一个块内的每个样点的水平/垂直/45对角线/135度梯度。相反，利用了1:2子采样。
[0100]
5 avs2中的基于区域的自适应环路滤波器的示例
[0101]
alf是环路滤波的最后一个阶段。在该过程中有两个阶段。第一阶段是滤波器系数推导。为了训练滤波器系数，编码器将亮度分量的重构像素分类为16个区域，并且使用wiener
‑
hopf等式为每个类别训练一个滤波器系数集合，以最小化原始帧和重构帧之间的均方误差。为了减少这16个滤波器系数集合之间的冗余，编码器将基于率失真性能来自适应地合并它们。最多可以为亮度分量分配16个不同的滤波器集，并且为色度分量仅分配一个滤波器集。第二阶段是滤波决定，包括帧级别和lcu级别两者。首先，编码器决定是否执行帧级别自适应环路滤波。如果帧级别alf开启，则编码器进一步决定是否执行lcu级别alf。
[0102]
5.1滤波器形状
[0103]
对于亮度和色度分量，在avs
‑
2中采用的滤波器形状是7
×
7十字形，叠加了3
×
3正方形，正如图5所示。图5中的每个正方形对应于样点。因此，总共17个样点用于推导位置c8的样点的滤波值。考虑到发送系数的开销，利用点对称滤波器，其中只剩下九个系数{c0,c1,...,c8}，这将滤波器系数的数量以及滤波中的乘法次数减少为一半。点对称滤波器还可以减少一个滤波样点的计算的一半，例如一个滤波样点仅9次乘法和14次加法运算。
[0104]
5.2基于区域的自适应合并
[0105]
为了适应不同的编解码误差，avs
‑
2对亮度分量采用基于区域的多重自适应环路滤波器。亮度分量被划分为16个尺寸大致相等的基本区域，其中每个基本区域与最大编解码单元(lcu)边界对齐，如图6所示，并且为每个区域推导一个维纳(wiener)滤波器。使用的滤波器越多，减少的失真越多，但是用于编码这些系数的比特随着滤波器的数量而增加。为了实现最佳的率失真性能，可以将这些区域合并为更少的更大区域，这些区域共享相同的滤波器系数。为了简化合并过程，根据基于图像先验相关性的修改的希尔伯特顺序，向每个区域分配索引。具有连续索引的两个区域可以基于率失真代价而合并。
[0106]
区域之间的映射信息应该被信令通知给解码器。在avs
‑
2中，基本区域的数量用于表示合并结果，并且滤波器系数根据其区域顺序而顺序地压缩。例如，当{0,1}、{2,3,4}、{5,6,7,8,9}分别和左侧基本区域合并为一个区域时，仅三个整数被编解码来表示该合并映射，即2、3、5。
[0107]
5.3边信息的信令通知
[0108]
还使用了多个切换标志。序列切换标志adaptive_loop_filter_enable用于控制自适应环路滤波器是否被应用于整个序列。图像切换标志picture_alf_enble[i]控制alf是否被应用于对应的第i个图像分量。仅当启用picture_alf_enble[i]时，才会发送该色彩分量的对应lcu级别标志和滤波器系数。lcu级别标志lcu_alf_enable[k]，控制是否对对应的第k个lcu启用alf，并且被交织到条带数据中。不同级别调整标志的决定都基于率失真代价。高度的灵活性进一步使得alf更加显著地提高编解码效率。
[0109]
在一些实施例中，对于亮度分量，可以有至多16个滤波器系数集合。
[0110]
在一些实施例中，对于每个色度分量(cb和cr)，可以发送一个滤波器系数集合。
[0111]
6 vtm
‑
4中的galf
[0112]
在vtm4.0中，自适应环路滤波器的滤波过程被执行如下：
[0113]
o(x,y)＝∑
(i,j)
w(i,j).i(x i,y j)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0114]
其中样点i(x i,y j)是输入样点，o(x,y)是滤波后的输出样点(即，滤波器结果)，并且w(i,j)表示滤波器系数。实际上，在vtm4.0中，它是使用定点精度计算的整数算法实施的：
[0115][0116]
其中，l表示滤波器长度，并且其中w(i,j)是定点精度的滤波器系数。
[0117]
7非线性自适应环路滤波(alf)
[0118]
7.1滤波再形成(reformulation)
[0119]
等式(11)可以在不影响编解码效率的情况下再形成为以下表达式：
[0120]
o(x,y)＝i(x,y) ∑
(i,j)≠(0,0)
w(i,j).(i(x i,y j)
‑
i(x,y))
ꢀꢀꢀ
(13)
[0121]
在本文中，w(i,j)是与等式(11)中的滤波器系数相同的滤波器系数[除了在等式(13)中等于1而在等式(11)中等于1
‑
∑
(i,j)≠(0,0)
w(i,j)的w(0,0)]。
[0122]
7.2修改的滤波器
[0123]
使用上面的滤波器公式(13)，我们可以很容易地引入非线性，以通过使用简单的裁剪函数降低临近样点值i(x i,y j))的影响(当它们与正被滤波的当前样点值i(x,y)太不同时)来使得alf更有效。
[0124]
在该建议中，alf滤波器被修改如下：
[0125]
o
′
(x,y)＝i9x,y) ∑
(i,j)≠(0,0)
w(i,j).k(i(x i,y j)
‑
i(x,y),k(i,j))
ꢀꢀꢀ
(14)
[0126]
在本文中，k(d,b)＝min(b,max(
‑
b,d))是裁剪函数，并且k(i,j)是取决于(i,j)滤波器系数的裁剪参数。编码器执行优化以找到最佳k(i,j)。
[0127]
在jvet
‑
n0242实施方式中，为每个alf滤波器指定裁剪参数k(i,j)，每个滤波器系数信令通知一个裁剪值。这意味着对于每个亮度滤波器至多可以在比特流中信令通知12个裁剪值，并且对于色度滤波器至多可以信令通知6个裁剪值。
[0128]
为了限制信令开销和编码器复杂度，我们将裁剪值的估计限制在小的可能值集合内。在建议中，我们仅使用了4个固定值，其对于帧间和帧内片组是相同的。
[0129]
因为亮度的局部差的方差通常高于色度，所以我们对亮度和色度滤波器使用两个不同的集合。我们还在每个集合中包括最大样点值(这里10比特的比特深度为1024)，因此如果不需要，可以禁用裁剪。
[0130]
在jvet
‑
n0242测试中使用的裁剪值集合在表2中提供。这4个值已经通过在对数域中大致相等地划分亮度的样点值的整个范围(在10比特上编解码)和色度的范围(从4到1024)而选择。
[0131]
更准确地说，裁剪值的亮度表是通过以下公式获得的：
[0132]
其中m＝2
10
并且n＝
4。
[0133]
类似地，裁剪值的色度表是根据以下公式获得的：
[0134]
其中m＝2
10
，n＝4并且a＝4。
[0135]
表2：授权裁剪值
[0136][0137]
通过使用对应于上表2中的裁剪值的索引的golomb编码方案，在“alf_data”语法元素中对所选择的裁剪值进行编解码。该编码方案与滤波器索引的编码方案相同。
[0138]
8 jvet
‑
n0415中基于ctu的alf
[0139]
条带级别时域滤波器。在vtm4中采用自适应参数集(aps)。每个aps包含一个信令通知的alf滤波器的集合，至多支持32个aps。在该建议中，对条带级别时域滤波器进行测试。片组可以重新使用来自aps的alf信息，以减少开销。aps作为先进先出(fifo)缓冲区来更新。
[0140]
基于ctb的alf。对于亮度分量，当alf被应用于亮度ctb时，16个固定的、5个时域的或1个信令通知的滤波器集当中的选择被指示。仅滤波器集索引被信令通知。对于一个条带，仅可以信令通知一个新的25个滤波器的集合。如果为条带信令通知新的集合，则相同条带中的所有亮度ctb共享该集合。固定滤波器集可以用于预测新的条带级别滤波器集，并且也可以用作亮度ctb的候选滤波器集。滤波器的数量总共为64。
[0141]
对于色度分量，当alf被应用于色度ctb时，如果为条带信令通知新的滤波器，则ctb使用新的滤波器，否则，应用满足时域可伸缩性约束的最近的时域色度滤波器。
[0142]
作为条带级别时域滤波器，aps作为先进先出(fifo)缓冲区来更新。
[0143]
规范。
[0144]
以下文本基于jvet
‑
k1001
‑
v6使用{{fixed filter}}({{固定滤波器}})、[[temporal filters]]([[时域滤波器]])和((ctb
‑
based filter index))(((基于ctb的滤波器索引)))(即，使用双花括号、双方括号和双圆括号)修改
[0145]
7.3.3.2自适应环路滤波器数据语法
[0146]
[0147][0148]
7.3.4.2编解码树单元语法
[0149]
[0150][0151]
7.4.4.2自适应环路滤波器数据语义
[0152]
等于1的((alf_signal_new_filter_luma))指定信令通知新的亮度滤波器集。等于0的alf_signal_new_filter_luma指定不信令通知新的亮度滤波器集。当不存在时为0。
[0153]
等于1的{{alf_luma_use_fixed_filter_flag}}指定固定滤波器集用于信令通知自适应环路滤波器。等于0的alf_luma_use_fixed_filter_flag指定固定滤波器集不用于信令通知自适应环路滤波器。
[0154]
{{alf_luma_fixed_filter_set_index}}指定固定的滤波器集索引。它可以为0
…
15。
[0155]
等于0的{{alf_luma_fixed_filter_usage_pattern}}指定所有新的滤波器都使用固定滤波器。等于1的alf_luma_fixed_filter_usage_pattern指定新的滤波器中的一些使用固定滤波器，而其他不使用。
[0156]
等于1的{{alf_luma_fixed_filter_usage[i]}}指定第i个滤波器使用固定滤波器。等于0的alf_luma_fixed_filter_usage[i]指定第i个滤波器不使用固定滤波器。当它不存在时，其被推断为1。
[0157]
等于1的((alf_signal_new_filter_chroma))指定信令通知新的色度滤波器。等于0的alf_signal_new_filter_chroma指定不信令通知新的色度滤波器。
[0158]
((alf_num_available_temporal_filter_sets_luma))指定可以用于当前条带的可用时域滤波器集的数量，它可以来自0..5。当不存在时为0。
[0159]
变量alf_num_available_filter_sets被推导为16 alf_signal_new_filter_luma alf_num_available_temporal_filter_sets_luma。
[0160]
((如果alf_signal_new_filter_luma为1，则进行以下过程))
[0161]
变量filtercoefficients[sigfiltidx][j](其中sigfiltidx＝0..alf_luma_num_filters_signalled_minus1，j＝0..11)被初始化如下：
[0162]
filtercoefficients[sigfiltidx][j]＝alf_luma_coeff_delta_abs[sigfiltidx][j]*
ꢀꢀꢀ
(7
‑
50)
[0163]
(1
‑
2*alf_luma_coeff_delta_sign[sigfiltidx][j])
[0164]
当alf_luma_coeff_delta_prediction_flag等于1时，filtercoefficients[sigfiltidx][j](其中sigfiltidx＝1..alf_luma_num_filters_signalled_minus1并且j＝0..11)被修改如下：
[0165]
filtercoefficients[sigfiltidx][j] ＝filtercoefficients[sigfiltidx
‑
1][j]
ꢀꢀꢀ
(7
‑
51)
[0166]
亮度滤波器系数alfcoeff
l
(元素为alfcoeff
l
[filtidx][j]，其中filtidx＝0..numalffilters
‑
1并且j＝0..11)被推导如下
[0167]
alfcoeff
l
[filtidx][j]＝filtercoefficients[alf_luma_coeff_delta_idx[filtidx]][j]
ꢀꢀꢀ
(7
‑
52)
[0168]
{{如果alf_luma_use_fixed_filter_flag为1，并且alf_luma_fixed_filter_usage[filtidx]为1，则以下适用：
[0169]
alfcoeff
l
[filtidx][j]＝alfcoeff
l
[filtidx][j] alffixedfiltercoeff[alfclasstofiltermapping[alf_luma_fixed_filter_index][filtidx]][j]}}
[0170]
最后的滤波器系数alfcoeff
l
[filtidx][12]，其中filtidx＝0..numalffilters
‑
1被推导如下：
[0171]
alfcoeff
l
[filtidx][12]＝128
‑
σ
k
(alfcoeff
l
[filtidx][k]<<1)，其中k＝0..11
ꢀꢀꢀ
(7
‑
53)
[0172]
比特流一致性的要求是alfcoeff
l
[filtidx][j](其中filtidx＝0..numalffilters
‑
1，j＝0..11)的值应当在
‑27
至27‑
1(包括
‑27
和27‑
1)的范围内，并且alfcoeff
l
[filtidx][12]的值应当在0至28‑
1(包括0 to 28‑
1)的范围内。
[0173]
((亮度滤波器系数))alfcoeff
lumaall
(元素为alfcoeff
lumaall
[filtsetidx][filtidx][j]，其中filtsetidx＝0..15，filtsetidx＝0..numalffilters
–
1并且j＝0..12)被推导如下
[0174]
alfcoeff
lumaall
[filtsetidx][filtidx][j]＝{{alffixedfiltercoeff[alfclasstofiltermapping[}}filtsetidx{{][filtidx]][j]}}
[0175]
((亮度滤波器系数))alfcoeff
lumaall
(元素为alfcoeff
lumaall
[filtsetidx][filtidx][j]，其中filtsetidx＝16，filtsetidx＝0..numalffilters
–
1并且j＝0..12)被推导如下
[0176]
变量closest_temporal_index被初始化为
‑
1。tid是当前条带的时域层索引。((如果alf_signal_new_filter_luma为1))
[0177]
alfcoeff
lumaall
[16][filtidx][j]＝alfcoeff
l
[filtidx][j]
[0178]
((否则，调用以下过程))
[0179][0180]
alfcoeff
lumaall
[16][filtidx][j]＝temp
l
[closest_temporal_index][filtidx][j]
[0181]
((亮度滤波器系数))alfcoeff
lumaall
(元素为alfcoeff
lumaall
[filtsetidx][filtidx][j]，其中filtsetidx＝17..alf_num_available_filter_sets
‑
1，filtsetidx＝0..numalffilters
–
1并且j＝0..12)被推导如下
[0182]
[0183]
[0184][0185]
((如果alf_signal_new_filter_chroma为1，则进行以下过程))
[0186]
色度滤波器系数alfcoeff
c
[j](其中j＝0..5)被推导如下：
[0187]
alfcoeff
c
[j]＝alf_chroma_coeff_abs[j]*(1
‑
2*alf_chroma_coeff_sign[j])
ꢀꢀꢀ
(7
‑
57)
[0188]
对于j＝6的最后一个滤波器系数被推导如下：
[0189]
alfcoeff
c
[6]＝128
‑
σ
k
(alfcoeff
c
[k]<<1),其中k＝0..5
ꢀꢀꢀ
(7
‑
58)
[0190]
比特流一致性的要求是alfcoeff
c
[j](其中j＝0..5)的值应当在
‑27
‑
1至27‑
1(包括
‑27
‑
1和27‑
1)的范围内，并且alfcoeff
c
[6]的值应当在0至28‑
1(包括0和28‑
1)的范围内。
[0191]
否则(((alf_signal_new_filter_chroma为0)))，以下被调用
[0192][0193]
色度滤波器系数alfcoeff
c
[j](其中j＝0..6)被推导如下：
[0194]
alfcoeff
c
[j]＝temp
c
[closest_temporal_index][j]
[0195]
7.4.5.2编解码树单元语义
[0196]
((alf_luma_ctb_filter_set_index[xctb>>log2ctbsize][yctb>>log2ctbsize]))指定位置(xctb,yctb)处的亮度ctb的滤波器集索引。
[0197]
((alf_use_new_filter))等于1指定alf_luma_ctb_filter_set_index[xctb>>log2ctbsize][yctb>>log2ctbsize]为16。alf_use_new_filter等于0指定alf_luma_ctb_filter_set_index[xctb>>log2ctbsize][yctb>>log2ctbsize]不为16。
[0198]
((alf_use_fixed_filter))等于1指定使用固定滤波器集中的一个。alf_use_fixed_filter等于0指定当前亮度ctb不使用任何固定滤波器集。
[0199]
((alf_fixed_filter_index))指定固定滤波器集索引，其可以从0到15。
[0200]
((alf_temporal_index))指定时域滤波器集索引，其可以从0到alf_num_available_temporal_filter_sets_luma
‑
1。
[0201]
[[8.5.1通用]]
[0202]
1.当sps_alf_enabled_flag等于1时，以下适用：
[0203]
–
[[调用在第8.5.4.5节中指定的时域滤波器刷新过程。]]
[0204]
–
以重构图片样点阵列s
l
、s
cb
和s
cr
作为输入调用在第8.5.4.1节中指定的自适应环路滤波器过程,以样点自适应偏移之后的修改的重构图片样点阵列s
′
l
、s
′
cb
和s
′
cr
作为输出。
[0205]
–
阵列s
′
l
、s
′
cb
和s
′
cr
分别被分配给阵列s
l
、s
cb
和s
cr
(表示解码的图片)。
[0206]
–
[[调用在条款8.5.4.6中指定的时域滤波器更新过程。]]
[0207]
((8.5.4.2亮度样点的编解码树块滤波过程))
[0208]
–
对应于由filtidx[x][y]指定的滤波器的亮度滤波器系数f[j]的阵列被推导如下，其中j＝0..12：
[0209]
f[j]＝((alfcoeff
lumaall
))[alf_luma_ctb_filter_set_index[xctb>>log2ctbsize][yctb>>log2ctbsize]]][filtidx[x][y]][j]
ꢀꢀꢀ
(8
‑
732)
[0210]
[[8.5.4.5时域滤波器刷新]]
[0211]
如果以下条件中的任何一个为真，
[0212]
–
当前图片是idr图片
[0213]
–
当前图片是bla图片
[0214]
–
按照解码顺序，当前图片是poc大于最后一个解码的irap图片的poc的第一个图片，即在前导图片(leading picture)之后并在拖尾图片(trailing picture)之前。
[0215]
然后temp_size_l和temp_size_c被设置为0。
[0216]
[[8.5.4.6时域滤波器更新]]
[0217]
如果slice_alf_enabled_flag为1，并且alf_signal_new_filter_luma为1，则以下适用。
[0218]
如果亮度时域滤波器缓冲区尺寸temp_size_l<5，则temp_size_l＝temp_size_l 1。
[0219]
temp
l
[i][j][k](其中i＝temp_size_l
–1…
1，j＝0
…
numalffilters
‑
1并且k＝0
…
12)被更新为：
[0220]
temp
l
[i][j][k]＝temp
l
[i
‑
1][j][k]
[0221]
temp
l
[0][j][k](其中j＝0
…
numalffilters
‑
1并且k＝0..12)被更新为
[0222]
temp
l
[0][j][k]＝alfcoeff
l
[j][k]
[0223]
temp
tid_l
[i](其中i＝temp_size_l
–1…
1)被更新为
[0224]
temp
tid_l
[i]＝temp
tid_l
[i
‑
1]
[0225]
temp
tid_l
[0]被设置为当前条带的时域层索引tid
[0226]
如果alf_chroma_idx不为0，并且alf_signal_new_filter_chroma为1，则以下适用
[0227]
temp
c
[i][j](其中i＝temp_size_c
–1…
1并且j＝0
…
6)被更新为：
[0228]
temp
c
[i][j]＝temp
c
[i
‑
1][j]
[0250]
9.2.1亮度重整形
[0251]
环路内亮度重整形的测试2(即，建议中的ce12
‑
2)提供了更低复杂度的流水线，这也消除了帧间条带重构中分块帧内预测的解码时延。在帧间和帧内条带的重整形域中执行帧内预测。
[0252]
无论条带类型如何，帧内预测总是在重整形域中执行。利用这样的布置，帧内预测可以在先前的tu重构完成之后立即开始。这样的布置也可以为帧内模式提供统一的过程，而不是依赖于条带的。图7示出了基于模式的ce12
‑
2解码过程的框图。
[0253]
ce12
‑
2还测试了亮度和色度残差缩放的16段分段线性(pwl)模型，而不是ce12
‑
1的32段pwl模型。
[0254]
ce12
‑
2中的利用环路内亮度重整形器的帧间条带重构(较浅的阴影块指示重整形域中的信号：亮度残差；预测的帧内亮度；以及重构的帧内亮度)
[0255]
9.2.2依赖于亮度的色度残差缩放
[0256]
依赖于亮度的色度残差缩放是用定点整数运算实施的乘法过程。色度残差缩放补偿与色度信号的亮度信号相互作用。色度残差缩放应用于tu级别。更具体地，利用对应的亮度预测块的平均值。
[0257]
平均值用于识别pwl模型中的索引。该索引标识了缩放因子cscaleinv。色度残差乘以这个数。
[0258]
请注意，色度缩放因子是从前向映射的预测亮度值而不是重构的亮度值计算的。
[0259]
9.2.3ilr边信息的信令通知
[0260]
参数(当前)在片组头中被传送(类似于alf)。这些据报道需要40
‑
100比特。
[0261]
以下规范基于jvet
‑
l1001的版本9。添加的语法以黄色突出显示。
[0262]
在7.3.2.1序列参数集rbsp语法中
[0263][0264][0265]
在7.3.3.1通用片组头语法中
[0266][0267]
添加新的语法表片组重整形器模型：
[0268][0269]
{{在通用序列参数集rbsp语义中，添加以下语义：}}
[0270]
等于1的sps_reshaper_enabled_flag指定在编解码视频序列(cvs)中使用重整形器。等于0的sps_reshaper_enabled_flag指定在cvs中不使用重整形器。
[0271]
{{在片组头语法中，添加以下语义}}
[0272]
等于1的tile_group_reshaper_model_present_flag指定tile_group_reshaper_model()存在于片组头中。等于0的tile_group_reshaper_model_present_flag指定tile_group_reshaper_model()不存在于片组头中。当tile_group_reshaper_model_present_flag不存在时，它被推断为等于0。
[0273]
等于1的tile_group_reshaper_enabled_flag指定对当前片组启用重整形器。等于0的tile_group_reshaper_enabled_flag指定不对当前片组启用重整形器。当tile_group_reshaper_enable_flag不存在时，它被推断为等于0。
[0274]
等于1的tile_group_reshaper_chroma_residual_scale_flag指定对当前片组启用色度残差缩放。等于0的tile_group_reshaper_chroma_residual_scale_flag指定不对当前片组启用色度残差缩放。当tile_group_reshaper_chroma_residual_scale_flag不存在时，它被推断为等于0。
[0275]
{{添加tile_group_reshaper_model()语法}}
[0276]
reshape_model_min_bin_idx指定要用于重整形器构建过程中的最小二进制位(或段)索引。reshape_model_min_bin_idx的值应当在0至maxbinidx(包括0和maxbinidx)的范围内。maxbinidx的值应当等于15。
[0277]
reshape_model_delta_max_bin_idx指定最大允许的二进制位(或段)索引maxbinidx减去要用于重整形器构建过程中的最大二进制位索引。reshape_model_max_bin_idx的值被设置为等于maxbinidx
–
reshape_model_delta_max_bin_idx。
[0278]
reshaper_model_bin_delta_abs_cw_prec_minus1加1指定用于表示语法reshape_model_bin_delta_abs_cw[i]的比特数。
[0279]
reshape_model_bin_delta_abs_cw[i]指定第i个二进制位的绝对偏移(delta)码字值。
[0280]
reshaper_model_bin_delta_sign_cw_flag[i]指定reshape_model_bin_delta_abs_cw[i]的符号如下：
[0281]
–
如果reshape_model_bin_delta_sign_cw_flag[i]等于0，则对应的变量rspdeltacw[i]是正值。
[0282]
–
否则(reshape_model_bin_delta_sign_cw_flag[i]不等于0)，对应的变量rspdeltacw[i]是负值。
[0283]
当reshape_model_bin_delta_sign_cw_flag[i]不存在时，它被推断为等于0。
[0284]
变量rspdeltacw[i]＝(1 2*reshape_model_bin_delta_sign_cw[i])*reshape_model_bin_delta_abs_cw[i]；
[0285]
变量rspcw[i]如以下步骤被推导：
[0286]
变量orgcw被设置为等于(1<<bitdepth
y
)/(maxbinidx 1)。
[0287]
–
如果reshaper_model_min_bin_idx<＝i<＝
[0288]
reshaper_model_max_bin_idx
[0289]
则rspcw[i]＝orgcw rspdeltacw[i]。
[0290]
–
否则，rspcw[i]＝0。
[0291]
如果bitdepth
y
的值等于10，则rspcw[i]的值应当在32至2*orgcw
‑
1的范围内。
[0292]
变量inputpivot[i](其中i在0至maxbinidx 1(包括0和maxbinidx 1)的范围内)被推导如下
[0293]
inputpivot[i]＝i*orgcw
[0294]
变量reshapepivot[i](其中i在0至maxbinidx 1(包括0和maxbinidx 1)的范围内)、变量scalecoef[i]和invscalecoeff[i](其中i在0至maxbinidx(包括0和maxbinidx)的范围内)被推导如下：
[0295][0296]
变量chromascalecoef[i](其中i在0至maxbinidx(包括0和maxbinidx)的范围内)被推导如下：
[0297][0298]
9.2.4 ilr的使用
[0299]
在编码器侧，每个图片(或片组)首先被转换到重整形域。并且所有的编解码过程都在重整形域中被执行。对于帧内预测，临近块在重整形域中；对于帧间预测，(从解码图片缓冲区的原始域生成的)参考块首先被转换到重整形域。然后，残差被生成并编解码到比特流。
[0300]
在整个图片(或片组)完成编码/解码之后，重整形域中的样点被转换到原始域，然后去方块滤波器和其他滤波器被应用。
[0301]
对于以下情况，禁用对预测信号的正重整形：
[0302]
○
当前块是帧内编解码的
[0303]
○
当前块被编解码为cpr(当前图片参考，也称为帧内块复制，ibc)
[0304]
○
当前块被编解码为组合的帧间
‑
帧内模式(ciip)，并且对帧内预测块禁用正重整形
[0305]
10双向光流(bdof)
[0306]
10.1 bio的概述和分析
[0307]
在bio中，首先执行运动补偿以生成当前块(在每个预测方向上)的第一预测。第一预测用于推导块内的每个子块或像素的空域梯度、时域梯度和光流，其然后用于生成第二预测，例如子块或像素的最终预测。细节描述如下。
[0308]
双向光流(bio)方法是在双向预测的逐块运动补偿的基础上执行的逐样点运动细化。在一些实施方式中，样点级别运动细化不使用信令。
[0309]
假设i
(k)
为块运动补偿之后的来自参考k(k＝0,1)的亮度值，并且分别将和表示为i
(k)
梯度的水平和垂直分量。假设光流有效，则运动矢量场(v
x
,v
y
)由下式给出：
[0310][0311]
将该光流等式与用于每个样点的运动轨迹的hermite插值组合，最终产生与函数值i
(k)
以及导数和相匹配的唯一的三阶多项式。t＝0时，该多项式的值为bio预测：
[0312][0313]
图8示出了双向光流(bio)方法中的示例光流轨迹。这里，τ0和τ1表示到参考帧的距离。距离τ0和τ1基于ref0和ref1的poc进行计算：τ0＝poc(当前)
‑
poc(ref0)，τ1＝poc(当前)
‑
poc(ref1)。如果两个预测来自相同的时间方向(都来自过去或者都来自未来)，则符号是不同的(例如，τ0·
τ1＜0)。在这种情况下，如果预测不是来自相同时刻(例如，τ0≠τ1)，则应用bio。
[0314]
运动矢量场(v
x
,v
y
)是通过最小化点a和b中的值之间的差δ而确定的。图8示出了运动轨迹和参考帧平面相交的示例。模型仅使用δ的局部泰勒展开的第一线性项：
[0315][0316]
上述等式中的所有值取决于样点位置，表示为(i
′
,j
′
)。假设运动在局部周围区域中是一致的，则可以在以当前预测点(i,j)为中心的(2m 1)
×
(2m 1)正方形窗口ω内部最小化δ，其中m等于2：
[0317][0318]
对于该优化问题，jem使用简化的方法，首先在垂直方向上最小化，然后在水平方向上最小化。这将引起下式：
[0319][0320][0321]
其中，
[0322][0323]
为了避免被零除或被非常小的值除，正则化参数r和m可以引入到等式(15)和等式(16)中，其中：
[0324]
r＝500
·4d
‑8ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
等式(18)
[0325]
m＝700
·4d
‑8ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
等式(19)
[0326]
这里，d是视频样点的比特深度。
[0327]
为了保持对bio的内存访问与常规双向预测运动补偿相同，所有预测和梯度值i
(k)
,,是针对当前块内部的位置而计算的。图9a示出了块900外部的访问位置的示例。如图9a所示，在等式(17)中，以预测块的边界上的当前预测点为中心的(2m 1)
×
(2m 1)正方形窗口ω需要访问块外部的位置。在jem，块外部的值i
(k)
,,被设置为等于块内部的最近可用值。例如，这可以被实施为填充区域901，如图9b所示。
[0328]
利用bio，可以为每个样点细化运动场是可能的。为了降低计算复杂度，在jem中使用bio的基于块的设计。可以基于4
×
4块来计算运动细化。在基于块的bio中，可以聚合4
×
4块中的所有样点的、等式(17)中的s
n
的值，然后s
n
的聚合值用于4
×
4块的推导的bio运动矢量偏移。更具体地，以下公式可以用于基于块的bio推导：
[0329][0330]
这里，b
k
表示属于预测块的第k个4
×
4块的样点集合。等式(15)和等式(16)中的s
n
被替换为((s
n,bk
)>>4)以推导相关联的运动矢量偏移。
[0331]
在一些场景中，由于噪音或不规则运动，bio的mv细化可能不可靠。因此，在bio中，mv细化的幅度被裁剪到阈值。基于当前图片的参考图片是否都来自一个方向来确定阈值。例如，如果当前图片的所有参考图片都来自一个方向，则阈值的值被设置为12
×214
‑
d
；否则，它被设置为12
×213
‑
d
。
[0332]
可以使用与hevc运动补偿过程(例如，2d可分有限脉冲响应(fir))一致的操作利用运动补偿插值来同时计算bio的梯度。在一些实施例中，2d可分fir的输入是与运动补偿过程和根据块运动矢量的分数部分的分数位置(fracx，fracy)相同的参考帧样点。对于水平梯度首先使用与具有去缩放(de
‑
scaling)移位d
‑
8的分数位置fracy相对应的biofilters对信号进行垂直插值。然后在与具有去缩放移位18
‑
d的分数位置fracx相对应的水平方向上应用梯度滤波器biofilterg。对于垂直梯度使用与具有去缩放移位d
‑
8的分数位置fracy相对应的biofilterg来垂直应用梯度滤波器。然后在与具有去缩放移位18
‑
d的分数位置fracx相对应的水平方向上使用biofilters来执行信号位移。用于梯度计算的插值滤波器biofilterg和用于信号位移的插值滤波器biofilterf的长度可以更短(例如，6抽头)，以便保持合理的复杂度。表2示出了在bio中可以用于块运动矢量的不同分数位置的梯度计算的示例滤波器。表3示出了在bio中可以用于预测信号生成的示例插值滤波器。
[0333]
表2：在bio中用于梯度计算的示例性滤波器
[0334][0335][0336]
表2：在bio中用于预测信号生成的示例性插值滤波器
[0337]
分数精度位置预测信号的插值滤波器(biofilters)0{0,0,64,0,0,0}1/16{1,
‑
3,64,4,
‑
2,0}1/8{1,
‑
6,62,9,
‑
3,1}3/16{2,
‑
8,60,14,
‑
5,1}1/4{2,
‑
9,57,19,
‑
7,2}5/16{3,
‑
10,53,24,
‑
8,2}3/8{3,
‑
11,50,29,
‑
9,2}7/16{3,
‑
11,44,35,
‑
10,3}1/2{3,
‑
10,35,44,
‑
11,3}
[0338]
在jem，当两个预测来自不同的参考图片时，bio可以应用于所有双向预测块。当对cu启用局部照明补偿(lic)时，可以禁用bio。
[0339]
在一些实施例中，在正常的mc过程之后，obmc被应用于块。为了降低计算复杂度，在obmc过程期间可以不应用bio。这意味着bio在使用块自身的mv时被应用于块的mc过程中，而在obmc过程期间使用临近块的mv时不应用于mc过程中。
[0340]
11 jvet
‑
n0236中的利用光流的预测细化(prof)
[0341]
该文献建议一种利用光流来细化基于子块的仿射运动补偿预测的方法。在执行基于子块的仿射运动补偿之后，通过添加由光流等式推导的差来细化预测样点，这被称为利用光流的预测细化(prof)。该建议的方法可以在不增加内存访问带宽的情况下实现像素级别粒度的帧间预测。
[0342]
为了实现运动补偿的更精细的粒度，该文献建议一种利用光流来细化基于子块的仿射运动补偿预测的方法。在执行基于子块的仿射运动补偿之后，通过添加由光流等式推导的差来细化亮度预测样点。建议的prof被描述为以下四个步骤。
[0343]
步骤1)执行基于子块的仿射运动补偿以生成子块预测i(i,j)。
[0344]
步骤2)使用3抽头滤波器[
‑
1，0，1]，在每个样点位置处计算子块预测的空域梯度g
x
(i,j)和g
y
(i,j)。
[0345]
g
x
(i,j)＝i(i 1,j)
‑
i(i
‑
1,j)
[0346]
g
y
(i,j)＝i(i,j 1)
‑
i(i,j
‑
1)
[0347]
对于梯度计算，子块预测在每一侧上扩展一个像素。为了减少内存带宽和复杂性，扩展边界上的像素是从参考图片中的最近的整数像素位置复制的。因此，避免了对填充区域的附加插值。
[0348]
步骤3)亮度预测细化由光流等式计算。
[0349]
δi(i,j)＝g
x
(i,j)*δv
x
(i,j) g
y
(i,j)*δv
y
(i,j)
[0350]
这里，δv(i,j)是针对样点位置(i,j)计算的像素mv(由v(i,j)表示)和像素(i,j)所属的子块的子块mv之间的差，如图10所示。
[0351]
由于仿射模型参数和相对于子块中心的像素位置在子块与子块之间不改变，因此可以针对第一子块计算δv(i,j)，并将其重新用于相同cu中的其他子块。假设x和y是从像素位置到子块的中心的水平和垂直偏移，δv(x,y)可以由以下等式推导：
[0352][0353]
对于4参数仿射模型，
[0354][0355]
对于6参数仿射模型，
[0356][0357]
这里，(v
0x
,v
0y
)、(v
1x
,v
1y
)、(v
2x
,v
2y
)是左上方、右上方和左下方控制点运动矢量，w和h是cu的宽度和高度。
[0358]
步骤4)最后，亮度预测细化被添加到子块预测i(i,j)。最终预测i’如以下等式生成：
[0359]
i
′
(i,j)＝i(i,j) δi(i,j)
[0360]
12现有实施方式的缺点
[0361]
jvet
‑
n0242设计中的非线性alf(nlalf)具有以下问题：
[0362]
(1)在nlalf中需要许多裁剪操作。
[0363]
(2)在基于ctu的alf中，当alf_num_available_temporal_filter_sets_luma等于
0时，没有可用的时域亮度滤波器。然而，alf_temporal_index仍然可能被信令通知。
[0364]
(3)在基于ctu的alf中，当alf_signal_new_filter_chroma等于0时，没有为色度分量信令通知新的滤波器，并且假设使用时域色度滤波器。然而，不保证时域色度滤波器是可用的。
[0365]
(4)在基于ctu的alf中，alf_num_available_temporal_filter_sets_luma可能大于可用的时域滤波器集合。
[0366]
13用于视频编解码的自适应环路滤波的示例性方法
[0367]
当前公开的技术的实施例克服了现有实施方式的缺点，从而提供具有更高编解码效率的视频编解码。基于所公开的技术，用于自适应环路滤波的技术可以增强现有和未来的视频编解码标准，在针对各种实施方式描述的以下示例中进行了阐述。下面提供的所公开的技术的示例解释了一般概念，并且不意味着被解释为限制。在示例中，除非明确相反指出，否则在这些示例中描述的各种特征可以被组合。
[0368]
1.代替裁剪样点差，建议在滤波过程期间对中间结果应用裁剪操作。假设在滤波过程中利用的当前样点的临近样点(相邻或不相邻)可以被分类为n(n>＝1)个组。
[0369]
a.在一个示例中，为一组计算一个或多个中间结果，并且可以对一个或多个中间结果执行裁剪。
[0370]
i.例如，对于一组，可以首先计算每个临近像素和当前像素之间的差，然后可以使用对应的alf系数对这些差进行加权平均(表示为wavgdiff)。可以针对该组对wavgdiff执行一次裁剪。
[0371]
b.不同的裁剪参数可以用于不同的组。
[0372]
c.在一个示例中，裁剪被应用于滤波器系数乘以样点差的最终加权和。
[0373]
i.例如，n＝1，并且裁剪可以被执行如下，其中，k(d,b)＝min(b,max(
‑
b,d))是裁剪函数，并且k是裁剪参数。
[0374]
o(x,y)＝i(x,y) k(∑
(i,j)≠(0,0)
w(i,j).(i(x i,y j)
‑
i(x,y)),k)
[0375]
1)另外，可替代地，加权和∑
(i,j)≠(0,0)
w(i,j).(i(x i,y j)
‑
i(x,y))还可以被取整为整数值，诸如经由具有或不具有取整的移位。
[0376]
2.当对一个样点进行滤波时，如果n(n>1)个临近样点共享一个滤波器系数，则可以对所有n个临近像素进行一次裁剪(例如，非线性alf所需的)。
[0377]
a.例如，如果i(x i1,y j1)和i(x i2,y j2)共享一个滤波器系数w(i1,j1)(或/和一个裁剪参数k(i1,j1))，则裁剪可以如下进行一次：clipvalue(i1,j1)＝k(i(x i1,y j1) i(x i2,y j2)
‑
2*i(x,y),k(i1,j1))，并且w(i1,j1)*clipvalue(i1,j1)可以用于替换等式(14)中的w(i1,j1)*k(i(x i1,y j1)
‑
i(x,y),k(i1,j1)) w(i2,j2)*k(i(x i2,y j2)
‑
i(x,y),k(i2,j2))。
[0378]
i.在一个示例中，i1和i2可以在对称位置处。此外，j1和j2可以在对称位置处。
[0379]
1.在一个示例中，i1等于(
‑
i2)，并且j1等于(
‑
j2)。
[0380]
ii.在一个示例中，(x i1,y j1)和(x,y)之间的距离以及(x i2,j j2)和(x,y)之间的距离可以相同。
[0381]
iii.当滤波器形状在对称模式下时，项目符号2中的所公开的方法被启用。
[0382]
iv.此外，可替代地，可以从比特流信令通知/推导与i(x i1,y j1)相关联的裁剪
参数，由clipparam表示，并且上面提到的k(i1,j1)是从信令通知的裁剪参数(诸如2*clipparam)推导的。
[0383]
b.例如，如果(i,j)∈c共享一个滤波器系数w1(或/和一个裁剪参数k1)，并且c包含n个元素，则裁剪可以如下进行一次：
[0384][0385]
其中，k1是与c相关联的裁剪参数，并且clipvalue*w1可以用于替换等式(14)中的以下项：
[0386][0387]
i.此外，可替代地，可以从比特流信令通知/推导与i(x i,y j)相关联的裁剪参数，由clipparam表示，并且k1是从信令通知的裁剪参数(诸如n*clipparam)推导的。
[0388]
ii.可替代地，∑
(i,j)∈c
i(x i,y j)或(∑
(i,j)∈c
i(x i,y j))
‑
n*i(x,y)在裁剪之前被右移。
[0389]
c.在一个示例中，可以对n个临近样点中的m1(m1<＝n)个进行一次裁剪。
[0390]
d.在一个示例中，可以将n个临近样点分类为m2个组，并且可以对每个组进行一次裁剪。
[0391]
e.在一个示例中，该方法可以被应用于某些或所有色彩分量。
[0392]
i.例如，它可以被应用于亮度分量。
[0393]
ii.例如，它可以被应用于cb或/和cr分量。
[0394]
3.可以在本公开中使用将input裁剪到包括min和max的范围[min,max]的裁剪函数k(min,max,input)。
[0395]
a.在一个示例中，可以在上面的项目符号中使用将input裁剪到不包括min和max的范围(min,max)的裁剪函数k(min,max,input)。
[0396]
b.在一个示例中，可以在上面的项目符号中使用将input裁剪为在包括max但不包括min的范围(min,max]内的裁剪函数k(min,max,input)。
[0397]
c.在一个示例中，可以在上面的项目符号中使用将input裁剪为在包括min但不包括max的范围[min,max)内的裁剪函数k(min,max,input)。
[0398]
4.当时域alf系数集不可用时(例如，之前没有alf系数被编码/解码，或者编码/解码的alf系数被标记为“不可用”)，可以跳过使用哪个时域alf系数集的指示的信令通知。
[0399]
a.在一个示例中，当时域alf系数集不可用时，如果新的alf系数和固定的alf系数都没有用于ctb/块/片组/片/条带/图片，则alf被推断为不允许用于ctb/块/片组/片/条带/图片。
[0400]
i.此外，可替代地，在这种情况下，即使可以指示(例如，alf_ctb_flag对于ctu/块为真)alf被应用于ctb/块/片组/片/条带/图片，alf也可以最终被推断为不允许用于ctb/块/片组/片/条带/图片。
[0401]
b.在一个示例中，当时域alf系数集不可用时，仅新的alf系数或固定的alf系数等可以被指示用于一致性比特流中的ctb/块/片组/片/条带/图片。
[0402]
i.例如，alf_use_new_filter或alf_use_fixed_filter应当为真。
[0403]
c.在一个示例中，如果满足以下条件，则比特流被认为是非一致性比特流：当时域alf系数集不可用时，对于其中指示alf要被采用的ctb/块/片组/片/条带/图片，新的alf系数和固定的alf系数都不被指示用于它。
[0404]
i.例如，alf_use_new_filter和alf_use_fixed_filter都为假的比特流被认为是非一致性比特流。
[0405]
d.在一个示例中，当alf_num_available_temporal_filter_sets_luma等于0时，可以不信令通知alf_temporal_index。
[0406]
e.建议的方法可以被不同地应用于不同的色彩分量。
[0407]
5.多少个时域alf系数集可以用于片组/片/条带/图片/ctb/块/视频单元可以取决于可用的时域alf系数集(表示为alf
avai
)，例如被标记为“可用”的先前编码/解码的alf系数集。
[0408]
a.在一个示例中，不多于alf
avai
个时域alf系数集可以用于片组/片/条带/图片/ctb/块。
[0409]
b.不多于min(n,alf
avai
)个时域alf系数集可以用于片组/片/条带/图片/ctb/块，其中，n>＝0。例如，n＝5。
[0410]
6.新的alf系数集可以在它们被编码/解码之后被标记为“可用”。同时，当遇到irap(帧内随机访问点)访问单元或/和irap图片或/和idr(瞬时解码刷新)访问单元或/和idr图片时，所有“可用”alf系数集可以全部被标记为“不可用”。
[0411]
a.“可用”alf系数集可以用作后面编解码的图片/片/片组/条带/ctb/块的时域alf系数集。
[0412]
b.可以在最大尺寸等于n(n>0)的一个alf系数集列表中维护“可用”alf系数集。
[0413]
i.可以按先进先出的顺序维护alf系数集列表。
[0414]
c.当被标记为“不可用”时，相关联的alf aps信息从比特流移除或者被其他alf aps信息替换。
[0415]
7.可以为每个时域层维护一个alf系数集列表。
[0416]
8.可以为k个临近时域层维护一个alf系数集列表。
[0417]
9.根据图片是否是仅从前面的图片(以显示顺序)预测的，可以为不同的图片维护不同的alf系数集列表。
[0418]
a.例如，可以为仅从前面的图片预测的图片维护一个alf系数集列表。
[0419]
b.例如，可以为从前面的图片和后面的图片两者预测的图片维护一个alf系数集列表。
[0420]
10.在遇到irap访问单元或/和irap图片或/和idr访问单元或/和idr图片之后，可以清空alf系数集列表。
[0421]
11.可以为不同的色彩分量维护不同的alf系数集列表。
[0422]
a.在一个示例中，为亮度分量维护一个alf系数集列表。
[0423]
b.在一个示例中，为cb或/和cr分量维护一个alf系数集列表。
[0424]
12.可以维护一个alf系数集列表，然而，对于不同的图片/片组/片/条带/ctu，列表中的条目可以被分配有不同的索引(或优先级)。
[0425]
a.在一个示例中，alf系数集可以被分配有它和当前图片/片组/片/条带/ctu之间的升序绝对时域层差的升序索引。
[0426]
b.在一个示例中，alf系数集可以被分配有它和当前图片/片组/片/条带/ctu之间的升序绝对poc(图片顺序计数)差的升序索引。
[0427]
c.在一个示例中，假设有k个alf系数集被当前图片/片组/片/条带/ctu允许，则它们可以是具有最小索引的k个alf系数集。
[0428]
d.在一个示例中，对哪个时域alf系数集由当前图片/片组/片/条带/ctu使用的指示还可以取决于所分配的索引而不是列表中的原始条目索引。
[0429]
13.可以将在alf中使用的临近样点分类为k(k>＝1)个组，并且可以为每个组信令通知一个裁剪参数集合。
[0430]
14.可以为某些或所有固定的alf滤波器集预定义裁剪参数。
[0431]
a.可替代地，可以为由当前片组/条带/图片/片使用的某些或所有固定的滤波器集信令通知裁剪参数。
[0432]
i.在一个示例中，可以仅为某些色彩分量(例如，亮度分量)信令通知裁剪参数。
[0433]
b.可替代地，当使用固定的alf滤波器集时，可以不执行裁剪。
[0434]
i.在一个示例中，可以对某些色彩分量执行裁剪，而对其他色彩分量不执行裁剪。
[0435]
15.裁剪参数可以与alf系数一起存储，并且可以由后面编解码的ctu/cu/片/片组/条带/图片继承。
[0436]
a.在一个示例中，当时域alf系数集由ctu/cu/片/片组/条带/图片使用时，还可以使用对应的alf裁剪参数。
[0437]
i.在一个示例中，可以仅为某些色彩分量(例如，亮度分量)继承裁剪参数。
[0438]
b.可替代地，当时域alf系数集由ctu/cu/片/片组/条带/图片使用时，可以信令通知裁剪参数。
[0439]
i.在一个示例中，可以仅为某些色彩分量(例如，亮度分量)信令通知裁剪参数。
[0440]
c.在一个示例中，可以为某些色彩分量继承裁剪参数，并且可以为其他色彩分量信令通知裁剪参数。
[0441]
d.在一个示例中，当使用时域alf系数集时，不执行裁剪。
[0442]
i.在一个示例中，可以对某些色彩分量执行裁剪，而对其他色彩分量不执行裁剪。
[0443]
16.是否使用非线性alf可以取决于alf滤波器集类型(例如，固定的alf滤波器集、时域alf滤波器集或信令通知的alf系数集)。
[0444]
a.在一个示例中，如果当前ctu使用固定的alf滤波器集或时域alf滤波器集(也称为，使用先前信令通知的滤波器集)，则非线性alf可以不用于当前ctu。
[0445]
b.在一个示例中，当alf_luma_use_fixed_filter_flag等于1时，非线性alf可以用于当前条带/片组/片/ctu。
[0446]
17.可以根据alf滤波器集类型(例如，固定的alf滤波器集、时域alf滤波器集或信令通知的alf系数集)来有条件地信令通知非线性alf裁剪参数。
[0447]
a.在一个示例中，可以为所有alf滤波器集信令通知非线性alf裁剪参数。
[0448]
b.在一个示例中，可以仅为信令通知的alf滤波器系数集信令通知非线性alf裁剪参数。
[0449]
c.在一个示例中，可以仅为固定的alf滤波器系数集信令通知非线性alf裁剪参数。
[0450]
上面描述的示例可以被并入可以在视频解码器和/或视频编码器处实施的下面描述的方法(例如，方法1110、1120、1130、1140、1150和1160)的上下文中。
[0451]
图11a示出了用于视频处理的示例性方法的流程图。方法1110包括，在操作1112，对视频的当前视频块执行滤波过程，其中该滤波过程使用滤波器系数并且包括具有至少一个中间结果的两个或更多个操作。
[0452]
方法1110包括，在操作1114，对至少一个中间结果应用裁剪操作。
[0453]
方法1110包括，在操作1116，基于至少一个中间结果来执行当前视频块和视频的比特流表示之间的转换。在一些实施例中，至少一个中间结果基于滤波器系数和当前视频块的当前样点与当前样点的临近样点之间的差的加权和。
[0454]
图11b示出了用于视频处理的示例性方法的流程图。方法1120包括，在操作1122，将视频的当前视频块编码为视频的比特流表示，其中，当前视频块是用自适应环路滤波器(alf)编解码的。
[0455]
方法1120包括，在操作1124，基于一个或多个时域自适应滤波器集合的可用性或使用，在比特流表示中选择性地包括一个或多个时域自适应滤波器集合内的时域自适应滤波器集合的指示。
[0456]
图11c示出了用于视频处理的示例性方法的流程图。方法1130包括，在操作1132，基于视频的比特流表示中的时域自适应滤波器集合的指示来确定一个或多个时域自适应滤波器集合的可用性或使用，其中该一个或多个时域自适应滤波器集合包括适用于用自适应环路滤波器(alf)编解码的视频的当前视频块的时域自适应滤波器集合。
[0457]
方法1130包括，在操作1134，通过基于该确定来选择性地应用时域自适应滤波器集合，从比特流表示生成解码的当前视频块。
[0458]
图11d示出了用于视频处理的示例性方法的流程图。方法1140包括，在操作1142，基于可用的时域自适应环路滤波(alf)系数集，为用自适应环路滤波器编解码的当前视频块确定多个时域alf系数集，其中，可用的时域alf系数集已经在该确定之前被编码或解码，并且其中，多个alf系数集用于包括当前视频块的片组、片、条带、图片、编解码树块(ctb)或视频单元。
[0459]
方法1140包括，在操作1144，基于多个时域alf系数集，执行当前视频块和当前视频块的比特流表示之间的转换。
[0460]
图11e示出了用于视频处理的示例性方法的流程图。方法1150包括，在操作1152，为视频的当前视频块和视频的比特流表示之间的转换确定视频的视频区域的头中的自适应环路滤波(alf)的指示等于与比特流表示相关联的自适应参数集(aps)网络抽象层(nal)单元中的alf的指示。
[0461]
方法1150包括，在操作1154，执行转换。
[0462]
图11f示出了用于视频处理的示例性方法的流程图。方法1160包括，在操作1162，基于视频的视频区域使用的自适应环路滤波器的类型，对视频的当前视频块和视频的比特流表示之间的转换选择性地启用非线性自适应环路滤波(alf)操作。
[0463]
方法1160包括，在操作1164，在该选择性地启用之后执行转换。
[0464]
10所公开的技术的示例实施方式
[0465]
10.1实施例#1
[0466]
假设分别为亮度和色度维护一个alf系数集列表，并且这两个列表的尺寸分别为lumaalfsetsize和chromaalfsetsize。alf系数集列表的最大尺寸分别为lumaalfsetmax(例如，lumaalfsetmax等于5)和chromaalfsetmax(例如，chromaalfsetmax等于5)。
[0467]
新添加的部分以双粗体花括号括起来，即{{a}}表示“a”被添加，并且删除的部分以双方括号括起来，即[[a]]表示“a”被删除。
[0468]
7.3.3.2自适应环路滤波器数据语法
[0469]
[0470][0471]
7.3.4.2编解码树单元语法
[0472]
[0473][0474]
等于1的alf_signal_new_filter_luma指定新的亮度滤波器集被信令通知。等于0的alf_signal_new_filter_luma指定新的亮度滤波器集不被信令通知。当不存在时，它为0。
[0475]
等于1的alf_luma_use_fixed_filter_flag指定固定的滤波器集用于信令通知自适应环路滤波器。等于0的alf_luma_use_fixed_filter_flag指定固定的滤波器集不用于信令通知自适应环路滤波器。
[0476]
alf_num_available_temporal_filter_sets_luma指定可以用于当前条带的可用时域滤波器集的数量，它可以来自0..[[5]]{{lumaalfsetsize}}。当不存在时，它为0。
[0477]
{{约束alf_signal_new_filter_luma或alf_luma_use_fixed_filter_flag在alf_num_available_temporal_filter_sets_luma等于零时必须等于1。}}
[0478]
等于1的alf_signal_new_filter_chroma指定新的色度滤波器被信令通知。等于0的alf_signal_new_filter_chroma指定新的色度滤波器不被信令通知。
[0479]
{{约束alf_signal_new_filter_chroma在chromaalfsetsize等于0时必须等于1。}}
[0480]
10.2实施例#2
[0481]
假设分别为亮度和色度维护一个alf系数集列表，并且这两个列表的尺寸分别为lumaalfsetsize和chromaalfsetsize。alf系数集列表的最大尺寸分别为lumaalfsetmax(例如，lumaalfsetmax等于5)和chromaalfsetmax(例如，chromaalfsetmax等于5)。
[0482]
新添加的部分以双粗体花括号括起来，即{{a}}表示“a”被添加，并且删除的部分以双方括号括起来，即[[a]]表示“a”被删除。
[0483]
7.3.3.2自适应环路滤波器数据语法
[0484]
[0485][0486]
7.3.4.2编解码树单元语法
[0487]
[0488][0489]
等于1的alf_signal_new_filter_luma指定新的亮度滤波器集被信令通知。等于0的alf_signal_new_filter_luma指定新的亮度滤波器集不被信令通知。当不存在时，它为0。
[0490]
等于1的alf_luma_use_fixed_filter_flag指定固定的滤波器集用于信令通知自适应环路滤波器。等于0的alf_luma_use_fixed_filter_flag指定固定的滤波器集不用于信令通知自适应环路滤波器。
[0491]
alf_num_available_temporal_filter_sets_luma指定可以用于当前条带的可用时域滤波器集的数量，它可以来自0..[[5]]{{lumaalfsetsize}}。当不存在时，它为0。
[0492]
{{约束alf_signal_new_filter_luma或alf_luma_use_fixed_filter_flag在alf_num_available_temporal_filter_sets_luma等于零时必须等于1。}}
[0493]
等于1的alf_signal_new_filter_chroma指定新的色度滤波器被信令通知。等于0的alf_signal_new_filter_chroma指定新的色度滤波器不被信令通知。
[0494]
{{约束alf_signal_new_filter_chroma在chromaalfsetsize等于0时必须等于1。}}
[0495]
在一些实施例中，可以实施以下技术解决方案：
[0496]
a1.一种用于视频处理的方法，包括：对视频的当前视频块执行滤波过程，其中该滤波过程使用滤波器系数并且包括具有至少一个中间结果的两个或更多个操作；对至少一个中间结果应用裁剪操作；以及基于至少一个中间结果来执行当前视频块和视频的比特流表示之间的转换，其中，至少一个中间结果基于滤波器系数和当前视频块的当前样点与当前样点的临近样点之间的差的加权和。
[0497]
a2.根据解决方案a1所述的方法，还包括针对当前样点将当前样点的临近样点分类为多个组，其中，利用不同的参数对多个组中的每个组中的中间结果应用裁剪操作。
[0498]
a3.根据解决方案a2所述的方法，其中，至少一个中间结果包括当前样点和多个组
中的每个组中的临近样点之间的差的加权平均值。
[0499]
a4.根据解决方案a1所述的方法，其中，当前视频块的样点的多个临近样点共享滤波器系数，并且其中，对多个临近样点中的每一个应用一次裁剪操作。
[0500]
a5.根据解决方案a4所述的方法，其中，多个临近样点中的至少两个临近样点的位置相对于当前视频块的样点对称。
[0501]
a6.根据解决方案a4或a5所述的方法，其中，与滤波过程相关联的滤波器形状为对称模式。
[0502]
a7.根据解决方案a4至a6中任一项所述的方法，其中，裁剪操作的一个或多个参数在比特流表示中信令通知。
[0503]
a8.根据解决方案a1所述的方法，其中，当前视频块的样点包括n个临近样点，其中，对n个临近样点中的m1个临近样点应用一次裁剪操作，其中，m1和n是正整数，并且m1≤n。
[0504]
a9.根据解决方案a1所述的方法，还包括针对当前视频块的样点将该样点的n个临近样点分类为m2个组，其中，对m2个组中的每一个应用一次裁剪操作，并且其中，m2和n是正整数。
[0505]
a10.根据解决方案a1所述的方法，其中，对与当前视频块相关联的亮度分量应用裁剪操作。
[0506]
a11.根据解决方案a1所述的方法，其中，对与当前视频块相关联的cb分量或cr分量应用裁剪操作。
[0507]
a12.根据解决方案a1至a11中任一项所述的方法，其中，裁剪操作被定义为k(min,max,input)，其中，input是裁剪操作的输入，min是裁剪操作的输出的标称最小值，并且max是裁剪操作的输出的标称最大值。
[0508]
a13.根据解决方案a12所述的方法，其中，裁剪操作的输出的实际最大值小于标称最大值，并且其中，裁剪操作的输出的实际最小值大于标称最小值。
[0509]
a14.根据解决方案a12所述的方法，其中，裁剪操作的输出的实际最大值等于标称最大值，并且其中，裁剪操作的输出的实际最小值大于标称最小值。
[0510]
a15.根据解决方案a12所述的方法，其中，裁剪操作的输出的实际最大值小于标称最大值，并且其中，裁剪操作的输出的实际最小值等于标称最小值。
[0511]
a16.根据解决方案a12所述的方法，其中，裁剪操作的输出的实际最大值等于标称最大值，并且其中，裁剪操作的输出的实际最小值等于标称最小值。
[0512]
a17.根据解决方案a1所述的方法，其中，滤波过程包括配置有多个自适应环路滤波(alf)滤波器系数集的alf过程。
[0513]
a18.根据解决方案a17所述的方法，其中，针对多个alf滤波器系数集中的一个或多个预定义用于裁剪操作的至少一个参数。
[0514]
a19.根据解决方案a17所述的方法，其中，用于裁剪操作的至少一个参数在包括当前视频块的片组、条带、图片或片的比特流表示中信令通知。
[0515]
a20.根据解决方案a19所述的方法，其中，仅为与当前视频块相关联的一个或多个色彩分量信令通知至少一个参数。
[0516]
a21.根据解决方案a17所述的方法，其中，多个alf滤波器系数集中的至少一个和
用于裁剪操作的一个或多个参数被存储在相同的存储器位置中，并且其中，多个alf滤波器系数集中的至少一个或者该一个或多个参数由包括当前视频块的编解码的编解码树单元(ctu)、编解码单元(cu)、片、片组、条带或图片继承。
[0517]
a22.根据解决方案a21所述的方法，其中，裁剪操作被配置为在确定时域alf系数集用于包括当前视频块的ctu、cu、片、片组、条带或图片的滤波过程时，使用对应于多个alf滤波器系数集中的时域alf系数集的一个或多个参数。
[0518]
a23.根据解决方案a22所述的方法，其中，对应于时域alf系数集的一个或多个参数仅用于与当前视频块相关联的一个或多个色彩分量。
[0519]
a24.根据解决方案a21所述的方法，其中，在确定时域alf系数集用于包括当前视频块的ctu、cu、片、片组、条带或图片的滤波过程时，对应于多个alf滤波器系数集中的时域alf系数集的一个或多个参数在比特流表示中信令通知。
[0520]
a25.根据解决方案a24所述的方法，其中，仅为与当前视频块相关联的一个或多个色彩分量信令通知对应于时域alf系数集的一个或多个参数。
[0521]
a26.根据解决方案a21所述的方法，其中，信令通知与当前视频块相关联的第一色彩分量的一个或多个参数的第一参数集合，并且其中，继承与当前视频块相关联的第二色彩分量的一个或多个参数的第二参数集合。
[0522]
a27.根据解决方案a1至a26中任一项所述的方法，其中，该转换从比特流表示生成当前视频块。
[0523]
a28.根据解决方案a1至a26中任一项所述的方法，其中，该转换从当前视频块生成比特流表示。
[0524]
a29.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中该指令在由处理器执行时使得处理器实施根据解决方案a1至a28中任一项所述的方法。
[0525]
a30.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行根据解决方案a1至a28中任一项所述的方法的程序代码。
[0526]
在一些实施例中，可以实施以下技术解决方案：
[0527]
b1.一种用于视频处理的方法，包括：将视频的当前视频块编码为视频的比特流表示，其中，当前视频块是用自适应环路滤波器(alf)编解码的；以及基于一个或多个时域自适应滤波器集合的可用性或使用，在比特流表示中选择性地包括一个或多个时域自适应滤波器集合内的时域自适应滤波器集合的指示。
[0528]
b2.根据解决方案b1所述的方法，其中，在时域自适应滤波器集合不可用的情况下，该集合的指示从比特流表示中排除。
[0529]
b3.根据解决方案b1或b2所述的方法，其中，在时域自适应滤波器集合不是不可用的情况下，该集合的指示被包括在比特流表示中。4.根据解决方案b1至3中任一项所述的方法，其中，在一个或多个时域自适应滤波器集合都不可用的情况下，该指示从比特流表示中排除。
[0530]
b5.根据解决方案b1至b3中任一项所述的方法，其中，在一个或多个时域自适应滤波器集合都不可用的情况下，使用固定滤波器的指示应当等于真。
[0531]
b6.根据解决方案b1至b3中任一项所述的方法，其中，在一个或多个时域自适应滤波器集合都不可用的情况下，使用时域自适应滤波器的指示应当等于假。
[0532]
b7.根据解决方案b1至b3中任一项所述的方法，其中，在一个或多个时域自适应滤波器集合都不可用的情况下，固定滤波器的索引的指示被包括在比特流表示中。
[0533]
b8.一种用于视频处理的方法，包括：基于视频的比特流表示中的时域自适应滤波器集合的指示来确定一个或多个时域自适应滤波器集合的可用性或使用，其中该一个或多个时域自适应滤波器集合包括适用于用自适应环路滤波器(alf)编解码的视频的当前视频块的时域自适应滤波器集合；以及通过基于该确定来选择性地应用时域自适应滤波器集合，从比特流表示生成解码的当前视频块。
[0534]
b9.根据解决方案b8所述的方法，其中，在时域自适应滤波器集合不可用的情况下，该生成在不应用时域自适应滤波器集合的情况下被执行。
[0535]
b10.根据解决方案b8或b9所述的方法，其中，在时域自适应滤波器集合不是不可用的情况下，执行该生成包括应用时域自适应滤波器集合。
[0536]
b11.根据解决方案b1至b10中任一项所述的方法，其中，一个或多个时域自适应滤波器集合被包括在自适应参数集(aps)中，并且其中，该指示是aps索引。
[0537]
b12.根据解决方案b1至b10中任一项所述的方法，还包括：基于不同方向上的梯度计算，确定一个或多个时域自适应滤波器集合中的至少一个时域自适应滤波器集合的滤波器索引。
[0538]
b13.根据解决方案b1至b11中任一项所述的方法，还包括：确定一个或多个时域自适应滤波器集合都不可用，并且新的alf系数集和固定的alf系数集不用于包括当前视频块的编解码树块(ctb)、块、片组、片、条带或图片；以及基于该确定来推断自适应环路滤波被禁用。
[0539]
b14.根据解决方案b1至b11中任一项所述的方法，其中，响应于一个或多个时域自适应滤波器集合中的至少一个不可用，比特流表示包括新的alf系数集的使用的第一指示和固定的alf系数集的使用的第二指示，并且其中，恰好第一指示和第二指示中的一个在比特流表示中为真。
[0540]
b15.根据解决方案b14所述的方法，其中，比特流表示符合与alf的操作相关联的格式规则。
[0541]
b16.根据解决方案b1至b11中任一项所述的方法，其中，响应于一个或多个时域自适应滤波器集合都不可用，比特流表示包括alf被启用并且新的alf系数集和固定的alf系数集不用于包括当前视频块的编解码树块(ctb)、块、片组、片、条带或图片的指示。
[0542]
b17.根据解决方案b16所述的方法，其中，比特流表示不符合与alf的操作相关联的格式规则。
[0543]
b18.根据解决方案b1至b17中任一项所述的方法，其中，alf被应用于与当前视频块相关联的一个或多个色彩分量。
[0544]
b19.一种用于视频处理的方法，包括：基于可用的时域自适应环路滤波(alf)系数集，为用自适应环路滤波器编解码的当前视频块确定多个时域alf系数集，其中，可用的时域alf系数集已经在该确定之前被编码或解码，并且其中，多个alf系数集用于包括当前视频块的片组、片、条带、图片、编解码树块(ctb)或视频单元；以及基于多个时域alf系数集，执行当前视频块和当前视频块的比特流表示之间的转换。
[0545]
b20.根据解决方案b19所述的方法，其中，多个时域alf系数集的最大数量被设置
为等于可用的时域alf系数集的数量。
[0546]
b21.根据解决方案b20所述的方法，其中，时域alf系数集的数量被设置为等于可用的时域alf系数集的数量和预定义数量n中的较小者，其中，n是整数，并且其中，n≥0。
[0547]
b22.根据解决方案b21所述的方法，其中，n＝5。
[0548]
b23.一种视频处理的方法，包括：作为视频的当前视频块和视频的比特流表示之间的转换的一部分，处理一个或多个新的自适应环路滤波(alf)系数集，其中，当前视频块是用自适应环路滤波器编解码的；以及在该处理之后，将一个或多个新的alf系数集指定为可用的alf系数集。
[0549]
b24.根据解决方案b23所述的方法，还包括：遇到帧内随机访问点(irap)访问单元、irap图片、瞬时解码刷新(idr)访问单元或idr图片；以及基于该遇到，将可用的alf系数集指定为不可用的alf系数集。
[0550]
b25.根据解决方案b23或b24所述的方法，其中，可用的alf系数集中的至少一个是当前视频块之后的视频块的时域alf系数集。
[0551]
b26.根据解决方案b23至b25中任一项所述的方法，其中，在最大尺寸为n的alf系数集列表中维护可用的alf系数集，其中，n是整数。
[0552]
b27.根据解决方案b26所述的方法，其中，alf系数集列表按先进先出(fifo)的顺序被维护。
[0553]
b28.根据解决方案b1至b27中任一项所述的方法，其中，为与当前视频块相关联的每个时域层维护一个alf系数集列表。
[0554]
b29.根据解决方案b1至b27中任一项所述的方法，其中，为与当前视频块相关联的k个临近时域层维护一个alf系数集列表。
[0555]
b30.根据解决方案b1至b27中任一项所述的方法，其中，为包括当前视频块的当前图片维护第一alf系数集列表，并且其中，为当前图片之后的图片维护第二alf系数集列表。
[0556]
b31.根据解决方案b30所述的方法，其中，当前图片之后的图片是基于当前图片预测的，并且其中，第一alf系数集列表与第二alf系数集列表相同。
[0557]
b32.根据解决方案b30所述的方法，其中，当前图片是基于当前图片之后的图片和当前图片之前的图片预测的，并且其中，第一alf系数集列表与第二alf系数集列表相同。
[0558]
b33.根据解决方案b23所述的方法，还包括：遇到帧内随机访问点(irap)访问单元、irap图片、瞬时解码刷新(idr)访问单元或idr图片；以及在该遇到之后，清空一个或多个alf系数集列表。
[0559]
b34.根据解决方案b23所述的方法，其中，为与当前视频块相关联的不同的色彩分量维护不同的alf系数集列表。
[0560]
b35.根据解决方案b34所述的方法，其中，不同的色彩分量包括亮度分量、cr分量和cb分量中的一个或多个。
[0561]
b36.根据解决方案b23所述的方法，其中，为多个图片、片组、片、条带或编解码树单元(ctu)维护一个alf系数集列表，并且其中，对于多个图片、片组、片、条带或编解码树单元(ctu)中的每一个，一个alf系数集列表中的索引是不同的。
[0562]
b37.根据解决方案b36所述的方法，其中，该索引为升序，并且基于与当前视频块相关联的第一时域层索引和与包括当前视频块的当前图片、片组、片、条带或编解码树单元
(ctu)相关联的第二时域层索引。
[0563]
b38.根据解决方案b36所述的方法，其中，该索引为升序，并且基于与当前视频块相关联的图片顺序计数(poc)和与包括当前视频块的当前图片、片组、片、条带或编解码树单元(ctu)相关联的第二poc。
[0564]
b39.根据解决方案b36所述的方法，其中，该索引包括分配给可用的alf系数集的最小索引。
[0565]
b40.根据解决方案b23所述的方法，其中，该转换包括裁剪操作，并且该方法还包括：针对当前视频块的样点，将样点的临近样点分类为多个组；以及将在比特流表示中信令通知的单个参数集合用于多个组中的每个组的裁剪操作。
[0566]
b41.根据解决方案b23所述的方法，其中，该转换包括裁剪操作，并且其中，针对一个或多个新的alf系数集预定义用于裁剪操作的参数集合。
[0567]
b42.根据解决方案b23所述的方法，其中，该转换包括裁剪操作，并且其中，用于裁剪操作的参数集合在一个或多个新的alf系数集的比特流表示中信令通知。
[0568]
b43.一种用于视频处理的方法，包括：为视频的当前视频块和视频的比特流表示之间的转换确定视频的视频区域的头中的自适应环路滤波(alf)的指示等于与比特流表示相关联的自适应参数集(aps)网络抽象层(nal)单元中的alf的指示；以及执行转换。
[0569]
b44.根据解决方案b43所述的方法，其中，视频区域是图片。
[0570]
b45.根据解决方案b43所述的方法，其中，视频区域是条带。
[0571]
b46.一种用于视频处理的方法，包括：基于视频的视频区域使用的自适应环路滤波器的类型，对视频的当前视频块和视频的比特流表示之间的转换选择性地启用非线性自适应环路滤波(alf)操作；以及在该选择性地启用之后执行转换。
[0572]
b47.根据解决方案b46所述的方法，其中，视频区域是编解码树单元(ctu)，并且其中，非线性alf操作在确定自适应环路滤波器的类型包括固定的alf集或时域alf集时被禁用。
[0573]
b48.根据解决方案b46所述的方法，其中，视频区域是条带、片组、片或编解码树单元(ctu)，并且其中，非线性alf操作在确定自适应环路滤波器的类型包括固定的alf集时被启用。
[0574]
b49.根据解决方案b46所述的方法，还包括：在比特流表示中选择性地信令通知用于非线性alf操作的一个或多个裁剪参数。
[0575]
b50.根据解决方案b49所述的方法，其中，一个或多个裁剪参数被信令通知。
[0576]
b51.根据解决方案b49所述的方法，其中，为在比特流表示中信令通知的alf滤波器系数集信令通知一个或多个裁剪参数。
[0577]
b52.根据解决方案b49所述的方法，其中，一个或多个裁剪参数在确定自适应环路滤波器的类型包括固定的alf集时被信令通知。
[0578]
b53.根据解决方案b19至b52中任一项所述的方法，其中，该转换从比特流表示生成当前视频块。
[0579]
b54.根据解决方案b19至b52中任一项所述的方法，其中，该转换从当前视频块生成比特流表示。
[0580]
b55.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其
中该指令在由处理器执行时使得处理器实施根据解决方案b1至b54中任一项所述的方法。
[0581]
b56.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行根据解决方案b1至b54中任一项所述的方法的程序代码。
[0582]
在一些实施例中，可以实施以下技术解决方案：
[0583]
c1.一种用于视频处理的方法，包括：对当前视频块执行滤波过程，其中该滤波过程包括具有至少一个中间结果的两个或更多个操作；对至少一个中间结果应用裁剪操作；以及基于滤波操作，执行当前视频块到当前视频块的比特流表示之间的转换。
[0584]
c2.根据解决方案c1所述的方法，还包括针对当前视频块的样点将样点的临近样点分类为多个组，其中，利用不同的参数对多个组中的每个组中的中间结果应用裁剪操作。
[0585]
c3.根据解决方案c2所述的方法，其中，至少一个中间结果包括当前样点和多个组中的每个组中的临近样点之间的差的加权平均值。
[0586]
c4.根据解决方案c2所述的方法，其中，滤波过程使用滤波器系数，并且其中，至少一个中间结果包括滤波器系数和当前样点与临近样点之间的差的加权和。
[0587]
c5.根据解决方案c1所述的方法，其中，当前视频块的样点的多个临近样点共享滤波器系数，并且其中，对多个临近样点中的每一个应用一次裁剪操作。
[0588]
c6.根据解决方案c5所述的方法，其中，与滤波操作相关联的滤波器形状为对称模式。
[0589]
c7.根据解决方案c5或c6所述的方法，其中，裁剪操作的一个或多个参数在比特流表示中信令通知。
[0590]
c8.根据解决方案c1至c7中任一项所述的方法，其中，裁剪操作被定义为k(min,max,input)，其中，input是裁剪操作的输入，min是裁剪操作的输出的标称最小值，并且max是裁剪操作的输出的标称最大值。
[0591]
c9.根据解决方案c8所述的方法，其中，裁剪操作的输出的实际最大值小于标称最大值，并且其中，裁剪操作的输出的实际最小值大于标称最小值。
[0592]
c10.根据解决方案c8所述的方法，其中，裁剪操作的输出的实际最大值等于标称最大值，并且其中，裁剪操作的输出的实际最小值大于标称最小值。
[0593]
c11.根据解决方案c8所述的方法，其中，裁剪操作的输出的实际最大值小于标称最大值，并且其中，裁剪操作的输出的实际最小值等于标称最小值。
[0594]
c12.根据解决方案c8所述的方法，其中，裁剪操作的输出的实际最大值等于标称最大值，并且其中，裁剪操作的输出的实际最小值等于标称最小值。
[0595]
c13.一种用于视频处理的方法，包括，基于时域自适应环路滤波系数集的不可用性，执行当前视频块和当前视频块的比特流表示之间的转换，使得比特流表示省略时域自适应环路滤波系数集的指示。
[0596]
c14.根据解决方案c13所述的方法，还包括：确定新的自适应环路滤波(alf)系数和固定的alf系数不用于包括当前视频块的编解码树块(ctb)、块、片组、片、条带或图片；以及推断自适应环路滤波被禁用。
[0597]
c15.根据解决方案c13所述的方法，其中，一致性比特流包括新的自适应环路滤波(alf)系数的指示或固定的alf系数的指示。
[0598]
c16.一种用于视频处理的方法，包括：基于可用的时域自适应环路滤波(alf)系数
集，为当前视频块确定一个或多个时域alf系数集，其中，可用的时域alf系数集已经在该确定之前被编码或解码；以及基于一个或多个时域alf系数集，执行当前视频块和当前视频块的比特流表示之间的转换。
[0599]
c17.根据解决方案c16所述的方法，其中，一个或多个时域alf系数集的最大数量为alf
available
。
[0600]
c18.根据解决方案c17所述的方法，其中，一个或多个时域alf系数集的数量为min(n,alf
available
)，其中，n是整数，并且其中，n≥0。
[0601]
c19.根据解决方案c18所述的方法，其中，n＝5。
[0602]
c20.一种视频处理的方法，包括：为当前视频块处理一个或多个新的自适应环路滤波(alf)系数集；在该处理之后，将一个或多个新的alf系数集指定为可用的alf系数集；以及基于可用的alf系数集，执行当前视频块和当前视频块的比特流表示之间的转换。
[0603]
c21.根据解决方案c20所述的方法，还包括：遇到帧内随机访问点(irap)访问单元、irap图片、瞬时解码刷新(idr)访问单元或idr图片；以及将可用的alf系数集指定为不可用的alf系数集。
[0604]
c22.根据解决方案c20或c21所述的方法，其中，可用的alf系数集是当前视频块之后的视频块的时域alf系数集。
[0605]
c23.根据解决方案c20至c22中任一项所述的方法，其中，在最大尺寸为n的alf系数集列表中维护可用的alf系数集，其中，n是整数。
[0606]
c24.根据解决方案c23所述的方法，其中，alf系数集列表按先进先出(fifo)的顺序被维护。
[0607]
c25.根据解决方案c13至c24中任一项所述的方法，其中，为与当前视频块相关联的每个时域层维护一个alf系数集列表。
[0608]
c26.根据解决方案c13至c24中任一项所述的方法，其中，为与当前视频块相关联的k个临近时域层维护一个alf系数集列表。
[0609]
c27.根据解决方案c13至c24中任一项所述的方法，其中，为包括当前视频块的当前图片维护第一alf系数集列表，并且其中，为当前图片之后的图片维护第二alf系数集列表。
[0610]
c28.根据解决方案c27所述的方法，其中，当前图片之后的图片是基于当前图片预测的，并且其中，第一alf系数集列表与第二alf系数集列表相同。
[0611]
c29.根据解决方案c20所述的方法，还包括：遇到帧内随机访问点(irap)访问单元、irap图片、瞬时解码刷新(idr)访问单元或idr图片；以及在该遇到之后，清空一个或多个alf系数集列表。
[0612]
c30.根据解决方案c20所述的方法，其中，为当前视频块的不同的色彩分量维护不同的alf系数集列表。
[0613]
c31.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中该指令在由处理器执行时使得处理器实施根据解决方案c1至c30中任一项所述的方法。
[0614]
c32.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行根据解决方案c1至c30中任一项所述的方法的程序代码。
[0615]
图12是视频处理装置1200的框图。装置1200可以用于实施本文描述的一种或多种
attachment，串行高级技术附件)、pci、ide接口等。本文档中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型电脑、智能电话、或能够执行数字数据处理和/或视频显示的其他设备。
[0622]
从前面可以理解，为了说明的目的，本文已经描述了当前公开的技术的特定实施例，但是在不脱离本发明的范围的情况下，可以进行各种修改。因此，当前公开的技术不受除了所附权利要求之外的限制。
[0623]
本专利文档中描述的主题和功能操作的实施方式可以在各种系统、数字电子电路中被实施，或者在计算机软件、固件或硬件(包括本说明书中公开的结构及其结构等同物)中被实施，或者在它们中的一个或多个的组合中被实施。本说明书中描述的主题的实施方式可以被实施为一个或多个计算机程序产品，即编解码在有形和非暂时性计算机可读介质上的计算机程序指令的一个或多个模块，该计算机程序指令用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”包含用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。
[0624]
计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写，并且其可以以任何形式部署，包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，存储在专用于所讨论的程序的单个文件中，或存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署以在一个计算机上或在位于一个站点上或跨多个站点分布并通过通信网络互连的多个计算机上执行。
[0625]
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行，并且装置也可以被实施为专用逻辑电路，例如，fpga(field programmable gate array，现场可编程门阵列)或asic(application specific integrated circuit，专用集成电路)。
[0626]
适合于执行计算机程序的处理器包括例如通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或可操作地耦合以从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传递数据、或者从其接收数据并向其传递数据。然而，计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如eprom、eeprom和闪存设备。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
[0627]
虽然本专利文档包含许多细节，但这些细节不应被解释为对任何发明或可能要求保护的范围的限制，而是作为特定于特定发明的特定实施例的特征的描述。在本专利文档中在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合实施。此外，尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。
[0628]
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为需要以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离。
[0629]
仅描述了一些实施方式和示例，并且可以基于本专利文档中描述和示出的内容来进行其他实施方式、增强和变化。