基于历史的运动矢量预测的制作方法

基于历史的运动矢量预测
1.相关申请的交叉引用
2.根据适用的专利法和/或巴黎公约的规定，提出本技术是为了及时要求2019年3月27日提交的国际专利申请no.pct/cn2019/079826的优先权和利益。通过引用将国际专利申请no.pct/cn2019/079826的全部公开内容并入作为本技术的公开内容的一部分。
技术领域
3.该专利文件涉及视频编解码技术，装置和系统。


背景技术：

4.尽管视频压缩取得了进步，但是数字视频仍占互联网和其他数字通信网络上使用的最大带宽。随着能够接收和显示视频的连接用户设备的数量增加，预计对数字视频使用的带宽需求将继续增长。


技术实现要素：

5.描述了与数字视频编解码和解码有关的，具体地与使用基于历史的运动矢量预测量(hmvp)有关的装置，系统和方法。所述的方法可以应用于现有的视频编解码标准(例如，高效视频编解码(hevc))和未来的视频编解码标准或视频编解码器。
6.在一个代表性方面，公开了一种视频处理的方法。该方法包括在视频区域和视频区域的比特流表示之间的转换期间，从多个存储的mvp表初始化运动矢量预测量(mvp)表。多个mvp的每一个包括先前在转换期间考虑的运动信息。使用从多个存储的mvp表选择的mvp表执行转换。
7.在另一个示例性方面，公开了另一种视频处理的方法。该方法包括在视频区域和视频区域的比特流表示之间的转换期间，从一个或多个存储的mvp表初始化运动矢量预测量(mvp)表的一个或多个条目，其中每个mvp表包括先前在转换期间考虑的运动信息，指示运动信息的标志从先前的mvp表继承或作为新运动信息加入当前区域中；以及使用从多个存储的mvp表选择的mvp表执行转换。
8.在另一个示例性方面，公开了另一种视频处理的方法。该方法包括对于视频的第一区域和第一区域的比特流表示之间的转换，基于存储的多个hmvp表中的至少一个初始化与第一区域关联的第一历史运动矢量预测量(hmvp)表，多个hmvp表用于存储与在第一区域之前编解码的区域关联的运动信息；以及通过使用包括至少一个运动候选的初始化的第一hmvp表来执行转换。
9.在另一个示例性方面，公开了另一种视频处理的方法。该方法包括对于视频的第一区域和第一区域的比特流表示之间的转换，基于与其他区域关联的多个hmvp表生成与第一区域关联的新历史运动矢量预测量(hmvp)表，多个hmvp表用于存储与在第一区域之前编解码的其他区域关联的运动信息；以及通过使用包括至少一个运动候选的生成的新hmvp表来执行转换。
10.在又一个代表性方面，上述方法以处理器可执行代码的形式体现并存储在计算机可读程序介质中。
11.在又一个代表性方面，公开了一种配置成或可操作以执行上述方法的装置。该装置可以包括编程为实施该方法的处理器。
12.在又一个代表性方面，视频解码器装置可以实施如本文所述的方法。
13.在附图，说明书和权利要求书中更详细地描述了公开技术的上述和其他方面以及特征。
附图说明
14.图1示出了构造merge候选列表的示例。
15.图2示出了空域候选的位置的示例。
16.图3示出受到空间merge候选的冗余校验的候选对的示例。
17.图4a和4b示出基于当前块的尺寸和形状的第二预测单元(pu)的位置的示例。
18.图5示出了用于时域merge候选的运动矢量缩放的示例。
19.图6示出了用于时域merge候选的候选位置的示例。
20.图7示出了生成组合的双向预测merge候选的示例。
21.图8示出了构造运动矢量预测候选的示例。
22.图9示出了用于空域运动矢量候选的运动矢量缩放的示例。
23.图10a
‑
10b示出了将cu划分为两个三角预测单元(两个划分模式)的图示。
24.图11示出了相邻块的示例位置。
25.图12示出了用于tpm标志编解码中的上下文选择的相邻块(a和l)的示例。
26.图13a示出了4参数仿射模型的示例。
27.图13b示出了6参数仿射模型的示例。
28.图14示出了每个子块的仿射mvf的示例。
29.图15a和15b分别示出了简化4参数仿射模型和简化6参数仿射模型的示例。
30.图16示出了用于继承仿射候选的af_inter的运动矢量预测的示例。
31.图17示出了用于构造仿射候选的af_inter的运动矢量预测的示例。
32.图18a和18b示出了af_merge仿射运动模式的示例候选。
33.图19示出了仿射merge模式的候选位置的示例。
34.图20示出了帧内图片块复制的示例。
35.图21示出了仿射merge模式的示例候选位置。
36.图22示出了修改的merge列表构造过程。
37.图23示出了merge共享节点的示例。
38.图24示出了不允许的三叉树tt和二叉树bt分割的示例。
39.图25示出了如何可以从相邻运动信息构造新运动信息的示例。
40.图26示出了如何可以从相邻运动信息构造运动信息的示例。
41.图27示出了用于视频处理的又一示例方法的流程图。
42.图28是用于实现本文件中描述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。
43.图29示出了用于视频处理的又一示例方法的流程图。
44.图30示出了用于视频处理的又一示例方法的流程图。
具体实施方式
45.本文件涉及数字视频编解码和解码。在本文件中使用小节标题仅是为了便于理解，而不以任何方式限制所公开的实施例的范围。此外，尽管来自h.266标准的当前工作草案的术语用作参考，但是所公开的技术同样适用于其他视频编解码器技术。
46.1.概述
47.由于对高分辨率视频的需求不断增长，视频编解码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且会不断进行改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换为压缩格式，反之亦然。视频质量，用于表示视频的数据量(由比特率确定)，编码和解码算法的复杂性，对数据丢失和错误的敏感性，易于编辑，随机访问以及端到端延迟(延迟)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如，高效视频编解码(hevc)标准(也称为h.265或mpeg
‑
h part 2)，待完成的通用视频编解码标准，或其他当前的和/或未来的视频编解码标准。
48.2.初步讨论
49.视频编解码标准主要是通过开发著名的itu
‑
t和iso/iec标准而发展起来的。itu
‑
t制作了h.261和h.263，iso/iec制作了mpeg
‑
1和mpeg
‑
4visual，这两个组织共同制作了h.262/mpeg
‑
2视频和h.264/mpeg
‑
4高级视频编解码(avc)和h.265/hevc标准。从h.262开始，视频编解码标准基于混合视频编解码结构，其中利用了时域预测和变换编解码。为了探索hevc以外的未来视频编解码技术，vceg和mpeg于2015年联合成立了联合视频探索团队(jvet)。此后，jvet采纳了许多新方法并将其引入到名为“联合探索模型”(jem)的参考软件中。2018年4月，vceg(q6/16)与iso/iec jtc1 sc29/wg11(mpeg)之间的联合视频专家团队(jvet)成立以致力于vvc标准，与hevc相比，其比特率降低50％。
50.公开技术的实施例可以应用于现有视频编解码标准(例如，hevc，h.265)和未来标准以改善压缩性能。在本文件中使用小节标题来提高描述的可读性，并且不以任何方式将讨论或实施例(和/或实施方式)仅限于相应的小节。
51.2.1hevc/h.265中的帧间预测
52.每个帧间预测的pu具有用于一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。两个参考图片列表之一的使用也可以使用inter_pred_idc来信令通知。运动矢量可以显式地编解码为相对于预测量的增量。
53.当cu以跳过模式编解码时，一个pu与cu关联，并且不存在显著残差系数，编解码运动矢量增量或参考图片索引。指定merge模式，由此从包括空域和时域候选的相邻pu获得当前pu的运动参数。merge模式可以应用于任何帧间预测的pu，不仅用于跳过模式。merge模式的替代是运动参数的显式传输，其中运动矢量(更准确地说，与运动矢量预测量相比的运动矢量差(mvd))，每个参考图片列表的对应参考图片索引以及参考图片列表使用针对每个pu显式地信令通知。在本公开中这样的模式称为高级运动矢量预测(amvp)。
54.当信令指示将使用两个参考图片列表中的一个时，从一个样点块产生pu。这称为
‘
单向预测’。单向预测可用于p条带和b条带两者。
55.当信令指示将使用两个参考图片列表时，pu由两个样点块产生。这称为
‘
双向预测’。双向预测仅可用于b条带。
56.以下文字提供了hevc中指定的帧间预测模式的详细介绍。描述将从merge模式开始。
57.2.1.1参考图片列表
58.在hevc中，术语帧间预测用于表示从当前解码图片以外的参考图片的数据元素(例如，样点值或运动矢量)推导的预测。像在h.264/avc中一样，可以从多个参考图片预测图片。用于帧间预测的参考图片被组织在一个或多个参考图片列表中。参考索引标识应使用列表中的哪些参考图片来产生预测信号。
59.单个参考图片列表列表(列表0)用于p条带，两个参考图片列表(列表0和列表1)用于b条带。应当注意，就捕获/显示顺序而言，列表0/1中包括的参考图片可以来自过去和将来的图片。
60.2.1.2merge模式
61.2.1.2.1merge模式的候选的推导
62.当使用merge模式预测pu时，指向merge候选列表中的条目的索引从比特流解析并用于检索运动信息。该列表的构造在hevc标准中指定并且可以根据以下步骤序列进行总结：
63.·
步骤1：初始候选推导
64.ο步骤1.1：空域候选推导
65.ο步骤1.2：空域候选的冗余校验
66.ο步骤1.3：时域候选推导
67.·
步骤2：附加候选插入
68.ο步骤2.1：创建双向预测候选
69.ο步骤2.2：插入零运动候选
70.在图1中也示意性地描绘了这些步骤。对于空域merge候选推导，在位于五个不同位置的候选中最多选择四个merge候选。对于时域merge候选推导，在两个候选中最多选择一个merge候选。由于在解码器处假定每个pu的候选数量恒定，因此当从步骤1获得的候选数量未达到条带标头中信令通知的最大merge候选数量(maxnummergecand)时会生成附加候选。由于候选的数量是恒定的，因此最佳merge候选的索引使用截断一元二值化(tu)进行编解码。如果cu的尺寸等于8，则当前cu的所有pu共享单个merge候选列表，其与2n
×
2n预测单元的merge候选列表相同。
71.在下面，详细描述与前述步骤相关的操作。
72.2.1.2.2.空域候选推导
73.在空域merge候选的推导中，在位于图2中所示的位置的候选中最多选择四个merge候选。推导顺序为a1、b1、b0、a0和b2。仅当位置a1、b1、b0、a0的任何pu不可用(例如，由于其属于另一条带或片)或未进行帧内编解码时才考虑位置b2。在加入位置a1处的候选之后，对其余候选的加入进行冗余校验以确保将具有相同运动信息的候选从列表排除，从而提高编解码效率。为了降低计算复杂度，在提到的冗余校验中并未考虑所有可能的候选对。而是仅考虑在图3中用箭头链接的对，并且仅在用于冗余校验的对应候选不具有相同运动信息
时才将候选加入列表。
74.2.1.2.2.1merge估计区域(mer)
75.重复运动信息的另一来源是与不同于2n
×
2n的分区关联的“第二pu”。作为示例，图4分别描绘了在n
×
2n和2n
×
n的情况下的第二pu。当当前pu被分割为n
×
2n时，不考虑位置a1处的候选用于列表构造。实际上，通过加入该候选将导致具有相同运动信息的两个预测单元，这对于在编解码单元中仅具有一个pu是冗余的。类似地，当当前pu被分割为2n
×
n时，不考虑位置b1。
76.图4示出了n
×
2n和2n
×
n分区的第二pu的示例位置。
77.2.1.2.3时域候选推导
78.在该步骤中，仅将一个候选加入列表。特别地，在该时域merge候选的推导中，基于属于与给定参考图片列表内的当前图片具有最小图片序数(poc)差的图片的共位pu来推导缩放运动矢量。在条带标头中显式地信令通知要用于推导共位pu的参考图片列表。如图5中的虚线所示，获得用于时域merge候选的缩放运动矢量，其使用poc距离tb和td从位于共位pu的运动矢量缩放，其中tb被定义为当前图片的参考图片和当前图片之间的poc差，并且td被定义为共位图片的参考图片和共位图片之间的poc差。将时域merge候选的参考图片索引设置为等于零。在hevc规范中描述了缩放过程的实际实现。对于b条带，获得两个运动矢量，一个运动矢量用于参考图片列表0并且另一运动矢量用于参考图片列表1，并将其组合以产生双向预测merge候选。
79.在属于参考帧的共位pu(y)中，在候选c0和c1之间选择时域候选的位置，如图6中所示。如果位置c0处的pu不可用，未进行帧内编解码或在当前编解码树单元(ctu，又称lcu，最大编解码单元)行的外部，则使用位置c1。否则，在时域merge候选的推导中使用位置c0。
80.图6示出了用于时域merge候选c0和c1的示例候选位置。
81.2.1.2.4附加候选插入
82.除了空域和时域merge候选外，还有两种附加类型的merge候选：组合双向预测merge候选和零merge候选。通过利用空域和时域merge候选来生成组合双向预测merge候选。组合双向预测merge候选仅用于b条带。通过将初始候选的第一参考图片列表运动参数与另一个候选的第二参考图片列表运动参数组合来生成组合双向预测候选。如果这两个元组提供不同的运动假设，则它们将形成新的双向预测候选。例如，图7描绘了原始列表(左侧)中具有mvl0和refidxl0或mvl1和refidxl1的两个候选用于产生加入最终列表(右侧)的组合双向预测merge候选的情况。关于组合有许多规则，这些规则被认为可以生成这些附加的merge候选。
83.插入零运动候选以填充merge候选列表中的其余条目并因此达到ma*nummergecand容量。这些候选具有零空间位移和参考图片索引，所述参考图片索引从零开始并且每当新的零运动候选加入列表时会增加。
84.更具体地，依次执行以下步骤，直到merge列表已满：
85.将变量numref设置为与用于p条带的列表0关联的参考图片的数量，或用于b条带的两个列表中的最小参考图片的数量；
86.加入非重复的零运动候选：
87.对于变量i为0
…
numref
‑
1，加入默认运动候选，其中mv设置为(0，0)并且针对列表
0(如果p条带)或两个列表(如果b条带)参考图片索引设置为i。
88.加入重复零运动候选，其中mv设置为(0，0)，列表0的参考图片索引设置为0(如果p条带)并且两个列表的参考图片索引设置为0(如果b条带)。
89.最后，不对这些候选执行冗余校验。
90.2.1.3amvp
91.amvp利用运动矢量与相邻pu的空时相关性，其用于运动参数的显式传输。对于每个参考图片列表，通过首先校验左上时域相邻pu位置的可用性，去除冗余候选并加入零矢量以使候选列表为恒定长度，从而构造运动矢量候选列表。然后，编码器可以从候选列表选择最佳预测量并传输指示所选候选的相应索引。与merge索引信令类似，最佳运动矢量候选的索引使用截断一元码进行编码。在该情况下待编码的最大值是2(图8)。在以下小节中，提供了关于运动矢量预测候选的推导过程的细节。
92.2.1.3.1amvp候选的推导
93.图8总结了运动矢量预测候选的推导过程。
94.在运动矢量预测中，考虑了两种类型的运动矢量候选：空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选推导，最终基于位于如图2中所示的五个不同位置的每个pu的运动矢量推导两个运动矢量候选。
95.对于时域运动矢量候选推导，从基于两个不同的共位位置推导的两个候选中选择一个运动矢量候选。在制作空时候选的第1列表之后，去除该列表中的重复运动矢量候选。如果潜在候选的数量大于二，则从列表去除其相关参考图片列表内的参考图片索引大于1的运动矢量候选。如果空时运动矢量候选的数量小于二，则将附加的零运动矢量候选加入列表。
96.2.1.3.2空域运动矢量候选
97.在空域运动矢量候选的推导中，在位于如图2中所示的位置的pu推导的五个潜在候选中考虑最多两个候选，那些位置与运动merge的位置相同。当前pu的左侧的推导顺序被定义为a0、a1以及缩放a0、缩放a1。当前pu的上侧的推导顺序被定义为b0、b1、b2、缩放b0、缩放b1、缩放b2。对于每一侧，因此存在可以用作运动矢量候选的四种情况，其中两种情况不需要使用空域缩放，而两种情况则使用空域缩放。四种不同的情况总结如下。
98.·
无空域缩放
99.–
(1)相同参考图片列表和相同参考图片索引(相同poc)
100.–
(2)不同参考图片列表，但相同参考图片(相同poc)
101.·
空域缩放
102.–
(3)相同参考图片列表，但不同参考图片(不同poc)
103.–
(4)不同参考图片列表和不同参考图片(不同poc)
104.首先校验无空域缩放的情况，然后校验空域缩放。当相邻pu的参考图片和当前pu的参考图片之间的poc不同时，不管参考图片列表如何，都考虑空域缩放。如果左候选的所有pu都不可用或未被帧内编解码，则允许对以上运动矢量进行缩放以帮助并行推导左和上mv候选。否则，不允许对以上运动矢量进行空域缩放。
105.图9是用于空域运动矢量候选的运动矢量缩放的图示。
106.在空域缩放过程中，以与时域缩放类似的方式缩放相邻pu的运动矢量，如图9中所
示。主要区别在于给出了当前pu的参考图片列表和索引作为输入；实际缩放过程与时域缩放过程相同。
107.2.1.3.3时域运动矢量候选
108.除了参考图片索引推导之外，用于推导时域merge候选的所有过程与推导空域运动矢量候选的过程相同(参见图6)。向解码器信令通知参考图片索引。
109.2.2vvc中的帧间预测方法
110.有几种用于帧间预测改进的新编解码工具，例如用于信令通知mvd的自适应运动矢量差分辨率(amvr)，用于仿射块和平移运动块，仿射预测模式，三角预测模式(tpm)，替代tmvp(atmvp)，广义双向预测(gbi)，双向光流(bio)，帧内块复制(ibc)等。
111.2.2.1自适应运动矢量差分辨率
112.在hevc中，当条带标头中的use_integer_mv_flag等于0时，以四分之一亮度样点为单位信令通知运动矢量差(mvd)(在pu的运动矢量和预测运动矢量之间)。在vvc中，引入了局部自适应运动矢量分辨率(lamvr)。
113.2.2.1.1用于平移运动块的amvr
114.在vvc中，可以以四分之一亮度样点，整数亮度样点或四亮度样点(即1/4像素，1像素，4像素)为单位对mvd进行编解码。mvd分辨率被控制在编解码单位(cu)级别，并且对具有至少一个非零mvd分量的每个cu有条件地信令通知mvd分辨率标志。
115.对于具有至少一个非零mvd分量的cu，信令通知第一标志以指示在cu中是否使用四分之一亮度样点mv精度。当第一标志(等于1)指示未使用四分之一亮度样点mv精度时，信令通知另一标志以指示是使用整数亮度样点mv精度还是使用四亮度样点mv精度。
116.当cu的第一mvd分辨率标志为零或未针对cu编解码(意味着cu中的所有mvd都为零)时，四分之一亮度样点mv分辨率用于cu。当cu使用整数亮度样点mv精度或四亮度样点mv精度时，用于cu的amvp候选列表中的mvp取整到相应的精度。
117.2.2.1.2用于仿射运动块的amvr
118.类似于平移运动块的设计(又名普通amvr模式)，amvr模式扩展到仿射编解码块(又名仿射amvr模式)。
119.对于仿射amvr模式，支持三种mv/mvd分辨率，即{1/16，1/4，1}像素。
120.2.2.2三角预测模式
121.三角预测模式(tpm)的概念是引入用于运动补偿预测的新三角分区。如图10中所示，其将cu在对角方向或反对角方向分划成两个三角预测单元。cu中的每个三角预测单元使用从单个单向预测候选列表推导的其自身的单向预测运动矢量和参考帧索引来帧间预测。在预测三角预测单元之后，对对角边缘执行自适应加权处理。然后，将变换和量化过程应用于整个cu。应当注意，该模式仅应用于merge模式(注意：跳过模式被视为特殊的merge模式)。
122.图10a示出了135度分区类型的示例(从左上角到右下角划分)的示例。
123.图10b示出了45度划分模式的示例。
124.图10a
‑
10b示出了将cu划分为两个三角预测单元(两个划分模式)的图示。
125.2.2.2.1用于tpm的单向预测候选列表
126.称为tpm运动候选列表的单向预测候选列表由五个单向预测运动矢量候选组成。
如图11中所示，其从包括五个空域相邻块(1至5)和两个时域共位块(6至7)的七个相邻块推导。按照单向预测运动矢量，双向预测运动矢量的l0运动矢量，双向预测运动矢量的l1运动矢量，和双向预测运动矢量的l0和l1运动矢量的平均运动矢量的顺序，收集七个相邻块的运动矢量并将其放入单向预测候选列表中。如果候选数量少于五，则将零运动矢量加入列表中。在用于tpm的该列表中加入的运动候选称为tpm候选，从空域/时域块推导的运动信息称为常规运动候选。
127.更具体地，涉及以下步骤：
128.1)当从空域相邻块加入常规运动候选时，用完全剪切操作从a1、b1、b0、a0、b2、col和col2(对应于图11中的块1
‑
7)获得常规运动候选。
129.2)设置变量numcurrmergecand＝0
130.3)对于从a1、b1、b0、a0、b2、col和col2推导的每个常规运动候选(如果未剪切)，并且numcurrmergecand小于5，如果常规运动候选是单向预测(来自列表0或列表1)，则将其作为tpm候选直接加入到merge列表，numcurrmergecand增加1。这样的tpm候选被称
‘
原始单向预测候选’。
131.应用完全剪切。
132.4)对于从a1、b1、b0、a0、b2、col和col2推导的每个运动候选(如果未剪切)，并且numcurrmergecand小于5，如果常规运动候选是双向预测，则将来自列表0的运动信息作为新tpm候选加入到tpm merge列表(即，修改为来自列表0的单向预测)并将numcurrmergecand增加1。这样的tpm候选称为
‘
截断列表0预测候选’。
133.应用完全剪切。
134.5)对于从a1、b1、b0、a0、b2、col和col2推导的每个运动候选(如果未剪切)，并且numcurrmergecand小于5，如果常规运动候选是双向预测，则将来自列表1的运动信息加入到tpm merge列表(即，修改为来自列表1的单向预测)并将numcurrmergecand增加1。这样的tpm候选称为
‘
截断列表1预测候选’。
135.应用完全剪切。
136.6)对于从a1、b1、b0、a0、b2、col和col2推导的每个运动候选(如果未剪切)，并且numcurrmergecand小于5，如果常规运动候选是双向预测，
137.–
如果列表0参考图片的条带qp小于列表1参考图片的条带qp，则首先将列表1的运动信息缩放到列表0参考图片，并且将两个mv的平均值(一个来自原始列表0，另一个是来自列表1的缩放mv)加入到tpm merge列表，这样的候选称为来自列表0运动候选的平均单向预测，并且将numcurrmergecand增加1。
138.–
否则，首先将列表0的运动信息缩放到列表1参考图片，并且将两个mv的平均值(一个来自原始列表1，另一个是来自列表0的缩放mv)加入到tpm merge列表，这样的tpm候选称为来自列表1运动候选的平均单向预测，并且将numcurrmergecand增加1。
139.应用完全剪切。
140.7)如果numcurrmergecand小于5，则加入零运动矢量候选。
141.图11示出了相邻块的示例位置。
142.当将候选插入列表时，如果必须将其与所有先前加入的候选进行比较以查看其是否与它们中的一个相同，则这样的过程称为完全剪切。
143.2.2.2.2加权过程
144.在预测每个三角预测单元之后，将以下加权过程应用于两个三角预测单元之间的对角边缘以推导整个cu的最终预测。加权因数组如下定义：
145.加权因数组：{7/8，6/8，5/8，4/8，3/8，2/8，1/8}和{6/8，4/8，2/8}分别用于亮度和色度样点。
146.应当注意混合区域取决于块的纵横比。对于正方形块，如上所述，加权像素的宽度对于亮度是7并且对于色度是3。对于矩形块，当宽度大于高度时，宽度将增加(w/h)的因数。在转到下一个因数之前，将每个因数重复(w/h)次。如果高度大于宽度，则宽度与正方形块中的宽度相同，而在向右移动一个像素位置之前它们会重复(h/w)行。
147.2.2.2.3三角预测模式(tpm)的信令
148.可以首先信令通知指示是否使用tpm的一位标志。之后，进一步信令通知两个划分模式的指示(如图10中所示)，以及针对两个分区的每个分区选择的merge索引。
149.2.2.2.3.1tpm标志的信令
150.让w和h分别表示一个亮度块的宽度和高度。如果w*h<64，则禁用三角预测模式。
151.当以仿射模式对一个块进行编解码时，也禁用三角预测模式。
152.当以merge模式对一个块进行编解码时，可以信令通知一位标志以指示该块是启用还是禁用三角预测模式。
153.基于以下方程，用3个上下文对标志进行编解码：
154.ctx index＝((左块l可用&&l用tpm编解码？)1:0)
155. ((上块a可用&&a用tpm编解码？)1:0)；
156.图12示出了用于tpm标志编解码中的上下文选择的相邻块(a和l)的示例。
157.2.2.3仿射运动补偿预测
158.在hevc中，仅将平移运动模型应用于运动补偿预测(mcp)。在现实世界中，有多种运动，例如放大/缩小，旋转，透视运动和其他不规则运动。在vvc中，简化仿射变换运动补偿预测应用于4参数仿射模型和6参数仿射模型。如图13a
‑
13b中所示，通过用于4参数仿射模型的两个控制点运动矢量(cpmv)和用于6参数仿射模型的3个cpmv来描述块的仿射运动场。
159.图13a示出了4参数仿射模型的示例。
160.图13b示出了6参数仿射模型的示例。
161.块的运动矢量场(mvf)由以下方程描述，其中方程(1)中的4参数仿射模型(其中4参数定义为变量a、b、e和f)和方程(2)中的6参数仿射模型(其中4参数定义为变量a、b、c、d、e和f)分别为：
[0162][0163][0164]
其中(mv
h0
,mv
h0
)是左上角控制点的运动矢量，(mv
h1
,mv
h1
)是右上角控制点的运动矢量并且(mv
h2
,mv
h2
)是左下角控制点的运动矢量，所有三个运动矢量称为控制点运动矢量
(cpmv)，(x,y)表示代表点相对于当前块内左上样点的坐标，并且(mv
h
(x,y)，mv
v
(x,y))是针对位于(x,y)处的样点推导的运动矢量。cp运动矢量可以被信令通知(例如在仿射amvp模式下)或被即时推导(例如在仿射merge模式下)。w和h是当前块的宽度和高度。在实践中，除法是通过取整操作右移来实现的。在vtm中，代表点定义为子块的中心位置，例如，当子块的左上角相对于当前块内左上角样点的坐标为(xs,ys)，代表点的坐标定义为(xs 2,ys 2)。对于每个子块(即，vtm中的4
×
4)，代表点用于推导整个子块的运动矢量。
[0165]
为了进一步简化运动补偿预测，应用基于子块的仿射变换预测。为了推导每个m
×
n(在当前vvc中m和n都设置为4)子块的运动矢量，如图14中所示，每个子块的中心样点的运动矢量根据方程(1)和(2)计算，并取整到1/16分数精度。然后应用用于1/16像素的运动补偿插值滤波器以用推导运动矢量生成每个子块的预测。由仿射模式引入用于1/16像素的插值滤波器。
[0166]
图14示出了每个子块的仿射mvf的示例。
[0167]
在mcp之后，对每个子块的高精度运动矢量进行取整并保存为与普通运动矢量相同的精度。
[0168]
2.2.3.1仿射预测的信令
[0169]
与平移运动模型相似，由于仿射预测，还存在用于信令通知辅助信息化的两个模式。它们是affine_inter和affine_merge模式。
[0170]
2.2.3.2af_inter模式
[0171]
对于宽度和高度都大于8的cu，可以应用af_inter模式。在比特流中信令通知cu级别的仿射标志以指示是否使用af_inter模式。
[0172]
在该模式下，对于每个参考图片列表(列表0或列表1)，仿射amvp候选列表按以下顺序构造有三种类型的仿射运动预测量，其中每个候选包括当前块的估计cpmv。信令通知在编码器侧找到的最佳cpmv(例如，图17中的mv0mv1mv2)和估计cpmv的差。另外，进一步信令通知从其推导估计cpmv的仿射amvp候选的索引。
[0173]
1)继承仿射运动预测量
[0174]
校验顺序类似于hevc amvp列表结构中的空域mvp。首先，从{a1，a0}中的第一块推导左继承仿射运动预测量，所述第一块进行仿射编解码并且具有与当前块相同的参考图片。其次，从{b1，b0，b2}中的第一块推导以上继承仿射运动预测量，所述第一块进行仿射编解码并且具有与当前块相同的参考图片。在图16中示出了五个块a1、a0、b1、b0、b2。
[0175]
一旦发现相邻块以仿射模式编解码，则覆盖相邻块的编解码单元的cpmv用于推导当前块的cpmv的预测量。例如，如果a1用非仿射模式编解码并且a0用4参数仿射模式编解码，则左继承仿射mv预测量将从a0推导。在该情况下，覆盖a0的cu的cpmv，由图18b中的用于左上cpmv的和用于右上cpmv的用于推导当前块的估计cpmv，由用于当前块的左上(坐标(x0,y0))，右上(坐标(x1,y1))和右下位置(坐标(x2,y2))的表示。
[0176]
2)构造仿射运动预测量
[0177]
构造仿射运动预测量由从具有相同参考图片的相邻帧间编解码块推导的控制点运动矢量(cpmv)组成，如图17中所示。如果当前仿射运动模型是4参数仿射，则cpmv的数量
为2，否则，如果当前仿射运动模型是6参数仿射，则cpmv的数量为3。通过组{a，b，c}中的第一块处的mv推导左上cpmv所述第一块进行帧间编解码并且具有与当前块相同的参考图片。通过组{d，e}中的第一块处的mv推导右上cpmv所述第一块进行帧间编解码并且具有与当前块相同的参考图片。通过组{f，g}中的第一块推导左下cpmv所述第一块进行帧间编解码并且具有与当前块相同的参考图片。
[0178]
–
如果当前仿射运动模型是4参数仿射，则只有找到和两者，即和用作当前块的左上(坐标为(x0,y0))，右上(坐标为(x1,y1))位置的估计cpmv时，才将构造仿射运动预测量插入候选列表中。
[0179]
–
如果当前仿射运动模型是6参数仿射，则只有全部找到和即和用作当前块的左上(坐标为(x0,y0))，右上(坐标为(x1,y1))和右下(坐标为(x2,y2))位置的估计cpmv时，才将构造仿射运动预测量插入候选列表中。
[0180]
当将构造仿射运动预测量插入候选列表中时不应用剪切过程。
[0181]
3)普通amvp运动预测量
[0182]
直到仿射运动预测量的数量达到最大值为止，以下适用。
[0183]
1)通过将所有cpmv设置为等于(如果可用)来推导仿射运动预测量。
[0184]
2)通过将所有cpmv设置为等于(如果可用)来推导仿射运动预测量。
[0185]
3)通过将所有cpmv设置为等于(如果可用)来推导仿射运动预测量。
[0186]
4)通过将所有cpmv设置为等于hevc tmvp(如果可用)来推导仿射运动预测量。
[0187]
5)通过将所有cpmv设置为零mv来推导仿射运动预测量。
[0188]
应当注意，已经在构造仿射运动预测量中被推导。
[0189]
图15a示出了4参数仿射模型。
[0190]
图15b示出了6参数仿射模型。
[0191]
图16示出了用于继承仿射候选的af_inter的mvp。
[0192]
图17示出了用于构造仿射候选的af_inter的mvp。
[0193]
在af_inter模式下，当使用4/6参数仿射模式时，需要2/3控制点，因此，需要针对这些控制点编解码2/3mvd，如图15中所示。建议如下推导mv，即，从mvd0预测mvd1和mvd2。
[0194][0195][0196][0197]
其中mvd
i
和mvd1分别是左上像素(i＝0)，右上像素(i＝1)或左下像素(i＝2)的预测运动矢量，运动矢量差和运动矢量，如图15b中所示。请注意，两个运动矢量(例如mva(xa,ya)和mvb(xb,yb))的相加分别等于两个分量的总和，即newmv＝mva mvb，而newmv的两个分量分别设置为(xa xb)和(ya yb)。
[0198]
2.2.3.3af_merge模式
[0199]
当在af_merge模式下应用cu时，其从有效相邻重建块获得以仿射模式编解码的第一块。并且候选块的选择顺序是从左，上，右上，左下到左上，如图18a中所示(依次由a、b、c、
d、e表示)。例如，如果相邻左下块在仿射模式下被编解码，如图18b中的a0所示，则获取包含块a的相邻cu/pu的左上角，右上角和左下角的控制点(cp)运动矢量mv
0n
，mv
1n
和mv
2n
。并且基于mv
0n
，mv
1n
和mv
2n
计算当前cu/pu上的左上角/右上/左下的运动矢量mv
0c
，mv
1c
和mv
2c
(仅用于6参数仿射模型)。应当注意在vtm
‑
2.0中，位于左上角的子块(例如vtm中的4
×
4块)存储mv0，如果当前块被仿射编解码，则位于右上角的子块存储mv1。如果当前块用6参数仿射模型进行编解码，则位于左下角的子块将存储mv2；否则(用4参数仿射模型)，lb存储mv2’。其他子块存储用于mc的mv。
[0200]
在推导当前cu的cpmv mv
0c
，mv
1c
和mv
2c
之后，根据简化仿射运动模型方程(1)和(2)，生成当前cu的mvf。为了识别当前cu是否用af_merge模式编解码，则当至少一个相邻块在仿射模式下编解码时，在比特流中信令通知仿射标志。
[0201]
图18a
‑
18b示出了用于af_merge的候选示例(18a
‑
五个相邻块，18b
‑
cpmv预测量推导)。
[0202]
通过以下步骤构造仿射merge候选列表：
[0203]
1)插入继承仿射候选
[0204]
继承仿射候选表示候选从其有效相邻仿射编解码块的仿射运动模型推导。最多两个继承仿射候选从相邻块的仿射运动模型推导并插入候选列表中。对于左预测量，扫描顺序为{a0，a1}；对于上预测量，扫描顺序为{b0，b1，b2}。
[0205]
2)插入构造仿射候选
[0206]
如果仿射merge候选列表中的候选数量小于maxnumaffinecand(例如5)，则将构造仿射候选插入候选列表中。构造仿射候选表示通过组合每个控制点的相邻运动信息来构造候选。
[0207]
a)首先从图19中所示的指定空间邻域和时间邻域推导控制点的运动信息。cpk(k＝1、2、3、4)表示第k个控制点。a0、a1、a2、b0、b1、b2和b3是用于预测cpk的空间位置(k＝1、2、3)；t是用于预测cp4的时间位置。cp1、cp2、cp3和cp4的坐标分别是(0，0)、(w，0)、(h，0)和(w，h)，其中w和h是当前块的宽度和高度。
[0208]
图19示出了用于仿射merge模式的候选位置的示例。
[0209]
根据以下优先级顺序获得每个控制点的运动信息：
[0210]
–
对于cp1，校验优先级为b2
‑
>b3
‑
>a2。如果可用，则使用b2。否则，如果b2可用，则使用b3。如果b2和b3都不可用，则使用a2。如果三个候选都不可用，则无法获得cp1的运动信息。
[0211]
–
对于cp2，校验优先级为b1
‑
>b0。
[0212]
–
对于cp3，校验优先级为a1
‑
>a0。
[0213]
–
对于cp4，使用t。
[0214]
b)其次，使用控制点的组合来构造仿射merge候选。
[0215]
i.需要三个控制点的运动信息来构建6参数仿射候选。可以从以下四个组合({cp1，cp2，cp4}，{cp1，cp2，cp3}，{cp2，cp3，cp4}，{cp1，cp3，cp4})中的一个选择三个控制点。{cp1，cp2，cp3}，{cp2，cp3，cp4}，{cp1，cp3，cp4}的组合将转换为由左上，右上和左下控制点表示的6参数运动模型。
[0216]
ii.需要两个控制点的运动信息来构建4参数仿射候选。可以从两个组合({cp1，
cp2}，{cp1，cp3})中的一个选择两个控制点。这两个组合将转换为由左上和右上控制点表示的4参数运动模型。
[0217]
iii.构造仿射候选的组合按以下顺序插入候选列表中：{cp1，cp2，cp3}，{cp1，cp2，cp4}，{cp1，cp3，cp4}，{cp2，cp3，cp4}，{cp1，cp2}，{cp1，cp3}
[0218]
i.对于每个组合，校验每个cp的列表x的参考索引，如果它们都相同，则该组合具有用于列表x的有效cpmv。如果组合不用于用于两个列表0和列表1的有效cpmv，则该组合被标记为无效。否则，它是有效的，并将cpmv放入子块merge列表中。
[0219]
3)零运动矢量填充
[0220]
如果仿射merge候选列表中的候选数量小于5，则将具有零参考索引的零运动矢量插入候选列表中，直到列表已满。
[0221]
更具体地，对于子块merge候选列表，将mv设置为(0，0)并且将预测方向设置为来自列表0的单向预测(对于p条带)和双向预测(用于b条带)的4参数merge候选。
[0222]
2.2.4当前图片参考
[0223]
在hevc屏幕内容编解码扩展(scc)中采用帧内块复制(也称为ibc或帧内图片块补偿)，也称为当前图片参考(cpr)。该工具对于屏幕内容视频的编解码非常有效，因为文本和图形丰富内容的重复模式经常出现在相同图片中。将具有相同或相似模式的先前重建的块用作预测量可以有效地减少预测误差并因此提高编解码效率。帧内块补偿的示例在图20中示出。
[0224]
图20示出了帧内图片块复制的示例。
[0225]
类似于hevc scc中的crp设计，在vvc中，在序列和图片级都信令通知ibc模式的使用。在序列参数集(sps)处启用ibc模式时，可以在图片级启用它。当在图片级启用ibc模式时，当前重建的图片将被视为参考图片。因此，在现有的vvc帧间模式之上不需要在块级进行语法更改即可信令通知ibc模式的使用。
[0226]
主要特征：
[0227]
–
其被视为特殊帧间模式。因此，merge和跳过模式也可用于ibc模式merge候选列表结构是统一的，包含来自相邻位置的merge候选，其在ibc模式或hevc帧间模式下进行编解码。取决于所选的merge索引，merge或跳过模式下的当前块可以以不同图片作为参考图片merge为ibc模式编解码邻域或普通帧间模式编解码邻域。
[0228]
–
用于ibc模式的运动矢量(也称为块矢量)以整数像素精度进行编解码，但由于在插值和去块阶段需要四分之一像素精度，因此在解码后以1/16像素精度存储在存储器中。当用于ibc模式的运动矢量预测时，存储的矢量预测量将右移4。
[0229]
–
搜索范围：其被限制在当前ctu内。
[0230]
–
当启用仿射模式/三角模式/gbi/加权预测时不允许cpr。
[0231]
2.2.5vvc中的merge列表设计
[0232]
在vvc中支持四种不同的merge列表构造过程：
[0233]
1)子块merge候选列表：其包括atmvp和仿射merge候选。仿射模式和atmvp模式共享一个merge列表构造过程。这里，可以按顺序加入atmvp和仿射merge候选。子块merge列表尺寸在条带标头中信令通知，并且最大值为5。
[0234]
2)uni
‑
prediction tpm merge列表：对于三角预测模式，即使两个分区可以选择
其自身的merge候选索引，也共享两个分区的一个merge列表构造过程。当构造该merge列表时，校验该块的空域相邻块和两个时域块。从空间邻域和时域块推导的运动信息在我们的idf中称为常规运动候选。这些常规运动候选进一步用于推导多个tpm候选。请注意，变换是在整个块级执行，即使两个分区可能使用不同的运动矢量来生成其自身的预测块。单向预测tpm merge列表尺寸固定为5。
[0235]
3)常规merge列表：对于其余的编解码块，共享一个merge列表构造过程。这里，可以按顺序插入空域/时域/hmvp，成对组合的双向预测merge候选和零运动候选。在条带merge标头信令通知常规merge列表尺寸，并且最大值为6。mmvd，
[0236]
4)ibc merge列表：其以与常规merge列表类似的方式完成。
[0237]
2.2.5.1子块merge候选列表
[0238]
建议除了用于非子块merge候选的常规merge列表之外，将所有子块相关运动候选放入独立的merge列表中。
[0239]
将子块相关的运动候选放入称为
‘
子块merge候选列表’的单独merge列表中。
[0240]
在一个示例中，子块merge候选列表包括仿射merge候选和atmvp候选，和/或基于子块的stmvp候选。
[0241]
子块merge候选列表按以下顺序填充有候选：
[0242]
a.atmvp候选(可能可用或不可用)；
[0243]
b.仿射merge列表(包括继承仿射候选和构造仿射候选)
[0244]
c.填充为零mv 4参数仿射模型
[0245]
2.2.5.1.1atmvp(又名子块时域运动矢量预测量，sbtmvp)
[0246]
atmvp的基本思想是为一个块推导多组时域运动矢量预测量。每个子块分配有一组预测量。当生成atmvp merge候选时，应用以下过程：
[0247]
a.如图2中所示，依次校验相邻块a1以找到第一帧间编解码但未cpr编解码的块，表示为块x；
[0248]
b.初始化tmv＝(0,0)。如果存在块x的mv(表示为mv’)，指示共位参考图片(在条带标头中信令通知)，则将tmv设置为等于mv’。
[0249]
c.假设当前块的中心点是(x0,y0)，则在共位图片中将(x0,y0)的对应位置定位为m＝(x0 mv’x,y0 mv’y)。找到覆盖m的块z。
[0250]
i.如果z进行帧内编解码，则atmvp不可用；
[0251]
ii.如果z进行帧间编解码，则将块z的两个列表的mvz_0和mvz_1缩放到(reflist 0索引0)和(reflist 1索引0)作为mvdefault0，mvdefault1，并存储。
[0252]
d.对于每个8x8子块，假设其中心点为(x0s,y0s)，则在共位图片中将(x0s,y0s)的对应位置定位为ms＝(x0s mv’x,y0s mv’y)。找到覆盖ms的块zs。
[0253]
i.如果zs进行帧内编解码，则将mvdefault0，mvdefault1分配给子块；
[0254]
ii.如果zs进行帧间编解码，则将块zs的两个列表的mvzs_0和mvzs_1缩放到(reflist 0索引0)和(reflist 1索引0)并分配给子块；
[0255]
2.2.5.2常规merge列表
[0256]
与merge列表设计不同，在vvc中，采用基于历史的运动矢量预测(hmvp)方法。
[0257]
在hmvp中，存储先前编解码的运动信息。将先前编解码块的运动信息定义为hmvp
候选。多个hmvp候选存储在称为hmvp表的表中，并且该表在编码/解码过程期间即时得到维护。当开始编码/解码新片/lcu行/条带时清空hmvp表。每当存在帧间编解码块和非子块，非tpm模式时，关联的运动信息就作为新hmvp候选加入表的最后条目。总体编解码流程在图21中示出。
[0258]
hmvp候选可以在amvp和merge候选列表构造过程中使用。图22示出了修改的merge候选列表构造过程(以蓝色突出显示)。当在插入tmvp候选之后merge候选列表未满时，可以利用存储在hmvp表中的hmvp候选来填充merge候选列表。考虑到在运动信息方面通常一个块与最近的相邻块具有较高的相关性，因此按照索引的降序插入表中的hmvp候选。首先将表中的最后条目加入列表，最后加入第一条目。类似地，将冗余消除应用于hmvp候选。一旦可用merge候选的总数量达到允许信令通知的merge候选的最大数量，则merge候选列表构造过程终止。
[0259]
应当注意，所有的空域/时域/hmvp候选应当以非ibc模式进行编解码。否则，不允许将其加入到常规merge候选列表。
[0260]
hmvp表包含多达5个常规运动候选，并且每个候选都是唯一的。
[0261]
2.2.5.3ibc merge列表
[0262]
当加入ibc时，hmvp候选也适用于ibc merge列表。
[0263]
更具体地，可以存储另外5个ibc候选。在当前的实现中，常规候选和ibc候选存储在相同hmvp表中。然而，它们独立使用和更新。前m个(m<＝5)候选用于常规merge/amvp列表；其余n个候选(n<＝5)用于ibc模式。维护两个计数器以指示hmvp表中有多少常规运动候选和有多少ibc运动候选。因此，等于使用2个hmvp表，一个用于常规merge模式，另一个用于ibc模式。
[0264]
与常规mv merge共享相同的过程，但是不允许tmvp，零矢量意味着不可用，因为它是无效的。应当注意，对于空域相邻块，仅当其以ibc模式编解码时，关联的运动信息可以加入到ibcmerge列表。同时，对于hmvp部分，可以在ibc merge列表中仅考虑最后几个hmvp候选(其是存储的ibc运动候选)。
[0265]
2.2.6共享merge列表
[0266]
为了降低解码器复杂度并支持并行编码，建议cu划分树中的一个祖先节点的所有叶编解码单元(cu)共享相同的merge候选列表以实现小跳过/merge编解码cu的并行处理。祖先节点称为merge共享节点。在merge共享节点是叶cu的情况下，在merge共享节点处生成共享merge候选列表。
[0267]
更具体地，以下可能适用：
[0268]
‑
如果块具有不大于32的亮度样点，并划分为2个4x4子块，则使用非常小的块(例如，两个相邻的4x4块)之间的共享merge列表。
[0269]
‑
如果块的亮度样点大于32，但是在划分之后，至少一个子块小于阈值(32)，该划分的所有子块共享相同的merge列表(例如三次划分的16x4或4x16或四次划分的8x8)。
[0270]
这样的限制仅应用于常规merge模式。
[0271]
2.2.6.1hmvp表更新和使用
[0272]
分配临时hmvp表。在此之前，当输入一个共享区域的第一cu时，必须将原始hmvp表复制到临时hmvp表。
[0273]
在图23所示的示例中，将一个8x8 qt分割为4个4x4 cu。在执行第一cu(例如，左上4x4 cu)之前，必须将历史列表复制到临时hmvp表(hmvpcandlistshared[])中，并且在共享父节点中(图中的merge共享节点)内部的每个4x4需要用于merge模式的历史列表时，它将使用临时hmvp表中的运动候选。
[0274]
然而，在解码一个4x4 cu之后，相应地更新原始hmvp表。
[0275]
图23示出了merge共享节点的示例。
[0276]
2.2.6.2虚拟管线数据单元(vpdu)
[0277]
虚拟管线数据单元(vpdu)定义为图片中的非重叠单元。在硬件解码器中，连续的vpdu由多个管线级同时处理。在大多数管线级中，vpdu尺寸大致与缓冲区尺寸成正比，因此保持小的vpdu尺寸很重要。在大多数硬件解码器中，可以将vpdu尺寸设置为最大变换块(tb)尺寸。然而，在vvc中，三叉树(tt)和二叉树(bt)分区可能导致vpdu尺寸的增加。
[0278]
为了将vpdu尺寸保持为64x64亮度样点，应用以下规范性分区限制(带有语法信令修改)，如下所示：
[0279]
–
对于宽度或高度或宽度和高度等于128的cu，不允许tt划分。
[0280]
–
对于n≤64(即，宽度等于128且高度小于128)的128xn cu，不允许水平bt。
[0281]
–
对于n≤64(即，高度等于128且宽度小于128)的nx128 cu，不允许竖直bt。
[0282]
图24示出了不允许的tt和bt分割的示例。
[0283]
3.通过本文件中描述的实施例解决的问题的示例
[0284]
具有hmvp的merge列表的当前设计具有以下问题：
[0285]
1)用于编解码当前ctu的hmvp表仅包含相同ctu中先前ctu中的运动信息，因为它在新ctu new的开始处重置。因此，它无法利用来自上ctu的运动信息。
[0286]
2)由于并行性，始终在每个ctu行的开始处重置hmvp表。
[0287]
3)hmvp表中的某些运动信息可能与已经加入到merge列表中的空域运动信息相同。
[0288]
4)hmvp表当前在常规merge列表或ibc merge列表中使用。基于历史的运动信息可以在不同的merge列表中更广泛地使用。
[0289]
4.示例技术和实施例
[0290]
以下详述的技术应被认为是解释一般概念的示例。这些技术不应狭义地解释。此外，可以以任何适当的方式组合这些技术。
[0291]
1.在编码/解码过程中可以存储多个hmvp表，并且在对一个块进行编码/解码之前，可以根据所选择的hmvp表来初始化hmvp表。
[0292]
a.在一个示例中，在对第一区域(例如，一个ctu或vpdu)进行编码/解码之后，关联的hmvp表(例如，在对第二区域进行编码/解码之前)可以与第一区域关联地存储。
[0293]
b.在一个示例中，可以基于相邻区域的多个hmvp表来初始化用于对当前区域进行编码/解码的hmvp表。
[0294]
c.在一个示例中，可以基于相邻区域的一个hmvp表来初始化用于对当前区域进行编码/解码的hmvp表。
[0295]
d.在一个示例中，相邻区域的hmvp表(不限于仅左)可以是与当前区域的左，上，左上或右上区域关联的表。
[0296]
e.替代地，相邻区域的hmvp表(不限于仅左)可以是与当前区域的上或右上区域关联的hmvp表。
[0297]
2.可以根据与其他区域关联的多个hmvp表来生成用于对一个区域进行编码/解码的新hmvp表。
[0298]
a.来自多个表的继承运动信息可以组合到新hmvp表中。
[0299]
b.在一个示例中，一个组合顺序是加入来自第一表的所有运动信息，然后加入来自第二表的所有运动信息，加入来自第三表的所有运动信息，依此类推。
[0300]
i.在一个示例中，一个组合顺序是加入来自第一表的所有运动信息，然后加入来自第二表的所有运动信息，依此类推。
[0301]
ii.替代地，组合顺序是加入来自第一表的一个并取来自第二表的下一个，取来自第三表的下一个，重复依此类推(在第一，第二和第三表之间交错)。
[0302]
iii.替代地，组合顺序是加入来自第一表的一个并取来自第二表的下一个，仅以有限的表重复(在第一和第二表之间交错)。
[0303]
c.在一个示例中，一个新hmvp表将组合左和右上区域的hmvp表。
[0304]
d.在一个示例中，一个新hmvp表将组合左，上，左上和右上区域的hmvp表。
[0305]
3.在将运动信息加入到新hmvp表中之前，可以可选地首先剪掉其他区域的hmvp表中的运动信息。
[0306]
a.当在左hmvp表中存在当前ctu(即左列缓冲区)旁边的运动信息时，可以将其剪掉。当cu位于ctu的左边界处时，可以跳过hmvp merge/amvp候选的剪切。
[0307]
i.在一个示例中，当存储在hmvp表的任何条目中的运动信息与来自左列的任何一个运动信息匹配时，将其从hmvp表移除。
[0308]
ii.在一个示例中，当存储在hmvp表的任何条目中的运动信息与来自左列的任何一个运动信息相距一定距离时，将其从hmvp表移除。距离度量可以包括但不限于l1范数和l2范数。另外，可以基于阈值(例如，块尺寸或距离)来确定用于确定是否进行这种剪切的阈值。在另一示例中，可以在sps/pps/片组标头中信令通知这样的阈值。
[0309]
b.当上hmvp表中存在当前ctu上方的运动信息(即上行缓冲区)时，可以将剪掉。当cu位于ctu的上边界处时，可以跳过hmvp merge/amvp候选的剪切。
[0310]
4.可以将来自两个不同表的构造运动信息加入到新hmvp表。
[0311]
a.hmvp表中的每个运动信息具有位置信息，例如从当前ctu的左上角的x和y偏移，以及指示它是否是当前ctu的运动信息的标志。替代地，有一个ctu级语法元素，其指示应使用来自上或左ctu的运动信息。
[0312]
b.使用hmvp表中可用的来自左ctu的一个运动信息和来自上ctu的另一个运动信息生成新运动信息。
[0313]
i.可以基于hmvp表的两个运动信息的距离来推导考虑左上角的新运动信息。一个示例如下。假设左和上ctu中的蓝色cu的运动信息在hmvp表中，如下。
[0314]
图25示出了如何可以从相邻运动信息构造新运动信息的示例。
[0315]
diffmvx＝topmvx
‑
leftmvx
[0316]
diffmvy＝topmvy
‑
leftmvy
[0317][0318][0319]
5.考虑到其位置，可以将用于构造运动信息的一个变型认为是每个cu中的merge列表的候选。
[0320]
a.可以用包括当前hmvp表的不同相邻hmvp表的任何组合来选择两个运动信息。以下是一些示例，并且不仅限于那些组合。
[0321]
i.第一示例是来自左hmvp表的一个，另一个来自上hmvp表。
[0322]
ii.第二示例是来自左hmvp表的一个，另一个来自当前hmvp表。
[0323]
iii.第三示例是来自上hmvp表的一个，另一个来自当前hmvp表。
[0324]
iv.第四示例均来自当前hmvp表。
[0325]
b.cu中的构造运动信息可以用作当前未使用的各种merge列表的候选。一个示例是三角merge列表。
[0326]
c.下面是一个示例以用来自左和上hmvp表的两个运动信息构造新运动信息。距离度量可以包括但不限于l1范数和l2范数。diffmvx和diffmvy在5.b中相同。
[0327]
图26示出了如何可以从相邻运动信息构造运动信息的示例。
[0328]
xdistance＝ctusize
‑
xl xc
[0329]
ydistance＝ctusize
‑
yt yc
[0330][0331][0332]
6.当子ctu级并行处理可用时，例如vpdu或并行处理尺寸(即sps/pps/片组标头中定义的预定义区域或任何尺寸)，上述技术可以应用于每个子ctu行或并行处理尺寸。
[0333]
a.在一个示例中，在片组内的每个子ctu行的开始处重置hmvp表。
[0334]
b.在一个示例中，来自左上，上和右上子ctu的继承hmvp表应当可用于为当前子ctu构造新hmvp表。
[0335]
c.在一个示例中，仅仅来自左上和上子ctu区域的继承hmvp表才可用于为当前子ctu区域构造新hmvp表。
[0336]
d.在一个示例中，来自左，左上，上和右上子ctu区域的hmvp表的任何组合可用于为当前子ctu区域构造新hmvp表。
[0337]
7.为了改善每个vpdu中的并行处理或并行处理尺寸(sps/pps/片组标头中定义的预定义区域或尺寸)，可以用上述任何方法生成hmvp表，并且将其用于当前并行处理尺寸而无需更新。
[0338]
8.与区域(例如左ctu，左ctu，子ctu或子ctu或并行处理大小)关联的hmvp表可以使用存储器压缩(例如尾数 指数)来保存从ddr存储器读取的带宽。
[0339]
5公开技术的示例实施方式
[0340]
图27是示出视频处理的示例方法2700的流程图。该方法包括在视频区域和视频区
域的比特流表示之间的转换期间，从多个存储的mvp表初始化(2702)运动矢量预测量(mvp)表，其中多个mvp的每一个包括先前在转换期间考虑的运动信息；以及使用从多个存储的mvp表选择的mvp表执行(2704)转换。
[0341]
图28是视频处理装置2800的框图。装置2800可以用于实现本文描述的一种或多种方法。装置2800可以体现在智能手机，平板电脑，计算机，物联网(iot)接收器等中。装置2800可以包括一个或多个处理器2802，一个或多个存储器2804和视频处理硬件2806。(一个或多个)处理器2802可以配置成实现本文件中描述的一种或多种方法。存储器(多个存储器)2804可以用于存储用于实现本文描述的方法和技术的数据和代码。视频处理硬件2806可以用于在硬件电路中实现本文件中描述的一些技术
[0342]
以下基于条款的描述提供了附加实施例。
[0343]
1.一种用于视频处理的方法，其包括：在视频区域和所述视频区域的比特流表示之间的转换期间，从多个存储的mvp表初始化运动矢量预测量(mvp)表，其中所述多个mvp的每一个包括先前在转换期间考虑的运动信息；以及使用从多个存储的mvp表选择的mvp表执行转换。
[0344]
2.根据条款1所述的方法，其还包括：将所述mvp表与所述视频区域关联；以及存储所述mvp表以便随后在转换期间使用。
[0345]
3.根据条款1
‑
2中的任一项所述的方法，其中初始化所述mvp表包括使用相邻视频区域的一个或多个mvp表来初始化所述mvp表。
[0346]
4.根据条款3所述的方法，其中所述相邻视频区域包括所述视频区域的左区域。
[0347]
5.根据条款3所述的方法，其中所述相邻视频区域包括所述视频区域的左上区域。
[0348]
6.根据条款3所述的方法，其中所述相邻视频区域包括所述视频区域的右上区域。
[0349]
7.根据条款3所述的方法，其中所述相邻视频区域包括所述视频区域的上区域。
[0350]
8.根据条款1至7中的任一项所述的方法，其中将所述mvp表初始化为所述多个mvp表中的一些的组合。
[0351]
9.根据条款8所述的方法，其中使用来自所述多个mvp表中的一些的继承运动信息来初始化所述mvp表。
[0352]
10.根据条款8或9中的任一项所述的方法，其中通过按照预定顺序从所述多个mvp表中的一些加入来生成所述mvp表。
[0353]
11.根据条款10所述的方法，其中所述预定顺序指定加入第一mvp表的所有运动信息，然后加入第二表的所有运动信息，直到加入来自所述多个表中的一些的所有mvp信息。
[0354]
12.根据条款10所述的方法，其中所述预定顺序指定加入来自所述多个mvp表中的一些的全部的第一运动信息，然后加入来自所述多个mvp表中的一些的全部的第二运动信息，直到加入来自所述多个mvp表中的一些的所有运动信息。
[0355]
13.根据条款1所述的方法，其中所述初始化包括基于剪切标准选择性剪切来自所述多个mvp表的运动信息。
[0356]
14.根据条款13所述的方法，其中所述剪切标准指定剪掉所述视频区域的下一编解码树单元的运动信息。
[0357]
15.根据条款13所述的方法，其中所述剪切标准指定跳过在所述视频的译码树单元的左边界或上边界处满足跳过标准的所述视频区域的merge和替代mvp候选的剪切。
[0358]
16.根据条款15所述的方法，其中所述跳过标准指定距离以指示与当前视频区域相距多远。
[0359]
17.根据条款13
‑
16中的任一项所述的方法，其中所述剪切标准指定在新运动信息与来自所述视频区域的左列的条目的运动信息匹配的情况下跳过将新运动信息加入到所述mvp表。
[0360]
18.根据条款13
‑
17中的任一项所述的方法，其中所述剪切标准指定在与所述视频区域的当前编解码树单元上方的运动信息对应的上mvp表中剪掉运动信息。
[0361]
19.一种用于视频处理的方法，其包括：在视频区域和所述视频区域的比特流表示之间的转换期间，从一个或多个存储的mvp表初始化运动矢量预测量(mvp)表的一个或多个条目，其中每个mvp表包括先前在转换期间考虑的运动信息，指示运动信息的标志从先前的mvp表继承或作为新运动信息加入当前区域中；以及使用从多个存储的mvp表选择的mvp表执行转换。
[0362]
20.根据条款19所述的方法，其还包括，在所述转换之后，通过将所述mvp表与所述视频区域关联来存储所述mvp表的一个或多个条目，其中，所述存储包括存储所述mvp表中的每个运动信息的位置信息。
[0363]
21.根据条款20所述的方法，其中所述位置信息包括所述视频区域的编解码树单元的左上角的(x,y)位置。
[0364]
22.根据条款19所述的方法，其中所述构造包括使用来自所述视频区域的左侧的左编解码树单元的第一运动信息和来自所述视频区域的上方的上编解码树单元的第二运动信息来推导所述mvp表的一个条目的新运动信息。
[0365]
23.根据条款19所述的方法，其中所述构造包括使用来自所述视频区域的左侧的左编解码树单元的第一运动信息和来自所述视频区域的mvp表的条目来推导所述mvp表的一个条目的新运动信息。
[0366]
24.根据条款19
‑
23中的任一项所述的方法，其中推导新运动信息用于在所述视频区域的编解码树单元处构造mvp表。
[0367]
25.根据条款19
‑
23中的任一项所述的方法，其中推导新运动信息用于在所述视频区域的子编解码树单元处构造mvp表。
[0368]
26.根据条款1至25中的任一项所述的方法，其中所述视频区域对应于子编解码树单元区域，并且其中所述转换包括与所述视频区域的编解码树单元中的其他视频区域的其他mvp表并行地初始化所述mvp表。
[0369]
27.根据条款1或19中的任一项所述的方法，其中在所述视频的片组中的每个子编解码树单元行的开始处重置所述mvp表。
[0370]
28.根据条款1至27中的任一项所述的方法，其还包括：在所述转换之后，更新所述mvp表。
[0371]
29.根据条款1至27中的任一项所述的方法，其中由于所述视频区域是子编解码单元级区域，因此使用所述mvp表并在虚拟数据管线单元中使用而不更新所述mvp表。
[0372]
30.根据条款1至29中的任一项所述的方法，其中所述视频区域包括视频块。
[0373]
31.根据条款1至30中的任一项所述的方法，其中所述转换包括从所述视频区域生成所述比特流表示或从所述比特流表示生成所述视频区域。
[0374]
32.一种装置，其包括处理器，所述处理器配置成实施条款1至31中的任一项所述的方法。
[0375]
33.一种计算机可读介质，其上存储有处理器可执行的程序代码，用于实施条款1至31中的任一项所述的方法。
[0376]
根据前述内容，将理解的是，出于说明的目的，本文已描述了当前公开的技术的特定实施例，但是在不脱离本发明的范围的情况下可以进行各种修改。因此，除了所附的权利要求书外，当前公开的技术不受限制。
[0377]
图29是用于视频处理的示例方法2900的流程图。方法2900包括对于视频的第一区域和第一区域的比特流表示之间的转换，基于存储的多个hmvp表中的至少一个初始化(2902)与第一区域关联的第一历史运动矢量预测量(hmvp)表，多个hmvp表用于存储与在第一区域之前编解码的区域关联的运动信息；以及通过使用包括至少一个运动候选的初始化的第一hmvp表来执行(2904)转换。
[0378]
在一些示例中，多个hmvp表包括与第一区域的相邻区域关联的一个或多个hmvp表。
[0379]
在一些示例中，基于与第一区域的相邻区域关联的多个hmvp表来初始化第一hmvp表。
[0380]
在一些示例中，基于与第一区域的相邻区域关联的一个hmvp表来初始化第一hmvp表。
[0381]
在一些示例中，与第一区域的相邻区域关联的多个hmvp表包括与左区域关联的hmvp表，与上区域关联的hmvp表，与左上区域关联的hmvp表，以及与第一区域的右上区域关联的hmvp表中的至少一个。
[0382]
在一些示例中，与第一区域的相邻区域关联的多个hmvp表包括与上区域关联的hmvp表和/或与第一区域的右上区域关联的hmvp表。
[0383]
在一些示例中，该方法还包括：将第一hmvp表与第一区域关联；以及存储第一hmvp表以便随后在第一区域的转换之后使用。
[0384]
在一些示例中，区域是编解码树单元(ctu)或虚拟管线数据单元(vpdu)。
[0385]
图30是用于视频处理的示例方法3000的流程图。方法3000包括对于视频的第一区域和第一区域的比特流表示之间的转换，基于与其他区域关联的多个hmvp表生成(3002)与第一区域关联的新历史运动矢量预测量(hmvp)表，多个hmvp表用于存储与在第一区域之前编解码的其他区域关联的运动信息；以及通过使用包括至少一个运动候选的生成的新hmvp表来执行(3004)转换。
[0386]
在一些示例中，区域是编解码树单元(ctu)或虚拟管线数据单元(vpdu)。
[0387]
在一些示例中，来自多个hmvp表的继承运动信息组合到新hmvp表中。
[0388]
在一些示例中，通过按照预定顺序加入来自多个hmvp表中的预定数量的hmvp表的所有运动信息来生成新hmvp表。
[0389]
在一些示例中，预定顺序是加入来自第一hmvp表的所有运动信息，然后加入来自第二hmvp表的所有运动信息，直到依次加入来自预定数量的hmvp表的所有运动信息。
[0390]
在一些示例中，预定数量是3。
[0391]
在一些示例中，预定顺序是加入来自所有预定数量的hmvp表的第一运动信息，然
后加入来自所有预定数量的hmvp表的第二运动信息，直到交错并加入来自预定数量的hmvp表的所有运动信息。
[0392]
在一些示例中，预定数量是2或3。
[0393]
在一些示例中，通过组合与第一区域的相邻区域关联的多个hmvp表来生成第一hmvp表。
[0394]
在一些示例中，与第一区域的相邻区域关联的多个hmvp表包括与左区域关联的hmvp表，与上区域关联的hmvp表，与左上区域关联的hmvp表，以及与第一区域的右上区域关联的hmvp表。
[0395]
在一些示例中，与第一区域的相邻区域关联的多个hmvp表包括与上区域关联的hmvp表和与第一区域的右上区域关联的hmvp表。
[0396]
在一些示例中，在将多个hmvp表中的运动信息加入到新hmvp表之前，基于剪切标准剪掉与其他区域关联的多个hmvp表中的运动信息。
[0397]
在一些示例中，当区域是ctu并且来自第一ctu的左列缓冲区的运动信息存在于与第一ctu的左侧上的ctu关联的左hmvp表中时，从左hmvp表剪掉运动信息，其中第一ctu的左列缓冲区是第一ctu的左ctu的最右列。
[0398]
在一些示例中，当cu位于ctu的左边界处时，跳过hmvp merge和/或amvp候选的剪切。
[0399]
在一些示例中，当存储在左hmvp表的任何条目中的运动信息与来自第一ctu的左列缓冲区的运动信息中的任何一个匹配时，从左hmvp表移除运动信息。
[0400]
在一些示例中，当存储在左hmvp表的任何条目中的运动信息与来自第一ctu的左列缓冲区的运动信息中的任何一个处于一定距离内时，从左hmvp表移除运动信息。
[0401]
在一些示例中，距离度量包括l1范数和l2范数中的至少一个，其中l1范数计算为矢量的绝对值的和，l2范数计算为平方矢量值的和的平方根。
[0402]
在一些示例中，基于阈值确定是否发生剪切，阈值与第一区域的尺寸或距离关联。
[0403]
在一些示例中，在序列参数集(sps)，图片参数集(pps)和片组标头中的至少一个中信令通知阈值。
[0404]
在一些示例中，当区域是ctu并且来自第一ctu的上行缓冲区的运动信息存在于与第一ctu上方的ctu关联的上hmvp表中时，从上hmvp表剪掉运动信息，其中第一ctu的上行缓冲区是第一ctu的上ctu的最下行。
[0405]
在一些示例中，当cu位于ctu的上边界处时，跳过hmvp merge和/或amvp候选的剪切。
[0406]
在一些示例中，将从来自多个hmvp表的两个不同hmvp表的两个运动信息构造的构造运动信息加入到新hmvp表。
[0407]
在一些示例中，hmvp表中的每个运动信息包括位置信息，所述位置信息包括相对于当前ctu的左上角的水平偏移和竖直偏移，以及指示其是否是当前ctu的运动信息的标记。
[0408]
在一些示例中，提供ctu级语法元素以指示将使用来自上或左ctu的运动信息。
[0409]
在一些示例中，从来自与第一区域的上区域关联的上hmvp表的运动信息和来自与第一区域的左区域关联的左hmvp表的运动信息构造构造运动信息。
[0410]
在一些示例中，基于来自上hmvp表的运动信息(topmv)和来自左hmvp表的运动信息(lefmv)之间的差(diffmv)来构造构造运动信息。
[0411]
在一些示例中，差(diffmv)如下计算：
[0412]
diffmvx＝topmvx
‑
leftmvx
[0413]
diffmvy＝topmvy
‑
leftmvy
[0414]
其中diffmvx是差diffmv的水平分量，topmvx是来自上hmvp表的运动信息topmv的水平分量，并且lefmvx是来自左hmvp表的运动信息lefmv的水平分量，
[0415]
diffmvy是差diffmv的竖直分量，topmvy是来自上hmvp表的运动信息topmv的竖直分量，并且fmvy是来自左hmvp表的运动信息lefmv的竖直分量。
[0416]
在一些示例中，构造运动信息mv如下计算：
[0417][0418][0419]
其中mvx是mv的水平分量，topxoffset是运动信息topmv的水平偏移，并且leftxoffset是运动信息lefmv的水平偏移，mvy是mv的水平分量，topyoffset是运动信息topmv的竖直偏移，并且leftyoffset是运动信息lefmv的竖直偏移，ctusize是当前ctu的宽度和/或高度。
[0420]
在一些示例中，将从来自多个hmvp表中的一个或多个hmvp表的两个运动信息构造的构造运动信息用作第一区域的编解码单元(cu)中的merge列表的候选。
[0421]
在一些示例中，从包括当前hmvp表的相邻hmvp表的任何组合选择两个运动信息。
[0422]
在一些示例中，一个运动信息来自左hmvp表并且另一运动信息来自上hmvp表。
[0423]
在一些示例中，一个运动信息来自左hmvp表并且另一运动信息来自当前hmvp表。
[0424]
在一些示例中，一个运动信息来自上hmvp表并且另一运动信息来自当前hmvp表。
[0425]
在一些示例中，两个运动信息都来自当前hmvp表。
[0426]
在一些示例中，cu中的构造运动信息用作当前未使用的各种merge列表的候选。
[0427]
在一些示例中，各种merge列表包括三角merge列表。
[0428]
在一些示例中，基于来自上hmvp表的运动信息(topmv)和来自左hmvp表的运动信息(lefmv)之间的差(diffmv)以及两个运动信息和当前cu之间的距离来构造构造运动信息。
[0429]
在一些示例中，差(diffmv)如下计算：
[0430]
diffmvx＝topmvx
‑
leftmvx
[0431]
diffmvy＝topmvy
‑
leftmvy
[0432]
其中diffmvx是差diffmv的水平分量，topmvx是来自上hmvp表的运动信息topmv的水平分量，并且fmvx是来自左hmvp表的运动信息lefmv的水平分量，
[0433]
diffmvy是差diffmv的竖直分量，topmvy是来自上hmvp表的运动信息topmv的竖直分量，并且fmvy是来自左hmvp表的运动信息lefmv的竖直分量，并且距离如下计算：
[0434]
xdistance＝ctusize
‑
xl xc
[0435]
ydistance＝ctusize
‑
yt yc
[0436]
其中xdistance是来自左hmvp表的运动信息leftmv和当前cu之间的距离，xl是与leftmv关联的cu和当前cu中的运动信息之间的水平距离，xc是当前cu中的动信息的水平偏移，ydistance是来自上hmvp表的运动信息topmv和当前cu之间的距离，yt是与topmv关联的cu和当前cu中的运动信息之间的竖直距离，yc是当前cu中的运动信息的竖直偏移，tusize是当前ctu的宽度和/或高度。
[0437]
在一些示例中，构造运动信息mv如下计算：
[0438][0439][0440]
其中mvx是mv的水平分量，topxoffset是运动信息topmv的水平偏移，并且leftxoffset是运动信息lefmv的水平偏移，mvy是mv的水平分量，topyoffset是运动信息topmv的竖直偏移，并且leftyoffset是运动信息lefmv的竖直偏移，ctusize是当前ctu的宽度和/或高度。
[0441]
在一些示例中，当启用子ctu级并行处理时，区域包括在sps，pps和片组标头中的至少一个中定义的虚拟管线数据单元(vpdu)或并行处理尺寸。
[0442]
在一些示例中，在片组内的每个子ctu行的开始处重置hmvp表。
[0443]
在一些示例中，来自左上子ctu，上子ctu和右上子ctu中的一个或多个的继承hmvp表可用于构造用于当前子ctu的新hmvp表。
[0444]
在一些示例中，仅来自左上子ctu和上子ctu的继承hmvp表可用于构造用于当前子ctu的新hmvp表。
[0445]
在一些示例中，来自左子ctu，左上子ctu，上子ctu和右上子ctu的hmvp表的任何组合都可用于构造用于当前子ctu的新hmvp表。
[0446]
在一些示例中，在sps，pps和片组标头中的至少一个中定义的虚拟管线数据单元(vpdu)或并行处理尺寸在并行处理中使用生成的hmvp表而无需更新。
[0447]
在一些示例中，与区域关联的hmvp表使用存储器压缩来保存从ddr存储器读取的带宽。
[0448]
在一些示例中，存储器压缩包括尾数和指数。
[0449]
在一些示例中，转换从比特流表示生成视频的第一区域。
[0450]
在一些示例中，转换从视频的第一区域生成比特流表示。
[0451]
本专利文件中描述的主题和功能操作的实现方式可以在各种系统，数字电子电路或计算机软件，固件或硬件中实现，包括本说明书中公开的结构及其结构等效物，或其中一个或多个的组合。本说明书中描述的主题的实现方式可以实现为一个或多个计算机程序产品，即在有形和非暂时性计算机可读介质上编解码的计算机程序指令的一个或多个模块，以由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备，机器可读存储基板，存储设备，影响机器可读传播信号的物质组成或其中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”涵盖用于处理数据的所有装置，设备和机器，例如包括可编程处理器，计算机或多个处理器或计算机。除硬件外，装置还可以包括为所述计算机程序创建执行环境的代码，例如，构成处理器固件的代码，协议栈，数据库管
理系统，操作系统或其中的一个或多个的组合。
[0452]
计算机程序(也称为程序，软件，软件应用，脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块，组件，子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分(例如，存储在标记语言文档中的一个或多个脚本)中，专用于所述程序的单个文件中，或多个协调文件(例如，存储一个或多个模块，子程序或部分代码的文件)中。计算机程序可以部署成在一个或多个计算机上执行，所述计算机位于一个站点上或分布在多个站点上并通过通信网络互连。
[0453]
本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，所述处理器执行一个或多个计算机程序以通过对输入数据操作并生成输出来执行功能。处理和逻辑流也可以通过专用逻辑电路来执行，并且装置也可以实现为专用逻辑电路，例如，fpga(现场可编程门阵列)或asic(专用集成电路)。
[0454]
例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作联接到一个或多个大容量存储设备来从其接收数据或向其传送数据，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器，介质和存储器设备，包括例如半导体存储器设备，例如eprom，eeprom和闪存设备。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。
[0455]
旨在将说明书与附图一起仅视为示例性的，其中示例性表示示例。如本文所使用的，“或”的使用旨在包括“和/或”，除非上下文另外明确指出。
[0456]
尽管本专利文件包含许多细节，但不应将其解释为对任何发明或权利要求的范围的限制，而应解释为针对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文中描述的一些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独实施，或在任何合适的子组合中实施。而且，尽管特征可以在上面描述为在一些组合中起作用，甚至最初要求是这样，但在一些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以涉及子组合或子组合的变型。
[0457]
类似地，尽管图纸中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
[0458]
仅描述了一些实现方式和示例，并且基于该专利文件中描述和示出的内容可以做出其他实现方式，增强和变型。