转换后的单向预测候选的使用的制作方法

转换后的单向预测候选的使用
1.相关申请的交叉引用
2.根据适用的专利法和/或依据巴黎公约的规则，本技术旨在及时要求于2019年3月6日提交的国际专利申请no.pct/cn2019/077179、2019年3月20日提交的国际专利申请no.pct/cn2019/078939、以及2019年3月24日提交的国际专利申请no.pct/cn2019/079397的优先权和利益。出于法律规定的所有目的，上述申请的全部公开内容通过引用并入作为本技术公开内容的一部分。
技术领域
3.本专利文档涉及图像和视频编解码及解码。


背景技术：

4.数字视频在互联网和其他数字通信网络中占据了最大的带宽使用。随着能够接收和显示视频的连接用户设备的数量增加，预计对数字视频使用的带宽需求将继续增长。


技术实现要素：

5.本文档公开了可以由视频编码器和解码器在编码和解码操作期间使用的各种视频处理技术。
6.在一个示例方面，公开了一种视频处理的方法。该方法包括：为使用仿射编解码工具在视频的当前块和视频的比特流表示之间的转换确定当前块的子块的第一运动矢量和作为当前块的代表性运动矢量的第二运动矢量符合尺寸约束。该方法还包括基于该确定执行该转换。
7.在另一示例方面，公开了一种视频处理的方法。该方法包括：为视频的当前块和视频的比特流表示之间的转换确定包括六个参数的仿射模型。仿射模型从当前块的邻近块的仿射编解码信息继承。该方法还包括基于仿射模型执行转换。
8.在另一示例方面，公开了一种视频处理的方法。该方法包括：对于视频的块和视频的比特流表示之间的转换，基于宽度为w且高度为h的块的尺寸来确定双向预测编解码技术是否适用于该块，其中w和h为正整数。该方法还包括根据该确定执行该转换。
9.在另一示例方面，公开了一种视频处理的方法。该方法包括：对于视频的块和视频的比特流表示之间的转换，基于根据编解码树划分过程而作为块的子编解码单元的子块的尺寸，确定编解码树划分过程是否适用于该块。子块的宽度为w且高度为h，其中w和h为正整数。该方法还包括根据该确定执行该转换。
10.在另一示例方面，公开了一种视频处理的方法。该方法包括：对于视频的当前块和视频的比特流表示之间的转换，基于关于当前块的位置的规则来确定是否推导了编解码单元级别权重双向预测(bi
‑
prediction with coding unit level weight，bcw)编解码模式的索引。在bcw编解码模式下，包括多个权重的权重集被用于生成当前块的双向预测值。该方法还包括基于该确定执行该转换。
11.在另一示例方面，公开了一种视频处理的方法。该方法包括：对于使用组合帧间和帧内预测(combined inter and intra prediction，ciip)编解码技术编解码的视频的当前块和该视频的比特流表示之间的转换，独立于邻近块的帧内预测模式来确定当前块的帧内预测模式。ciip编解码技术使用中间帧间预测值和中间帧内预测值来推导当前块的最终预测值。该方法还包括基于该确定执行该转换。
12.在另一示例方面，公开了一种视频处理的方法。该方法包括：对于使用组合帧间和帧内预测(ciip)编解码技术编解码的视频的当前块和该视频的比特流表示之间的转换，根据第一邻近块的第一帧内预测模式和第二邻近块的第二帧内预测模式来确定当前块的帧内预测模式。第一邻近块是使用帧内预测编解码技术进行编解码的，并且第二邻近块是使用ciip编解码技术进行编解码的。第一帧内预测模式被赋予不同于第二帧内预测模式的优先级。ciip编解码技术使用中间帧间预测值和中间帧内预测值来推导当前块的最终预测值。该方法还包括基于该确定执行该转换。
13.在另一示例方面，公开了一种视频处理的方法。该方法包括：对于视频的当前块和视频的比特流表示之间的转换，基于当前块的尺寸来确定组合帧间和帧内预测(ciip)过程是否适用于当前块的颜色分量。ciip编解码技术使用中间帧间预测值和中间帧内预测值来推导当前块的最终预测值。该方法还包括基于该确定执行该转换。
14.在另一示例方面，公开了一种视频处理的方法。该方法包括：对于视频的当前块和视频的比特流表示之间的转换，基于当前块的特性，确定是否将组合帧间和帧内预测(ciip)编解码技术应用于当前块。ciip编解码技术使用中间帧间预测值和中间帧内预测值来推导当前块的最终预测值。该方法还包括基于该确定执行该转换。
15.在另一示例方面，公开了一种视频处理的方法。该方法包括：对于视频的当前块和视频的比特流表示之间的转换，基于当前块是否是用组合帧间和帧内预测(ciip)编解码技术编解码的，确定是否要对当前块禁用编解码工具。编解码工具包括以下中的至少一个：双向光流(bi
‑
directional optical flow，bdof)、重叠块运动补偿(overlapped block motion compensation，obmc)或解码器侧运动矢量细化过程(decoder
‑
side motion vector refinement process，dmvr)。该方法还包括基于该确定执行该转换。
16.在另一示例方面，公开了一种视频处理的方法。该方法包括：对于视频的块和视频的比特流表示之间的转换，确定用于空域运动预测的运动矢量的第一精度p1和用于时域运动预测的运动矢量的第二精度p2。p1和/或p2是分数，并且p1和p2都不在比特流表示中被信令通知。该方法还包括基于该确定执行该转换。
17.在另一示例方面，公开了一种视频处理的方法。该方法包括：对于视频的块和视频的比特流表示之间的转换，确定精度为(px,py)的运动矢量(mvx,mvy)。px与mvx相关联，并且py与mvy相关联。mvx和mvy存储为各自具有n比特的整数，并且minx≤mvx≤maxx且miny≤mvy≤maxy，其中minx、maxx、miny和maxy是实数。该方法还包括基于该确定执行该转换。
18.在另一示例方面，公开了一种视频处理的方法。该方法包括：对于视频的当前块和视频的比特流表示之间的转换，根据当前块的编解码模式来确定共享merge列表是否适用于当前块。该方法还包括基于该确定执行该转换。
19.在另一示例方面，公开了一种视频处理的方法。该方法包括：对于尺寸为wxh的视频的当前块和该视频的比特流表示之间的转换，确定大小为(w n
‑
1)x(h n
‑
1)的第二块以
用于该转换期间的运动补偿。第二块是基于大小为(w n
‑1‑
pw)x(h n
‑1‑
ph)的参考块而确定的。n表示滤波器尺寸，w、h、n、pw和ph是非负整数。pw和ph不都等于0。该方法还包括基于该确定执行该转换。
20.在另一示例方面，公开了一种视频处理的方法。该方法包括：对于尺寸为wxh的视频的当前块和该视频的比特流表示之间的转换，确定大小为(w n
‑
1)x(h n
‑
1)的第二块以用于该转换期间的运动补偿。w、h是非负整数，并且n是非负整数并基于滤波器尺寸。在该转换期间，根据对原始运动矢量的运动矢量细化操作，基于多点搜索确定细化的运动矢量，并且通过重复一个或多个非边界像素确定参考块的像素长边界。该方法还包括基于该确定执行该转换。
21.在另一示例方面，公开了一种视频处理的方法。该方法包括：对于使用组合帧间
‑
帧内预测(ciip)编解码技术编解码的视频的块和该视频的比特流表示的转换，基于块中一位置处的帧间预测值和帧内预测值的加权和来确定该位置处的预测值。加权和基于将偏移添加到基于帧间预测值和帧内预测值而获得的初始和，并且该偏移在执行以确定加权和的右移操作之前被添加。该方法还包括基于该确定执行该转换。
22.在另一示例方面，公开了一种视频处理的方法。该方法包括：对于视频的当前块和视频的比特流表示之间的转换，部分基于是否满足与当前块的尺寸相关联的条件来确定在比特流表示中表示当前块的编解码信息的方式。该方法还包括基于该确定执行该转换。
23.在另一示例方面，公开了一种视频处理的方法。该方法包括：为视频的当前块和视频的比特流表示之间的转换确定修改的运动矢量集；以及基于修改的运动矢量集来执行该转换。由于当前块满足条件，因此修改的运动矢量集是与当前块相关联的运动矢量集的修改版本。
24.在另一示例方面，公开了一种视频处理的方法。该方法包括：对于视频的当前块和视频的比特流表示之间的转换，如果满足块大小的条件，则从双向运动矢量确定单向运动矢量。单向运动矢量随后被用作用于该转换的merge候选。该方法还包括基于该确定执行该转换。
25.在另一示例方面，公开了一种视频处理的方法。该方法包括：对于视频的当前块和视频的比特流表示之间的转换，基于当前块的大小来确定当前块的运动候选被限制为单向预测候选；基于该确定执行该转换。
26.在另一示例方面，公开了一种视频处理的方法。该方法包括：确定被仿射编解码的当前视频块的代表性运动矢量和该当前视频块的子块的运动矢量之间的尺寸限制，以及通过使用尺寸限制来执行当前视频块或子块的比特流表示和像素值之间的转换。
27.在另一示例方面，公开了另一种视频处理的方法。该方法包括：为被仿射编解码的当前视频块确定该当前视频块的一个或多个子块，其中每个子块的尺寸为mxn个像素，其中m和n是2或4的倍数，使子块的运动矢量符合尺寸限制，以及通过使用尺寸限制，条件性地基于触发来执行当前视频块的比特流表示和像素值之间的转换。
28.在又一示例方面，公开了另一种视频处理的方法。该方法包括：确定当前视频块满足尺寸条件，以及基于该确定，通过排除当前视频块的双向预测编码模式来执行当前视频块的比特流表示和像素值之间的转换。
29.在又一示例方面，公开了另一种视频处理的方法。该方法包括：确定当前视频块满
足尺寸条件，以及基于该确定来执行当前视频块的比特流表示和像素值之间的转换，其中帧间预测模式是根据尺寸条件在比特流表示中信令通知的。
30.在又一示例方面，公开了另一种视频处理的方法。该方法包括：确定当前视频块满足尺寸条件，以及基于该确定来执行当前视频块的比特流表示和像素值之间的转换，其中在该转换期间merge候选列表的生成取决于尺寸条件。
31.在又一示例方面，公开了另一种视频处理的方法。该方法包括：确定当前视频块的子编解码单元满足尺寸条件，以及基于该确定来执行当前视频块的比特流表示和像素值之间的转换，其中用于生成子编解码单元的编解码树划分过程取决于尺寸条件。
32.在又一示例方面，公开了另一种视频处理的方法。该方法包括：基于当前视频块的位置来确定用于当前视频块的广义双向预测(generalized bi
‑
prediction，gbi)过程的权重索引，以及使用权重索引执行当前视频块和其比特流表示之间的转换以实施gbi过程。
33.在又一示例方面，公开了另一种视频处理的方法。该方法包括：确定当前视频块被编解码为帧内
‑
帧间预测(intra
‑
inter prediction，iip)编解码块，以及使用用于确定当前视频块的帧内预测模式或最可能模式(most probable mode，mpm)的简化规则来执行当前视频块和其比特流表示之间的转换。
34.在又一示例方面，公开了另一种视频处理的方法。该方法包括：确定当前视频块满足简化准则，以及通过禁止将帧间
‑
帧内预测模式用于当前视频块和比特流表示之间的转换或者通过禁用用于该转换的附加编解码工具来执行该转换。
35.在又一示例方面，公开了另一种视频处理的方法。该方法包括：使用基于运动矢量的编码过程执行当前视频块和当前视频块的比特流表示之间的转换，其中(a)在转换过程期间，精度p1用于存储空域运动预测结果，并且精度p2用于存储时域运动预测结果，其中p1和p2是分数，或者(b)精度px用于存储x运动矢量，并且精度py用于存储y运动矢量，其中px和py是分数。
36.在又一示例方面，公开了另一种视频处理的方法。该方法包括：通过提取(w2 n
–1–
pw)*(h2 n
–1–
ph)块、对提取的块进行像素填充、对像素填充的块执行边界像素重复、以及获得尺寸为w1xh1的小子块的像素值，在当前视频块的尺寸为w2xh2的大子块中内插该小子块，其中w1、w2、h1、h2以及pw和ph为整数，以及使用小子块的内插的像素值执行当前视频块和当前视频块的比特流表示之间的转换。
37.在另一示例方面，公开了另一种视频处理的方法。该方法包括：在大小为wxh的当前视频块和该当前视频块的比特流表示的转换期间，通过在运动补偿操作期间提取(w n
–1–
pw)*(w n
–1–
ph)个参考像素并且在提取的参考像素外部填充参考像素来执行运动补偿操作，以及使用运动补偿操作的结果执行当前视频块和当前视频块的比特流表示之间的转换，其中w、h、n、pw和ph为整数。
38.在又一示例方面，公开了另一种视频处理的方法。该方法包括：基于当前视频块的尺寸来确定当前视频块的双向预测或单向预测不被允许，以及基于该确定，通过禁用双向预测或单向预测模式来执行当前视频块的比特流表示和像素值之间的转换。
39.在又一示例方面，公开了另一种视频处理的方法。该方法包括：基于当前视频块的尺寸来确定当前视频块的双向预测或单向预测不被允许，以及基于该确定，通过禁用双向预测或单向预测模式来执行当前视频块的比特流表示和像素值之间的转换。
40.在又一示例方面，公开了一种视频编码器装置。视频编码器包括被配置为实施上述方法的处理器。
41.在又一示例方面，公开了一种视频编码器装置。视频编码器包括被配置为实施上述方法的处理器。
42.在又一示例方面，公开了一种其上存储有代码的计算机可读介质。该代码以处理器可执行代码的形式体现本文描述的方法之一。
43.这些以及其他特征贯穿本文档进行描述。
附图说明
44.图1示出了基于子块的预测的示例。
45.图2a示出了4参数仿射模型。
46.图2b示出了6参数仿射模型。
47.图3示出了每个子块的仿射运动矢量场的示例。
48.图4a示出了af_merge候选的示例。
49.图4b示出了af_merge候选的另一示例。
50.图5示出仿射merge模式的候选位置。
51.图6示出了仿射模式的编解码单元(coding unit，cu)的受约束的子块运动矢量的示例。
52.图7a示出了将cu划分为两个三角形预测单元的135度部分的示例。
53.图7b示出了将cu划分为两个三角形预测单元的45度划分模式的示例。
54.图8示出了邻近块的位置的示例。
55.图9示出了插值之前的参考块的重复边界像素的示例。
56.图10示出了编解码树单元(coding tree unit，ctu)和ctu(区域)线的示例。阴影ctu(区域)在一条cut(区域)线上，未阴影ctu(区域)在另一条cut(区域)线上。
57.图11是用于实施本文描述的视频解码器或视频编码器装置的硬件平台的示例的框图。
58.图12是视频处理的示例方法的流程图。
59.图13示出了在dmvr中在列表0和列表1之间镜像的运动矢量差mvd(0,1)的示例。
60.图14示出了可以在一次迭代中检查的示例mv。
61.图15示出了填充以用于计算的所需的参考样点和边界。
62.图16是其中可以实施所公开技术的示例视频处理系统的框图。
63.图17是根据本公开的一种用于视频处理的方法的流程图表示。
64.图18是根据本公开的另一种用于视频处理的方法的流程图表示。
65.图19是根据本公开的另一种用于视频处理的方法的流程图表示。
66.图20是根据本公开的另一种用于视频处理的方法的流程图表示。
67.图21是根据本公开的另一种用于视频处理的方法的流程图表示。
68.图22是根据本公开的另一种用于视频处理的方法的流程图表示。
69.图23是根据本公开的另一种用于视频处理的方法的流程图表示。
70.图24是根据本公开的另一种用于视频处理的方法的流程图表示。
71.图25是根据本公开的另一种用于视频处理的方法的流程图表示。
72.图26是根据本公开的另一种用于视频处理的方法的流程图表示。
73.图27是根据本公开的另一种用于视频处理的方法的流程图表示。
74.图28是根据本公开的另一种用于视频处理的方法的流程图表示。
75.图29是根据本公开的另一种用于视频处理的方法的流程图表示。
76.图30是根据本公开的另一种用于视频处理的方法的流程图表示。
77.图31是根据本公开的另一种用于视频处理的方法的流程图表示。
78.图32是根据本公开的另一种用于视频处理的方法的流程图表示。
79.图33是根据本公开的另一种用于视频处理的方法的流程图表示。
80.图34是根据本公开的另一种用于视频处理的方法的流程图表示。
81.图35是根据本公开的另一种用于视频处理的方法的流程图表示。
82.图36是根据本公开的又一种用于视频处理的方法的流程图表示。
具体实施方式
83.为了便于理解，在本文档中使用了章节标题，并且不将每个章节中公开的技术和实施例的适用性仅限制于该章节。
84.1.摘要
85.本专利文档涉及视频/图像编解码技术。具体地，涉及减少视频/图像编解码中几种编解码工具的带宽和线缓冲区。它可以应用于现有的视频编解码标准(如hevc)或待最终确定的标准(多功能视频编解码)。它也可以应用于未来的视频/图像编解码标准或视频/图像编解码器。
86.2.背景
87.视频编解码标准主要是通过众所周知的itu
‑
t和iso/iec标准的发展而发展起来的。itu
‑
t制作了h.261和h.263，iso/iec制作了mpeg
‑
1和mpeg
‑
4可视化，并且这两个组织联合制作了h.262/mpeg
‑
2视频和h.264/mpeg
‑
4高级视频编解码(advanced video coding，avc)和h.265/hevc标准。自h.262以来，视频编解码标准基于混合视频编解码结构，其中利用了时域预测加变换编解码。为了探索hevc以外的未来视频编解码技术，vceg和mpeg于2015年联合成立了联合视频探索小组(joint video exploration team，jvet)。自那以后，jvet采用了许多新方法，并将其放入命名为联合探索模型(joint exploration model，jem)的参考软件中。在2018年4月，vceg(q6/16)和iso/iec jtc1 sc29/wg11(mpeg)之间的联合视频专家小组(joint video expert team，jvet)成立，以致力于vvc标准，目标是与hevc相比比特率降低50％。
88.2.1 hevc/vvc的帧间预测
89.插值滤波器
90.在hevc，亮度子样点由8抽头插值滤波器生成，并且色度子样点由4抽头插值滤波器生成。
91.滤波器在两个维度上是可分离的。样点先水平过滤，然后垂直过滤。
92.2.2基于子块的预测技术
93.基于子块的预测首先由hevc附录i(3d
‑
hevc)引入视频编解码标准。利用基于子块
的预测，诸如编解码单元(cu)或预测单元(prediction unit，pu)的块被分成几个非重叠子块。不同的子块可以被分配不同的运动信息，诸如参考索引或运动矢量(motion vector，mv)，并且对每个子块单独执行运动补偿(motion compensation，mc)。图1展示了基于子块的预测的概念。
94.为了探索hevc以外的未来视频编解码技术，vceg和mpeg于2015年联合成立了联合视频探索小组(jvet)。自那以后，jvet采用了许多新方法，并将其放入命名为联合探索模型(jem)的参考软件中。
95.在jem中，基于子块的预测被用于多种编解码工具，诸如仿射预测、可选时域运动矢量预测(alternative temporal motion vector prediction，atmvp)、空时运动矢量预测(spatial
‑
temporal motion vector prediction，stmvp)、双向光流(bi
‑
directional optical flow，bio)和帧速率上转换(frame
‑
rate up conversion，fruc)。仿射预测也被采用进vvc。
96.2.3仿射预测
97.在hevc中，只有平移运动模型被应用于运动补偿预测(motion compensation prediction，mcp)。而在现实世界中，有许多种运动，例如放大/缩小、旋转、透视运动和其他不规则运动。在vvc中，应用简化的仿射变换运动补偿预测。如图2a和图2b所示，块的仿射运动场由两个(在4参数仿射模型中)或三个(在6参数仿射模型中)控制点运动矢量来描述。
98.块的运动矢量场(mvf)分别用等式(1)中的4参数仿射模型(其中，4参数被定义为变量a、b、e和f)和等式(2)中的6参数仿射模型(其中，4参数被定义为变量a、b、c、d、e和f)由以下等式描述：
[0099][0100][0101]
其中，(mv
h0
,mv
h0
)是左上角控制点(control point，cp)的运动矢量，(mv
h1
,mv
h1
)是右上角控制点的运动矢量，并且(mv
h2
,mv
h2
)是左下角控制点的运动矢量，所有这三个运动矢量都被称为控制点运动矢量(control point motion vector，cpmv)，(x，y)表示代表性点相对于当前块内的左上方样点的坐标。cp运动矢量可以用信令通知(像在仿射amvp模式中)或者即时推导(像在仿射merge模式中)。w和h是当前块的宽度和高度。实际上，除法是通过右移和取整运算来实施的。在vtm中，代表性点被定义为子块的中心位置，例如，当子块的左上角相对于当前块内的左上方样点的坐标是(xs,ys)时，代表性点的坐标被定义为(xs 2,ys 2)。
[0102]
在无除法设计中，等式(1)和(2)被实施为：
[0103]
[0104]
对于(1)中所示的4参数仿射模型：
[0105][0106]
对于(2)中所示的6参数仿射模型：
[0107][0108]
最终，
[0109][0110][0111]
其中，s表示计算精度。例如，在vvc中，s＝7。在vvc中，在mc中用于具有(xs,ys)处的左上方样点的子块的mv由等式(6)计算，其中x＝xs 2，并且y＝ys 2。
[0112]
为了推导每个4
×
4子块的运动矢量，如图3所示，根据等式(1)或(2)计算每个子块的中心样点的运动矢量，并取整到1/16的分数精确度。然后，应用运动补偿插值滤波器以用推导的运动矢量生成每个子块的预测。
[0113]
仿射模型可以从空域邻近仿射编解码块(诸如左侧、上侧、右上侧、左下和左上侧邻近块)继承，如图4a所示。例如，如果在仿射模式下编解码图4a中的邻域左下侧块a，如由图4b中的a0表示的，则提取包含块a的邻近cu/pu的左上角、右上角和左下角的控制点(cp)运动矢量mv
0n
、mv
1n
和mv
2n
。并且基于mv
0n
、mv
1n
和mv
2n
计算当前cu/pu上的左上角/右上侧/左下侧的运动矢量mv
0c
、mv
1c
和mv
2c
(仅用于6参数仿射模型)。应当注意，在vtm
‑
2.0中，如果当前块是仿射编解码的，则子块(例如，vtm中的4
×
4块)lt存储mv0，rt存储mv1。如果当前块是用6参数仿射模型编解码的，则lb存储mv2；否则(用4参数仿射模型)，lb存储mv2’。其他子块存储用于mc的mv。
[0114]
应当注意，当cu是用仿射merge模式(例如，在af_merge模式下)编解码的时，它从有效邻域重构块得到用仿射模式编解码的第一块。并且候选块的选择顺序是从左侧、上侧、右上侧、左下侧到左上侧，如图4a所示。
[0115]
在仿射merge模式下，可将当前块的推导的cp mv mv
0c
、mv
1c
和mv
2c
用作cp mv。或者它们可以在vvc中用作仿射帧间模式的mvp。应当注意，对于merge模式，如果当前块是用仿射模式编解码的，则在推导当前块的cp mv之后，当前块可以被进一步划分为多个子块，并且每个块将基于当前块的推导的cp mv来推导其运动信息。
[0116]
2.4 jvet中的示例实施例
[0117]
不同于其中仅一个仿射空域邻近块可以用于推导块的仿射运动的vtm。在一些实施例中，为af_merge模式构建单独的仿射候选列表。
[0118]
1)将继承的仿射候选插入到候选列表中
[0119]
继承的仿射候选是指候选是从用仿射模式编解码的有效邻域重构块中推导的。如
图5所示，候选块的扫描顺序是a1、b1、b0、a0和b2。当选择一个块(例如a1)时，应用两步过程：
[0120]
1.a首先，使用覆盖该块的cu的三个角运动矢量来推导当前块的两个/三个控制点。
[0121]
1.b基于当前块的控制点来推导当前块内的每个子块的子块运动。
[0122]
2)插入构建的仿射候选
[0123]
如果仿射merge候选列表中的候选数量小于maxnumaffinecand，则将构建的仿射候选插入到候选列表中。
[0124]
构建的仿射候选意味着候选是通过组合每个控制点的邻域运动信息而构建的。
[0125]
控制点的运动信息首先从图5所示的指定的空域邻域和时域邻域中推导。cpk(k＝1、2、3、4)表示第k个控制点。a0、a1、a2、b0、b1、b2和b3是用于预测cpk(k＝1、2、3)的空域位置；t是用于预测cp4的时域位置。
[0126]
cp1、cp2、cp3和cp4的坐标分别是(0,0)、(w,0)、(h,0)和(w,h)，其中w和h是当前块的宽度和高度。
[0127]
每个控制点的运动信息根据以下优先级顺序而获得：
[0128]
2.a对于cp1，检查优先级为b2→
b3→
a2。如果b2可用，则使用b2。否则，如果b2可用，则使用b3。如果b2和b3都不可用，则使用a2。如果所有三个候选都不可用，就无法获得cp1的运动信息。
[0129]
2.b对于cp2，检查优先级为b1
→
b0；
[0130]
2.c对于cp3，检查优先级为a1
→
a0；
[0131]
2.d对于cp4，使用t。
[0132]
其次，使用控制点的组合来构建运动模型。
[0133]
需要三个控制点的运动矢量来计算6参数仿射模型中的变换参数。三个控制点可以从以下四个组合之一选择({cp1,cp2,cp4}、{cp1,cp2,cp3}、{cp2,cp3,cp4}、{cp1,cp3,cp4})。例如，使用cp1、cp2和cp3控制点来构建6参数仿射运动模型，表示为affine(cp1,cp2,cp3)。
[0134]
需要两个控制点的运动矢量来计算4参数仿射模型中的变换参数。两个控制点可以从以下六个组合之一选择({cp1,cp4}、{cp2,cp3}、{cp1,cp2}、{cp2,cp4}、{cp1,cp3}、{cp3,cp4})。例如，使用cp1和cp2控制点来构建4参数仿射运动模型，表示为affine(cp1,cp2)。
[0135]
构建的仿射候选的组合按以下顺序插入到候选列表中：{cp1,cp2,cp3}、{cp1,cp2,cp4}、{cp1,cp3,cp4}、{cp2,cp3,cp4}、{cp1,cp2}、{cp1,cp3}、{cp2,cp3}、{cp1,cp4}、{cp2,cp4}、{cp3,cp4}
[0136]
3)插入零运动矢量
[0137]
如果仿射merge候选列表中的候选数量小于maxnumaffinecand，则零运动矢量被插入到候选列表中，直到列表满为止。
[0138]
2.5仿射merge候选列表
[0139]
2.5.1仿射merge模式
[0140]
在vtm
‑
2.0.1的仿射merge模式中，只有第一可用仿射邻域可以用于推导仿射merge模式的运动信息。在jvet
‑
l0366中，仿射merge模式的候选列表通过搜索有效仿射邻
域并组合每个控制点的邻域运动信息而构建。
[0141]
仿射merge候选列表如以下步骤而构建：
[0142]
1)插入继承的仿射候选
[0143]
继承的仿射候选意味着候选是从其有效邻域仿射编解码块的仿射运动模型推导的。在公共基础中，如图5所示，候选位置的扫描顺序是：a1、b1、b0、a0和b2。
[0144]
在推导候选之后，执行完整的修剪过程，以检查是否已将相同的候选插入到列表中。如果存在相同的候选，则推导的候选被丢弃。
[0145]
2)插入构建的仿射候选
[0146]
如果仿射merge候选列表中的候选数量小于maxnumaffinecand(在该贡献中设置为5)，则将构建的仿射候选插入到候选列表中。构建的仿射候选意味着候选是通过组合每个控制点的邻域运动信息而构建的。
[0147]
控制点的运动信息首先从指定的空域邻域和时域邻域推导。cpk(k＝1、2、3、4)表示第k个控制点。a0、a1、a2、b0、b1、b2和b3是用于预测cpk(k＝1、2、3)的空域位置；t是用于预测cp4的时域位置。
[0148]
cp1、cp2、cp3和cp4的坐标分别是(0,0)、(w,0)、(h,0)和(w,h)，其中w和h是当前块的宽度和高度。
[0149]
每个控制点的运动信息根据以下优先级顺序而获得：
[0150]
对于cp1，检查优先级为b2→
b3→
a2。如果b2可用，则使用b2。否则，如果b2可用，则使用b3。如果b2和b3都不可用，则使用a2。如果所有三个候选都不可用，就无法获得cp1的运动信息。
[0151]
对于cp2，检查优先级为b1
→
b0；
[0152]
对于cp3，检查优先级为a1
→
a0；
[0153]
对于cp4，使用t。
[0154]
其次，使用控制点的组合来构建仿射merge候选。
[0155]
需要三个控制点的运动信息来构建6参数仿射候选。三个控制点可以从以下四个组合之一选择({cp1,cp2,cp4}、{cp1,cp2,cp3}、{cp2,cp3,cp4}、{cp1,cp3,cp4})。组合{cp1,cp2,cp3}、{cp2,cp3,cp4}、{cp1,cp3,cp4}将被转换为由左上方、右上方和左下方控制点表示的6参数运动模型。
[0156]
需要两个控制点的运动信息来构建4参数仿射候选。两个控制点可以从以下六个组合之一选择({cp1,cp4}、{cp2,cp3}、{cp1,cp2}、{cp2,cp4}、{cp1,cp3}、{cp3,cp4})。组合{cp1,cp4}、{cp2,cp3}、{cp2,cp4}、{cp1,cp3}、{cp3,cp4}将被转换为由左上方和右上方控制点表示的4参数运动模型。
[0157]
构建的仿射候选的组合如以下顺序插入到候选列表中：
[0158]
{cp1,cp2,cp3}、{cp1,cp2,cp4}、{cp1,cp3,cp4}、{cp2,cp3,cp4}、{cp1,cp2}、{cp1,cp3}、{cp2,cp3}、{cp1,cp4}、{cp2,cp4}、{cp3,cp4}
[0159]
对于组合的参考列表x(x是0或1)，控制点中具有最高使用率的参考索引被选择作为列表x的参考索引，并且指向不同参考图片的运动矢量将被缩放。
[0160]
在推导候选之后，将执行完整的修剪过程，以检查是否已将相同的候选插入到列表中。如果存在相同的候选，则推导的候选被丢弃。
[0161]
3)用零运动矢量填充
[0162]
如果仿射merge候选列表中的候选数量少于5，则具有零参考索引的零运动矢量被插入到候选列表中，直到列表满为止。
[0163]
2.5.2示例仿射merge模式
[0164]
在一些实施例中，仿射merge模式可以简化如下：
[0165]
1)通过比较覆盖邻近位置的编解码单元，而不是比较vtm
‑
2.0.1中推导的仿射候选，简化了继承的仿射候选的修剪过程。多达2个继承的仿射候选被插入仿射merge列表。构建的仿射候选的修剪过程被完全移除。
[0166]
2)在构建的仿射候选中移除mv缩放操作。如果控制点的参考索引不同，则构建的运动模型被丢弃。
[0167]
3)构建的仿射候选的数量从10个减少到6个。
[0168]
4)在一些实施例中，利用诸如atmvp的子块预测的其他merge候选，也被放入仿射merge候选列表中。在这种情况下，仿射merge候选列表可以用诸如子块merge候选列表的一些其他名称来重命名。
[0169]
2.6示例仿射merge模式的控制点mv偏移
[0170]
基于第一仿射merge候选的cpmv偏移生成新的仿射merge候选。如果第一仿射merge候选启用4参数仿射模型，则通过偏移第一仿射merge候选的2个cpmv，为每个新的仿射merge候选推导2个cpmv；否则(启用6参数仿射模型)，则通过偏移第一个仿射merge候选的3个cpmv，为每个新的仿射merge候选推导3个cpmv。在单向预测中，cpmv偏移被应用于第一候选的cpmv。在具有相同方向上的列表0和列表1的双向预测中，cpmv偏移如下应用于第一候选：
[0171]
mv
new(l0),i
＝mv
old(l0)
mv
offset(i)
ꢀꢀꢀꢀ
等式(8)
[0172]
mv
new(l1),i
＝mv
old(l1)
mv
offset(i)
ꢀꢀꢀ
等式(9)
[0173]
在具有相反方向上的列表0和列表1的双向预测中，cpmv偏移如下应用于第一候选：
[0174]
mv
new(l0),i
＝mv
old(l0)
mv
offset(i)
ꢀꢀꢀ
等式(10)
[0175]
mv
new(l1),i
＝mv
old(l1)
‑
mv
offset(i)
ꢀꢀꢀꢀ
等式(11)
[0176]
具有不同偏移幅度的各种偏移方向可以用于生成新的仿射merge候选。已经测试了两种实施方式：
[0177]
(1)生成具有8个不同的偏移方向和2个不同的偏移幅度的16个新的仿射merge候选，如以下偏移集所示：
[0178]
偏移集＝{(4,0),(0,4),(
‑
4,0),(0,
‑
4),(
‑
4,
‑
4),(4,
‑
4),(4,4),(
‑
4,4),(8,0),(0,8),(
‑
8,0),(0,
‑
8),(
‑
8,
‑
8),(8,
‑
8),(8,8),(
‑
8,8)}。
[0179]
对于该设计，仿射merge列表增加到20。潜在仿射merge候选的数量总共为31个。
[0180]
(2)生成具有4个不同的偏移方向和1个偏移幅度的4个新的仿射merge候选，如以下偏移集所示：
[0181]
偏移集＝{(4,0),(0,4),(
‑
4,0),(0,
‑
4)}。
[0182]
仿射merge列表像vtm2.0.1一样保持为5。移除四个时域构建的仿射merge候选，以保持潜在仿射merge候选的数量不变，例如总共为15个。假设cpmv1、cpmv2、cpmv3和cpmv4的
坐标是(0，0)、(w，0)、(h，0)和(w，h)。注意，cpmv4是从如图6所示的时域mv推导的。移除的候选是以下四个时域相关的构建的仿射merge候选：{cp2，cp3，cp4}、{cp1，cp4}、{cp2，cp4}、{cp3，cp4}。
[0183]
2.7仿射运动补偿的带宽问题
[0184]
由于当前块被分成用于亮度分量的4
×
4子块和用于两个色度分量的2
×
2子块来进行运动补偿，因此总带宽要求远远高于非子块帧间预测。为了解决带宽问题，提出了几种方法。
[0185]
2.7.1示例1
[0186]
4x4块用作单向预测仿射编解码的cu的子块尺寸，而8x4/4x8块用作双向预测仿射编解码的cu的子块尺寸。
[0187]
2.7.2示例2
[0188]
对于仿射模式，仿射cu的子块运动矢量被约束在预定义的运动矢量场内。假设第一(左上方)子块的运动矢量是(v
0x
,v
0y
)，并且第二子块是(v
ix
,v
iy
)，v
ix
和v
iy
的值表现出以下约束：
[0189]
v
ix
∈[v
0x
‑
h,v
0x
h]
ꢀꢀꢀꢀꢀꢀꢀ
等式(12)
[0190]
v
iy
∈[v
0y
‑
v,v
0y
v]
ꢀꢀꢀꢀꢀ
等式(13)
[0191]
如果任何子块的运动矢量超过预定义的运动矢量场，则运动矢量被剪裁。图6给出了受约束的子块运动矢量的思想的说明。
[0192]
假设内存是按cu而不是按子块来检索的，则选择值h和v，这样在最坏的情况下，使得仿射cu的内存带宽不会超过8
×
8双向预测块的正常帧间mc的内存带宽。注意，h和v的值适应于cu的尺寸和单向预测或双向预测。
[0193]
2.7.3示例3
[0194]
为了减少仿射预测中的内存带宽要求，块内的每个8x8块被视为基本单元。8x8块内部的所有四个4x4子块的mv被约束，使得四个4x4子块mv的整数部分之间的最大差不超过1个像素。因此带宽为(8 7 1)*(8 7 1)/(8*8)＝4样点/像素。
[0195]
在一些情况下，在用仿射模型计算当前块内部的所有子块的mv之后，首先用对应的控制点mv替换包含控制点的子块的mv。这意味着，左上方、右上方和左下方子块的mv分别由左上方、右上方和左下方控制点mv替换。然后，对于当前块中的每个8x8块，所有四个4x4子块的mv被剪裁，以保证四个mv的整数部分之间的最大差不超过1个像素。这里应当注意的是，包含控制点的子块(左上方、右上方和左下方子块)使用对应的控制点mv来参与mv剪裁过程。在剪裁过程期间，右上方控制点的mv保持不变。
[0196]
应用于每个8x8块的剪裁过程描述如下：
[0197]
1.首先为每个8x8块确定mv分量的最大值和最小值mvminx、mvminy、mvmaxx、mvmaxy，如下所示：
[0198]
a)获得四个4x4子块mv当中的最小mv分量
[0199]
mvminx＝min(mvx0,mvx1,mvx2,mvx3)
[0200]
mvminy＝min(mvy0,mvy1,mvy2,mvy3)
[0201]
b)使用mvminx和mvminy的整数部分作为最小mv分量
[0202]
mvminx＝mvminx>>mv_precision<<mv_precision
[0203]
mvminy＝mvminy>>mv_precision<<mv_precision
[0204]
c)最大mv分量计算如下：
[0205]
mvmaxx＝mvminx (2<<mv_precision)
–1[0206]
mvmaxy＝mvminy (2<<mv_precision)
–1[0207]
d)如果右上方控制点在当前8x8块中
[0208]
如果(mv1x>mvmaxx)
[0209]
mvminx＝(mv1x>>mv_precision<<mv_precision)
–
(1<<mv_precision)
[0210]
mvmaxx＝mvminx (2<<mv_precision)
–1[0211]
如果(mv1y>mvmaxy)
[0212]
mvminy＝(mv1y>>mv_precision<<mv_precision)
–
(1<<mv_precision)
[0213]
mvmaxy＝mvminy (2<<mv_precision)
–1[0214]
2.该8x8块内的每个4x4块的mv分量按如下方式剪裁：
[0215]
mvxi＝max(mvminx,min(mvmaxx,mvxi))
[0216]
mvyi＝max(mvminy,min(mvmaxy,mvyi))
[0217]
其中(mvxi，mvyi)是一个8x8块内的第i子块的mv，其中i是0，1，2，3；(mv1x，mv1y)是右上方控制点的mv；mv_precision等于4，对应于1/16的运动矢量分数精确度。由于mvminx和mvmaxx(mvminy和mvmaxy)的整数部分之间的差是1个像素，所以四个4x4子块mv的整数部分之间的最大差不超过1个像素。
[0218]
在一些实施例中，也可以使用类似的方法来处理平面模式。
[0219]
2.7.4示例4
[0220]
在一些实施例中，对于最坏情况带宽减少的仿射模式的限制。为了保证仿射块的最坏情况带宽不差于inter_4x8/inter_8x4块或者甚至inter_9x9块，仿射控制点之间的运动矢量差被用来决定仿射块的子块尺寸是4x4还是8x8。
[0221]
最坏情况带宽减少的一般仿射限制
[0222]
仿射模式的内存带宽减少通过限制仿射控制点之间的运动矢量差(也称为控制点差)来控制。通常，如果控制点差满足以下限制，则仿射运动使用4x4子块(即4x4仿射模式)。否则，它将使用8x8子块(8x8仿射模式)。6参数和4参数模型的限制给定如下。
[0223]
为了推导不同块尺寸(wxh)的约束，控制点的运动矢量差被归一化为：
[0224][0225][0226][0227]
norm(v
2x
‑
v
0x
)＝(v
2x
‑
v
0x
)*128/h
ꢀꢀꢀꢀ
等式(14)
[0228]
在4参数仿射模型中，(v
2x
‑
v
0x
)和(v
2y
‑
v
0y
)设置如下：
[0229]
(v
2x
‑
v
0x
)＝
‑
(v
1y
‑
v
0y
)
[0230]
(v
2y
‑
v
0y
)＝
‑
(v
1x
‑
v
0x
)
ꢀꢀꢀꢀꢀ
等式(15)
[0231]
因此，(v
2x
‑
v
0x
)和(v
2y
‑
v
0y
)的规范给定如下：
[0232]
norm(v
2x
‑
v
0x
)＝
‑
norm(v
1y
‑
v
0y
)
[0233]
norm(v
2y
‑
v
0y
)＝norm(v
1x
‑
v
0x
)
ꢀꢀꢀꢀꢀꢀꢀ
等式(16)
[0234]
保证最坏情况带宽达到inter_4x8或inter_8x4的限制：
[0235]
|norm(v
1x
‑
v
0x
) norm(v
2x
‑
v
0x
) 128|
[0236]
|norm(v
1y
‑
v
0y
) norm(v
2y
‑
v
0y
) 128|
[0237]
|norm(v
1x
‑
v
0x
)
‑
norm(v
2x
‑
v
0x
)|
[0238]
|norm(v
1y
‑
v
0y
)
‑
norm(v
2y
‑
v
0y
)|
[0239]
＜128*3.25
ꢀꢀꢀꢀ
等式(17)
[0240]
其中，等式(18)的左手侧表示子仿射块的收缩或跨度级别，而(3.25)表示3.25个像素移动。
[0241]
保证最坏情况带宽达到inter_9x9的限制
[0242]
(4*norm(v
1x
‑
v
0x
)＞
‑
4*pel&& 4*norm(v
1x
‑
v
0x
)＜pel)&&
[0243]
(4*norm(v
1y
‑
v
0y
)＞
‑
pel&&4*norm(v
1y
‑
v
0y
)＜pel)&&
[0244]
(4*norm(v
2x
‑
v
0x
)＞
‑
pel&&4*norm(v
2x
‑
v
0x
)＜pel)&&
[0245]
(4*norm(v
2y
‑
v
0y
)＞
‑
4*pel&&4*norm(v
2y
‑
v
0y
)＜pel)&&
[0246]
((4*norm(v
1x
‑
v
0x
) 4*norm(v
2x
‑
v
0x
)＞
‑
4*pel)&&
[0247]
(4*norm(v
1x
‑
v
0x
) 4*norm(v
2x
‑
v
0x
)＜pel))&&
[0248]
((4*norm(v
1y
‑
v
0y
) 4*norm(v
2y
‑
v
0y
)＞
‑
4*pel)&&
[0249]
(4*norm(v
1y
‑
v
0y
) 4*norm(v
2y
‑
v
0y
)＜pel))
ꢀꢀ
等式(18)
[0250]
其中，pel＝128*16(128和16分别表示归一化因子和运动矢量精度)。
[0251]
2.8广义双向预测改进
[0252]
一些实施例改进了gbi的增益复杂度权衡，并被采用到bms2.1中。gbi也称为具有cu级别权重的双向预测(bcw)。bms2.1 gbi在双向预测模式下对来自l0和l1的预测值应用不相等的权重。在帧间预测模式中，基于速率失真优化(rate
‑
distortion optimization，rdo)来评估包括相等权重对(1/2，1/2)的多个权重对，并将所选权重对的gbi索引信令通知给解码器。在merge模式下，gbi索引是从邻近cu继承的。在bms2.1 gbi中，双向预测模式下的预测值生成如等式(19)中所示。
[0253]
p
gbi
＝(w0*p
l0
w1*p
l1
roundingoffset
gbi
)>>shiftnum
gbi
，
ꢀꢀ
等式(19)
[0254]
其中p
gbi
是gbi的最终预测值。w0和w1是所选的gbi权重对，并分别应用于列表0(l0)和列表1(l1)的预测值。roundingoffset
gbi
和shiftnum
gbi
用于归一化gbi中的最终预测值。支持的w1权重集为{
‑
1/4,3/8,1/2,5/8,5/4}，其中五个权重对应一个相等权重对和四个不相等权重对。混合增益，例如w1和w0之和，固定为1.0。因此，对应的w0权重集为{5/4,5/8,1/2,3/8,
‑
1/4}。权重对选择在cu级别。
[0255]
对于非低延迟图片，权重集尺寸从五减为三，其中w1权重集为{3/8,1/2,5/8}，并且w0权重集为{5/8,1/2,3/8}。非低延迟图片的权重集尺寸减小适用于bms2.1 gbi和本贡献中的所有gbi测试。
[0256]
在一些实施例中，在bms2.1中的现有gbi设计的基础上应用以下修改，以进一步改进gbi性能。
[0257]
2.8.1 gbi编码器错误修复
[0258]
为了减少gbi编码时间，在当前编码器设计中，编码器将存储从gbi权重等于4/8估
计的单向预测运动矢量，并将它们重新用于其他gbi权重的单向预测搜索。这种快速编码方法应用于平移运动模型和仿射运动模型两者。在vtm2.0中，采用了6参数仿射模型和4参数仿射模型。当gbi权重等于4/8时，bms2.1编码器存储单向预测仿射mv时，不区分4参数仿射模型和6参数仿射模型。因此，在用gbi权重4/8编码后，4参数仿射mv可能被6参数仿射mv覆写。对于其他gbi权重，存储的6参数仿射mv可用于4参数仿射me，或者存储的4参数仿射mv可用于6参数仿射me。所提出的gbi编码器错误修复是分离4参数和6参数仿射mv存储。当gbi权重等于4/8时，编码器基于仿射模型类型存储那些仿射mv，并且对于其他gbi权重，基于仿射模型类型重新使用对应的仿射mv。
[0259]
2.8.2 gbi的cu尺寸约束
[0260]
在该方法中，gbi对于小cu是禁用的。在帧间预测模式下，如果使用双向预测，并且cu面积小于128个亮度样点，则gbi被禁用而不需要任何信令通知。
[0261]
2.8.3利用gbi的merge模式
[0262]
在merge模式下，不信令通知gbi索引。相反，它是从它所合并到的邻近块继承的。当选择了tmvp候选时，则在该块中关闭gbi。
[0263]
2.8.4利用gbi的仿射预测
[0264]
当当前块用仿射预测编解码时，可以使用gbi。对于仿射帧间模式，信令通知gbi索引。对于仿射merge模式，gbi索引是从它所合并到的邻近块继承的。如果选择了构建的仿射模型，则在该块中关闭gbi。
[0265]
2.9示例帧间
‑
帧内预测模式(iip)
[0266]
利用帧间
‑
帧内预测模式(也称为组合帧间和帧内预测(ciip))，多假设预测组合了一个帧内预测和一个merge索引的预测。这种块被视为特殊的帧间编解码块。在merge cu中，当标志为真时，一个标志被信令通知merge模式，以从帧内候选列表中选择帧内模式。对于亮度分量，帧内候选列表从包括dc模式、平面模式、水平模式和垂直模式的4种帧内预测模式中推导，并且取决于块的形状，帧内候选列表的尺寸可以是3或4。当cu宽度大于cu高度的两倍时，水平模式不包括帧内模式列表，当cu高度大于cu宽度的两倍时，垂直模式从帧内模式列表中移除。使用加权平均来组合由帧内模式索引选择的一个帧内预测模式和由mege索引选择的一个mege索引的预测。对于色度分量，总是应用dm而不需要附加的信令通知。
[0267]
组合预测的权重描述如下。当选择dc模式或平面模式或者cb宽度或高度小于4时，应用相等的权重。对于cb宽度和高度大于或等于4的那些cb，当选择水平/垂直模式时，一个cb首先被垂直/水平划分为四个等面积区域。每个权重集(表示为(w_intra
i
,w_inter
i
)，其中i为1至4，并且(w_intra1,w_inter1)＝(6,2)，(w_intra2,w_inter2)＝(5,3)，(w_intra3,w_inter3)＝(3,5)，以及(w_intra4,w_inter4)＝(2,6))将应用于对应的区域。(w_intra1,w_inter1)用于最接近参考样点的区域，而(w_intra4,w_inter4)用于最远离参考样点的区域。然后，可以通过将两个加权预测相加并右移3位来计算组合预测。此外，可以保存用于预测值的帧内假设的帧内预测模式，以供随后的邻近cu引用。
[0268]
假设帧内和帧间预测值是pintra和pinter，并且加权因子分别是w_intra和w_inter。位置(x,y)处的预测值被计算为(pintra(x,y)*w_intra(x,y) pinter(x,y)*w_inter(x,y))>>n，其中w_intra(x,y) w_iner(x,y)＝2^n。
[0269]
iip编解码块中帧内预测模式的信令通知
[0270]
当使用帧间
‑
帧内模式时，四种允许的帧内预测模式(dc模式、平面模式、水平模式和垂直模式)之一被选择并信令通知。三种最可能模式(mpm)由左侧和上方的邻近块构成。帧内编解码邻近块或iip编解码邻近块的帧内预测模式被视为一个mpm。如果帧内预测模式不是四种允许的帧内预测模式中的一种，它将根据角度差取整到垂直模式或水平模式。邻近块必须在与当前块相同的ctu线上。
[0271]
假设当前块的宽度和高度是宽和高。如果w>2*h或h>2*w，则在帧间
‑
帧内模式中只能使用三种mpm中的一个。否则，所有四种有效的帧内预测模式都可以用于帧间
‑
帧内模式。
[0272]
应当注意，帧间
‑
帧内模式中的帧内预测模式不能用于预测正常帧内编解码块中的帧内预测模式。
[0273]
帧间
‑
帧内预测只能在w*h>＝64时使用。
[0274]
2.10示例三角形预测模式
[0275]
三角形预测模式(triangular prediction mode，tpm)的概念是引入一种用于运动补偿预测的新的三角形分割。如图7a
‑
7b所示，它在对角线方向或反对角线方向上将cu划分为两个三角形预测单元。使用从单向预测候选列表推导的其自己的单向预测运动矢量和参考帧索引，对cu中的每个三角形预测单元进行帧间预测。在预测三角形预测单元之后，对对角线边缘执行自适应加权处理。然后，将变换和量化过程应用于整个cu。请注意，该模式仅应用于跳过和merge模式。
[0276]
2.10.1 tpm的单向预测候选列表
[0277]
单向预测候选列表由五个单向预测运动矢量候选组成。如图8所示，它是从包括五个空域邻近块(1到5)和两个时域并置块(6到7)的七个邻近块推导的。按照单向预测运动矢量、双向预测运动矢量的l0运动矢量、双向预测运动矢量的l1运动矢量以及双向预测运动矢量的l0和l1运动矢量的平均运动矢量的顺序，收集七个邻近块的运动矢量并将其放入单向预测候选列表中。如果候选的数量少于五个，则零运动矢量被添加到列表中。添加到该列表中的候选运动被称为tpm候选运动。
[0278]
更具体地，涉及以下步骤：
[0279]
1)从a1、b1、b0、a0、b2、col和col2(对应于图8中的块1
‑
7)获得运动候选，而无需任何修剪操作。
[0280]
2)设置变量numcurrmergecand＝0。
[0281]
3)对于从a1、b1、b0、a0、b2、col和col2推导的每个运动候选，如果运动候选是单向预测的(来自列表0或列表1)，则将其添加到merge列表中，其中numcurrmergecand增加1。这种添加的候选运动被命名为“原始单向预测的候选”。应用完全修剪。
[0282]
4)对于从a1、b1、b0、a0、b2、col和col2推导的每个运动候选，并且numcurrmergecand小于5，如果运动候选是双向预测的，则来自列表0的运动信息被添加到merge列表中(即，被修改为来自列表0的单向预测)，并且numcurrmergecand增加1。这种添加的候选运动被命名为“截断的列表0预测的候选”。应用完全修剪。
[0283]
5)对于从a1、b1、b0、a0、b2、col和col2推导的每个运动候选，并且numcurrmergecand小于5，如果运动候选是双向预测的，则来自列表1的运动信息被添加到merge列表中(即，被修改为来自列表1的单向预测)，并且numcurrmergecand增加1。这种添加的候选运动被命名为“截断的列表1预测的候选”。应用完全修剪。
[0284]
6)对于从a1、b1、b0、a0、b2、col和col2推导的每个候选运动，并且numcurrmergecand小于5，如果候选运动是双向预测的，
[0285]
‑
如果列表0参考图片的条带量化参数(quantization parameter，qp)小于列表1参考图片的条带qp，则首先将列表1的运动信息缩放到列表0参考图片，并将两个mv(一个来自原始列表0，并且另一个是来自列表1的缩放后的mv)的平均添加到merge列表中，即，来自列表0运动候选的平均单向预测并且numcurrmergecand增加1。
[0286]
‑
否则，首先将列表0的运动信息缩放到列表1参考图片，并将两个mv(一个来自原始列表1，另一个是来自列表0的缩放后的最大值)的平均添加到merge列表中，即，来自列表1运动候选的平均单向预测并且numcurrmergecand增加1。
[0287]
应用完全修剪。
[0288]
7)如果numcurrmergecand小于5，则添加零运动矢量候选。
[0289]
2.11 vvc中的解码器侧运动矢量细化(dmvr)
[0290]
对于vvc中的dmvr，如图13所示地假设列表0和列表1之间的mvd镜像，并且执行双边匹配来细化mv，例如，在几个mvd候选当中找到最佳mvd。用mvl0(l0x,l0y)和mvl1(l1x,l1y)表示两个参考图片列表的mv。列表0的由(mvdx,mvdy)表示的可以最小化代价函数(例如，sad)的mvd被定义为最佳mvd。对于sad函数，它被定义为用列表0参考图片中的运动矢量(l0x mvdx,l0y mvdy)推导的列表0的参考块和用列表1参考图片中的运动矢量(l1x
‑
mvdx,l1y
‑
mvdy)推导的列表1的参考块之间的sad。
[0291]
运动矢量细化过程可以迭代两次。在每次迭代中，最多可以在两步中检查6个mvd(以整数像素精度)，如图14所示。在第一步中，检查mvd(0,0)、(
‑
1,0)、(1,0)、(0,
‑
1)、(0,1)。在第二步中，可以选择并进一步检查mvd(
‑
1,
‑
1)、(
‑
1,1)、(1,
‑
1)或(1,1)中的一个。假设函数sad(x,y)返回mvd(x,y)的sad值。在第二步中检查的mvd(用(mvdx,mvdy)表示)决定如下：
[0292]
mvdx＝
‑
1；
[0293]
mvdy＝
‑
1；
[0294]
如果(sad(1,0)<sad(
‑
1,0))
[0295]
mvdx＝1；
[0296]
如果(sad(0,1)<sad(0,
‑
1))
[0297]
mvdy＝1；
[0298]
在第一次迭代中，起始点是信令通知的mv，并且在第二次迭代中，起始点是信令通知的mv加上在第一次迭代中选择的最佳mvd。dmvr仅在一幅参考图片是前一幅图像而另一幅参考图片是后一幅图像，并且这两幅参考图片与当前图片具有相同的图片顺序计数距离的时候应用。
[0299]
为了进一步简化dmvr的过程，在一些实施例中可以实施以下主要特征：
[0300]
1.当列表0和列表1之间的(0，0)位置sad小于阈值时提前终止。
[0301]
2.当某个位置的列表0和列表1之间的sad为零时，提前终止。
[0302]
3.dmvr的块尺寸：w*h>＝64&&h>＝8，其中w和h是块的宽度和高度。
[0303]
4.对于cu尺寸>16*16的dmvr，将cu划分为16x16子块的倍数。如果只有cu的宽度或高度大于16，则它只在垂直或水平方向上划分。
[0304]
5.参考块尺寸(w 7)*(h 7)(对于亮度)。
[0305]
6.基于25点sad的整数像素搜索(例如(
‑
)2细化搜索范围，单级)
[0306]
7.基于双线性插值的dmvr。
[0307]
8.基于“参数误差曲面方程”的子像素细化。只有在最后一次mv细化迭代中最小sad代价不等于零且最佳mvd为(0,0)时，才执行该过程。
[0308]
9.亮度/色度mc w/参考块填充(如果需要)。
[0309]
10.细化的mv仅用于mc和tmvp。
[0310]
2.11.1 dmvr的使用
[0311]
当以下条件都为真时，可以启用dmvr：
[0312]
‑
sps中的dmvr启用标志(例如，sps_dmvr_enabled_flag)等于1。
[0313]
‑
tpm标志、帧间仿射标志和子块merge标志(atmvp或仿射merge)、mmvd标志都等于0。
[0314]
‑
merge标志等于1。
[0315]
‑
当前块是双向预测的，当前图片和列表1中的参考图片之间的图片顺序计数(picture order count，poc)距离等于列表0中的参考图片和当前图片之间的poc距离。
[0316]
‑
当前cu高度大于或等于8。
[0317]
‑
亮度样点数(cu宽度*高度)大于或等于64。
[0318]
2.11.2基于“参数误差曲面方程”的子像素细化
[0319]
该方法总结如下：
[0320]
1.仅当中心位置是给定迭代中的最佳代价位置时，才计算参数误差曲面拟合。
[0321]
2.中心位置代价和距离中心(
‑
1，0)、(0，
‑
1)、(1，0)和(0，1)位置处的代价用于拟合以下形式的2
‑
d抛物误差曲面方程
[0322]
e(x,y)＝a(x
‑
x0)2 b(y
‑
y0)2 c
[0323]
其中(x0,y0)对应于代价最小的位置，并且c对应于最小代价值。通过求解5个未知数的5个方程，(x0,y0)计算如下：
[0324]
x0＝(e(
‑
1,0)
‑
e(1,0))/(2(e(
‑
1,0) e(1,0)
‑
2e(0,0)))
[0325]
y0＝(e(0,
‑
1)
‑
e(0,1))/(2((e(0,
‑
1) e(0,1)
‑
2e(0,0))
[0326]
(x0,y0)可以通过调整执行除法的精度(例如计算商的位数)来计算到任何所需的子像素精度。对于1/16
th
像素精确度，仅需计算商的绝对值中的4位，这有助于每个cu所需的2个除法的基于快速移位减法的实施。
[0327]
3.计算出的(x0,y0)被加到整数距离细化mv以获得子像素精确细化增量mv。
[0328]
2.11.3 dmvr中所需的参考样点
[0329]
对于尺寸为w*h的块，假设最大允许mvd值为 /
‑
偏移(例如在vvc中为2)，并且滤波器尺寸为filtesize(例如在vvc中8个用于亮度，4个用于色度)，则需要(w 2*offset filtersize
–
1)*(h 2*offset filtersize
–
1)个参考样点。为了减少内存带宽，只提取中心(w filtersize
–
1)*(h filtersize
–
1)参考样点，并且通过重复提取的样点的边界来生成其他像素。8*8块的示例如图15所示，提取15*15个参考样点，并且重复提取的样点的边界以生成17*17区域。
[0330]
在运动矢量细化期间，使用这些参考样点执行双线性运动补偿。同时，也使用这些
参考样点来执行最终运动补偿。
[0331]
2.12不同块尺寸的带宽计算
[0332]
基于当前的8抽头亮度插值滤波器和4抽头色度插值滤波器，每个块单元(4：2：0颜色格式，一个mxn亮度块具有两个m/2x n/2色度块)的内存带宽如下表1所示。
[0333]
表1示例内存带宽
[0334][0335]
类似地，基于当前的8抽头亮度插值滤波器和4抽头色度插值滤波器，每个mxn亮度块单元的内存带宽如下表2所示。
[0336]
表2示例内存带宽
[0337]
[0338][0339]
因此，无论颜色格式如何，每个块尺寸的带宽要求按降序排列如下：
[0340]
4*4bi>4*8bi>4*16bi>4*4uni>8*8bi>4*32bi>4*64bi>4*128bi>8*16bi>4*8uni>8*32bi>
…
。
[0341]
2.12 vtm
‑
3.0中的运动矢量精度问题
[0342]
在vtm
‑
3.0中，存储中的mv精度为1/16亮度像素。当mv信令通知时，最好的精度是1/4亮度像素。
[0343]
3.由所公开的实施例解决的问题的示例
[0344]
1.针对仿射预测的带宽控制方法不够清晰，并且应当更加灵活。
[0345]
2.注意，在hevc设计中，内存带宽要求的最坏情况是8x8双向预测，甚至编解码单元(cu)可以以非对称预测模式而划分，诸如一个16x16划分为尺寸等于4x16和12x16的两个pu。在vvc中，由于新的qtbt分割结构，可以将一个cu设置为4x16，并且可以启用双向预测。与双向预测的8x8cu相比，双向预测的4x16 cu需要甚至更高的内存带宽。如何处理需要更高带宽的块尺寸(诸如4
×
16或16
×
4)是未知的。
[0346]
3.新的编解码工具，诸如gbi，引入了更多的线缓冲区问题
[0347]
4.帧间
‑
帧内模式需要更多内存和逻辑来信令通知帧间编解码块中使用的帧内预测模式。
[0348]
5. 1/16亮度像素mv精度需要更高的内存存储。
[0349]
6.为了在一个8x8块中内插四个4x4块，它需要提取(8 7 1)*(8 7 1)个参考像素，并且当与非仿射/非平面模式8x8块相比时，需要多大约14％的像素。
[0350]
7.混合帧内和帧间预测中的平均操作应与例如加权预测、局部照明补偿、obmc和三角形预测的其他编解码工具对齐，其中偏移在移位之前被添加。
[0351]
4.实施例的示例
[0352]
本文公开的技术可以减少仿射预测和其他新的编解码工具中所需的带宽和线缓冲区。
[0353]
以下描述应被视为解释一般概念的示例，不应以狭隘的方式进行解释。此外，这些实施例可以以任何方式而组合。
[0354]
在以下讨论中，仿射编解码的当前cu的宽度和高度分别是w和h。假设(运动补偿中的)插值滤波器抽头是n(例如，8、6、4或2)，并且当前块尺寸是wxh。
[0355]
仿射预测的带宽控制
[0356]
示例1：假设仿射编解码块中的子块sb的运动矢量是mv
sb
(表示为(mvx,mvy))，mv
sb
可以在相对于代表性运动矢量mv’(mv’x,mv’y)的特定范围内。
[0357]
在一些实施例中，mvx>＝mv’x
‑
dh0并且mvx<＝mv’x dh1并且mvy>＝mv’y
‑
dv0并且mvy<＝mv’y dv1，其中mv’＝(mv’x,mv’y)。在一些实施例中，dh0可以等于或不等于dh1；dv0可以等于或不等于dv1。在一些实施例中，dh0可以等于或不等于dv0；dh1可以等于或不等于dv1。在一些实施例中，dh0可以不等于dh1；dv0可以不等于dv1。在一些实施例中，可以诸如
在vps/sps/pps/条带头/片组头/片/ctu/cu/pu中从编码器向解码器信令通知dh0、dh1、dv0和dv1。在一些实施例中，对于不同的标准简表(profile)/级别/层级，可以不同地指定dh0、dh1、dv0和dv1。在一些实施例中，dh0、dh1、dv0和dv1可以取决于当前块的宽度和高度。在一些实施例中，dh0、dh1、dv0和dv1可以取决于当前块是单向预测还是双向预测。在一些实施例中，dh0、dh1、dv0和dv1可以取决于子块sb的位置。在一些实施例中，dh0、dh1、dv0和dv1可以取决于如何得到mv’。
[0358]
在一些实施例中，mv’可以是一个cpmv，诸如mv0、mv1或mv2。
[0359]
在一些实施例中，mv’可以是用于角子块之一的mc中的mv，诸如图3中的mv0’、mv1’或mv2’。
[0360]
在一些实施例中，mv’可以是用当前块的仿射模型针对当前块内部或外部的任何位置推导的mv。例如，它可以针对当前块的中心位置(例如，x＝w/2且y＝h/2)而推导。
[0361]
在一些实施例中，mv’可以是用于当前块的任何子块(诸如中心子块之一(图3所示的c0、c1、c2或c3))的mc中的mv。
[0362]
在一些实施例中，如果mv
sb
不满足约束，则mv
sb
应当被剪裁到有效范围。在一些实施例中，经剪裁的mv
sb
被存储到mv缓冲区中，其将用于预测随后的编解码块的mv。在一些实施例中，被剪裁之前的mv
sb
被存储到mv缓冲区中。
[0363]
在一些实施例中，如果mv
sb
不满足约束，则比特流被认为不符合标准(无效)。在一个示例中，可以在标准中指定mv
sb
必须或应当满足约束。任何符合的编码器都应遵循该约束，否则，编码器被视为不符合标准。
[0364]
在一些实施例中，mv
sb
和mv’可以用信令通知的mv精度(诸如四分之一像素精度)而表示。在一些实施例中，mv
sb
和mv’可以用存储mv精度(诸如1/16精度)而表示。在一些实施例中，mv
sb
和mv’可以取整到不同于信令通知的或存储精度的精度(诸如整数精度)。
[0365]
示例2：对于仿射编解码块，块内的每个mxn(诸如8x4、4x8或8x8)块被视为基本单元。mxn内部的所有4x4子块的mv被约束，使得四个4x4子块mv的整数部分之间的最大差不超过k像素。
[0366]
在一些实施例中，是否以及如何应用该约束取决于当前块是应用双向预测还是单向预测。例如，约束仅应用于双向预测，不应用于单向预测。作为另一示例，对于双向预测和单向预测，m、n和k是不同的。
[0367]
在一些实施例中，m、n和k可以取决于当前块的宽度和高度。
[0368]
在一些实施例中，可以诸如在vps/sps/pps/条带头/片组头/片/ctu/cu/pu中从编码器向解码器信令通知是否应用约束。例如，信令通知一个开/关标志以指示是否应用约束。作为另一示例，m、n和k是信令通知的。
[0369]
在一些实施例中，对于不同的标准简表/级别/层级，可以不同地指定m、n和k。
[0370]
示例3：对于不同的仿射编解码块，可以不同地计算子块的宽度和高度。
[0371]
在一些实施例中，对于用单向预测和双向预测的仿射编解码块，计算方法是不同的。在一个示例中，对于用单向预测的块，子块尺寸是固定的(诸如4x4、4x8或8x4)。在另一示例中，对于用双向预测的块，子块尺寸被计算。在这种情况下，对于两个不同的双向预测的仿射块，子块尺寸可以不同。
[0372]
在一些实施例中，对于双向预测的仿射块，来自参考列表0的子块的宽度和/或高
度以及来自参考列表1的子块的宽度和/或高度可以不同。在一个示例中，假设来自参考列表0的子块的宽度和高度分别被推导为wsb0和hsb0；来自参考列表1的子块的宽度和高度分别被推导为wsb1和hsb1。然后，参考列表0和参考列表1两者的子块的最终宽度和高度分别被计算为max(wsb0,wsb1)和max(hsb0,hsb1)。
[0373]
在一些实施例中，计算出的子块的宽度和高度仅应用于亮度分量。对于色度分量，它总是固定的，诸如4x4色度子块，其对应于具有4:2:0颜色格式的8x8亮度块。
[0374]
在一些实施例中，计算mvx
‑
mv’x和mvy
‑
mv’y以决定子块的宽度和高度。(mvx,mvy)和(mv’x,mv’y)在示例1中被定义。
[0375]
在一些实施例中，在计算中涉及的mv可以用信令通知的mv精度(诸如四分之一像素精度)而表示。在一个示例中，这些mv可以用存储mv精度(诸如1/16精度)而表示。作为另一示例，这些mv可以取整到不同于信令通知的或存储精度的精度(诸如整数精度)。
[0376]
在一些实施例中，可以诸如在vps/sps/pps/条带头/片组头/片/ctu/cu/pu中从编码器向解码器信令通知在计算中用于决定子块的宽度和高度的阈值。
[0377]
在一些实施例中，对于不同的标准简表/级别/层级，在计算中用于决定子块的宽度和高度的阈值可以不同。
[0378]
示例4：为了在一个w2xh2子块/块中内插w1xh1子块，首先提取(w2 n
–1–
pw)*(h2 n
–1–
ph)块，然后应用示例6中描述的像素填充方法(例如，边界像素重复方法)以生成更大的块，该更大的块然后用于内插w1xh1子块。例如，w2＝h2＝8，w1＝h1＝4，并且pw＝ph＝0。
[0379]
在一些实施例中，任何w1xh1子块的mv的整数部分可以用于提取整个w2xh2子块/块，因此可能需要不同的边界像素重复方法。例如，如果所有w1xh1子块mv的整数部分之间的最大差不超过1个像素，则左上方w1xh1子块的mv的整数部分用于提取整个w2xh2子块/块。参考块的右边界和底部边界被重复一次。作为另一示例，如果所有w1xh1子块mv的整数部分之间的最大差不超过1个像素，则右下方w1xh1子块的mv的整数部分用于提取整个w2xh2子块/块。参考块的左边界和顶部边界被重复一次。
[0380]
在一些实施例中，任何w1xh1子块的mv可以首先被修改，然后用于提取整个w2xh2子块/块，因此可能需要不同的边界像素重复方法。例如，如果所有w1xh1子块mv的整数部分之间的最大差不超过2个像素，则可以将左上方w1xh1子块的mv的整数部分加(1,1)(这里1意味着1个整数像素距离)，然后将其用于提取整个w2xh2子块/块。在这种情况下，参考块的左、右、顶部和底部边界被重复一次。作为另一示例，如果所有w1xh1子块mv的整数部分之间的最大差不超过2个像素，则可以将右下方w1xh1子块的mv的整数部分加(
‑
1,
‑
1)(这里1意味着1个整数像素距离)，然后将其用于提取整个w2xh2子块/块。在这种情况下，参考块的左、右、顶部和底部边界被重复一次。
[0381]
特定块尺寸的带宽控制
[0382]
示例5：如果当前块的w和h满足如下条件中的一个或多个，则双向预测不被允许。
[0383]
a.w等于t1并且h等于t2，或者h等于t1并且w等于t2。在一个示例中，t1＝4并且t2＝16。
[0384]
b.w等于t1并且h不大于t2，或者h等于t1并且w不大于t2。在一个示例中，t1＝4并且t2＝16。
[0385]
c.w不大于t1并且h不大于t2，或者h不大于t1并且w不大于t2。在一个示例中，t1＝
8并且t2＝8。在另一示例中，t1＝＝8，t2＝＝4。在又一示例中，t1＝＝4，t2＝＝4。
[0386]
在一些实施例中，可以对4x8块禁用双向预测。在一些实施例中，可以对8x4块禁用双向预测。在一些实施例中，可以对4x16块禁用双向预测。在一些实施例中，可以对16x4块禁用双向预测。在一些实施例中，可以对4x8、8x4块禁用双向预测。在一些实施例中，可以对4x16、16x4块禁用双向预测。在一些实施例中，可以对4x8、16x4块禁用双向预测。在一些实施例中，可以对4x16、8x4块禁用双向预测。在一些实施例中，可以对4xn块禁用双向预测，例如，n<＝16。在一些实施例中，可以对nx4块禁用双向预测，例如，n<＝16。在一些实施例中，可以对8xn块禁用双向预测，例如，n<＝16。在一些实施例中，可以对nx8块禁用双向预测，例如，n<＝16。在一些实施例中，可以对4x8、8x4、4x16块禁用双向预测。在一些实施例中，可以对4x8、8x4、16x4块禁用双向预测。在一些实施例中，可以对8x4、4x16、16x4块禁用双向预测。在一些实施例中，可以对4x8、8x4、4x16、16x4块禁用双向预测。
[0387]
在一些实施例中，本文档中公开的块尺寸可以指一种颜色分量，诸如亮度分量，并且关于是否禁用双向预测的决定可以应用于所有颜色分量。例如，如果根据块的亮度分量的块尺寸禁用双向预测，则也将对其他颜色分量的对应块禁用双向预测。在一些实施例中，本文档中公开的块尺寸可以指一种颜色分量，诸如亮度分量，并且关于是否禁用双向预测的决定只能应用于该颜色分量。
[0388]
在一些实施例中，如果对块禁用了双向预测，并且所选的merge候选是双向预测的，则来自merge候选的参考列表0或参考列表1的仅一个mv被分配给该块。
[0389]
在一些实施例中，如果对块禁用了双向预测，则针对该块不允许三角形预测模式(tpm)。
[0390]
在一些实施例中，如何信令通知预测方向(来自列表0/1的单向预测，双向预测)可以取决于块大小。在一个示例中，当1)块宽度*块高度<64或者2)块宽度*块高度＝64但宽度不等于高度时，可以信令通知来自列表0/1的单向预测的指示。作为另一示例，当1)块宽度*块高度>64或者2)n宽度*块高度＝64并且宽度等于高度时，可以信令通知来自列表0/1的单向预测或者双向预测的指示。
[0391]
在一些实施例中，可以对4x4块禁用单向预测和双向预测两者。在一些实施例中，它可以针对仿射编解码块而禁用。可选地，它可以针对非仿射编解码块而禁用。在一些实施例中，可以跳过8x8块的四叉树划分、8x4或4x8块的二叉树划分、4x16或16x4块的三叉树划分的指示。在一些实施例中，4x4块必须被编解码为帧内块。在一些实施例中，4x4块的mv必须为整数精度。例如，4x4块的imv标志必须为1。作为另一示例，4x4块的mv必须取整到整数精度。
[0392]
在一些实施例中，双向预测被允许。然而，假设插值滤波器抽头是n，仅提取(w n
–1–
pw)*(w n
–1–
ph)个参考像素，而不是提取(w n
–
1)*(h n
–
1)个参考像素。同时，参考块边界(顶部、左、底部和右边界)处的像素被重复以生成如图9所示的(w n
–
1)*(h n
–
1)块，该块用于最终插值。在一些实施例中，ph为零，并且仅左边界或/和右边界被重复。在一些实施例中，pw为零，并且仅顶部边界或/和底部边界被重复。在一些实施例中，pw和ph两者都大于零，并且首先左边界或/和右边界被重复，然后顶部边界或/和底部边界被重复。在一些实施例中，pw和ph两者都大于零，并且首先顶部边界或/和底部边界被重复，然后左边界和右边界被重复。在一些实施例中，左边界被重复m1次，并且右边界被重复pw
–
m1次。在一些实施例
中，顶部边界被重复m2次，并且底部边界被重复ph
–
m2次。在一些实施例中，这样的边界像素重复方法可以应用于一些或所有参考块。在一些实施例中，对于不同的颜色分量，诸如y、cb和cr，pw和ph可以不同。
[0393]
图9示出了插值之前的参考块的重复边界像素的示例。
[0394]
示例6：在一些实施例中，(w n
–1–
pw)*(w n
–1–
ph)个参考像素(而不是(w n
–
1)*(h n
–
1)个参考像素)可以被提取以用于wxh块的运动补偿。在范围(w n
–1–
pw)*(w n
–1–
ph)之外但在范围(w n
–
1)*(h n
–
1)内部的样点被填充以进行插值过程。在一种填充方法中，参考块边界(顶部、左、底部和右边界)处的像素被重复以生成如图11所示的(w n
–
1)*(h n
–
1)块，该块用于最终插值。
[0395]
在一些实施例中，ph为零，并且仅左边界或/和右边界被重复。
[0396]
在一些实施例中，pw为零，并且仅顶部边界或/和底部边界被重复。
[0397]
在一些实施例中，pw和ph两者都大于零，并且首先左边界或/和右边界被重复，然后顶部边界或/和底部边界被重复。
[0398]
在一些实施例中，pw和ph两者都大于零，并且首先顶部边界或/和底部边界被重复，然后左边界和右边界被重复。
[0399]
在一些实施例中，左边界被重复m1次，并且右边界被重复pw
–
m1次。
[0400]
在一些实施例中，顶部边界被重复m2次，并且底部边界被重复ph
–
m2次。
[0401]
在一些实施例中，这样的边界像素重复方法可以应用于一些或所有参考块。
[0402]
在一些实施例中，对于不同的颜色分量，诸如y、cb和cr，pw和ph可以不同。
[0403]
在一些实施例中，对于不同的块尺寸或形状，pw和ph可以不同。
[0404]
在一些实施例中，对于单向预测和双向预测，pw和ph可以不同。
[0405]
在一些实施例中，填充可以不在仿射模式下执行。
[0406]
在一些实施例中，在范围(w n
–1–
pw)*(w n
–1–
ph)之外但在范围(w n
–
1)*(h n
–
1)内部的样点被设置为单个值。在一些实施例中，单个值是1<<(bd
‑
1)，其中bd是样点的比特深度，诸如8或10。在一些实施例中，在vps/sps/pps/条带头/片组头/片/ctu行/ctu/cu/pu中从编码器向解码器信令通知单个值。在一些实施例中，单个值是从范围(w n
–1–
pw)*(w n
–1–
ph)内部的样点推导的。
[0407]
示例7：可以提取(w filtersize
–1–
pw)*(h filtersize
–1–
ph)个参考样点，而不是在dmvr中提取(w filtersize
–
1)*(h filtersize
–
1)个参考样点，并且可以通过重复提取的参考样点的边界来生成所有其他所需的样点，其中pw>＝0，并且ph>＝0。
[0408]
在一些实施例中，在示例6中提出的方法可以用于填充非提取的样点。
[0409]
在一些实施例中，在dmvr的最终运动补偿中，可以不再次执行填充。
[0410]
在一些实施例中，是否应用以上方法可以取决于块大小。
[0411]
示例8：inter_pred_idc的信令通知方法可以取决于w和h是否满足示例5中的条件。下表3示出了一个示例：
[0412]
表3
[0413][0414]
下表4示出了另一示例：
[0415]
表4
[0416][0417]
下表5示出了又一示例：
[0418]
表5
[0419][0420]
示例9：merge候选列表构建过程可以取决于w和h是否满足示例4中的条件。以下实施例描述了w和h满足条件时的情况。
[0421]
在一些实施例中，如果一个merge候选使用双向预测，则仅保留来自参考列表0的预测，并且merge候选被视为参考参考列表0的单向预测。
[0422]
在一些实施例中，如果一个merge候选使用双向预测，则仅保留来自参考列表1的预测，并且merge候选被视为参考参考列表1的单向预测。
[0423]
在一些实施例中，如果一个merge候选使用双向预测，则该候选被视为不可用。也就是说，这样的merge候选从merge列表中移除。
[0424]
在一些实施例中，改为使用用于三角形预测模式的merge候选列表构建过程。
[0425]
示例10：编解码树划分过程可以取决于划分后的子cu的宽度和高度是否满足示例5中的条件。
[0426]
在一些实施例中，如果划分后的子cu的宽度和高度满足示例5中的条件，则不允许划分。在一些实施例中，编解码树划分的信令通知可以取决于是否允许一种划分。在一个示例中，如果不允许一种划分，则省略表示划分的码字。
[0427]
示例11：跳过标志或/和帧内块复制(intra block copy，ibc)标志的信令通知可以取决于块的宽度和/或高度是否满足特定条件(例如，示例5中提到的条件)。
[0428]
在一些实施例中，条件是亮度块包含不超过x个样点。例如，x＝16；
[0429]
在一些实施例中，条件是亮度块包含x个样点。例如，x＝16。
[0430]
在一些实施例中，条件是亮度块的宽度和高度都等于x。例如，x＝4；
[0431]
在一些实施例中，当以上条件中的一个或一些为真时，针对这样的块不允许帧间模式和/或ibc模式。
[0432]
在一些实施例中，如果针对块不允许帧间模式，则可以不为其信令通知跳过标志。此外，可选地，跳过标志可以被推断为假。
[0433]
在一些实施例中，如果针对块不允许帧间模式和ibc模式，则可以不为其信令通知跳过标志，并且该跳过标志可以被隐式地推导为假(例如，块被推导为在非跳过模式下而编解码)。
[0434]
在一些实施例中，如果针对块不允许帧间模式，但是针对该块允许ibc模式，则仍然可以信令通知跳过标志。在一些实施例中，如果块在跳过模式下而编解码，则可以不信令通知ibc标志，并且ibc标志被隐式地推导为真(例如，块被推导为在ibc模式下而编解码)。
[0435]
示例12：预测模式的信令通知可以取决于块的宽度和/或高度是否满足特定条件(例如，示例5中提到的条件)。
[0436]
在一些实施例中，条件是亮度块包含不超过1x6个样点，例如，x＝16。
[0437]
在一些实施例中，条件是亮度块包含x个样点，例如，x＝16。
[0438]
在一些实施例中，条件是亮度块的宽度和高度都等于x，例如，x＝4。
[0439]
在一些实施例中，当以上条件中的一个或一些为真时，针对这样的块不允许帧间模式和/或ibc模式。
[0440]
在一些实施例中，可以跳过特定模式的指示的信令通知。
[0441]
在一些实施例中，如果针对块不允许帧间模式和ibc模式，则跳过帧间模式和ibc模式的指示的信令通知，仍然可以信令通知剩余的允许的模式，诸如是帧内模式还是调色板(palette)模式。
[0442]
在一些实施例中，如果针对块不允许帧间模式和ibc模式，则可以不信令通知预测模式。此外，可选地，预测模式可以被隐式地推导为帧内模式。
[0443]
在一些实施例中，如果针对块不允许帧间模式，则跳过帧间模式的指示的信令通知，仍然可以信令通知剩余的允许的模式，诸如是帧内模式还是ibc模式。可选地，仍然可以信令通知剩余的允许的模式，诸如是帧内模式还是ibc模式还是调色板模式。
[0444]
在一些实施例中，如果针对块不允许帧间模式，但针对其允许ibc模式和帧内模式，则可以信令通知ibc标志以指示块是否在ibc模式下被编解码。此外，可选地，可以不信令通知预测模式。
[0445]
示例13：三角形模式的信令通知可以取决于块的宽度和/或高度是否满足特定条件(例如，示例5中提到的条件)。
[0446]
在一些实施例中，条件是亮度块尺寸是一些特定尺寸之一。例如，特定尺寸可以包括4x16或/和16x4。
[0447]
在一些实施例中，当以上条件为真时，可以不允许三角形模式，并且指示当前块是否在三角形模式下被编解码的标志可以不被信令通知并且可以被推导为假。
[0448]
示例14：帧间预测方向的信令通知可以取决于块的宽度和/或高度是否满足特定条件(例如，示例5中提到的条件)。
[0449]
在一些实施例中，条件是亮度块尺寸是一些特定尺寸之一。例如，特定尺寸可以包括8x4或/和4x8或/和4x16或/和16x4。
[0450]
在一些实施例中，当以上条件为真时，该块可以仅是单向预测的，并且指示当前块是否是双向预测的标志可以不被信令通知并且可以被推导为假。
[0451]
示例15：smvd(对称mvd)标志的信令可以取决于块的宽度和/或高度是否满足特定条件(例如，示例5中提到的条件)。
[0452]
在一些实施例中，条件是亮度块尺寸是一些特定尺寸之一。在一些实施例中，条件被定义为块尺寸是否具有不超过32个样点。在一些实施例中，条件被定义为块尺寸是4x8还是8x4。在一些实施例中，条件被定义为块尺寸是4x4、4x8还是8x4。在一些实施例中，特定尺寸可以包括8x4或/和4x8或/和4x16或/和16x4。
[0453]
在一些实施例中，当特定条件为真时，smvd的使用的指示(诸如smvd标志)可以不被信令通知并且可以被推导为假。例如，该块可以设置为单向预测的。
[0454]
在一些实施例中，当特定条件为真时，仍然可以信令通知smvd的使用的指示(诸如smvd标志)，然而，在运动补偿过程中可以仅利用列表0或列表1运动信息。
[0455]
示例16：运动矢量(类似于在常规merge模式、atmvp模式、mmvd merge模式、mmvd跳过模式等中推导的运动矢量)或用于ibc的块矢量，可以根据块的宽度和/或高度是否满足特定条件而修改。
[0456]
在一些实施例中，条件是亮度块尺寸是一些特定尺寸之一。例如，特定尺寸可以包括8x4或/和4x8或/和4x16或/和16x4。
[0457]
在一些实施例中，当上述条件为真时，如果推导的运动信息是双向预测(例如，从具有一些偏移的邻近块继承的)，则块的运动矢量或块矢量可以被改变为单向运动矢量。这样的过程称为转换过程，并且最终的单向运动矢量称为“转换后的单向”运动矢量。在一些实施例中，可以保持参考图片列表x(例如，x是0或1)的运动信息，并且可以丢弃该运动信息和列表y(y为1
‑
x)的运动信息。在一些实施例中，参考图片列表x(例如，x是0或1)的运动信息和列表y(y为1
‑
x)的运动信息可以被联合用于推导列表x的新运动候选点。在一个示例中，新运动候选的运动矢量可以是两个参考图片列表的平均运动矢量。作为另一示例，列表y的运动信息可以首先被缩放到列表x。然后新运动候选的运动矢量可以是两个参考图片列表的平均运动矢量。在一些实施例中，可以不使用预测方向x上的运动矢量(例如，预测方向x上的运动矢量被改变为(0,0)，并且预测方向x上的参考索引被改变为
‑
1)，并且预测方向可以被改变为1
–
x，x＝0或1。在一些实施例中，转换后的单向运动矢量可以用于更新hmvp查找表。在一些实施例中，推导的双向运动信息，例如转换为单向mv之前的双向mv，可以用于
更新hmvp查找表。在一些实施例中，转换后的单向运动矢量可以被存储并且可以用于随后的编解码块的运动预测、tmvp、去方块(deblock)等。在一些实施例中，推导的双向运动信息，例如，转换为单向mv之前的双向mv，可以被存储并且可以用于随后的编解码块的运动预测、tmvp、去方块等。在一些实施例中，转换后的单向运动矢量可以用于运动细化。在一些实施例中，推导的双向运动信息可以用于运动细化和/或样点细化，诸如利用光流方法。在一些实施例中，根据推导的双向运动信息生成的预测块可以首先被细化，之后，可以仅利用一个预测块来推导一个块的最终预测和/或重构块。
[0458]
在一些实施例中，当特定条件为真时，(双向预测的)运动矢量可以在用作mmvd中的基本merge候选之前被转换为单向运动矢量。
[0459]
在一些实施例中，当特定条件为真(例如，块的大小满足如上面示例5所指定的条件)时，(双向预测的)运动矢量可以在被插入到merge列表中之前被转换为单向运动矢量。
[0460]
在一些实施例中，转换后的单向运动矢量可以仅来自参考列表0。在一些实施例中，当当前条带/片组/图片是双向预测的时，转换后的单向运动矢量可以来自参考列表0或列表1。在一些实施例中，当当前条带/片组/图片是双向预测的时，来自参考列表0和列表1的转换后的单向运动矢量可以在merge列表或/和mmvd基本merge候选列表中交错(interleave)。
[0461]
在一些实施例中，如何将运动信息转换为单向运动矢量可以取决于参考图片。在一些实施例中，如果在显示顺序上一个视频数据单元(诸如片/片组)的所有参考图片都是过去的图片，则可以利用列表1运动信息。在一些实施例中，如果在显示顺序上一个视频数据单元(诸如片/片组)的参考图片中的至少一个是过去的图片并且至少一个是未来的图片，则可以利用列表0运动信息。在一些实施例中，如何将运动信息转换为单向运动矢量可以取决于低延迟检查标志。
[0462]
在一些实施例中，转换过程可以恰好在运动补偿过程之前被调用。在一些实施例中，转换过程可以恰好在运动候选列表(例如，merge列表)构建过程之后被调用。在一些实施例中，转换过程可以在调用mmvd过程中的添加mvd过程之前被调用。也就是说，添加mvd过程遵循单向预测而不是双向预测的设计。在一些实施例中，转换过程可以在调用prof过程中的样点细化过程之前被调用。也就是说，添加mvd过程遵循单向预测而不是双向预测的设计。在一些实施例中，转换过程可以在调用bio(又名bdof)过程之前被调用。也就是说，对于一些情况，bio可以被禁用，因为它已经被转换为单向预测。在一些实施例中，转换过程可以在调用dmvr过程之前被调用。也就是说，对于一些情况，dmvr可以被禁用，因为它已经被转换为单向预测。
[0463]
示例17：在一些实施例中，如何生成运动候选列表可以取决于块大小，例如，如上面示例5所述的。
[0464]
在一些实施例中，对于某些块大小，可以将从空域块和/或时域块和/或hmvp和/或其他类型的运动候选推导的所有运动候选限制为单向预测的。
[0465]
在一些实施例中，对于某些块大小，如果从空域块和/或时域块和/或hmvp和/或其他类型的运动候选推导的一个运动候选是双向预测的，则它可以在被添加到候选列表之前首先被转换为单向预测的。
[0466]
示例18：是否允许共享merge列表可以取决于编码模式。
[0467]
在一些实施例中，对于以常规merge模式编解码的块，可以不允许共享merge列表，并且对于以ibc模式编解码的块，可以允许共享merge列表。
[0468]
在一些实施例中，当从父共享节点划分的一个块以常规merge模式而编解码时，可以在编码/解码该块之后禁用hmvp表的更新。
[0469]
示例19：在以上所公开的示例中，亮度块的块尺寸/宽度/高度也可以被改变为色度块(诸如cb、cr或g/b/r)的块尺寸/宽度/高度。
[0470]
gbi模式的线缓冲区减少
[0471]
示例20：gbi加权索引是否可以从邻近块继承或预测(包括cabac上下文选择)，取决于当前块的位置。
[0472]
在一些实施例中，gbi加权索引不能从与当前块不在相同的编解码树单元(ctu，又名最大编解码单元lcu)中的邻近块继承或预测。
[0473]
在一些实施例中，gbi加权索引不能从与当前块不在相同的ctu线或ctu行的邻近块继承或预测。
[0474]
在一些实施例中，gbi加权索引不能从不在作为当前块的m
×
n区域中的邻近块继承或预测。例如，m＝n＝64。在这种情况下，片/条带/图片被划分为多个非重叠mxn区域。
[0475]
在一些实施例中，gbi加权索引不能从与当前块不在相同的m
×
n区域线或m
×
n区域行中的邻近块继承或预测。例如，m＝n＝64。图10中描绘了ctu线/行和区域线/行。
[0476]
在一些实施例中，假设当前块的左上角(或任何其他位置)是(x,y)，邻近块的左上角(或任何其他位置)是(x’,y’)，那么如果满足以下条件之一，则其不能从邻近块继承或预测。
[0477]
(1)x/m！＝x’/m。例如，m＝128或64。
[0478]
(2)y/n！＝y’/n。例如，n＝128或64。
[0479]
(3)((x/m！＝x’/m)&&(y/n！＝y’/n))。例如，m＝n＝128或m＝n＝64。
[0480]
(4)((x/m！＝x’/m)||(y/n！＝y’/n))。例如，m＝n＝128或m＝n＝64。
[0481]
(5)x>>m！＝x’>>m。例如，m＝7或6。
[0482]
(6)y>>n！＝y’>>n。例如，n＝7或6。
[0483]
(7)((x>>m！＝x’>>m)&&(y>>n！＝y’>>n))。例如，m＝n＝7或m＝n＝6。
[0484]
(8)((x>>m！＝x’>>m)||(y>>n！＝y’>>n))。例如，m＝n＝7或m＝n＝6。
[0485]
在一些实施例中，在pps或条带头或片组头或片中信令通知标志，以指示gbi是否可以应用于图片/条带/片组/片中。在一些实施例中，可以为图片/条带/片组/片推导是否使用gbi以及如何使用gbi(诸如多少候选权重和权重的值)。在一些实施例中，该推导可以取决于诸如qp、时域层、poc距离等的信息。
[0486]
图10示出了ctu(区域)线的示例。阴影ctu(区域)在一条cut(区域)线上，未阴影ctu(区域)在另一条cut(区域)线上。
[0487]
帧间
‑
帧内预测(iip)的简化
[0488]
示例21：iip编解码块中的帧内预测模式的编解码是独立于iip编解码的邻近块的帧内预测模式而编解码的。
[0489]
在一些实施例中，仅帧内编解码块的帧内预测模式可以诸如在mpm列表构建过程期间用于iip编解码块的帧内预测模式的编解码。
[0490]
在一些实施例中，iip编解码块中的帧内预测模式在没有来自任何邻近块的模式预测的情况下被编解码。
[0491]
示例22：当iip编解码块的帧内预测模式和帧内编解码块的帧内预测模式都用于编解码新的iip编解码块的帧内预测模式时，iip编解码块的帧内预测模式的优先级可能低于帧内编解码块的帧内预测模式的优先级。
[0492]
在一些实施例中，当推导iip编解码块的mpm时，利用iip编解码块和帧内编解码的邻近块两者的帧内预测模式。然而，来自帧内编解码的邻近块的帧内预测模式可以在来自iip编解码的邻近块的帧内预测模式之前被插入到mpm列表中。
[0493]
在一些实施例中，来自帧内编解码的邻近块的帧内预测模式可以在来自iip编解码的邻近块的帧内预测模式之后被插入到mpm列表中。
[0494]
示例23：iip编解码块中的帧内预测模式也可以用于预测帧内编解码块的帧内预测模式。
[0495]
在一些实施例中，iip编解码块中的帧内预测模式可以用于推导正常帧内编解码块的mpm。在一些实施例中，当iip编解码块中的帧内预测模式和帧内编解码块中的帧内预测模式用于推导正常帧内编解码块的mpm时，iip编解码块中的帧内预测模式的优先级可能低于帧内编解码块中的帧内预测模式的优先级。
[0496]
在一些实施例中，仅当满足以下条件中的一个或多个时，iip编解码块中的帧内预测模式还可以用于预测正常帧内编解码块或iip编解码块的帧内预测模式：
[0497]
1.两个块在相同的ctu线中。
[0498]
2.两个块在相同的ctu中。
[0499]
3.两个块在相同的m
×
n区域中，诸如m＝n＝64。
[0500]
4.两个块在相同的m
×
n区域线中，诸如m＝n＝64。
[0501]
示例24：在一些实施例中，用于iip编解码块的mpm构建过程应当与用于正常帧内编解码块的mpm构建过程相同。
[0502]
在一些实施例中，六个mpm用于利用帧间
‑
帧内预测的帧间编解码块。
[0503]
在一些实施例中，只有部分mpm用于iip编解码块。在一些实施例中，总是使用第一个。此外，可选地，也没有必要信令通知mpm标志和mpm索引。在一些实施例中，可以利用前四个mpm。此外，可选地，没有必要信令通知mpm标志，但需要信令通知mpm索引。
[0504]
在一些实施例中，每个块可以根据被包括在mpm列表中的帧内预测模式从mpm列表中选择一个，诸如选择与给定模式(例如，平面)相比具有最小索引的模式。
[0505]
在一些实施例中，每个块可以从mpm列表中选择模式的子集，并且信令通知该子集中的模式索引。
[0506]
在一些实施例中，用于编解码帧内mpm模式的上下文被重新用于编解码iip编解码块中的帧内模式。在一些实施例中，用于编解码帧内mpm模式的不同上下文被用于编解码iip编解码块中的帧内模式。
[0507]
示例25：在一些实施例中，对于不包括水平方向和垂直方向的角度帧内预测模式，针对为iip编解码块生成的帧内预测块和帧间预测块使用相等的权重。
[0508]
示例26：在一些实施例中，对于特定位置，可以在iip编解码过程中应用零权重。
[0509]
在一些实施例中，零权重可以应用于在iip编解码过程中使用的帧内预测块。
[0510]
在一些实施例中，零权重可以应用于在iip编解码过程中使用的帧间预测块。
[0511]
示例27：在一些实施例中，无论当前块的尺寸如何，iip编解码块的帧内预测模式都只能被选择作为mpm中的一个。
[0512]
在一些实施例中，无论当前块的尺寸如何，都不会信令通知mpm标志并将其推断为1。
[0513]
示例28：对于iip编解码块，亮度预测色度模式(luma
‑
predict
‑
chroma mode，lm)模式代替推导的模式(derived mode，dm)用于进行色度分量的帧内预测。
[0514]
在一些实施例中，可以允许dm和lm两者。
[0515]
在一些实施例中，色度分量可以允许多种帧内预测模式。
[0516]
在一些实施例中，是否允许色度分量的多种模式可以取决于颜色格式。在一个示例中，对于4:4:4颜色格式，允许的色度帧内预测模式可以与亮度分量的相同。
[0517]
示例29：在如下一个或多个特定情况下，可以不允许帧间
‑
帧内预测：
[0518]
a.w＝＝t1||h＝＝t1，例如，t1＝4
[0519]
b.w>t1||h>t1，例如，t1＝64
[0520]
c.(w＝＝t1&&h＝＝t2)||(w＝＝t2&&h＝＝t1)，例如，t1＝4，t2＝16。
[0521]
示例30：对于利用双向预测的块，可以不允许帧间
‑
帧内预测。
[0522]
在一些实施例中，如果iip编解码块的所选的merge候选使用双向预测，则其将被转换为单向预测merge候选。在一些实施例中，仅保留来自参考列表0的预测，并且merge候选被视为参考参考列表0的单向预测。在一些实施例中，仅保留来自参考列表1的预测，并且merge候选被视为参考参考列表1的单向预测。
[0523]
在一些实施例中，添加了一个限制，即所选的merge候选应当是单向预测merge候选。可选地，信令通知的iip编解码块的mege索引指示单向预测merge候选的索引(即，不对双向预测merge候选进行计数)。
[0524]
在一些实施例中，三角形预测模式中使用的merge候选列表构建过程可以用于推导iip编解码块的运动候选列表。
[0525]
示例31：当应用帧间
‑
帧内预测时，可以不允许一些编解码工具。
[0526]
在一些实施例中，双向光流(bio)不应用于双向预测。
[0527]
在一些实施例中，不应用重叠块运动补偿(obmc)。
[0528]
在一些实施例中，不允许解码器侧运动矢量推导/细化过程。
[0529]
示例32：帧间
‑
帧内预测中使用的帧内预测过程可以不同于正常帧内编解码块中使用的帧内预测过程。
[0530]
在一些实施例中，可以以不同方式过滤邻近样点。在一些实施例中，在进行帧间
‑
帧内预测中使用的帧内预测之前，不过滤邻近样点。
[0531]
在一些实施例中，对于帧间
‑
帧内预测中使用的帧内预测，不进行位置相关的(position
‑
dependent)帧内预测样点过滤过程。在一些实施例中，在帧间
‑
帧内预测中不允许多线(multiline)帧内预测。在一些实施例中，在帧间
‑
帧内预测中不允许宽角度帧内预测。
[0532]
示例33：假设混合帧内和帧间预测中的帧内和帧间预测值是pintra和pinter，并且加权因子分别是w_intra和w_inter。位置(x,y)处的预测值计算为(pintra(x,y)*w_
intra(x,y) pinter(x,y)*w_inter(x,y) offset(x,y))>>n，其中w_intra(x,y) w_iner(x,y)＝2^n，并且offset(x,y)＝2^(n
–
1)。在一个示例中，n＝3。
[0533]
示例34：在一些实施例中，在正常帧内编解码块和iip编解码块中信令通知的mpm标志应当共享相同的算术编解码上下文。
[0534]
示例35：在一些实施例中，不需要mpm来编解码iip编解码块中的帧内预测模式。(假设块宽度和高度是w和h)。
[0535]
在一些实施例中，四种模式{平面，dc，垂直，水平}被二值化为00、01、10和11(可以利用任何映射规则，诸如00
‑
平面、01
‑
dc、10
‑
垂直、11
‑
水平)。
[0536]
在一些实施例中，四种模式{平面，dc，垂直，水平}被二值化为0、10、110和111(可以利用任何映射规则，诸如0
‑
平面、10
‑
dc、110
‑
垂直、111
‑
水平)。
[0537]
在一些实施例中，四种模式{平面，dc，垂直，水平}被二值化为1、01、001和000(可以利用任何映射规则，诸如1
‑
平面、01
‑
dc、001
‑
垂直、000
‑
水平)。
[0538]
在一些实施例中，当可以使用w>n*h(n是诸如2的整数)时，仅可以使用三种模式{平面，dc，垂直}。这三种模式被二值化为1，01，11(可以利用任何映射规则，诸如1
‑
平面、01
‑
dc、11
‑
垂直)。
[0539]
在一些实施例中，当可以使用w>n*h(n是诸如2的整数)时，仅可以使用三种模式{平面，dc，垂直}。这三种模式被二值化为0、10、00(可以利用任何映射规则，诸如0
‑
平面、10
‑
dc、00
‑
垂直)。
[0540]
在一些实施例中，当可以使用h>n*w(n是诸如2的整数)时，仅可以使用三种模式{平面，dc，水平}。这三种模式被二值化为1、01、11(可以利用任何映射规则，诸如1
‑
平面、01
‑
dc、11
‑
水平)。
[0541]
在一些实施例中，当可以使用h>n*w(n是诸如2的整数)时，仅可以使用三种模式{平面，dc，水平}。这三种模式被二值化为0、10、00(可以利用任何映射规则，诸如0
‑
平面、10
‑
dc、00
‑
水平)。
[0542]
示例36：在一些实施例中，在iip编解码块中仅使用dc模式和平面模式。在一些实施例中，信令通知一个标志以指示是使用dc还是平面。
[0543]
实例37：在一些实施例中，对于不同的颜色分量，iip被不同地进行。
[0544]
在一些实施例中，不对色度分量(诸如cb和cr)进行帧间
‑
帧内预测。
[0545]
在一些实施例中，iip编解码块中色度分量的帧内预测模式不同于亮度分量的帧内预测模式。在一些实施例中，dc模式总是用于色度。在一些实施例中，平面模式总是用于色度。在一些实施例中，lm模式总是用于色度。
[0546]
在一些实施例中，如何对不同颜色分量进行iip可以取决于颜色格式(诸如4:2:0或4:4:4)。
[0547]
在一些实施例中，如何对不同颜色分量进行iip可以取决于块尺寸。例如，当当前块的宽度或高度等于或小于4时，不对色度分量(诸如cb和cr)进行帧间
‑
帧内预测。
[0548]
mv精度问题
[0549]
在下面的讨论中，用于为空域运动预测存储的mv的精度表示为p1，并且用于为时域运动预测存储的mv的精度表示为p2。
[0550]
示例38：p1和p2可以相同，也可以不同。
[0551]
在一些实施例中，p1是1/16亮度像素，并且p2是1/4亮度像素。在一些实施例中，p1是1/16亮度像素，并且p2是1/8亮度像素。在一些实施例中，p1是1/8亮度像素，并且p2是1/4亮度像素。在一些实施例中，p1是1/8亮度像素，并且p2是1/8亮度像素。在一些实施例中，p2是1/16亮度像素，并且p1是1/4亮度像素。在一些实施例中，p2是1/16亮度像素，并且p1是1/8亮度像素。在一些实施例中，p2是1/8亮度像素，并且p1是1/4亮度像素。
[0552]
示例39：p1和p2可以不被固定。在一些实施例中，对于不同的标准简表/级别/层级，p1/p2可以不同。在一些实施例中，对于不同时域层中的图片，p1/p2可以不同。在一些实施例中，对于具有不同宽度/高度的图片，p1/p2可以不同。在一些实施例中，可以在vps/sps/pps/条带头/片组头/片/ctu/cu中从编码器向解码器信令通知p1/p2。
[0553]
示例40：对于mv(mvx,mvy)，mvx和mvy的精度可以不同，表示为px和py。
[0554]
在一些实施例中，对于不同的标准简表/级别/层级，px/py可以不同。在一些实施例中，对于不同时域层中的图片，px/py可以不同。在一些实施例中，对于具有不同宽度的图片，px可以不同。在一些实施例中，对于具有不同高度的图片，py可以不同。在一些实施例中，可以在vps/sps/pps/条带头/片组头/片/ctu/cu中从编码器向解码器信令通知px/py。
[0555]
示例41：在将mv(mvx,mvy)放入用于时域运动预测的存储之前，应当将其改变为正确精度。
[0556]
在一些实施例中，如果p1>＝p2，则mvx＝shift(mvx,p1
‑
p2)，mvy＝shift(mvy,p1
‑
p2)。在一些实施例中，如果p1>＝p2，则mvx＝signshift(mvx,p1
‑
p2)，mvy＝signshift(mvy,p1
‑
p2)。在一些实施例中，如果p1<p2，则mvx＝mvx<<(p2
‑
p1)，mvy＝mvy<<(p2
‑
p1)。
[0557]
示例42：假设mv(mvx,mvy)精度为px和py，并且mvx或mvy通过具有n比特的整数存储。mv(mvx,mvy)的范围是minx<＝mvx<＝maxx，并且miny<＝mvy<＝maxy。
[0558]
在一些实施例中，minx可以等于miny，或者它可以不等于miny。在一些实施例中，maxx可以等于maxy，或者它可以不等于maxy。在一些实施例中，{minx,maxx}可以取决于px。在一些实施例中，{miny,maxy}可以取决于py。在一些实施例中，{minx,maxx,miny,maxy}可以取决于n。在一些实施例中，对于为空域运动预测存储的mv和为时域运动预测存储的mv，{minx,maxx,miny,maxy}可以不同。在一些实施例中，对于不同的标准简表/级别/层级，{minx,maxx,miny,maxy}可以不同。在一些实施例中，对于不同时域层中的图片，{minx,maxx,miny,maxy}可以不同。在一些实施例中，对于具有不同宽度/高度的图片，{minx,maxx,miny,maxy}可以不同。在一些实施例中，可以在vps/sps/pps/条带头/片组头/片/ctu/cu中从编码器向解码器信令通知{minx,maxx,miny,maxy}。在一些实施例中，对于具有不同宽度的图片，{minx,maxx}可以不同。在一些实施例中，对于具有不同高度的图片，{miny,maxy}可以不同。在一些实施例中，mvx在被放入用于空域运动预测的存储之前被剪裁到[minx,maxx]。在一些实施例中，mvx在被放入用于时域运动预测的存储之前被剪裁到[minx,maxx]。在一些实施例中，mvy在被放入用于空域运动预测的存储之前被剪裁到[miny,maxy]。在一些实施例中，mvy在被放入用于时域运动预测的存储之前被剪裁到[miny,maxy]。
[0559]
仿射merge模式的线缓冲区减小
[0560]
示例43：仿射merge候选从邻近块继承的仿射模型(推导的cpmv或仿射参数)总是6参数仿射模型。
[0561]
在一些实施例中，如果邻近块用4参数仿射模型编解码，则仿射模型仍然被继承作为6参数仿射模型。
[0562]
在一些实施例中，来自邻近块的4参数仿射模型是被继承作为6参数仿射模型还是4参数仿射模型可以取决于当前块的位置。在一些实施例中，如果邻近块与当前块不在相同的编解码树单元(ctu，又名最大编解码单元lcu)中，则来自邻近块的4参数仿射模型被继承作为6参数仿射模型。在一些实施例中，如果邻近块与当前块不在相同的ctu线或ctu行中，则来自邻近块的4参数仿射模型被继承作为6参数仿射模型。在一些实施例中，如果邻近块不在作为当前块的m
×
n区域中，则来自邻近块的4参数仿射模型被继承作为6参数仿射模型。例如，m＝n＝64。在这种情况下，片/条带/图片被划分为多个非重叠mxn区域。在一些实施例中，如果邻近块与当前块不在相同的m
×
n区域线或m
×
n区域行中，则来自邻近块的4参数仿射模型被继承作为6参数仿射模型。例如，m＝n＝64。图10中描绘了ctu线/行和区域线/行。
[0563]
在一些实施例中，假设当前块的左上角(或任何其他位置)是(x,y)，邻近块的左上角(或任何其他位置)是(x’,y’)，那么如果邻近块满足以下条件中的一个或多个，则来自邻近块的4参数仿射模型被继承作为6参数仿射模型：
[0564]
(a)x/m！＝x’/m。例如，m＝128或64。
[0565]
(b)y/n！＝y’/n。例如，n＝128或64。
[0566]
(c)((x/m！＝x’/m)&&(y/n！＝y’/n))。例如，m＝n＝128或m＝n＝64。
[0567]
(d)((x/m！＝x’/m)||(y/n！＝y’/n))。例如，m＝n＝128或m＝n＝64。
[0568]
(e)x>>m！＝x’>>m。例如，m＝7或6。
[0569]
(f)y>>n！＝y’>>n。例如，n＝7或6。
[0570]
(g)((x>>m！＝x’>>m)&&(y>>n！＝y’>>n))。例如，m＝n＝7或m＝n＝6。
[0571]
(h)((x>>m！＝x’>>m)||(y>>n！＝y’>>n))。例如，m＝n＝7或m＝n＝6。
[0572]
5.实施例
[0573]
下面的描述示出了如何在当前vvc标准的语法结构内实施所公开技术的示例。新增加的部分用粗体表示，并且删除部分用斜体表示。
[0574]
5.1实施例#1(禁用4x4帧间预测，并且对4x8、8x4、4x16和16x4块禁用双向预测)
[0575]
7.3.6.6编解码单元语法
[0576]
[0577][0578][0579]
7.4.7.6编解码单元语义
[0580]
pred_mode_flag等于0指定当前编解码单元在帧间预测模式下被编解码。pred_
mode_flag等于1指定当前编解码单元在帧内预测模式下被编解码。对于x＝x0..x0 cbwidth
‑
1和y＝y0..y0 cbheight
–
1，变量cupredmode[x][y]被推导如下：
[0581]
‑
如果pred_mode_flag等于0，则cupredmode[x][y]设置为等于mode_inter。
[0582]
‑
否则(pred_mode_flag等于1)，cupredmode[x][y]设置为等于mode_intra。
[0583]
当pred_mode_flag不存在时，分别地，当解码i片组时或者当解码cbwidth等于4且cbheight等于4的编解码单元时，其被推断为等于1，并且当解码p片组或b片组时，其被推断为等于0。
[0584]
pred_mode_ibc_flag等于1指定当前编解码单元在ibc预测模式下被编解码。pred_mode_ibc_flag等于0指定当前编解码单元不在ibc预测模式下被编解码。
[0585]
当pred_mode_ibc_flag不存在时，分别地，当解码i片组时，或者当解码在跳过模式下编解码并且cbwidth等于4且cbheight等于4的编解码单元时，其被推断为等于sps_ibc_enabled_flag的值，并且当解码p片组或b片组时，其被推断为等于0。
[0586]
当pred_mode_ibc_flag等于1时，对于x＝x0..x0 cbwidth
‑
1和y＝y0..y0 cbheight
‑
1，变量cupredmode[x][y]设置为等于mode_ibc。
[0587]
inter_pred_idc[x0][y0]根据表7
‑
9指定是将列表0、列表1还是双向预测用于当前编解码单元。阵列索引x0、y0指定所考虑的编解码块相对于图片的左上方亮度样点的左上方亮度样点的位置(x0,y0)。
[0588]
表7
‑9–
帧间预测模式的名称关联
[0589][0590]
当inter_pred_idc[x0][y0]不存在时，它被推断为等于pred_l0。
[0591]
8.5.2.1概述
[0592]
该过程的输入是：
[0593]
‑
当前亮度编解码块相对于当前图片的左上方亮度样点的左上方样点的亮度位置(xcb,ycb)，
[0594]
‑
变量cbwidth，其以亮度样点为单位指定当前编解码块的宽度，
[0595]
‑
变量cbheight，其以亮度样点为单位指定当前编解码块的高度。
[0596]
该过程的输出是：
[0597]
‑
1/16分数样点精确度的亮度运动矢量mvl0[0][0]和mvl1[0][0]，
[0598]
‑
参考索引refidxl0和refidxl1，
[0599]
‑
预测列表利用标志predflagl0[0][0]和predflagl1[0][0]，
[0600]
‑
双向预测权重索引gbiidx。
[0601]
令变量lx为当前图片的refpiclist[x]，其中x为0或1。
[0602]
对于变量mvl0[0][0]和mvl1[0][0]、refidxl0和refidxl1、以及predflagl0[0][0]和predflagl1[0][0]的推导，以下适用：
[0603]
‑
如果merge_flag[xcb][ycb]等于1，则调用条款8.5.2.2中指定的merge模式的亮度运动矢量的推导过程，其中亮度位置(xcb,ycb)、变量cbwidth和cbheight为输入，并且输出为亮度运动矢量mvl0[0][0]、mvl1[0][0]、参考索引refidxl0、refidxl1、预测列表利用标志predflagl0[0][0]和predflagl1[0][0]、以及双向预测权重索引gbiidx。
[0604]
‑
否则，以下适用：
[0605]
‑
对于在变量predflaglx[0][0]、mvlx[0][0]和refidxlx中、在pred_lx中、以及在语法元素ref_idx_lx和mvdlx中x由0或1替换，以下有序步骤适用：
[0606]
1.变量refidxlx和predflaglx[0][0]推导如下：
[0607]
‑
如果inter_pred_idc[xcb][ycb]等于pred_lx或pred_bi，
[0608]
refidxlx＝ref_idx_lx[xcb][ycb]
ꢀꢀꢀꢀꢀ
(8
‑
266)
[0609]
predflaglx[0][0]＝1
ꢀꢀꢀꢀꢀꢀ
(8
‑
267)
[0610]
‑
否则，变量refidxlx和predflaglx[0][0]由以下指定：
[0611]
refidxlx＝
‑1ꢀꢀꢀꢀꢀꢀꢀ
(8
‑
268)
[0612]
predflaglx[0][0]＝0
ꢀꢀꢀꢀꢀꢀꢀ
(8
‑
269)
[0613]
2.变量mvdlx推导如下：
[0614]
mvdlx[0]＝mvdlx[xcb][ycb][0]
ꢀꢀꢀꢀ
(8
‑
270)
[0615]
mvdlx[1]＝mvdlx[xcb][ycb][1]
ꢀꢀꢀꢀ
(8
‑
271)
[0616]
3.当predflaglx[0][0]等于1时，调用条款8.5.2.8中的亮度运动矢量预测的推导过程，其中亮度编解码块位置(xcb,ycb)、编解码块宽度cbwidth、编解码块高度cbheight和变量refidxlx作为输入，并且输出为mvplx。
[0617]
4.当predflaglx[0][0]等于1时，亮度运动矢量mvlx[0][0]推导如下：
[0618]
ulx[0]＝(mvplx[0] mvdlx[0] 2
18
)％2
18
ꢀꢀ
(8
‑
272)
[0619]
mvlx[0][0][0]＝(ulx[0]>＝2
17
)？(ulx[0]
‑218
):ulx[0]
ꢀꢀꢀꢀꢀꢀꢀ
(8
‑
273)
[0620]
ulx[1]＝(mvplx[1] mvdlx[1] 2
18
)％2
18
ꢀꢀꢀꢀ
(8
‑
274)
[0621]
mvlx[0][0][1]＝(ulx[1]>＝2
17
)？(ulx[1]
‑218
):ulx[1]
ꢀꢀꢀꢀꢀꢀꢀ
(8
‑
275)
[0622]
注1
–
如上指定的mvlx[0][0][0]和mvlx[0][0][1]的结果值将始终在
‑217
至2
17
‑
1(包含
‑217
和2
17
‑
1)的范围中。
[0623]
‑
双向预测权重索引gbiidx设置为等于gbi_idx[xcb][ycb]。
[0624]
当所有以下条件为真时，refidxl1设置为等于
‑
1，predflagl1设置为等于0，并且gbiidx设置为等于0：
[0625]
‑
predflagl0[0][0]等于1。
[0626]
‑
predflagl1[0][0]等于1。
[0627]
‑
(cbwidth cbheight＝＝8)||(cbwidth cbheight＝＝12)||(cbwidth cbheight＝＝20)
[0628]
＝cbwidth等于4；cbheight等于4。
[0629]
条款8.5.2.16中指定的基于历史的运动矢量预测值列表的更新过程与亮度运动矢量mvl0[0][0]和mvl1[0][0]、参考索引refidxl0和refidxl1、预测列表利用标志predflagl0[0][0]和predflagl1[0][0]、以及双向预测权重索引gbiidx一起被调用。
[0630]
9.5.3.8 inter_pred_idc的二值化过程
[0631]
该过程的输入是对语法元素inter_pred_idc、当前亮度编解码块宽度cbwidth和当前亮度编解码块高度cbheight的二值化的请求。
[0632]
该过程的输出是语法元素的二值化。
[0633]
语法元素inter_pred_idc的二值化在表9
‑
9中指定。
[0634]
表9
‑9–
inter_pred_idc的二值化
[0635][0636]
9.5.4.2.1概述
[0637]
表9
‑
10
–
将ctxinc分配给具有上下文编解码的二进制位(bin)的语法元素
[0638][0639]
5.2实施例#2(禁用4x4帧间预测)
[0640]
7.3.6.6编解码单元语法
[0641]
[0642]
[0643][0644]
7.4.7.6编解码单元语义
[0645]
pred_mode_flag等于0指定当前编解码单元在帧间预测模式下被编解码。pred_mode_flag等于1指定当前编解码单元在帧内预测模式下被编解码。对于x＝x0..x0 cbwidth
‑
1和y＝y0..y0 cbheight
–
1，变量cupredmode[x][y]被推导如下：
[0646]
‑
如果pred_mode_flag等于0，则cupredmode[x][y]设置为等于mode_inter。
[0647]
‑
否则(pred_mode_flag等于1)，cupredmode[x][y]设置为等于mode_intra。
[0648]
当pred_mode_flag不存在时，分别地，当解码i片组时或者当解码cbwidth等于4且cbheight等于4的编解码单元时，其被推断为等于1，并且当解码p片组或b片组时，其被推断为等于0。
[0649]
pred_mode_ibc_flag等于1指定当前编解码单元在ibc预测模式下被编解码。pred_mode_ibc_flag等于0指定当前编解码单元不在ibc预测模式下被编解码。
[0650]
当pred_mode_ibc_flag不存在时，分别地，当解码i片组时，或者当解码在跳过模式下编解码并且cbwidth等于4且cbheight等于4的编解码单元时，其被推断为等于sps_ibc_enabled_flag的值，并且当解码p片组或b片组时，其被推断为等于0。
[0651]
当pred_mode_ibc_flag等于1时，对于x＝x0..x0 cbwidth
‑
1和y＝y0..y0 cbheight
‑
1，变量cupredmode[x][y]设置为等于mode_ibc。
[0652]
5.3实施例#3(对4x8、8x4、4x16和16x4块禁用双向预测)
[0653]
7.4.7.6编解码单元语义
[0654]
inter_pred_idc[x0][y0]根据表7
‑
9指定是将列表0、列表1还是双向预测用于当前编解码单元。阵列索引x0、y0指定所考虑的编解码块相对于图片的左上方亮度样点的左上方亮度样点的位置(x0,y0)。
[0655]
表7
‑9–
帧间预测模式的名称关联
[0656][0657]
当inter_pred_idc[x0][y0]不存在时，它被推断为等于pred_l0。
[0658]
8.5.2.1概述
[0659]
该过程的输入是：
[0660]
‑
当前亮度编解码块相对于当前图片的左上方亮度样点的左上方样点的亮度位置(xcb,ycb)，
[0661]
‑
变量cbwidth，其以亮度样点为单位指定当前编解码块的宽度，
[0662]
‑
变量cbheight，其以亮度样点为单位指定当前编解码块的高度。
[0663]
该过程的输出是：
[0664]
‑
1/16分数样点精确度的亮度运动矢量mvl0[0][0]和mvl1[0][0]，
[0665]
‑
参考索引refidxl0和refidxl1，
[0666]
‑
预测列表利用标志predflagl0[0][0]和predflagl1[0][0]，
[0667]
‑
双向预测权重索引gbiidx。
[0668]
令变量lx为当前图片的refpiclist[x]，其中x为0或1。
[0669]
对于变量mvl0[0][0]和mvl1[0][0]、refidxl0和refidxl1、以及predflagl0[0][0]和predflagl1[0][0]的推导，以下适用：
[0670]
‑
如果merge_flag[xcb][ycb]等于1，则调用条款8.5.2.2中指定的merge模式的亮度运动矢量的推导过程，其中亮度位置(xcb,ycb)、变量cbwidth和cbheight为输入，并且输出为亮度运动矢量mvl0[0][0]、mvl1[0][0]、参考索引refidxl0、refidxl1、预测列表利用标志predflagl0[0][0]和predflagl1[0][0]、以及双向预测权重索引gbiidx。
[0671]
‑
否则，以下适用：
[0672]
‑
对于在变量predflaglx[0][0]、mvlx[0][0]和refidxlx中、在pred_lx中、以及在语法元素ref_idx_lx和mvdlx中x由0或1替换，以下有序步骤适用：
[0673]
5.变量refidxlx和predflaglx[0][0]推导如下：
[0674]
‑
如果inter_pred_idc[xcb][ycb]等于pred_lx或pred_bi，
[0675]
refidxlx＝ref_idx_lx[xcb][ycb]
ꢀꢀꢀꢀꢀꢀ
(8
‑
266)
[0676]
predflaglx[0][0]＝1
ꢀꢀꢀꢀꢀꢀꢀ
(8
‑
267)
[0677]
‑
否则，变量refidxlx和predflaglx[0][0]由以下指定：
[0678]
refidxlx＝
‑1ꢀꢀꢀꢀꢀꢀ
(8
‑
268)
[0679]
predflaglx[0][0]＝0
ꢀꢀꢀꢀꢀꢀꢀ
(8
‑
269)
[0680]
6.变量mvdlx推导如下：
[0681]
mvdlx[0]＝mvdlx[xcb][ycb][0]
ꢀꢀꢀꢀꢀꢀ
(8
‑
270)
[0682]
mvdlx[1]＝mvdlx[xcb][ycb][1]
ꢀꢀꢀꢀꢀ
(8
‑
271)
[0683]
7.当predflaglx[0][0]等于1时，调用条款8.5.2.8中的亮度运动矢量预测的推导过程，其中亮度编解码块位置(xcb,ycb)、编解码块宽度cbwidth、编解码块高度cbheight和变量refidxlx作为输入，并且输出为mvplx。
[0684]
8.当predflaglx[0][0]等于1时，亮度运动矢量mvlx[0][0]推导如下：
[0685]
ulx[0]＝(mvplx[0] mvdlx[0] 2
18
)％2
18
ꢀꢀ
(8
‑
272)
[0686]
mvlx[0][0][0]＝(ulx[0]>＝2
17
)？(ulx[0]
‑218
):ulx[0]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8
‑
273)
[0687]
ulx[1]＝(mvplx[1] mvdlx[1] 2
18
)％2
18
ꢀꢀꢀꢀ
(8
‑
274)
[0688]
mvlx[0][0][1]＝(ulx[1]>＝2
17
)？(ulx[1]
‑218
):ulx[1]
ꢀꢀꢀꢀꢀꢀ
(8
‑
275)
[0689]
注1
–
如上指定的mvlx[0][0][0]和mvlx[0][0][1]的结果值将始终在
‑217
至2
17
‑
1(包含
‑217
和2
17
‑
1)的范围中。
[0690]
‑
双向预测权重索引gbiidx设置为等于gbi_idx[xcb][ycb]。
[0691]
当所有以下条件为真时，refidxl1设置为等于
‑
1，predflagl1设置为等于0，并且gbiidx设置为等于0：
[0692]
‑
predflagl0[0][0]等于1。
[0693]
‑
predflagl1[0][0]等于1。
[0694]
‑
(cbwidth cbheight＝＝8)||(cbwidth cbheight＝＝12)||(cbwidth cbheight＝＝20)
[0695]
‑
cbwidth等于4；cbheight等于4。
[0696]
条款8.5.2.16中指定的基于历史的运动矢量预测值列表的更新过程与亮度运动矢量mvl0[0][0]和mvl1[0][0]、参考索引refidxl0和refidxl1、预测列表利用标志predflagl0[0][0]和predflagl1[0][0]、以及双向预测权重索引gbiidx一起被调用。
[0697]
9.5.3.8 inter_pred_idc的二值化过程
[0698]
该过程的输入是对语法元素inter_pred_idc、当前亮度编解码块宽度cbwidth和当前亮度编解码块高度cbheight的二值化的请求。
[0699]
该过程的输出是语法元素的二值化。
[0700]
语法元素inter_pred_idc的二值化在表9
‑
9中指定。
[0701]
表9
‑9–
inter_pred_idc的二值化
[0702]
[0703]
9.5.4.2.1概述
[0704]
表9
‑
10
–
将ctxinc分配给具有上下文编解码的二进制位的语法元素
[0705][0706]
实施例#4(禁用4x4帧间预测，并且对4x8、8x4块禁用双向预测)
[0707]
7.3.6.6编解码单元语法
[0708]
[0709]
[0710][0711]
7.4.7.6编解码单元语义
[0712]
pred_mode_flag等于0指定当前编解码单元在帧间预测模式下被编解码。pred_mode_flag等于1指定当前编解码单元在帧内预测模式下被编解码。对于x＝x0..x0 cbwidth
‑
1和y＝y0..y0 cbheight
–
1，变量cupredmode[x][y]被推导如下：
[0713]
‑
如果pred_mode_flag等于0，则cupredmode[x][y]设置为等于mode_inter。
[0714]
‑
否则(pred_mode_flag等于1)，cupredmode[x][y]设置为等于mode_intra。
[0715]
当pred_mode_flag不存在时，分别地，当解码i片组时或者当解码cbwidth等于4且cbheight等于4的编解码单元时，其被推断为等于1，并且当解码p片组或b片组时，其被推断为等于0。
[0716]
pred_mode_ibc_flag等于1指定当前编解码单元在ibc预测模式下被编解码。pred_mode_ibc_flag等于0指定当前编解码单元不在ibc预测模式下被编解码。
[0717]
当pred_mode_ibc_flag不存在时，分别地，当解码i片组时，或者当解码在跳过模式下编解码并且cbwidth等于4且cbheight等于4的编解码单元时，其被推断为等于sps_ibc_enabled_flag的值，并且当解码p片组或b片组时，其被推断为等于0。
[0718]
当pred_mode_ibc_flag等于1时，对于x＝x0..x0 cbwidth
‑
1和y＝y0..y0 cbheight
‑
1，变量cupredmode[x][y]设置为等于mode_ibc。
[0719]
inter_pred_idc[x0][y0]根据表7
‑
9指定是将列表0、列表1还是双向预测用于当前编解码单元。阵列索引x0、y0指定所考虑的编解码块相对于图片的左上方亮度样点的左上方亮度样点的位置(x0,y0)。
[0720]
表7
‑9–
帧间预测模式的名称关联
[0721][0722]
当inter_pred_idc[x0][y0]不存在时，它被推断为等于pred_l0。
[0723]
8.5.2.1概述
[0724]
该过程的输入是：
[0725]
‑
当前亮度编解码块相对于当前图片的左上方亮度样点的左上方样点的亮度位置(xcb,ycb)，
[0726]
‑
变量cbwidth，其以亮度样点为单位指定当前编解码块的宽度，
[0727]
‑
变量cbheight，其以亮度样点为单位指定当前编解码块的高度。
[0728]
该过程的输出是：
[0729]
‑
1/16分数样点精确度的亮度运动矢量mvl0[0][0]和mvl1[0][0]，
[0730]
‑
参考索引refidxl0和refidxl1，
[0731]
‑
预测列表利用标志predflagl0[0][0]和predflagl1[0][0]，
[0732]
‑
双向预测权重索引gbiidx。
[0733]
令变量lx为当前图片的refpiclist[x]，其中x为0或1。
[0734]
对于变量mvl0[0][0]和mvl1[0][0]、refidxl0和refidxl1、以及predflagl0[0][0]和predflagl1[0][0]的推导，以下适用：
[0735]
‑
如果merge_flag[xcb][ycb]等于1，则调用条款8.5.2.2中指定的merge模式的亮度运动矢量的推导过程，其中亮度位置(xcb,ycb)、变量cbwidth和cbheight为输入，并且输出为亮度运动矢量mvl0[0][0]、mvl1[0][0]、参考索引refidxl0、refidxl1、预测列表利用标志predflagl0[0][0]和predflagl1[0][0]、以及双向预测权重索引gbiidx。
[0736]
‑
否则，以下适用：
[0737]
‑
对于在变量predflaglx[0][0]、mvlx[0][0]和refidxlx中、在pred_lx中、以及在语法元素ref_idx_lx和mvdlx中x由0或1替换，以下有序步骤适用：
[0738]
1.变量refidxlx和predflaglx[0][0]推导如下：
[0739]
‑
如果inter_pred_idc[xcb][ycb]等于pred_lx或pred_bi，
[0740]
refidxlx＝ref_idx_lx[xcb][ycb]
ꢀꢀꢀ
(8
‑
266)
[0741]
predflaglx[0][0]＝1
ꢀꢀꢀꢀꢀꢀꢀ
(8
‑
267)
[0742]
‑
否则，变量refidxlx和predflaglx[0][0]由以下指定：
[0743]
refidxlx＝
‑1ꢀꢀꢀꢀꢀꢀꢀ
(8
‑
268)
[0744]
predflaglx[0][0]＝0
ꢀꢀꢀꢀꢀꢀꢀꢀ
(8
‑
269)
[0745]
2.变量mvdlx推导如下：
[0746]
mvdlx[0]＝mvdlx[xcb][ycb][0]
ꢀꢀꢀꢀꢀ
(8
‑
270)
[0747]
mvdlx[1]＝mvdlx[xcb][ycb][1]
ꢀꢀꢀꢀꢀ
(8
‑
271)
[0748]
3.当predflaglx[0][0]等于1时，调用条款8.5.2.8中的亮度运动矢量预测的推导过程，其中亮度编解码块位置(xcb,ycb)、编解码块宽度cbwidth、编解码块高度cbheight和变量refidxlx作为输入，并且输出为mvplx。
[0749]
4.当predflaglx[0][0]等于1时，亮度运动矢量mvlx[0][0]推导如下：
[0750]
ulx[0]＝(mvplx[0] mvdlx[0] 2
18
)％2
18
ꢀꢀ
(8
‑
272)
[0751]
mvlx[0][0][0]＝(ulx[0]>＝2
17
)？(ulx[0]
‑218
):ulx[0]
ꢀꢀꢀꢀꢀꢀ
(8
‑
273)
[0752]
ulx[1]＝(mvplx[1] mvdlx[1] 2
18
)％2
18
ꢀꢀꢀꢀ
(8
‑
274)
[0753]
mvlx[0][0][1]＝(ulx[1]>＝2
17
)？(ulx[1]
‑218
):ulx[1]
ꢀꢀꢀꢀꢀ
(8
‑
275)
[0754]
注1
–
如上指定的mvlx[0][0][0]和mvlx[0][0][1]的结果值将始终在
‑217
至2
17
‑
1(包含
‑217
和2
17
‑
1)的范围中。
[0755]
‑
双向预测权重索引gbiidx设置为等于gbi_idx[xcb][ycb]。
[0756]
当所有以下条件为真时，refidxl1设置为等于
‑
1，predflagl1设置为等于0，并且gbiidx设置为等于0：
[0757]
‑
predflagl0[0][0]等于1。
[0758]
‑
predflagl1[0][0]等于1。
[0759]
‑
(cbwidth cbheight＝＝8)||(cbwidth cbheight＝＝12)
[0760]
‑
cbwidth等于4。
[0761]
‑
cbheight等于4。
[0762]
条款8.5.2.16中指定的基于历史的运动矢量预测值列表的更新过程与亮度运动矢量mvl0[0][0]和mvl1[0][0]、参考索引refidxl0和refidxl1、预测列表利用标志predflagl0[0][0]和predflagl1[0][0]、以及双向预测权重索引gbiidx一起被调用。
[0763]
9.5.3.8 inter_pred_idc的二值化过程
[0764]
该过程的输入是对语法元素inter_pred_idc、当前亮度编解码块宽度cbwidth和当前亮度编解码块高度cbheight的二值化的请求。
[0765]
该过程的输出是语法元素的二值化。
[0766]
语法元素inter_pred_idc的二值化在表9
‑
9中指定。
[0767]
表9
‑9–
inter_pred_idc的二值化
[0768][0769]
9.5.4.2.1概述
[0770]
表9
‑
10
–
将ctxinc分配给具有上下文编解码的二进制位的语法元素
[0771][0772]
5.5实施例#5(禁用4x4帧间预测，并且对4x8、8x4块禁用双向预测，禁用常规merge模式的共享merge列表)
[0773]
7.3.6.6编解码单元语法
[0774]
[0775]
[0776][0777]
7.4.7.6编解码单元语义
[0778]
pred_mode_flag等于0指定当前编解码单元在帧间预测模式下被编解码。pred_mode_flag等于1指定当前编解码单元在帧内预测模式下被编解码。对于x＝x0..x0 cbwidth
‑
1和y＝y0..y0 cbheight
–
1，变量cupredmode[x][y]被推导如下：
[0779]
‑
如果pred_mode_flag等于0，则cupredmode[x][y]设置为等于mode_inter。
[0780]
‑
否则(pred_mode_flag等于1)，cupredmode[x][y]设置为等于mode_intra。
[0781]
当pred_mode_flag不存在时，分别地，当解码i片组时或者当解码cbwidth等于4且cbheight等于4的编解码单元时，其被推断为等于1，并且当解码p片组或b片组时，其被推断为等于0。
[0782]
pred_mode_ibc_flag等于1指定当前编解码单元在ibc预测模式下被编解码。pred_mode_ibc_flag等于0指定当前编解码单元不在ibc预测模式下被编解码。
[0783]
当pred_mode_ibc_flag不存在时，分别地，当解码i片组时，或者当解码在跳过模式下编解码并且cbwidth等于4且cbheight等于4的编解码单元时，其被推断为等于sps_ibc_enabled_flag的值，并且当解码p片组或b片组时，其被推断为等于0。
[0784]
当pred_mode_ibc_flag等于1时，对于x＝x0..x0 cbwidth
‑
1和y＝y0..y0 cbheight
‑
1，变量cupredmode[x][y]设置为等于mode_ibc。
[0785]
inter_pred_idc[x0][y0]根据表7
‑
9指定是将列表0、列表1还是双向预测用于当前编解码单元。阵列索引x0、y0指定所考虑的编解码块相对于图片的左上方亮度样点的左上方亮度样点的位置(x0,y0)。
[0786]
表7
‑9–
帧间预测模式的名称关联
[0787][0788]
当inter_pred_idc[x0][y0]不存在时，它被推断为等于pred_l0。
[0789]
8.5.2.1概述
[0790]
该过程的输入是：
[0791]
‑
当前亮度编解码块相对于当前图片的左上方亮度样点的左上方样点的亮度位置(xcb,ycb)，
[0792]
‑
变量cbwidth，其以亮度样点为单位指定当前编解码块的宽度，
[0793]
‑
变量cbheight，其以亮度样点为单位指定当前编解码块的高度。
[0794]
该过程的输出是：
[0795]
‑
1/16分数样点精确度的亮度运动矢量mvl0[0][0]和mvl1[0][0]，
[0796]
‑
参考索引refidxl0和refidxl1，
[0797]
‑
预测列表利用标志predflagl0[0][0]和predflagl1[0][0]，
[0798]
‑
双向预测权重索引gbiidx。
[0799]
令变量lx为当前图片的refpiclist[x]，其中x为0或1。
[0800]
对于变量mvl0[0][0]和mvl1[0][0]、refidxl0和refidxl1、以及predflagl0[0][0]和predflagl1[0][0]的推导，以下适用：
[0801]
‑
如果merge_flag[xcb][ycb]等于1，则调用条款8.5.2.2中指定的merge模式的亮度运动矢量的推导过程，其中亮度位置(xcb,ycb)、变量cbwidth和cbheight为输入，并且输出为亮度运动矢量mvl0[0][0]、mvl1[0][0]、参考索引refidxl0、refidxl1、预测列表利用标志predflagl0[0][0]和predflagl1[0][0]、以及双向预测权重索引gbiidx。
[0802]
‑
否则，以下适用：
[0803]
‑
对于在变量predflaglx[0][0]、mvlx[0][0]和refidxlx中、在pred_lx中、以及在语法元素ref_idx_lx和mvdlx中x由0或1替换，以下有序步骤适用：
[0804]
5.变量refidxlx和predflaglx[0][0]推导如下：
[0805]
‑
如果inter_pred_idc[xcb][ycb]等于pred_lx或pred_bi，
[0806]
refidxlx＝ref_idx_lx[xcb][ycb]
ꢀꢀꢀꢀꢀ
(8
‑
266)
[0807]
predflaglx[0][0]＝1
ꢀꢀꢀꢀꢀꢀ
(8
‑
267)
[0808]
‑
否则，变量refidxlx和predflaglx[0][0]由以下指定：
[0809]
refidxlx＝
‑1ꢀꢀꢀꢀꢀꢀꢀꢀ
(8
‑
268)
[0810]
predflaglx[0][0]＝0
ꢀꢀꢀꢀꢀ
(8
‑
269)
[0811]
6.变量mvdlx推导如下：
[0812]
mvdlx[0]＝mvdlx[xcb][ycb][0]
ꢀꢀꢀ
(8
‑
270)
[0813]
mvdlx[1]＝mvdlx[xcb][ycb][1]
ꢀꢀꢀ
(8
‑
271)
[0814]
7.当predflaglx[0][0]等于1时，调用条款8.5.2.8中的亮度运动矢量预测的推导过程，其中亮度编解码块位置(xcb,ycb)、编解码块宽度cbwidth、编解码块高度cbheight和变量refidxlx作为输入，并且输出为mvplx。
[0815]
8.当predflaglx[0][0]等于1时，亮度运动矢量mvlx[0][0]推导如下：
[0816]
ulx[0]＝(mvplx[0] mvdlx[0] 2
18
)％2
18
ꢀꢀ
(8
‑
272)
[0817]
mvlx[0][0][0]＝(ulx[0]>＝2
17
)？(ulx[0]
‑218
):ulx[0]
ꢀꢀꢀꢀꢀꢀ
(8
‑
273)
[0818]
ulx[1]＝(mvplx[1] mvdlx[1] 2
18
)％2
18
ꢀꢀꢀꢀ
(8
‑
274)
[0819]
mvlx[0][0][1]＝(ulx[1]>＝2
17
)？(ulx[1]
‑218
):ulx[1]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8
‑
275)
[0820]
注1
–
如上指定的mvlx[0][0][0]和mvlx[0][0][1]的结果值将始终在
‑217
至2
17
‑
1(包含
‑217
和2
17
‑
1)的范围中。
[0821]
‑
双向预测权重索引gbiidx设置为等于gbi_idx[xcb][ycb]。
[0822]
当所有以下条件为真时，refidxl1设置为等于
‑
1，predflagl1设置为等于0，并且gbiidx设置为等于0：
[0823]
‑
predflagl0[0][0]等于1。
[0824]
‑
predflagl1[0][0]等于1。
[0825]
‑
(cbwidth cbheight＝＝8)||(cbwidth cbheight＝＝12)
[0826]
‑
cbwidth等于4。
[0827]
‑
cbheight等于4。
[0828]
条款8.5.2.16中指定的基于历史的运动矢量预测值列表的更新过程与亮度运动矢量mvl0[0][0]和mvl1[0][0]、参考索引refidxl0和refidxl1、预测列表利用标志predflagl0[0][0]和predflagl1[0][0]、以及双向预测权重索引gbiidx一起被调用。
[0829]
8.5.2.2 merge模式的亮度运动矢量的推导过程
[0830]
只有当merge_flag[xcb][ypb]等于1时，才会调用该过程，其中(xcb,ycb)指定当前亮度编解码块相对于当前图片的左上方亮度样点的左上方样点。
[0831]
该过程的输入是：
[0832]
‑
当前亮度编解码块相对于当前图片的左上方亮度样点的左上方样点的亮度位置(xcb,ycb)，
[0833]
‑
变量cbwidth，其以亮度样点为单位指定当前编解码块的宽度，
[0834]
‑
变量cbheight，其以亮度样点为单位指定当前编解码块的高度。
[0835]
该过程的输出是：
[0836]
‑
1/16分数样点精确度的亮度运动矢量mvl0[0][0]和mvl1[0][0]，
[0837]
‑
参考索引refidxl0和refidxl1，
[0838]
‑
预测列表利用标志predflagl0[0][0]和predflagl1[0][0]，
[0839]
‑
双向预测权重索引gbiidx。
[0840]
双向预测权重索引gbiidx设置为等于0。
[0841]
变量xsmr、ysmr、smrwidth、smrheight和smrnumhmvpcand推导如下：
[0842]
xsmr＝isinsmr[xcb][ycb]？smrx[xcb][ycb]:xcb
ꢀꢀꢀꢀ
(8
‑
276)
[0843]
ysmr＝isinsmr[xcb][ycb]？smry[xcb][ycb]:ycb
ꢀꢀꢀꢀ
(8
‑
277)
[0844]
smrwidth＝isinsmr[xcb][ycb]？smrw[xcb][ycb]:cbwidth
ꢀꢀ
(8
‑
278)
[0845]
smrheight＝isinsmr[xcb][ycb]？smrh[xcb][ycb]:cbheight (8
‑
279)
[0846]
smrnumhmvpcand＝isinsmr[xcb][ycb]？numhmvpsmrcand:numhmvpcand (8
‑
280)
[0847]
8.5.2.6基于历史的merge候选的推导过程
[0848]
该过程的输入是：
[0849]
‑
merge候选列表mergecandlist，
[0850]
‑
变量isinsmr，其指定当前编解码单元是否在共享mergign候选区域内部，
[0851]
‑
列表numcurrmergecand中的可用merge候选的数量。
[0852]
该过程的输出是：
[0853]
‑
修改后的merge候选列表mergecandlist，
[0854]
‑
列表numcurrmergecand中的merge候选的修改后的数量。
[0855]
变量ispruneda1和isprunedb1都设置为等于false(假)。
[0856]
阵列smrhmvpcandlist和变量smrnumhmvpcand推导如下：
[0857]
smrhmvpcandlist＝isinsmr？hmvpsmrcandlist:hmvpcandlist (8
‑
353)
[0858]
smrnumhmvpcand＝isinsmr？numhmvpsmrcand:numhmvpcand (8
‑
354)
[0859]
对于具有索引hmvpidx＝1..smrnumhmvpcand的smrhmvpcandlist[hmvpidx]中的每个候选，重复以下有序步骤，直到numcurrmergecand等于(maxnummergecand
‑
1)：
[0860]
1.变量samemotion推导如下：
[0861]
‑
如果所有以下条件对于任何merge候选n都为真，其中n为a1或b1，则samemotion和isprunedn都设置为等于true(真)：
[0862]
‑
hmvpidx小于或等于2。
[0863]
‑
候选smrhmvpcandlist[smrnumhmvpcand
‑
hmvpidx]等于merge候选n。
[0864]
‑
isprunedn等于false。
[0865]
‑
否则，samemotion设置为等于false。
[0866]
2.当samemotion等于ffalse时，候选smrhmvpcandlist[smrnumhmvpcand
‑
hmvpidx]按如下方式添加到merge候选列表：
[0867]
mergecandlist[numcurrmergecand ]＝smrhmvpcandlist[smrnumhmvpcand
‑
hmvpidx]
ꢀꢀꢀꢀ
(8
‑
355)
[0868]
9.5.3.8 inter_pred_idc的二值化过程
[0869]
该过程的输入是对语法元素inter_pred_idc、当前亮度编解码块宽度cbwidth和当前亮度编解码块高度cbheight的二值化的请求。
[0870]
该过程的输出是语法元素的二值化。
[0871]
语法元素inter_pred_idc的二值化在表9
‑
9中指定。
[0872]
表9
‑9–
inter_pred_idc的二值化
[0873][0874]
9.5.4.2.1概述
[0875]
表9
‑
10
–
将ctxinc分配给具有上下文编解码的二进制位的语法元素
[0876][0877]
图11是视频处理装置1100的框图。装置1100可以用于实施本文描述的一种或多种方法。装置1100可以体现在智能电话、平板电脑、计算机、物联网(internet of things，iot)接收器等中。装置1100可以包括一个或多个处理器1102、一个或多个存储器1104和视频处理硬件1106。(多个)处理器1102可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)1104可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件1106可以用于以硬件电路实施本文档中描述的一些技术。
[0878]
图12是视频处理的示例方法1200的流程图。方法1200包括确定(1202)被仿射编解码的当前视频块的代表性运动矢量和该当前视频块的子块的运动矢量之间的尺寸限制，以及通过使用尺寸限制来执行(1204)当前视频块或子块的比特流表示和像素值之间的转换。
[0879]
在本文档中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，可以在从视频的像素表示到对应的比特流表示的转换期间应用视频压缩算法，反之亦然。当前视频块的比特流表示可以例如对应于在比特流内并置或分布在不同位置的比特，如语法所定义的。例如，宏块可以根据变换和编解码的误差残差值并且也使用比特流中的头和其他字段中的比特进行编码。
[0880]
应当理解，所公开的技术对于实施其中视频处理的实施复杂性通过降低的内存要求或线缓冲区尺寸要求而降低的实施例是有用的。一些目前公开的技术可以使用以下基于条款的描述来描述。
[0881]
1.一种视频处理的方法，包括：
[0882]
确定被仿射编解码的当前视频块的代表性运动矢量和该当前视频块的子块的运动矢量之间的尺寸限制；以及
[0883]
通过使用尺寸限制来执行当前视频块或子块的比特流表示和像素值之间的转换。
[0884]
2.根据条款1所述的方法，其中，执行该转换包括从像素值生成比特流表示。
[0885]
3.根据条款1所述的方法，其中，执行该转换包括从比特流表示生成像素值。
[0886]
4.根据条款1至3中任一项所述的方法，其中，尺寸限制包括根据以下来约束子块的运动矢量(mvx,mvy)的值：mvx>＝mv’x
‑
dh0并且mvx<＝mv’x dh1并且mvy>＝mv’y
‑
dv0并且mvy<＝mv’y dv1，其中mv’＝(mv’x,mv’y)；
[0887]
其中mv’表示代表性运动矢量；并且其中dh0、dh1、dv0和dv1表示正数。
[0888]
5.根据条款4所述的方法，其中，尺寸限制包括以下中的至少一个：
[0889]
i.dh0等于dh1，或dv0等于dv1
[0890]
ii.dh0等于dv0，或dh1等于dv1
[0891]
iii.dh0和dh1不同，或者dv0和dv1不同
[0892]
iv.dh0、dh1、dv0和dv1是在视频参数集级别或序列参数集级别或图片参数集级别或条带头级别或片组头级别或片级别或编解码树单元级别或编解码单元级别或预测单元级别的比特流表示中信令通知的
[0893]
v.dh0、dh1、dv0和dv1是视频处理的模式的函数
[0894]
vi.dh0、dh1、dv0和dv1取决于当前视频块的宽度和高度
[0895]
vii.dh0、dh1、dv0和dv1取决于当前视频块是使用单向预测还是双向预测而编解码的
[0896]
viii.dh0、dh1、dv0和dv1取决于子块的位置。
[0897]
6.根据条款1至5中任一项所述的方法，其中，代表性运动矢量对应于当前视频块的控制点运动矢量。
[0898]
7.根据条款1至5中任一项所述的方法，其中，代表性运动矢量对应于当前视频块的角子块的运动矢量。
[0899]
8.根据条款1至7中任一项所述的方法，其中，用于子块的运动矢量和代表性运动矢量的精度对应于比特流表示中的运动矢量信令通知精度。
[0900]
9.根据条款1至7中任一项所述的方法，其中，用于子块的运动矢量和代表性运动矢量的精度对应于用于存储运动矢量的存储精度。
[0901]
10.一种视频处理的方法，包括：
[0902]
为被仿射编解码的当前视频块确定该当前视频块的一个或多个子块，其中每个子块的尺寸为mxn个像素，其中m和n是2或4的倍数；
[0903]
使子块的运动矢量符合尺寸限制；以及
[0904]
通过使用尺寸限制，条件性地基于触发来执行当前视频块的比特流表示和像素值之间的转换。
[0905]
11.根据条款10所述的方法，其中，执行该转换包括从像素值生成比特流表示。
[0906]
12.根据条款10所述的方法，其中，执行该转换包括从比特流表示生成像素值。
[0907]
13.根据条款10至12中任一项所述的方法，其中，尺寸限制将当前视频块的子块运动矢量的整数部分之间的最大差限制为小于或等于k像素，其中k为整数。
[0908]
14.根据条款10
‑
13中任一项所述的方法，其中，方法仅在当前视频块是使用双向预测而编解码的情况下被应用。
[0909]
15.根据条款10
‑
13中任一项所述的方法，其中，方法仅在当前视频块是使用单向
预测而编解码的情况下被应用。
[0910]
16.根据条款10
‑
13中任一项所述的方法，其中，m、n或k的值是当前视频块的单向预测或双向预测模式的函数。
[0911]
17.根据条款10
‑
13中任一项所述的方法，其中，m、n或k的值是当前视频块的高度或宽度的函数。
[0912]
18.根据条款10至17中任一项所述的方法，其中，该触发被包括在视频参数集级别或序列参数集级别或图片参数集级别或条带头级别或片组头级别或片级别或编解码树单元级别或编解码单元级别或预测单元级别的比特流表示中。
[0913]
19.根据条款18所述的方法，其中，该触发信令通知m、n或k的值。
[0914]
20.根据条款10至19中任一项所述的方法，其中，当前视频块的一个或多个子块是基于用于当前视频块的仿射编解码的类型而计算的。
[0915]
21.根据条款20所述的方法，其中，两种不同的方法被用于计算单向预测和双向预测仿射预测模式的子块。
[0916]
22.根据条款21所述的方法，其中，如果当前视频块是双向预测的仿射块，则来自不同参考列表的子块的宽度或高度是不同的。
[0917]
23.根据条款20
‑
22中任一项所述的方法，其中，一个或多个子块对应于亮度分量。
[0918]
24.根据条款10至23中任一项所述的方法，其中，一个或多个子块中的一个的宽度和高度是使用当前视频块的运动矢量值和一个或多个子块中的一个的运动矢量值之间的运动矢量差而确定的。
[0919]
25.根据条款20至23中任一项所述的方法，其中，该计算基于在比特流表示中信令通知的像素精度。
[0920]
26.一种视频处理的方法，包括：
[0921]
确定当前视频块满足尺寸条件；以及
[0922]
基于该确定，通过排除当前视频块的双向预测编码模式来执行当前视频块的比特流表示和像素值之间的转换。
[0923]
27.一种视频处理的方法，包括：
[0924]
确定当前视频块满足尺寸条件；以及
[0925]
基于该确定来执行当前视频块的比特流表示和像素值之间的转换，其中帧间预测模式是根据尺寸条件在比特流表示中信令通知的。
[0926]
28.一种视频处理的方法，包括：
[0927]
确定当前视频块满足尺寸条件；以及
[0928]
基于该确定来执行当前视频块的比特流表示和像素值之间的转换，其中在该转换期间merge候选列表的生成取决于尺寸条件。
[0929]
29.一种视频处理的方法，包括：
[0930]
确定当前视频块的子编解码单元满足尺寸条件；以及
[0931]
基于该确定来执行当前视频块的比特流表示和像素值之间的转换，其中用于生成子编解码单元的编解码树划分过程取决于尺寸条件。
[0932]
30.根据条款26至29中任一项所述的方法，其中，尺寸条件是以下中的一个，其中w是宽度，并且h是高度：
[0933]
(a)w等于t1并且h等于t2，或者h等于t1并且w等于t2；
[0934]
(b)w等于t1并且h不大于t2，或者h等于t1并且w不大于t2；
[0935]
(c)w不大于t1并且h不大于t2，或者h不大于t1并且w不大于t2。
[0936]
31.根据条款30所述的方法，其中，t1＝8并且t2＝8，或者t1＝8、t2＝4，或者t1＝4并且t2＝4，或者t1＝4和t2＝16。
[0937]
32.根据条款26至29中任一项所述的方法，其中，该转换包括从当前视频块的像素值生成比特流表示或者从比特流表示生成当前视频块的像素值。
[0938]
33.一种视频处理的方法，包括：
[0939]
基于当前视频块的位置来确定用于当前视频块的广义双向预测(gbi)过程的权重索引；以及
[0940]
使用权重索引执行当前视频块和其比特流表示之间的转换以实施gbi过程。
[0941]
34.根据任何条款33所述的方法，其中，该转换包括从当前视频块的像素值生成比特流表示或者从比特流表示生成当前视频块的像素值。
[0942]
35.根据条款33或34中任一项所述的方法，其中，该确定包括，对于在第一位置的当前视频块，继承或预测邻近块的另一权重索引，并且对于在第二位置的当前视频块，计算gbi而不从邻近块继承。
[0943]
36.根据条款35所述的方法，其中，第二位置包括位于与邻近块不同的编解码树单元中的当前视频块。
[0944]
37.根据条款35所述的方法，其中，第二位置对应于处于与邻近块不同的编解码树单元线或与邻近块不同的编解码树单元行中的当前视频块。
[0945]
38.一种视频处理的方法，包括：
[0946]
确定当前视频块被编解码为帧内
‑
帧间预测(iip)编解码块；以及
[0947]
使用用于确定当前视频块的帧内预测模式或最可能模式(mpm)的简化规则来执行当前视频块和其比特流表示之间的转换。
[0948]
39.根据条款38所述的方法，其中，该转换包括从当前视频块的像素值生成比特流表示或者从比特流表示生成当前视频块的像素值。
[0949]
40.根据条款38
‑
39中任一项所述的方法，其中，简化规则指定确定被帧内
‑
帧间预测(iip)编解码为独立于邻近视频块的另一帧内预测编解码模式的当前视频块的帧内预测编解码模式。
[0950]
41.根据条款38至39中任一项所述的方法，其中，帧内预测编解码模式是使用独立于邻近块的编解码的编解码在比特流表示中表示的。
[0951]
42.根据条款38至40中任一项所述的方法，其中，简化规则指定优先相对于帧内预测编解码块的编解码模式而偏好帧内编解码块的编解码模式的选择。
[0952]
43.根据条款38所述的方法，其中，简化规则指定通过在插入来自iip编解码的邻近块的帧内预测模式之前插入来自帧内编解码的邻近块的帧内预测模式来确定mpm。
[0953]
44.根据条款38所述的方法，其中，简化规则指定使用与用于另一正常帧内编解码块的相同的构建过程用于确定mpm。
[0954]
45.一种视频处理的方法，包括：
[0955]
确定当前视频块满足简化准则；以及
[0956]
通过禁止将帧间
‑
帧内预测模式用于当前视频块和比特流表示之间的转换或者通过禁用用于该转换的附加编解码工具来执行该转换。
[0957]
46.根据条款45所述的方法，其中，该转换包括从当前视频块的像素值生成比特流表示或者从比特流表示生成当前视频块的像素值。
[0958]
47.根据条款45
‑
46中任一项所述的方法，其中，简化准则包括当前视频块的宽度或高度等于t1，其中t1为整数。
[0959]
48.根据条款45
‑
46中任一项所述的方法，其中，简化准则包括当前视频块的宽度或高度大于t1，其中t1为整数。
[0960]
49.根据条款45
‑
46中任一项所述的方法，其中，简化准则包括当前视频块的宽度等于t1，并且当前视频块的高度等于t2。
[0961]
48.根据条款45
‑
46中任一项所述的方法，其中，简化准则指定当前视频块使用双向预测模式。
[0962]
49.根据条款45
‑
46中任一项所述的方法，其中，附加编解码工具包括双向光流(bio)编解码。
[0963]
50.根据条款45
‑
46中任一项所述的方法，其中，附加编解码工具包括重叠块运动补偿模式。
[0964]
51.一种视频处理的方法，包括：
[0965]
使用基于运动矢量的编码过程执行当前视频块和当前视频块的比特流表示之间的转换，其中：
[0966]
(a)在转换过程期间，精度p1用于存储空域运动预测结果，并且精度p2用于存储时域运动预测结果，其中p1和p2是分数，或者
[0967]
(b)精度px用于存储x运动矢量，并且精度py用于存储y运动矢量，其中px和py是分数。
[0968]
52.根据条款51所述的方法，其中，p1、p2、px和py是不同的数。
[0969]
53.根据条款52所述的方法，其中：
[0970]
p1是1/16亮度像素，并且p2是1/4亮度像素，或者
[0971]
p1是1/16亮度像素，并且p2是1/8亮度像素，或者
[0972]
p1是1/8亮度像素，并且p2是1/4亮度像素，或者
[0973]
p1是1/8亮度像素，并且p2是1/8亮度像素，或者
[0974]
p2是1/16亮度像素，并且p1是1/4亮度像素，或者
[0975]
p2是1/16亮度像素，并且p1是1/8亮度像素，或者
[0976]
p2是1/8亮度像素，并且p1是1/4亮度像素。
[0977]
54.根据条款51
‑
52所述的方法，其中，对于被包括在比特流表示中的不同时域层中的不同图片，p1和p2是不同的。
[0978]
55.根据条款51
‑
52所述的方法，其中，在存储作为时域运动预测之前，计算出的运动矢量通过精度校正过程而处理。
[0979]
56.根据条款51
‑
52所述的方法，其中，该存储包括将x运动矢量和y运动矢量存储为n比特整数，并且其中x运动矢量的值的范围是[minx，maxx]，并且y运动矢量的值的范围是[miny，maxy]，其中范围满足以下中的一个或多个：
[0980]
a.minx等于miny，
[0981]
b.maxx等于maxy，
[0982]
c.{minx,maxx}取决于px；
[0983]
d.{miny,maxy}取决于py；
[0984]
e.{minx,maxx,miny,maxy}取决于n。
[0985]
f.对于为空域运动预测存储的mv和为时域运动预测存储的另一mv，{minx,maxx,miny,maxy}是不同的。
[0986]
g.对于不同时域层中的图片，{minx,maxx,miny,maxy}是不同的。
[0987]
h.对于具有不同宽度或高度的图片，{minx,maxx,miny,maxy}是不同的。
[0988]
i.对于具有不同宽度的图片，{minx,maxx}是不同的。
[0989]
j.对于具有不同高度的图片，{miny,maxy}是不同的。
[0990]
k.在存储用于空域运动预测之前，mvx被剪裁到[minx,maxx]。
[0991]
l.在存储用于时域运动预测之前，mvx被剪裁到[minx,maxx]。
[0992]
m.在存储用于空域运动预测之前，mvy被剪裁到[miny,maxy]。
[0993]
n.在存储用于时域运动预测之前，mvy被剪裁到[miny,maxy]。
[0994]
59.一种视频处理的方法，包括：通过提取(w2 n
–1–
pw)*(h2 n
–1–
ph)块、对提取的块进行像素填充、对像素填充的块执行边界像素重复、以及获得尺寸为w1xh1的小子块的像素值，在当前视频块的尺寸为w2xh2的大子块中内插该小子块，其中w1、w2、h1、h2以及pw和ph为整数；以及使用小子块的内插的像素值执行当前视频块和当前视频块的比特流表示之间的转换。
[0995]
60.根据条款59所述的方法，其中，该转换包括从比特流表示生成当前视频块或者从当前子块生成比特流表示。
[0996]
61.根据条款59
‑
60中任一项所述的方法，其中，w2＝h2＝8，w1＝h1＝4，并且pw＝ph＝0。
[0997]
62.一种视频处理的方法，包括：
[0998]
在大小为wxh的当前视频块和该当前视频块的比特流表示的转换期间，通过在运动补偿操作期间提取(w n
–1–
pw)*(w n
–1–
ph)个参考像素并且在提取的参考像素外部填充参考像素来执行运动补偿操作；以及
[0999]
使用运动补偿操作的结果执行当前视频块和当前视频块的比特流表示之间的转换，其中w、h、n、pw和ph为整数。
[1000]
63.根据条款62所述的方法，其中，该转换包括从比特流表示生成当前视频块或者从当前子块生成比特流表示。
[1001]
64.根据条款62
‑
63中任一项所述的方法，其中，该填充包括重复提取的像素的左边界或右边界。
[1002]
65.根据条款62
‑
63中任一项所述的方法，其中，该填充包括重复提取的像素的顶部边界或底部边界。
[1003]
66.根据条款62
‑
63中任一项所述的方法，其中，该填充包括将像素值设置为常数。
[1004]
67.根据条款38所述的方法，其中，规则指定在该转换期间使用与用于其他帧内编解码块的相同的算术编解码上下文。
[1005]
68.根据条款38所述的方法，其中，当前视频块的该转换不包括使用mpm用于当前视频块。
[1006]
69.根据条款38所述的方法，其中，简化规则指定仅使用dc和平面模式用于作为iip编解码块的当前视频块的比特流表示。
[1007]
70.根据条款38所述的方法，其中，简化规则为亮度和色度分量指定不同的帧内预测模式。
[1008]
71.根据条款44所述的方法，其中，mpm的子集用于被iip编解码的当前视频块。
[1009]
72.根据条款38所述的方法，其中，简化规则指示mpm是基于被包括在mpm列表中的帧内预测模式而选择的。
[1010]
73.根据条款38所述的方法，其中，简化规则指示要从mpm列表中选择mpm的子集，并且信令通知与该子集相关联的模式索引。
[1011]
74.根据条款38所述的方法，其中，用于编解码帧内mpm模式的上下文用于编解码被iip编解码的当前视频块的帧内模式。
[1012]
75.根据条款44所述的方法，其中，相等的权重用于为当前视频块生成的帧内预测块和帧间预测块，当前视频块是iip编解码块。
[1013]
76.根据条款44所述的方法，其中，零权重用于当前视频块的iip编解码过程中的位置。
[1014]
77.根据条款77所述的方法，其中，零权重被应用于在iip编解码过程中使用的帧内预测块。
[1015]
78.根据条款77所述的方法，其中，零权重被应用于在iip编解码过程中使用的帧间预测块。
[1016]
79.一种视频处理的方法，包括：
[1017]
基于当前视频块的尺寸来确定当前视频块的双向预测或单向预测不被允许；以及
[1018]
基于该确定，通过禁用双向预测或单向预测模式来执行当前视频块的比特流表示和像素值之间的转换。例如，不允许的模式不用于编码或解码当前视频块。转换操作可以表示视频编解码或压缩、或者视频解码或解压缩。
[1019]
80.根据条款79所述的方法，其中，当前视频块为4x8，并且确定包括确定双向预测不被允许。其他示例在示例5中给出。
[1020]
81.根据条款79所述的方法，其中，当前视频块为4x8或8x4，并且确定包括确定双向预测不被允许。
[1021]
82.根据条款79所述的方法，其中，当前视频块为4xn，其中n是<＝16的整数，并且确定包括确定双向预测不被允许。
[1022]
83.根据条款26
‑
29或79
‑
82中任一项所述的方法，其中，当前块的尺寸对应于当前块的颜色分量或亮度分量的尺寸。
[1023]
84.根据条款83所述的方法，其中，禁用双向预测或单向预测被应用于当前视频块的所有三个分量。
[1024]
85.根据条款83所述的方法，其中，禁用双向预测或单向预测仅被应用于其尺寸被用作当前块的尺寸的颜色分量。
[1025]
86.根据条款79至85中任一项所述的方法，其中，该转换是通过禁用双向预测并进
一步使用双向预测的merge候选、然后将仅来自一个参考列表的仅一个运动矢量分配给当前视频块而执行的。
[1026]
87.根据条款79所述的方法，其中，当前视频块为4x4，并且确定包括确定双向预测和单向预测都不被允许。
[1027]
88.根据条款87所述的方法，其中，当前视频块被编解码为帧内块。
[1028]
89.根据条款87所述的方法，其中，当前视频块被限制为使用整数像素运动矢量。
[1029]
条款78
‑
89的附加示例和实施例在示例5中描述。
[1030]
90.一种处理视频的方法，包括：
[1031]
基于当前视频块的尺寸来确定当前视频块的视频编解码条件；以及
[1032]
基于视频编解码条件来执行当前视频块和当前视频块的比特流表示之间的转换。
[1033]
91.根据条款90所述的方法，其中，视频编解码条件指定在比特流表示中选择性地信令通知跳过标志或帧内块编解码标志。
[1034]
92.根据条款90或91所述的方法，其中，视频编解码条件指定选择性地信令通知当前视频块的预测模式。
[1035]
93.根据条款90至92中任一项所述的方法，其中，视频编解码条件指定选择性地信令通知当前视频块的三角形模式编解码。
[1036]
94.根据条款90至93中任一项所述的方法，其中，视频编解码条件指定选择性地信令通知当前视频块的帧间预测方向。
[1037]
95.根据条款90至94中任一项所述的方法，其中，视频编解码条件指定选择性地修改用于当前视频块的帧内块复制的运动矢量或块矢量。
[1038]
96.根据条款90
‑
95中任一项所述的方法，其中，视频条件取决于当前视频块的像素高度。
[1039]
97.根据条款90
‑
96中任一项所述的方法，其中，视频条件取决于当前视频块的像素宽度。
[1040]
98.根据条款90
‑
95中任一项所述的方法，其中，视频条件取决于当前视频块是否为方形。
[1041]
本文档第4节列出的第11至16项提供了条款90至98的附加示例。
[1042]
99.一种视频编码器装置，包括处理器，其中该处理器被配置为执行条款1至98中的一项或多项所述的方法。
[1043]
100.一种视频解码器装置，包括处理器，其中该处理器被配置为执行条款1至98中的一项或多项所述的方法。
[1044]
101.一种其上存储有代码的计算机可读介质，该代码在由处理器执行时使得处理器实施条款1至98中任一项或多项所述的方法。
[1045]
图16是示出可以在其中实施本文公开的各种技术的示例视频处理系统1600的框图。各种实施方式可以包括系统1600的一些或所有组件。系统1600可以包括用于接收视频内容的输入1602。视频内容可以以例如8或10比特多分量像素值的原始或未压缩格式而接收，或者可以是压缩或编码格式。输入1602可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(passive optical network，pon)等的有线接口和诸如wi
‑
fi或蜂窝接口的无线接口。
[1046]
系统1600可以包括可以实施本文档中描述的各种编解码或编码方法的编解码组件1604。编解码组件1604可以将来自输入1602的视频的平均比特率减小到编解码组件1604的输出，以产生视频的编解码表示。编解码技术因此有时被称为视频压缩或视频转码技术。编解码组件1604的输出可以被存储，或者经由如由组件1606表示的通信连接而发送。在输入1602处接收的视频的存储或通信传送的比特流(或编解码)表示可以由组件1608用于生成像素值或传送到显示接口1610的可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是将理解，编解码工具或操作在编码器处被使用，并且反转编解码结果的对应的解码工具或操作将由解码器执行。
[1047]
外围总线接口或显示接口的示例可以包括通用串行总线(universal serial bus，usb)、或高清晰度多媒体接口(high definition multimedia interface，hdmi)、或显示端口(displayport)等。存储接口的示例包括sata(serial advanced technology attachment，串行高级技术附件)、pci、ide接口等。本文档中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型电脑、智能电话、或能够执行数字数据处理和/或视频显示的其他设备。
[1048]
图17是根据本公开的用于视频处理的方法1700的流程图表示。方法1700包括，在操作1702处，为使用仿射编解码工具在视频的当前块和视频的比特流表示之间的转换确定当前块的子块的第一运动矢量和作为当前块的代表性运动矢量的第二运动矢量符合尺寸约束。方法1700还包括，在操作1704处，基于该确定执行该转换。
[1049]
在一些实施例中，子块的第一运动矢量表示为(mvx,mvy)，并且第二运动矢量表示为(mv’x,mv’y)。尺寸约束指示mvx>＝mv’x
‑
dh0，mvx<＝mv’x dh1，mvy>＝mv’y
‑
dv0以及mvy<＝mv’y dv1，其中dh0、dh1、dv0和dv1为正数。在一些实施例中，dh0＝dh1。在一些实施例中，dh0≠dh1。在一些实施例中，dv0＝dv1。在一些实施例中，dv0≠dv0。在一些实施例中，dh0＝dv0。在一些实施例中，dh0≠dv0。在一些实施例中，dh1＝dv1。在一些实施例中，dh1≠dv1。
[1050]
在一些实施例中，dh0、dh1、dv0或dv1中的至少一个是在视频参数集级别、序列参数集级别、图片参数集级别、条带头、片组头、片级别、编解码树单元级别、编解码单元级别或预测单元级别的比特流表示中信令通知的。在一些实施例中，对于转换的不同简表、级别或层级，dh0、dh1、dv0和dv1是不同的。在一些实施例中，其中dh0、dh1、dv0和dv1基于当前块的权重或高度。在一些实施例中，dh0、dh1、dv0和dv1基于当前块的预测模式，预测模式是单向预测模式或双向预测模式。在一些实施例中，dh0、dh1、dv0和dv1基于当前块中子块的位置。
[1051]
在一些实施例中，第二运动矢量包括当前块的控制点运动矢量。在一些实施例中，第二运动矢量包括当前块的第二子块的运动矢量。在一些实施例中，第二子块包括当前块的中心子块。在一些实施例中，第二子块包括当前块的角子块。在一些实施例中，第二运动矢量包括针对当前块内部或外部的位置推导的运动矢量，该位置使用与当前块相同的仿射模型而编解码。在一些实施例中，该位置包括当前块的中心位置。
[1052]
在一些实施例中，第一运动矢量被调整以满足尺寸约束。在一些实施例中，如果第一运动矢量不满足关于第二运动矢量的尺寸约束，则比特流无效。在一些实施例中，第一运
动矢量和第二运动矢量根据比特流表示中的运动矢量信令通知精度而表示。在一些实施例中，第一运动矢量和第二运动矢量根据用于存储运动矢量的存储精度而表示。在一些实施例中，第一运动矢量和第二运动矢量根据不同于运动矢量信令通知精度或用于存储运动矢量的存储精度的精度而表示。
[1053]
图18是根据本公开的用于视频处理的方法1800的流程图表示。方法1800包括，在操作1802处，为视频的当前块和视频的比特流表示之间的转换确定包括六个参数的仿射模型。仿射模型从当前块的邻近块的仿射编解码信息继承。方法1800包括，在操作1804处，基于仿射模型执行转换。
[1054]
在一些实施例中，邻近块是使用具有六个参数的第二仿射模型而编解码的，仿射模型与第二仿射模型相同。在一些实施例中，邻近块是使用具有四个参数的第三仿射模型而编解码的。在一些实施例中，仿射模型基于当前块的位置而确定。在一些实施例中，如果邻近块与当前块不在相同的编解码树单元(ctu)中，则仿射模型根据第三仿射模型而确定。在一些实施例中，如果邻近块与当前块不在相同的ctu线或相同的ctu行中，则仿射模型根据第三仿射模型而确定。
[1055]
在一些实施例中，片、条带或图片被划分为多个非重叠区域。在一些实施例中，如果邻近块与当前块不在相同的区域中，则仿射模型根据第三仿射模型而确定。在一些实施例中，如果邻近块与当前块不在相同的区域线或相同的区域行中，则仿射模型根据第三仿射模型而确定。在一些实施例中，每个区域的尺寸为64x64。在一些实施例中，当前块的左上角表示为(x,y)，邻近块的左上角表示为(x’,y’)，并且其中如果满足关于x、y、x’和y’的条件，则仿射模型根据第三仿射模型而确定。在一些实施例中，条件指示x/m≠x’/m，m为正整数。在一些实施例中，m是128或64。在一些实施例中，条件指示y/n≠y’/n，n为正整数。在一些实施例中，n是128或64。在一些实施例中，条件指示x/m≠x’/m并且y/n≠y’/n，m和n为正整数。在一些实施例中，m＝n＝128或m＝n＝64。在一些实施例中，条件指示x>>m≠x’>>m，m为正整数。在一些实施例中，m是6或7。在一些实施例中，条件指示y>>n≠y’>>n，n为正整数。在一些实施例中，n是6或7。在一些实施例中，条件指示x>>m≠x’>>m并且y>>n≠y’>>n，m和n为正整数。在一些实施例中，m＝n＝6或m＝n＝7。
[1056]
图19是根据本公开的用于视频处理的方法1900的流程图表示。方法1900包括，在操作1902处，对于视频的块和视频的比特流表示之间的转换，基于宽度为w且高度为h的块的尺寸来确定双向预测编解码技术是否适用于该块，其中w和h为正整数。方法1900包括，在操作1904处，根据该确定执行该转换。
[1057]
在一些实施例中，如果w＝t1并且h＝t2，则双向预测编解码技术不适用，其中t1和t2为正整数。在一些实施例中，如果w＝t2并且h＝t1，则双向预测编解码技术不适用，其中t1和t2为正整数。在一些实施例中，如果w＝t1并且h≤t2，则双向预测编解码技术不适用，其中t1和t2为正整数。在一些实施例中，如果w≤t2并且h＝t1，则双向预测编解码技术不适用，其中t1和t2为正整数。在一些实施例中，t1＝4并且t2＝16。在一些实施例中，如果w≤t1并且h≤t2，则双向预测编解码技术不适用，其中t1和t2为正整数。在一些实施例中，t1＝t2＝8。在一些实施例中，t1＝8并且t2＝4。在一些实施例中，t1＝t2＝4。在一些实施例中，t1＝4并且t2＝8。
[1058]
在一些实施例中，如果双向预测编解码技术适用，则指示关于双向预测编解码技
术的信息的指示符在比特流中被信令通知。在一些实施例中，如果双向预测编解码技术不适用于块，则指示关于用于该块的双向预测编解码技术的信息的指示符被排除在比特流之外。在一些实施例中，如果块的尺寸为4x8或8x4之一，则双向预测编解码技术不适用。在一些实施例中，如果块的尺寸为4xn或nx4，则双向预测编解码技术不适用，其中n为正整数并且n≤16。在一些实施例中，块的尺寸对应于块的第一颜色分量，并且针对第一颜色分量和块的剩余颜色分量确定双向预测编解码技术是否适用。在一些实施例中，块的尺寸对应于块的第一颜色分量，并且仅针对第一颜色分量确定双向预测编解码技术是否适用。在一些实施例中，第一颜色分量包括亮度分量。
[1059]
在一些实施例中，该方法还包括，如果双向预测编解码技术不适用于当前块，则在确定所选的merge候选是使用双向预测编解码技术而编解码的时，分配来自第一参考列表或第二参考列表的单个运动矢量。在一些实施例中，该方法还包括，如果双向预测编解码技术不适用于当前块，则确定三角形预测模式不适用于该块。在一些实施例中，双向预测编解码技术是否适用与预测方向相关联，预测方向还与单向预测编解码技术相关联，并且其中预测方向是基于块的尺寸在比特流中信令通知的。在一些实施例中，如果(1)wxh<64或者(2)wxh＝64，则关于单向预测编解码技术的信息在比特流中被信令通知，其中w不等于h。在一些实施例中，如果(1)wxh>64或者(2)wxh＝64，则关于单向预测编解码技术或双向编解码技术的信息在比特流中被信令通知，其中w等于h。
[1060]
在一些实施例中，一个限制指示如果块的尺寸为4x4，则双向编解码技术和单向技术都不适用于该块。在一些实施例中，如果块是仿射编解码的，则该限制适用。在一些实施例中，如果块不是仿射编解码的，则该限制适用。在一些实施例中，如果块是帧内编解码的，则该限制适用。在一些实施例中，如果块的运动矢量具有整数精度，则该限制不适用。
[1061]
在一些实施例中，对块基于父块的划分而生成的信令通知在比特流中跳过，(1)对于四叉树划分，父块的尺寸为8x8，(2)对于二叉树划分，父块的尺寸为8x4或4x8，(3)或者对于三叉树划分，父块的尺寸为4x16或16x4。在一些实施例中，指示运动矢量具有整数精度的指示符在比特流中被设置为1。在一些实施例中，块的运动矢量被取整到整数精度。
[1062]
在一些实施例中，双向预测编解码技术适用于块。参考块的尺寸为(w n
‑1‑
pw)x(h n
‑1‑
ph)，并且参考块的边界像素被重复以生成尺寸为(w n
‑
1)x(h n
‑
1)的第二块用于插值操作，n表示插值滤波器抽头，n、pw和ph为整数。在一些实施例中，ph＝0，并且至少左边界或右边界的像素被重复以生成第二块。在一些实施例中，pw＝0，并且至少顶部边界或底部边界的像素被重复以生成第二块。在一些实施例中，pw>0并且ph>0，并且第二块通过重复至少左边界或右边界的像素、接着重复至少顶部边界或底部边界的像素而生成。在一些实施例中，pw>0并且ph>0，并且第二块通过重复至少顶部边界或底部边界的像素、接着重复至少左边界或右边界的像素而生成。在一些实施例中，左边界的像素被重复m1次，并且其中右边界的像素被重复(pw
‑
m1)次。在一些实施例中，顶部边界的像素被重复m2次，并且其中底部边界的像素被重复(ph
‑
m2)次。在一些实施例中，如何重复参考块的边界像素被应用于一些或所有参考块以用于该转换。在一些实施例中，对于块的不同分量，pw和ph是不同的。
[1063]
在一些实施例中，merge候选列表构建过程基于块的尺寸而执行。在一些实施例中，如果(1)merge候选是使用双向预测编解码技术而编解码的，以及(2)双向预测根据块的尺寸而不适用于该块，则merge候选被认为是参考单向预测编解码技术中的第一参考列表
的单向预测候选。在一些实施例中，第一参考列表包括单向预测编解码技术的参考列表0或参考列表1。在一些实施例中，如果(1)merge候选是使用双向预测编解码技术而编解码的，以及(2)双向预测根据块的尺寸而不适用于该块，则merge候选被认为是不可用的。在一些实施例中，在merge候选列表构建过程中，不可用的merge候选从merge候选列表中移除。在一些实施例中，如果双向预测根据块的尺寸而不适用于该块，则用于三角形预测模式的merge候选列表构建过程被调用。
[1064]
图20是根据本公开的用于视频处理的方法2000的流程图表示。方法2000包括，在操作2002处，对于视频的块和视频的比特流表示之间的转换，基于根据编解码树划分过程而作为块的子编解码单元的子块的尺寸，确定编解码树划分过程是否适用于该块。子块的宽度为w且高度为h，其中w和h为正整数。方法2000还包括，在操作2004处，根据该确定执行该转换。
[1065]
在一些实施例中，如果w＝t1并且h＝t2，则编解码树划分过程不适用，其中t1和t2为正整数。在一些实施例中，如果w＝t2并且h＝t1，则编解码树划分过程不适用，其中t1和t2为正整数。在一些实施例中，如果w＝t1并且h≤t2，则编解码树划分过程不适用，其中t1和t2为正整数。在一些实施例中，如果w≤t2并且h＝t1，则编解码树划分过程不适用，其中t1和t2为正整数。在一些实施例中，t1＝4并且t2＝16。在一些实施例中，如果w≤t1并且h≤t2，则编解码树划分过程不适用，其中t1和t2为正整数。在一些实施例中，t1＝t2＝8。在一些实施例中，t1＝8并且t2＝4。在一些实施例中，t1＝t2＝4。在一些实施例中，t1＝4。在一些实施例中，t2＝4。在一些实施例中，如果编解码树划分过程不适用于当前块，则编解码树划分过程的信令通知从比特流中省略。
[1066]
图21是根据本公开的用于视频处理的方法2100的流程图表示。方法2100包括，在操作2102处，对于视频的当前块和视频的比特流表示之间的转换，基于关于当前块的位置的规则来确定是否推导了编解码单元级别权重双向预测(bcw)编解码模式的索引。在bcw编解码模式下，包括多个权重的权重集被用于生成当前块的双向预测值。方法2100还包括，在操作2104处，基于该确定执行该转换。
[1067]
在一些实施例中，如果应用权重集中的至少一个权重，则当前块的双向预测值被生成为两个运动矢量的非平均加权和。在一些实施例中，规则指定如果当前块和邻近块位于不同编解码树单元或最大编解码单元中，则不根据邻近块推导索引。在一些实施例中，规则指定如果当前块和邻近块位于编解码树单元中的不同线或行中，则不根据邻近块推导索引。在一些实施例中，规则指定如果当前块和邻近块位于视频的片、条带或图片的不同非重叠区域中，则不根据邻近块推导索引。在一些实施例中，规则指定如果当前块和邻近块位于视频的片、条带或图片的非重叠区域的不同行中，则不根据邻近块推导索引。在一些实施例中，每个区域的尺寸为64x64。
[1068]
在一些实施例中，当前块的顶角表示为(x,y)，并且邻近块的顶角表示为(x’,y’)。规则指定如果(x,y)和(x’,y’)满足条件，则不根据邻近块推导索引。在一些实施例中，条件指示x/m≠x’/m，m为正整数。在一些实施例中，m是128或64。在一些实施例中，条件指示y/n≠y’/n，n为正整数。在一些实施例中，n是128或64。在一些实施例中，条件指示(x/m≠x’/m)并且(y/n≠y’/n)，m和n为正整数。在一些实施例中，m＝n＝128或m＝n＝64。在一些实施例中，条件指示x>>m≠x’>>m，m为正整数。在一些实施例中，m是6或7。在一些实施例中，条件指
示y>>n≠y’>>n，n为正整数。在一些实施例中，其中n是6或7。在一些实施例中，条件指示(x>>m≠x’>>m)并且(y>>n≠y’>>n)，m和n为正整数。在一些实施例中，m＝n＝6或m＝n＝7。
[1069]
在一些实施例中，bcw编解码模式是否适用于图片、条带、片组或片是分别在比特流中的图片参数集、条带头、片组头或片中信令通知的。在一些实施例中，bcw编解码模式是否适用于图片、条带、片组或片是基于与图片、条带、片组或片相关联的信息而推导的。在一些实施例中，信息至少包括量化参数(quantization parameter，qp)、时域层或图片顺序计数距离。
[1070]
图22是根据本公开的用于视频处理的方法2200的流程图表示。方法2200包括，在操作2202处，对于使用组合帧间和帧内预测(ciip)编解码技术编解码的视频的当前块和该视频的比特流表示之间的转换，独立于邻近块的帧内预测模式来确定当前块的帧内预测模式。ciip编解码技术使用中间帧间预测值和中间帧内预测值来推导当前块的最终预测值。方法2200还包括，在操作2204处，基于该确定执行该转换。
[1071]
在一些实施例中，当前块的帧内预测模式在没有参考任何邻近块的帧内预测预测模式的情况下被确定。在一些实施例中，邻近块是使用ciip编解码技术而编解码的。在一些实施例中，当前块的帧内预测基于使用帧内预测编解码技术编解码的第二邻近块的帧内预测模式而确定。在一些实施例中，是否根据第二帧内预测模式来确定当前块的帧内预测模式基于是否满足条件，该条件指定作为第一块的当前块和作为第二块的第二邻近块之间的关系。在一些实施例中，该确定是推导最可能模式(mpm)模式列表的当前块的mpm构建过程的一部分。
[1072]
图23是根据本公开的用于视频处理的方法2300的流程图表示。方法2300包括，在操作2302处，对于使用组合帧间和帧内预测(ciip)编解码技术编解码的视频的当前块和该视频的比特流表示之间的转换，根据第一邻近块的第一帧内预测模式和第二邻近块的第二帧内预测模式来确定当前块的帧内预测模式。第一邻近块是使用帧内预测编解码技术进行编解码的，并且第二邻近块是使用ciip编解码技术进行编解码的。第一帧内预测模式被赋予不同于第二帧内预测模式的优先级。ciip编解码技术使用中间帧间预测值和中间帧内预测值来推导当前块的最终预测值。方法2300还包括，在操作2304处，基于该确定执行该转换。
[1073]
在一些实施例中，该确定是推导最可能模式(mpm)模式列表的当前块的mpm构建过程的一部分。在一些实施例中，在mpm候选列表中，第一帧内预测模式位于第二帧内预测模式之前。在一些实施例中，在mpm候选列表中，第一帧内预测模式位于第二帧内预测模式之后。在一些实施例中，帧内预测模式的编解码绕过(bypass)当前块的最可能模式(mpm)构建过程。在一些实施例中，该方法还包括根据当前块的帧内预测模式来确定后续块的帧内预测模式，其中后续块是使用帧内预测编解码技术而编解码的，并且当前块是使用ciip编解码技术而编解码的。在一些实施例中，该确定是后续块的最可能模式(mpm)构建过程的一部分。在一些实施例中，在后续块的mpm构建过程中，当前块的帧内预测模式被赋予比使用帧内预测编解码技术编解码的另一邻近块的帧内预测模式更低的优先级。在一些实施例中，是否根据当前块的帧内预测模式来确定后续块的帧内预测模式基于是否满足条件，该条件指定作为第一块的后续块和作为第二块的当前块之间的关系。在一些实施例中，该条件包括以下中的至少一个：(1)第一块和第二块位于编解码树单元(ctu)的相同行中，(2)第一块
和第二块位于相同ctu中，(3)第一块和第二块位于相同区域中，或者(4)第一块和第二块位于区域的相同行中。在一些实施例中，区域的宽度与区域的高度相同。在一些实施例中，区域的尺寸为64x64。
[1074]
在一些实施例中，仅正常帧内编解码技术的最可能模式(mpm)列表的子集用于当前块。在一些实施例中，子集包括正常帧内编解码技术的mpm模式列表中的单个mpm模式。在一些实施例中，单个mpm模式是列表中的第一个mpm模式。在一些实施例中，指示单个mpm模式的索引在比特流中被省略。在一些实施例中，子集包括mpm模式列表中的前四个mpm模式。在一些实施例中，指示子集中的mpm模式的索引是在比特流中信令通知的。在一些实施例中，用于编解码帧内编解码块的编解码上下文被重新用于编解码当前块。在一些实施例中，用于帧内编解码块的第一mpm标志和用于当前块的第二mpm标志共享比特流中的相同编解码上下文。在一些实施例中，当前块的帧内预测模式是从mpm模式列表中选择的，而不管当前块的尺寸。在一些实施例中，mpm构建过程被默认为启用，并且其中指示mpm构建过程的标志在比特流中被省略。在一些实施例中，当前块不需要mpm列表构建过程。
[1075]
在一些实施例中，亮度预测色度模式用于处理当前块的色度分量。在一些实施例中，推导的模式用于处理当前块的色度分量。在一些实施例中，多种帧内预测模式用于处理当前块的色度分量。在一些实施例中，多种帧内预测模式基于色度分量的颜色格式而使用。在一些实施例中，如果颜色格式为4:4:4，则多种帧内预测模式与当前块的亮度分量的帧内预测模式相同。在一些实施例中，四种帧内预测模式中的每一种是使用一个或多个比特而编解码的，该四种帧内预测模式包括平面模式、dc模式、垂直模式和水平模式。在一些实施例中，四种帧内预测模式是使用00、01、10和11而编解码的。在一些实施例中，四种帧内预测模式是使用0、10、110、111而编解码的。在一些实施例中，四种帧内预测模式是使用1、01、001、000而编解码的。在一些实施例中，如果当前块的宽度w和高度h满足条件，则仅四种帧内预测模式的子集可用。在一些实施例中，如果w>n
×
h，则子集包括平面模式、dc模式和垂直模式，其中n为整数。在一些实施例中，平面模式、dc模式和垂直模式是使用1、01和11而编解码的。在一些实施例中，平面模式、dc模式和垂直模式是使用0、10和00而编解码的。在一些实施例中，如果h>n
×
w，则子集包括平面模式、dc模式和水平模式，其中n为整数。在一些实施例中，平面模式、dc模式和水平模式是使用1、01和11而编解码的。在一些实施例中，平面模式、dc模式和水平模式是使用0、10和00而编解码的。在一些实施例中，n＝2。在一些实施例中，仅dc模式和平面模式用于当前块。在一些实施例中，指示dc模式或平面模式的指示符是在比特流中信令通知的。
[1076]
图24是根据本公开的用于视频处理的方法2400的流程图表示。方法2400包括，在操作2402处，对于视频的当前块和视频的比特流表示之间的转换，基于当前块的尺寸来确定组合帧间帧内预测(ciip)过程是否适用于当前块的颜色分量。ciip编解码技术使用中间帧间预测值和中间帧内预测值来推导当前块的最终预测值。方法2400还包括，在操作2404处，基于该确定执行该转换。
[1077]
在一些实施例中，颜色分量包括色度分量，并且其中如果当前块的宽度小于4，则不对色度分量执行ciip过程。在一些实施例中，颜色分量包括色度分量，并且其中如果当前块的高度小于4，则不对色度分量执行ciip过程。在一些实施例中，当前块的色度分量的帧内预测模式不同于当前块的亮度分量的帧内预测模式。在一些实施例中，色度分量使用以
下中的一个：dc模式、平面模式或亮度预测色度模式。在一些实施例中，色度分量的帧内预测模式基于色度分量的颜色格式而确定。在一些实施例中，颜色格式包括4:2:0或4:4:4。
[1078]
图25是根据本公开的用于视频处理的方法2500的流程图表示。方法2500包括，在操作2502处，对于视频的当前块和视频的比特流表示之间的转换，基于当前块的特性，确定是否将组合帧间和帧内预测(ciip)编解码技术应用于当前块。ciip编解码技术使用中间帧间预测值和中间帧内预测值来推导当前块的最终预测值。方法2500还包括，在操作2504处，基于该确定执行该转换。
[1079]
在一些实施例中，特性包括宽度为w且高度为h的当前块的尺寸，w和h为整数，并且如果块的尺寸满足条件，则对当前块禁用帧间
‑
帧内预测编解码技术。在一些实施例中，条件指示w等于t1，t1为整数。在一些实施例中，条件指示h等于t1，t1为整数。在一些实施例中，t1＝4。在一些实施例中，t1＝2。在一些实施例中，条件指示w大于t1或h大于t1，t1为整数。在一些实施例中，t1＝64或128。在一些实施例中，条件指示w等于t1并且h等于t2，t1和t2为整数。在一些实施例中，条件指示w等于t2并且h等于t1，t1和t2为整数。在一些实施例中，t1＝4并且t2＝16。
[1080]
在一些实施例中，特性包括应用于当前块的编解码技术，并且如果编解码技术满足条件，则对当前块禁用ciip编解码技术。在一些实施例中，条件指示编解码技术是双向预测编解码技术。在一些实施例中，双向预测编解码merge候选被转换为单向预测编解码merge候选，以允许帧间
‑
帧内预测编解码技术被应用于当前块。在一些实施例中，转换后的merge候选与单向预测编解码技术的参考列表0相关联。在一些实施例中，转换后的merge候选与单向预测编解码技术的参考列表1相关联。在一些实施例中，仅块的单向预测编解码merge候选被选择以用于该转换。在一些实施例中，双向预测编解码merge候选被丢弃，用于确定比特流表示中指示merge候选的mege索引。在一些实施例中，帧间
‑
帧内预测编解码技术根据该确定被应用于当前块。在一些实施例中，用于三角形预测模式的merge候选列表构建过程用于推导当前块的运动候选列表。
[1081]
图26是根据本公开的用于视频处理的方法2600的流程图表示。方法2600包括，在操作2602处，对于视频的当前块和视频的比特流表示之间的转换，基于当前块是否是用组合帧间和帧内预测(ciip)编解码技术编解码的，确定是否要对当前块禁用编解码工具。ciip编解码技术使用中间帧间预测值和中间帧内预测值来推导当前块的最终预测值。编解码工具包括以下中的至少一个：双向光流(bdof)、重叠块运动补偿(obmc)或解码器侧运动矢量细化过程(dmvr)。方法2500还包括，在操作2604处，基于该确定执行该转换。
[1082]
在一些实施例中，用于当前块的帧内预测过程不同于用于使用帧内预测编解码技术而编解码的第二块的帧内预测过程。在一些实施例中，在用于当前块的帧内预测过程中，跳过对邻近样点的过滤。在一些实施例中，在用于当前块的帧内预测过程中，禁用位置相关的帧内预测样点过滤过程。在一些实施例中，在用于当前块的帧内预测过程中，禁用多线帧内预测过程。在一些实施例中，在用于当前块的帧内预测过程中，禁用宽角度帧内预测过程。
[1083]
图27是根据本公开的用于视频处理的方法2700的流程图表示。方法2700包括，在操作2702处，对于视频的块和视频的比特流表示之间的转换，确定用于空域运动预测的运动矢量的第一精度p1和用于时域运动预测的运动矢量的第二精度p2。p1和/或p2是分数。p1
和p2彼此不同。方法2600还包括，在操作2704处，基于该确定执行该转换。
[1084]
在一些实施例中，第一精度是1/16亮度像素，并且第二精度是1/4亮度像素。在一些实施例中，第一精度是1/16亮度像素，并且第二精度是1/8亮度像素。在一些实施例中，第一精度是1/8亮度像素，并且第二精度是1/4亮度像素。在一些实施例中，第一精度是1/16亮度像素，并且第二精度是1/4亮度像素。在一些实施例中，第一精度是1/16亮度像素，并且第二精度是1/8亮度像素。在一些实施例中，第一精度是1/8亮度像素，并且第二精度是1/4亮度像素。在一些实施例中，第一精度或第二精度中的至少一个低于1/16亮度像素。
[1085]
在一些实施例中，第一精度或第二精度中的至少一个是变量。在一些实施例中，第一精度或第二精度是根据视频的简表、级别或层级的变量。在一些实施例中，第一精度或第二精度是根据视频中的图片的时域层的变量。在一些实施例中，第一精度或第二精度是根据视频中的图片的尺寸的变量。
[1086]
在一些实施例中，第一精度或第二精度中的至少一个是在比特流表示中的视频参数集、序列参数集、图片参数集、条带头、片组头、片、编解码树单元或编解码单元中信令通知的。在一些实施例中，运动矢量表示为(mvx,mvy)，并且运动矢量的精度表示为(px,py)，并且其中px与mvx相关联，并且py与mvy相关联。在一些实施例中，px和py是根据视频的简表、级别或层级的变量。在一些实施例中，px和py是根据视频中的图片的时域层的变量。在一些实施例中，px和py是根据视频中的图片的宽度的变量。在一些实施例中，px和py是在比特流表示中的视频参数集、序列参数集、图片参数集、条带头、片组头、片、编解码树单元或编解码单元中信令通知的。在一些实施例中，解码的运动矢量表示为(mvx,mvy)，并且其中在运动矢量被存储为时域运动预测运动矢量之前，运动矢量根据第二精度而调整。在一些实施例中，时域运动预测运动矢量被调整为(shift(mvx,p1
‑
p2),shift(mvy,p1
‑
p2))，其中p1和p2为整数并且p1≥p2，shift表示对无符号数的右移位操作。在一些实施例中，时域运动预测运动矢量被调整为(signshift(mvx,p1
‑
p2),signshift(mvy,p1
‑
p2))，其中p1和p2为整数并且p1≥p2，signshift表示对有符号数的右移位操作。在一些实施例中，时域运动预测运动矢量被调整为(mvx<<(p1
‑
p2)),mvy<<(p1
‑
p2))，其中p1和p2为整数并且p1≥p2，<<表示对有符号数或无符号数的左移位操作。
[1087]
图28是根据本公开的用于视频处理的方法2800的流程图表示。方法2800包括，在操作2802处，对于视频的块和视频的比特流表示之间的转换，确定精度为(px,py)的运动矢量(mvx,mvy)。px与mvx相关联，并且py与mvy相关联。mvx和mvy是使用n比特而表示的，并且minx≤mvx≤maxx且miny≤mvy≤maxy，其中minx、maxx、miny和maxy是实数。方法2700还包括，在操作2804处，基于该确定执行该转换。
[1088]
在一些实施例中，minx＝miny。在一些实施例中，minx≠miny。在一些实施例中，maxx＝maxy。在一些实施例中，maxx≠maxy。
[1089]
在一些实施例中，minx或maxx中的至少一个基于px。在一些实施例中，运动矢量具有表示为(px,py)的精度，并且其中miny或maxy中的至少一个基于py。在一些实施例中，minx、maxx、miny或maxy中的至少一个基于n。在一些实施例中，空域运动预测运动矢量的minx、maxx、miny或maxy中的至少一个不同于时域运动预测运动矢量的对应的minx、maxx、miny或maxy。在一些实施例中，minx、maxx、miny或maxy中的至少一个是根据视频的简表、级别或层级的变量。在一些实施例中，minx、maxx、miny或maxy中的至少一个是根据视频中的
图片的时域层的变量。在一些实施例中，minx、maxx、miny或maxy中的至少一个是根据视频中的图片的尺寸的变量。在一些实施例中，minx、maxx、miny或maxy中的至少一个是在比特流表示中的视频参数集、序列参数集、图片参数集、条带头、片组头、片、编解码树单元或编解码单元中信令通知的。在一些实施例中，在用于空域运动预测或时域运动预测之前，mvx被剪裁到[minx,maxx]。在一些实施例中，在用于空域运动预测或时域运动预测之前，mvy被剪裁到[miny,maxy]。
[1090]
图29是根据本公开的用于视频处理的方法2900的流程图表示。方法2900包括，在操作2902处，对于视频的当前块和视频的比特流表示之间的转换，根据当前块的编解码模式来确定共享merge列表是否适用于当前块。方法2800包括，在操作2904处，基于该确定执行该转换。
[1091]
在一些实施例中，如果当前块是使用常规merge模式而编解码的，则共享merge列表不适用。在一些实施例中，如果当前块是使用帧内块复制(ibc)模式而编解码的，则共享merge列表适用。在一些实施例中，该方法还包括：在执行该转换之前，基于视频和比特流表示的过去转换来维护运动候选表；以及如果当前块是共享merge列表适用的父块的子块并且当前块是使用常规merge模式而编解码的，则在执行该转换之后禁用运动候选表的更新。
[1092]
图30是根据本公开的用于视频处理的方法3000的流程图表示。方法3000包括，在操作3002处，对于尺寸为wxh的视频的当前块和该视频的比特流表示之间的转换，确定大小为(w n
‑
1)x(h n
‑
1)的第二块以用于该转换期间的运动补偿。第二块是基于大小为(w n
‑1‑
pw)x(h n
‑1‑
ph)的参考块而确定的。n表示滤波器尺寸，并且w、h、n、pw和ph是非负整数。pw和ph不都等于0。方法3000还包括，在操作3004处，基于该确定执行该转换。
[1093]
在一些实施例中，第二块中位于参考块外部的像素通过重复参考块的一个或多个边界而确定。在一些实施例中，ph＝0，并且参考块的至少左边界或右边界被重复以生成第二块。在一些实施例中，pw＝0，并且参考块的至少顶部边界或底部边界被重复以生成第二块。在一些实施例中，pw>0并且ph>0，并且第二块通过重复参考块的至少左边界或右边界、并且随后重复参考块的至少顶部边界或底部边界而生成。在一些实施例中，pw>0并且ph>0，并且第二块通过重复参考块的至少顶部边界或底部边界、并且随后重复参考块的至少左边界或右边界而生成。
[1094]
在一些实施例中，参考块的左边界被重复m1次，并且参考块的右边界被重复(pw
‑
m1)次，m1为正整数。在一些实施例中，参考块的顶部边界被重复m2次，并且参考块的底部边界被重复(ph
‑
m2)次，m2为正整数。在一些实施例中，对于当前块的不同颜色分量，pw或ph中的至少一个是不同的，颜色分量至少包括亮度分量或一个或多个色度分量。在一些实施例中，pw或ph中的至少一个是根据当前块的尺寸或形状的变量。在一些实施例中，pw或ph中的至少一个是根据当前块的编解码特性的变量，该编解码特性包括单向预测编解码或双向预测编解码。
[1095]
在一些实施例中，第二块中位于参考块外部的像素被设置为单个值。在一些实施例中，单个值是1<<(bd
‑
1)，bd是参考块中的像素样点的比特深度。在一些实施例中，bd是8或10。在一些实施例中，单个值是基于参考块的像素样点而推导的。在一些实施例中，单个值是在视频参数集、序列参数集、图片参数集、条带头、片组头、片、编解码树单元行、编解码树单元、编解码单元或预测单元中信令通知的。在一些实施例中，如果当前块是仿射编解码
的，则禁用第二块中位于参考块外部的像素的填充。
[1096]
图31是根据本公开的用于视频处理的方法3000的流程图表示。方法3000包括，在操作3102处，对于尺寸为wxh的视频的当前块和该视频的比特流表示之间的转换，确定大小为(w n
‑
1)x(h n
‑
1)的第二块以用于该转换期间的运动补偿。w、h是非负整数，并且其中n是非负整数并且基于滤波器尺寸。在该转换期间，根据对原始运动矢量的运动矢量细化操作，基于多点搜索确定细化的运动矢量，并且其中通过重复一个或多个非边界像素确定参考块的像素长边界。方法3100还包括，在操作3104处，基于该确定执行该转换。
[1097]
在一些实施例中，处理当前块包括在运动矢量细化操作中过滤当前块。在一些实施例中，参考块是否适用于当前块的处理是基于当前块的大小而确定的。在一些实施例中，内插当前块包括：基于第二块来内插当前块的多个子块。每个子块的尺寸为w1xh1，w1、h1是非负整数。在一些实施例中，w1＝h1＝4，w＝h＝8，并且pw＝ph＝0。在一些实施例中，第二块完全基于多个子块中的至少一个的运动矢量的整数部分而确定。在一些实施例中，如果所有多个子块的运动矢量的整数部分之间的最大差等于或小于1个像素，则参考块基于当前块的左上方子块的运动矢量的整数部分而确定，并且参考块的右边界和底部边界中的每一个被重复一次以获得第二块。在一些实施例中，如果所有多个子块的运动矢量的整数部分之间的最大差等于或小于1个像素，则参考块基于当前块的右下方子块的运动矢量的整数部分而确定，并且参考块的左边界和顶部边界中的每一个被重复一次以获得第二块。在一些实施例中，第二块完全基于多个子块中的一个的修改后的运动矢量而确定。
[1098]
在一些实施例中，如果所有多个子块的运动矢量的整数部分之间的最大差等于或小于两个像素，则当前块的左上方子块的运动矢量通过向每个分量添加一个整数像素距离而修改，以获得修改后的运动矢量。参考块基于修改后的运动矢量而确定，并且参考块的左边界、右边界、顶部边界和底部边界中的每一个被重复一次，以获得第二块。
[1099]
在一些实施例中，如果所有多个子块的运动矢量的整数部分之间的最大差等于或小于两个像素，则当前块的右下方子块的运动矢量通过从每个分量减去一个整数像素距离而修改，以获得修改后的运动矢量。参考块基于修改后的运动矢量而确定，并且参考块的左边界、右边界、顶部边界和底部边界中的每一个被重复一次，以获得第二块。
[1100]
图32是根据本公开的用于视频处理的方法3200的流程图表示。方法3200包括，在操作3202处，对于使用组合帧间和帧内预测(ciip)编解码技术编解码的视频的块和该视频的比特流表示的转换，基于块中一位置处的帧间预测值和帧内预测值的加权和来确定该位置处的预测值。加权和基于将偏移添加到基于帧间预测值和帧内预测值而获得的初始和，并且该偏移在执行以确定加权和的右移操作之前被添加。方法3200还包括，在操作3204处，基于该确定执行该转换。
[1101]
在一些实施例中，块中的位置表示为(x,y)，位置(x,y)处的帧间预测值表示为pinter(x,y)，位置(x,y)处的帧内预测值表示为pintra(x,y)，位置(x,y)处的帧间预测权重表示为w_inter(x,y)，并且位置(x,y)处的帧内预测权重表示为w_intra(x,y)。位置(x,y)处的预测值被确定为(pintra(x,y)
×
w_intra(x,y) pinter(x,y)
×
w_inter(x,y) offset(x,y))>>n，其中w_intra(x,y) w_inter(x,y)＝2^n并且offset(x,y)＝2^(n
‑
1)，n为正整数。在一些实施例中，n＝2。
[1102]
在一些实施例中，加权和是使用该位置处的帧间预测值和帧内预测值的相等权重
而确定的。在一些实施例中，根据块中的位置使用零权重来确定加权和。在一些实施例中，零权重被应用于帧间预测值。在一些实施例中，零权重被应用于帧内预测值。
[1103]
图33是根据本公开的用于视频处理的方法3300的流程图表示。方法3300包括，在操作3302处，对于视频的当前块和视频的比特流表示之间的转换，部分基于是否满足与当前块的尺寸相关联的条件来确定在比特流表示中表示当前块的编解码信息的方式。方法3300还包括，在操作3304处，基于该确定执行该转换。
[1104]
在一些实施例中，如果满足该条件，则编解码信息在比特流表示中被信令通知。在一些实施例中，如果满足该条件，则编解码信息在比特流表示中被省略。在一些实施例中，如果满足该条件，则对当前块禁用帧内块复制(ibc)编解码工具或帧间预测编解码工具中的至少一个。在一些实施例中，如果ibc编解码工具和帧间预测编解码工具被禁用，则编解码信息在比特流表示中被省略。在一些实施例中，如果ibc编解码工具被启用并且帧间预测工具被禁用，则编解码信息在比特流表示中被信令通知。
[1105]
在一些实施例中，编解码信息包括与ibc工具和/或帧间预测编解码工具相关联的操作模式，操作模式至少包括正常模式或跳过模式。在一些实施例中，编解码信息包括指示与编解码工具相关联的预测模式的使用的指示符。在一些实施例中，如果编解码信息在比特流表示中被省略，则不使用编解码工具。在一些实施例中，如果编解码信息在比特流表示中被省略，则使用编解码工具。在一些实施例中，编解码工具包括帧内块复制(ibc)编解码工具或帧间预测编解码工具。
[1106]
在一些实施例中，如果指示符在比特流中被省略，则指示其他一个或多个编解码工具的一个或多个指示符在比特流表示中被信令通知。在一些实施例中，其他一个或多个编解码工具至少包括帧内编解码工具或调色板编解码工具。在一些实施例中，指示符区分帧间模式和帧内模式，并且一个或多个指示符包括指示ibc模式的第一指示符和指示调色板模式的第二指示符，其中如果帧间预测编解码工具被禁用并且ibc编解码工具被启用，则该第一指示符和该第二指示符在比特流中被信令通知。
[1107]
在一些实施例中，编解码信息包括用于跳过模式的第三指示符，跳过模式是帧间跳过模式或ibc跳过模式。在一些实施例中，如果帧间预测编解码工具被禁用但ibc编解码工具被启用，则用于跳过模式的第三指示符被信令通知。在一些实施例中，尽管指示ibc模式的使用的指示符在比特流表示中被省略，但如果帧间预测编解码工具被禁用并且ibc编解码工具被启用，则预测模式被确定为ibc模式，并且其中，跳过模式适用于当前块。
[1108]
在一些实施例中，编解码信息包括三角形模式。在一些实施例中，编解码信息包括帧间预测方向。在一些实施例中，如果当前块是使用单向预测编解码工具进行编解码的，则编解码信息在比特流表示中被省略。在一些实施例中，编解码信息包括指示对称运动矢量差(symmetric motion vector difference，smvd)方法的使用的指示符。在一些实施例中，如果满足该条件，则尽管指示smvd方法的使用的指示符在比特流表示中，当前块也被设置为单向预测的。在一些实施例中，如果指示smvd方法的使用的指示符被排除在比特流表示之外，则在运动补偿过程中仅使用与单向预测编解码工具相关联的列表0或列表1。
[1109]
在一些实施例中，条件指示当前块的宽度为t1并且当前块的高度为t2，t1和t2为正整数。在一些实施例中，条件指示当前块的宽度为t2并且当前块的高度为t1，t1和t2为正整数。在一些实施例中，条件指示当前块的宽度为t1并且当前块的高度小于或等于t2，t1和
t2为正整数。在一些实施例中，条件指示当前块的宽度为t2并且当前块的高度小于或等于t1，t1和t2为正整数。在一些实施例中，条件指示当前块的宽度小于或等于t1并且当前块的高度小于或等于t2，t1和t2为正整数。在一些实施例中，条件指示当前块的宽度大于或等于t1并且当前块的高度大于或等于t2，t1和t2为正整数。在一些实施例中，条件指示当前块的宽度大于或等于t1或者当前块的高度大于或等于t2，t1和t2为正整数。在一些实施例中，t1＝4并且t2＝16。在一些实施例中，t1＝t2＝8。在一些实施例中，t1＝8并且t2＝4。在一些实施例中，t1＝t2＝4。在一些实施例中，t1＝t2＝32。在一些实施例中，t1＝t2＝64。在一些实施例中，t1＝t2＝128。
[1110]
在一些实施例中，条件指示当前块的尺寸为4
×
8、8
×
4、4
×
16或16
×
4。在一些实施例中，条件指示当前块的尺寸为4
×
8、8
×
4。在一些实施例中，条件指示当前块的尺寸为4
×
n或n
×
4，n为正整数并且n≤16。在一些实施例中，条件指示当前块的尺寸为8
×
n或n
×
8，n为正整数并且n≤16。在一些实施例中，条件指示当前块的颜色分量包括小于或等于n个样点。在一些实施例中，n＝16。在一些实施例中，n＝32。
[1111]
在一些实施例中，条件指示当前块的颜色分量具有等于高度的宽度。在一些实施例中，条件指示当前块的颜色分量的尺寸为4
×
8、8
×
4、4
×
4、4
×
16或16
×
4。在一些实施例中，颜色分量包括亮度分量或一个或多个色度分量。在一些实施例中，如果条件指示当前块的宽度为4且高度为4，则帧间预测工具被禁用。在一些实施例中，如果条件指示当前块的宽度为4且高度为4，则ibc预测工具被禁用。
[1112]
在一些实施例中，如果(1)当前块的宽度为4且高度为8，或者(2)当前块的宽度为8且高度为4，则与单向预测编解码工具相关联的列表0用于运动补偿过程。在运动补偿过程中，双向预测编解码工具被禁用。
[1113]
图34是根据本公开的用于视频处理的方法3400的流程图表示。方法3400包括，在操作3402处，为视频的当前块和视频的比特流表示之间的转换确定修改的运动矢量集。方法3400包括，在操作3404处，基于修改的运动矢量集来执行该转换。由于当前块满足条件，因此修改的运动矢量集是与当前块相关联的运动矢量集的修改版本。
[1114]
在一些实施例中，运动矢量集使用以下中的一个进行推导：常规merge编解码技术、子块时域运动矢量预测编解码技术(sub
‑
block temporal motion vector prediction，sbtmvp)或具有运动矢量差的merge(merge with motion vector difference，mmvd)编解码技术。在一些实施例中，运动矢量集包括在帧内块复制(ibc)编解码技术中使用的块矢量。在一些实施例中，条件指定当前块的亮度分量的尺寸与预定义的尺寸相同。在一些实施例中，预定义的尺寸包括8
×
4或4
×
8中的至少一个。
[1115]
在一些实施例中，修改运动矢量集包括：如果当前块的运动信息被确定为双向，则将运动矢量集转换为单向运动矢量，其中该双向包括参考第一预测方向的第一参考图片列表中的第一参考图片的第一运动矢量和参考第二预测方向的第二参考图片列表中的第二参考图片的第二运动矢量。在一些实施例中，当前块的运动信息是基于邻近块的运动信息而推导的。在一些实施例中，该方法包括丢弃第一预测方向或第二预测方向之一的信息。在一些实施例中，丢弃信息包括将所丢弃的预测方向上的运动矢量修改为(0，0)。在一些实施例中，丢弃信息包括将所丢弃的预测方向上的参考索引修改为
‑
1。在一些实施例中，丢弃信息包括将所丢弃的预测方向修改为另一预测方向。
[1116]
在一些实施例中，该方法还包括基于第一预测方向的信息和第二预测方向的信息来推导新运动候选。在一些实施例中，推导新运动候选包括基于第一预测方向上的第一运动矢量和第二预测方向上的第二运动矢量的平均来确定新运动候选的运动矢量。在一些实施例中，推导新运动候选包括通过根据第二预测方向的信息对第一预测方向上的第一运动矢量进行缩放来确定缩放后的运动矢量；以及基于缩放后的运动矢量和第二预测方向上的第二运动矢量的平均来确定新运动候选的运动矢量。
[1117]
在一些实施例中，第一参考图片列表是列表0并且第二参考图片列表是列表1。在一些实施例中，第一参考图片列表是列表1并且第二参考图片列表是列表0。在一些实施例中，该方法包括使用转换后的运动矢量来更新基于过去转换而确定的运动候选表。在一些实施例中，该表包括历史运动矢量预测(history motion vector prediction，hmvp)表。
[1118]
在一些实施例中，该方法包括：使用修改运动矢量集之前的第一预测方向和第二预测方向的信息来更新基于过去转换而确定的运动候选表。在一些实施例中，转换后的运动矢量被用于当前块的运动补偿操作。在一些实施例中，转换后的运动矢量被用于预测后续块的运动矢量。在一些实施例中，转换后的运动矢量被用于当前块的去方块过程。
[1119]
在一些实施例中，修改运动矢量集之前的第一预测方向和第二预测方向的信息被用于当前块的运动补偿操作。在一些实施例中，修改运动矢量集之前的信息被用于预测后续块的运动矢量。在一些实施例中，修改运动矢量集之前的第一预测方向和第二预测方向的信息被用于当前块的去方块过程。
[1120]
在一些实施例中，转换后的运动矢量被用于当前块的运动细化操作。在一些实施例中，修改运动矢量集之前的第一预测方向和第二预测方向的信息被用于当前块的细化操作。在一些实施例中，细化操作包括光流编解码操作，其中该光流编解码操作至少包括双向光流(bdof)操作或利用光流的预测细化(prediction refined with optical flow，prof)操作。
[1121]
在一些实施例中，该方法包括：基于第一预测方向的信息和第二预测方向的信息来生成中间预测块，细化中间预测块，以及基于中间预测块中的一个来确定最终预测块。
[1122]
图35是根据本公开的用于视频处理的方法3500的流程图表示。方法3500包括，在操作3502处，对于视频的当前块和视频的比特流表示之间的转换，如果满足块大小的条件，则从双向运动矢量确定单向运动矢量。单向运动矢量随后被用作用于该转换的merge候选。方法3500还包括，在操作3504处，基于该确定执行该转换。
[1123]
在一些实施例中，转换后的单向运动矢量在具有运动矢量差的merge(mmvd)编解码过程中被用作基本merge候选。在一些实施例中，转换后的单向运动矢量随后被插入到merge列表中。在一些实施例中，单向运动矢量是基于双向运动矢量的一个预测方向而转换的。在一些实施例中，单向运动矢量是基于仅一个预测方向而转换的，并且其中，该仅一个预测方向与参考图片列表0相关联。在一些实施例中，如果当前块所在的视频数据单元是双向预测的，则候选列表中的第一候选的该仅一个预测方向与参考图片列表0相关联，并且候选列表中的第二候选的该仅一个预测方向与参考图片列表1相关联。候选列表包括merge候选列表或mmvd基本候选列表。
[1124]
在一些实施例中，视频数据单元包括视频的当前条带、片组或图片。在一些实施例中，如果根据显示顺序，视频数据单元的所有参考图片都是过去的图片，则单向运动矢量基
于参考图片列表1而确定。在一些实施例中，如果根据显示顺序，视频数据单元的参考图片的至少第一参考图片是过去的图片并且视频数据单元的参考图片的至少第二参考图片是未来的图片，则单向运动矢量基于参考图片列表0而确定。在一些实施例中，基于不同参考图片列表而确定的单向运动矢量以交错的方式位于merge列表中。
[1125]
在一些实施例中，单向运动矢量是基于低延迟检查指示符而确定的。在一些实施例中，在该转换期间，单向运动矢量在运动补偿过程之前被确定。在一些实施例中，在该转换期间，单向运动矢量在运动候选列表构建过程之后被确定。在一些实施例中，单向运动矢量在具有运动矢量差的merge(mmvd)编解码过程中添加运动矢量差之前被确定。在一些实施例中，单向运动矢量在样点细化过程之前被确定。在一些实施例中，单向运动矢量在双向光流(bdof)过程之前被确定。在一些实施例中，bdof过程随后基于对使用单向运动矢量的确定而禁用。
[1126]
在一些实施例中，单向运动矢量在利用光流的预测细化(prof)过程之前被确定。在一些实施例中，单向运动矢量在解码器侧运动矢量细化(dmvr)过程之前被确定。在一些实施例中，dmvr过程随后基于单向运动矢量而禁用。
[1127]
在一些实施例中，块大小的条件指示当前块的宽度为t1并且当前块的高度为t2，t1和t2为正整数。在一些实施例中，块大小的条件指示当前块的宽度为t2并且当前块的高度为t1，t1和t2为正整数。在一些实施例中，块大小的条件指示当前块的宽度为t1并且当前块的高度小于或等于t2，t1和t2为正整数。在一些实施例中，块大小的条件指示当前块的宽度为t2并且当前块的高度小于或等于t1，t1和t2为正整数。
[1128]
图36是根据本公开的用于视频处理的方法3600的流程图表示。方法3600包括，在操作3602处，对于视频的当前块和视频的比特流表示之间的转换，基于当前块的大小来确定当前块的运动候选被限制为单向预测候选。方法3600包括，在操作3604处，基于该确定执行该转换。
[1129]
在一些实施例中，如果当前块的大小满足条件，则当前块的所有运动候选被限制为单向预测候选。在一些实施例中，如果当前块的大小满足条件，则双向运动候选被转换为单向预测候选。在一些实施例中，当前块的大小指示当前块的宽度为t1并且当前块的高度为t2，t1和t2为正整数。在一些实施例中，块大小的条件指示当前块的宽度为t2并且当前块的高度为t1，t1和t2为正整数。在一些实施例中，当前块的大小指示当前块的宽度为t1并且当前块的高度小于或等于t2，t1和t2为正整数。在一些实施例中，当前块的大小指示当前块的宽度为t2并且当前块的高度小于或等于t1，t1和t2为正整数。在一些实施例中，t1等于4并且t2等于8。在一些实施例中，t1等于4并且t2等于4。在一些实施例中，t1等于8并且t2等于8。
[1130]
在一些实施例中，在以上方法中执行转换包括基于视频的当前块来生成比特流表示。在一些实施例中，在以上方法中执行转换包括从比特流表示生成视频的当前块。
[1131]
在本文档中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，视频压缩算法可以在从视频的像素表示到对应的比特流表示的转换期间被应用，反之亦然。当前视频块的比特流表示可以例如对应于比特流内并置的或分散在不同地方的比特，如通过语法所定义的。例如，宏块可以根据变换和编解码的误差残差值并且也使用比特流中的头和其他字段中的比特进行编码。此外，在转换期间，解码器可以基于确定，在知
道一些字段可能存在或不存在的情况下解析比特流，如上面的解决方案所述。类似地，编码器可以确定是否包括特定语法字段，并通过包括语法字段或从比特流表示排除语法字段来相应地生成比特流表示。
[1132]
本文档中描述的所公开的以及其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路中、或者在计算机软件、固件或硬件(包括本文档中公开的结构及其结构等同物)中、或者在它们中的一个或多个的组合中被实施。所公开的以及其他实施例可以被实施为一个或多个计算机程序产品，例如在计算机可读介质上编码的计算机程序指令的一个或多个模块，该计算机程序指令用于由数据处理装置运行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或它们中的一个或多个的组合。术语“数据处理装置”包含用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，装置还可以包括为所讨论的计算机程序创建运行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。传播信号是被生成以对信息进行编码以用于发送到合适的接收器装置的人工生成的信号，例如机器生成的电信号、光学信号或电磁信号。
[1133]
计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写，并且其可以以任何形式部署，包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，存储在专用于所讨论的程序的单个文件中，或存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署以在一个计算机上或在位于一个站点上或跨多个站点分布并通过通信网络互连的多个计算机上运行。
[1134]
本文档书中描述的过程和逻辑流程可以由运行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行，并且装置也可以被实施为专用逻辑电路，例如，fpga(field programmable gate array，现场可编程门阵列)或asic(专用集成电路)。
[1135]
适合于运行计算机程序的处理器包括例如通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或可操作地耦合以从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传递数据、或者从其接收数据并向其传递数据。然而，计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如eprom、eeprom和闪存设备；磁盘，例如内部硬盘或可换式磁盘；磁光盘；以及cd rom和dvd
‑
rom磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
[1136]
虽然本专利文档包含许多细节，但这些细节不应被解释为对任何主题或可能要求保护的范围的限制，而是作为特定于特定技术的特定实施例的特征的描述。在本专利文档
中在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合实施。此外，尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。
[1137]
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为需要以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离。
[1138]
仅描述了一些实施方式和示例，并且可以基于本专利文档中描述和示出的内容来进行其他实施方式、增强和变化。