应用双向预测时推导用于加权平均的权重索引信息的图像解码方法和设备与流程

1.本公开涉及用于在应用双向预测时推导关于加权平均的权重索引信息的图像解码方法和设备。


背景技术：

2.最近，在各种领域中对诸如4k或8k超高清(uhd)图像/视频的高分辨率、高质量图像/视频的需求不断增加。随着图像/视频分辨率或质量变得更高，与传统图像/视频数据相比发送相对更多的信息或比特。因此，如果图像/视频数据经由诸如现有有线/无线宽带线路的介质发送或被存储在传统存储介质中，则传输和存储的成本容易增加。
3.此外，对虚拟现实(vr)和人工现实(ar)内容以及诸如全息图这样的沉浸式媒体的兴趣和需求日益增长；并且表现出与实际图像/视频不同的图像/视频特性的图像/视频(例如，游戏图像/视频)的广播也日益增长。
4.因此，需要高度高效的图像/视频压缩技术来有效地压缩并发送、存储或播放如上所述显示出各种特性的高分辨率、高质量图像/视频。


技术实现要素：

5.技术问题
6.本公开提供了用于提高图像编码效率的方法和设备。
7.本公开还提供了用于推导关于帧间预测中的双向预测的权重索引信息的方法和设备。
8.本公开还提供了用于在应用双向预测时推导关于加权平均的权重索引信息的方法和设备。
9.技术方案
10.在一方面，提供了一种由解码设备执行的图像解码方法。执行的所述方法包括以下步骤：通过比特流获得包括帧间预测模式信息和残差信息的图像信息；基于所述残差信息来生成残差样本；基于所述帧间预测模式信息来生成当前块的合并候选列表；基于从所述合并候选列表中选择的候选来推导关于所述当前块的运动信息；基于所述运动信息来生成所述当前块的l0预测样本和l1预测样本；基于所述l0预测样本、所述l1预测样本和权重信息来生成所述当前块的预测样本，其中，所述权重信息是基于关于选择的候选的权重索引信息推导出的；以及基于所述预测样本和所述残差样本来生成重构样本，其中，所述候选包括仿射合并候选，并且所述仿射合并候选包括处于所述当前块上侧的控制点0(cp0)的运动矢量、处于所述当前块右上侧的控制点1(cp1)的运动矢量、处于所述当前块左下侧的控制点2(cp2)的运动矢量和处于所述当前块右下侧的控制点3(cp3)的运动矢量中的至少一个，当所述仿射合并候选是基于{cp0，cp1，cp2}、{cp0，cp1，cp3}、{cp0，cp2，cp3}、{cp0，cp1}和{cp0，cp2}中的任一个生成的时，基于关于所述cp0的邻近块当中的特定块的权重索
引信息来推导关于所述仿射合并候选的权重索引信息，并且当所述仿射合并候选是基于{cp1，cp2，cp3}生成的时，基于关于所述cp1的邻近块当中的特定块的权重索引信息来推导关于所述仿射合并候选的权重索引信息。
11.在另一方面，提供了一种由编码设备执行的图像编码方法。所述方法包括以下步骤：确定当前块的帧间预测模式，并生成指示所述帧间预测模式的帧间预测模式信息；基于所述帧间预测模式来生成所述当前块的合并候选列表；生成指示所述合并候选列表中所包括的候选中的一个的选择信息；基于所述当前块的残差样本来生成残差信息；以及对包括所述帧间预测模式信息、所述选择信息和所述残差信息的图像信息进行编码，其中，所述候选包括仿射合并候选，并且所述仿射合并候选包括处于所述当前块上侧的控制点0(cp0)的运动矢量、处于所述当前块右上侧的控制点1(cp1)的运动矢量、处于所述当前块左下侧的控制点2(cp2)的运动矢量和处于所述当前块右下侧的控制点3(cp3)的运动矢量中的至少一个，当所述仿射合并候选是基于{cp0，cp1，cp2}、{cp0，cp1，cp3}、{cp0，cp2，cp3}、{cp0，cp1}和{cp0，cp2}中的任一个生成的时，基于关于所述cp0的邻近块当中的特定块的权重索引信息来指示关于所述仿射合并候选的权重索引信息，并且当所述仿射合并候选是基于{cp1，cp2，cp3}生成的时，基于所述cp1的邻近块当中的特定块的权重索引信息来指示关于所述仿射合并候选的权重索引信息。
12.在又一方面，提供了一种存储致使图像解码设备执行图像解码方法的编码信息的计算机可读存储介质。所述图像解码方法包括以下步骤：通过比特流获得包括帧间预测模式信息和残差信息的图像信息；基于所述残差信息来生成残差样本；基于所述帧间预测模式信息来生成当前块的合并候选列表；基于从所述合并候选列表中选择的候选来推导关于所述当前块的运动信息；基于所述运动信息来生成所述当前块的l0预测样本和l1预测样本；基于所述l0预测样本、所述l1预测样本和权重信息来生成所述当前块的预测样本，其中，所述权重信息是基于关于选择的候选的权重索引信息推导出的；以及基于所述预测样本和所述残差样本来生成重构样本，其中，所述候选包括仿射合并候选，并且所述仿射合并候选包括处于所述当前块上侧的控制点0(cp0)的运动矢量、处于所述当前块右上侧的控制点1(cp1)的运动矢量、处于所述当前块左下侧的控制点2(cp2)的运动矢量和处于所述当前块右下侧的控制点3(cp3)的运动矢量中的至少一个，当所述仿射合并候选是基于{cp0，cp1，cp2}、{cp0，cp1，cp3}、{cp0，cp2，cp3}、{cp0，cp1}和{cp0，cp2}中的任一个生成的时，基于关于所述cp0的邻近块当中的特定块的权重索引信息来推导关于所述仿射合并候选的权重索引信息，并且当所述仿射合并候选是基于{cp1，cp2，cp3}生成的时，基于关于所述cp1的邻近块当中的特定块的权重索引信息来推导关于所述仿射合并候选的权重索引信息。
13.技术效果
14.根据本公开，可以提高整体图像/视频压缩效率。
15.根据本公开，可以在帧间预测期间高效地构造运动矢量候选。
16.根据本公开，可以高效地执行基于权重的双向预测。
附图说明
17.图1是示意性例示了可以应用本公开的实施方式的视频/图像编码系统的示例的
示图。
18.图2是示意性例示了可以应用本公开的实施方式的视频/图像编码设备的配置的示图。
19.图3是示意性例示了可以应用本公开的实施方式的视频/图像解码设备的配置的示图。
20.图4是例示了基于帧间预测的视频/图像编码方法的示例的示图。
21.图5是示意性例示了编码设备中的帧间预测单元的示图。
22.图6是例示了基于帧间预测的视频/图像编码方法的示例的示图。
23.图7是示意性例示了解码设备中的帧间预测单元的示图。
24.图8是用于描述帧间预测中的合并模式的示图。
25.图9a和图9b是示例性例示了用于仿射运动预测的cpmv的示图。
26.图10是示例性例示了以子块为单位确定仿射mvf的情况的示图。
27.图11是用于描述帧间预测中的仿射合并模式的示图。
28.图12是用于描述仿射合并模式下候选的位置的示图。
29.图13是用于描述帧间预测中的sbtmvp的示图。
30.图14和图15是示意性例示了根据本公开的实施方式的视频/图像编码方法和相关部件的示例的示图。
31.图16和图17是示意性例示了根据本公开的实施方式的图像/视频解码方法和相关部件的示例的示图。
32.图18是例示了可以应用本公开中公开的实施方式的内容流传输系统的示例的示图。
具体实施方式
33.本公开可以进行各种修改并具有若干示例性实施方式。因此，本公开的特定示例性实施方式将在附图中例示并被详细描述。然而，这并不旨在将本公开限于特定实施方式。本公开中使用的术语仅用于描述具体实施方式，而不旨在限制本公开的实施方式的技术思路。除非上下文另外清楚指示，否则单数形式旨在包括复数形式。还将理解的是，在本说明书中使用的术语“包括”或“具有”指定存在本说明书中提到的所述特征、步骤、操作、部件、部分或其组合，但不排除存在或添加一个或更多个其它特征、数字、步骤、操作、部件、部分或其组合。
34.此外，为了便于进行关于不同特征功能的描述，独立地例示了本公开中描述的附图中的每个部件，这不意味着每个部件被实现为单独的硬件或单独的软件。例如，每个部件当中的两个或更多个部件可以被组合，以形成一个部件，或者一个部件可以被划分成多个部件。每个部件被集成和/或分离的实施方式也被包括在本公开的范围中。
35.本公开涉及视频/图像编码。例如，本公开中公开的方法/实施方式可以应用于以通用视频编码(vvc)标准公开的方法。另外，本公开中公开的方法/实施方式可以应用于在基本视频编码(evc)标准、aomedia video 1(av1)标准、第二代音频视频编码标准(avs2)或下一代视频/图像编码标准(例如，h.267或h.268等)中公开的方法。
36.本公开提出了与视频/图像编码相关的各种实施方式，并且除非另有说明，否则可
以通过彼此组合来执行这些实施方式。
37.下文中，将参考附图来描述本公开的实施方式。下文中，在附图中相同的附图标记可以用于相同的部件，并且可以省略对相同部件的重复描述。
38.图1例示了可以应用本公开的实施方式的视频/图像编码系统的示例。
39.参照图1，视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以通过数字存储介质或网络以文件或流传输的形式将编码后的视频/图像信息或数据发送到接收装置。
40.源装置可包括视频源、编码设备和发送器。接收装置可包括接收器、解码设备和渲染器。编码设备可被称为视频/图像编码设备，解码设备可被称为视频/图像解码设备。发送器可被包括在编码设备中。接收器可被包括在解码设备中。渲染器可包括显示器，并且显示器可被配置为单独的装置或外部组件。
41.视频源可通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可包括视频/图像捕获装置，和/或视频/图像生成装置。例如，视频/图像捕获装置可包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可包括计算机、平板计算机和智能电话，并且可(以电子方式)生成视频/图像。例如，可通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可由生成相关数据的处理代替。
42.编码设备可对输入视频/图像进行编码。为了压缩和编码效率，编码设备可执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。
43.发送器可通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流的形式发送至接收装置的接收器。数字存储介质可包括诸如usb、sd、cd、dvd、蓝光、hdd、ssd等的各种存储介质。发送器可包括用于通过预定文件格式生成媒体文件的元件，并且可包括用于通过广播/通信网络传输的元件。接收器可接收/提取比特流并且将所接收的比特流发送至解码设备。
44.解码设备可通过执行与编码设备的操作对应的诸如反量化、逆变换和预测的一系列过程对视频/图像进行解码。
45.渲染器可渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。
46.本公开涉及视频/图像编码。例如，本公开中公开的方法/实施方式可以应用于在通用视频编码(vvc)标准、基本视频编码(evc)标准、aomedia video 1(av1)标准、第二代音频视频编码标准(avs2)或下一代视频/图像编码标准(例如，h.267或h.268等)中公开的方法。
47.本文献提议了视频/图像编码的各种实施方式，并且除非另外提到，否则以上实施方式也可以彼此组合地执行。
48.在本文献中，视频可以是指随时间推移的一系列图像。图片通常是指在特定时间帧表示一个图像的单元，并且切片/图块是指从编码的角度看构成图片的一部分的单元。切片/图块可以包括一个或更多个编码树单元(ctu)。一个图片可以由一个或更多个切片/图块组成。
49.图块是图片中的特定图块列和特定图块行内的ctu的矩形区域。图块列是高度等
于图片的高度并且宽度由图片参数集中的语法元素指定的ctu的矩形区域。图块行是高度由图片参数集中的语法元素指定并且宽度等于图片的宽度的ctu的矩形区域。图块扫描是分割图片的ctu的特定顺序排序，其中ctu在图块中按ctu光栅扫描连续排序，而图片中的图块按图片的图块的光栅扫描连续排序。切片可以包括可以被包含在一个nal单元中的图片的多个完整图块或一个图块中的多个连续的ctu行。在本文献中，图块组与切片可以被可互换地使用。例如，在本文献中，图块组/图块组头可以被称为切片/切片头。
50.此外，一个图片可以被划分为两个或更多个子图片。子图片可以是图片内的一个或更多个切片的矩形区域。
51.像素或画素(pel)可以意指构成一个图片(或图像)的最小单元。另外，“样本”可以被用作与像素对应的术语。样本通常可以表示像素或像素的值，并且可以仅表示亮度分量的像素/像素值，或仅表示色度分量的像素/像素值。
52.单元可表示图像处理的基本单位。单元可包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可与诸如块或区域这样的术语互换使用。在一般情况下，m
×
n块可包括m列和n行的样本(或样本数组)或变换系数的集合(或数组)。另选地，样本可意指空间域中的像素值，并且当这样的像素值被变换到频域时，它可意指频域中的变换系数。
53.在本公开中，“a或b”可以意指“仅a”、“仅b”或“a和b二者”。换句话说，本公开中的“a或b”可以被解释为“a和/或b”。例如，在本公开中，“a、b或c”意指“仅a”、“仅b”、“仅c”或“a、b和c中的任一个及其任何组合”。
54.在本公开中使用的斜杠(/)或逗号(，)可以意指“和/或”。例如，“a/b”可以意指“a和/或b”。因此，“a/b”可以意指“仅a”、“仅b”或“a和b二者”。例如，“a、b、c”可以意指“a、b或c”。
55.在本公开中，“a和b中的至少一个”可以意指“仅a”、“仅b”或“a和b二者”。另外，在本公开中，表述“a或b中的至少一个”或“a和/或b中的至少一个”可以与表述“a和b中的至少一个”等同地解释。
56.另外，在本公开中，“a、b和c中的至少一个”意指“仅a”、“仅b”、“仅c”或“a、b和c的任何组合”。另外，“a、b或c中的至少一个”或“a、b和/或c中的至少一个”可以意指“a、b和c中的至少一个”。
57.另外，在本公开中使用的括号可以意指“例如”。具体地，当指示“预测(帧内预测)”时，“帧内预测”可以被提议作为“预测”的示例。换句话说，本公开中的“预测”不限于“帧内预测”，并且“帧内预测”可以被提议作为“预测”的示例。另外，当指示“预测(帧内预测)”时，“帧内预测”可以被提议作为“预测”的示例。
58.本公开中在一个附图内独立描述的技术特征可以独立地实现，或者可以同时地实现。
59.图2是示意性例示了可以应用本文献的实施方式的视频/图像编码设备的配置的示图。下文中，所谓的编码设备可以包括图像编码设备和/或视频编码设备。另外，所谓的图像编码方法/设备可以包括视频编码方法/设备。或者，所谓的视频编码方法/设备可以包括图像编码方法/设备。
60.参照图2，编码设备200包括图像分割器210、预测器220、残差处理器230和熵编码
器240、加法器250、滤波器260和存储器270。预测器220可包括帧间预测器221和帧内预测器222。残差处理器230可包括变换器232、量化器233、反量化器234和逆变换器235。残差处理器230还可包括减法器231。加法器250可被称为重构器或重构块生成器。根据实施方式，图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可由至少一个硬件组件(例如，编码器芯片组或处理器)配置。另外，存储器270可包括解码图片缓冲器(dpb)，或者可由数字存储介质配置。硬件组件还可包括存储器270作为内部/外部组件。
61.图像分割器210可将输入到编码设备200的输入图像(或者图片或帧)分割成一个或更多个处理器。例如，处理器可被称为编码单元(cu)。在这种情况下，编码单元可根据四叉树二叉树三叉树(qtbttt)结构从编码树单元(ctu)或最大编码单元(lcu)递归地分割。例如，一个编码单元可基于四叉树结构、二叉树结构和/或三元结构被分割成深度更深的多个编码单元。在这种情况下，例如，可首先应用四叉树结构，稍后可应用二叉树结构和/或三元结构。另选地，可首先应用二叉树结构。可基于不再分割的最终编码单元来执行根据本公开的编码过程。在这种情况下，根据图像特性基于编码效率等，最大编码单元可用作最终编码单元，或者如果需要，编码单元可被递归地分割成深度更深的编码单元并且具有最优大小的编码单元可用作最终编码单元。这里，编码过程可包括预测、变换和重构的过程(将稍后描述)。作为另一示例，处理器还可包括预测单元(pu)或变换单元(tu)。在这种情况下，预测单元和变换单元可从上述最终编码单元拆分或分割。预测单元可以是样本预测的单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
62.在一些情况下，单元可与诸如块或区域这样的术语互换使用。在一般情况下，m
×
n块可表示由m列和n行组成的样本或变换系数的集合。样本通常可表示像素或像素值，可仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可用作与像素或像元的一个图片(或图像)对应的术语。
63.编码设备200可以从输入图像信号(原始块、原始样本数组)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本数组)以生成残差信号(残差块、残差样本数组)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所例示的，编码器200中的用于从输入图像信号(原始块、原始样本数组)中减去预测信号(预测块、预测样本数组)的单元可以被称为减法器231。预测器可以对处理目标块(下文中，被称为当前块)执行预测，并生成包括当前块的预测样本的预测块。预测器可以确定以当前块或cu为单位应用帧内预测还是帧间预测。预测器可以生成诸如预测模式信息这样的关于预测的各种信息，并将所生成的信息发送到熵编码器240，如下面在描述每种预测模式时描述的。关于预测的信息可以被熵编码器240编码并以比特流的形式输出。
64.帧内预测器222可参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。例如，非定向模式可包括dc模式和平面模式。例如，根据预测方向的详细程度，定向模式可包括33个定向预测模式或65个定向预测模式。然而，这仅是示例，可根据设置使用更多或更少的定向预测模式。帧内预测器222可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
65.帧间预测器221可基于参考图片上运动矢量所指定的参考块(参考样本数组)来推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与
当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动矢量和参考图片索引。运动信息还可包括帧间预测方向(l0预测、l1预测、bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可相同或不同。时间邻近块可被称为并置参考块、并置cu(colcu)等，并且包括时间邻近块的参考图片可被称为并置图片(colpic)。例如，帧间预测器221可基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动矢量和/或参考图片索引的信息。可基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，可不发送残差信号。在运动矢量预测(mvp)模式的情况下，邻近块的运动矢量可用作运动矢量预测器，并且可通过用信号通知运动矢量差来指示当前块的运动矢量。
66.预测器220可以基于以下将描述的各种预测方法来生成预测信号。例如，预测器可以将帧内预测或帧间预测应用于一个块的预测，并可以同时应用帧内预测和帧间预测。这可以被称为帧间和帧内预测组合(ciip)。另外，预测器可以基于块内复制(ibc)预测模式或者基于调色板模式进行块的预测。ibc预测模式或调色板模式可以用于诸如游戏这样的内容的图像/视频编码，例如，屏幕内容编码(scc)。ibc基本上在当前图片内执行预测，但可以在当前图片内推导出参考块方面与帧间预测类似地执行。即，ibc可以使用本文献中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，可以基于关于调色板表和调色板索引的信息来发信号通知图片中的样本值。
67.由预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或者可以用于生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(dct)、离散正弦变换(dst)、karhunen-loeve变换(klt)、基于图的变换(gbt)或有条件非线性变换(cnt)中的至少一种。这里，gbt是指当按曲线图表示像素之间的关系信息时从曲线图获得的变换。cnt是指基于使用所有先前重构的像素生成的预测信号而获得的变换。另外，变换处理可以被应用于大小与正方形相同的像素的块，或者可以应用于大小可变而非正方形的块。
68.量化器233对变换系数进行量化并且将其发送到熵编码器240，并且熵编码器240对量化后的信号(关于量化变换系数的信息)进行编码并将编码后的信号作为比特流输出。关于量化变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将块形式的量化变换系数重新布置成一维矢量形式，并可以基于一维矢量形式的量化变换系数来生成关于变换系数的信息。熵编码器240可以执行诸如(例如)指数哥伦布(exponential golomb)、上下文自适应可变长度编码(cavlc)、上下文自适应二进制算术编码(cabac)这样的各种编码方法。熵编码器240可以将对除量化变换系数之外的视频/图像重构所必需的信息(例如，语法元素的值等)一起或单独地进行编码。编码后的信息(例如，编码后的视频/图像信息)可以以比特流的形式以网络抽象层(nal)单元为单位进行发送或存储。视频/图像信息还可以包括关于诸如适应参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频参数集(vps)这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。在本文献中，从编码设备发送/发信号通知给解码设备的信息和/或语法元素可以被包括在视
频/图像信息中。视频/图像信息可以通过上述编码过程被编码并且被包括在比特流中。比特流可以通过网络发送，或者可以被存储在数字存储介质中。这里，网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括诸如usb、sd、cd、dvd、蓝光、hdd和ssd这样的各种存储介质。用于发送或存储从熵编码器240输出的信号的发送单元(未示出)和/或存储单元(未示出)可以被配置为编码设备200的内部/外部元件，或者发送单元可以被包括在熵编码器240中。
69.从量化器233输出的量化变换系数可以用于生成预测信号。例如，可以通过利用反量化器234和逆变换单元235对量化变换系数应用反量化和逆变换来重构残差信号(残差块或残差样本)。加法器250可以将重构后的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加，以生成重构信号(重构图片、重构块、重构样本数组)。当没有处理目标块的残差时，诸如当应用跳过模式时，预测块可以被用作重构块。加法器250可以被称为恢复单元或恢复块生成器。所生成的重构信号可以用于当前图片中的下一处理目标块的帧内预测，并可以在如下所述的滤波之后用于下一图片的帧间预测。
70.此外，可以在图片编码和/或重构处理期间应用具有色度缩放的亮度映射(lmcs)。
71.滤波器260可以通过向重构信号应用滤波来改善主观/客观图像质量。例如，滤波器260可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并将修改后的重构图片存储在存储器270中，具体地，存储在存储器270的dpb中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成与滤波相关的各种类型的信息，并将所生成的信息传送到熵编码器240，如随后描述每种滤波方法时描述的。与滤波相关的信息可以由熵编码器240编码并以比特流的形式被输出。
72.发送到存储器270的修改后的重构图片可以被用作帧间预测器221中的参考图片。当通过编码设备应用帧间预测时，可以避免编码设备200与解码设备之间的预测失配，并且可以提高编码效率。
73.存储器270的dpb可以存储修正后的重构图片，以用作帧间预测器221中的参考图片。存储器270可以存储从其推导出(或编码)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测器221，以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本，并可以将重构样本传送到帧内预测器222。
74.此外，在本文献中，量化/反量化和/或变换/逆变换中的至少一个可以被省略。当量化/反量化被省略时，量化变换系数可以被称为变换系数。当变换/逆变换被省略时，变换系数可以被称为系数或残差系数，或者为了表述的一致性，仍可以被称为变换系数。
75.另外，在本文献中，量化变换系数和变换系数可以分别被称为变换系数和缩放变换系数。在这种情况下，残差信息可以包括关于变换系数的信息，并且关于变换系数的信息可以通过残差编码语法发信号通知。可以基于残差信息(或关于变换系数的信息)来推导变换系数，并且可以通过对变换系数的逆变换(缩放)来推导缩放变换系数。可以基于缩放变换系数的逆变换(变换)来推导残差样本。这也可以在本文献的其他部分中应用/表达。
76.图3是示意性说明了可以应用本文献的公开内容的视频/图像解码设备的配置的示图。
77.参照图3，解码设备300可以包括并配置有熵解码器310、残差处理器320、预测器
330、加法器340、滤波器350和存储器360。预测器330可以包括帧内预测器331和帧间预测器332。残差处理器320可以包括反量化器321和逆变换器322。根据实施方式，上面已描述的熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由一个或更多个硬件组件(例如，解码器芯片组或处理器)配置。另外，存储器360可以包括解码图片缓冲器(dpb)，并可以由数字存储介质配置。硬件组件还可以包括存储器360作为内部/外部组件。
78.当输入包括视频/图像信息的比特流时，解码设备300可以响应于在图2中例示的编码设备中处理视频/图像信息的处理而重构图像。例如，解码设备300可以基于与从比特流获取的块分割相关信息来推导单元/块。解码设备300可以使用应用于编码设备的处理单元来执行解码。因此，用于解码的处理单元例如可以是编码单元，并且可以从编码树单元或最大编码单元根据四叉树结构、二叉树结构和/或三叉树结构分割出编码单元。可以从编码单元推导一个或更多个变换单元。另外，可以通过再现设备来再现通过解码设备300解码并输出的重构图像信号。
79.解码设备300可以以比特流的形式接收从图2的编码设备输出的信号，并且可以通过熵解码器310对接收到的信号进行解码。例如，熵解码器310可以对比特流进行解析，以推导出图像重构(或图片重构)所必需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于诸如适应参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频参数集(vps)这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。解码设备还可以基于关于参数集的信息和/或常规约束信息对图片进行解码。随后在本文献中描述的发信号通知/接收的信息和/或语法元素可以通过解码过程被解码，并从比特流中获得。例如，熵解码器310基于诸如指数哥伦布编码、上下文自适应可变长度编码(cavlc)或上下文自适应二进制算术编码(cabac)这样的编码方法对比特流中的信息进行解码，并输出图像重构所需的语法元素和针对残差的变换系数的量化值。更具体地，cabac熵解码方法可以在比特流中接收与每个语法元素对应的bin，通过使用解码目标语法元素信息、解码目标块的解码信息或在前一级中解码的符号/bin的信息来确定上下文模型，并通过根据所确定的上下文模型预测出现bin的概率来对bin执行算术解码，并生成与每个语法元素的值对应的符号。在这种情况下，cabac熵解码方法可以通过在确定上下文模型之后，使用针对下一个符号/bin的上下文模型的解码符号/bin的信息来更新上下文模型。由熵解码器310解码的信息当中的与预测相关的信息可以被提供到预测器(帧间预测器332和帧内预测器331)，并且关于在熵解码器310中被执行了熵解码的残差值(即，量化变换系数和相关的参数信息)可以输入到残差处理器320。
80.反量化器321可将量化后的变换系数反量化并输出变换系数。反量化器321可按二维块形式重排量化后的变换系数。在这种情况下，可基于在编码设备中执行的系数扫描顺序来执行重排。反量化器321可使用量化参数(例如，量化步长信息)对量化后的变换系数执行反量化并且获得变换系数。
81.逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本数组)。
82.预测器330可对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且可确定特定帧内/帧间预测模式。
83.预测器330可以基于随后将描述的各种预测方法来生成预测信号。例如，预测器可
以将帧内预测或帧间预测应用于一个块的预测，并可以同时应用帧内预测和帧间预测。这可以被称为帧间和帧内预测组合(ciip)。另外，预测器可以基于块内复制(ibc)预测模式或者基于调色板模式进行块的预测。ibc预测模式或调色板模式可以用于诸如游戏这样的内容的图像/视频编码，例如，屏幕内容编码(scc)。ibc可以基本上在当前图片内执行预测，但可以在当前图片内推导出参考块方面与帧间预测类似地执行。即，ibc可以使用本文献中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，关于调色板表和调色板索引的信息可以被包括在视频/图像信息中并被发信号通知。
84.帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可以位于当前块的附近，或者其位置可以与当前块分开。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定将应用于当前块的预测模式。
85.帧间预测器332可以基于参考图片上的运动矢量所指定的参考块(参考样本数组)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括关于帧间预测方向(l0预测、l1预测、bi预测等)的信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。例如，帧间预测器332可以基于邻近块来构造运动信息候选列表，并基于接收到的候选选择信息来推导当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。
86.加法器340可以通过将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块或预测样本数组)相加来生成重构信号(重构图片、重构块或重构样本数组)。如果没有处理目标块的残差(诸如，应用跳过模式的情况)，则预测块可以用作重构块。
87.加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于在当前图片中将处理的下一个块的帧内预测，并且如随后描述的，还可以通过滤波来输出或者还可以用于下一个图片的帧间预测。
88.此外，带有色度缩放的亮度映射(lmcs)还可以被应用于图片解码处理。
89.滤波器350可以通过向重构信号应用滤波来改善主观/客观图像质量。例如，滤波器350可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并将修改后的重构图片存储在存储器360中，具体地，存储在存储器360的dpb中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
90.存储在存储器360的dpb中的(修改后的)重构图片可以被用作帧间预测器332中的参考图片。存储器360可以存储从其推导出(或解码出)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测器332，以便被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本，并将重构样本传送到帧内预测器331。
91.在本公开中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描
述的实施方式可以与滤波器350、帧间预测器332和帧内预测器331相等或对应地应用。
92.此外，如上所述，在执行视频编码时，执行预测以提高压缩效率。据此，可以生成包括用于作为待编码块(即，编码目标块)的当前块的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。在编码设备和解码设备中以相同的方式推导预测块，并且编码设备可以将关于原始块与预测块之间的残差的信息(残差信息)而非原始块的原始样本值发信号通知给解码设备，由此提高图像编码效率。解码设备可以基于残差信息来推导包括残差样本的残差块，将残差块和预测块相加以生成包括重构样本的重构块，并生成包括重构块的重构图片。
93.可以通过变换和量化过程来生成残差信息。例如，编码设备可以推导原始块与预测块之间的残差块，对残差块中所包括的残差样本(残差样本数组)执行变换过程以推导变换系数，对变换系数执行量化过程以推导量化变换系数，并(通过比特流)向解码设备发信号通知相关残差信息。这里，残差信息可以包括量化变换系数的值信息、位置信息、变换技术、变换核、量化参数等。解码设备可以基于残差信息来执行反量化/逆变换过程，并推导残差样本(或残差块)。解码设备可以基于预测块和残差块来生成重构图片。此外，为了供后面的图片的帧间预测参考，编码设备还可以对量化变换系数进行反量化/逆变换，以推导残差块并基于此来生成重构图片。
94.图4例示了基于帧间预测的视频/图像编码方法的示例，并且图5是示意性例示了编码设备中的帧间预测单元的示例。图5的编码设备中的帧间预测单元可以与上述图2的编码设备200的帧间预测单元221相同或对应地应用。
95.参照图4和图5，编码设备对当前块执行帧间预测(s400)。编码设备可以推导当前块的帧间预测模式和运动信息，并生成当前块的预测样本。这里，确定帧间预测模式、推导运动信息并生成预测样本的过程可以被同时执行，或者可以在执行其它过程之前执行其任一个过程。
96.例如，编码设备的帧间预测单元221可以包括预测模式确定单元221_1、运动信息推导单元221_2和预测样本推导单元221_3，并且预测模式确定单元221_1可以确定当前块的预测模式，运动信息推导单元221_2可以推导当前块的运动信息，并且预测样本推导单元221_3可以推导当前块的预测样本。例如，编码设备的帧间预测单元221可以通过运动估计在参考图片的预定区域(搜索区域)内搜索与当前块相近的块，并推导与当前块的差异等于或小于最小值或一定标准的参考块。基于此，可以推导出指示参考块所处的参考图片的参考图片索引，并且可以基于参考块位置与当前块位置之间的差异来推导运动矢量。编码设备可以确定各种预测模式当中的应用于当前块的模式。编码设备可以将各种预测模式下的rd成本进行比较，并确定当前块的最佳预测模式。
97.例如，当向当前块应用跳过模式或合并模式时，编码设备可以构造合并候选列表，并推导合并候选列表中所包括的合并候选所指示的参考块当中的与当前块的差异为最小值或预定标准或更小的参考块。在这种情况下，选择与推导出的参考块关联的合并候选，并且可以生成并向解码设备发信号通知指示所选择的合并候选的合并索引信息。可以使用所选择的合并候选的运动信息来推导当前块的运动信息。
98.作为另一示例，当向当前块应用(a)mvp模式时，编码设备可以构造(a)mvp候选列表，并且可以使用从(a)mvp候选列表中所包括的运动矢量预测子(mvp)候选当中选择的mvp
候选的运动矢量作为当前块的mvp。在这种情况下，例如，指示通过上述运动估计推导出的参考块的运动矢量可以被用作当前块的运动矢量，并且在mvp候选当中的具有与当前块的运动矢量的差异最小的运动矢量的mvp候选可以是所选择的mvp候选。可以推导出作为通过从当前块的运动矢量中减去mvp而获得的差的运动矢量差(mvd)。在这种情况下，可以将关于mvd的信息发信号通知给解码设备。另外，当应用(a)mvp模式时，可以通过构造参考图像索引信息来单独将参考图片索引的值发信号通知给解码设备。
99.编码设备可以基于预测样本来推导残差样本(s410)。编码设备可以通过比较当前块的原始样本与预测样本来推导残差样本。
100.编码设备对包括预测信息和残差信息的图像信息进行编码(s420)。编码设备可以以比特流形式输出编码后的图像信息。预测信息是与预测过程相关的信息，并可以包括预测模式信息(例如，跳过标志、合并标志或模式索引等)和运动信息。关于运动信息的信息可以包括作为用于推导运动矢量的信息的候选选择信息(例如，合并索引)。另外，关于运动信息的信息可以包括指示是应用l0预测、l1预测还是双向预测的信息。残差信息是关于残差样本的信息。残差信息可以包括关于针对残差样本的量化后的变换系数的信息。
101.输出比特流可以被存储在(数字)存储介质中并且被传输到解码设备，或者可以通过网络被传输到解码设备。
102.另外，如上所述，编码设备可以基于参考样本和残差样本来生成重构图片(包括重构样本和重构块)。这是因为，编码设备可以推导与在由解码设备中执行的预测结果相同的预测结果，并且据此，可以提高编码效率。因此，编码设备可以将重构图片(或重构样本、重构块)存储在存储器中，并使用所存储的重构图片作为用于帧间预测的参考图片。如上所述，还可以向重构图片应用环路内滤波过程等。
103.图6例示了基于帧间预测的视频/图像解码方法的示例，并且图7是示意性例示了解码设备中的帧间预测单元的示例。图7的解码设备中的帧间预测单元可以与上述图3的解码设备300的帧间预测单元332相同或对应地应用。
104.参照图6和图7，解码设备可以执行与由编码设备执行的操作对应的操作。解码设备可以基于接收到的预测信息对当前块执行预测，并推导预测样本。
105.具体地，解码设备可以基于接收到的预测信息来确定当前块的预测模式(s600)。解码设备可以基于预测信息中的预测模式信息来确定向当前块应用哪种帧间预测模式。
106.帧间预测模式候选可以包括跳过模式、合并模式和/或(a)mvp模式，或者可以包括各种帧间预测模式。
107.解码设备基于所确定的帧间预测模式来推导当前块的运动信息(s610)。例如，当向当前块应用跳过模式或合并模式时，解码设备可以构造合并候选列表，并从合并候选列表中所包括的合并候选当中选择一个合并候选。这里，可以基于上述选择信息(合并索引)来执行选择。可以使用所选择的合并候选的运动信息来推导当前块的运动信息。所选择的合并候选的运动信息可以被用作当前块的运动信息。
108.作为另一示例，当向当前块应用(a)mvp模式时，解码设备可以构造(a)mvp候选列表，并且可以使用从(a)mvp候选列表中所包括的运动矢量预测子(mvp)候选当中选择的mvp候选的运动矢量作为当前块的mvp。这里，可以基于上述选择信息(mvp标志或mvp索引)来执行选择。在这种情况下，可以基于关于mvd的信息来推导当前块的mvd，并且可以基于当前块
的mvp和mvd来推导当前块的运动矢量。另外，可以基于参考图片索引信息来推导当前块的参考图片索引。可以将当前块的参考图片列表中的参考图片索引所指示的图片推导为当前块的帧间预测所参考的参考图片。
109.此外，可以在没有构造候选列表的情况下推导当前块的运动信息，并且在这种情况下，可以根据预测模式中公开的过程来推导当前块的运动信息。在这种情况下，可以省略如上所述的候选列表配置。
110.解码设备可以基于当前块的运动信息来生成当前块的预测样本(s620)。在这种情况下，可以基于当前块的参考图片索引来推导参考图片，并且可以使用参考图片上的当前块的运动矢量所指示的参考块的样本来推导当前块的预测样本。在这种情况下，在某些情况下，还可以执行针对当前块的预测样本中的全部或一些的预测样本滤波过程。
111.例如，解码设备的帧间预测单元332可以包括预测模式确定器332_1、运动信息推导单元332_2和预测样本推导单元332_3，并且预测模式确定器332_1可以基于接收到的预测模式信息来确定当前块的预测模式，运动信息推导单元332_2可以基于接收到的关于运动信息的信息来推导当前块的运动信息(运动矢量和/或参考图片索引等)，并且预测样本推导单元332_3可以推导当前块的预测样本。
112.解码设备基于接收到的残差信息来生成当前块的残差样本(s630)。解码设备可以基于预测样本和残差样本来生成当前块的重构样本，并可以基于此来生成重构图片(s640)。此后，如上所述，还可以向重构图片应用环路内滤波过程。
113.如上所述，帧间预测过程可以包括确定帧间预测模式的步骤、根据所确定的预测模式来推导运动信息的步骤以及基于推导出的运动信息来执行预测(生成预测样本)的步骤。帧间预测过程可以在如上所述的编码设备和解码设备中执行。
114.此外，在推导当前块的运动信息时，基于空间邻近块和时间邻近块来推导运动信息候选，并且基于推导出的运动信息候选，可以选择当前块的运动信息候选。在这种情况下，所选择的运动信息候选可以被用作当前块的运动信息。
115.图8是用于描述帧间预测时的合并模式的示图。
116.当应用合并模式时，不直接发送关于当前预测块的运动信息，而使用关于邻近预测块的运动信息来推导关于当前预测块的运动信息。因此，可以通过发送指示使用合并模式的标志信息和指示使用附近哪个预测块的合并索引来指示关于当前预测块的运动信息。合并模式可以被称为常规合并模式。例如，当regular_merge_flag语法元素的值为1时，可以应用合并模式。
117.为了执行合并模式，编码设备需要搜索用于推导关于当前预测块的运动信息的合并候选块。例如，可以使用多达五个合并候选块，但本公开的实施方式不限于此。另外，可以在切片头或图块组头中发送最大数目的合并候选块，但本公开的实施方式不限于此。在找到合并候选块之后，编码设备可以生成合并候选列表，并可以在合并候选块当中选择具有最小成本的合并候选块作为最终合并候选块。
118.本公开可以提供构成合并候选列表的合并候选块的各种实施方式。
119.例如，合并候选列表可以使用五个合并候选块。例如，可以使用四个空间合并候选和一个时间合并候选。作为具体示例，在空间合并候选的情况下，图8中例示的块可以被用作空间合并候选。下文中，随后将描述的空间合并候选或空间mvp候选可以被称为smvp，并
且随后将描述的时间合并候选或时间mvp候选可以被称为tmvp。
120.例如，可以基于以下过程来构造当前块的合并候选列表。
121.编码设备(编码设备/解码设备)可以搜索当前块的空间邻近块，并将推导出的空间合并候选插入到合并候选列表中。例如，空间邻近块可以包括当前块的左下角邻近块、左邻近块、右上角邻近块、上角邻近块和左上角邻近块。然而，这是示例，并且除了上述的空间邻近块之外，诸如右邻近块、下邻近块和右下邻近块这样的附加邻近块可以进一步被用作空间邻近块。编码设备可以通过基于优先级搜索空间邻近块来检测可用块，并可以将关于检测到的块的运动信息推导为空间合并候选。例如，编码设备或解码设备可以被配置为按诸如a1→
b1→
b0→
a0→
b2这样的顺序来顺序地搜索图8中例示的五个块，并可以顺序地对可用候选编索引，以构成合并候选列表。
122.编码设备可以搜索当前块的时间邻近块，并且将推导出的时间合并候选插入到合并候选列表中。时间邻近块可以处于作为与当前块所处的当前图片不同的图片的参考图片处。时间邻近块所处的参考图片可以被称为共位图片或并置图片。可以在并置图片上按当前块的共位块的右下角邻近块和右下中心块的顺序搜索时间邻近块。此外，当应用运动数据压缩时，特定运动信息可以作为代表性运动信息存储在并置图片中的每个预定存储单元中。在这种情况下，不需要将关于所有块的运动信息存储在预定存储单元中，据此，可以获得运动数据压缩效果。在这种情况下，预定存储单元可以被预定为例如16
×
16个样本的单元或8
×
8个样本的单元，或者可以将关于预定存储单元的大小信息从编码设备发信号通知给解码设备。当应用运动数据压缩时，关于时间邻近块的运动信息可以替换为时间邻近块所处的预定存储单元上的代表性运动信息。即，在这种情况下，从实现方式的角度看，作为处于时间邻近块的坐标处的预测块的替代，可以基于覆盖在基于时间邻近块的坐标(左上样本位置)算术右移达一定值之后的算术左移位置的预测块的运动信息来推导时间合并候选。例如，当预定存储单元是2n
×
2n样本的单元时，如果时间邻近块的坐标是(xtnb，ytnb)，则关于处于校正后位置((xtnb》》n)《《n),(ytnb》》n)《《n))处的预测块的运动信息可以被用于时间合并候选。具体地，当预定存储单元是16
×
16样本的单元时，如果时间邻近块的坐标是(xtnb，ytnb)，则关于处于校正后位置((xtnb》》4)《《4),(ytnb》》4)《《4))处的预测块的运动信息可以被用于时间合并候选。另选地，当预定存储单元是8
×
8样本的单元时，如果时间邻近块的坐标是(xtnb，ytnb)，则关于处于校正后位置(xtnb》》3)《《3),(ytnb》》3)《《3))处的预测块的运动信息可以被用于时间合并候选。
123.编码设备可以检查当前合并候选的数目是否小于最大合并候选数目。最大合并候选数目可以是预先定义的，或者被从编码设备发信号通知给解码设备。例如，编码设备可以生成关于最大合并候选数目的信息并对其进行编码，并将信息以比特流的形式发送到解码器。当最大合并候选数目已满时，可以不进行后续的候选添加过程。
124.作为检查的结果，当当前合并候选数目小于最大合并候选数目时，编码设备可以将附加的合并候选插入合并候选列表中。例如，附加合并候选可以包括随后将描述的基于历史的合并候选、成对平均合并候选、atmvp、组合的双向预测合并候选(当当前切片/图块组的切片/图块组类型为类型b时)和/或零矢量合并候选中的至少一个。
125.作为检查的结果，当当前合并候选数目不小于最大合并候选数目时，编码设备可以终止合并候选列表的构造。在这种情况下，编码设备可以基于速率失真(rd)成本从构成
合并候选列表的合并候选当中选择最优合并候选，并将指示所选择的合并候选的选择信息(例如，合并索引)发信号通知给解码设备。解码设备可以基于合并候选列表和选择信息来选择最优合并候选。
126.如上所述，关于所选择的合并候选的运动信息可以被用作关于当前块的运动信息，并且可以基于关于当前块的运动信息来推导当前块的预测样本。编码设备可以基于预测样本来推导当前块的残差样本，并可以将关于残差样本的残差信息发信号通知给解码设备。如上所述，解码设备可以基于以残差信息和预测样本为基础推导出的残差样本来生成重构样本，并可以基于此来生成重构图片。
127.当应用跳过模式时，可以按与应用合并模式时相同的方式来推导关于当前块的运动信息。然而，当应用跳过模式时，省略了对应块的残留信号，因此，预测样本可以被直接用作重构样本。例如，当cu_skip_flag语法元素的值为1时，可以应用跳过模式。
128.此外，成对平均合并候选可以被称为成对平均候选或成对候选。可以通过对现有合并候选列表中预定义的候选对求平均来生成成对平均候选。另外，预定义对可以被定义为{(0,1),(0,2),(1,2),(0,3),(1,3),(2,3)}。这里，数字可以指示合并候选列表的合并索引。可以针对每个参考列表分别计算平均的运动矢量。例如，当在一个列表中两个运动矢量可用时，即使这两个运动矢量指向不同的参考图片，也可以对它们求平均。例如，当只有一个运动矢量可用时，可以直接使用一个运动矢量。例如，当不存在可用的运动矢量时，列表可以保持无效。
129.例如，当即使在添加了成对平均合并候选之后合并候选列表也未满时，即，当合并候选列表中的当前合并候选数目小于最大合并候选数目时，可以最后插入零矢量(零mvp)，直到出现最大合并候选数目。即，可以插入零矢量，直到合并候选列表中当前合并候选的数目变为最大合并候选数目。
130.此外，常规地，可以只使用一个运动矢量来表示编码块的运动。即，可以使用平移运动模型。然而，尽管该方法可以表示以块为单位的最优运动，但它实际上不是每个样本的最优运动，并且如果可以以样本为单位确定最优运动矢量，则可以提高编码效率。为此目的，可以使用仿射运动模型。用于使用仿射运动模型的编码的仿射运动预测方法可以如下。
131.仿射运动预测方法可以使用两个、三个或四个运动矢量来表示以块的每个样本为单位的运动矢量。例如，仿射运动模型可以表示四种类型的运动。表示仿射运动模型可以表示的运动当中的三种运动(平移、缩放和旋转)的仿射运动模型可以被称为相似(或简化的)仿射运动模型。然而，仿射运动模型不限于上述运动模型。
132.图9a和图9b是示例性例示了用于仿射运动预测的cpmv的示图。
133.仿射运动预测可以使用两个或更多个控制点运动矢量(cpmv)来确定块中所包括的样本位置的运动矢量。在这种情况下，运动矢量的集合可以被称为仿射运动矢量场(mvf)。
134.例如，图9a可以示出可以被称为4参数仿射模型的使用两个cpmv的情况。在这种情况下，例如，可以如式1中地确定样本位置(x,y)处的运动矢量。
135.[式1]
[0136][0137]
例如，图9b可以例示可以被称为6参数仿射模型的使用三个cpmv的情况。在这种情况下，例如，可以如式2中地确定样本位置(x,y)处的运动矢量。
[0138]
[式2]
[0139][0140]
在式1和式2中，{v
x
,vy}可以表示位置(x,y)处的运动矢量。另外，{v
0x
,v
0y
}可以指示在编码块左上角处的控制点(cp)的cpmv，并且{v
1x
,v
1y
}可以指示在右上角位置处的cp的cpmv，{v
2x
,v
2y
}可以指示左下角位置处的cp的cpmv。另外，w可以指示当前块的宽度，并且h可以指示当前块的高度。
[0141]
图10是示例性例示了以子块为单元确定仿射mvf的情况的示图。
[0142]
在编码/解码处理中，仿射mvf可以以样本为单位或以先前定义的子块为单位来确定。例如，当以样本为单位确定时，可以基于每个样本值来获得运动矢量。另选地，例如，当以子块为单位确定时，可以基于子块的中心(即，中心的右下侧，即，中心四个样本当中的右下样本)的样本值来获得对应块的运动矢量。即，在仿射运动预测中，可以以样本或子块为单位推导当前块的运动矢量。
[0143]
在图10的情况下，仿射mvf是以4
×
4子块为单位确定的，但子块的大小可以被不同地修改。
[0144]
即，当仿射预测可用时，适用于当前块的三个运动模型可以包括平移运动模型、4参数仿射运动模型和6参数仿射运动模型。这里，平移运动模型可以表示其中使用现有块单元运动矢量的模型，4参数仿射运动模型可以表示其中使用两个cpmv的模型，并且6参数仿射运动模型可以表示其中使用三个cpmv的模型。
[0145]
此外，仿射运动预测可以包括仿射mvp(或仿射帧间)模式或仿射合并模式。
[0146]
图11是用于描述帧间预测中的仿射合并模式的示图。
[0147]
例如，在仿射合并模式中，可以根据通过仿射运动预测编码的邻近块的仿射运动模型来确定cpmv。例如，可以将按搜索顺序编码为仿射运动预测的邻近块用于仿射合并模式。即，当在仿射运动预测中对邻近块中的至少一个进行编码时，可以在仿射合并模式下对当前块进行编码。这里，细化的合并模式可以被称为af_merge。
[0148]
当应用仿射合并模式时，可以使用邻近块的cpmv来推导当前块的cpmv。在这种情况下，邻近块的cpmv可以被原样地用作当前块的cpmv，并且邻近块的cpmv可以基于邻近块的大小和当前块的大小来修改，并且被用作当前块的cpmv。
[0149]
另一方面，在以子块为单位推导运动矢量(mv)的仿射合并模式的情况下，这可以被称为子块合并模式，子块合并模式可以基于子块合并标志(或merge_subblock_flag语法元素)来指示。另选地，当merge_subblock_flag语法元素的值为1时，可以指示应用子块合并模式。在这种情况下，随后将描述的仿射合并候选列表可以被称为子块合并候选列表。在这种情况下，子块合并候选列表还可以包括随后将描述的通过sbtmvp来推导的候选。在这
picture)。
[0161]
例如，sbtmvp可以预测子块(或子cu)级的运动。另外，sbtmvp可以在从并置图片获取时间运动信息之前应用运动移位。这里，可以从当前块的空间邻近块之一的运动矢量获取运动移位。
[0162]
sbtmvp可以根据两个步骤预测当前块(或cu)中的子块(或子cu)的运动矢量。
[0163]
在第一步骤中，可以根据图4中的顺序a1、b1、b0和a0来测试空间邻近块。可以检查具有使用并置图片作为其参考图片的运动矢量的第一空间邻近块，并且可以选择该运动矢量作为将应用的运动移位。当没有从空间邻近块中检查到这样的运动时，运动移位可以被设置为(0，0)。
[0164]
在第二步骤中，可以应用在第一步骤中检查的运动移位来从并置图片获得子块级运动信息(运动矢量和参考索引)。例如，可以向当前块的坐标添加运动移位。例如，运动移位可以被设置为图8的a1的运动。在这种情况下，对于每个子块，可以使用关于并置图片中的对应块的运动信息来推导关于子块的运动信息。可以应用时间运动缩放，以将时间运动矢量的参考图片与当前块的参考图片对准。
[0165]
包括sbtvmp候选和仿射合并候选二者的组合的基于子块的合并列表可以用于仿射合并模式的信令。这里，仿射合并模式可以被称为基于子块的合并模式。根据序列参数集(sps)中所包括的标志，sbtvmp模式可以是可用的或不可用的。当sbtmvp模式可用时，可以添加sbtmvp预测子作为基于子块的合并候选列表的第一个条目，并且仿射合并候选可以跟随。仿射合并候选的最大可允许大小可以是5个。
[0166]
在sbtmvp中使用的子cu(或子块)的大小可以被固定为8
×
8，并且与在仿射合并模式下一样，sbtmvp模式可以仅应用于宽度和高度二者为8或更大的块。附加sbtmvp合并候选的编码逻辑可以与其他合并候选的编码逻辑相同。即，对于p或b切片中的每个cu，可以执行使用附加率失真(rd)成本的rd检查，以确定是否使用sbtmvp候选。
[0167]
此外，可以基于根据预测模式推导出的运动信息来推导当前块的预测块。预测块可以包括当前块的预测样本(预测样本数组)。当当前块的运动矢量指示分数样本单元时，可以执行内插过程。据此，可以基于参考图片中的分数样本单元参考样本来推导当前块的预测样本。当向当前块应用仿射帧间预测(仿射预测模式)时，可以基于样本/子块单元mv来生成预测样本。当应用双向预测时，预测样本可以用作通过基于l0预测(即，使用参考图片列表l0中的参考图片和mvl0的预测)推导出的预测样本与基于l1预测(即，使用参考图片列表l1中的参考图片和mvl1的预测)推导出的预测样本的(根据相位的)加权和或加权平均推导出的当前块的预测样本。这里，l0方向上的运动矢量可以被称为l0运动矢量或mvl0，并且l1方向上的运动矢量可以被称为l1运动矢量或mvl1。在应用双向预测的情况下，当用于l0预测的参考图片和用于l1预测的参考图片相对于当前图片处于不同时间方向上时(即，对应于双向方向或双向预测的情况)，这可以被称为真双向预测。
[0168]
另外，如上所述，可以基于推导出的预测样本来生成重构样本和重构图片，然后，可以执行诸如环路内滤波这样的过程。
[0169]
此外，当向当前块应用双向预测时，可以基于加权平均来推导预测样本。例如，使用加权平均的双向预测可以被称为具有cu级权重的双向预测(bcw)、具有加权平均的双向预测(bwa)或加权平均的双向预测。
[0170]
传统地，可以通过l0预测信号(l0预测样本)和l1预测信号的简单平均来推导双向预测信号(即，双向预测样本)。即，双向预测样本可以被推导为基于l0参考图片和mvl0的l0预测样本和基于l1参考图片和mvl1的l1预测样本的平均值。然而，当应用双向预测时，可以如下地通过l0预测信号和l1预测信号的加权平均来推导双向预测信号(双向预测样本)。例如，可以如式3中地推导双向预测信号(双向预测样本)。
[0171]
[式3]
[0172]
p
bi-pred
＝((8-w)*p0 w*p1 4)＞＞3
[0173]
在式3中，pbi-pred可以指示双向预测信号的值，即，通过应用双向预测推导出的预测样本值，并且w可以指示权重。另外，p0可以指示l0预测信号的值，即，通过应用l0预测推导出的预测样本值，并且p1可以指示l1预测信号的值，即，通过应用l1预测推导出的预测样本值。
[0174]
例如，在加权平均双向预测中可以允许5个权重。例如，五个权重w可以包括-2、3、4、5或10。即，权重w可以被确定为包括-2、3、4、5或10的权重候选之一。对于应用双向预测的每个cu，可以通过两种方法中的一种来确定权重w。在第一种方法中，可以在非合并cu的运动矢量差之后发信号通知权重索引。在第二种方法中，可以基于合并候选索引从邻近块推断合并cu的权重索引。
[0175]
例如，加权平均双向预测可以应用于具有256个或更多个亮度样本的cu。即，当cu的宽度与高度的乘积大于或等于256时，可以应用加权平均双向预测。在低延迟图片的情况下，可以使用五个权重，而在非低延迟图片的情况下，可以使用三个权重。例如，三个权重可以包括3、4或5。
[0176]
例如，在编码设备中，可以应用快速搜索算法来寻找权重索引，而没有显著增加编码设备的复杂性。可以如下地总结该算法。例如，当在与自适应运动矢量分辨率(amvr)组合时(当amvr用作帧间预测模式时)当前图片是低延迟图片时，可以针对1画素和4画素运动矢量精度有条件地检查非相等权重。例如，当与仿射组合时(当仿射预测模式被用作帧间预测模式时)，在仿射预测模式当前被选择为最佳模式的情况下，仿射运动估计(me)可以按非相等权重执行。例如，当双向预测的两个参考图片相同时，可以有条件地检查非相等权重。例如，当根据当前图片与参考图片之间的poc距离、编码量化参数(qp)和时间水平满足特定条件时，可以不搜索非相等权重。
[0177]
例如，可以使用后面跟着旁路编码bin的一个上下文编码bin对bcw权重索引进行编码。第一上下文编码bin可以指示是否使用相同的权重。当基于第一上下文编码bin使用非相等权重时，可以使用旁路编码发信号通知附加bin，以指示将使用的非相等权重。
[0178]
此外，当应用双向预测时，可以基于关于从合并候选列表中所包括的候选当中选择的候选的权重索引信息来推导用于生成预测样本的权重信息。
[0179]
根据本公开的实施方式，当构造用于合并模式的运动矢量候选时，可以如下地推导关于时间运动矢量候选的权重索引信息。例如，当时间运动矢量候选使用双向预测时，可以推导关于加权平均的权重索引信息。即，当帧间预测类型是双向预测时，可以推导关于合并候选列表中的时间合并候选的权重索引信息(或时间运动矢量候选)。
[0180]
例如，关于针对时间运动矢量候选的加权平均的权重索引信息可以始终被推导为0。这里，等于0的权重索引信息可以意指每个参考方向(即，双向预测中的l0预测方向和l1
预测方向)的权重相同。例如，可以在下表中示出用于推导用于合并模式的亮度分量的运动矢量的过程。
[0181]
[表1]
[0182]
[0183]
[0184]
[0185][0186]
参照表1，gbiidx可以指示双向预测权重索引，并且gbiidxcol可以指示用于时间合并候选(例如，合并候选列表中的时间运动矢量候选)的双向预测权重索引。在推导用于合并模式的亮度分量的运动矢量的过程中(8.4.2.2的目录3的表)，可以将gbiidxcol推导为0。即，时间运动矢量候选的权重索引可以被推导为0。
[0187]
另选地，可以基于关于并置块的权重索引信息来推导时间运动矢量候选的加权平均的权重索引。这里，并置的块可以被称为共位块、共同定位块或共定位参考块，并且并置块可以指示在参考图片上与当前块相同位置处的块。例如，可以在下表1中示出用于推导用于合并模式的亮度分量的运动矢量的过程。
[0188]
[表2]
[0189]
[0190]
[0191]
[0192]
[0193][0194]
参照表2，gbiidx可以指示双向预测权重索引，并且gbiidxcol可以指示用于时间合并候选(例如，合并候选列表中的时间运动矢量候选)的双向预测权重索引。在推导用于合并模式的亮度分量的运动矢量的过程中，当切片类型或图块组类型为b(8.4.2.2的目录4的表)时，可以将gbiidxcol推导为gbiidxcol。即，时间运动矢量候选的权重索引可以被推导为并置块的权重索引。
[0195]
此外，根据本公开的另一实施方式，当以子块为单位构造用于合并模式的运动矢量候选时，可以推导时间运动矢量候选的加权平均的权重索引。这里，以子块为单位的合并模式可以被称为仿射合并模式(以子块为单位)。时间运动矢量候选可以指示基于子块的时间运动矢量候选，并且可以被称为sbtmvp(或atmvp)候选。即，当帧间预测类型是双向预测时，可以推导关于仿射合并候选列表或子块合并候选列表中的sbtmvp候选(或基于子块的时间运动矢量候选)的权重索引信息。
[0196]
例如，关于基于子块的时间运动矢量候选的加权平均的权重索引信息可以始终被推导为0。这里，为0的权重索引信息可以意指各参考方向(即，双向预测中的l0预测方向和l1预测方向)的权重相同。例如，用于在子块合并模式中推导运动矢量和参考索引的过程以及用于推导基于子块的时间合并候选的过程可以如表3和表4中所示。
[0197]
[表3]
[0198]
[0199]
[0200]
[0201]
[0202]
[0203][0204]
[0205]
[表4]
[0206][0207]
参照以上的表3和表4，gbiidx可以指示双向预测权重索引，gbiidxsbcol可以指示基于子块的时间合并候选(例如，基于子块的合并候选列表中的时间运动矢量候选)的双向预测权重索引，并且在用于推导基于子块的时间合并候选的过程(8.4.4.3)中，gbiidxsbcol可以被推导为0。即，基于子块的时间运动矢量候选的权重索引可以被推导为0。
[0208]
另选地，可以基于关于时间中心块的权重索引信息来推导基于子块的时间运动矢
量候选的加权平均的权重索引信息。例如，时间中心块可以指示处于并置块或并置块中心处的子块或样本，并且具体地，可以指示处于并置块的四个中心子块或样本的右下侧的子块或样本。例如，在这种情况下，用于在子块合并模式下推导运动矢量和参考索引的过程、用于推导基于子块的时间合并候选的过程以及用于推导用于基于子块的时间合并的基本运动信息的过程可以在表5、表6和表7中示出。
[0209]
[表5]
[0210]
[0211]
[0212]
[0213]
[0214]
[0215]
[0216][0217]
[表6]
[0218]
[0219]
[0220]
[0221][0222]
[表7]
[0223]
[0224]
[0225]
[0226][0227]
参照表5、表6和表7，gbiidx可以指示双向预测权重索引，并且gbiidxsbcol可以指示基于子块的时间合并候选(例如，基于子块的合并候选列表中的时间运动矢量候选)的双向预测权重索引。在用于推导关于基于子块的时间合并的基本运动信息的过程(8.4.4.4)中，gbiidxsbcol可以被推导为gbiidxcolcb。即，基于子块的时间运动矢量候选的权重索引可以被推导为时间中心块的权重索引。例如，时间中心块可以指示处于并置块或并置块中心处的子块或样本，并且具体地，可以指示处于并置块的四个中心子块或样本的右下侧的子块或样本。
[0228]
另选地，可以基于以每个子块为单位的权重索引信息来推导基于子块的时间运动矢量候选的加权平均的权重索引信息，并且当子块不可用时，可以基于时间中心块的权重索引信息来推导该权重索引信息。例如，时间中心块可以指示处于并置块或并置块中心处的子块或样本，并且具体地，可以指示处于并置块的四个中心子块或样本的右下侧的子块或样本。例如，在这种情况下，用于在子块合并模式下推导运动矢量和参考索引的过程、用于推导基于子块的时间合并候选的过程以及用于推导用于基于子块的时间合并的基本运动信息的过程可以在表8、表9和表10中示出。
[0229]
[表8]
[0230]
[0231]
[0232]
[0233]
[0234]
[0235]
[0236][0237]
[表9]
[0238]
[0239]
[0240]
[0241][0242]
[表10]
[0243]
[0244]
[0245][0246]
参照表8、表9和表10，gbiidx可以指示双向预测权重索引，并且gbiidxsbcol可以指示用于基于子块的时间合并候选(例如，基于子块的合并候选列表中的时间运动矢量候选)的双向预测权重索引。在用于推导关于基于子块的时间合并的基本运动信息的过程(8.4.4.3)中，gbiidxsbcol可以被推导为gbiidxcolcb。另选地，在根据条件(例如，当availableflagl0sbcol和availableflagl1sbcol二者为0时)推导关于基于子块的时间合并的基本运动信息的过程(8.4.4.3)中，gbiidxsbcol可以推导为ctrgbiidx，并且在用于推导关于基于子块的时间合并的基本运动信息的过程(8.4.4.4)中，ctrgbiidx可以被推导为gbiidxsbcol。即，基于子块的时间运动矢量候选的权重索引可以被推导为以每个子块为单位的权重索引，或者当子块不可用时，可以被推导为时间中心块的权重索引。例如，时间中心块可以指示处于并置块或并置块中心处的子块或样本，并且具体地，可以指示处于并置块的四个中心子块或样本的右下侧的子块或样本。
[0247]
此外，根据本公开的另一实施方式，当构造用于合并模式的运动矢量候选时，可以推导关于成对候选的权重索引信息。例如，成对候选可以被包括在合并候选列表中，并且可以推导关于成对候选的加权平均的权重索引信息。可以基于合并候选列表中的其他合并候选来推导成对候选，并且当成对候选使用双向预测时，可以推导加权平均的权重索引。即，当帧间预测类型是双向预测时，可以推导关于合并候选列表中的成对候选的权重索引信息。
[0248]
可以基于合并候选列表中所包括的候选当中的其他两个合并候选(例如，cand0和cand1)来推导成对候选。
[0249]
例如，可以基于关于两个合并候选中的任一个(例如，合并候选cand0或合并候选cand1)的权重索引信息来推导关于成对候选的权重索引信息。例如，可以使用关于两个合并候选当中的使用双向预测的候选的权重索引信息来推导关于成对候选的权重索引信息。
[0250]
另选地，当关于其他两个合并候选中的每一个的权重索引信息与第一权重索引信息相同时，可以基于第一权重索引信息来推导关于成对候选的权重索引信息。此外，当关于其他两个合并候选中的每一个的权重索引信息不相同时，可以基于默认权重索引信息来推导关于成对候选的权重索引信息。默认权重索引信息可以对应于用于向l0预测样本和l1预测样本中的每一个指派相同权重的权重索引信息。
[0251]
另选地，当关于其他两个合并候选中的每一个的权重索引信息与第一权重索引信息相同时，可以基于第一权重索引信息来推导关于成对候选的权重索引信息。此外，当关于其他两个合并候选中的每一个的权重索引信息不相同时，关于成对候选的权重索引信息包括关于其他两个候选中的每一个的权重索引信息当中的默认权重索引信息。默认权重索引信息可以对应于用于向l0预测样本和l1预测样本中的每一个指派相同权重的权重索引信息。
[0252]
此外，根据本公开的另一实施方式，当以子块为单位构造用于合并模式的运动矢量候选时，可以推导关于时间运动矢量候选的加权平均的权重索引信息。这里，以子块为单位的合并模式可以被称为仿射合并模式(以子块为单位)。时间运动矢量候选可以指示基于子块的时间运动矢量候选，并可以被称为sbtmvp(或atmvp)候选。可以基于关于当前块的左邻近块的权重索引信息来推导关于sbtmvp候选的权重索引信息。即，当通过sbtmvp推导出的候选使用双向预测时，当前块的左邻近块的权重索引可以被推导为基于子块的合并模式的权重索引。
[0253]
例如，由于sbtmvp候选可以基于当前块的空间相邻的左侧块(或左邻近块)来推导并置块，因此左邻近块的权重索引可以被认为是可靠的。因此，sbtmvp候选的权重索引可以被推导为左邻近块的权重索引。
[0254]
此外，根据本公开的另一实施方式，当构造用于仿射合并模式的运动矢量候选时，在仿射合并候选使用双向预测的情况下，可以推导关于加权平均的权重索引信息。即，当帧间预测类型是双向预测时，可以推导关于仿射合并候选列表或子块合并候选列表中的候选的权重索引信息。
[0255]
例如，在仿射合并候选当中，构造的仿射合并候选可以基于当前块的空间邻近块或时间相邻块来推导cp0、cp1、cp2或cp3候选，以指示用于将mvf推导为仿射模型的候选。例如，cp0可以指示位于当前块的左上样本位置处的控制点，cp1可以指示位于当前块的右上样本位置处的控制点，并且cp2可以指示当前块的左下样本位置。另外，cp3可以指示位于当前块的右下样本位置处的控制点。
[0256]
例如，仿射合并候选当中的构造的仿射合并候选可以如下地生成为当前块的每个控制点的运动矢量的组合。仿射合并候选可以包括处于当前块左上侧的控制点0(cp0)、处于当前块右侧的控制点1(cp1)、处于当前块左下侧的控制点2(cp2)以及处于当前块右下侧的控制点3(cp3)中的每一个的运动矢量中的至少一个。
[0257]
例如，在仿射合并候选当中，可以基于类似于{cp0，cp1，cp2}、{cp0，cp1，cp3}、{cp0，cp2，cp3}、{cp1，cp2，cp3}、{cp0，cp1}和{cp0，cp2}的当前块的每个控制点的组合来生成构造的仿射合并候选。例如，仿射合并候选可以包括{cpmv0，cpmv1，cpmv2}、{cpmv0，cpmv1，cpmv3}、{cpmv0，cpmv2，cpmv3}、{cpmv1，cpmv2，cpmv3}、{cpmv0，cpmv1}和{cpmv0，cpmv2}中的至少一个。cpmv0、cpmv1、cpmv2和cpmv3可以分别对应于cp0、cp1、cp2和cp3的运动矢量。
[0258]
在一个实施方式中，当仿射合并候选是基于{cp0，cp1，cp2}、{cp0，cp1，cp3}、{cp0，cp2，cp3}、{cp0，cp1}和{cp0，cp2}中的任一个生成的时，可以基于关于cp0的邻近块当中的特定块的权重索引信息来推导关于仿射合并候选的权重索引信息。即，当仿射合并候选包括处于当前块左上侧的控制点0(cp0)的cpmv0时，可以基于关于cp0的第0权重索引信息来推导关于仿射合并候选的权重索引信息。此外，当仿射合并候选是基于{cp1，cp2，cp3}生成的时，可以基于cp1的邻近块当中的特定块的权重索引信息来推导关于仿射合并候选的权重索引信息。即，当仿射合并候选是基于{cp1，cp2，cp3}生成的时，可以基于关于处于当前块右上侧的控制点1(cp1)的第一权重索引信息来推导关于仿射合并候选的权重索引信息。
[0259]
根据以上方法，可以分别基于用于推导{cpmv0，cpmv1，cpmv2}、{cpmv0，cpmv1，cpmv3}、{cpmv0，cpmv2，cpmv3}、{cpmv1，cpmv2，cpmv3}、{cpmv0，cpmv1}和{cpmv0，cpmv2}的块的权重索引信息来推导关于仿射合并候选的权重索引信息。
[0260]
根据推导关于仿射合并候选的权重索引信息的另一实施方式，当关于处于当前块左上侧的cp0的权重索引信息与关于处于当前块右上侧的cp1的权重索引信息相同时，可以基于关于cp0的邻近块当中的特定块的权重索引信息来推导关于仿射合并候选的权重索引信息。此外，当关于处于当前块左上侧的cp0的权重索引信息与关于处于当前块右上侧的cp1的权重索引信息不相同时，可以基于默认权重索引信息来推导关于仿射合并候选的权重索引信息。默认权重索引信息可以对应于用于向l0预测样本和l1预测样本中的每一个赋予相同权重的权重索引信息。
[0261]
根据推导关于仿射合并候选的权重索引信息的另一实施方式，关于仿射合并候选的权重索引信息可以被推导为每个候选的权重索引当中的出现频率高的候选的权重索引。例如，在cp0候选块当中被确定为cp0中的运动矢量的候选块的权重索引、在cp1候选块当中被确定为cp1中的运动矢量的候选块的权重索引、在cp2候选块当中被确定为cp2中的运动矢量的候选块的权重索引和/或在cp3候选块当中被确定为cp3中的运动矢量的候选块的权重索引当中的交叠最多的权重索引可以被推导为仿射合并候选的权重索引。
[0262]
例如，可以使用cp0和cp1作为控制点，可以使用cp0、cp1和cp2，并且可以不使用cp3。然而，例如，当将使用仿射块(以仿射预测模式编码的块)的cp3候选时，可以使用上述实施方式中描述的推导时间候选块中的权重索引的方法。
[0263]
图14和图15是示意性例示了根据本公开的实施方式的视频/图像编码方法和相关部件的示例的示图。
[0264]
图14中公开的方法可以由图2或图15中公开的编码设备执行。具体地，例如，图14中的s1400至s1420可以由图15中的编码设备200的预测单元220执行，图14中的s1430可以由图15中的编码设备200的残差处理器230执行，并且图14中的s1440可以由图15中的编码
设备200的熵编码器240执行。另外，尽管图14中未例示，但在图15中，可以由编码设备200的预测单元220推导预测样本或预测相关信息，可以由编码设备200的残差处理器230从原始样本或预测样本推导残差信息，并且可以由编码设备200的熵编码器240从残差信息或预测相关信息生成比特流。图14中公开的方法可以包括以上在本公开中描述的实施方式。
[0265]
参照图14，编码设备可以确定当前块的帧间预测模式，并生成指示帧间预测模式的帧间预测模式信息(s1400)。例如，编码设备可以确定合并模式、仿射(合并)模式或子块合并模式作为将应用于当前块的帧间预测模式，并可以生成指示所确定的合并模式、仿射(合并)模式或子块合并模式的帧间预测模式信息。另外，编码设备可以生成将当前块的帧间预测类型指示为双向预测的帧间预测类型信息。例如，可以将当前块的帧间预测类型确定为l0预测、l1预测或双向预测当中的双向预测，并且可以生成对此进行指示的帧间预测类型信息。这里，l0预测可以指示基于参考图片列表0的预测，l1预测可以指示基于参考图片列表1的预测，并且双向预测可以指示基于参考图片列表0和参考图片列表1的预测。例如，编码设备可以基于帧间预测类型来生成帧间预测类型信息。例如，帧间预测类型信息可以包括inter_pred_idc语法元素。
[0266]
编码设备可以基于帧间预测模式来生成当前块的合并候选列表(s1410)。例如，编码设备可以根据所确定的帧间预测模式来生成合并候选列表。这里，当所确定的帧间预测模式是仿射合并模式或子块合并模式时，合并候选列表可以被称为仿射合并候选列表或子块合并候选列表，但也可以简单地被称为合并候选列表。
[0267]
例如，候选可以被插入到合并候选列表中，直到合并候选列表中候选的数目变为最大候选数目。这里，候选可以指示用于推导当前块的运动信息(或运动矢量)的候选或候选块。例如，可以通过搜索当前块的邻近块来推导候选块。例如，邻近块可以包括当前块的空间邻近块和/或时间邻近块，可以优先搜索空间邻近块以推导(空间合并)候选，然后可以搜索时间邻近块以推导(时间合并)候选，并且推导出的候选可以被插入到合并候选列表中。例如，当即使在插入候选之后，合并候选列表中候选的数目也小于合并候选列表中的最大候选数目时，可以插入附加候选。例如，附加候选包括基于历史的合并候选、成对平均合并候选、atmvp和组合的双向预测合并候选(当当前切片/图块组的切片/图块组类型为类型b时)和/或零矢量合并候选中的至少一个。
[0268]
另选地，例如，候选可以被插入到仿射合并候选列表中，直到仿射合并候选列表中候选的数目变为最大候选数目。这里，候选可以包括当前块的控制点运动矢量(cpmv)。另选地，候选可以指示用于推导cpmv的候选或候选块。cpmv可以指示当前块的控制点(cp)处的运动矢量。例如，cp的数目可以是2、3或4，cp可以处于当前块的左上侧(或左上角)、右上侧(或右上角)、左下侧(或左下角)或右下侧(或右下角)的至少一部分，并且在每个位置处可以只存在一个cp。
[0269]
例如，可以通过搜索当前块的邻近块(或当前块的cp的邻近块)来推导候选。例如，仿射合并候选列表可以包括继承的仿射合并候选、构造的仿射合并候选和零运动矢量候选中的至少一个。例如，在仿射合并候选列表中，可以首先插入继承的仿射合并候选，然后可以插入构造的仿射合并候选。另外，当即使插入了仿射合并候选列表中构造的仿射合并候选，仿射合并候选列表中候选的数目也小于最大候选数目时，剩余部分可以用零运动矢量候选填充。这里，零运动矢量候选可以被称为零矢量。例如，仿射合并候选列表可以是根据
以样本为单位推导运动矢量的仿射合并模式的列表，或者可以是根据以子块为单位推导运动矢量的仿射合并模式的列表。在这种情况下，仿射合并候选列表可以被称为子块合并候选列表，并且子块合并候选列表还可以包括从sbtmvp推导的候选(或sbtmvp候选)。例如，当sbtmvp候选被包括在子块合并候选列表中时，它在子块合并候选列表中可以处于继承的仿射合并候选和构造的仿射合并候选之前。
[0270]
编码设备可以生成指示合并候选列表中所包括的候选之一的选择信息(s1420)。例如，合并候选列表可以包括空间合并候选、时间合并候选、成对候选或零矢量候选中的至少一些，并且可以选择这些候选中的一个以用于当前块的帧间预测。另选地，例如，子块合并候选列表可以包括继承的仿射合并候选、构造的仿射合并候选、sbtmvp候选或零矢量候选中的至少一些，并且可以选择这些候选中的一个候选以用于当前块的帧间预测。
[0271]
例如，选择信息可以包括指示合并候选列表中的选定候选的索引信息。例如，选择信息可以被称为合并索引信息或子块合并索引信息。
[0272]
编码设备可以基于当前块的残差样本来生成残差信息(s1430)。例如，编码设备可以基于预测样本和原始样本来推导残差样本。例如，编码设备可以生成指示残差样本的量化后的变换系数的残差信息。残差信息可以通过诸如指数哥伦布、cavlc、cabac等这样的各种编码方法来生成。
[0273]
编码设备可以对包括帧间预测模式信息、选择信息和残差信息的图像信息进行编码(s1440)。例如，图像信息可以被称为视频信息。图像信息可以包括根据本公开的上述实施方式的各种信息。例如，图像信息可以包括预测相关信息或残差相关信息的至少一部分。例如，预测相关信息可以包括帧间预测模式信息、选择信息和帧间预测类型信息的至少一部分。例如，编码设备可以通过对包括上述信息(或语法元素)的全部或部分的图像信息进行编码来生成比特流或编码信息。另选地，它可以以比特流的形式输出。另外，比特流或编码信息可以通过网络或存储介质发送到解码设备。
[0274]
尽管在图14中未例示，但编码设备例如可以生成当前块的预测样本。另选地，例如，编码设备可以基于选定候选来生成当前块的预测样本。另选地，例如，编码设备可以基于选定候选来推导运动信息，并可以基于运动信息来生成当前块的预测样本。例如，编码设备可以根据双向预测生成l0预测样本和l1预测样本，并可以基于l0预测样本和l1预测样本来生成当前块的预测样本。在这种情况下，可以使用针对双向预测的权重索引信息(或权重信息)从l0预测样本和l1预测样本生成当前块的预测样本。这里，可以基于权重索引信息来显示权重信息。
[0275]
换句话说，例如，编码设备可以基于选定候选来生成当前块的l0预测样本和l1预测样本。例如，当确定当前块的帧间预测类型为双向预测时，可以使用参考图片列表0和参考图片列表1来预测当前块。例如，l0预测样本可以表示基于参考图片列表0推导出的当前块的预测样本，并且l1预测样本可以表示基于参考图片列表1推导出的当前块的预测样本。
[0276]
例如，候选可以包括空间合并候选。例如，当选定的候选是空间合并候选时，可以基于空间合并候选来推导l0运动信息和l1运动信息，并且可以基于此来生成l0预测样本和l1预测样本。
[0277]
例如，候选可以包括时间合并候选。例如，当选定的候选是时间合并候选时，可以基于时间合并候选来推导l0运动信息和l1运动信息，并且可以基于此来生成l0预测样本和
l1预测样本。
[0278]
例如，候选可以包括成对候选。例如，当选定的候选是成对候选时，可以基于成对候选来推导l0运动信息和l1运动信息，并且可以基于此来生成l0预测样本和l1预测样本。例如，可以基于合并候选列表中所包括的候选当中的两个其他合并候选来推导成对候选。
[0279]
另选地，例如，合并候选列表可以是子块合并候选列表，并且可以选择仿射合并候选、子块合并候选或sbtmvp候选。这里，以子块为单位的仿射合并候选可以被称为子块合并候选。
[0280]
例如，候选可以包括子块合并候选。例如，当选定的候选是子块合并候选时，可以基于子块合并候选来推导l0运动信息和l1运动信息，并且可以基于此来生成l0预测样本和l1预测样本。例如，子块合并候选可以包括控制点运动矢量(cpmv)，并且l0预测样本和l1预测样本可以通过基于cpmv以子块为单位执行预测来生成。
[0281]
这里，可以基于当前块的控制点(cp)的邻近块当中的一个块来指示cpmv。例如，cp的数目可以是2、3或4，cp可以处于当前块的左上侧(或左上角)、右上侧(或右上角)、左下侧(或左下角)或右下侧(或右下角)的至少一部分，并且在每个位置处可以只存在一个cp。
[0282]
例如，cp可以是处于当前块左上侧的cp0。在这种情况下，邻近块可以包括当前块的左上角邻近块、与左上角邻近块的下部相邻的左邻近块以及与左上角邻近块的右侧相邻的上邻近块。另选地，邻近块可以包括图12中的a2块、b2块或b3块。
[0283]
另选地，例如，cp可以是处于当前块右上侧的cp1。在这种情况下，邻近块可以包括当前块的右上角邻近块以及与右上角邻近块的左侧相邻的上邻近块。另选地，邻近块可以包括图12中的b0块或b1块。
[0284]
另选地，例如，cp可以是处于当前块左下侧的cp2。在这种情况下，邻近块可以包括当前块的左下角邻近块以及与左下角邻近块的上侧相邻的左邻近块。另选地，邻近块可以包括图12中的a0块或a1块。
[0285]
另选地，例如，cp可以是处于当前块右下侧的cp3。在这种情况下，邻近块可以包括当前块的并置块或并置块的右下角邻近块。这里，并置块可以包括在与当前块所处的当前图片不同的参考图片中的与当前块处于相同位置的块。另选地，邻近块可以包括图12中的块t。
[0286]
另选地，例如，候选可以包括sbtmvp候选。例如，当选定的候选是sbtmvp候选时，可以基于当前块的左邻近块来推导l0运动信息和l1运动信息，并且基于此，可以生成l0预测样本和l1预测样本。例如，可以通过以子块为单位执行预测来生成l0预测样本和l1预测样本。
[0287]
例如，l0运动信息可以包括l0参考图片索引、l0运动矢量等，并且l1运动信息可以包括l1参考图片索引、l1运动矢量等。l0参考图片索引可以包括指示参考图片列表0中的参考图片的信息，并且l1参考图片索引可以包括指示参考图片列表1中的参考图片的信息。
[0288]
例如，编码设备可以基于l0预测样本、l1预测样本和权重信息来生成当前块的预测样本。例如，可以基于权重索引信息来显示权重信息。权重索引信息可以指示关于双向预测的权重索引信息。例如，权重信息可以包括关于l0预测样本或l1预测样本的加权平均的信息。即，权重索引信息可以指示关于用于加权平均的权重的索引信息，并可以在基于加权平均生成预测样本的过程中生成权重索引信息。例如，权重索引信息可以包括指示三个或
五个权重中的任一个的信息。例如，加权平均可以表示具有cu级权重的双向预测(bcw)或具有加权平均的双向预测(bwa)中的加权平均。
[0289]
例如，候选可以包括时间合并候选，并且关于时间合并候选的权重索引信息可以由0表示。即，关于时间合并候选的权重索引信息可以由0表示。这里，为0的权重索引信息可以意指每个参考方向(即，双向预测中的l0预测方向和l1预测方向)的权重相同。另选地，例如，候选可以包括时间合并候选，并且权重索引信息可以基于关于并置块的权重索引信息来指示。即，可以基于关于并置块的权重索引信息来指示关于时间合并候选的权重索引信息。这里，并置块可以包括在与当前块所处的当前图片不同的参考图片中的与当前块处于相同位置的块。
[0290]
例如，候选可以包括成对候选，并且权重索引信息可以基于关于用于推导成对候选的合并候选列表中的其他两个候选之一的权重索引信息来指示。即，关于成对候选的权重索引信息可以基于关于用于推导成对候选的合并候选列表中的其他两个候选之一的权重索引信息来指示。
[0291]
例如，候选可以包括成对候选，并且成对候选可以基于候选当中的其他两个候选来指示。当关于其他两个候选中的每一个的权重索引信息与第一权重索引信息相同时，可以基于第一权重索引信息来指示关于成对候选的权重索引信息。当关于其他两个候选中的每一个的权重索引信息不相同时，可以基于默认权重索引信息来指示关于成对候选的权重索引信息，并且在这种情况下，默认权重索引信息可以对应于用于向l0预测样本和l1预测样本中的每一个赋予相同权重的权重索引信息。
[0292]
例如，候选可以包括成对候选，并且成对候选可以基于候选当中的其他两个候选来指示。当关于其他两个候选中的每一个的权重索引信息与第一权重索引信息相同时，可以基于第一权重索引信息来指示关于成对候选的权重索引信息。当关于其他两个候选中的每一个的权重索引信息不相同时，权重索引信息可以基于其他两个候选中的每一个的权重索引信息当中的并非默认权重索引信息的权重索引信息来指示。默认权重索引信息可以对应于用于向l0预测样本和l1预测样本中的每一个赋予相同权重的权重索引信息。
[0293]
例如，合并候选列表可以是子块合并候选列表，并且可以选择仿射合并候选、子块合并候选或sbtmvp候选。这里，以子块为单位的仿射合并候选可以被称为子块合并候选。
[0294]
例如，候选可以包括仿射合并候选，并且仿射合并候选可以包括处于当前块左上侧的控制点0(cp0)、处于当前块右上侧的cp1(控制点1)、处于当前块左下侧的控制点2(cp2)和处于当前块右下侧的控制点3(cp3)中的至少一个。
[0295]
例如，当仿射合并候选是基于{cp0，cp1，cp2}、{cp0，cp1，cp3}、{cp0，cp2，cp3}、{cp0，cp1}和{cp0，cp2}中的任一个生成的时，可以基于关于cp0的邻近块当中的特定块的权重索引信息来指示关于仿射合并候选的权重索引信息。当仿射合并候选是基于{cp1，cp2，cp3}生成的时，可以基于cp1的邻近块当中的特定块的权重索引信息来指示关于仿射合并候选的权重索引信息。
[0296]
cp0的邻近块当中的特定块对应于用于推导cp0的cpmv的块，并且cp0的邻近块可以包括当前块的左下角邻近块、与左下角邻近块的下侧相邻的左邻近块以及与左下角邻近块的右侧相邻的上邻近块。
[0297]
在cp1的邻近块当中，特定块对应于用于推导cp1的cpmv的块，并且cp1的邻近块可
以包括当前块的右上角邻近块和与右上角邻近块的左侧相邻的上邻近块。
[0298]
另选地，例如，候选可以包括sbtmvp候选，并且可以基于关于当前块的左邻近块的权重索引信息来指示关于sbtmvp候选的权重索引信息。即，可以基于关于左邻近块的权重索引信息来指示关于sbtmvp候选的权重索引信息。
[0299]
另选地，例如，候选可以包括sbtmvp候选，并且关于sbtmvp候选的权重索引信息可以用0表示。即，关于sbtmvp候选的权重索引信息可以用0表示。这里，等于0的权重索引信息可以意指每个参考方向(即，双向预测中的l0预测方向和l1预测方向)的权重相同。
[0300]
另选地，例如，候选可以包括sbtmvp候选，并且权重索引信息可以基于关于并置块中的中心块的权重索引信息来指示。即，关于sbtmvp候选的权重索引信息可以基于关于并置块中的中心块的权重索引信息来指示。这里，并置块可以包括在与当前块所处的当前图片不同的参考图片中的与当前块处于相同位置的块，并且中心块可以包括位于并置块中心的四个子块当中的右下子块。
[0301]
另选地，例如，候选可以包括sbtmvp候选，并且权重索引信息可以基于关于并置块中的每个子块的权重索引信息来指示。即，关于sbtmvp候选的权重索引信息可以基于关于并置块中的每个子块的权重索引信息来指示。
[0302]
例如，编码设备可以通过对包括上述信息(或语法元素)的全部或部分的图像信息进行编码来生成比特流或编码信息。另选地，它可以以比特流的形式输出。另外，比特流或编码信息可以通过网络或存储介质发送到解码设备。另选地，比特流或编码信息可以被存储在计算机可读存储介质中，并且可以通过上述图像编码方法来生成比特流或编码信息。
[0303]
图16和图17是示意性例示了根据本公开的实施方式的视频/图像解码方法和相关部件的示例的示图。
[0304]
图16中公开的方法可以由图3或图17中公开的解码设备执行。例如，图16中的s1600可以由图17中的解码设备300的熵解码器310执行，并且图16中的s1610可以由图17中的解码设备300的残差处理器320执行。另外，图16中的s1600至s1660可以由图17中的解码设备300的熵解码器330执行，并且图16中的s1670可以由图17中的解码设备300的加法器340执行。另外，尽管在图16中未例示，但可以由图17中的解码设备300的熵解码器310从比特流推导预测相关信息或残差信息。图16中公开的方法可以包括以上在本公开中描述的实施方式。
[0305]
参照图16，解码设备可以通过比特流接收包括帧间预测模式信息和残差信息的图像信息(s1600)。例如，图像信息可以被称为视频信息。图像信息可以包括根据本公开的上述实施方式的各种信息。例如，图像信息可以包括预测相关信息或残差相关信息的至少一部分。
[0306]
例如，预测相关信息可以包括帧间预测模式信息或帧间预测类型信息。例如，帧间预测模式信息可以包括指示各种帧间预测模式中的至少一些的信息。例如，可以使用诸如合并模式、跳过模式、运动矢量预测(mvp)模式、仿射模式、子块合并模式或带mvd的合并(mmvd)模式这样的各种模式。另外，解码器侧的运动矢量细化(dmvr)模式、自适应运动矢量分辨率(amvr)模式、具有cu级权重的双向预测或双向光流(bdof)等可以另外地或替代地作为辅助模式使用。例如，帧间预测类型信息可以包括inter_pred_idc语法元素。另选地，帧间预测类型信息可以包括指示l0预测、l1预测和双向预测中的任一种的信息。
[0307]
解码设备可以基于残差信息来生成残差样本(s1610)。解码设备可以基于残差信息来推导量化变换系数，并可以基于针对变换系数的逆变换过程来推导残差样本。
[0308]
解码设备可以基于帧间预测模式信息来生成当前块的合并候选列表(s1620)。例如，解码设备可以基于帧间预测模式信息来将当前块的帧间预测模式确定为合并模式、仿射(合并)模式或子块合并模式，并根据所确定的帧间预测模式来生成合并候选列表。这里，当帧间预测模式是仿射合并模式或子块合并模式时，合并候选列表可以被称为仿射合并候选列表或子块合并候选列表，但也可以简单地被称为合并候选列表。
[0309]
例如，候选可以被插入到合并候选列表中，直到合并候选列表中候选的数目成为最大候选数目。这里，候选可以指示用于推导当前块的运动信息(或运动矢量)的候选或候选块。例如，可以通过搜索当前块的邻近块来推导候选块。例如，邻近块可以包括当前块的空间邻近块和/或时间邻近块，可以优先搜索空间邻近块以推导(空间合并)候选，然后可以搜索时间邻近块以推导(时间合并)候选，并且推导出的候选可以被插入到合并候选列表中。例如，当即使在插入候选之后，合并候选列表中候选的数目也小于合并候选列表中的最大候选数目时，可以插入附加候选。例如，附加候选包括基于历史的合并候选、成对平均合并候选、atmvp和组合的双向预测合并候选(当当前切片/图块组的切片/图块组类型为类型b时)和/或零矢量合并候选中的至少一个。
[0310]
另选地，例如，候选可以被插入到仿射合并候选列表中，直到仿射合并候选列表中候选的数目成为最大候选数目。这里，候选可以包括当前块的控制点运动矢量(cpmv)。另选地，候选可以指示用于推导cpmv的候选或候选块。cpmv可以指示当前块的控制点(cp)处的运动矢量。例如，cp的数目可以是2、3或4，cp可以处于当前块的左上侧(或左上角)、右上侧(或右上角)、左下侧(或左下角)或右下侧(或右下角)中的至少一部分处，并且在每个位置处可以只存在一个cp。
[0311]
例如，可以通过搜索当前块的邻近块(或当前块的cp的邻近块)来推导候选块。例如，仿射合并候选列表可以包括继承的仿射合并候选、构造的仿射合并候选和零运动矢量候选中的至少一个。例如，在仿射合并候选列表中，可以首先插入继承的仿射合并候选，然后可以插入构造的仿射合并候选。另外，即使插入了在仿射合并候选列表中构造的仿射合并候选，当仿射合并候选列表中候选的数目小于最大候选数目时，剩余部分也可以用零运动矢量候选填充。这里，零运动矢量候选可以被称为零矢量。例如，仿射合并候选列表可以是根据以样本为单位推导运动矢量的仿射合并模式的列表，或者可以是根据以子块为单位推导运动矢量的仿射合并模式的列表。在这种情况下，仿射合并候选列表可以被称为子块合并候选列表，并且子块合并候选列表还可以包括从sbtmvp推导出的候选(或sbtmvp候选)。例如，当sbtmvp候选被包括在子块合并候选列表中时，它在子块合并候选列表中可以处于继承的仿射合并候选和构造的仿射合并候选之前。
[0312]
解码设备可以基于从合并候选列表中选择的候选来推导当前块的运动信息(s1630)。例如，合并候选列表可以包括空间合并候选、时间合并候选、成对候选或零矢量候选中的至少一些，并且可以选择这些候选中的一个以用于当前块的帧间预测。另选地，例如，子块合并候选列表可以包括继承的仿射合并候选、构造的仿射合并候选、sbtmvp候选或零矢量候选中的至少一些，并且可以选择这些候选中的一个候选以用于当前块的帧间预测。例如，可以基于选择信息从合并候选列表中选择选定的候选。例如，选择信息可以包括
指示合并候选列表中的选定候选的索引信息。例如，选择信息可以被称为合并索引信息或子块合并索引信息。例如，选择信息可以被包括在图像信息中。另选地，选择信息可以被包括在帧间预测模式信息中。
[0313]
解码设备可以基于运动信息来生成当前块的l0预测样本和l1预测样本(s1640)。例如，当帧间预测类型被推导为双向预测时，解码设备可以基于选择的候选来推导l0运动信息和l1运动信息。解码设备可以基于帧间预测类型信息将当前块的帧间预测类型推导为双向预测。例如，可以基于帧间预测类型信息将当前块的帧间预测类型推导为l0预测、l1预测或双向预测当中的双向预测。这里，l0预测可以指示基于参考图片列表0的预测，l1预测可以指示基于参考图片列表1的预测，并且双向预测可以指示基于参考图片列表0和参考图片列表1的预测。例如，帧间预测类型信息可以包括inter_pred_idc语法元素。
[0314]
例如，l0运动信息可以包括l0参考图片索引、l0运动矢量等，并且l1运动信息可以包括l1参考图片索引、l1运动矢量等。l0参考图片索引可以包括指示参考图片列表0中的参考图片的信息，并且l1参考图片索引可以包括指示参考图片列表1中的参考图片的信息。
[0315]
例如，候选可以包括空间合并候选。例如，当选定的候选是空间合并候选时，可以基于空间合并候选来推导l0运动信息和l1运动信息，并且可以基于此来生成l0预测样本和l1预测样本。
[0316]
例如，候选可以包括时间合并候选。例如，当选定的候选是时间合并候选时，可以基于时间合并候选来推导l0运动信息和l1运动信息，并且可以基于此来生成l0预测样本和l1预测样本。
[0317]
例如，候选可以包括成对候选。例如，当选定的候选是成对候选时，可以基于成对候选来推导l0运动信息和l1运动信息，并且可以基于此来生成l0预测样本和l1预测样本。例如，可以基于合并候选列表中所包括的候选当中的两个其它候选来推导成对候选。
[0318]
另选地，例如，合并候选列表可以是子块合并候选列表，并且可以选择仿射合并候选、子块合并候选或sbtmvp候选。这里，以子块为单位的仿射合并候选可以被称为子块合并候选。
[0319]
例如，候选可以包括仿射合并候选。例如，当选定的候选是仿射合并候选时，可以基于仿射合并候选来推导l0运动信息和l1运动信息，并且基于此来生成l0预测样本和l1预测样本。例如，仿射合并候选可以包括控制点运动矢量(cpmv)，并且l0预测样本和l1预测样本可以通过基于cpmv以子块为单位执行预测来生成。
[0320]
这里，可以基于当前块的控制点(cp)的邻近块中的一个来推导cpmv。例如，cp的数目可以是2、3或4，cp可以处于当前块的左上侧(或左上角)、右上侧(或右上角)、左下侧(或左下角)或右下侧(或右下角)中的至少一部分处，并且在每个位置处可以只存在一个cp。
[0321]
例如，cp可以是处于当前块左上侧的cp0。在这种情况下，邻近块可以包括当前块的左下角邻近块、与左上角邻近块的下部相邻的左上侧邻近块以及与左下角邻近块的右侧相邻的上邻近块。另选地，邻近块可以包括图12中的a2块、b2块或b3块。
[0322]
另选地，例如，cp可以是处于当前块右上侧的cp1。在这种情况下，邻近块可以包括当前块的右上角邻近块以及与右上角邻近块的左侧相邻的上邻近块。另选地，邻近块可以包括图12中的b0块或b1块。
[0323]
另选地，例如，cp可以是处于当前块左下侧的cp2。在这种情况下，邻近块可以包括
当前块的左下角邻近块以及与左下角邻近块的上侧相邻的左邻近块。另选地，邻近块可以包括图12中的a0块或a1块。
[0324]
另选地，例如，cp可以是处于当前块右下侧的cp3。这里，cp3也可以被称为rb。在这种情况下，邻近块可以包括当前块的并置块或并置块的右下角邻近块。这里，并置块可以包括在与当前块所处的当前图片不同的参考图片中的与当前块处于相同位置的块。另选地，邻近块可以包括图12中的块t。
[0325]
另选地，例如，候选可以包括sbtmvp候选。例如，当选定的候选是sbtmvp候选时，可以基于当前块的左邻近块来推导l0运动信息和l1运动信息，并且基于此，可以生成l0预测样本和l1预测样本。例如，可以通过以子块为单位执行预测来生成l0预测样本和l1预测样本。
[0326]
例如，解码设备可以基于l0预测样本、l1预测样本和权重信息来生成当前块的预测样本(s1260)。例如，可以基于关于从合并候选列表中所包括的候选当中选择的候选的权重索引信息来推导权重信息。例如，权重信息可以包括关于l0预测样本或l1预测样本的加权平均的信息。即，权重索引信息可以指示关于用于加权平均的权重的索引信息，并且可以基于权重索引信息来执行加权平均。例如，权重索引信息可以包括指示三个或五个权重中的任一个的信息。例如，加权平均可以表示具有cu级权重的双向预测(bcw)或具有加权平均的双向预测(bwa)中的加权平均。
[0327]
例如，候选可以包括时间合并候选，并且关于时间合并候选的权重索引信息可以被推导为0。即，关于时间合并候选的权重索引信息可以被推导为0。这里，等于0的权重索引信息可以意指每个参考方向(即，双向预测中的l0预测方向和l1预测方向)的权重相同。
[0328]
例如，候选可以包括时间合并候选，并且关于时间合并候选的权重索引信息可以基于关于并置块的权重索引信息来推导。即，可以基于关于并置块的权重索引信息来推导关于时间合并候选的权重索引信息。这里，并置块可以包括在与当前块所处的当前图片不同的参考图片中的与当前块处于相同位置的块。
[0329]
例如，候选可以包括成对候选，并且权重索引信息可以被推导为关于用于推导成对候选的合并候选列表中的其它两个候选中的一个的权重索引信息。即，关于成对候选的权重索引信息可以被推导为关于用于推导成对候选的合并候选列表中的其它两个候选中的一个的权重索引信息。
[0330]
例如，候选可以包括成对候选，并且成对候选可以基于候选当中的其它两个候选来推导。当关于其它两个候选中的每一个的权重索引信息与第一权重索引信息相同时，可以基于第一权重索引信息来推导针对成对候选的权重索引信息。当关于其它两个候选中的每一个的权重索引信息不相同时，关于成对候选的权重索引信息可以基于默认权重索引信息来推导，并且在这种情况下，默认权重索引信息可以对应于关于向l0预测样本和l1预测样本中的每一个赋予相同权重的权重索引信息。
[0331]
例如，候选可以包括成对候选，并且成对候选可以基于候选当中的其它两个候选来推导。当关于其它两个候选中的每一个的权重索引信息与第一权重索引信息相同时，可以基于第一权重索引信息来推导针对成对候选的权重索引信息。当关于其它两个候选中的每一个的权重索引信息不相同时，权重索引信息可以基于其它两个候选中的每一个的权重索引信息当中的并非默认权重索引信息的权重索引信息来推导。默认权重索引信息可以对
应于关于向l0预测样本和l1预测样本中的每一个赋予相同权重的权重索引信息。
[0332]
例如，合并候选列表可以是子块合并候选列表，并且可以选择仿射合并候选、子块合并候选或sbtmvp候选。这里，以子块为单位的仿射合并模式可以被称为子块合并候选。
[0333]
例如，候选可以包括仿射合并候选，并且仿射合并候选可以包括处于当前块左上侧的控制点0(cp0)、处于当前块右上侧的控制点1(cp1)、处于当前块左下侧的控制点2(cp2)和处于当前块右下侧的控制点3(cp3)中的至少一个。
[0334]
例如，当仿射合并候选是基于{cp0，cp1，cp2}、{cp0，cp1，cp3}、{cp0，cp2，cp3}、{cp0，cp1}和{cp0，cp2}中的任一个生成的时，可以基于关于cp0的邻近块当中的特定块的权重索引信息来指示关于仿射合并候选的权重索引信息。当仿射合并候选是基于{cp1，cp2，cp3}生成的时，可以基于cp1的邻近块当中的特定块的权重索引信息来指示关于仿射合并候选的权重索引信息。
[0335]
cp0的邻近块当中的特定块对应于用于推导cp0的cpmv的块，并且cp0的邻近块可以包括当前块的左下角邻近块、与左下角邻近块的下侧相邻的左邻近块以及与左下角邻近块的右侧相邻的上邻近块。
[0336]
在cp1的邻近块当中，特定块对应于用于推导cp1的cpmv的块，并且cp1的邻近块可以包括当前块的右上角邻近块和与右上角邻近块的左侧相邻的上邻近块。
[0337]
另选地，例如，候选可以包括sbtmvp候选，并且可以基于关于当前块的左邻近块的权重索引信息来指示关于sbtmvp候选的权重索引信息。即，可以基于关于左邻近块的权重索引信息来指示关于sbtmvp候选的权重索引信息。
[0338]
另选地，例如，候选可以包括sbtmvp候选，并且关于sbtmvp候选的权重索引信息可以用0表示。即，关于sbtmvp候选的权重索引信息可以用0表示。这里，等于0的权重索引信息可以意指每个参考方向(即，双向预测中的l0预测方向和l1预测方向)的权重相同。
[0339]
另选地，例如，候选可以包括sbtmvp候选，并且权重索引信息可以基于关于并置块中的中心块的权重索引信息来指示。即，关于sbtmvp候选的权重索引信息可以基于关于并置块中的中心块的权重索引信息来指示。这里，并置块可以包括在与当前块所处的当前图片不同的参考图片中的与当前块处于相同位置的块，并且中心块可以包括位于并置块中心的四个子块当中的右下子块。
[0340]
另选地，例如，候选可以包括sbtmvp候选，并且权重索引信息可以基于关于并置块中的每个子块的权重索引信息来指示。即，关于sbtmvp候选的权重索引信息可以基于关于并置块中的每个子块的权重索引信息来指示。
[0341]
解码设备可以基于预测样本和残差样本来生成重构样本(s1660)。例如，解码设备可以基于预测样本和残差样本来生成重构样本，并基于重构样本来推导重构块和重构图片。
[0342]
例如，解码设备可以通过解码比特流或编码信息来获得包括上述多条信息(或语法元素)中的全部或部分的视频/图像信息。另外，比特流或编码信息可以被存储在计算机可读存储介质中，并可以致使执行上述解码方法。
[0343]
尽管已经基于在上述实施方式中顺序列出步骤或块的流程图描述了方法，但本文献的步骤不限于特定的顺序，并且特定步骤可以相对于上述步骤在不同的步骤中或以不同的顺序或者同时地执行。另外，本领域的普通技术人员将理解，流程图中的步骤不是排他性
的，并且在没有对本公开的范围施加影响的情况下，可以在其中包括另一步骤，或者可以删除流程图中的一个或更多个步骤。
[0344]
根据本公开的以上提到的方法可以是软件的形式，并且根据本公开的编码设备和/或解码设备可以被包括在用于执行图像处理的装置(例如，tv、计算机、智能电话、机顶盒、显示装置等)中。
[0345]
当用软件实现本公开的实施方式时，可以用执行以上提到的功能的模块(处理或功能)实现以上提到的方法。模块可以被存储在存储器中并且由处理器执行。存储器可以安装在处理器的内部或外部，并可以经由各种公知装置连接到处理器。处理器可以包括专用集成电路(asic)、其他芯片集、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(rom)、随机存取存储器(ram)、闪速存储器、存储卡、存储介质和/或其他存储装置。换句话说，根据本公开的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，相应图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下，关于实现方式的信息(例如，关于指令的信息)或算法可以被存储在数字存储介质中。
[0346]
另外，应用本文献的实施方式的解码设备和编码设备可以被包括在多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、便携式摄像机、视频点播(vod)服务提供器、顶置(ott)视频装置、互联网流传输服务提供器、3d视频装置、虚拟现实(vr)装置、增强现实(ar)装置、图像电话视频装置、车载终端(例如，车(包括自主车辆)载终端、飞机终端或轮船终端)和医疗视频装置中；并且可以被用于处理图像信号或数据。例如，ott视频装置可以包括游戏控制台、blueray(蓝光)播放器、联网tv、家庭影院系统、智能手机、平板pc和数字视频记录仪(dvr)。
[0347]
另外，应用本文献的实施方式的处理方法可以以由计算机执行的程序的形式产生，并可以被存储在计算机可读记录介质中。根据本文献的实施方式的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(bd)、通用串行总线(usb)、rom、prom、eprom、eeprom、ram、cd-rom、磁带、软盘和光学数据存储装置。计算机可读记录介质还包括以载波(例如，互联网上的传输)的形式实施的媒体。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线或无线通信网络传输。
[0348]
另外，本文献的实施方式可以基于程序代码被实施为计算机程序产品，并且程序代码可以根据本文献的实施方式在计算机上执行。程序代码可以被存储在计算机可读载体上。
[0349]
图18是例示了可以应用本公开中公开的实施方式的内容流传输系统的示例的示图。
[0350]
参照图18，应用本公开的实施方式的内容流传输系统可以主要包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户装置和多媒体输入装置。
[0351]
编码服务器用来将从诸如智能电话、照相机、便携式摄像机等这样的多媒体输入装置输入的内容压缩为数字数据，生成比特流，并且将其传送至流传输服务器。作为另一示
例，在诸如智能电话、照相机、便携式摄像机等这样的多媒体输入装置直接生成码流的情况下，可省略编码服务器。
[0352]
可通过本文献的实施方式应用于的编码方法或比特流生成方法来生成比特流。并且流传输服务器可在发送或接收比特流的过程中暂时存储比特流。
[0353]
流传输服务器基于用户的请求通过网络服务器向用户设备传送多媒体数据，该网络服务器充当向用户通知存在什么服务的工具。当用户请求用户想要的服务时，网络服务器将请求转移至流传输服务器，并且流传输服务器将多媒体数据传送至用户。在这方面，内容流传输系统可包括单独的控制服务器，并且在这种情况下，控制服务器用来控制内容流传输系统中的各个设备之间的命令/响应。
[0354]
流传输服务器可从媒体存储装置和/或编码服务器接收内容。例如，在从编码服务器接收到内容的情况下，可实时地接收内容。在这种情况下，流传输服务器可将比特流存储预定时间段以流畅地提供流传输服务。
[0355]
例如，用户设备可包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航、板式pc、平板pc、超极本、可穿戴装置(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(hmd))、数字tv、台式计算机、数字标牌等。
[0356]
可将内容流传输系统中的每个服务器作为分布式服务器操作，并且在这种情况下，可以分布式方式处理由每个服务器接收的数据。
[0357]
本说明书中的权利要求可以以各种方式组合。例如，本说明书的方法权利要求中的技术特征可以组合以在设备中实施或执行，并且设备权利要求中的技术特征可以组合以在方法中实施或执行。此外，方法权利要求和设备权利要求中的技术特征可以组合以在设备中实施或执行。此外，方法权利要求和设备权利要求中的技术特征可以组合以在方法中实施或执行。