处理视频信号用于帧间预测的方法和设备与流程

1.本发明涉及一种视频/图像压缩编译系统，尤其涉及一种用于在视频编码/解码过程中进行帧间预测的方法及设备。


背景技术：

2.压缩编码是指用于通过通信线路发送数字化信息的一系列信号处理技术或者用于以适合于存储介质的形式存储信息的技术。包括图片、图像、音频等的介质可以是压缩编码的目标，并且具体地，用于对图片执行压缩编码的技术被称为视频图像压缩。
3.下一代视频内容被认为具有高空间分辨率、高帧率和场景表现的高维度的特性。为了处理这样的内容，将导致存储器存储、存储器访问速率和处理能力的急剧增加。
4.帧间预测是参考另一图片的重构样本来对当前图片执行预测的方法。为了提高帧间预测的效率，正在与新帧间预测技术一起讨论各种运动向量推导方法。


技术实现要素：

5.技术问题
6.本公开的实施例提供一种用于提高指示在针对用于帧间预测的信息的编码/解码处理期间是否应用对称运动向量差(smvd)的信息的信令效率的方法和设备。
7.本公开的实施例要实现的技术目的不限于上述技术目的，并且根据以下描述，本公开的实施例所属领域的普通技术人员将明显地理解上面没有提及的其他技术目的。
8.技术方案
9.本公开的实施例提供一种用于帧间预测的视频信号的编码方法和解码方法。根据本公开的实施例的解码方法包括：从用于第一级单元的第一编译信息获得与在用于第一方向预测的第一运动向量差(mvd)信息和用于第二方向预测的第二mvd信息中第二mvd信息是否被编码有关的第一标志；基于所述第一标志，从用于低于所述第一级单元的第二级单元的第二编译信息获得第二标志，所述第二标志与是否将对称mvd(smvd)应用于当前块有关；基于所述第一mvd信息确定用于所述当前块的第一mvd；基于所述第二标志确定第二mvd；基于所述第一mvd和所述第二mvd确定第一运动向量和第二运动向量；以及基于所述第一运动向量和所述第二运动向量生成所述当前块的预测样本。
10.在实施例中，所述第一级单元可以对应于以下中的一个：图片、图块组或切片，并且所述第二级单元可以对应于编译单元。
11.在实施例中，当所述第一标志是0时，可以执行对所述第二mvd信息的解码，以及当所述第一标志是1时，可以省略对第二mvd信息的解码。
12.在实施例中，获得所述第二标志可以包括：当所述第一标志是0并且满足附加条件时，解码所述第二标志，以及当所述第一标志是1时，推断所述第二标志为0而不对所述第二标志进行解码。
13.在实施例中，确定所述第二mvd可以包括：当所述第二标志是0时从所述第二mvd信
息确定所述第二mvd，以及当所述第二标志是1时基于所述smvd从所述第一mvd确定所述第二mvd。
14.在实施例中，当所述第二标志是1时，所述第二mvd可以具有与所述第一mvd相同的量值以及与所述第一mvd相反的符号。
15.在实施例中，确定所述第一运动向量和所述第二运动向量可以包括：获得用于所述第一方向预测的第一运动向量预测子(mvp)信息和用于所述第二方向预测的第二mvp信息，在用于所述第一方向预测的第一mvp候选列表中确定对应于所述第一mvp信息的第一候选运动向量，以及在用于所述第二方向预测的第二mvp候选列表中确定对应于所述第二mvp信息的第二候选运动向量，通过将所述第一mvd添加到所述第一候选运动向量来确定所述第一运动向量，以及通过将所述第二mvd添加到所述第二候选运动向量来确定所述第二运动向量。
16.在实施例中，生成所述当前块的所述预测样本可以包括：确定用于第一方向预测的第一参考图片和用于第二方向预测的第二参考图片，以及基于所述第一参考图片中的由所述第一运动向量所指示的第一参考样本和所述第二参考图片中的由所述第二运动向量所指示的第二参考样本来生成所述当前块的所述预测样本。
17.在实施例中，所述第一参考图片可以对应于用于所述第一方向预测的第一参考图片列表中按显示顺序对于当前图片在前且最接近的参考图片，并且所述第二参考图片可以对应于用于第二方向预测的第二参考图片列表中按显示顺序对于所述当前图片在后且最接近的参考图片。
18.根据本公开的实施例的编码方法包括：对用于第一级单元的第一编译信息进行编码；对用于低于第一级单元的第二级单元的第二编译信息进行编码，所述第一编译信息包括与在用于第一方向预测的第一运动向量差(mvd)信息和用于第二方向预测的第二mvd信息中第二mvd信息是否被编码有关的第一标志，以及所述第二编译信息包括与对称mvd(smvd)是否被应用于与所述第二级单元相对应的当前块有关的第二标志；以及基于所述第一标志来编码所述第二标志。
19.在实施例中，如果所述第一标志是0时，可以执行对所述第二mvd信息的编码，并且如果所述第一标志是1，则可以省略对所述第二mvd信息的编码。
20.在实施例中，在编码所述第二编译信息时，当所述第一标志是0时，可以基于用于所述第一方向预测的第一运动向量和用于所述第二方向预测的第二运动向量的搜索过程来编码第二标志。
21.根据本公开的实施例的解码装置包括：存储所述视频信号的存储器；以及处理器，所述处理器连接到所述存储器并且处理所述视频信号。所述处理器被配置成：在第一级单元中获得第一标志，所述第一标志与在用于第一方向预测的第一运动向量差(mvd)信息和用于第二方向预测的第二mvd信息中第二mvd信息是否被编码有关；基于所述第一标志，获得第二标志，所述第二标志与是否将对称mvd(smvd)应用于与低于所述第一级单元的第二级单元相对应的当前块有关；基于所述第一mvd信息确定用于所述当前块的第一mvd；基于所述第一mvd和所述第二mvd确定第一运动向量和第二运动向量；以及基于所述第一运动向量和所述第二运动向量生成所述当前块的预测样本。
22.根据本公开的实施例的编码设备包括：存储所述视频信号的存储器；以及处理器，
所述处理器连接到所述存储器并且处理所述视频信号。所述处理器被配置成：编码用于第一级单元的第一编译信息，以及对用于低于所述第一级单元的第二级单元的第二编译信息进行编码。所述第一编译信息包括与在用于第一方向预测的第一运动向量差(mvd)信息和用于第二方向预测的第二mvd信息中第二mvd信息是否被编码有关的第一标志，并且所述第二编译信息包括与对称mvd(smvd)是否被应用于与所述第二级单元相对应的当前块有关的第二标志，并且所述第二标志基于所述第一标志来编码。
23.此外，本公开的实施例提供了一种存储一个或多个指令的非暂时性计算机可读介质。所述一个或多个指令控制视频信号处理设备以：在第一级单元中获得第一标志，所述第一标志与在用于第一方向预测的第一运动向量差(mvd)信息和用于第二方向预测的第二mvd信息中第二mvd信息是否被编码有关；基于所述第一标志获得第二标志，所述第二标志与是否将对称mvd(smvd)应用于与低于所述第一级单元的第二级单元相对应的当前块有关；基于所述第一mvd信息确定用于所述当前块的第一mvd；基于所述第二标志确定第二mvd；基于所述第一mvd和所述第二mvd确定第一运动向量和第二运动向量；以及基于所述第一运动向量和所述第二运动向量生成所述当前块的预测样本。
24.此外，所述一个或多个指令控制视频信号处理设备以对用于第一级单位的第一编译信息进行编码并且对用于低于所述第一级单元的第二级单元的第二编译信息进行编码。第一编译信息包括关于在用于第一方向预测的第一运动向量差(mvd)信息和用于第二方向预测的第二mvd信息中第二mvd信息是否被编码的第一标志，并且第二编译信息包括关于对称mvd(smvd)是否被应用于与第二级单元相对应的当前块的第二标志，并且第二标志基于第一标志来编码。
25.有益效果
26.根据本公开的实施例，防止用信号通知即使当双向预测信息中的一个预测信息没有被编码时，也不必要地指示是否使用应用对称双向预测的对称运动向量差(smvd)的信息，从而减少帧间预测所需的信息的数据量和编译复杂度/时间。
27.本公开的实施例可以获得的效果不限于上述效果，并且根据以下描述，本公开的实施例所属领域的普通技术人员可以清楚地理解以上未描述的其他技术效果。
附图说明
28.附图作为详细描述的一部分被包括以帮助理解本公开，附图提供本公开的实施例并且连同详细描述一起描述本公开的技术特征。
29.图1示出根据本公开的实施例的视频编译系统的示例。
30.图2是应用本公开的实施例，并且是用于编码视频/图像信号的编码装置的示意性框图。
31.图3是应用本公开的实施例，并且是用于解码视频/图像信号的解码装置的示意性框图。
32.图4示出根据本公开的实施例的内容流传输系统的示例。
33.图5示出根据本公开的实施例的用于处理视频信号的装置的示例。
34.图6示出根据本公开的实施例的图片的分区结构的示例。
35.图7a至图7d示出根据本公开的实施例的块分区结构的示例。
36.图8示出根据本公开的实施例的三叉树(tt)和二叉树(bt)分区受到限制的情况的示例。
37.图9示出根据本公开的实施例的用于对构建视频信号的图片进行编码的流程图的示例。
38.图10示出根据本公开的实施例的用于对构建视频信号的图片进行解码的流程图的示例。
39.图11示出根据本公开的实施例的编码图像的层级结构的示例。
40.图12示出根据本公开的实施例的在视频信号的编码过程期间进行帧间预测的流程图的示例。
41.图13示出根据本公开的实施例的编码装置中的帧间预测器的示例。
42.图14示出根据本发明的实施例的在视频信号的解码过程期间进行帧间预测的流程图的示例。
43.图15示出根据本公开的实施例的解码装置中的帧间预测器的示例。
44.图16示出根据本公开的实施例的用作空间合并候选的空间相邻块的示例。
45.图17示出根据本公开的实施例的构建合并候选列表的流程图的示例。
46.图18示出根据本公开的实施例的构建运动向量预测子(mvp)候选列表的流程图的示例。
47.图19示出根据本公开的实施例的应用对称运动向量差(mvd)模式的情况的示例。
48.图20示出根据本公开的实施例的仿射运动模型的示例。
49.图21a和21b示出根据本公开的实施例的每个控制点的运动向量的示例。
50.图22示出根据本公开的实施例的每个子块的运动向量的示例。
51.图23示出根据本公开的实施例的构建仿射合并候选列表的流程图的示例。
52.图24示出根据本公开的实施例的用于推导继承的仿射运动预测子的块的示例。
53.图25示出根据本公开实施例的用于推导继承的仿射运动预测子的控制点运动向量的示例。
54.图26示出根据本发明的实施例的用于推导构建的仿射合并候选的块的示例。
55.图27示出根据本公开的实施例的构建仿射mvp候选列表的流程图的示例。
56.图28示出根据本公开的实施例的用于推导运动向量的流程图的示例。
57.图29示出根据本公开的实施例的用于估计运动的流程图的示例。
58.图30示出根据本公开的实施例的用于帧间预测的视频信号的编码流程图的示例。
59.图31示出根据本公开的实施例的用于帧间预测的视频信号的解码流程图的示例。
具体实施方式
60.以下，将参照附图描述本公开的优选实施方式。下面将参照附图描述的说明书是为了描述本公开的示例性实施例，而非旨在描述可实现本公开的仅有实施例。下面的描述包括特定细节以便提供本公开的完美理解。然而，本领域技术人员将理解，本公开可在没有这些特定细节的情况下具体实现。在一些情况下，为了防止本公开的技术概念不清楚，公知的结构或装置可被省略，或者可被描绘为以结构或装置的核心功能为中心的框图。
61.在一些情况下，为了防止本公开的技术概念不清楚，公知的结构或装置可被省略，
或者可被描绘为以结构或装置的核心功能为中心的框图。
62.此外，尽管在本公开中尽可能选择目前广泛使用的一般术语作为术语，但是在特定情况下使用申请人任意选择的术语。由于在这种情况下将在说明书的对应部分中清楚地描述术语的含义，所以要理解，不是通过仅在本公开的描述中使用的术语来简单地解释本公开，而是应该弄清术语的含义。
63.可以提供下面的描述中使用的特定术语以帮助理解本公开。此外，在本公开的技术概念的范围内，这些特定术语可被修改为其他形式。例如，信号、数据、样本、图片、帧、块等可在各个编译处理中适当地替换和解释。
64.在下文中，在本公开中，“处理单元”是指执行诸如预测、变换和/或量化的编码/解码处理的单元。处理单元也可被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。例如，处理单元可以对应于编译树单元(ctu)、编译单元(cu)、预测单元(pu)或变换单元(tu)。
65.此外，处理单元也可被解释为用于亮度分量的单元或用于色度分量的单元。例如，处理单元可以对应于用于亮度分量的编译树块(ctb)、编译块(cb)、预测块(pb)或变换块(tb)。可替选地，处理单元可以对应于用于色度分量的编译树块(ctb)、编译块(cb)、预测块(pb)或变换块(tb)。此外，处理单元不限于此，并且处理单元可以被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。
66.此外，处理单元未必限于正方形块，可以被构建成具有三个或更多个顶点的多边形形式。
67.此外，在下文中，在本公开中，像素通常被称为样本。此外，使用样本可以意指使用像素值。
68.图1示出根据本公开的实施例的视频编译系统的示例。视频编译系统可以包括源设备10和接收设备20。源设备10可以通过存储介质或网络以文件或流传输格式将编码的视频/图像信息或数据发送到接收设备20。
69.源设备10可以包括视频源11、编码装置12和发送器13。接收设备20可以包括接收器21、解码装置22和渲染器23。源设备可以被称为视频/图像编码装置，并且接收设备可以被称为视频/图像解码装置。发送器13可以包括在编码装置12中。接收器21可以被包括在解码装置22中。渲染器可以包括显示器，并且显示器可以被配置为单独设备或外部组件。
70.视频源11可以通过视频/图像的捕获、合成或生成处理来获取视频/图像数据。视频源11可以包括视频/图像捕获设备和/或视频/图像生成设备。视频/图像捕获设备可以包括例如一个或多个相机、包括先前捕获的视频/图像存档等。视频/图像生成设备可以包括例如计算机、平板电脑和智能电话，并且可以电子地生成视频/图像数据。例如，可以通过计算机等生成虚拟视频/图像数据，并且在这种情况下，可以用生成相关数据的处理来代替视频/图像捕获处理。
71.编码装置12可以对输入视频/图像进行编码。编码装置12可执行一系列程序，例如预测、变换和量化，以用于压缩和编译效率。可以以比特流的形式输出编码数据(编码视频/视频信息)。
72.发送器13可以以文件或流传输格式通过数字存储介质或网络将以比特流形式输出的编码视频/视频信息或数据发送到接收设备20的接收器21。数字存储介质可以包括各
种存储介质，诸如通用串行总线usb、安全数字sd卡、光盘cd、数字视频盘dvd、蓝光、硬盘驱动器hdd和固态驱动器ssd。发送器13可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行传输的元件。接收器21可以提取比特流并且将其发送到解码装置22。
73.解码装置22可以通过执行与编码装置12的操作相对应的诸如去量化、逆变换和预测的一系列过程来解码视频/图像数据。
74.渲染器23可以渲染解码视频/图像。可以通过显示器显示所渲染的视频/图像。
75.图2是本公开所应用的实施例，并且是用于对视频/图像信号进行编码的编码装置的示意性框图。图2的编码装置100可以对应于图1的编码装置12。
76.参照图2，编码装置100可以被配置为包括图像分割器110、减法器115、变换器120、量化器130、去量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测器180、帧内预测器185和熵编码器190。帧间预测器180和帧内预测器185可以统称为预测器。换句话说，预测器可以包括帧间预测器180和帧内预测器185。变换器120、量化器130、去量化器140和逆变换器150可以被包括在残差处理器中。残差处理器还可以包括减法器115。在一个实施例中，图像分割器110、减法器115、变换器120、量化器130、去量化器140、逆变换器150、加法器155、滤波器160、帧间预测器180、帧内预测器185和熵编码器190可以被配置为一个硬件组件(例如，编码器或处理器)。此外，存储器170可以包括解码图片缓冲器(dpb)并且可以被配置有数字存储介质。
77.图像分割器110可以将输入到编码装置100的输入图像(或图片或帧)划分为一个或多个处理单元。例如，处理单元可以被称为编译单元(cu)。在这种情况下，编译单元可以基于四叉树二叉树(qtbt)结构从编译树单元(ctu)或最大编译单元(lcu)递归地分割。例如，一个编译单元可以基于四叉树结构和/或二叉树结构被分成深度更深的多个编译单元。在这种情况下，例如，可以首先应用四叉树结构，然后可以应用二叉树结构。可替选地，可以首先应用二叉树结构。可以基于不再分割的最终编译单元来执行根据本公开的编译过程。在这种情况下，可以根据图像特性基于编译效率将最大编译单元直接用作最终编译单元，或者如果需要，编译单元可以被递归地分割为深度更深的编译单元。因此，具有最佳大小的编译单元可以用作最终编译单元。在这种情况下，编译过程可以包括诸如稍后描述的预测、变换或重构的过程。又例如，处理单元还可以包括预测单元(pu)或变换单元(tu)。在这种情况下，可以从每个最终编译单元划分或分区预测单元和变换单元中的每个。预测单元可以是用于样本预测的单元，并且变换单元可以是从其推导变换系数的单元和/或从变换系数推导残差信号的单元。
78.根据情况，本公开中使用的单元可以与块或区域互换地使用。在本公开中，m
×
n块可以指示配置有m列和n行的样本集合或变换系数集合。通常，样本可以指示像素或像素的值，并且可以仅指示亮度分量的像素/像素值或仅指示色度分量的像素/像素值。在样本中，一个图片(或图像)可以用作对应于像素或像元(pel)的术语。
79.编码装置100可以通过从输入图像信号(原始块或原始样本阵列)减去由帧间预测器180或帧内预测器185输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)。生成的残差信号被发送到变换器120。在这种情况下，如所示出的，可以将其中在编码装置100内从输入图像信号(原始块或原始样本阵列)减去预测信号(预测块
或预测样本阵列)的单元称为减法器115。预测器可以对处理目标块(以下称为当前块)执行预测，并且可以生成包括用于当前块的预测样本的预测块。预测器可以确定在当前块或cu单元中应用帧内预测还是应用帧间预测。预测器可以生成关于预测的信息，诸如将在每个预测模式的描述中稍后描述的预测模式信息，并且可以将该信息发送到熵编码器190。关于预测的信息可以在熵编码器190中被编码，并且可以以比特流形式被输出。
80.帧内预测器185可以参考当前图片内的样本来预测当前块。取决于预测模式，所参考的样本可以被定位成与当前块相邻，或者可以与当前块间隔开。在帧内预测中，预测模式可以包括多个非角度模式和多个角度模式。非角度模式可以包括例如dc模式和平面模式。角度模式可以包括例如33个角度预测模式或65个角度预测模式，这取决于预测方向的精细程度。在这种情况下，例如，可以根据配置使用多于或少于33个角度预测模式或65个角度预测模式的角度预测模式。帧内预测器185可以使用应用于相邻块的预测模式来确定应用于当前块的预测模式。
81.帧间预测器180可以基于参考图片上的由运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少帧间预测模式下发送的运动信息的量，运动信息可以基于相邻块和当前块之间的运动信息的相关性以块、子块或样本为单位来预测。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(l0预测、l1预测、bi预测)信息。在帧间预测的情况下，相邻块可以包括当前图片内的空间相邻块以及参考图片内的时间相邻块。包括参考块的参考图片和包括时间相邻块的参考图片可以相同或不同。时间相邻块可以被称为叫做共置参考块或共置cu(colcu)的名称。包括时间相邻块的参考图片可以被称为共置图片(colpic)。例如，帧间预测器180可以基于相邻块的运动信息来构建运动信息候选列表，并且可以生成指示哪个候选用于推导当前块的运动向量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器180可以使用相邻块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可以不发送残差信号。在运动向量预测(mvp)模式的情况下，相邻块的运动向量可以用作运动向量预测子。可以通过用信号通知运动向量差mvd来指示当前块的运动向量。
82.预测单元可以基于稍后描述的各种预测方法来生成预测信号(预测样本)。例如，预测单元可以应用帧内预测或帧间预测来预测一个块，并且可以一起(同时)应用帧内预测和帧间预测。这可以被称为组合帧间和帧内预测(ciip)。此外，预测单元可以执行帧内块复制(ibc)以预测该块。ibc可以用于例如内容(例如游戏)视频/视频编译，例如屏幕内容编译(scc)。此外，ibc也可以称为当前图片参考(cpr)。ibc基本上执行当前图片内的预测，但可以类似于帧间预测执行，因为在当前图片内推导参考块。也就是说，ibc可以使用本公开中所描述的帧间预测技术中的至少一个。
83.通过预测单元(包括帧间预测器180和/或帧内预测器185)生成的预测信号可以用于生成重构信号或残差信号。变换器120可以通过将变换方案应用于残差信号来生成变换系数。例如，变换方案可以包括离散余弦变换(dct)、离散正弦变换(dst)、karhunen
–
lo
è
ve变换(klt)、基于图形的变换(gbt)或条件非线性变换(cnt)中的至少一个。在这种情况下，gbt意指如果像素之间的关系信息被表示为图形则从该图形获得的变换。cnt意指基于使用所有先前重构的像素生成的预测信号而获得的变换。此外，变换处理可以应用于具有相同
大小的正方形形式的像素块，或者可以应用于非正方形形式的块或者具有可变大小而非正方形形式的块。
84.量化器130可以量化变换系数，并且将它们发送到熵编码器190。熵编码器190可以对量化的信号(关于量化的变换系数的信息)进行编码并且以比特流形式输出该量化的信号。关于量化的变换系数的信息可以被称为残差信息。量化器130可以基于系数扫描序列以一维向量形式重新排列块形式的量化的变换系数，并且可以基于一维向量形式的量化的变换系数的特性来生成关于量化的变换系数的信息。熵编码器190可以执行各种编码方法，诸如指数哥伦布(golomb)、上下文自适应可变长度编译(cavlc)和上下文自适应二进制算术编译(cabac)。除了量化的变换系数之外，熵编码器190还可以一起或单独地编码视频/图像重构所需的信息(例如，语法元素的值)。编码信息(例如，编码视频/图像信息)可以以比特流的形式发送或存储在网络抽象层nal单元中。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频参数集(vps)。稍后在本公开中描述的用信号通知/传输的信息和/或语法元素可以通过上述编码过程来编码并且被包括在比特流中。比特流可以通过网络发送或者可以存储在数字存储介质中。在这种情况下，网络可以包括广播网络和/或通信网络。数字存储介质可以包括各种存储介质，诸如usb、sd、cd、dvd、蓝光、hdd和ssd。发送由熵编码器190输出的信号的发送器(未示出)和/或用于存储该信号的存储器(未示出)可以被配置为编码装置100的内部/外部元件，或者发送器可以是熵编码器190的元件。
85.由量化器130输出的量化的变换系数可以用于生成重构信号。例如，可以在循环内通过经由去量化器140和逆变换器150对量化的变换系数应用去量化和逆变换来重构残差信号。加法器155可以将重构的残差信号与帧间预测器180或帧内预测器185所输出的预测信号相加，从而可以生成重构信号(重构图像、重构块或重构样本阵列)。如果针对处理目标块不存在残差信号，则可以将预测块用作重构块，如在已经应用跳过模式的情况下。加法器155可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片内的下一处理目标块的帧内预测，并且可以用于通过如稍后将描述的滤波的下一图片的帧间预测。
86.滤波器160可以通过对重构信号应用滤波来改善主观/客观图片质量。例如，滤波器160可以通过将各种滤波方法应用于重构图片来生成修改的重构图片。修改的重构图片可以被存储在存储器170的dpb175中。例如，各种滤波方法可以包括去块滤波、样本自适应偏移sao、自适应环路滤波器alf和双边滤波器。滤波器160可以生成用于滤波的信息，如稍后在每个滤波方法的描述中将描述的，并且可以将它们发送到熵编码器190。可以通过熵编码器190中的熵编码来对滤波信息进行编码，并且以比特流形式输出。
87.发送到dpb 175的修改的重构图片可以用作帧间预测器180中的参考图片。如果应用帧间预测，则编码装置可以通过使用修改的重构图片来避免编码装置100和解码装置中的预测失配，并且改善编码效率。dpb 175可以存储修改的重构图片以便使用修改的重构图片作为帧间预测器180中的参考图片。存储的运动信息可以被发送到帧间预测单元180以用作空间相邻块的运动信息或时间相邻块的运动信息。存储器170可以存储当前图片中的重构块的重构样本，并且将关于重构样本的信息发送到帧内预测单元185。
88.图3是应用本公开的实施例，并且是用于解码视频/图像信号的解码装置的示意性框图。图3的解码装置200可以对应于图1的解码装置22。
89.参照图3，解码装置200可以被配置为包括熵解码器210、去量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器260和帧内预测器265。帧间预测器260和帧内预测器265可以被统称为预测器。也就是说，预测器可以包括帧间预测器180和帧内预测器185。去量化器220和逆变换器230可以被统称为残差处理器。也就是说，残差处理器可以包括去量化器220和逆变换器230。根据实施例，熵解码器210、去量化器220、逆变换器230、加法器235、滤波器240、帧间预测器260和帧内预测器265可以被配置为一个硬件组件(例如，解码器或处理器)。此外，在实施例中，存储器250可以包括解码图片缓冲器dpb 255，并且可以被配置有硬件组件(例如，存储器或数字存储介质)。
90.当输入包括视频/图像信息的比特流时，解码装置200可以根据图2的编码装置中的处理视频/图像信息的处理来重构图像，例如，解码装置200可以使用编码装置中应用的处理单元来执行解码。因此，例如，用于解码的处理单元可以是编译单元。取决于四叉树结构和/或二叉树结构，可以从编译树单元或最大编译单元中分割编译单元。此外，通过解码装置200解码并且输出的重构图像信号可以通过回放设备回放。
91.解码装置200可以比特流形式接收由图1的编码装置输出的信号。可以通过熵解码器210对接收到的信号进行解码。例如，熵解码器210可以通过解析比特流来推导用于图像重构(或图片重构)的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(aps)、图片参数集(pps)、序列参数集(sps)或视频参数集(vps)。解码装置可以基于关于参数集的信息来解码图片。稍后在本公开中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程解码且从比特流获得。例如，熵解码器210可以基于诸如指数golomb编码、cavlc或cabac的编译方法获得比特流内的信息，并且可以输出用于图像重构的语法元素的值或关于残差的变换系数的量化值。更具体地说，在cabac熵解码方法中，可以从比特流接收与每个语法元素对应的bin，可以使用相邻和解码目标块的解码目标语法元素信息和解码信息或在先前步骤中解码的符号/bin的信息来确定上下文模型，可以基于确定的上下文模型来预测bin出现的概率，并且可以通过对bin执行算术解码来生成与每个语法元素的值对应的符号。在这种情况下，在cabac熵解码方法中，在上下文模型被确定之后，可以使用针对下一符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。可以将在熵解码器210中解码的信息中的关于预测的信息提供给预测器(帧间预测器260和帧内预测器265)。与在熵解码器210中已经对其执行熵解码的残差值(即，量化的变换系数)相关的参数信息可以被输入到去量化器220。此外，可以将在熵解码器210中解码的信息中的关于滤波的信息提供给滤波器240。同时，接收由编码装置输出的信号的接收器(未示出)还可以被配置为解码装置200的内部/外部元件，或者接收器可以是熵解码器210的元件。同时，根据本说明书的解码装置200可以被称为视频/图像/图片解码装置。解码装置200可以被划分为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码单元210，并且样本解码器可以包括去量化器220、逆变换单元230、加法器235、滤波器240、存储器250、帧间预测单元和帧内预测单元265中的至少一个。
92.去量化器220可以去量化量化的变换系数并且输出变换系数。去量化器220可以以二维块形式重新排列量化的变换系数。在这种情况下，可以基于在编码装置中执行的系数扫描序列来执行重新排列。去量化器220可以使用量化参数(例如，量化步长信息)对量化的
变换系数执行去量化，并且可以获得变换系数。
93.逆变换器230可以通过对变换系数进行逆变换来输出残差信号(残差块或残差样本阵列)。
94.预测器可以对当前块执行预测，并且可以生成包括当前块的预测样本的预测块。预测器可以基于由熵解码器210输出的关于预测的信息来确定是对当前块应用帧内预测还是对当前块应用帧间预测，并且可以确定详细的帧内/帧间预测模式。
95.预测器可以基于以下将描述的各种预测方法来生成预测信号(预测样本)。例如，预测器可以应用帧内预测或帧间预测以用于一个块的预测，并且同时应用帧内预测和帧间预测。这可以被称为组合帧间和帧内预测(ciip)。另外，预测器可以执行帧内块复制(ibc)以预测该块。ibc可以用于内容图像/视频编码，诸如游戏，例如屏幕内容编译(scc)。此外，ibc也可以称为当前图片参考(cpr)。ibc基本上执行当前图片中的预测，但是在ibc推导当前图片中的参考块的方面可以类似于帧间预测执行。也就是说，ibc可以使用本公开中所描述的帧间预测技术中的至少一个。
96.帧内预测器265可以参考当前图片内的样本来预测当前块。取决于预测模式，被参考的样本可以被定位为与当前块相邻，或者可以与当前块间隔开。在帧内预测中，预测模式可以包括多个非角度模式和多个角度模式。帧内预测器265可以使用应用于相邻块的预测模式来确定应用于当前块的预测模式。
97.帧间预测器260可以基于由参考图片上的运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，运动信息可以基于相邻块和当前块之间的运动信息的相关性以块、子块或样本单元来预测。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(l0预测、l1预测、bi预测)信息。在帧间预测的情况下，相邻块可以包括当前图片内的空间相邻块及参考图片内的时间相邻块。例如，帧间预测器260可以基于相邻块来配置运动信息候选列表，并且可以基于接收到的候选选择信息来推导当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测。关于预测的信息可以包括指示当前块的帧间预测模式的信息。
98.加法器235可以通过将获得的残差信号与由预测单元(包括帧间预测器260和/或帧内预测器265)输出的预测信号(预测块或预测样本阵列)相加，来生成重构信号(重构图像、重构块或重构样本阵列)。如在已经应用跳过模式的情况下，如果针对处理目标块不存在残差，则可以将预测块用作重构块。
99.加法器235可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片内的下一处理目标块的帧内预测，并且可以用于通过如稍后将描述的滤波的下一图片的帧间预测。
100.滤波器240可以通过对重构信号应用滤波来改善主观/客观图片质量。例如，滤波器240可以通过将各种滤波方法应用于重构图片来生成修改的重构图片，并且可以将修改的重构图片发送到存储器250的dpb 255。例如，各种滤波方法可以包括去块滤波、样本自适应偏移sao、自适应环路滤波器alf和双边滤波器。
101.在存储器250的dpb 255中发送(修改)的重构图片可以用作帧间预测器260中的参考图片。存储器250可以存储在当前图片中的运动信息被推导(或解码)的块的运动信息和/
或在已经重建图片中的块的运动信息。存储的运动信息可以被发送到帧间预测单元260，以被用作空间相邻块的运动信息或时间相邻块的运动信息。存储器250可以存储当前图片中重构的块的重构样本，并且可以将重构样本发送到帧内预测单元265。
102.在本公开中，在编码装置100的滤波器160、帧间预测器180和帧内预测器185中描述的实施例可以被相同地或以对应的方式分别应用于解码装置200的滤波器240、帧间预测器260和帧内预测器265。
103.图4示出根据本公开的实施例的内容流传输系统的示例。应用本公开的内容流传输系统可以主要包括编码服务器410、流传输服务器420、网络(web)服务器430、媒体存储器440、用户设备450和多媒体输入设备460。
104.编码服务器410可以将从多媒体输入设备460(诸如智能电话、相机、摄像机等)输入的内容压缩成数字数据，以生成比特流并且将其发送到流传输服务器420。作为另一示例，当多媒体输入设备460(诸如智能电话、相机和摄像机)直接生成比特流时，可以省略编码服务器410。
105.可以通过应用本公开的编码方法或比特流生成方法来生成比特流，并且流传输服务器420可以在发送或接收比特流的处理中临时存储比特流。
106.流传输服务器420基于用户请求通过网络服务器430将多媒体数据发送到用户设备450，网络服务器430用作中间媒介以通知用户存在什么服务。当用户通过web服务器430请求期望服务时，web服务器430将关于期望服务的信息传递到流传输服务器420，并且流传输服务器420将多媒体数据发送到用户。此时，内容流传输系统可以包括单独的控制服务器，在这种情况下，控制服务器用于控制内容流传输系统中的设备之间的命令/响应。
107.流传输服务器420可以从媒体存储器440和/或编码服务器410接收内容。例如，流传输服务器420可以从编码服务器410实时接收内容。在这种情况下，为了提供平滑的流传输服务，流传输服务器420可以将比特流存储预定时间。
108.例如，用户设备450可以包括移动电话、智能电话、膝上型计算机、用于数字广播的终端、个人数字助理pda、便携式多媒体播放器pmp、导航终端、平板计算机、平板pc、超级本、可穿戴设备(例如，智能手表、智能眼镜、头戴式显示器hmd、数字tv、台式计算机和数字标示牌)。
109.内容流传输系统中的每个服务器可以作为分布式服务器操作，并且在这种情况下，可以以分布式方式处理从每个服务器接收到的数据。
110.图5示出根据本公开的实施例的用于处理视频信号的装置的示例。视频信号处理装置可以对应于图1的编码装置100或图2的解码装置200。
111.处理视频信号的视频信号处理装置500可以包括用于存储视频信号的存储器520和用于在与存储器520组合的同时处理视频信号的处理器510。根据本公开的实施例的处理器510可以被配置有用于处理视频信号的至少一个处理电路，并且可以通过执行用于编码或解码视频信号的指令来处理视频信号。也就是说，处理器510可以通过执行下面描述的编码或解码方法来对原始视频数据进行编码或对编码视频信号进行解码。处理器510可以包括对应于图2或图3的每个模块的一个或多个处理器。存储器520可以对应于图2的存储器170或图3的存储器250。
112.分区(partitioning)结构
113.可以基于下面将描述的分区结构来执行根据本公开的视频/图像编译方法。具体地，可以对基于分区结构推导的编译树单元(ctu)和cu(和/或tu或pu)执行诸如预测、残差处理(例如，(逆)变换、(去)量化)、语法元素编译和滤波的过程。根据本公开的块分区过程由上述编码装置100的图像分割单元110执行，并且分区相关信息可以由熵编码单元190处理(编码)并且以比特流的形式传送到解码装置200。解码装置200的熵解码单元210可以基于从比特流获得的分区相关信息来推导当前块的块分区结构，并且基于推导的块分区结构来执行用于图像解码的一系列过程(例如，预测、残差处理、块/图片重构、环内滤波等)。
114.在根据本公开的实施例编译视频/图像时，图像处理单元可以具有层级结构。可以将一个图片划分成一个或多个图块(tile)或图块组。一个图块组可以包括一个或多个图块。一个图块可以包括一个或多个ctu。ctu可以被分区成一个或多个ctu。图块是图片中的特定图块列和特定图块行内的ctu的矩形区域。图块组可以包括根据图片内的图块光栅扫描的整数数目个图块。图块组报头可以传递可应用于对应图块组的信息/参数。当编码装置100/解码装置200具有多核处理器时，可以并行处理用于图块或图块组的编码/解码过程。此处，图块组可以具有一种类型的图块组，包括帧内(i)图块组、预测性(p)图块组和双向预测性(b)图块组。对于帧内i图块组中的块的预测，不使用帧间预测，而是可以仅使用帧内预测。当然，即使对于i图块组，也可用信号通知未经预测而编译的原始样本值。对于p图块组中的块，可以使用帧内预测或帧间预测，并且当使用帧间预测时，可以仅使用单向预测。同时，对于b图块组中的块，可以使用帧内预测或帧间预测，并且当使用帧间预测时，不仅可以使用单向预测，而且可以使用双向预测。
115.图6示出根据本公开的实施例的图片的分区结构的示例。在图6中，具有216(18乘12)个亮度ctu的图片被分区成12个图块和3个图块组。
116.编码器可以根据视频图像的特性(例如，分辨率)或通过考虑编译或并行处理的效率来确定图块/图块组以及最大和最小编译单元大小。
117.解码器可以获得指示当前图片的图块/图块组和图块中的ctu是否被分区成多个编译单元的信息。当解码器不是连续地获得(解码)信息，而是仅在特定条件下获得(解码)信息时，可以提高编译效率。
118.图块组报头(图块组报头语法)可以包括可共同应用于图块组的信息/参数。aps(asp语法)或pps(pps语法)可以包括可以通常应用于一个或多个图片的信息/参数。sps(sps语法)可以包括可以通常应用于一个或多个序列的信息/参数。vps(vps语法)可以包括可以通常应用于整个视频的信息/参数。本公开中的较高级别语法可以包括以下中的至少一个：aps语法、pps语法、sps语法及vps语法。
119.此外，例如，关于图块/图块组的分区和构建的信息可以由编码器通过较高级别语法来构建，然后以比特流的形式被发送到解码器。
120.图7a至图7d示出根据本公开的实施例的块分区结构的示例。图7a、7b、7c和7d分别示出通过四叉树(qt)、二叉树(bt)、三叉树(tt)和非对称树(at)的块分区结构的示例。
121.在视频编译系统中，可以基于qt分区方案分区一个块。此外，可以根据qt分区方案进一步递归地分区通过qt分区方案分区的一个子块。不再被qt分区方案分区的叶块可以通过bt、tt或at中的至少一个方案来分区。bt可以具有两种类型的分区，诸如水平bt(2n
×
n,2n
×
n)和垂直bt(n
×
2n,n
×
2n)。tt可以具有两种类型的分区，例如水平tt(2n
×
1/2n,2n
×
n,2n
×
1/2n)和垂直tt(1/2n
×
2n,n
×
2n,1/2n
×
2n)。at可以具有四种类型的分区，例如水平向上at(2n
×
1/2n,2n
×
3/2n)、水平向下at(2n
×
3/2n,2n
×
1/2n)、垂直向左at(1/2n
×
2n,3/2n
×
2n)、垂直向右at(3/2n
×
2n,1/2n
×
2n)。bt、tt和at可以分别通过使用bt、tt和at来进一步递归地分区。
122.图7a示出qt分区的示例。qt可以将块a分区成四个子块a0、a1、a2和a3。qt可以将子块a1再次分区成四个子块b0、b1、b2和b3。
123.图7b示出bt分区的示例。不再被qt分区的块b3可以由垂直bt(c0,c1)或水平bt(d0,d1)分区。类似于块c0，每个子块可以进一步递归地分区，如水平bt(e0,e1)或垂直bt(f0,f1)的形式。
124.图7c示出tt分区的示例。不再被qt分区的块b3可以被分区成垂直tt(c0,c1,c2)或水平tt(d0,d1,d2)。类似于块c1，每个子块可以进一步递归地分区，类似于水平tt(e0,e1,e2)或垂直tt(f0,f1,f2)的形式。
125.图7d示出at分区的示例。不再被qt分区的块b3可以被分区成垂直at(c0,c1)或水平at(d0,d1)。类似于块c1，每个子块可以进一步递归地分区，类似于水平at(e0,e1)或垂直tt(f0,f1)的形式。
126.同时，bt、tt和at分区可以同时应用于一个块。例如，由bt分区的子块可以由tt或at分区。此外，由tt分区的子块可以由bt或at分区。由at分区的子块可以由bt或tt分区。例如，在水平bt分区之后，可以通过垂直bt分区每个子块。此外，在垂直bt分区之后，可以通过水平bt分区每个子块。在这种情况下，分区顺序不同，但是最终分区形状相同。
127.此外，当对块进行分区时，可以不同地定义对块进行搜索的顺序。通常，搜索可以从左到右和从上到下执行，并且对块的搜索可以表示确定是否进一步对每个分区的子块进行分区的顺序、当不再分区每个子块时每个子块的编译顺序、或者当参考子块中的另一相邻块的信息时的搜索顺序。
128.此外，可以定义虚拟流水线数据单元(vpdu)以用于图片中的流水线处理。vpdu可以被定义为一个图片中的非重叠单元。在硬件解码器中，连续的vpdu可以由多个流水线级同时处理。在大多数流水线级中，vpdu大小大致与缓冲器大小成比例。因此，当在硬件方面考虑缓冲器大小时，保持vpdu大小较小是重要的。在大多数硬件解码器中，vpdu大小可以被配置为等于最大的tb大小。例如，vpdu大小可以是64
×
64(64
×
64亮度采样)大小。然而，这是示例，并且通过考虑上述tt和/或bt分区，可以改变(增加或减少)vpdu大小。
129.图8示出根据本公开的实施例的tt和bt分区受限的情况的示例。为了将vpdu大小保持为64
×
64亮度样本的大小，可如图8中所示而应用以下限制中的至少一个。
130.‑
对于宽度或高度或者宽度和高度两者都等于128的cu，不允许tt分割。
131.‑
对于n<＝64(即，宽度等于128且高度小于128)的128xn cu，不允许水平bt。
132.‑
对于n<＝64(即，高度等于128且宽度小于128)的nx128 cu，不允许垂直bt。
133.图像/视频编译过程
134.在图像/视频编译中，可以根据一系列解码顺序对构建图像/视频的图片进行编码/解码。与解码图片的输出顺序对应的图片顺序可以与编译顺序不同地配置，并且不仅可以执行前向预测，而且可以执行反向预测。
135.图9示出根据本公开的实施例的用于对构建视频信号的图片进行编码的流程图的
示例。在图9中，步骤s910可以由图2中描述的编码装置100的预测器180和185执行，步骤s920可以由残差处理单元115、120和130执行，并且步骤s930可以由熵编码器190执行。步骤s910可以包括本公开中描述的帧间/帧内预测过程，步骤s920可以包括本公开中描述的残差处理过程，并且步骤s930可以包括本公开中描述的信息编码过程。
136.参照图9，图片编码过程可以示意性地包括对信息(例如，预测信息、残差信息和分区信息)进行编码并以如图2中描述的比特流形式输出编码信息的过程以及生成当前图片的重构图片的过程以及对重构图片应用环内滤波的过程(可选)。在步骤s910中，编码装置100可以从通过去量化器140和逆变换器150量化的变换系数推导(修改的)残差样本，并且可以基于与输出对应的预测样本和(修改的)残差样本来生成重构图片。所生成的重构图片可以与由解码装置200生成的重构图片相同。可以通过用于重构图片的环内滤波过程来生成修改的重构图片，并且可以将修改的重构图片存储在存储器170(dpb175)中，并且如在解码装置200中的情况下，可以在对图片进行编码期间在帧间预测过程中将修改的重构图片用作参考图片。如上所述，在某些情况下，可以省略部分或全部环内滤波过程。当执行环内滤波过程时，(环内)滤波相关信息(参数)可以由熵编码器190编码并以比特流的形式输出，并且解码装置200可以基于滤波相关信息以与编码装置100相同的方法执行环内滤波过程。
137.通过环内滤波过程，可以减少在视频/运动图片编译期间生成的噪声，例如块伪影和振铃伪影，并且可以提高主观/客观视觉质量。此外，编码装置100和解码装置200都执行环内滤波过程，结果，编码装置100和解码装置200可以推导相同预测过程，并且增加图片编译的可靠性和减少针对图片编译而发送的数据量。
138.图10示出根据本公开的实施例的用于对构建视频信号的图片进行解码的流程图的示例。步骤s1010可以由图3的解码装置200中的熵解码单元210执行，步骤s1020可以由预测器260和265执行，步骤s1030可以由残差处理单元220和230执行，步骤s1040可以由加法单元235执行，并且步骤s1050可以由滤波器240执行。步骤s1010可以包括本公开中描述的信息解码过程，步骤s1020可以包括本公开中描述的帧间/帧内预测过程，步骤s1030可以包括本公开中描述的残差处理过程，步骤s1040可以包括本公开中描述的块/图片构建过程，并且步骤s1050可以包括本公开中描述的环内滤波过程。
139.参照图10，图片解码过程可以示意性地包括从比特流中(通过解码)的图像/视频信息获取过程(s1010)、图片重建过程(s1020至s1040)以及如图2所示的重建图片的环内滤波过程(s1050)。图片重建过程可以基于通过本公开中描述的帧间预测s1020和残差处理s1030(量化变换系数的去量化和逆变换)的处理所获得的预测样本和残差样本来执行。修改的重构图片可以通过经由图片重构过程生成的重构图片的环内滤波过程生成，并且修改的重构图片可以被输出作为解码图片，此外，修改的重构图片可以存储在解码装置200的dpb 255中，并且在对图片的后续解码期间在帧间预测过程中用作参考图片。在一些情况下，可以省略环内滤波过程，并且在这种情况下可以将重构图片输出作为解码图片，此外，可以将修改的重构图片存储在解码设备200的dpb 255中，并且在对图片的后续解码期间在帧间预测过程中用作参考图片。环内滤波过程s1050可以包括去块滤波过程、样本自适应偏移(sao)过程、自适应环路滤波(alf)过程和/或双边滤波过程，并且可以省略其中的一些或全部。另外，可以按顺序应用去块滤波过程、sao过程、alf过程、双边滤波过程中的一个或一些，或可以按顺序应用所有过程。例如，在去块滤波过程被应用于重构图像之后，可以执行
sao过程。此外，例如，在去块滤波过程被应用于重构图像之后，可以执行alf过程。这即使在编码装置100中也可以类似地执行。
140.如上所述，即使在除解码装置200之外的编码装置100中也可以执行图片重构过程。可以以每个块为单位基于帧内预测/帧间预测来生成重构块，并且可以生成包括重构块的重构图片。在当前图片/切片/图块组为i图片/切片/图块组时，可以仅基于帧内预测来重构当前图片/切片/图块组中所包括的块。在这种情况下，帧间预测可以应用于当前图片/切片/图块组中的一些块，并且帧内预测可以应用于一些剩余块。图片的颜色分量可以包括亮度分量和色度分量，并且当在本公开中未明确限制时，本公开中所提出的方法和实施例可以应用于亮度分量和色度分量。
141.编译层和结构的示例
142.图11示出根据本公开的实施例的编码图像的层级结构的示例。
143.编译图像可以被划分为：视频编译层(vcl)，其执行图像的解码处理并且处置解码处理；下层系统，其发送并且存储编译信息；以及网络抽象层(nal)，其存在于vcl和下层系统之间，并且用于执行网络适配功能。
144.可以在参数集的解码过程中生成包括在vcl中压缩的图像数据(图块组数据)的vcl数据或附加需要的补充增强信息(sei)消息，所述参数集包括诸如图片参数集(pps)、序列参数集(sps)或视频参数集(vps)或图像等信息。
145.在nal中，报头信息(nal单元数据)被添加到在vcl中生成的原始字节序列有效载荷(rsrp)中，以生成nal单元。在此情况下，rsrp可以被称为在vcl中生成的图块组数据、参数集和sei消息。nal单元报头可以包括根据相应nal单元中包括的rsrp数据指定的nal单元类型信息。
146.如图11所示，nal单元可以根据vcl中生成的rsrp划分为vcl nal单元和非vcl nal单元。vcl nal单元可以表示包括关于图像的信息(图块组数据)的nal单元，并且非vcl nal单元可以表示包括解码图像所需的信息(参数集或sei消息)的nal单元。
147.vcl na单元和非vcl nal单元可以通过网络发送，同时根据数据规范添加报头信息。例如，nal单元可以被转换为预定规范的数据形式(诸如h.266/vvc文件格式、实时传输协议(rtp)和传输流(ts))，并且通过各种网络发送。
148.如上所述，对于nal单元，nal单元类型可以根据包括在对应nal单元中的rbsp数据结构来指定，并且关于nal单元类型的信息可以存储在nal单元报头中并且用信号通知。
149.例如，根据nal单元是否包括关于图像的信息(图块组数据)，nal单元通常可以被分类为vcl nal单元类型和非vcl nal单元类型。vcl nal单元类型可以根据vcl nal单元中包括的图片的属性和类型来分类，并且非vcl nal单元可以根据参数集的类型来分类。
150.下面是根据包括在非vcl nal单元类型中的参数集的类型指定的nal单元类型的示例。
151.‑
自适应参数集(aps)nal单元：包括aps的nal单元的类型
152.‑
视频参数集(vps)nal单元：包括vps的nal单元的类型
153.‑
序列参数集(sps)nal单元：包括sps的nal单元的类型
154.‑
图片参数集(pps)nal单元：包括pps的nal单元的类型
155.上述nal单元类型可以具有nal单元类型的语法信息，并且该语法信息可以存储在
nal单元报头中并且被用信号通知。例如，语法信息可以是nal_unit_type，并且nal单元类型可以由nal_unit_type的值指定。
156.图块组报头(图块组报头语法)可以包括可以通常应用于图块组的信息/参数。aps(asp语法)或pps(pps语法)可以包括可以通常应用于一个或多个图片的信息/参数。sps(sps语法)可以包括可以通常应用于一个或多个序列的信息/参数。vps(vps语法)可以包括可以通常应用于整个视频的信息/参数。本公开中的较高级别语法可以包括以下中的至少一个：aps语法、pps语法、sps语法以及vps语法。
157.在本公开中，从编码装置100编码到解码装置200并且以比特流的形式用信号通知的图像/视频信息可以包括图片内分区相关信息、帧内/帧间预测信息、残差信息和环内滤波信息，并且可以包括aps中所包括的信息、pps中所包括的信息、sps中所包括的信息和/或vps中所包括的信息。
158.帧间预测
159.在下文中，将描述根据本公开的实施例的帧间预测技术。下面描述的帧间预测可以由图2的编码装置100的帧间预测器180或图3的解码装置200的帧间预测器260执行，此外，根据本发明的实施例，可以以比特流的形式存储编码数据。
160.编码装置100/解码装置200的预测单元可以通过以块为单位执行帧间预测来推导预测样本。帧间预测可以是以取决于除当前图片以外的图片的数据元素(例如，样本值或运动信息)的方式推导的预测。当帧间预测应用于当前块时，可以基于由参考图片索引所指示的参考图片上的由运动向量指定的参考块(参考样本阵列)来推导当前块的预测块(预测样本阵列)。在这种情况下，为了减少在帧间预测模式下发送的运动信息的量，可以基于相邻块和当前块之间的运动信息的相关性以块、子块或样本为单位预测当前块的运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测类型(l0预测、l1预测、bi预测等)信息。在应用帧间预测的情况下，相邻块可以包括存在于当前图片中的空间相邻块和存在于参考图片中的时间相邻块。包括参考块的参考图片和包括时间相邻块的参考图片可以彼此相同或彼此不同。时间相邻块可以被称诸如共置参考块、共置cu(colcu)等的名称，并且包括时间相邻块的参考图片可以被称为共置图片(colpic)。例如，可以基于当前块的相邻块来配置运动信息候选列表，并且可以用信号通知指示选择(使用)哪一候选的标志或索引信息以便推导运动向量和/或当前块的参考图片索引。可以基于各种预测模式来执行帧间预测，并且例如，在跳过模式和合并模式的情况下，当前块的运动信息可以与所选择的相邻块的运动信息相同。在跳过模式的情况下，与合并模式不同，可以不发送残差信号。在运动向量预测(mvp)模式的情况下，所选择的相邻块的运动向量可以用作运动向量预测子，并且可以用信号通知运动向量差。在这种情况下，可以通过使用运动向量预测子与运动向量差的和来推导当前块的运动向量。
161.图12是根据本说明书的实施例的在视频信号的编码处理中的帧间预测的流程图的示例，并且图13示出根据本说明书的实施例的编码装置中的帧间预测单元的示例。
162.编码装置100对当前块执行帧间预测(s1210)。编码装置100可以推导当前块的帧间预测模式和运动信息，并且可以生成当前块的预测样本。在这种情况下，帧间预测模式确定、运动信息推导和预测样本生成过程可以同时执行，并且任何一个过程可以在另一个过程之前执行。例如，编码装置100的帧间预测器180可以包括预测模式确定单元181、运动信
息推导单元182和预测样本推导单元183。预测模式确定单元181可以确定当前块的预测模式。运动信息推导单元182可以推导当前块的运动信息。预测样本推导单元183可以推导当前块的预测样本。例如，编码装置100的帧间预测器180可以通过运动估计来搜索参考图像的给定区域(搜索区域)以寻找与当前块相似的块，并且可以推导相对于当前块具有最小差或给定参考的差或更小的参考块。帧间预测器180可以基于参考块来推导指示参考块所位于的参考图片索引，并且可以基于参考块和当前块之间的位置差来推导运动向量。编码装置100可以在各种预测模式中确定应用于当前块的模式。所述编码装置可以比较各种预测模式的速率失真rd成本，并且可以确定当前块的最佳预测模式。
163.例如，如果跳过模式或合并模式被应用于当前块，则编码装置100可以配置稍后描述的合并候选列表，并且可以在由合并候选列表中包括的合并候选指示的参考块中推导相对于当前块具有最小差或给定参考的差或更小的参考块。在此情况下，可以选择与所推导的参考块相关联的合并候选。可以生成指示所选择的合并候选的合并索引信息并且将其用发信号通知给解码装置200。可以使用选定合并候选的运动信息推导当前块的运动信息。
164.对于另一示例，如果(a)mvp模式应用于当前块，则编码装置可以配置稍后描述的(a)mvp候选列表，并且可以使用从包括在(a)mvp候选列表中的运动向量预测子(mvp)候选中选择的mvp候选的运动向量作为当前块的mvp。在这种情况下，例如，可以使用指示通过运动估计所推导的参考块的运动向量作为当前块的运动向量。在mvp候选中包括相对于当前块的运动向量具有最小差值的运动向量的mvp候选可以成为所选择的mvp候选。可以推导运动向量差(mvd)，即，通过从当前块的运动向量中减去mvp而获得的差。在这种情况下，可以将关于mvd的信息用信号通知给解码装置200。此外，如果应用(a)mvp模式，则参考图片索引的值可以被配置为参考图片索引信息，并且可以被单独地发信号通知给解码装置。
165.编码装置100可以基于预测样本来推导残差样本(s1220)。编码装置100可以通过当前块的原始样本和预测样本之间的比较来推导残差样本。
166.编码装置100对包括预测信息和残差信息的图像信息进行编码(s1230)。编码装置可以以比特流形式输出编码图像信息。预测信息可以包括关于预测模式信息(例如，跳过标志、合并标志或模式索引)的信息和运动信息，作为与预测过程相关的信息。与运动信息有关的信息可以包括候选选择信息(例如，合并索引、mvp标志或mvp索引)，即，用于推导运动向量的信息。此外，与运动信息相关的信息可以包括关于mvd的信息和/或参考图片索引信息。此外，与运动信息相关的信息可以包括指示是否应用l0预测、l1预测或双向预测(bi
‑
prediction)的信息。残差信息是关于残差样本的信息。所述残差信息可以包括关于残差样本的量化的变换系数的信息。预测模式信息和运动信息可以被统称为帧间预测信息。
167.输出比特流可以存储在(数字)存储介质中并且被发送到解码装置，或者可以通过网络被发送到解码装置。
168.同时，如上所述，编码装置可以基于参考样本和残差样本来生成重构图片(包括重构样本和重构块)。这是为了在编码装置100中推导与在解码装置200中执行的预测结果相同的预测结果。因此，可以提高编译效率。因此，编码装置100可以将重构图片(或重构样本和重构块)存储在存储器中，并且可以使用重构图片作为用于帧间预测的参考图片。如上所述，环内滤波过程还可以应用于重构图片。
169.图14是根据本说明书的实施例的在视频信号的解码处理中进行帧间预测的流程
图的示例，图15示出根据本说明书的实施例的解码装置中的帧间预测单元的示例。
170.解码装置200可以执行与编码装置100中执行的操作对应的操作。解码设备200可以基于接收到的预测信息对当前块执行预测，并且可以推导预测样本。
171.具体地，解码装置200可以基于接收到的预测信息来确定用于当前块的预测模式(s1410)。解码装置200可以基于预测信息内的预测模式信息来确定将哪个帧间预测模式应用于当前块。
172.例如，解码装置200可以基于合并标志来确定将合并模式还是(a)mvp模式应用于当前块。可替选地，解码装置200可以基于模式索引来选择各种帧间预测模式候选之一。帧间预测模式候选可以包括跳过模式、合并模式和/或(a)mvp模式，或者可以包括稍后描述的各种帧间预测模式。
173.解码装置200基于所确定的帧间预测模式推导当前块的运动信息(s1420)。例如，如果跳过模式或合并模式被应用于当前块，则解码装置200可以配置稍后描述的合并候选列表，并且选择合并候选列表中包括的合并候选中的一个。可以基于合并索引执行对合并候选的选择。可以从所选择的合并候选的运动信息推导当前块的运动信息。所选择的合并候选的运动信息可以用作当前块的运动信息。
174.对于另一示例，如果(a)mvp模式应用于当前块，则解码装置200可以配置稍后描述的(a)mvp候选列表，并且可以使用从包括在(a)mvp候选列表中的mvp候选中选择的运动向量预测子(mvp)候选的运动向量作为当前块的mvp。可以基于选择信息(mvp标志或mvp索引)来执行选择。在这种情况下，解码装置200可以基于关于mvd的信息来推导当前块的mvd。解码装置可以基于当前块的mvp和mvd推导当前块的运动向量。此外，解码装置可以基于参考图片索引信息来推导当前块的参考图片索引。关于当前块的参考图片列表内的由参考图片索引所指示的图片可以被推导为针对当前块的帧间预测而参考的参考图片。
175.同时，如稍后将描述的，可以在没有候选列表配置的情况下推导当前块的运动信息。在这种情况下，可以根据在稍后描述的预测模式中公开的过程来推导当前块的运动信息。在这种情况下，可以省略诸如上述的候选列表配置。
176.解码装置200可以基于当前块的运动信息来生成当前块的预测样本(s1430)。在这种情况下，解码装置200可以基于当前块的参考图片索引来推导参考图像，并且可以通过当前块的运动向量推导在参考图像上所指示的当前块的预测样本。在这种情况下，如稍后将描述的，根据情况，可以进一步对当前块的预测样本中的一些或全部执行预测样本滤波过程。
177.例如，解码装置200的帧间预测器260可以包括预测模式确定单元261、运动信息推导单元262和预测样本推导单元263。解码装置200可以基于从预测模式确定单元261接收到的预测模式信息来确定当前块的预测模式，可以基于从运动信息推导单元262接收到的与运动信息有关的信息来推导当前块的运动信息(运动向量和/或参考图片索引)。预测样本推导单元263可以推导当前块的预测样本。
178.解码装置200基于接收到的残差信息来生成当前块的残差样本(s1440)。解码装置200可以基于预测样本和残差样本来生成当前块的重构样本，并且可以基于重构样本来生成重构图片(s1450)。此后，如上所述，可以进一步对重构图片应用环内滤波过程。
179.如上所述，帧间预测过程可以包括帧间预测模式确定步骤、根据所确定的预测模
式的运动信息推导步骤、以及基于所推导的运动信息的预测执行(预测样本生成)步骤。
180.帧间预测模式的确定
181.各种帧间预测模式可以用于对图片内的当前块进行预测。例如，可以使用各种模式，诸如合并模式、跳过模式、mvp模式和仿射模式。解码器侧运动向量细化(dmvr)模式、自适应运动向量分辨率(amvr)模式等还可以用作附加模式。仿射模式可以被称为仿射运动预测模式。mvp模式可以被称为高级运动向量预测(amvp)模式。
182.可以将指示当前块的帧间预测模式的预测模式信息从编码装置发信号通知给解码装置。预测模式信息可以被包括在比特流中并且由解码装置接收。预测模式信息可以包括指示多个候选模式中的一个的索引信息。可替选地，可以通过标志信息的层级信令来指示帧间预测模式。在这种情况下，预测模式信息可以包括一个或多个标志。例如，编码装置100可以通过用信号通知跳过标志来指示是否应用跳过模式，在不应用跳过模式的情况下通过用信号通知合并标志来指示是否应用合并模式，且在不应用合并模式的情况下指示应用mvp模式或进一步用信号通知用于附加识别的标志。仿射模式可以被用信号通知为独立模式或可以被用信号通知为从属于合并模式或mvp模式的模式。例如，仿射模式可以被配置为合并候选列表或mvp候选列表中的一个，如稍后将描述。
183.运动信息的推导
184.编码装置100或解码装置200可以使用当前块的运动信息来执行帧间预测。编码装置100可以根据运动估计过程来推导当前块的最佳运动信息。例如，编码装置100可以使用用于当前块的原始图片内的原始块来在参考图片内的确定的搜索范围内以分数像素为单位搜索具有高相关性的相似参考块。因此，编码装置可以推导运动信息。可以基于基于相位的样本值之间的差来推导块的相似度。例如，可以基于当前块(或当前块的模板)和参考块(或参考块的模板)之间的sad(绝对差的和)来计算块的相似度。在此情况下，可以基于搜索区域内具有最小sad的参考块来推导运动信息。可以基于帧间预测模式使用若干方法将推导的运动信息用信号通知到解码装置。
185.合并模式和跳过模式
186.如果应用合并模式，则不直接发送当前预测块的运动信息，并且使用相邻预测块的运动信息来推导当前预测块的运动信息。因此，编码装置100可以通过发送用于通知已使用合并模式的标志信息和用于通知已使用哪个相邻预测块的合并索引来指示当前预测块的运动信息。
187.编码装置100应搜索用于推导当前预测块的运动信息的合并候选块，以便执行合并模式。例如，可以使用最多达5个合并候选块，但本公开不限于此。此外，可以在切片报头中发送合并候选块的最大数目，并且本公开不限于此。在搜索合并候选块之后，编码装置100可以生成合并候选列表，并且可以在合并候选块之中选择具有最小成本的合并候选块作为最终合并候选块。
188.例如，合并候选列表可以使用5个合并候选块。例如，可以使用4个空间合并候选和1个时间合并候选。
189.图16示出根据本说明书的实施例的用作空间合并候选的空间相邻块的示例。
190.参照图16，为了当前块的预测，可以使用以下中的至少一个：左相邻块a1、左下相邻块a0、右上相邻块b0、上相邻块b1和左上相邻块b2。可以基于图12中所示的过程来配置当
前块的合并候选列表。
191.图17是示出根据应用本公开的实施例配置合并候选列表的方法的流程图。
192.编译装置(编码装置100或解码装置200)搜索当前块的空间相邻块，并且将推导的空间合并候选插入到合并候选列表中(s1710)。例如，空间相邻块可以包括当前块的左下角相邻块、左相邻块、右上角相邻块、上相邻块和左上角相邻块。在这种情况下，这是示例，并且除了这些空间相邻块之外，诸如右相邻块、下相邻块和右下相邻块的附加相邻块可以进一步用作空间相邻块。编译装置可以通过基于优先级搜索空间相邻块来检测可用块，并且可以将检测到的块的运动信息推导为空间合并候选。例如，编码装置100或解码装置200可以按a1、b1、b0、a0和b2的顺序搜索图11中示出的5个块，并且可以通过按顺序地索引可用候选来配置合并候选列表。
193.编译装置搜索当前块的时间相邻块，并且将推导的时间合并候选插入到合并候选列表中(s1720)。时间相邻块可以位于参考图片(即，不同于当前块所位于的当前图片的图片)上。时间相邻块所位于的参考图片可以被称为共置图片或col图片。可以按照col图片上的针对当前块的共置块的右下角相邻块和右下中心块的顺序来搜索时间相邻块。同时，如果应用运动数据压缩，则特定运动信息可以作为每个给定存储单元的代表性运动信息被存储在col图片中。在这种情况下，不需要将所有块的运动信息存储在给定存储单元内，因此可以获得运动数据压缩效果。在这种情况下，例如，给定存储单元可以被预定为16
×
16样本单元或8
×
8样本单元，或者可以将给定存储单元的大小信息从编码装置100发信号通知给解码装置200。如果应用运动数据压缩，则时间相邻块的运动信息可以用时间相邻块所在的给定存储单元的代表性运动信息代替。即，在此情况下，在实现方式方面中，在基于时间相邻块的坐标(左上样本位置)而非时间相邻块的坐标所位于的预测块的坐标通过给定值执行算术右移之后，可以基于覆盖算术左移位位置的预测块的运动信息推导时间合并候选。例如，如果给定存储单元是2nx2n样本单元，则假定时间相邻块的坐标是(xtnb,ytnb)，则位于((xtnb>>n)<<n),(ytnb>>n)<<n))(即修改的位置)的预测块的运动信息可以用于时间合并候选。具体地，例如，如果给定存储单元是16
×
16样本单元，假设时间相邻块的坐标是(xtnb,ytnb)，则位于((xtnb>>4)<<4),(ytnb>>4)<<4))(即修改的位置)的预测块的运动信息可以用于时间合并候选。可替选地，例如，如果给定存储单元是8
×
8样本单元，假设时间相邻块的坐标是(xtnb,ytnb)，则位于((xtnb>>3)<<3),(ytnb>>3)<<3))(即修改的位置)的预测块的运动信息可以用于时间合并候选。
194.编译装置可以检查合并候选的当前数目是否小于合并候选的最大数目(s1730)。合并候选的最大数目可以是预定义的，或者可以从编码装置100发信号通知给解码装置200。例如，编码装置100可以生成关于合并候选的最大数目的信息，可以对该信息进行编码，并且可以将该信息以比特流形式发送到解码装置200。如果合并候选的最大数目被填满，则可以不执行候选添加处理。
195.如果作为检查的结果，合并候选的当前数目小于合并候选的最大数目，则编译装置将添加的合并候选插入到合并候选列表中(s1740)。例如，所添加的合并候选可以包括atmvp(自适应时间运动向量预测)、组合的双向预测合并候选(如果当前切片的切片类型为b类型)和/或零向量合并候选。
196.mvp模式
197.图18是根据本说明书的实施例的用于构建运动向量预测子(mvp)候选列表的流程图的示例。
198.mvp模式可以被称为高级mvp或自适应mvp(amvp)。如果应用运动向量预测(mvp)模式，则可以基于重构的空间相邻块(例如，图16中描述的相邻块)的运动向量和/或对应于时间相邻块(或col块)的运动向量来生成运动向量预测子(mvp)候选列表。也就是说，重构的空间相邻块的运动向量和/或时间相邻块的运动向量可以用作运动向量预测子候选。关于预测的信息可以包括指示从包括在列表中的运动向量预测子候选中所选择的最佳运动向量预测子候选的选择信息(例如，mvp标志或mvp索引)。在这种情况下，预测器可以使用选择信息在运动向量候选列表中包括的运动向量预测子候选中选择当前块的运动向量预测子。编码装置100的预测器可以计算当前块的运动向量与运动向量预测子之间的运动向量差(mvd)，可以对mvd进行编码，并且可以以比特流形式输出编码的mvd。也就是说，mvd可以被计算为通过从当前块的运动向量中减去运动向量预测子而获得的值。在这种情况下，解码装置的预测器可以获得包括在关于预测的信息中的运动向量差，并且可以通过运动向量差和运动向量预测子的相加来推导当前块的运动向量。解码装置的预测器可以从关于预测的信息获得或推导指示参考图片的参考图片索引。例如，运动向量预测子候选列表可以如图18所示进行配置。
199.参照图18，编译装置搜索用于运动向量预测的空间候选块，并且将其插入到预测候选列表中(s1810)。例如，编译装置可以根据预定搜索顺序搜索相邻块，并且将满足空间候选块的条件的相邻块的信息添加到预测候选列表(mvp候选列表)。
200.在构建空间候选块列表之后，编译装置将包括在预测候选列表中的空间候选的数目与预设参考数目(例如，2)进行比较(s1820)。如果包括在预测候选列表中的空间候选的数量大于或等于参考数量(例如，2)，则编译装置可以结束预测候选列表的构建。
201.但是如果包括在预测候选列表中的空间候选列表的数目小于参考数目(例如，2)，则编译装置搜索时间候选块并且将其插入到预测候选列表中(s1830)，并且当时间候选块不可用时，将零运动向量添加到预测候选列表中(s1840)。
202.可以基于根据预测模式推导的运动信息来推导当前块的预测块。预测块可以包括当前块的预测样本(预测样本阵列)。在当前块的运动向量指示分数样本单位时，可以执行插值过程，并且通过该插值过程，可以基于参考图片中的分数样本单位的参考样本来推导当前块的预测样本。当向当前块应用仿射帧间预测时，可以基于样本/子块单位的运动向量生成预测样本。当应用双向预测时，可以通过基于第一方向预测(例如，l0预测)推导的预测样本和基于第二方向预测推导的预测样本的加权(根据相位)和来推导最终预测样本。可以基于所推导的预测样本来生成重构样本和重构图片，并且如上所述，可以随后执行诸如环内滤波的过程。
203.同时，当应用mvp模式时，可以显式地用信号通知参考图片索引。在此情况下，可以单独地用信号通知用于l0预测的参考图片索引refdixl0和用于l1预测的参考图片索引refdixl1。例如，当应用mvp模式且应用双向预测时，可以用信号通知关于refdixl0的信息及关于refdixl1的信息两者。
204.当应用mvp模式时，如上所述，可以将关于由编码装置100推导的mvd的信息用信号通知给解码装置200。关于mvd的信息可以包括例如mvd绝对值以及关于符号的x和y分量的
信息。在此情况下，可以逐步用信号通知mvd绝对值是否大于0(abs_mvd_greater0_flag)，mvd绝对值是否大于1，以及指示mvd剩余的信息(abs_mvd_greater1_flag)。例如，仅当指示mvd绝对值是否大于0的标志信息(abs_mvd_greater0_flag)的值为1时，才可以用信号通知指示mvd绝对值是否大于1的信息(abs_mvd_greater1_flag)。
205.例如，关于mvd的信息由下面的表1中示出的语法构建，可以由编码装置100编码并且被用信号通知给解码装置200。
206.[表1]
[0207]
mvd_coding(x0，y0，reflist，cpidx){描述符abs_mvd_greater0_flag[0]ae(v)abs_mvd_greater0_flag[1]ae(v)if(abs_mvd_greater0_flag[0]) abs_mvd_greaterl_flag[0]ae(v)if(abs_mvd_greater0_flag[1]) abs_mvd_greaterl_flag[1]ae(v)if(abs_mvd_greater0_flag[0]){ if(abs_mvd_greater1_flag[0]) abs_mvd_minus2[0]ae(v)mvd_sign_flag[0]ae(v)} if(abs_mvd_greater0_flag[1]){ if(abs_mvd_greater1_flag[1]) abs_mvd_minus2[1]ae(v)mvd_sign_flag[1]ae(v)} } [0208]
例如，mvd[compidx]可以基于abs_mvd_greater0_flag[compidx]*(abs_mvd_minus2[compidx] 2)*(1
‑
2*mvd_sign_flag[compidx])来推导。这里，compidx(或cpidx)可以表示每个分量的索引，并且可以具有值0或1。compidx 0可以指示x分量，而compidx 1可以指示y分量。然而，这作为示例可以通过使用除x和y坐标系之外的其他坐标系来指示每个分量的值。
[0209]
同时，用于l0预测的mvd(mvdl0)和用于l1预测的mvd(mvdl1)可以分别用信号通知，并且关于mvd的信息可以包括关于mvdl0的信息和/或关于mvdl1的信息。例如，当应用mvp模式且应用双向预测时，可以用信号通知关于mvdl0的信息及关于mvdl1的信息两者。
[0210]
对称mvd(smvd)
[0211]
图19示出根据本公开的实施例的应用对称运动向量差(mvd)模式的情况的示例。
[0212]
同时，当应用双向预测时，通过考虑编译效率，也可以使用对称mvd(smvd)。在这种情况下，可以省略用信号通知一些运动信息。例如，当smvd应用于当前块时，关于refidxl0的信息、关于refidxl1的信息和关于mvdl1的信息可以不从编码装置100用信号通知给解码装置200，而是可以在内部推导。例如，当mvp模式和双向预测应用于当前块时，可用信号通
知指示是否应用smvd的标志信息(例如，对称mvd标志信息或sym_mvd_flag语法元素)，且当标志信息的值为1时，解码装置200可以确定smvd应用于当前块。
[0213]
当应用smvd模式时(即，当对称mvd标志信息的值是1时)，可以显式地用信号通知mvp_l0_lfag,mvp_l1_flag和关于mvd0的信息，并且在省略关于refidxl0的信息、关于refidxl1的信息和关于mvdl1的信息的信令的同时，可以如上所述在解码器内部推导关于refidxl0的信息、关于refidxl1的信息和关于mvdl1的信息。例如，refdixl0可以被推导为指示在参考图片列表0(可以称为列表0、l0或第一参考列表)内按图片顺序计数(poc)顺序最接近当前图片的先前参考图片的索引。refidxl1可以被推导为指示在参考图片列表1(可以称为列表1、l1或第二参考列表)内按poc顺序最接近当前图片的在后参考图片的索引。此外，例如，refidxl0和refidxl1两者中的每个可以被推导为0，此外，例如，refidxl0和refidxl1中的每个可以被推导为与当前图片相关地具有相同poc差的最小索引。作为更具体的示例，当假设[当前图片的poc]
‑
[由refidxl0指示的第一参考图片的poc]被称为第一poc差时，并且当[当前图片的poc]
‑
[由refidxl1指示的第二参考图片的poc]被称为第二poc差时，仅当第一poc差和第二poc差彼此相等时，指示第一参考图片的refidxl0的值可以被推导为当前块的refidxl0的值，并且指示第二参考图片的refidxl1的值可以被推导为当前块的refidxl1的值。此外，例如，当存在其中第一poc差与第二poc差彼此相等的多个集合时，可以将多个集合当中的差最小的集合的refidxl0和refidxl1推导为当前块的refidxl0和refidxl1。
[0214]
mvdl1可以被推导为
‑
mvdl0。例如，可以如以下等式1推导当前块的最终mv。
[0215]
[等式1]
[0216][0217]
在等式1中，mvx0和mvy0表示当前块的l0方向运动向量的x和y分量，并且mvx1和mvy1表示当前块的用于l0方向预测的运动向量的x和y分量，并且表示用于l1方向预测的运动向量的x和y分量。mvp0和mvp0表示用于l0方向预测的mvp的运动向量(l0基本运动向量)，mvp1和mvp1表示用于l1方向预测的mvp的运动向量(l1基本运动向量)。mvd0和mvd0表示用于l0方向预测的mvd的x和y分量。根据等式1，用于l1方向预测的mvd具有与l0 mvd相同的值，但是具有与l0 mvd相反的符号。
[0218]
仿射模式
[0219]
传统视频编译系统使用一个运动向量以便于表达编译块的运动(使用平移运动模型)。然而，在使用一个运动向量的方法中，可以以块为单位来表达最佳运动，但是对于每个像素，对应运动实际上不是最佳运动，结果，如果以像素为单位确定最佳运动向量，则可以提高编译效率。为此，在实施例中，描述通过使用仿射运动模型执行编码/解码的仿射运动预测的方法。在仿射运动预测方法中，可以通过使用2、3或4个运动向量来以块的每个像素为单位表达运动向量。
[0220]
图20示出根据本公开的实施例的仿射运动模型的示例。
[0221]
仿射运动模型可以表达4个运动，如图16中所示。表示可以由仿射运动模型表达的运动当中的3个运动(平移、缩放和旋转)的仿射运动模型被称为类似(或简化)仿射运动模型，并且在本公开中，描述基于类似(或简化)仿射运动模型而提出的方法。然而，本发明的
实施例不限于类似(或简化)仿射运动模型。
[0222]
图21a和21b示出根据本公开的实施例的每个控制点的运动向量的示例。
[0223]
如图21a和21b所示，在仿射运动预测中，可以通过使用两个或更多个控制点运动向量(cpmv)来针对包括在块中的每个像素位置确定运动向量。
[0224]
关于4参数仿射运动模型(图21a)，可以如以下等式2中推导样本位置(x,y)处的运动向量。
[0225]
[等式2]
[0226][0227]
关于6参数仿射运动模型(图21b)，可以如以下等式3中推导样本位置(x,y)处的运动向量。
[0228]
[等式3]
[0229][0230]
这里，{v
0x
,v
0y
}表示编译块的左上角位置处的cp的cpmv，{v
1x
,v
1y
}表示右上角位置处的cp的cpmv，{v
2x
,v
2y
}表示左下角位置处的cp的cpmv。此外，w对应于当前块的宽度，h对应于当前块的高度，并且{v
x
,v
y
}表示在{x,y}位置处的运动向量。
[0231]
图22示出根据本公开的实施例的每个子块的运动向量的示例。
[0232]
在编码/解码过程期间，可以以像素为单位或以预定义的子块为单位确定仿射运动向量场(mvf)。当以像素为单位确定mvf时，可以基于每个像素值获得运动向量，而当以子块为单位确定mvp时，可以基于子块的中心(中心右下侧，即四个中心样本中的右下样本)的像素值获得对应块的运动向量。在以下描述中，通过假设以4*4子块为单位确定仿射mvf的情况来进行描述。然而，这仅仅是为了便于描述，并且子块的大小可以进行各种修改。
[0233]
也就是说，当仿射预测有效时，可以应用于当前块的运动模型可以包括三个以下运动模型。平移运动模型、4参数仿射运动模型和6参数仿射运动模型。这里，平移运动模型可以表示其中使用传统块单位运动向量的模型，4参数仿射运动模型可以表示其中使用两个cpmv的模型，且6参数仿射运动模型可以表示其中使用三个cpmv的模型。
[0234]
仿射运动预测可以包括仿射mvp(或仿射帧间)模式和仿射合并。在仿射运动预测中，可以以样本为单位或子块为单位推导当前块的运动向量。
[0235]
仿射合并
[0236]
在仿射合并模式中，可以根据通过仿射运动预测编译的相邻块的仿射运动模型来确定cpmv。在搜索顺序中，仿射编译相邻块可以用于仿射合并模式。当通过仿射运动预测对一个或多个相邻块进行编译时，当前块可以被编译为af_merge。也就是说，当应用仿射合并模式时，可以通过使用相邻块的cpmv来推导当前块的cpmv。在这种情况下，相邻块的cpmv可以被原样用作当前块的cpmv，并且相邻块的cpmv基于相邻块的大小和当前块的大小被修改以用作当前块的cpmv。
[0237]
当应用仿射合并模式时，可以构建仿射合并候选列表以便推导当前块的cpvm。仿射合并候选列表可以包括例如以下候选中的至少一个。
[0238]
1)继承的仿射候选
[0239]
2)构建的仿射候选
[0240]
3)零mv候选
[0241]
这里，当以仿射模式对相邻块进行编译时，继承的仿射候选可以是基于相邻块的cpmv推导的候选，构建的仿射候选可以是通过基于每个cpmv单元中的对应cp相邻块的mv构建cpmv而推导的候选，零mv候选可以表示由值为0的cpmv构建的候选。
[0242]
图23示出根据本公开的实施例的构建仿射合并候选列表的流程图的示例。
[0243]
参照图23，编译设备(编码装置或解码装置)可以将继承的仿射候选插入到候选列表中(s2310)，将构建的仿射候选插入到仿射候选列表中(s2320)，以及将零mv候选插入到仿射候选列表中(s2330)。在实施例中，当候选列表中所包括的候选的数目小于参考数目(例如，2)时，编译设备可以插入构建的仿射候选或零mv候选。
[0244]
图24示出根据本公开的实施例的用于推导继承的仿射运动预测子的块的示例，并且图25示出根据本公开的实施例的用于推导继承的仿射运动预测子的控制点运动向量的示例。
[0245]
可以存在多达2个(来自左相邻cu的一个和来自上相邻cu的一个)继承的仿射候选，并且继承的仿射候选可以从相邻块的仿射运动模型推导。在图24中，示出候选块。左预测子的扫描顺序是a0
‑
a1，而上预测子的扫描顺序是b0
‑
b1
‑
b2。仅选择来自每个侧表面的第一继承候选。在两个继承的候选之间可以不执行修剪(pruning)检查。当识别出相邻仿射cu时，相邻仿射cu的控制点运动向量可以用于从当前cu的仿射合并列表推导控制点运动向量预测子(cpmvp)。如图25所示，如果以仿射模式对左相邻块a进行编译，则使用包括块a的cu的运动向量的左上角、右上角和左下角的v2、v3和v4。当块a被编译为4参数仿射模型时，根据v2和v3计算当前cu的两个cpmv。当块a由6参数仿射模型编译时，根据v2、v3及v4计算当前cu的三个cpmv。
[0246]
图26示出根据本公开的实施例的用于推导构建的仿射合并候选的块的示例。
[0247]
构建的仿射合并表示通过组合每个控制点的相邻平移运动信息而构建的候选。如图26所示，控制点的运动信息从指定的空间邻域和时间邻域来推导。cpmvk(k＝1、2、3、4)表示第k个控制点。关于左上角cpmv1(cp0)，按照b2
‑
b3
‑
a2的顺序检查块，并且使用第一有效块的mv。对于右上角cpmv2(cp1)，按照b1
‑
b0的顺序检查块，而对于左下角cmpv3(cp2)，按照a1
‑
a0的顺序检查块。如果有效，则针对右下角cpmv4(cp3)使用tmvp。
[0248]
当获得4个控制点的mv时，基于运动信息构建仿射合并候选。按顺序使用以下控制点mv的组合。
[0249]
{cpmv1,cpmv2,cpmv3},{cpmv1,cpmv2,cpmv4},{cpmv1,cpmv3,cpmv4}，
[0250]
{cpmv2,cpmv3,cpmv4},{cpmv1,cpmv2},{cpmv1,cpmv3}
[0251]
3个cpmv的组合构建6参数仿射合并候选，并且2个cpmv的组合构建4参数仿射合并候选。为了避免运动缩放处理，如果控制点的参考索引不同，则丢弃相关控制点mv的组合。
[0252]
仿射mvp
[0253]
图27示出根据本公开的实施例的构建仿射mvp候选列表的流程图的示例。
[0254]
在仿射mvp模式下，在确定当前块的两个或更多个控制点运动向量预测(cpmvp)和cpmv之后，将与差值对应的控制点运动向量差(cpmvd)从编码装置100发送到解码装置200。
[0255]
当应用仿射mvp模式时，可以构建仿射mvp候选列表以便推导当前块的cpmv。例如，仿射mvp候选列表可以包括以下候选中的至少一个。例如，仿射mvp候选列表可以包括多达n(例如，2)个候选。
[0256]
1)从相邻cu的cpmv外插的继承的仿射mvp候选(s2710)
[0257]
2)使用相邻cu的平移mv推导的构建的仿射mvp候选cpmvp(s2720)
[0258]
3)基于来自相邻cu的平移mv的附加候选(s2730)
[0259]
4)零mv候选(s2740)
[0260]
这里，当以仿射模式对相邻块进行编译时，继承的仿射候选可以是基于相邻块的cpmv推导的候选，构建的仿射候选可以是通过基于每个cpmv单元中的相应cp相邻块的mv来构建cpmv而推导的候选，并且零mv候选可以表示由具有值为0的cpmv所构建的候选。当仿射mvp候选列表的最大候选数目为2时，可以考虑以上顺序的条款2)以下的候选，并且针对当前候选的数目小于2的情况将其相加。此外，可以以下顺序推导基于来自相邻cu的平移mv的附加候选。
[0261]
1)如果候选数目小于2且构建的候选的cpmv0有效，则cpmv0用作仿射mvp候选。也就是说，cp0、cp1和cp2的所有mv被配置为与构建的候选的cpmv0相同。
[0262]
2)如果候选数目小于2且构建的候选的cpmv1有效，则cpmv1用作仿射mvp候选。也就是说，cp0、cp1和cp2的所有mv被配置为与构建的候选的cpmv1相同。
[0263]
3)如果候选数目小于2且构建的候选的cpmv2有效，则cpmv2用作仿射mvp候选。也就是说，cp0、cp1和cp2的所有mv被配置为与构建的候选的cpmv2相同。
[0264]
4)如果候选数目小于2，则时间运动向量预测子(tmvp或mvcol)用作仿射mvp候选。
[0265]
仿射mvp候选列表可以通过图27中所示的过程来推导。
[0266]
继承的mvp候选的检查顺序与继承的仿射合并候选的检查顺序相同。不同之处在于，关于mvp候选，仅考虑具有与当前块相同的参考图片的仿射cu。当继承的仿射运动预测子添加到候选列表时，不应用修剪过程。
[0267]
从图26所示的相邻块中推导构建的mvp候选。使用与仿射合并候选相同的检查顺序。此外，还检查相邻块的参考图片索引。使用第一块，所述第一块以检查顺序被帧间编译并且具有与当前cu相同的参考图片。
[0268]
自适应运动向量分辨率(amvr)
[0269]
在相关技术中，当use_integer_mv_flag在切片报头中为0时，可以在以quarter
‑
luma
‑
sample为单位用信号通知(预测运动向量与cu的运动向量之间的)运动向量差(mvd)。在本公开中，介绍cu级amvr方案。amvr可以允许以四分之一亮度样本(quarter
‑
luma
‑
sample)、整数亮度样本(integer
‑
luma
‑
sample)或4亮度样本(4
‑
luma
‑
sample)为单位对cu的mvd进行编译。为了使当前ct具有至少一个非零mvd分量，有条件地用信号通知cu级mvd分辨率指示。当所有mvd分量(即，参考列表l0和参考列表l1的水平和垂直mvd)为0时，推断四分之一亮度样本(quarter
‑
luma
‑
sample)mvd分辨率。
[0270]
对于具有至少一个非零mvd分量的cu，用信号通知第一标志以确定四分之一亮度样本(quarter
‑
luma
‑
sample)mvd准确度是否应用于cu。如果第一标志为0，那么不需要附加
信令，并且将四分之一亮度样本(quarter
‑
luma
‑
sample)mvd准确度用于当前cu。否则，用信号通知第二标志以指示是否使用整数亮度样本(integer
‑
luma
‑
sample)或者4亮度样本(4
‑
luma
‑
sample)mvd准确度。为了使重构mv保证既定准确度(四分之一亮度样本(quarter
‑
luma
‑
sample)、整数亮度样本(integer
‑
luma
‑
sample)或者4亮度样本(4
‑
luma
‑
sample))，可以舍入(round)cu的运动向量预测子以具有与和mvd一起先前添加的运动向量预测子相同的准确度。运动向量预测子可以被舍入为0(即，负运动向量预测器被舍入到正无穷大，而正运动向量预测子被舍入到负无穷大)。编码器通过使用rd检查来确定当前cu的运动向量分辨率。为了避免对每个mvd分辨率连续执行三个cu级rd检查，可以有条件地调用4亮度样本(4
‑
luma
‑
sample)mvd分辨率的rd检查。首先计算四分之一样本(quarter
‑
sample)mvd准确度的rd成本。然后，为了确定是否需要检查4亮度样本(4
‑
luma
‑
sample)mvd准确度的rd成本，将整数亮度样本(integer
‑
luma
‑
sample)mvd准确度的rd成本与四分之一亮度样本(quarter
‑
luma
‑
sample)mvd准确度的rd成本进行比较。当四分之一亮度样本(quarter
‑
luma
‑
sample)mvd准确度的rd成本小于整数亮度样本(integer
‑
luma
‑
sample)mvd准确度的rd成本时，省略4样本(4
‑
sample)mvd准确度的rd成本。
[0271]
运动场存储
[0272]
为了减少存储器负荷，可以以预定区域为单位存储先前解码的参考图片的运动信息。这可以被称为时间运动场存储、运动场压缩或运动数据压缩。在这种情况下，可以根据是否应用仿射模式来不同地设置存储单元。在此情况下，在明确用信号通知的运动向量中，具有最高准确性的运动向量是四分之一亮度样本(quarter
‑
luma
‑
sample)。在诸如仿射模式的一些帧间预测模式中，以1/16亮度样本(1/16th
‑
luma
‑
sample)准确度推导运动向量，并且以1/16亮度样本(1/16th
‑
luma
‑
sample)准确度执行运动补偿预测。在内部运动场存储方面，所有运动向量以1/16亮度样本(1/16th
‑
luma
‑
sample)准确度存储。
[0273]
在本公开中，为了存储由tmvp和atmvp所使用的时间运动场，运动场压缩以8
×
8粒度执行。
[0274]
基于历史的合并候选推导
[0275]
基于历史的mvp(hmvp)合并候选可以在空间mvp和tmvp之后被添加到合并列表。在此方法中，先前编译块的运动信息被存储在表中，并且用作当前cu的mvp。在编码/解码过程期间，维持由多个hvmp候选构建的表。当使用新ctu行时，表被重置(空)。当存在通过帧间预测编译的cu而非子块时，将相关运动信息添加到表的最后条目作为新hmvp候选。
[0276]
在实施例中，hvmp表大小s被设置为6，并且这意味着可以将多达6个hvmp候选添加到表中。当将新运动候选插入到表中时，使用受约束的先进先出(fifo)规则。这里，首先执行用于检查与要添加的hvmp候选相同的hvmp候选是否存在于表中的冗余检查。当存在相同hvmp候选时，从表中去除现有相同hvmp候选，并且所有hmvp候选移到先前顺序。
[0277]
hmvp候选可以用在合并候选列表构建过程中。在该表中，检查最近的hvmp候选并且以tmvp候选的后续顺序将其插入合并候选列表中。将检查hmvp候选的冗余应用于空间或时间合并候选。
[0278]
为了减少执行的冗余检查操作的数量，可以使用以下简化方法。
[0279]
1)用于生成合并列表的hmvp候选的数目被设置为(n<＝4)？m:(8
‑
n)。这里，n表示存在于合并列表中的候选的数目，并且m表示在表中有效的hmvp候选的数目。
[0280]
2)当有效合并候选的总数达到通过从允许的合并候选的最大数目减去1而获得的值时，来自hvmp的合并候选列表构建过程终止。
[0281]
成对平均合并候选推导
[0282]
成对平均候选是通过存在于合并候选列表中的预定义候选对的平均值来生成的。这里，预定义对被定义为{(0,1),(0,2),(1,2),(0,3),(1,3),(2,3)}，并且诸如0、1、2和3的数字是合并候选列表中的合并索引。为每个参考列表单独计算运动向量的平均值。当两个运动向量在一个列表中都有效时，即使两个运动向量与不同的参考图片相关，也使用两个运动向量的平均值。如果只有一个运动向量有效，则立即使用该有效运动向量。当不存在有效运动向量时，列表保持无效。
[0283]
当即使在成对平均合并候选之后仍未填满合并列表时，插入零mv直到达到最大合并候选数目。
[0284]
预测样本生成
[0285]
可以基于根据预测模式推导的运动信息来推导当前块的预测块。预测块可以包括当前块的预测样本(预测样本阵列)。在当前块的运动向量指示分数样本单位时，可以执行插值过程。当前块的预测样本可以通过内插过程从参考图片内的分数样本单位的参考样本推导。当仿射帧间预测应用于当前块时，可以基于样本/子块单位运动向量生成预测样本。当应用双向预测时，通过基于l0方向预测(即，使用l0参考图片列表中的参考图片和l0运动向量的预测)推导的预测样本和基于l1预测(即，使用l1参考图片列表中的参考图片和l1运动向量的预测)推导的预测样本(根据相位)的加权和或加权平均值推导的预测样本可以用作当前块的预测样本。当应用双向预测时，如果用于l0预测的参考图片和用于l1预测的参考图片基于当前图片位于不同时间方向(即，如果预测对应于双向预测和双方向预测)，则这可被称为真实双向预测。
[0286]
可以基于所推导的预测样本来生成重构样本和重构图片，并且此后，可以如上所述执行诸如环内滤波等的过程。
[0287]
利用加权平均(bwa)的双向预测
[0288]
如上文所描述，根据本公开，当将双向预测应用于当前块时，可以基于加权平均值推导预测样本。可以通过l0预测信号(l0预测样本)和l1预测信号(l1预测样本)的简单平均值或加权平均值来推导双向预测信号(即，双向预测样本)。当应用通过简单平均值的预测样本推导时，双向预测样本可以被推导为基于l0参考图片和l0运动向量的l0预测样本和基于l1参考图片和l1运动向量的l1预测样本的平均值。根据本公开的实施例，当应用双向预测时，可以通过l0预测信号和l1预测信号的加权平均值推导双向预测信号(双向预测样本)，如以下等式4所示。
[0289]
[等式4]
[0290]
p
bi
‑
pred
＝((8
‑
w)*p0 w*p1 4)＞＞3
[0291]
在等式4中，p
bi
‑
pred
表示双向预测样本值，l0表示l0预测样本值，p1表示l0预测样本值，以及w表示权重值。
[0292]
在加权平均双向预测中，可以允许5个权重值w，且权重值w可以为
‑
2、3、4、5和10。对于应用双向预测的每个cu，可以通过两种方法中的一个来确定权重w。
[0293]
1)对于非合并cu，在mvd之后用信号通知权重索引。
[0294]
2)对于合并cu，基于合并候选索引从相邻块推断权重索引。
[0295]
加权和双向预测可以仅应用于具有256或更多亮度样本的cu(其中cu宽度与cu高度的乘积等于或大于256的cu)。对于低延迟图片，可以使用所有5个权重。对于非低延迟图片，可以仅使用3个权重(3、4和5)。
[0296]
a)在编码器中，应用快速搜索算法以便找到权重索引而不显著增加编码器复杂度。算法总结如下。当耦合到amvr时，如果当前图片是低延迟图片，则只有条件地检查1像元(pel)和4像元运动向量准确度的不相等权重。
[0297]
b)当与仿射耦合时，如果仿射模式被选择为当前最佳模式，则将针对不相等权重执行仿射运动估计(me)。
[0298]
c)当在双向预测中两个参考图片相等时，仅有条件地检查不相等的权重。
[0299]
e)根据当前图片与参考图片之间的poc距离、编译量化参数qp和时间级，当不满足特定条件时，不搜索不相等的权重。
[0300]
组合帧间和帧内预测(ciip)
[0301]
ciip可以应用于当前cu。举例来说，当cu以合并模式编译时，如果cu包括至少64个亮度样本(如果cu宽度与cu高度的乘积等于或大于64)，则可以发信号通知附加标志以指示ciip模式是否应用于当前cu。ciip模式也可以称为多假设模式或帧间/帧内多假设模式。
[0302]
帧内预测模式推导
[0303]
可以使用包括dc、平面、水平和垂直模式的多达4个帧内预测模式来预测ciip模式中的亮度分量。当cu形状非常宽时(例如，当宽度是高度的两倍或两倍以上时)，不允许水平模式。当cu形状非常窄时(例如，当高度是宽度的两倍或更多倍时)，不允许垂直模式。对于这种情况，允许三种帧内预测模式。
[0304]
在ciip模式中，3个最可能模式(mpm)用于帧内预测。如下形成ciip mpm候选列表。
[0305]
‑
左相邻块和上相邻块分别被配置为a和b。
[0306]
‑
块a和块b的预测模式分别被称为intramodea和intramodeb，并且如下推导。
[0307]
x被配置为a或b。
[0308]
如果i)块x是无效的，ii)块x不是通过使用ciip模式预测的，或者iii)块b位于当前ctu之外，则intramodex被配置为dc。
[0309]
否则，i)如果块x的帧内预测模式是dc或平面，则intramodex被配置为dc或平面，ii)如果块x的帧内预测模式是“类垂直”方向模式(大于34的模式)，则intramodex被配置为垂直，或者iii)如果块x的帧内预测模式是“类水平”方向模式(等于或小于34的模式)，则intramodex被配置为水平。
[0310]
‑
如果intramodea等于intramodeb，
[0311]
如果intramodea是平面或dc，则以{平面，dc，垂直}的顺序配置3个mpm。
[0312]
否则，可以以{intramodea，平面，dc}的顺序配置3个mpm。
[0313]
‑
否则(如果intramodea不等于intramodeb)，
[0314]
另外，可以以{intramodea，intramodeb}的顺序配置2个mpm。
[0315]
检查前两个mpm候选的平面、dc和垂直的唯一性(冗余)，并且当发现唯一(非冗余)模式时，添加该唯一模式作为第三mpm。
[0316]
如果cu形状非常宽或非常窄，则mpm标志被推断为1而不用发信号通知。否则，用信
号通知mpm标志，用于指示ciip帧内预测模式是否是ciip mpm候选模式之一。
[0317]
如果mpm标志为1，则可以附加地用信号通知mpm索引，该mpm索引用于指示mpm候选模式中的哪个用于ciip帧内预测。否则，如果mpm标志为0，那么帧内预测模式在mpm候选列表中被配置为“缺失”模式。例如，如果平面模式不存在于mpm候选列表中，则平面变为缺失模式，并且帧内预测模式被配置为平面。由于在ciip中允许4个有效的帧内预测模式，mpm候选列表仅包括3个帧内预测候选。对于色度分量，连续地应用dm模式而无需附加信令。即，在色度分量中使用与亮度分量相同的预测模式。将存储以ciip编译的cu的帧内预测模式且将其用于相邻cu的帧内模式编译。
[0318]
组合帧间和帧内预测信号
[0319]
通过使用应用于一般合并模式的相同帧间预测处理来推导ciip模式下的帧间预测信号p
inter
，并且通过使用根据帧内预测处理的ciip帧内预测来推导帧内预测信号p
intra
。然后，使用加权平均值来组合帧内预测信号和帧间预测信号，这里，权重值取决于样本在如下的帧内预测模式以及编译块中所处的位置。
[0320]
如果帧内预测模式是dc或平面模式，或者块的宽度或高度小于4，则将相同权重应用于帧内预测信号和帧间预测信号。
[0321]
否则，基于帧内预测模式(在此情况下，水平模式或垂直模式)和块中的样本位置来确定权重。水平预测模式被描述为示例(垂直模式的权重类似，但可在正交方向上推导)。块的宽度被配置为w并且块的高度被配置为h。首先，将编译块分区成4个相等区域部分，并且每个尺寸为(w/4)
×
h。从最接近帧内预测参考样本的部分的开头到最远离帧内预测样本的部分的结束，将作为4个区域的每个的权重wt设置为6、5、3和2。最终ciip预测信号可以如下面的等式5中那样推导。
[0322]
[等式5]
[0323]
p
ciip
＝((8
‑
wt)*p
inter
wt*p
intra
4)＞＞3
[0324]
在等式5中，p
ciip
表示ciip预测样本值，p
inter
表示帧间预测样本值，p
intra
表示帧内预测样本值，以及wt表示权重。
[0325]
实施例
[0326]
本发明的实施例涉及帧间预测方法中的mvp预测和对称mvd，并且描述用于帧间预测的运动信息推导方法和语法信令方法。
[0327]
当应用对称运动向量差(smvd)时，如果以mvp模式编译的块通过bi预测编译，则指示是否应用smvd的smvd标志sym_mvd_flag被用信号通知给解码器，并且仅用于l0方向预测的mvd、用于l0方向预测的mvp索引和用于l1方向的mvp索引被发送给解码器。解码器可以通过推导l0和l1参考图片索引refidxl0和refidxl1以及l1 mvd(mvdl1)来执行双向预测。refidxl0可以被称为refidxsyml0，并且可以被称为refidxsyml1。
[0328]
同时，可以用信号通知指示mvdl1是否为0的标志mvd_l1_zero_flag。如果mvd_l1_zero_flag是0，则执行对mvdl1的编译(解码)，而如果mvd_l1_zero_flag是1，则不执行对mvdl1的编译(解码)。
[0329]
例如，如果包括当前块的当前图块组(或图片、切片)的图块组类型(图片类型、切片类型)为b(双向预测)，则可以用信号通知mvd_l1_zero_flag。也就是说，mvd_l1_zero_flag可以包括在用于比当前块(编译单元)高的级别(例如，图片、切片、图块组)的编译信息
中且用信号通知。
[0330]
如果mvd_l1_zero_flag是1，则当考虑编码器的mv确定方法时，使用smvd方法是低效的。因此，本公开的实施例提供一种用于如果mvd_l1_zero_flag是1则推断sym_mvd_flag的值为0而不用信号通知(解析)sym_mvd_flag的方法。
[0331]
根据本公开的实施例的用于编译单元的语法结构可以在表2中示出。
[0332]
[表2]
[0333]
[0334]
[0335]
[0336][0337]
在表2中，解码器检查指示l1方向mvd是否为0的标志mvd_l1_zero_flag作为用于解析指示是否应用smvd的标志(即l0(sym_mvd_flag))的条件。也就是说，解码器基于mvd_l1_zero_flag解析sym_mvd_flag。如果sym_mvd_flag是1，则省略关于l0参考图片的编译(解析)信息(例如ref_idx_l0)、关于l1参考图片的信息(例如ref_idx_l1)以及关于l1 mvd的信息(例如mvd_coding(x0，y0，1，0))。
[0338]
图28示出根据本公开的实施例的用于推导运动向量的流程图的示例。图28的操作可以由解码装置200的帧间预测器260或视频信号处理设备500的处理器510执行。图28的流程图可以对应于图14中的步骤s1420的一个示例。
[0339]
首先，解码器检查是否将跳过模式或合并模式应用于当前块(s2805)。例如，如表1的语法结构所示，解码器通过使用指示是否应用跳过模式的标志cu_skip_flag来检查是否应用跳过模式，并且如果没有应用跳过模式(cu_skip_flag＝0)，则解码器通过使用指示是否应用合并模式的标志merge_flag来检查是否应用合并模式。
[0340]
当应用跳过模式或合并模式时，解码器构建合并候选(s2810)并且基于合并索引推导运动向量(s2815)。如果没有应用跳过模式或合并模式，则解码器检查指示当前块的预测类型的索引inter_pred_idc(s2820)。这里，预测类型可以对应于单向预测或双向预测中的一个。如果预测类型是单向预测，则解码器可以构建mvp[x]候选列表(x 0或1)(s2825)，基于l0或l1方向的mvp索引mvp_idx[x]推导mvp[x]，并且通过将mvd[x]和mvp[x]相加来推导运动向量(s2830)。
[0341]
如果当前块的预测类型是双向预测，则解码器检查指示是否应用smvd的标志sym_mvd_flag(s2835)。如果不应用smvd，则解码器对l0方向和l1方向中的每个执行运动向量推导处理(s2840)，并且解码器构建lx的mvp候选(s2870)，基于lx的mvp索引推导mvp运动向量(s2875)，并且通过mvp运动向量和mvd的和来推导最终运动向量(s2880)。
[0342]
如果应用smvd，则解码器构建l0的mvp候选列表和l1的mvp候选列表中的每个(s2845和s2850)。在构建mvp候选列表之前，解码器可以推导对应于最接近当前图片的参考
图片列表的图片的参考图片索引作为用于l0和l1的参考索引(s2885)。根据smvd，解码器确定用于l1的mvd(mvd[l1])具有与用于l0的mvd(mvd[l0])相同的量值，但具有与mvd[l0]不同的符号(mvd[l1]＝
‑
1*mvd[l0])。之后，解码器基于分别对应于l0和l1的mvd和mvp索引的mvp运动向量来推导最终运动向量(s2860和s2865)。
[0343]
图29示出根据本公开的实施例的用于估计运动的流程图的示例。图29的操作可以由编码装置100的帧间预测器180或视频信号处理设备500的处理器510执行。图29的流程图可以对应于图12中的步骤s1210的一个示例。
[0344]
首先，编码器构建用于l0和l1的mvp候选列表(s2905和s2910)。此后，编码器通过mvd_l1_zero_flag在包括当前块的图块组(或图片、切片)中检查l1 mvd是否为0(l1 mvd信息是否被编译)(s2915)。如果l1 mvd被编译(如果mvd_l1_zero_flag是0)，则编码器针对l0和l1两者执行运动搜索(s2920)。
[0345]
如果l1 mvd未被编译(如果mvd_l1_zero_flag是1)，则编码器将l1 mv固定为mvp运动向量(pmv)，并且带来与l1 mv(mv[l1])相对应的l1预测块(s2930)。此后，编码器针对l0执行运动向量搜索(s2935)，在搜索范围内执行运动搜索(s2940)，确定l0预测子和l1预测子的平均值(s2945)，并且确定最佳l0 mv(s2950)。
[0346]
根据本公开的实施例，在编码器中，如果mvd_l1_zero_flag是1(如果l1 mvd未被编译)，则当在执行运动预测的过程中应用smvd时，其可能反而低效。图29示出如果mvd_l1_zero_flag是1则由编码器通过执行双向预测来确定最佳mv的过程。如图29所示，如果mvd_l1_zero_flag是1，则执行l0运动搜索。在这种情况下，当应用smvd时，每次在确定最佳mv[l0]的过程中mvd[l0]被镜像并且被应用到l1，然后执行计算，结果，运动搜索过程可能非常复杂。因此，本公开的实施例是其中如果mvd_l1_zero_flag是1则不应用smvd的方法。
[0347]
比特流
[0348]
基于上述本公开的实施例，可以以比特流的形式输出由编码装置100推导的编码信息(例如，编码视频/图像信息)。编码信息可以比特流的形式以网络抽象层(nas)为单位被发送或存储。比特流可以经由网络发送或存储在非暂时性数字存储介质中。此外，如上所述，比特流不是直接从编码装置100发送到解码装置200，而是可以通过外部服务器(例如，内容流传输服务器)经受流传输/下载服务。这里，网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括各种存储介质，其包括usb、sd、cd、dvd、蓝光、hdd、ssd等。
[0349]
图30示出根据本公开的实施例的用于帧间预测的视频信号的编码流程图的示例。图30的操作可以由编码装置100的帧间预测器180或视频信号处理设备500的处理器510执行。图30的流程图可以对应于图12中的步骤s1230的一个示例。
[0350]
在步骤s3010中，编码器编码第一级单元的第一编译信息。这里，第一级单元可以对应于相对较高级别的处理单元(例如，图片、切片、图块组)。
[0351]
根据本公开的实施例，第一编译信息包括与在用于第一方向预测(l0预测)的第一mvd(l0 mvd)信息和用于第二方向预测(l1预测)的第二mvd(l1 mvd)信息中是否编译第二mvd信息有关的第一标志mvd_l1_zero_flag。这里，第一mvd信息及第二mvd信息可以在表1所示的语法结构中被编译，并且在根据第一标志mvd_l1_zero_flag省略针对第二mvd信息的编译时被推断为0。例如，如果第一标志mvd_l1_zero_flag是0，则可以执行对第二mvd信息的编码，并且如果第一标志mvd_l1_zero_flag是1，则可以省略对第二mvd信息的编码。
[0352]
在步骤s3020中，编码器对用于低于第一级单元的第二级单元的第二编译信息进行编码。这里，第二级单元可以对应于编译单元。这里，第二编译信息包括与smvd是否被应用于与第二级单元相对应的当前块有关的第二标志sym_mvd_flag。
[0353]
根据本公开的实施例，第二标志sym_mvd_flag基于第一标志mvd_l1_zero_flag来编码。例如，如果第一标志mvd_l1_zero_flag是0，则编码器可以基于用于第一方向预测的第一运动向量(l0运动向量)和用于第二方向预测的第二运动向量(l1运动向量)的搜索过程来编码第二标志。如果第一标志mvd_l1_zero_flag是1，则编码器在排除smvd的应用的同时执行运动估计，并且不编码第二标志sym_mvd_flag。
[0354]
图31示出根据本公开的实施例的用于帧间预测的视频信号的解码流程图的示例。图31的操作可以由解码装置200的帧间预测器260或视频信号处理设备500的处理器510执行。图31中的步骤s3110至s3150对应于图14中的步骤s1420的一个示例，并且图31中的步骤s3160对应于图14中的步骤s1430的一个示例。
[0355]
在步骤s3110中，解码器获得与在用于第一方向预测(l0预测)的第一mvd(l0 mvd)信息和用于第二方向预测(l1预测)的第二mvd(l1 mvd)信息之间是否编译第二mvd信息(l1 mvd信息)有关的第一标志mvd_l1_zero_flag。作为相对较高级别处理单元的第一级单元可以对应于图片、切片或图块组中的一个。第一mvd信息(l0 mvd信息)以及第二mvd信息(l1 mvd信息)可以通过表1所示的语法结构来解码。
[0356]
例如，如果第一标志mvd_l1_zero_flag是0，则可以不执行解码第二mvd信息(l1 mvd信息)，而如果第一标志mvd_l1_zero_flag是1，则可以省略解码第二mvd信息(l1 mvd信息)。例如，在表2中，如果第一标志mvd_l1_zero_flag是1，则第二mvd值(mvdl1，mvdcpl1)在没有针对第二mvd的编译过程下被视为0。
[0357]
在步骤s3120中，编码器从用于低于第一级单元的第二级单元的第二编译信息中基于第一标志mvd_l1_zero_flag获得与是否将smvd应用于当前块有关的第二标志sym_mvd_flag。
[0358]
例如，如果第一标志mvd_l1_zero_flag是0并且满足附加条件，则解码器可以解码第二标志sym_mvd_flag，并且如果第一标志mvd_l1_zero_flag是1，则解码器可以推断第二标志为0而不解码第二标志。例如，在表2中，作为解析第二标志sym_mvd_flag的条件，包括第一标志mvd_l1_zero_flag将是0。
[0359]
在步骤s3130中，编码器基于第一mvd信息(l0 mvd信息)确定用于当前块的第一mvd(l0 mvd)。例如，编码器可以在调用表2的mvd_coding过程之后通过表1中所示的语法结构确定第一mvd(l0 mvd)。
[0360]
在步骤s3140中，编码器基于第二标志sym_mvd_flag从第一mvd(l0 mvd)确定第二mvd(l1 mvd)。例如，如果第二标志sym_mvd_flag是0，则解码器可以从第二mvd信息(l1 mvd信息)确定第二mvd(l1 mvd)，并且如果第二标志sym_mvd_flag是1，则解码器可以基于smvd从第一mvd(l0 mvd)确定第二mvd(l1 mvd)。例如，如果第二标志sym_mvd_flag是0，则解码器通过调用第二mvd信息的编译过程(mvd_coding(x0,y0,1,0))通过表1所示的语法结构确定第二mvd(l1 mvd)，并且如果第二标志sym_mvd_flag是1，则解码器从第一mvd(l0 mvd)确定第二mvd(l1 mvd)。如表2所示，如果第二标志sym_mvd_flag是1，则第二mvd(l1 mvd)可以具有与第一mvd(l0 mvd)相同的量值及相反的符号。(mvdl1[x0][y0][0]＝
‑
mvdl0[x0][y0]
[0],mvdl1[x0][y0][1]＝
‑
mvdl0[x0][y0][1])。
[0361]
在步骤s3150中，解码器基于第一mvd(l0 mvd)和第二mvd(l1 mvd)来确定第一运动向量(l0运动向量)和第二运动向量(l1运动向量)。例如，解码器可以获得用于第一方向预测(l0预测)的第一mvp信息(l0 mvp信息)(例如，表2的mvp_l0_flag)和用于第二方向预测(l1预测)的第二mvp信息(l1 mvp信息)(例如，表2的mvp_l1_flag)。此后，解码器可以确定与用于第一方向预测(l0预测)的第一mvp候选列表(l0 mvp候选列表)中的第一mvp信息(l0 mvp信息)对应的第一候选运动向量(l0候选运动向量)以及与第二mvp候选列表(l1 mvp候选列表)中的第二mvp信息(l1 mvp信息)对应的第二候选运动向量(l1候选运动向量)。此外，解码器可以通过将第一mvd(l0 mvd)与第一候选运动向量(l0候选运动向量)相加来确定第一运动向量(l0运动向量)，并且通过将第二mvd(l1 mvd)与第二候选运动向量(l1候选运动向量)相加来确定第二运动向量(l1运动向量)。
[0362]
在步骤s3160中，解码器基于第一运动向量(l0运动向量)和第二运动向量(l1运动向量)来生成当前块的预测样本。例如，解码器可以确定用于第一方向预测(l0预测)的第一参考图片(l0参考图片)和用于第二方向预测(l1预测0)的第二参考图片(l1参考图片)，并且基于由第一参考图片(l0参考图片)中的第一运动向量(l0运动向量)所指示的第一参考样本(l0参考样本)和由第二参考图片(l1参考图片)中的第二运动向量(l1运动向量0)所指示的第二参考样本(l1参考样本)来生成当前块的预测样本。在一个示例中，可以通过第一参考样本(l0参考样本)和第二参考样本(l1参考样本)的加权平均来推导参考样本。
[0363]
在实施例中，第一参考图片(l0参考图片)可以对应于用于第一方向预测(l0预测)的第一参考图片列表(l0参考图片列表)中按显示顺序对于当前图片在前且最接近的参考图片，并且第二参考图片(l1参考图片)可以对应于用于第二方向预测(l1预测)的第二参考图片列表(l1参考图片列表)中按显示顺序对于当前图片在后且最接近的参考图片。
[0364]
如上所述，本公开中描述的实施例可以在处理器、微处理器、控制器或芯片上实现和执行。例如，在每幅图中示出的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。
[0365]
根据本公开的实施例的视频信号处理设备500可以包括存储视频信号的存储器520和耦合到存储器520的处理器510。
[0366]
为了编码视频信号，处理器510被配置为编码用于第一级单元的第一编译信息并且编码用于低于第一级单元的第二级单元的第二编译信息。第一编译信息包括与在用于第一方向预测的第一mvd信息和用于第二方向预测的第二mvd信息之间是否编译第二mvd信息的第一标志，并且第二编译信息包括关于对称mvd(smvd)是否被应用于与第二级单元对应的当前块的第二标志。第二标志基于第一标志来编码。
[0367]
在实施例中，第一级单元可以对应于以下中的一个：图片、图块组或切片，并且第二级单元可以对应于编译单元。
[0368]
在实施例中，如果第一标志是0，则可以执行对第二mvd信息的编码，并且如果第一标志是1，则可以省略对第二mvd信息的编码。
[0369]
在实施例中，处理器510可以被配置为在第一标志是0时基于用于第一方向预测的第一运动向量和用于第二方向预测的第二运动向量的搜索过程来编码第二标志。
[0370]
为了解码视频信号，处理器510被配置为获得与在第一级单元中在用于第一方向
预测的第一mvd信息与用于第二方向预测的第二mvd信息之间是否编译第二mvd信息有关的第一标志，基于第一标志来获得与smvd是否应用于与低于第一级单元的第二级单元对应的当前块有关的第二标志，基于第一mvd信息来确定用于当前块的第一mvd，基于第二标志来确定第二mvd，基于第一mvd和第二mvd来确定第一运动向量和第二运动向量，以及基于第一运动向量和第二运动向量来生成当前块的预测样本。
[0371]
在实施例中，第一级单元可以对应于以下中的至少一个：图片、图块组或切片，并且第二级单元可以对应于编译单元。
[0372]
在实施例中，如果第一标志是0，则执行对第二mvd信息的解码，并且如果第一标志是1，则可以省略对第二mvd信息的解码。
[0373]
在实施例中，在获得第二标志的过程中，处理器510可以被配置为在第一标志为0且满足附加条件时解码第二标志，并且在第一标志是1时推断第二标志为0而不解码第二标志。
[0374]
在实施例中，在确定第二mvd的过程中，处理器510可以被配置为当第二标志是0时从第二mvd信息确定第二mvd，并且当第二标志是1时基于smvd从第一mvd确定第二mvd。
[0375]
在实施例中，当第二标志是1时，第二mvd可以具有与第一mvd相同的量值及与第一mvd相反的符号。
[0376]
在实施例中，在确定第一运动向量和第二运动向量的过程中，处理器510可以被配置成获得用于第一方向预测的第一mvp信息和用于第二方向预测的第二mvp信息，在用于第一方向预测的第一mvp候选列表中确定对应于第一mvp信息的第一候选运动向量并且在用于第二方向预测的第二mvp候选列表中确定对应于第二mvp信息的第二候选运动向量，以及通过将第一mvd添加到第一候选运动向量来确定第一运动向量，并且通过将第二mvd添加到第二候选运动向量来确定第二运动向量。
[0377]
在实施例中，在生成当前块的预测样本的过程中，处理器510可以被配置为确定用于第一方向预测的第一参考图片和用于第二方向预测的第二参考图片，并且基于由第一参考图片中的第一运动向量指示的第一参考样本和由第二参考图片中的第二运动向量指示的第二参考样本来生成当前块的预测样本。
[0378]
在实施例中，第一参考图片可以对应于用于第一方向预测的第一参考图片列表中按显示顺序对于当前图片在前且最近的参考图片，并且第二参考图片可以对应于用于第二方向预测的第二参考图片列表中按显示顺序对于当前图片的在后且最近的参考图片。
[0379]
另外，应用本公开的处理方法可以以由计算机执行的程序的形式产生，并且可以存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括存储计算机可读数据的所有类型的存储设备和分布存储设备。计算机可读记录介质可以包括例如蓝光盘(bd)、通用串行总线(usb)、rom、prom、eprom、eeprom、ram、cd
‑
rom、磁带、软盘和光学数据存储设备。此外，计算机可读记录介质包括以载波(例如，通过互联网的传输)的形式实现的介质。此外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中或通过有线/无线通信网络发送。
[0380]
此外，本公开的实施例可以通过程序代码实现为计算机程序产品，该程序代码可以通过本公开的实施例在计算机上执行。程序代码可以存储在计算机可读载体上。
[0381]
根据本公开的实施例的非暂时性计算机可读介质存储由一个或多个处理器执行
的一个或多个指令。为了编码视频信号，一个或多个指令控制视频信号处理设备500(或编码装置100)对用于第一级单元的第一编译信息进行编码，并且对用于低于第一级单元的第二级单元的第二编译信息进行编码。第一编译信息包括关于在用于第一方向预测的第一mvd信息和用于第二方向预测的第二mvd信息之间是否编译第二mvd信息有关的第一标志，并且第二编译信息包括关于对称mvd(smvd)是否被应用于与第二级单元相应的当前块的第二标志，并且第二标志基于第一标志被编码。
[0382]
在实施例中，第一级单元可以对应于以下中的至少一个：图片、图块组或切片，并且第二级单元可以对应于编译单元。
[0383]
在实施例中，如果第一标志是0，则可以执行对第二mvd信息的编码，并且如果第一标志是1，则可以省略对第二mvd信息的编码。
[0384]
在实施例中，一个或多个指令可以控制视频信号处理设备500(或编码装置100)以当第一标志是0时基于用于第一方向预测的第一运动向量和第二方向预测的第二运动向量的搜索过程来编码第二标志。
[0385]
此外，为了解码视频信号，一个或多个指令控制视频信号处理设备500(或解码装置200)从第一级单元的第一编译信息获得关于在用于第一方向预测的第一mvd信息与用于第二方向预测的第二mvd信息之间是否编码第二mvd信息的第一标志，从低于第一级单元的第二级单元的第二编译信息基于第一标志获得关于smvd是否应用于当前块的第二标志，基于第一mvd信息来确定用于当前块的第一mvd，基于第二标志来确定第二mvd，基于第一mvd和第二mvd来确定第一运动向量和第二运动向量，以及基于第一运动向量和第二运动向量来生成当前块的预测样本。
[0386]
在实施例中，第一级单元可以对应于以下中的至少一个：图片、图块组或切片，并且第二级单元可以对应于编译单元。
[0387]
在实施例中，如果第一标志是0，则可以执行对第二mvd信息的解码，并且如果第一标志是1，则可以省略对第二mvd信息的解码。
[0388]
在实施例中，在获得第二标志的过程中，一个或多个指令可以控制视频信号处理设备500(或解码装置200)以在第一标志是0且满足附加条件时解码第二标志，并且在第一标志是1时推断第二标志为0而不解码第二标志。
[0389]
在实施例中，在确定第二mvd的过程中，一个或多个指令可以控制视频信号处理设备500(或解码装置200)以在第二标志是0时从第二mvd信息确定第二mvd，并且在第二标志是1时基于smvd从第一mvd确定第二mvd。
[0390]
在实施例中，当第二标志是1时，第二mvd可以具有与第一mvd相同的量值及与第一mvd相反的符号。
[0391]
在实施例中，在确定第一运动向量和第二运动向量的过程中，一个或多个指令可以控制视频信号处理设备500(或解码装置200)以获得用于第一方向预测的第一mvp信息和用于第二方向预测的第二mvp信息，确定用于第一方向预测的第一mvp候选列表中的对应于第一mvp信息的第一候选运动向量和用于第二方向预测的第二mvp候选列表中的对应于第二mvp信息的第二候选运动向量，以及通过将第一mvd添加到第一候选运动向量来确定第一运动向量，并且通过将第二mvd添加到第二候选运动向量来确定第二运动向量。
[0392]
在实施例中，在生成当前块的预测样本的过程中，一个或多个指令可以控制视频
信号处理设备500(或解码装置200)以确定用于第一方向预测的第一参考图片和用于第二方向预测的第二参考图片，并且基于由第一参考图片中的第一运动向量指示的第一参考样本和由第二参考图片中的第二运动向量指示的第二参考样本来生成当前块的预测样本。
[0393]
在实施例中，第一参考图片可以对应于用于第一方向预测的第一参考图片列表中按显示顺序对于当前图片在前且最近的参考图片，并且第二参考图片可以对应于用于第二方向预测的第二参考图片列表中按显示顺序对于当前图片在后且最近的参考图片。
[0394]
此外，本公开的解码器和编码器可以被包括在多媒体广播发送和接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监视摄像机、视频聊天设备、诸如视频通信的实时通信设备、移动流设备、存储介质、摄像机、视频点播(vod)服务提供设备、(过顶)ott视频设备、互联网流服务提供设备、3维(3d)视频设备、视频电话视频设备、交通工具终端(例如，车辆终端、飞机终端、轮船终端等)和医疗视频设备等中，并且可以用于处理视频信号或数据信号。例如，过顶(ott)视频设备可以包括游戏控制台、蓝光播放器、互联网接入tv、家庭影院系统、智能电话、平板pc、数字视频记录器(dvr)等。
[0395]
在上述实施例中，本公开的组件和特征以预定的形式组合。除非另有明确说明，否则每个部件或特征都应被认为是选项。每个组件或特征可以被实现为不与其他组件或特征相关联。此外，本公开的实施例可以通过关联一些组件和/或特征来配置。可以改变本公开的实施例中描述的操作的顺序。任何实施例的一些部件或特征可以被包括在另一实施例中或者被与另一实施例相对应的部件和特征所替代。显然，在权利要求中没有明确引用的权利要求被组合以形成实施例，或者通过在申请之后的修改而被包括在新的权利要求中。
[0396]
本公开的实施例可以由硬件、固件、软件或其组合来实现。在通过硬件实现的情况下，根据硬件实现，本文所述的示例性实施例可通过使用一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理装置(dspd)、可编程逻辑装置(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器等来实现。
[0397]
在通过固件或软件实现的情况下，本公开的实施例可以以模块、过程、函数等的形式实现以执行上述功能或操作。软件代码可以存储在存储器中并由处理器执行。存储器可以位于处理器内部或外部，并且可以通过各种装置向/从处理器发送和接收数据。
[0398]
在本公开中，术语“/”和“,”应当被解释为指示“和/或”。例如，表述“a/b”可以表示“a和/或b”，并且“a，b”可以表示“a和/或b”。此外，“a/b/c”可以表示“a、b和/或c中的至少一个”。此外，“a/b/c”可以表示“a、b和/或c中的至少一个”。
[0399]
此外，在本公开中，术语“或”应当被解释为指示“和/或”。例如，表述“a或b”可以以包括1)仅a、2)仅b、和/或3)a和b两者。换言之，本公开中的术语“或”应当被解释为指示“附加地或替代地”。
[0400]
对于本领域技术人员显而易见的是，在不脱离本公开的基本特征的情况下，本公开可以以其他特定形式来实施。因此，上述详细描述不应被解释为在所有方面是限制性的，并且应被示例性地考虑。本公开的范围应当通过对所附权利要求的合理解释来确定，并且在本公开的等同范围内的所有修改都包括在本公开的范围内。
[0401]
工业实用性
[0402]
在上文中，为了说明的目的公开了本公开的优选实施例，并且在下文中，本领域技术人员将在所附权利要求中公开的本公开的技术精神和技术范围内做出各种其他实施例
的修改、改变、替换或添加。