帧间预测方法及相关的视频处理装置与流程

帧间预测方法及相关的视频处理装置
1.优先权声明
2.本技术基于且要求于2015年9月6日提交的申请号为pct/cn2015/088952的pct专利申请的优先权，其整体以引用的方式并入本文。
技术领域
3.本技术涉及视频数据的视频编解码。尤其是，本技术涉及用于提高编解码效率的视频编解码中的自适应帧间预测。


背景技术：

4.视频数据要求大量的存储空间用于存储或者较宽的带宽用于传输。随着高分辨率和高帧速率的提升，如果视频数据以未压缩的格式存储或者传输，那么对存储空间或者带宽的要求将相当高。因此，视频数据通常使用视频编解码技术以压缩的格式存储或者传输。使用诸如h.264/avc和hevc(high efficiency video codin，高效率视频编解码)标准之类的更新的视频压缩格式，很大程度上提高了编解码效率。
5.图1是环路处理的自适应帧间/帧内结合的视频编解码系统。对于帧间预测，运动估计(motion estimation，me)/运动补偿(motion compensation，mc)器112用于基于来自一个或多个其他图片的视频数据而提供预测数据。开关114选择帧内预测110或者帧间预测数据并且选择的预测数据将被提供给加法器116以形成预测误差，也称为残差。然后，预测误差被转换器(t)118处理，接着量化器(q)对其进行处理。经过转换和量化处理的残差被熵编码器122编解码，以包括于对应压缩视频数据的视频比特流中。当使用帧间预测模式时，一个或多个参考图片还将在编码器端被重建。因此，经过转换和量化处理的残差经过反向量化器(iq)124和反向转换器(it)126处理以复原残差。残差随后被加回重建器(rec)128中的预测数据136以重建视频数据。重建的视频数据被存储在参考图片缓冲器134中，并用于预测其他帧。然而，在视频数据被储存到参考图片缓冲器134中之前，环路滤波器130(例如，去块滤波器和/或采样自适应偏移(sample adaptive offset，sao))可以被用于重建视频数据。
6.图2是与图1中的编码系统对应的视频解码器的框图。因为编码器还包括用于重建视频数据的本地解码器，除了熵解码器210，一些解码器组件已经在编码器中被使用。此外，在解码器侧仅需要运动补偿器220。开关146选择帧内预测数据或者帧间预测数据，并且选择的预测数据被提供给重建器(rec)128与复原的残差结合。除了对压缩的残差执行解码之外，熵解码器210也负责对边信息进行熵解码，并且将边信息提供给各个块。例如，帧内模式信息被提供给帧内预测子110，帧间模式信息被提供给运动补偿器220，环路滤波器信息被提供给环路滤波器130，以及残差被提供给反向量化器124。残差被iq124、it126处理，以及随后被重建器(rec)128处理以重建视频数据。同样的，如图2所示，来自rec128的重建的视频数据经历包括iq124和it126的一系列处理，并且受制于编解码伪像。重建的视频数据被环路滤波器130进行进一步处理。
7.在高效视频编解码(high efficiency video coding，hevc)系统中，h.264/avc的固定大小的宏模块被名为编解码单元(coding unit，cu)的灵活块所取代。cu中的像素共享同样的编解码参数以提高编解码效率。cu可以以最大cu(largest cu，lcu)开始，最大cu也可以认为是hevc中的编解码树单元(coded tree unit，ctu)。每一个cu都是一个2nx2n的方块，并且可以递归地分割成4个更小的cu，直到达到预定的最小尺寸为止。一旦cu分层树的分割完成，根据预测类型和pu(prediction unit，预测单元)分区将每一个叶cu进一步分割成一个或多个预测单元(prediction unit，pu)。此外，转换编解码的基本单元是被称为转换单元(transform unit，tu)的方块。
8.在hevc中，帧内预测和帧间预测被应用于每一个块(即，pu)。帧内预测模式采用空间相邻重建像素来生成定向预测子。另一方面，帧间预测模式采用临时重建参考帧来生成运动补偿预测子。采用变换、量化和熵编解码对预测残差进行编解码。更精确的预测子将会导致更小的预测残差，这又将导致更小的压缩数据(即，更高的压缩比)。
9.帧间预测将会探索帧与帧之间的像素的相关性，并且如果场景是静止的或者运动是平移的，则帧间预测是有效的。在这种情况下，运动估计将很容易地在时间相邻的帧中找到具有相似像素值的相似块。对于hevc中的帧间预测，该帧间预测可以是单向预测或者双向预测。对于单向预测，通过先前编解码图片中的一个参考块对当前块进行预测。对于双向预测，通过两个先前编解码图片中的两个参考块对当前块进行预测。来自于两个参考块的预测被进行平均以形成双向预测的最终预测子。
10.在许多视频编解码标准中，也支持分数运动向量。例如，在hevc标准中，通过分别使用针对亮度分量的预先定义的8抽头差值滤波器和针对色度分量的预先定义的4抽头插值滤波器来实施分数运动补偿。然而。hevc中的帧间预测的处理是固定的。例如，双向预测中的加权因子(即0.5和0.5)或者分数运动补偿中的滤波器系数是固定的。因此，传统的帧间预测不能很好地适应块的局部特征。因此，为了进一步提高帧间预测的压缩效率，希望能开发一种自适应帧间预测方法。


技术实现要素：

11.本技术主要目的在于提供用于视频编解码的自适应帧间预测的方法和装置，能够提高帧间预测的压缩效率。根据本技术，确定选择的帧间预测处理，其中所选择的帧间预测处理根据包括当前块的相邻重建像素的第一像素数据从多个帧间预测滤波器中选择一个帧间预测滤波器。使用所选择的帧间预测处理对当前块进行编码或解码。第一像素数据可以进一步包括对应于当前块的运动补偿参考块周围的额外运动补偿像素。可以使用当前块的相邻重建像素与运动补偿参考块周围的额外运动补偿像素之间的失真来确定帧间预测滤波器。可以通过当前块的相邻重建像素与运动补偿参考块周围的额外运动补偿像素之间的绝对差之和或者平方差之和来计算该失真。基于当前块的运动信息和当前块的相邻重建像素的运动信息来选择第一像素数据。当前块的相邻重建像素可以包括在当前块的顶部边界之上的一个或多个行或列的相邻像素。可以使用子采样来选择当前块的相邻重建像素。
12.在一个实施例中，多个帧间预测滤波器具有不同数量的滤波器抽头，或者不同的滤波器系数或同时具备不同数量的滤波器抽头和不同的滤波器系数。通过在一组包括支持多个帧间预测滤波器的帧间预测处理、支持多组用于双向预测的加权因子的帧间预测处
理、或者既支持多个帧间预测滤波器又支持多组用于双向预测的加权因子的预测处理的帧间预测处理中进行选择确定选择的帧间预测处理。与该组帧间预测处理相关的信息可以在视频比特流的序列级、图片级、或者切片级通过信号发送。可以根据切片类型、预测模式或者运动信息来确定这组帧间预测处理。所选择的帧间预测处理的信息可以明确通过信号发送给编码器或者解码器。是否将所选择的帧间预测处理启用或停用可以在视频比特流中的序列级、图片级、切片级、编码单元级或者预测单元级通过信号发送。
13.在另一个实施例中，确定选择的帧间预测处理，其中所选择的帧间预测处理从用于当前块的双向预测的多组加权因子中选择一组加权因子，然后使用所选择的帧间预测处理对当前块进行编码或解码。多组加权因子包括[0.5，0.5]、[0.25，0.75]、[0.75，0.25]、[0.375，0.625]和[0.625，0.375]。对于多组加权因子的情况，可以使用当前块的相邻重建像素与运动补偿参考块周围的额外运动补偿像素之间的失真确定该组加权因子。为当前块的相邻重建像素的每一个像素，与第一运动信息相关联的第一预测子和与第二运动信息相关联的第二预测子仅被推导出一次。针对当前块的相邻重建像素的每一个像素确定其与第一预测子和第二预测子相关联的和与差。之后，加权因子[0.5，0.5]、[0.25，0.75]、[0.75，0.25]、[0.375，0.625]和[0.625，0.375]分别被计算为d0＝(x《《3)
–
q、d1＝d0
–
r、d2＝d0 r、d3＝d1
–
r和d4＝d2 r，其中x表示当前块的相邻重建像素的重建值。
附图说明
[0014]
图1是使用变化、量化和环路处理的自适应帧间/帧内视频编码系统的示意图。
[0015]
图2是使用变化、量化和环路处理的自适应帧间/帧内视频解码系统的示意图。
[0016]
图3是本技术提供的一实施例通过基于在当前块的相邻重建像素与对应于当前块的运动补偿参考块的额外运动补偿像素之间的失真选择帧间预测处理来选择帧间预测方法的自适应帧间预测的示例。
[0017]
图4是本技术提供的一实施例通过基于当前块的相邻重建像素与对应于当前块的运动补偿参考块的额外运动补偿像素之间的失真选择帧间预测处理，来在三个候选项中选择一个插值滤波器的自适应帧间预测的示例。
[0018]
图5是本技术提供的一实施例中的视频编解码系统利用自适应帧间预测方法的流程图。
具体实施方式
[0019]
以下描述为实施本发明的较佳方式。本描述的目的在于阐释本发明的一般原理，并非起限定意义。本发明的保护范围当视权利要求书所界定为准。
[0020]
如前文中所述，传统的帧间预测是相当静态的并且不能适应基础视频的局部特征。因此，在本技术提供的一个实施例中，当前块和相邻重建像素的相关性被用于实现帧间预测的局部适应。该方法被称为自适应帧间预测。
[0021]
在一个实施例中，可以使用多个帧间预测处理以及当前块周围的相邻重建像素可用于已选择的帧间预测处理，从而选择对应于插值滤波器的帧间预测方法和/或用于当前块的一组加权因子。多个帧间预测处理可以相当于支持不同插值滤波器(也被称为帧间预测滤波器)的帧间预测处理和/或支持用于双向预测的不同组的加权因子的帧间预测处理。
不同的插值滤波器可以对应于不用数量的滤波器抽头和/或不同的滤波器系数。
[0022]
在一个实施例中，不同的帧间预测滤波器之间的选择可以取决于当前块周围的相邻重建像素(neighbouring reconstructed pixel，nrp)。在不同的帧间预测滤波器中的选择还可以取决于当前块周围的相邻重建像素的额外运动补偿像素。可以基于当前块的运动信息和相邻重建像素来选择相邻重建像素。例如，基于当前块的运动信息和相邻重建像素的运动比较，如果当前块的运动信息是左边cu的相同但是与上边cu的不同，则仅选择处于当前块的左边界的相邻重建像素来从多个滤波器中确定帧间预测滤波器。在刚刚提及的实施例中，不同的帧间预测滤波器中的选择是隐含地推导出。然而，在另一个实施例中，不同的帧间预测滤波器之间的选择可以明确地发信。
[0023]
图3是本技术提供的一实施例中通过选择的帧间预测处理来选择帧间预测方法的示例。在图3中，相邻重建像素(neighbouring reconstructed pixel，nrp)包括处于当前块310的上边界上方的n个上方相邻行312和处于当前块310的左边界的左边的n个左边相邻列(即，垂直线)314。在一个实施例中，使用子采样来选择当前块310的相邻重建像素。额外运动补偿预测子或像素(the extended motion compensated predictors or pixels，emcp)包括处于运动补偿参考块320上边界上方的n个上方相邻行322和处于运动补偿参考块320左边界的左边的n个左边相邻列(即，垂直线)324。根据当前块310的位置和运动向量330来识别运动补偿参考块320。运动向量330可以具有整数精度或者分数像素分辨率。因此，整数运动补偿或者分数运动补偿都可以被采用。
[0024]
与传统的帧间预测相比，上述实施例要求执行与nrp和emcp相关的额外运动补偿，以便从多个候选项中选择一个帧间预测方法。
[0025]
n是等于或者大于1的整数。如图3中所示的nrp和emcp配置说明本技术提供的实施例中的示例，并且将不会被理解为是对本技术的限制。例如，上方相邻行的数量可以与左边相邻列的数量不同。
[0026]
图4是本技术提供的一实施例中的自适应帧间预测处理的示例。在本实施例中，三种插值滤波器可以被视频编解码系统采用。如图4中所示，自适应帧间预测处理可以开始于采用这三种插值滤波器对当前块(410)周围的相邻重建像素(412)执行运动补偿以生成在运动补偿参考块(420a、420b、420c)周围的额外运动补偿像素(422a、422b、422c)。然后计算这三种插值滤波器的相邻重建像素(412)与额外运动补偿像素(422a、422b、422c)之间的失真。其中具有最小失真的插值滤波器用于生成当前块的预测子。对于单向预测，自适应帧间预测可以通过从不同的插值滤波器中自适应选择一个滤波器来实现。如上文中所述，整数运动补偿或分数运动补偿都可以被使用。
[0027]
在另一个实施例中，对于双向预测，自适应帧间预测可以通过支持不同组的加权因子，例如两个预测子之间的[0.5，0.5]，[0.25，0.75]，[0.75，0.25]，[0.375，0.625]，或[0.625，0.375]，来实现。在本实施例中，根据当前块的相邻重建像素和/或对应于当前块的运动补偿参考块周围的额外运动补偿像素来选择一组加权因子。例如，根据相邻重建像素和额外运动补偿像素之间的失真，选择一组加权因子用于当前块的编码或解码。然而，在传统的双向预测中，一直使用加权因子[0.5，0.5]。
[0028]
在另一个实施例中，两个作为不同的插值滤波器的预测子的不同的加权因子也可以用在双向预测中。
[0029]
在又一个实施例中，不同帧间预测方法可以被结合在一起以形成另一个帧间预测方法。例如，不同的加权因子组合可以结合不同的插值滤波器，这样每一个由特定的一组加权因子和特定插值滤波器的独特组合是一种帧间预测方法。从支持的加权因子组合和支持的插值滤波器选择帧间预测处理是取决于当前块的相邻重建像素和/或对应于当前块的运动补偿参考块周围的额外运动补偿像素。
[0030]
在又一个实施例中，相邻重建像素和额外运动补偿像素之间的失真可以被测量为绝对差之和、差值平方和等等。
[0031]
在又一个实施例中，对于具有自适应加权因子的双向预测，提出了对于一组候选加权因子的有效失真计算。同样的，需要对相邻重建像素执行额外运动补偿，其中x表示相邻重建像素的重建值：
[0032]
1)执行运动补偿并获得与两个对应的运动向量相关的相邻重建像素的像素预测子p0和p1；
[0033]
2)q＝(p0 p1)《《2；
[0034]
3)r＝p0-p1；
[0035]
4)加权因子[0.5，0.5]的失真计算为d0＝(x《《3)-q；
[0036]
5)加权因子[0.625，0.375]的失真计算为d1＝d0-r；
[0037]
6)加权因子[0.375，0.625]的失真计算为d2＝d0 r；
[0038]
7)加权因子[0.75，0.25]的失真计算为d3＝d1-r；
[0039]
8)加权因子[0.25，0.75]的失真计算为d4＝d2 r。
[0040]
上述说明中的表达式使用了p0、p1、q和r的简化符号，其中指示相邻重建像素的像素位置的索引被丢弃。失真d0到d4作为相邻重建像素中的各个像素的失真之和来计算。如上所示，在步骤1中，对于每个相邻中间像素仅执行一次运动补偿，则所有候选加权因子组的失真可以根据如下的步骤推导出。具体的说，在步骤2中，计算与两个预测子之和相关的变量q。进一步，在步骤3中，计算与两个预测子之差相关的变量r。可以基于q、r和/或先前计算的另一组加权因子的失真来有效地计算与各种加权因子组相关的失真。
[0041]
在又一个实施例中，在不同的自适应帧间预测过程中对支持的自适应帧间预测处理中的选择可以在序列级、图片级或切片级通过信号发送。可以根据切片类型、预测模式或运动信息对支持的自适应帧间预测处理进行选择。此外，是否启用自适应帧间预测可以在序列级、图片级、切片级、编码单元级或者预测单元级通过信号发送。
[0042]
在又一个实施例中，对具有自适应加权因子的双向预测的选择可以在序列级、图片级、切片级、编码单元级或者预测单元级明确地通过信号发送给解码器。
[0043]
图5是本技术提供的一实施例中视频编解码系统使用自适应帧间预测的方法的流程图。在编码侧，输入数据可以对应于将要被编码的像素数据。在解码侧，输出数据可以对应于包括当前块和其他相关数据的解码数据。根据该方法，在步骤510中，接收与当前图片中的当前块相关的输入数据。在步骤520中，确定选择的帧间预测处理，其中选择的帧间预测处理根据包括当前块的相邻重建像素的第一像素数据，从多个帧间预测滤波器中选择一个帧间预测滤波器用于当前块。在步骤530中，使用选择的帧间预测处理对当前块进行编码或解码。
[0044]
所示的流程图用于说明本技术的视频编解码的示例。本领域技术人员可以对本申
请的各个步骤进行修改、重新排列、拆分或组合以在不脱离本技术的精神的情况下实现本技术。在本技术中，已经使用特定语法和语义来说明实现本技术的实施例的示例。本领域技术人员可以通过在不脱离本技术的精神的情况下用等同的语法和语义进行替换来实践本技术。
[0045]
提出以上描述是为了使本领域普通技术人员能够在提供的特定的应用及其要求的情况下能够实施本技术。对所描述的实施例的各种修改对于本领域技术人员而言是显而易见的，并且本文中定义的基本原理可以应用于其他实施例。因此，本技术不限于所示出和描述的特定实施例，而是应被赋予与本文公开的原理和新颖特征相一致的最宽范围。在上文的详细描述中，为了提供对本技术的全面理解，示出了各种具体细节。然而，本领域技术人员将会理解，可以在没有这些具体细节的情况下实践本技术。
[0046]
本技术中如上所述的实施例可以以各种硬件、软件代码或两者的组合来实现。例如，本技术的实施例可以是集成到视频压缩芯片中的一个或多个电路或集成到视频压缩软件中的程序代码，以执行本文中描述的处理。本技术的实施例还可以是要在数字信号处理器(digital signal processor，dsp)上执行的程序代码，以执行本文中描述的处理。本技术还可涉及由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(field programmable gate array，fpga)执行的多个功能。这些处理器可以被配置为通过执行机器可读软件代码或固件代码来执行根据本技术的特定任务，该软件代码或固件代码定义了本技术中所体现的特定方法。软件代码或固件代码可以用不同的编程语言和不同的格式或呈现方式来开发。软件代码也可以针对不同的目标平台进行编译。然而，根据本技术的软件代码的不同代码格式、呈现方式和语言以及配置代码以执行任务的其他手段不会背离本技术的精神和范围。
[0047]
在不脱离本技术的精神或基本特征的情况下，可以以其他特定形式来实施本技术。所描述的示例在所有方面都被认为是说明性的而不是切片性的。因此，本技术的范围由所附权利要求而不是由之前的描述来指示。在权利要求的等同的含义和范围内的所有变化都将被包括在其范围内。