6次多项式拟合匹配误差曲面的快速缩放运动估计方法与流程

1.本发明涉及视频编码压缩领域，尤其是一种运算速度快、运动补偿质量高、实时性强、无需重复的亚像素插值运算、能有效预测视频缩放运动因子的6次多项式拟合匹配误差曲面的快速缩放运动估计方法。


背景技术：

2.在基于块的差分预测 变换的闭环混合编码框架下，运动估计是一种有效的时间维差分预测技术，被广泛应用于avs、h.264/avc、h.265/hevc、h.266/vvc和vc
‑
1等视频编码标准中，是影响和制约视频编码器的整体率失真性能的关键技术。然而，运动估计环节所消耗的计算资源往往占编码器全部资源的50％以上，甚至可达80％。在这种情况下，为了在复杂度和预测精度之间进行折中，现有视频编码标准普遍采用基于平移模型的块匹配运动估计方法，并陆续提出了多种快速块匹配策略，如基于候选向量下采样的块匹配运动估计、基于像素下采样的块匹配运动估计、基于低比特深度像素的块匹配运动估计等。然而，平移模型无法有效预测由物体的旋转、缩放、变形和摄像机运动产生的非刚性复合运动。而且，基于块平移模型的运动估计通常不能获得平滑、连续的运动场，特别是在低码率下容易产生块效应，从而不可避免地影响了解码视频的主观质量。在这种情况下，近年来高阶运动模型被引入到视频编码器的运动估计环节，先后提出了基于网格模型的运动估计、基于仿射模型的运动估计、基于弹性模型的运动估计和基于缩放模型的运动估计等，从而弥补平移运动模型的不足。
3.通过在16个标准测试视频序列上进行实验统计后发现，大约74.46％的宏块包含非整数像素精度的缩放运动。可见，缩放运动是除平移运动以外、视频中最普遍存在的运动形式之一，可有效表示由于摄像机的推摄、拉摄和复合运动拍摄所产生的物体运动，并且无法利用基于块匹配的传统平移模型实现准确预测和补偿。因此，基于缩放模型的运动估计对于提高运动估计/补偿质量和视频编码的率失真性能具有重要作用。然而，基于缩放模型的运动估计需要在块平移向量的基础上，通过在可能的参数空间中“暴力搜索”最优的缩放步长，进而计算最佳的缩放比例，才能得到率失真性能较好的缩放运动向量。该过程涉及大量的亚像素插值运算，其计算复杂度远远高于块平移模型的全搜索，根本无法实现实时的运动估计/补偿，这在很大程度上限制了其实用性。
4.为克服上述不足，视频编码领域的技术人员目前主要从两个方面对基于缩放模型的运动估计方法进行改进。
5.第一，以隐式的方式求解缩放系数，不需要向解码端传输同步信息，可以直接与视频编码标准进行结合。po等人使用多达23个缩放参考帧完成运动估计，与没有使用缩放参考帧的传统运动补偿预测相比，该方法明显提高了帧间预测精度，其平均峰值信噪比提高了1.69db～2.34db。但是，该方法对缩放因子的估计以及基于这些缩放因子重建的缩放参考帧会显著增加计算复杂度和内存需求；此外，该方法利用6
‑
抽头有限脉冲响应滤波器来获得内插帧，所需的缓存空间非常大，并且不能提供灵活的缩放因子，无法实现缩放因子的
自适应计算。为了节约缩放参考帧所需的缓存空间，yuan等人从相机成像的原理出发建立了全局/局部缩放运动的线性运动模型，再使用线性回归来计算当前编码块的模型参数以及随着像素坐标线性变化的缩放运动向量。不过，该方法在预测运动向量时会产生编码增益不稳定的情况，还容易受到亮度变化的干扰，所获得的运动向量与精确的线性运动模型并不完全一致，导致帧间预测精度下降。为此，liu等人提出了一种结合线性回归、模板匹配和率失真优化的运动补偿预测方法，首先利用线性回归和位于待编码块左侧、上方、右侧相邻块的运动向量计算当前待编码块的模型参数，然后采用模型参数和当前块的坐标来计算基本候选运动向量，进而通过模板匹配求解最佳的候选运动向量。然而，由于视频序列中往往存在局部亮度变化、随机噪声或其他不规则运动，该方法的搜索过程容易陷入局部最优点。luo等人提出了一种在编码树单元、预测单元和运动矢量层中优化运动估计过程并实现分层并行化的方法，在编码树单元层引进了一种新的运动矢量预测器，为预测单元层设计了一个新的索引表来实现高效的误差推导策略，并在运动矢量层中利用一种处理器描述符来表示运动矢量及其整体开销。
6.第二，以显式方式计算缩放系数，并向解码端传输同步信息。kim等人提出了一种基于多尺度策略的缩放运动估计方法，通过对待预测块进行多次的双线性插值，得到了不同尺度下的高质量视频场景，从而完成运动估计和补偿。然而，这种反复插值的策略也不可避免地导致计算量的大量增加。为此，通过分析当对象和摄像机之间的距离发生变化时会发生缩放运动这一规律，lee等人采用双线性插值运算对待预测块的尺寸进行调整，使得缩放后的参考块与待预测块的尺寸相同，从而完成块匹配操作并实现了一种基于块的局部区域缩放方法。并且，lee等人引入三维菱形搜索策略提出了一种3d
‑
zpds(zoom predictive diamond search)方法，以减少不必要运动向量的搜索点数量，能够更有效地找到缩放运动向量。虽然该方法能够降低复杂性且不需要内存缓冲，但是当缩放比例较大时，其运动向量搜索过程会出现预测失败的可能。由于亚像素插值是视频编码器中计算最复杂的部分之一，尤其是h.266/vvc标准的插值滤波器长度更长、计算复杂度更高，宋传鸣等人提出了一种基于整像素精度像素计算自适应缩放系数的缩放运动估计算法。然而，由于双线性插值无法准确逼近亚像素的像素值，该方法所得到的缩放运动向量仅为近似最优值，其预测精度尚有进一步提高的空间。
7.综合上述两方面的现有技术可知，有效控制缩放因子所产生的高计算成本和缓存开销、减少频繁的亚像素插值操作是改善缩放运动估计效率的关键所在。遗憾的是，目前尚没有一种能够在计算复杂度、亚像素插值次数和缩放运动向量精度之间达到理想折中的运算速度快、运动补偿质量高、实时性强、无需重复的亚像素插值运算、能有效预测视频缩放运动因子的快速缩放运动估计方法。


技术实现要素：

8.本发明是为了解决现有技术所存在的上述技术问题，提供一种运算速度快、运动补偿质量高、实时性强、无需重复的亚像素插值运算、能有效预测视频缩放运动因子的6次多项式拟合匹配误差曲面的快速缩放运动估计方法。
9.本发明的技术解决方案是：一种6次多项式拟合匹配误差曲面的快速缩放运动估计方法，其特征在于按照如下步骤进行：
10.步骤1.输入待处理的视频序列v，令其视频长度为l帧，并令l
←
2；
11.步骤2.从视频序列v中取出第l帧作为当前帧，并将第l
‑
1帧作为参考帧；
12.步骤3.若第l帧中的所有宏块都已处理完毕，则转入步骤28，否则，从当前帧中选出一个未处理过的宏块i(x
tl
,y
tl
)作为当前宏块，设其大小为m
×
n像素，所述x
tl
、y
tl
分别表示当前宏块的左上角像素的横坐标和纵坐标；
13.步骤4.利用块匹配菱形搜索算法计算当前宏块i(x
tl
,y
tl
)的水平方向平移运动分量v
x
和竖直方向平移运动分量v
y
，进而得到整像素精度的最佳匹配块r，其左上角像素的横坐标和纵坐标分别为x
tl
v
x
、y
tl
v
y
，所产生的运动补偿误差为d0；
14.步骤5.根据公式(1)的定义，计算最佳匹配块r的0阶自相关
[0015][0016]
所述r(x
tl
v
x
m,y
tl
v
y
n)表示最佳匹配块r中坐标为(x
tl
v
x
m,y
tl
v
y
n)处的像素值；
[0017]
步骤6.根据公式(2)的定义，计算最佳匹配块r的0阶自相关
[0018][0019]
所述r(x
tl
v
x
m 1,y
tl
v
y
n 1)表示最佳匹配块r中坐标为(x
tl
v
x
m 1,y
tl
v
y
n 1)处的像素值；
[0020]
步骤7.根据公式(3)的定义，计算最佳匹配块r的0阶自相关步骤7.根据公式(3)的定义，计算最佳匹配块r的0阶自相关
[0021]
所述r(x
tl
v
x
m
‑
1,y
tl
v
y
n
‑
1)表示最佳匹配块r中坐标为(x
tl
v
x
m
‑
1,y
tl
v
y
n
‑
1)处的像素值；
[0022]
步骤8.根据公式(4)的定义，计算最佳匹配块r的0阶自相关步骤8.根据公式(4)的定义，计算最佳匹配块r的0阶自相关
[0023]
所述r(x
tl
v
x
m 2,y
tl
v
y
n 2)表示最佳匹配块r中坐标为(x
tl
v
x
m 2,y
tl
v
y
n 2)处的像素值；
[0024]
步骤9.根据公式(5)的定义，计算最佳匹配块r的1阶自相关
[0025][0026]
步骤10.根据公式(6)的定义，计算最佳匹配块r的1阶自相关
[0027][0028]
步骤11.根据公式(7)的定义，计算最佳匹配块r的1阶自相关
[0029]
[0030]
步骤12.根据公式(8)的定义，计算最佳匹配块r的2阶自相关
[0031][0032]
步骤13.根据公式(9)的定义，计算最佳匹配块r的2阶自相关
[0033][0034]
步骤14.根据公式(10)的定义，计算最佳匹配块r的3阶自相关
[0035][0036]
步骤15.根据公式(11)的定义，计算当前宏块i(x
tl
,y
tl
)的0阶自相关
[0037][0038]
所述i(x
tl
m,y
tl
n)表示当前宏块i(x
tl
,y
tl
)中坐标为(x
tl
m,y
tl
n)处的像素值；
[0039]
步骤16.根据公式(12)的定义，计算当前宏块i(x
tl
,y
tl
)与最佳匹配块r的0阶互相关
[0040][0041]
步骤17.根据公式(13)的定义，计算当前宏块i(x
tl
,y
tl
)与最佳匹配块r的1阶互相关
[0042][0043]
步骤18.根据公式(14)的定义，计算当前宏块i(x
tl
,y
tl
)与最佳匹配块r的1阶互相关
[0044][0045]
步骤19.根据公式(15)的定义，计算当前宏块i(x
tl
,y
tl
)与最佳匹配块r的2阶互相关
[0046][0047]
步骤20.计算匹配误差曲面方程的常系数b1、b2、b3、b4、b5、b6；
[0048]
步骤20.1根据公式(16)的定义，计算匹配误差曲面方程的常系数b1；
[0049][0050]
步骤20.2根据公式(17)的定义，计算匹配误差曲面方程的常系数b2；
[0051][0052]
步骤20.3根据公式(18)的定义，计算匹配误差曲面方程的常系数b3；
[0053][0054]
步骤20.4根据公式(19)的定义，计算匹配误差曲面方程的常系数b4；
[0055][0056]
步骤20.5根据公式(20)的定义，计算匹配误差曲面方程的常系数b5；
[0057][0058]
步骤20.6根据公式(21)的定义，计算匹配误差曲面方程的常系数b6；
[0059][0060]
步骤21.根据公式(22)～公式(28)的定义，利用b1、b2、b3、b4、b5、b6及其关于m和(1
‑
m)的非线性加权组合，计算缩放因子z<1且(1
‑
z)
·
(m
‑
1)<1时的一元6次多项式的实系数u0、u1、u2、u3、u4、u5、u6，进而建立一个关于缩放因子z的一元6次多项式p6′
(z)＝u0z6 u1z5 u2z4 u3z3 u4z2 u5z u6对此时的匹配误差曲面进行拟合；
[0061]
u0＝m6b1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(22)
[0062]
u1＝6m5(1
‑
m)b1 m5b2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(23)
[0063]
u2＝15m4(1
‑
m)2b1 5m4(1
‑
m)b2 m4b3ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(24)
[0064]
u3＝20m3(1
‑
m)3b1 10m3(1
‑
m)2b2 4m3(1
‑
m)b3 m3b4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(25)
[0065]
u4＝15m2(1
‑
m)4b1 10m2(1
‑
m)3b2 6m2(1
‑
m)2b3 3m2(1
‑
m)b4 m2b5ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(26)
[0066]
u5＝6m(1
‑
m)5b1 5m(1
‑
m)4b2 4m(1
‑
m)3b3 3m(1
‑
m)2b4 2m(1
‑
m)b5ꢀꢀꢀꢀꢀꢀꢀꢀ
(27)
[0067]
u6＝(1
‑
m)6b1 (1
‑
m)5b2 (1
‑
m)4b3 (1
‑
m)3b4 (1
‑
m)2b5 b6ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(28)
[0068]
所述m是整数且m∈[0,m
‑
1]；
[0069]
步骤22.根据公式(29)～公式(35)的定义，利用b1、b2、b3、b4、b5、b6及其关于m和(1
‑
m)的非线性加权组合，计算缩放因子z>1且(z
‑
1)
·
(m
‑
1)<1时的一元6次方程的实系数uu0、uu1、uu2、uu3、uu4、uu5、uu6，进而建立一个关于缩放因子z的一元6次多项式p6″
(z)＝uu0z6 uu1z5 uu2z4 uu3z3 uu4z2 uu5z uu6对此时的匹配误差曲面进行拟合；
[0070]
uu0＝m6b1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(29)
[0071]
uu1＝
‑
6m6b1 m5b2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(30)
[0072]
uu2＝15m6b1‑
5m5b2 m4b3ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(31)
[0073]
uu3＝
‑
20m6b1 10m5b2‑
4m4b3 m3b4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(32)
[0074]
uu4＝15m6b1‑
10m5b2 6m4b3‑
3m3b4 m2b5ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(33)
[0075]
uu5＝
‑
6m6b1 5m5b2‑
4m4b3 3m3b4 2m2b5ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(34)
[0076]
uu6＝m6b1‑
m5b2 m4b3‑
m3b4 m2b5 b6ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(35)
[0077]
步骤23.根据公式(36)的定义，计算一元6次多项式p6′
(z)＝u0z6 u1z5 u2z4 u3z3 u4z2 u5z u6的根z
1,1
、z
1,2
、z
1,3
、z
1,4
、z
1,5
、z
1,6
，并舍去不合理的复数根和负数根；
[0078][0079]
其中，k∈{0,1,2,3,4,5}；
[0080]
步骤24.根据公式(37)的定义，计算一元6次多项式p6″
(z)＝uu0z6 uu1z5 uu2z4 uu3z3 uu4z2 uu5z uu6的根z
2,1
、z
2,2
、z
2,3
、z
2,4
、z
2,5
、z
2,6
，并舍去不合理的复数根和负数根；
[0081][0082]
其中，k∈{0,1,2,3,4,5}；
[0083]
步骤25.根据公式(38)～公式(43)的定义，计算当z<1且(1
‑
z)
·
(m
‑
1)<1时的最佳缩放因子及其运动补偿误差d1；
[0084][0085][0086]
w(x
tl
,v
x
,z,m)＝z
·
m (x
tl
v
x
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(40)
[0087]
w(y
tl
,v
y
,z,n)＝z
·
n (y
tl
v
y
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(41)
[0088][0089][0090]
所述r(
·
)表示最佳匹配块r中坐标为“·”处的像素值，其亚像素精度的像素值由双三次插值得到；
[0091]
步骤26.根据公式(44)和公式(47)的定义，计算当z>1且(z
‑
1)
·
(m
‑
1)<1时的最佳缩放因子及其运动补偿误差d2；
[0092][0093][0094][0095][0096]
步骤27.对运动补偿误差d0、d1和d2进行比较，并令d＝min{d0,d1,d2}，所述min{
·
}表示取最小值的运算；
[0097]
步骤27.1若d＝d0，则令当前宏块i(x
tl
,y
tl
)的最佳缩放因子z
*
＝0，即不发生缩放运动；
[0098]
步骤27.2若d＝d1，则令当前宏块i(x
tl
,y
tl
)的最佳缩放因子即发生局部缩小运动；
[0099]
步骤27.3若d＝d2，则令当前宏块i(x
tl
,y
tl
)的最佳缩放因子即发生局部放大运动；
[0100]
步骤27.4输出当前宏块i(x
tl
,y
tl
)的缩放运动向量(v
x
,v
y
,z
*
)及其运动补偿误差，其中，v
x
表示当前宏块的水平方向平移运动分量，v
y
表示当前宏块的竖直方向平移运动分量，z
*
表示当前宏块的最佳缩放因子，返回步骤3；
[0101]
步骤28.令l
←
l 1，若l≤l，则返回步骤2，否则，运动估计过程结束。
[0102]
与现有的技术相比，本发明从三个方面降低缩放运动估计的计算复杂度，并提高其运动估计和补偿的精度：首先，采用当前待预测块及其基于块平移模型的最佳匹配块的0阶自相关、1阶自相关、2阶自相关、3阶自相关、0阶互相关、1阶互相关、2阶互相关，建立一个关于视频缩放因子的一元6次多项式对运动补偿误差曲面进行精确拟合，并通过求解该6次多项式的根，得到视频缩放运动的最优缩放因子，既无需传统缩放运动估计方法的“暴力”搜索，又能够有效避免最优缩放因子的快速搜索过程陷入局部最优点；其次，由于仅在获得了最佳缩放因子的情况下才进行亚像素插值，本发明只需对当前待预测块进行2次亚像素插值，显著减少了传统缩放运动估计方法所需的重复的亚像素插值运算次数，其计算复杂度大幅度降低，从而保证了缩放运动估计方法的实时性能；第三，传统缩放运动估计方法只将缩放因子限制在[0.97,1.03]区间内的5个实数上，而由于本发明采用一元6次多项式对运动补偿误差曲面进行拟合，其得到的最优缩放比例可为任意正实数，从而突破了传统方法所设定的缩放因子的值域，进而有效提高了缩放运动向量的精度、减小了运动补偿的误差。因此，本发明具有运算速度快、运动补偿质量高、实时性强、无需重复的亚像素插值运算、能有效预测视频缩放运动因子等优点。
具体实施方式
[0103]
本发明的一种6次多项式拟合匹配误差曲面的快速缩放运动估计方法，其特征在于按照如下步骤进行：
[0104]
步骤1.输入待处理的视频序列v，令其视频长度为l帧，并令l
←
2；
[0105]
步骤2.从视频序列v中取出第l帧作为当前帧，并将第l
‑
1帧作为参考帧；
[0106]
步骤3.若第l帧中的所有宏块都已处理完毕，则转入步骤28，否则，从当前帧中选出一个未处理过的宏块i(x
tl
,y
tl
)作为当前宏块，设其大小为m
×
n像素，所述x
tl
、y
tl
分别表示当前宏块的左上角像素的横坐标和纵坐标，在本实施例中，令m＝16，n＝16；
[0107]
步骤4.利用块匹配菱形搜索算法计算当前宏块i(x
tl
,y
tl
)的水平方向平移运动分量v
x
和竖直方向平移运动分量v
y
，进而得到整像素精度的最佳匹配块r，其左上角像素的横坐标和纵坐标分别为x
tl
v
x
、y
tl
v
y
，所产生的运动补偿误差为d0；
[0108]
步骤5.根据公式(1)的定义，计算最佳匹配块r的0阶自相关
[0109][0110]
所述r(x
tl
v
x
m,y
tl
v
y
n)表示最佳匹配块r中坐标为(x
tl
v
x
m,y
tl
v
y
n)处的像素值；
[0111]
步骤6.根据公式(2)的定义，计算最佳匹配块r的0阶自相关
[0112][0113]
所述r(x
tl
v
x
m 1,y
tl
v
y
n 1)表示最佳匹配块r中坐标为(x
tl
v
x
m 1,y
tl
v
y
n 1)处的像素值；
[0114]
步骤7.根据公式(3)的定义，计算最佳匹配块r的0阶自相关步骤7.根据公式(3)的定义，计算最佳匹配块r的0阶自相关
[0115]
所述r(x
tl
v
x
m
‑
1,y
tl
v
y
n
‑
1)表示最佳匹配块r中坐标为(x
tl
v
x
m
‑
1,y
tl
v
y
n
‑
1)处的像素值；
[0116]
步骤8.根据公式(4)的定义，计算最佳匹配块r的0阶自相关
[0117][0118]
所述r(x
tl
v
x
m 2,y
tl
v
y
n 2)表示最佳匹配块r中坐标为(x
tl
v
x
m 2,y
tl
v
y
n 2)处的像素值；
[0119]
步骤9.根据公式(5)的定义，计算最佳匹配块r的1阶自相关
[0120][0121]
步骤10.根据公式(6)的定义，计算最佳匹配块r的1阶自相关
[0122][0123]
步骤11.根据公式(7)的定义，计算最佳匹配块r的1阶自相关
[0124][0125]
步骤12.根据公式(8)的定义，计算最佳匹配块r的2阶自相关
[0126][0127]
步骤13.根据公式(9)的定义，计算最佳匹配块r的2阶自相关
[0128][0129]
步骤14.根据公式(10)的定义，计算最佳匹配块r的3阶自相关
[0130][0131]
步骤15.根据公式(11)的定义，计算当前宏块i(x
tl
,y
tl
)的0阶自相关
[0132][0133]
所述i(x
tl
m,y
tl
n)表示当前宏块i(x
tl
,y
tl
)中坐标为(x
tl
m，y
tl
n)处的像素值；
[0134]
步骤16.根据公式(12)的定义，计算当前宏块i(x
tl
,y
tl
)与最佳匹配块r的0阶互相
关
[0135][0136]
步骤17.根据公式(13)的定义，计算当前宏块i(x
tl
,y
tl
)与最佳匹配块r的1阶互相关
[0137][0138]
步骤18.根据公式(14)的定义，计算当前宏块i(x
tl
,y
tl
)与最佳匹配块r的1阶互相关
[0139][0140]
步骤19.根据公式(15)的定义，计算当前宏块i(x
tl
,y
tl
)与最佳匹配块r的2阶互相关
[0141][0142]
步骤20.计算匹配误差曲面方程的常系数b1、b2、b3、b4、b5、b6；
[0143]
步骤20.1根据公式(16)的定义，计算匹配误差曲面方程的常系数b1；
[0144][0145]
步骤20.2根据公式(17)的定义，计算匹配误差曲面方程的常系数b2；
[0146][0147]
步骤20.3根据公式(18)的定义，计算匹配误差曲面方程的常系数b3；
[0148][0149]
步骤20.4根据公式(19)的定义，计算匹配误差曲面方程的常系数b4；
[0150][0151]
步骤20.5根据公式(20)的定义，计算匹配误差曲面方程的常系数b5；
[0152][0153]
步骤20.6根据公式(21)的定义，计算匹配误差曲面方程的常系数b6；
[0154][0155]
步骤21.根据公式(22)～公式(28)的定义，利用b1、b2、b3、b4、b5、b6及其关于m和(1
‑
m)的非线性加权组合，计算缩放因子z<1且(1
‑
z)
·
(m
‑
1)<1时的一元6次多项式的实系数u0、u1、u2、u3、u4、u5、u6，进而建立一个关于缩放因子z的一元6次多项式p6′
(z)＝u0z6 u1z5 u2z4 u3z3 u4z2 u5z u6对此时的匹配误差曲面进行拟合；
[0156]
u0＝m6b1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(22)
[0157]
u1＝6m5(1
‑
m)b1 m5b2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(23)
[0158]
u2＝15m4(1
‑
m)2b1 5m4(1
‑
m)b2 m4b3ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(24)
[0159]
u3＝20m3(1
‑
m)3b1 10m3(1
‑
m)2b2 4m3(1
‑
m)b3 m3b4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(25)
[0160]
u4＝15m2(1
‑
m)4b1 10m2(1
‑
m)3b2 6m2(1
‑
m)2b3 3m2(1
‑
m)b4 m2b5ꢀꢀꢀꢀꢀꢀ
(26)
[0161]
u5＝6m(1
‑
m)5b1 5m(1
‑
m)4b2 4m(1
‑
m)3b3 3m(1
‑
m)2b4 2m(1
‑
m)b5ꢀꢀꢀꢀꢀ
(27)
[0162]
u6＝(1
‑
m)6b1 (1
‑
m)5b2 (1
‑
m)4b3 (1
‑
m)3b4 (1
‑
m)2b5 b6ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(28)
[0163]
所述m是整数且m∈[0,m
‑
1]；
[0164]
步骤22.根据公式(29)～公式(35)的定义，利用b1、b2、b3、b4、b5、b6及其关于m和(1
‑
m)的非线性加权组合，计算缩放因子z>1且(z
‑
1)
·
(m
‑
1)<1时的一元6次方程的实系数uu0、uu1、uu2、uu3、uu4、uu5、uu6，进而建立一个关于缩放因子z的一元6次多项式p6″
(z)＝uu0z6 uu1z5 uu2z4 uu3z3 uu4z2 uu5z uu6对此时的匹配误差曲面进行拟合；
[0165]
uu0＝m6b1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(29)
[0166]
uu1＝
‑
6m6b1 m5b2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(30)
[0167]
uu2＝15m6b1‑
5m5b2 m4b3ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(31)
[0168]
uu3＝
‑
20m6b1 10m5b2‑
4m4b3 m3b4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(32)
[0169]
uu4＝15m6b1‑
10m5b2 6m4b3‑
3m3b4 m2b5ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(33)
[0170]
uu5＝
‑
6m6b1 5m5b2‑
4m4b3 3m3b4 2m2b5ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(34)
[0171]
uu6＝m6b1‑
m5b2 m4b3‑
m3b4 m2b5 b6ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(35)
[0172]
步骤23.根据公式(36)的定义，计算一元6次多项式p6′
(z)＝u0z6 u1z5 u2z4 u3z3 u4z2 u5z u6的根z
1,1
、z
1,2
、z
1,3
、z
1,4
、z
1,5
、z
1,6
，并舍去不合理的复数根和负数根；
[0173][0174]
其中，k∈{0,1,2,3,4,5}；
[0175]
步骤24.根据公式(37)的定义，计算一元6次多项式p6″
(z)＝uu0z6 uu1z5 uu2z4 uu3z3 uu4z2 uu5z uu6的根z
2,1
、z
2,2
、z
2,3
、z
2,4
、z
2,5
、z
2,6
，并舍去不合理的复数根和负数根；
[0176][0177]
其中，k∈{0,1,2,3,4,5}；
[0178]
步骤25.根据公式(38)～公式(43)的定义，计算当z<1且(1
‑
z)
·
(m
‑
1)<1时的最佳缩放因子及其运动补偿误差d1；
[0179][0180][0181]
w(x
tl
,v
x
,z,m)＝z
·
m (x
tl
v
x
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(40)
[0182]
w(y
tl
,v
y
,z,n)＝z
·
n (y
tl
v
y
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(41)
[0183][0184][0185]
所述r(
·
)表示最佳匹配块r中坐标为“·”处的像素值，其亚像素精度的像素值由双三次插值得到；
[0186]
步骤26.根据公式(44)和公式(47)的定义，计算当z>1且(z
‑
1)
·
(m
‑
1)<1时的最佳缩放因子及其运动补偿误差d2；
[0187][0188][0189][0190][0191]
步骤27.对运动补偿误差d0、d1和d2进行比较，并令d＝min{d0,d1,d2}，所述min{
·
}表示取最小值的运算；
[0192]
步骤27.1若d＝d0，则令当前宏块i(x
tl
,y
tl
)的最佳缩放因子z
*
＝0，即不发生缩放运动；
[0193]
步骤27.2若d＝d1，则令当前宏块i(x
tl
,y
tl
)的最佳缩放因子即发生局部缩小运动；
[0194]
步骤27.3若d＝d2，则令当前宏块i(x
tl
,y
tl
)的最佳缩放因子即发生局部放大运动；
[0195]
步骤27.4输出当前宏块i(x
tl
,y
tl
)的缩放运动向量(v
x
,v
y
,z
*
)及其运动补偿误差，其中，v
x
表示当前宏块的水平方向平移运动分量，v
y
表示当前宏块的竖直方向平移运动分量，z
*
表示当前宏块的最佳缩放因子，返回步骤3；
[0196]
步骤28.令l
←
l 1，若l≤l，则返回步骤2，否则，运动估计过程结束。
[0197]
以国际视频编码标准公布的33个通用标准视频序列的第1～90帧为例进行实验，分别采用块匹配全搜索、块匹配菱形搜索、3d
‑
zpds、自适应系数预测的缩放运动估计和本发明进行运动估计，所得到的运动补偿峰值信噪比(peak signal
‑
to
‑
noise ratio,psnr)结果如表1。
[0198]
表1本发明与不同运动估计方法的运动补偿psnr比较(单位：db)
[0199][0200]
从表1中可见，本发明利用一元6次多项式对运动补偿的匹配误差曲面进行拟合，进而求解出最佳的视频缩放运动因子，其平均psnr比块匹配菱形搜索方法提高了0.76db，比块匹配全搜索方法提高了0.23db。可见，缩放运动估计可以增强基于块匹配的运动补偿性能，而且通过组合平移和缩放运动分量，能够更加高效地处理更多现实世界中的运动，是一种合理并且有效的优化方案。进一步地，本发明的平均psnr比3d
‑
zpds方法提高了0.11db，比自适应缩放系数的缩放运动估计方法提高了0.12db，表明本发明能够利用一元6次多项式更加准确地拟合匹配误差曲面，更加充分地发掘像素间的非线性相关关系，其得到的最优缩放比例可为任意正实数，从而突破了传统方法所设定的缩放因子的值域，有效提高了缩放运动向量的精度、减小了运动补偿的误差。
[0201]
本实施例的硬件环境为intel haswell i7
‑
4790 cpu@3.6ghz，内存为16gb，软件环境为64位windows 7旗舰版操作系统、microsoft visual studio 2010和matlab r2014a。不同视频测试序列采用本发明及基于模型传统的缩放运动估计方法所需的计算时间如表2。
[0202]
表2本发明与不同运动估计方法的计算量比较(单位：秒/帧)
[0203][0204][0205]
从表2可见，本发明的平均计算时间略高于块匹配菱形搜索方法，但是明显小于块匹配全搜索方法，较后者节省了96.52％，加速了28.71倍；并且，本发明的平均计算时间相当于3d
‑
zfds、自适应缩放系数的缩放运动估计方法的3.38％和87.5％，分别加速了29.57
倍、1.14倍。