6次多项式拟合匹配误差曲面的快速缩放运动估计方法与流程

技术特征：
1.一种6次多项式拟合匹配误差曲面的快速缩放运动估计方法，其特征在于按如下步骤进行：步骤1.输入待处理的视频序列v，令其视频长度为l帧，并令l
←
2；步骤2.从视频序列v中取出第l帧作为当前帧，并将第l
‑
1帧作为参考帧；步骤3.若第l帧中的所有宏块都已处理完毕，则转入步骤28，否则，从当前帧中选出一个未处理过的宏块i(x
tl
,y
tl
)作为当前宏块，设其大小为m
×
n像素，所述x
tl
、y
tl
分别表示当前宏块的左上角像素的横坐标和纵坐标；步骤4.利用块匹配菱形搜索算法计算当前宏块i(x
tl
,y
tl
)的水平方向平移运动分量v
x
和竖直方向平移运动分量v
y
，进而得到整像素精度的最佳匹配块r，其左上角像素的横坐标和纵坐标分别为x
tl
v
x
、y
tl
v
y
，所产生的运动补偿误差为d0；步骤5.根据公式(1)的定义，计算最佳匹配块r的0阶自相关步骤5.根据公式(1)的定义，计算最佳匹配块r的0阶自相关所述r(x
tl
v
x
m,y
tl
v
y
n)表示最佳匹配块r中坐标为(x
tl
v
x
m,y
tl
v
y
n)处的像素值；步骤6.根据公式(2)的定义，计算最佳匹配块r的0阶自相关最佳匹配块r的0阶自相关所述r(x
tl
v
x
m 1,y
tl
v
y
n 1)表示最佳匹配块r中坐标为(x
tl
v
x
m 1,y
tl
v
y
n 1)处的像素值；步骤7.根据公式(3)的定义，计算最佳匹配块r的0阶自相关步骤7.根据公式(3)的定义，计算最佳匹配块r的0阶自相关所述r(x
tl
v
x
m
‑
1,y
tl
v
y
n
‑
1)表示最佳匹配块r中坐标为(x
tl
v
x
m
‑
1,y
tl
v
y
n
‑
1)处的像素值；步骤8.根据公式(4)的定义，计算最佳匹配块r的0阶自相关步骤8.根据公式(4)的定义，计算最佳匹配块r的0阶自相关所述r(x
tl
v
x
m 2,y
tl
v
y
n 2)表示最佳匹配块r中坐标为(x
tl
v
x
m 2,y
tl
v
y
n 2)处的像素值；步骤9.根据公式(5)的定义，计算最佳匹配块r的1阶自相关步骤9.根据公式(5)的定义，计算最佳匹配块r的1阶自相关步骤10.根据公式(6)的定义，计算最佳匹配块r的1阶自相关步骤10.根据公式(6)的定义，计算最佳匹配块r的1阶自相关步骤11.根据公式(7)的定义，计算最佳匹配块r的1阶自相关
步骤12.根据公式(8)的定义，计算最佳匹配块r的2阶自相关步骤12.根据公式(8)的定义，计算最佳匹配块r的2阶自相关步骤13.根据公式(9)的定义，计算最佳匹配块r的2阶自相关步骤13.根据公式(9)的定义，计算最佳匹配块r的2阶自相关步骤14.根据公式(10)的定义，计算最佳匹配块r的3阶自相关步骤14.根据公式(10)的定义，计算最佳匹配块r的3阶自相关步骤15.根据公式(11)的定义，计算当前宏块i(x
tl
,y
tl
)的0阶自相关)的0阶自相关所述i(x
tl
m,y
tl
n)表示当前宏块i(x
tl
,y
tl
)中坐标为(x
tl
m[y
tl
n)处的像素值；步骤16.根据公式(12)的定义，计算当前宏块i(x
tl
,y
tl
)与最佳匹配块r的0阶互相关)与最佳匹配块r的0阶互相关步骤17.根据公式(13)的定义，计算当前宏块i(x
tl
,y
tl
)与最佳匹配块r的1阶互相关)与最佳匹配块r的1阶互相关步骤18.根据公式(14)的定义，计算当前宏块i(x
tl
,y
tl
)与最佳匹配块r的1阶互相关)与最佳匹配块r的1阶互相关步骤19.根据公式(15)的定义，计算当前宏块i(x
tl
,y
tl
)与最佳匹配块r的2阶互相关)与最佳匹配块r的2阶互相关步骤20.计算匹配误差曲面方程的常系数b1、b2、b3、b4、b5、b6；步骤20.1根据公式(16)的定义，计算匹配误差曲面方程的常系数b1；步骤20.2根据公式(17)的定义，计算匹配误差曲面方程的常系数b2；
步骤20.3根据公式(18)的定义，计算匹配误差曲面方程的常系数b3；步骤20.4根据公式(19)的定义，计算匹配误差曲面方程的常系数b4；步骤20.5根据公式(20)的定义，计算匹配误差曲面方程的常系数b5；步骤20.6根据公式(21)的定义，计算匹配误差曲面方程的常系数b6；步骤21.根据公式(22)～公式(28)的定义，利用b1、b2、b3、b4、b5、b6及其关于m和(1
‑
m)的非线性加权组合，计算缩放因子z<1且(1
‑
z)
·
(m
‑
1)<1时的一元6次多项式的实系数u0、u1、u2、u3、u4、u5、u6，进而建立一个关于缩放因子z的一元6次多项式p6′
(z)＝u0z6 u1z5 u2z4 u3z3 u4z2 u5z u6对此时的匹配误差曲面进行拟合；u0＝m6b1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(22)u1＝6m5(1
‑
m)b1 m5b2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(23)u2＝15m4(1
‑
m)2b1 5m4(1
‑
m)b2 m4b3ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(24)u3＝20m3(1
‑
m)3b1 10m3(1
‑
m)2b2 4m3(1
‑
m)b3 m3b4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(25)u4＝15m2(1
‑
m)4b1 10m2(1
‑
m)3b2 6m2(1
‑
m)2b3 3m2(1
‑
m)b4 m2b5ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(26)u5＝6m(1
‑
m)5b1 5m(1
‑
m)4b2 4m(1
‑
m)3b3 3m(1
‑
m)2b4 2m(1
‑
m)b5ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(27)u6＝(1
‑
m)6b1 (1
‑
m)5b2 (1
‑
m)4b3 (1
‑
m)3b4 (1
‑
m)2b5 b6ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(28)所述m是整数且m∈[0,m
‑
1]；步骤22.根据公式(29)～公式(35)的定义，利用b1、b2、b3、b4、b5、b6及其关于m和(1
‑
m)的非线性加权组合，计算缩放因子z>1且(z
‑
1)
·
(m
‑
1)<1时的一元6次方程的实系数uu0、uu1、uu2、uu3、uu4、uu5、uu6，进而建立一个关于缩放因子z的一元6次多项式p6″
(z)＝uu0z6 uu1z5 uu2z4 uu3z3 uu4z2 uu5z uu6对此时的匹配误差曲面进行拟合；uu0＝m6b1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(29)uu1＝
‑
6m6b1 m5b2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(30)uu2＝15m6b1‑
5m5b2 m4b3ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(31)uu3＝
‑
20m6b1 10m5b2‑
4m4b3 m3b4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(32)uu4＝15m6b1‑
10m5b2 6m4b3‑
3m3b4 m2b5ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(33)uu5＝
‑
6m6b1 5m5b2‑
4m4b3 3m3b4 2m2b5ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(34)uu6＝m6b1‑
m5b2 m4b3‑
m3b4 m2b5 b6ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(35)步骤23.根据公式(36)的定义，计算一元6次多项式p6′
(z)＝u0z6 u1z5 u2z4 u3z3 u4z2 u5z u6的根z
1,1
、z
1,2
、z
1,3
、z
1,4
、z
1,5
、z
1,6
，并舍去不合理的复数根和负数根；
其中，k∈{0,1,2,3,4,5}；步骤24.根据公式(37)的定义，计算一元6次多项式p6″
(z)＝uu0z6 uu1z5 uu2z4 uu3z3 uu4z2 uu5z uu6的根z
2,1
、z
2,2
、z
2,3
、z
2,4
、z
2,5
、z
2,6
，并舍去不合理的复数根和负数根；其中，k∈{0,1,2,3,4,5}；步骤25.根据公式(38)～公式(43)的定义，计算当z<1且(1
‑
z)
·
(m
‑
1)<1时的最佳缩放因子及其运动补偿误差d1；；w(x
tl
,v
x
,z,m)＝z
·
m (x
tl
v
x
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(40)w(y
tl
,v
y
,z,n)＝z
·
n (y
tl
v
y
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(41)(41)所述r(
·
)表示最佳匹配块r中坐标为“·”处的像素值，其亚像素精度的像素值由双三次插值得到；步骤26.根据公式(44)和公式(47)的定义，计算当z>1且(z
‑
1)
·
(m
‑
1)<1时的最佳缩放因子及其运动补偿误差d2；；；；步骤27.对运动补偿误差d0、d1和d2进行比较，并令d＝min{d0,d1,d2}，所述min{
·
}表示取最小值的运算；步骤27.1若d＝d0，则令当前宏块i(x
tl
,y
tl
)的最佳缩放因子z
*
＝0，即不发生缩放运动；步骤27.2若d＝d1，则令当前宏块i(x
tl
,y
tl
)的最佳缩放因子即发生局部缩小运动；步骤27.3若d＝d2，则令当前宏块i(x
tl
,y
tl
)的最佳缩放因子即发生局部放大运
动；步骤27.4输出当前宏块i(x
tl
,y
tl
)的缩放运动向量(v
x
,v
y
,z
*
)及其运动补偿误差，其中，v
x
表示当前宏块的水平方向平移运动分量，v
y
表示当前宏块的竖直方向平移运动分量，z
*
表示当前宏块的最佳缩放因子，返回步骤3；步骤28.令l
←
l 1，若l≤l，则返回步骤2，否则，运动估计过程结束。

技术总结
本发明公开一种6次多项式拟合匹配误差曲面的快速缩放运动估计方法，首先，使用双三次插值方法在基于块匹配的平移模型中引进一个缩放因子，进而采用以缩放因子为自变量的一元6次多项式对运动补偿误差曲面进行拟合；其次，利用一元6次实系数多项式的求根方法计算出最佳的缩放因子，在此基础上，提出一种基于缩放模型的快速块匹配运动估计算法。实验结果表明，本发明的运动补偿平均峰值信噪比较之块匹配全搜索、块匹配菱形搜索和3D


技术研发人员：宋传鸣 孙诗琦 乔明泽 刘丹 王相海
受保护的技术使用者：辽宁师范大学
技术研发日：2021.08.10
技术公布日：2021/10/19