360度视频帧内预测模式决策方法与流程

1.本发明属于视频编码技术领域，具体涉及到360度视频帧内预测模式决策。


背景技术：

2.360度视频作为一种虚拟现实技术，在沉浸式影院、vr游戏、社交媒体、电视广播与远程教育等得到了广泛应用。360度视频的分辨率一般为4k、6k或8k，视频的帧分辨率通常为60帧每秒，有时甚至高达90帧每秒，因此高质量的360度视频每秒就可以消耗数千兆的带宽。如何有效地提高编码速度是促进360度视频技术发展的关键因素。联合图像专家组、运动图像专家组以及联合视频研究组等组织正在对360度视频进行了深入的研究，以确定统一的编码标准。
3.360度视频的处理流程包括对360度视频的拼接处理、投影转换、编码、传输、解码、视频渲染、逆投影等过程。其中，投影转换方式是决定360度视频编码效率的关键因素，常用的投影方式有等矩形投影，它直观易生成但在极点附近会发生过采样，导致较大的形状失真和编码比特浪费。立方体投影将球面投影至立方体表面，并以灵活的方式排列，排列方式不同可导致压缩效率不同。相较于等矩形投影，立方体投影提高了运动估计和运动补偿的效率，但仍存在过采样问题，与原球面相比，过采样率高达190％。除此之外还有等角立方体投影、八面体投影、球面分割投影、旋转的球面投影、赤道圆柱投影、二十面体投影等11种投影方式。不同的投影方式以不同采样密度对球体的不同区域进行采样，且无论使用哪种投影方式都会带来一定程度的画面失真。目前大多数360度视频编码优化研究都是结合高效视频编码进行的。为了提高360度视频编码的性能，目前有许多工作从投影方式、编码框架以及帧内编码算法等方面提出了许多优化方法，用来提高360度视频编码的质量和效率。
4.360度视频的高分辨率使帧内编码中的cu划分和模式决策过程比传统视频具有更高的编码复杂度，耗费更多的编码时间，因此对其帧内编码算法优化是一项重要的研究工作。
5.与传统视频相比，经过投影后的360度视频都会产生一定程度的变形失真，这将导致编码器在帧的不同区域展现出不同的编码性能。而且360度视频的高分辨率会使得帧内编码中模式决策过程耗费大量的编码时间。


技术实现要素：

6.本发明索要解决的技术问题在于克服上述现有技术的缺点，提供一种编码复杂度低、编码时间短的360度视频帧内预测模式决策方法。
7.解决上述技术问题所采用的技术方案是由下述步骤组成：
8.(1)构建大尺寸预测单元模式决策方法
9.预测单元pu尺寸为64
×
64、32
×
32，对当前预测单元pu采用两阶段的粗略模式决策方法：
10.1)构建第一阶段的粗略模式决策方法
11.选择8种预测模式0、1、2、10、18、26、30、34用于第一阶段的粗略模式决策，按下式确定8种预测模式的哈达码变换的绝对值和satd：
[0012][0013]
其中h为归一化的n
×
n阶哈达玛矩阵，n为矩阵的大小，n取值为4或8，x为预测模式对应的预测残差矩阵，大小与h相同，p表示hxh的行，q表示hxh的列。
[0014]
从8种预测模式的绝对值和satd中选出最小的两种模式，分别称为第一模式fm1、第二模式sm1。
[0015]
2)构建第二阶段的粗略模式决策方法
[0016]
按下式构建用于第二阶段粗略模式决策rmd的模式集合m：
[0017][0018]
用模式集合m进行第二阶段的粗略模式决策。
[0019]
3)将候选模式集合m按照式(1)确定4个哈达码变换的绝对值和satd，并选择哈达码变换的绝对值和satd最小的两种模式fm1和sm1用下式构建用于率失真优化rdo的模式集合m
r
：
[0020][0021]
4)确定最优模式
[0022]
将最可能模式mpm加入到模式集m
r
中，按式(2)确定率失真代价rdcost,找出代价值最小的模式即为最优模式。
[0023]
rdcost＝s
mode
λ
×
b'
mode
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0024]
其中，smode表示预测单元pu原始像素块与重构块之间的残差平方和，λ为编码系数，b’mode表示该预测单元pu帧内编码所耗费的比特数。
[0025]
(2)构建小尺寸预测单元模式决策方法
[0026]
预测单元pu的尺寸为16
×
16、8
×
8、4
×
4，用像素绝对偏差方法对预测单元pu纹理方向进行初步分析，得到所匹配的角度模式，将该角度模式以及与其相邻的角度模式、模式0、模式1组成用于粗略模式决策的模式，比较其中各模式的哈达码变换的绝对值和satd，得到自适应模式筛选结果，并与最可能模式mpm组成用于率失真优化的模式，通过率失真优化方法按式(2)确定率失真代价值rdcost，选择最优模式。
[0027]
在本发明的(2)步骤中，所述的构建用于粗略模式决策的模式的方法为：
[0028]
确定粗略模式决策的模式集合如下：
[0029]
用像素绝对偏差方法确定当前预测单元pu中所有像素点在8个纹理方向上的像素绝对偏差值adp，8个预测方向的像素绝对偏差值adp分别用水平绝对偏差值a
hor
、垂直绝对偏差值a
ver
、左下对角线绝对偏差值a
ddl
、左上对角线绝对偏差值a
dul
、水平偏上绝对偏差值
a
h_u
、水平偏下绝对偏差值a
h_d
、垂直偏左绝对偏差值a
v_l
、垂直偏右绝对偏差值a
v_r
表示。
[0030]
(1)按下式确定水平绝对偏差值a
hor
：
[0031][0032][0033]
其中n为当前预测单元pu的尺寸，n取值为8，p(n,j)表示预测单元pu内第n行j列的像素值，m
hor
(n)表示第n行像素值的均值。
[0034]
(2)按下式确定垂直绝对偏差值a
ver
：
[0035][0036][0037]
其中p(i,n)表示预测单元pu内第i行n列的像素值，m
ver
(n)表示预测单元pu块第n列像素平均值。
[0038]
(3)按下式确定左下对角线绝对偏差值a
ddl
：
[0039][0040][0041]
其中p(i,j)表示预测单元pu内第i行j列的像素值，i∈[o,1,
···
,n
‑
1]，j∈[o,1,
···
,n
‑
1]，m
ddl
(n)表示延左下对角线方向第n行像素值的均值。
[0042]
(4)对左上对角线绝对偏差值a
dul
计算只需将预测单元pu向左旋转90
°
按式(5)确定。
[0043]
(5)对水平偏上绝对偏差值a
h_u
、水平偏下绝对偏差值a
h_d
计算，根据它们所对应的模式与水平方向所对应的模式间的角度偏移值，将预测单元pu向左或向右旋转13
°
后按式(4)确定。
[0044]
(6)对垂直偏左绝对偏差值a
v_l
、垂直偏右绝对偏差值a
v_r
计算，根据它们所对应的模式与垂直方向所对应的模式间的角度偏移值，将当前预测单元pu向左或向右旋转13
°
后按式(3)确定。
[0045]
将16
×
16预测单元pu、4
×
4预测单元pu采用最邻近插值法缩放处理为8
×
8大小的预测单元pu，按照8
×
8大小的预测单元pu在各个方向上像素绝对偏差值adp的方法进行计算。
[0046]
将最小像素绝对偏差值adp
min
所对应的模式称作可能模式pm，可能模式pm与最小像素绝对偏差值adp
min
的对应关系如下式所示：
[0047][0048]
根据预测单元pu的可能模式pm构建用于粗略模式决策的候选模式集合m
s
，选取可能模式pm以及与可能模式pm左右相邻的6种模式和0模式、1模式共同构成用于粗略模式决策的模式集合m
s
。
[0049][0050]
在本发明的(2)步骤中，所述的用于率失真优化的模式为：
[0051]
将候选模式集合m
s
按照式(1)确定8个哈达码变换的绝对值和satd，16
×
16的预测单元pu中选取值最小的2种模式，8
×
8、4
×
4的预测单元中选取值最小的3种模式。
[0052]
在本发明的(2)步骤中，所述的确定最优模式为：
[0053]
将最可能模式集mpms加入到率失真优化的模式中，按式(2)确定率失真代价rdcost,找出代价值最小的模式即为最优模式。
[0054]
本发明采用了预测单元pu尺寸与预测模式以及纹理特征间的相关性，提出将预测单元pu尺寸分为两种类别并使用不同的模式决策方法，对大尺寸预测单元pu使用概率统计分析方法，选取模式占比较高的8种模式用于第一阶段粗略模式决策，根据第一阶段粗略模式决策筛选出的哈达码变换的绝对值值最小的两种模式构建用于第二阶段粗略模式决策的模式集；对小尺寸预测单元pu采用纹理方向分析的方法，根据8个主要纹理方向将35种预测模式分为8组，并使用所提的adp方法实现当前预测单元pu在8个主要纹理方向的模式匹配，选取adp值最小的纹理方向所对应的模式分组进入粗略模式决策过程，结合mpm和rdo方法完成最优预测模式的选择。所提算法可减少粗略模式决策以及rdo所遍历的模式数目，实现预测单元pu快速模式决策，从而降低时间损耗。
[0055]
本发明对基于cmp的360度视频的纹理特征进行分析，考虑进帧内编码过程中，对模式决策部分做出改进，降低编码复杂度，节省编码时间。
[0056]
本发明具有以下有益效果：
[0057]
本发明充分考虑cmp格式的360度视频的纹理特征，对帧内编码过程进行改进，能够在降低编码复杂度的同时保证编码效率。
[0058]
预测单元pu尺寸分为两种大小，并且对不同尺寸pu根据其特点进行模式的预筛选，有效地减少了将粗略模式决策与率失真优化rdo过程所遍历的模式数目，实现了预测单元pu最优预测模式的快速决策。
[0059]
对于联合视频开发组织所提的18个360度视频测试序列的编码结果，所提方法平均编码时间减少了26.4％，bdbr平均增长0.551％，bdws
‑
psnr减少了0.07db，ws
‑
psnr降低0.0153db。优化效果比现有优化技术有明显的提升。
附图说明
[0060]
图1是本发明实施例1的流程图。
具体实施方式
[0061]
下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下述的实施方式。
[0062]
实施例1
[0063]
本实施例的360度视频帧内预测模式决策方法由下述步骤组成(参见图1)：
[0064]
(1)构建大尺寸预测单元模式决策方法
[0065]
预测单元pu尺寸为64
×
64、32
×
32，对当前预测单元pu采用两阶段的粗略模式决策方法：
[0066]
1)构建第一阶段的粗略模式决策方法
[0067]
选择8种预测模式0、1、2、10、18、26、30、34用于第一阶段的粗略模式决策，按下式确定8种预测模式的哈达码变换的绝对值和satd：
[0068][0069]
其中h为归一化的n
×
n阶哈德玛矩阵，n为矩阵的大小，本实施例n取值为4，x为预测模式对应的预测残差矩阵，大小为n，q表示hxh的行，p表示hxh的列。
[0070]
从8种预测模式的哈达玛变换的绝对值和satd中选出最小的两种模式，分别称为第一模式和第二模式fm1、sm1。
[0071]
2)构建第二阶段的粗略模式决策方法
[0072]
按下式构建用于第二阶段粗略模式决策rmd的模式集合m：
[0073][0074]
用模式集合m进行第二阶段的粗略模式决策。
[0075]
3)将候选模式集合m按照式(1)确定4个哈达码变换的绝对值和satd，并选择哈达玛变换的绝对值和satd最小的两种模式fm1和sm1用下式构建用于率失真优化rdo的模式集合m
r
：
[0076][0077]
4)确定最优模式
[0078]
将最可能模式集mpm加入到模式集m
r
中，按式(2)确定率失真代价rdcost,找出代价值最小的模式即为最优模式。
[0079]
rdcost＝s
mode
λ
×
b'
mode
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0080]
其中，s
mode
表示预测单元pu原始像素块与重构块之间的残差平方和，λ为编码系数，b’mode
表示该预测单元pu帧内编码所耗费的比特数。
[0081]
(2)构建小尺寸预测单元模式决策方法
[0082]
预测单元pu的尺寸为16
×
16、8
×
8、4
×
4，用像素绝对偏差方法对预测单元pu纹理方向进行初步分析，得到所匹配的角度模式，将该角度模式以及与其相邻的角度模式、模式0、模式1组成用于粗略模式决策的模式，比较其中各模式的哈达码变换的绝对值，得到自适应模式筛选结果，并与最可能模式mpm组成用于率失真优化的模式，通过率失真优化方法按式(2)确定率失真代价值rdcost，选择最优模式。
[0083]
所述的构建用于粗略模式决策的模式的方法为：
[0084]
确定粗略模式决策的模式集合如下：
[0085]
用像素绝对偏差方法确定当前预测单元pu中所有像素点在8个纹理方向上的像素绝对偏差值adp，8个预测方向的像素绝对偏差值adp分别用水平绝对偏差值a
hor
、垂直绝对偏差值a
ver
、左下对角线绝对偏差值a
ddl
、左上对角线绝对偏差值a
dul
、水平偏上绝对偏差值a
h_u
、水平偏下绝对偏差值a
h_d
、垂直偏左绝对偏差值a
v_l
、垂直偏右绝对偏差值a
v_r
表示。
[0086]
1)按下式确定水平绝对偏差值a
hor
：
[0087][0088][0089]
其中n为当前预测单元pu的尺寸，n取值为8，p(n,j)表示预测单元pu内第n行j列的像素值，m
hor
(n)表示第n行像素值的均值。
[0090]
2)按下式确定垂直绝对偏差值a
ver
：
[0091][0092][0093]
其中p(i,n)表示预测单元pu内第i行n列的像素值，m
ver
(n)表示预测单元pu块第n列像素平均值。
[0094]
3)按下式确定左下对角线绝对偏差值a
ddl
：
[0095]
[0096][0097]
其中p(i,j)表示预测单元pu内第i行j列的像素值，i∈[o,1,
···
,n
‑
1]，j∈[o,1,
···
,n
‑
1]，本实施例的n取值为8，m
ddl
(n)表示延左下对角线方向第n行像素值的均值。
[0098]
4)对左上对角线绝对偏差值a
dul
计算只需将预测单元pu向左旋转90
°
按式(5)确定。
[0099]
5)对水平偏上绝对偏差值a
h_u
、水平偏下绝对偏差值a
h_d
计算，根据它们所对应的模式与水平方向所对应的模式间的角度偏移值，将预测单元pu向左或向右旋转13
°
后按式(4)确定。
[0100]
6)对垂直偏左绝对偏差值a
v_l
、垂直偏右绝对偏差值a
v_r
计算，根据它们所对应的模式与垂直方向所对应的模式间的角度偏移值，将当前预测单元pu向左或向右旋转13
°
后按式(3)确定。
[0101]
将16
×
16预测单元pu、4
×
4预测单元pu采用最邻近插值法缩放处理为8
×
8大小的预测单元pu，按照8
×
8大小的预测单元pu在各个方向上像素绝对偏差值adp的计算方法进行计算。
[0102]
将最小像素绝对偏差值adp
min
所对应的模式称作可能模式pm，可能模式pm与最小像素绝对偏差值adp
min
的对应关系如下式所示：
[0103][0104]
根据预测单元pu的可能模式pm构建用于粗略模式决策的候选模式集合m
s
，选取可能模式pm以及与可能模式pm左右相邻的6种模式和0模式、1模式共同构成用于粗略模式决策的模式集合m
s
：
[0105][0106]
所述的用于率失真优化的模式为：将候选模式集合m
s
按照式(1)确定8个哈达码变换的绝对值和satd，16
×
16的预测单元pu中选取值最小的2种模式，8
×
8、4
×
4的预测单元中选取值最小的3种模式。
[0107]
所述的确定最优模式为：将最可能模式集mpm(已在《新一代高效效视频编码h.265/hevc原理、标准与实现》中公开)加入到率失真优化的模式中，按式(2)确定率失真代价rdcost,找出代价值最小的模式即为最优模式。
[0108]
完成360度视频帧内预测模式决策方法。
[0109]
实施例2
[0110]
本实施例的360度视频帧内预测模式决策方法由下述步骤组成:
[0111]
(1)构建大尺寸预测单元模式决策方法
[0112]
选择8种预测模式0、1、2、10、18、26、30、34用于第一阶段的粗略模式决策，按下式确定8种预测模式的哈达码变换的绝对值和satd：
[0113][0114]
其中h为归一化的n
×
n阶哈达玛矩阵，n为矩阵的大小，本实施例的n取值为8，x为预测模式对应的预测残差矩阵，大小为n，q表示hxh的行，p表示hxh的列。
[0115]
从8种预测模式的哈达玛变换的绝对值和satd中选出最小的两种模式，分别称为第一模式和第二模式fm1、第二模式sm1。
[0116]
该步骤的其它步骤与实施例1实施例相同。
[0117]
其它步骤与实施例1实施例相同，完成360度视频帧内预测模式决策方法。
[0118]
为了验证本发明本发明额的有益效果，发明人采用本发明实施例1的360度视频帧内预测模式决策方法与现有的标准360度视频编码算法hm16.16
‑
360lib4.0(简称对比试验方法)进行了对比仿真实验，实验情况如下：
[0119]
实验在hm16.16
‑
360lib4.0的基础上进行仿真实验，硬件平台为intel(r)core(tm)i7
‑
6820hk cpu@2.70gghz，4核处理器，内存为16gb，显卡为geforce gtx 980m，操作系统为64位win10旗舰版。编译调试软件为visual studio 2017，配置参数为全i帧编码模式，qp设置为{22，27，32，37}。实验使用jvet提供的包含a(4k)、b(6k)以及c(8k)三种不同分辨率的16个标准360度视频序列，如表所示。
[0120]
表1实验所用视频序列
[0121][0122]
本发明与对比试验方法的对比实验结果见表2，在表2中，ws
‑
psnr表示加权球形均匀峰值信噪比，用于评价球面视频的客观质量，bdbr表示在ws
‑
psnr相同的条件下，两种不同算法的码率变化情况，bdws
‑
psnr表示在码率相同的条件下，本发明方法与对比试验方法的ws
‑
psnr的差异，δt表示本发明方法相对于对比试验方法节省的平均时间百分比，计算公式如下：
[0123][0124]
其中，time
hm
(i)为对比试验方法在第i个量化参数下的编码时间，time
prop
(i)为本发明方法在第i个量化参数下的编码时间。δws
‑
psnr为本发明方法相对于对比试验方法在编码比特率相同的情况下，视频质量的变化量，计算公式如下：
[0125][0126]
其中，ws
‑
psnr
hm
(i)为对比试验方法在第i个量化参数下编码重建视频的视频质量，ws
‑
psnr
prop
(i)为本发明方法在第i个量化参数下编码重建视频的视频质量。
[0127]
表2本算法与hm16.16
‑
360lib4.0的性能对比
[0128][0129][0130]
表2的实验结果表明，相较于对比试验方法，本发明平均编码时间减少了26.4％，bdbr平均增长0.551％，bdw
‑
spsnr减少了0.07db，δws
‑
psnr降低0.0153db，所带来的编码性能损耗可忽略不计。对于不同类型的视频序列，本发明方法都可有效地降低编码时间，提高编码效率，同时保证视频质量。本发明方法适用于不同的测试序列，优化效果明显，具有良好的理论意义及应用价值。