一种结合非局部低秩和自适应量化约束的HEVC后处理方法与流程

一种结合非局部低秩和自适应量化约束的hevc后处理方法
技术领域
1.本发明涉及图像通信领域中的视频编码技术，最主要的是压缩视频质量提升问题，尤其是涉及一种结合非局部低秩和自适应量化约束的hevc后处理方法。


背景技术：

2.高清视频的快速增长带来了越来越多的视觉体验，但同时也对海量视频数据的传输和存储提出了挑战。hevc标准为了满足传输码率限制，采用基于块的变换编码和粗量化技术，视频在编码过程中会出现压缩效应，导致其出现压缩伪影，方块效应等现象。因此探究基于hevc压缩视频的后处理方法成为了视频编码技术的研究方向之一。
3.为了抑制压缩效应，目前有基于恢复的方法。基于恢复的方法将图像及视频恢复问题看作病态逆问题，充分利用图像及视频的先验信息来恢复其质量。由于先验信息对图像及视频的质量恢复起着至关重要的作用，设计有效的正则化项来反映更准确的先验信息成为图像及视频质量恢复的关键。其中，非局部先验利用相似块聚类获得图像及视频的空域非局部相似性，在图像及视频质量恢复算法中取得了较好的结果。zhang j等提出利用相似块组作为稀疏表示的基本单元去除图像方块效应的算法。zhang x等提出利用相似块聚类的非局部相似性构建低秩模型的算法。但仅仅利用基于块聚类的稀疏表示或者低秩模型得到的非局部先验信息还不够，这些算法从含噪图像或视频上获取先验信息。在低码率情况下，经hevc压缩后的视频受压缩效应的严重影响，纹理结构变得模糊不清，可提供的先验信息随着压缩程度，量化参数qp的增大而越来越小，导致算法性能不能达到更优。针对此问题，目前有研究不仅利用非局部先验，还引入量化约束先验，联合非局部先验和量化约束先验，得到了更可靠的重建估计。zhao c等提出同时利用非局部结构性稀疏先验和量化约束先验去除图像的压缩效应。zhang j等联合利用非凸低秩模型和量化约束先验去除图像的方块效应。但这些算法采用传统的量化约束方法，没有进一步利用qp的约束特性及视频内容对量化约束空间进行动态自适应的收缩，因此不能更进一步地保证重建视频的可靠性和鲁棒性。


技术实现要素：

4.针对经高性能视频压缩编码标准hevc压缩后的视频有明显压缩效应的问题，本发明在不改变hevc编解码器并充分利用压缩过程相关信息的基础上，采用基于恢复的方法，提出一种结合非局部低秩和自适应量化约束的hevc后处理方法，来尽可能地提高重建视频质量。
5.本发明的基本思想是构造在最大后验概率框架下联合非局部低秩先验和自适应量化约束先验的优化问题。针对非局部低秩先验，通过对视频帧分块聚类得到的相似块组进行奇异值分解建立非局部低秩模型，获得视频帧的非局部低秩先验信息；针对自适应量化约束先验，通过分析量化约束在不同量化参数qp下的约束特性和以及视频的dct频域系数块活动性，获得自适应量化约束先验，以保证重建视频的可靠性和鲁棒性。最后通过
split-bregman迭代来解决所提的优化问题，从而有效去除压缩效应，获得重建视频。具体主要包括以下过程步骤：
6.(1)将视频去压缩效应的过程看作是一个逆问题，并基于最大后验概率框架来构建优化问题；
7.(2)采取线性模型表征噪声标准差，利用码流中的量化步长进行量化噪声估计；
8.(3)对视频帧分块聚类得到的相似块组进行奇异值分解建立非局部低秩模型，获得非局部低秩先验；
9.(4)利用量化约束在不同量化参数qp下的约束特性和以及视频的dct频域系数块活动性，收缩量化约束解空间大小，获得自适应量化约束先验；
10.(5)联合量化噪声估计，非局部低秩先验以及自适应量化约束先验，构造在最大后验概率框架下的优化问题，并利用split-bregman迭代更新中间估计结果，迭代完成后，获得最终的重建估计帧。
11.在本发明的上述技术方案中，步骤(4)中所述的不同量化参数qp下的约束特性通过分析约束特征系数α的统计分布特性确定，α用于衡量视频帧和y
t
在频域的dct系数差值αq
step
，针对hevc采用的标量量化方法，其差值绝对值不超过0.5q
step
，因此α的真实值在
±
0.5之间；经统计分析，α的真实分布特性近似标准正态分布，与量化参数qp相关，qp值越大，相应的约束特征系数分布就越集中，由α确定的置信概率为90％的置信区间上下限和α越接近0，从而量化约束误差范围[-0.5q
step
,0.5q
step
]被收缩为
[0012]
在本发明的上述技术方案中，步骤(4)中所述的视频的dct频域系数块活动性大小由缩放系数η表示，通过统计8
×
8大小dct频域系数块的周边块活动性，来预测当前块的对应缩放系数η；定义k(i,j)为周围4个相邻块中相同位置的dct低频系数落在量化约束误差范围中的块数，i和j分别代表周边块位置的横坐标和纵坐标。缩放系数η和k(i,j)的关系可以表示为：
[0013][0014]
相邻块的活动性越大，k(i,j)越小，对应的缩放系数η∈[0.5,1]就越大，表明当前块为纹理细节丰富区域，不需要再进一步限制量化约束误差范围；而相邻块的活动性越小，对应的缩放系数η就较小，说明当前块为较平坦区域，可以进一步限制当前块对应的量化约束误差范围。
[0015]
在本发明的上述技术方案中，步骤(4)中所述的量化约束解空间大小由约束特征系数α的分布特性和缩放系数η共同确定，定义y
t,d[k,l]
为经hevc压缩后的视频帧y
t
经变换后对应位置的dct系数值，其中1≤k≤h,1≤l≤w，那么，将自适应量化约束范围的上下限矩阵和由公式表示为：
[0016][0017][0018]
定义将重建估计视频帧经变换后对应位置的dct系数值，应该被限制约束在该上下限矩阵规定的量化约束范围内，并将量化约束解空间表示为：
[0019][0020]
在本发明的上述技术方案中，步骤(5)中所述的在最大后验概率框架下的优化问题同时结合了基于相似块聚类的非局部低秩先验和自适应量化约束先验，并在使用split-bregman迭代求解过程中，将自适应量化约束加入到每一次迭代中，以保障更可靠更鲁棒性的重建估计。
[0021]
根据本发明的上述方法可以编制执行上述结合非局部低秩和自适应量化约束的hevc后处理方法。
[0022]
本发明是基于以下思路分析而完成的：
[0023]
构造基于最大后验概率框架的优化问题：
[0024][0025]
其中，第一项表示数据保真度，描述的是压缩视频帧y
t
和原始视频帧x
t
之间的关系。从本质上来讲对应了量化噪声模型：
[0026][0027]
选择线性模型，并利用码流中的量化步长进行量化噪声估计：
[0028][0029]
第二项则代表视频帧先验信息，联合基于非局部低秩先验p
nllr
(x
t
)和自适应量化约束先验p
aqc
(x
t
)的正则化项并由下式表示：
[0030]
p(x
t
)＝p
nllr
(x
t
)
·
p
aqc
(x
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0031]
由此，基于最大后验概率框架下，并联合非局部低秩先验和自适应量化约束先验的优化问题转化为：
[0032][0033]
对视频帧进行重叠分块并对相似块进行聚类，对相似块组进行奇异值分解，得到的奇异值构成非局部低秩向量αg，并将nllr非局部低秩先验表示为：
[0034]
log(p
nllr
(x
t
)＝-λ‖αg‖0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0035]
公式(3)表示的量化约束解空间ω可以直接由经hevc压缩后的码流获得，因为公式(4)表示的上下限矩阵和是由压缩视频帧y
t
的dct域信息以及qp确定的，并将量化约束解空间ω决定的约束函数表示为：
[0036][0037]
至此，自适应量化约束先验被表示为：
[0038]
log(p
aqc
(x
t
))＝-ψ(x
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0039]
综合上面的分析，将量化噪声估计，nllr先验，以及利用不同qp下的约束特性以及dct频域系数块活动性的aqc自适应量化约束先验合并到优化问题(8)中，表示如下：
[0040][0041]
其中，bg表示在对相似块组进行奇异值分解后得到的低秩基矩阵，对整个视频帧
的低秩表示定义为对代表优化问题的公式(12)求解得到的和后，即可得到重建估计帧
[0042]
split-bregman迭代方法将难求解的优化问题分裂为关于x
t
子问题和关于(bg,αg)子问题进行迭代求解。对第(l 1)迭代的x
t
的求解表示为:
[0043][0044]
关于(bg,αg)子问题，以块组为基本单位，对第(l 1)迭代的相似块组的非局部低秩向量求解：
[0045][0046]
其中，hard(
·
)函数对输入向量进行硬阈值操作实现低秩约束。至此，联合所有和将还没有经过自适应量化约束的优化求解中间结果表示为将还没有经过自适应量化约束的优化求解中间结果表示为根据aqc先验，应该被限制在由y
t
频域视频特性和量化参数qp共同决定的量化约束解空间ω中。对进行本次迭代中最后的约束调整：
[0047][0048]
其中，表示对视频帧进行非重叠分块，变换的操作。而是投影运算：
[0049][0050]
其中1≤k≤h,1≤l≤w。经过公式(15)在频域对优化求解中间结果的自适应量化约束后经过反变换，得到本次迭代的估计视频帧因此，利用split-bregman迭代方法将优化问题转化为两个子问题求解，并将自适应量化约束先验加入到每一次迭代过程中，从而得到更可靠更鲁棒性的重建视频。
附图说明
[0051]
图1为结合非局部低秩和自适应量化约束的hevc后处理方法框图。
具体实施方式
[0052]
下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。
[0053]
本发明的结合非局部低秩和自适应量化约束的hevc后处理方法，与h.265/hevc标
准测试模型hm16.0的帧内、帧间编码方法比较过程如下：
[0054]
1.打开hm16.0标准测试模型，帧内编码时配置文件为encoder_intra_main.cfg，帧间编码时配置文件为encoder_lowdelay_p_main.cfg，h.265/hevc标准量化步长(qp)选取为22，27，32，37；
[0055]
2.编码时的对象为标准测试视频序列：basketballpass416
×
240，flowervase832
×
480，johnny1280
×
720，kimono1920
×
1080，peopleonstreet2560
×
1600；
[0056]
3.利用hm16.0标准方法对视频序列在h.265/hevc方式下进行帧内、帧间视频编解码并记录编码时的码率及峰值信噪比psnr；
[0057]
4.利用本发明方法对解码视频序列进行对应帧内、帧间编码后处理去压缩效应并记录去压缩效应后视频序列峰值信噪比psnr；
[0058]
实验结果如表1和表2所示，当选择帧内编码时本发明去噪方法可以达到平均bdbr比标准hevc低5.02％，bdpsnr高0.2597db；选择帧间编码采用ippp编码结构低延时p帧编码视频帧本发明去噪方法可以达到平均bdbr比标准hevc低6.59％，bdpsnr高0.2828db。说明本发明方法起到了很好的去噪效果。
[0059]
表1本发明方法与hm 16.0标准在帧内模式下的实验结果
[0060][0061]
表1(续)
[0062][0063]
表2本发明方法与hm 16.0标准在帧间模式下的实验结果
[0064]