一种基于DCT子带重排的两阶段JPEG压缩图像伪影去除方法

摘要: 本发明涉及图像处理,具体涉及一种基于dct子带重排的两阶段jpeg压缩图像伪影去除方法,尤其适用于处理jpeg压缩过程中所引入的伪影包括色彩偏移、块效应以及纹理...
一种基于DCT子带重排的两阶段JPEG压缩图像伪影去除方法

本发明涉及图像处理,具体涉及一种基于dct子带重排的两阶段jpeg压缩图像伪影去除方法,尤其适用于处理jpeg压缩过程中所引入的伪影包括色彩偏移、块效应以及纹理细节丢失等多种失真。

背景技术:

1、jpeg(jointphotographicexpertsgroup)是应用广泛的图像压缩标准,其目的是:在尽量保持原图像质量的前提下,减小图像的文件大小。在jpeg压缩的流程中,首先对图像的色彩空间作转换,从rgb转至(y,cb,cr);其中,y是亮度分量,cb与cr是色度分量。jpeg进一步对色度分量进行下采样(例如4:2:0)。然后,每一分量均被划分为块,每一块单独通过dct运算将图像从空间域(像素值)转换到变换域(或称频域,包含离散余弦变换(discretecosinetransform,dct)系数)。随后,采用两个预定义的亮度与色度量化表,分别用于亮度分量和色度分量进行量化处理。具体是将每一个dct系数(被除数)除以其在量化表中所对应位置的量化值(除数),并对所得结果执行四舍五入取整操作。通过上述量化过程,从而降低dct系数的动态范围,实现数据压缩。在量化过程中,高频dct系数对应更大的量化值(步长),因此被更进一步的压缩,甚至有可能被压缩到零;于此同时,低频dct系数亦不可避免地因量化取整所造成dct系数精准度的损失,并最终在图像上呈现伪影。

2、在jpeg压缩图像的过程中,色彩空间转换、dct变换以及熵编码(如霍夫曼编码)均是可逆并且无损,因此压缩所产生的失真主要来源于dct系数量化取整所致的精准度丢失。另一类次要失真来源是上述的色度分量(cb、cr)4:2:0下采样。同时,在解码阶段,则需要通过上采样将色度分量还原其原来的分辨率,由于jpeg并不规范下采样的做法,因此编码端的下采样与解码端的上采样策略可能不一致,从而进一步地引入色度失真。

3、在现有技术中,jpeg伪影去除方法主要可分为两类。其一,仅针对dct系数进行修复,此类方法仅依赖变换域所提取的特征,而未能利用到像素之间的空间关联性特征,因此难以恢复图像细节纹理;其二,仅依赖空间域特征进行像素值修复,虽然此方法能够利用局部结构信息进行图像的平滑与重建,但忽略从问题的源头上做修正;也就是dct系数因量化取整而引入的精准度丢失。如果将两者进行简单前后串联叠加,则会出现新的技术问题:

4、第一,传统变换域修复仅输出校正后的dct数值,无法生成可供给卷积网络使用的结构化频域先验,空间域网络又只能提取像素维度特征,二者表征形式和信息维度完全割裂。简单叠加下两个处理阶段不存在信息交互机制,频域校正结果无法指导空域像素修复,空域纹理信息也无法反向修正dct补偿量,两阶段独立运行,无法形成协同增益,既不能根除量化带来的底层失真,也无法精细复原图像纹理。与此同时,亮度dct量化误差天限定在[-0.5,0.5)区间,而色度误差则无固定边界,常规空域网络不受jpeg量化物理规则约束,容易无限制地过度修正像素值,进而在图像边缘、分块边界产生振铃伪影、块状毛刺等新失真。

5、第二,色度分量经4:2:0下采样后,dct系数数量仅为亮度分量的四分之一。若直接使用低分辨率色度dct完成频域补偿后送入空域网络,后续像素域上采样操作会持续放大色度偏差,形成明显的色彩条纹与色块偏移,最终图像色彩失真程度甚至比单一修复方案更严重。若为匹配分辨率,先将色度dct转换至像素域插值上采样后再做dct变换回频域,常规线性插值会引入额外插值误差,二次dct变换后色度系数会叠加多层误差,造成画面色彩过渡糊化、边缘出现彩色镶边,难以从根源上消除4:2:0采样带来的固有色偏问题。

6、第三,标准jpeg将图像分割为互不重叠的独立8×8dct块,同一频率位置的系数分散在图像各处,单块内部系数的空间相关性较弱。现有常规频域修复直接对零散dct块逐块建模,频域误差预估偏差较大。经频域修复后残留的块效应会完整传递至空域修复阶段,引发前后重复修复、计算资源冗余等问题,在低码率高压缩场景下,整体失真抑制效果提升十分有限。

7、综合以上所述,单一变换域修复和单一空间域修复均存在固有局限性,即便将两类现有手段简单串联叠加,也会在图像色彩、边缘纹理、块效应抑制等方面产生更为突出的图像处理缺陷,现有技术缺少能够克服上述多重矛盾的解决方案。

技术实现思路

1、本发明的目的是为了提供一种基于dct子带重排的两阶段jpeg压缩图像伪影去除方法,先通过zig-zag子带重排规整各分块的频率维度,在变换域分通道校正不同频率位置的dct量化误差,完成dct系数的失真修正,再利用融合变换域先验特征的残差网络进行空域精细化优化,清除残留伪影,两级校正依托子带重排完成信息互通衔接;同时采用分阶段训练方式优化网络参数,克服传统去伪影方法机理适配性弱、纹理细节丢失明显的缺陷,有效提升jpeg压缩图像的修复画质。

2、为实现上述技术目的,本发明采取的技术方案为:

3、一种基于dct子带重排的两阶段jpeg压缩图像伪影去除方法,所述方法包括以下步骤:

4、s1,获取经jpeg解码后的图像,对解码所得色度分量的dct系数进行分辨率补齐处理,使色度分量和亮度分量的dct系数的分辨率保持一致;

5、s2,分别对亮度分量和色度分量各自对应的全部8×8dct块,按照zig-zag扫描顺序对块内的dct系数进行编号;针对每个zig-zag编号,提取同一分量全部8×8dct块中该编号对应的dct系数,并依据各dct块在原图中的空间排布组合形成相应的二维dct子带;

6、s3,在通道维度将亮度分量和色度分量各自对应的64组dct子带进行拼接融合,得到统一的频域特征图;将频域特征图输入神经网络模型,提取融合三分量全部频率子带空间分布和量化误差分布信息的频域统一特征,并将该频域统一特征作为变换域先验特征;通过三路独立的多层感知器分支分别预测亮度和色度分量对应的dct量化误差补偿值,并将补偿值叠加至解码dct系数,完成频域校正;

7、s4,对频域校正后的dct系数执行逆离散余弦变换得到变换域恢复图像;利用多尺度卷积网络提取变换域恢复图像的多尺度空间伪影特征,将变换域先验特征与多尺度空间伪影特征进行融合,基于融合特征预测变换域修复图像与原始无损图像之间的像素残差,并将所述像素残差叠加至所述变换域恢复图像,得到去除伪影后的高质量图像。

8、步骤s1进一步包括:

9、获取经jpeg解码后的ycbcr图像以及解码输出的亮度分量y的dct系数、色度分量cb、cr的dct系数;

10、将色度分量cb、cr的dct系数通过idct变换至像素域,在像素域利用局部像素间的相关性,采用双线性插值将其恢复至与亮度分量一致的分辨率,最后对插值后的像素块进行dct变换,得到补齐分辨率后的色度dct系数。

11、进一步地,步骤s3中,对神经网络模型和三路多层感知器分支进行第一阶段联合训练,训练过程包括以下步骤:

12、构建由原始无损图像和对应的jpeg压缩图像构成的训练样本对;

13、将原始无损图像按照jpeg编码规则分块执行dct以及量化操作得到真值dct系数,将其减去与之对应的jpeg压缩图像解码后的dct系数,得到真实量化误差;

14、将jpeg压缩图像对应的频域特征图输入所述神经网络模型,输出频域统一特征;将所述频域统一特征分别输入三路独立的多层感知器分支,各分支通过独立的网络权重完成非线性映射,分别预测得到自身对应分量的dct量化误差补偿值,该dct量化误差补偿值用于叠加至解码dct系数后经idct得到变换域恢复图像;其中变换域损失函数表示为:

15、

16、其中,和分别表示对亮度与色度量化表进行zig-zag扫描后得到的量化向量;表示元素级点乘运算;表示通道损失,是依照zig-zag扫描顺序的索引,,,三路分支的预测结果分别匹配各自通道的真实量化误差,参与变换域损失的计算与参数优化;i为对应色彩通道内各个dct分块的索引,,h和w分别为原图像素高度和像素宽度;

17、依据求得的变换域损失的反向传播梯度,迭代更新神经网络模型以及三路多层感知器分支的权重参数,直至网络收敛。

18、步骤s4进一步包括:

19、对频域校正后的dct系数执行逆离散余弦变换得到变换域恢复图像;变换域恢复图像依次经过三级卷积残差下采样块进行多级下采样,逐层提取变换域恢复图像中不同尺度的空间伪影特征,并将下采样得到的深层空间伪影特征接入特征融合模块,与变换域先验特征进行融合,得到兼顾频域修正的先验约束以及像素域的细节特征的融合特征;

20、将融合特征依次经过三级卷积残差上采样块逐步完成上采样,逐级复原特征分辨率;其中,每一级卷积残差上采样块均引入编码阶段对应层级传来的浅层特征进行跳跃相加,以复用浅层的纹理细节;

21、基于最后一级卷积残差上采样块的输出,预测得到变换域修复图像与原始无损图像之间的像素残差,将该像素残差与变换域恢复图像进行全局残差相加,得到最终完成伪影去除的输出图像。

22、进一步地,步骤s4中,所述多尺度卷积网络的训练过程包括以下步骤:

23、构建由原始无损图像和频域优化后的变换域恢复图像构成的训练样本对;

24、将变换域恢复图像送入多尺度卷积网,预测得到变换域修复图像与原始无损图像之间的像素残差;

25、基于配对的原始无损图像计算变换域修复图像与原始无损图像之间的真实像素残差;

26、构建空间域损失函数:

27、

28、其中,表示第p个像素位置所对应的估计残差,表示对应的真实残差,m表示图像中的总像素数;

29、迭代开展前向推理以及梯度反向传播,直至空间域损失函数趋于平稳;迭代训练过程中,固定收敛完成的神经网络模型和三路多层感知器分支的权重参数。

30、与现有技术相比,本发明的有益效果如下:

31、第一、本发明的基于dct子带重排的两阶段jpeg压缩图像伪影去除方法(sharp),针对jpeg压缩过程中因dct系数量化取整及色度4:2:0采样所引入的块效应、模糊及色彩失真等问题,提出一种变换域、空间域两级递进校正架构,在第一阶段,对亮度与色度分量中的所有8×8dct块均依照zig-zag的扫描顺序编号并重组为64个独立子带,每个子带中的dct系数均来自相同的扫描编号,同时保留其原有所属dct块的位置,并利用量化表作为先验约束,从而对所有dct系数的量化误差进行估计与补偿,实现对dct系数精确度的修复;随后通过再重组与反dct变换将修复后的结果从变换域转换至空间域;在第二阶段,设计了一个多尺度卷积网络,并结合在第一阶段变换域中提取的特征作为引导,对第一阶段所得到的图像做进一步地伪影抑制,实现结构与纹理细节的增强,有效去除块效应与细节失真,从而提升视觉质量。

32、第二,本发明的基于dct子带重排的两阶段jpeg压缩图像伪影去除方法(sharp),依托子带重排将无序的分块频率系数按频率梯度规整排序,使网络能够针对不同频率位置的量化失真进行差异化学习,实现两级校正之间的信息有效互通,突破了传统方法忽略dct频率分布特性、对高低频失真统一处理的缺陷,显著提升了网络对jpeg量化失真的机理适配性。

33、第三,本发明的基于dct子带重排的两阶段jpeg压缩图像伪影去除方法(sharp),采用分阶段训练策略,先收敛变换域分支,再优化空域分支,避免频域损失与空域损失相互干扰、梯度冲突的问题,有效提升模型训练稳定性与收敛精度。