基于增强的宽激活残差网络的压缩图像去块效应方法与流程

1.本发明涉及压缩图像去块效应技术，具体涉及一种基于增强的宽激活残差网络的压缩图像去块效应方法，属于数字图像处理领域。


背景技术：

2.在实际应用中，为了更加有效地利用带宽资源、节省存储空间以及提高数据传输效率，人们常常对图像进行有损压缩。然而，这将不可避免地造成图像的失真。jpeg标准作为一种简单、有效的图像压缩方法被广泛地应用于各种成像设备，例如：数码相机、智能手机等。在有损压缩的过程中，jpeg对图像进行不重叠地分块离散余弦变换，并对变换系数进行分块粗量化，这导致了各种各样的压缩伪影，特别是块效应。
3.为了去除压缩图像的块效应，大量的方法被提出了出来，它们主要分为三大类：基于增强的方法、基于重建的方法和基于学习的方法。其中，基于学习的方法，由于处理速度较快以及处理后的图像质量较好，得到了更广泛的关注和更加深入的研究。特别是近些年来，随着深度学习技术的快速发展及其在计算机视觉领域的成功应用，基于深度卷积神经网络的压缩图像去块效应方法取得了显著的进步。借助深度卷积神经网络强大的学习能力和模型表示能力，本发明构建了一种增强的宽激活残差网络，进一步提升了去除压缩图像块效应的性能。


技术实现要素：

4.本发明进一步发展了宽激活残差模块的优点，设计了一种增强的宽激活残差模块，同时以全卷积的方式将基于重建的方法中常用的重叠图像块提取和重建策略引入到深度卷积神经网络中，构建了一种有效的压缩图像去块效应方法。
5.本发明提出的基于增强的宽激活残差网络的压缩图像去块效应方法主要包括以下操作步骤：
6.(1)以增强的宽激活残差模块为主要的构建单元，同时以全卷积的方式引入重叠图像块提取和重建，从而搭建起用于去除压缩图像块效应的网络模型；
7.(2)利用步骤一的卷积神经网络，分别训练不同质量因子下的压缩图像去块效应模型；
8.(3)以训练好的压缩图像去块效应模型为基础，将压缩图像作为输入，得到最终的去块效应图像。
附图说明
9.图1是本发明基于增强的宽激活残差网络的压缩图像去块效应方法的原理框图
10.图2为增强的宽激活残差模块
11.图3为重叠图像块重建网络的全卷积实现框图
12.图4为重叠图像块提取和重建网络的预定义权重：其中，(a)为重叠图像块提取网
络中卷积层的权重，(b)为重叠图像块重建网络中反卷积层deconv 1的权重，(c)为重叠图像块重建网络中反卷积层deconv 2的权重
13.图5是本发明与另外六种方法对压缩图像“29030”去块效应结果的对比图(质量因子为10)：其中，(a)为原始图像，(b)为jpeg压缩图像，(c)(d)(e)(f)(g)(h)(i)分别为方法1、方法2、方法3、方法4、方法5、方法6及本发明的去块效应结果
14.图6是本发明与另外六种方法对压缩图像“barbara”去块效应结果的对比图(质量因子为10)：其中，(a)为原始图像，(b)为jpeg压缩图像，(c)(d)(e)(f)(g)(h)(i)分别为方法1、方法2、方法3、方法4、方法5、方法6及本发明的去块效应结果
具体实施方式
15.下面结合附图对本发明作进一步说明：
16.图1中，基于增强的宽激活残差网络的压缩图像去块效应方法具体可以分为以下几个步骤：
17.(1)以增强的宽激活残差模块为主要的构建单元，同时以全卷积的方式引入重叠图像块提取和重建，从而搭建起用于去除压缩图像块效应的网络模型；
18.(2)利用步骤一的卷积神经网络，分别训练不同质量因子下的压缩图像去块效应模型；
19.(3)以训练好的压缩图像去块效应模型为基础，将压缩图像作为输入，得到最终的去块效应图像。
20.具体地，在步骤(1)中，搭建的基于增强的宽激活残差模块的压缩图像去块效应网络模型主要包括：重叠图像块提取网络(overlapping patches extraction network，openet)、特征编码网络(feature encoding network，fenet)、n个增强的宽激活残差模块(enhanced wide-activated residual block，ewarb)、特征解码网络(feature decoding network，fdnet)和重叠图像块重建网络(overlapping patches combination network，opcnet)。
21.重叠图像块提取网络只包含一个卷积层，其权重预定义为图4(a)的滤波器，在训练过程中不被更新。这些滤波器的大小都为p
×
p，以步长s对输入的压缩图像进行卷积，将压缩图像中的p
×
p图像块提取为p2维的向量。本发明将s和p分别设定为2和8。重叠图像块提取网络不仅能够提高处理效率，还能够扩大感受野，这有利于提升卷积神经网络去除压缩图像块效应的性能。
22.特征编码网络只包含一个卷积层，其卷积核大小为3
×
3，输入、输出通道数为64。特征编码网络将来自于重叠图像块提取网络的像素值转化为特征系数，这有利于提高卷积神经网络的鲁棒性。
23.n个增强的宽激活残差模块是卷积神经网络的主体部分，大幅度提升了模型的非线性映射能力和学习能力。本发明将n设定为19。图2展示了每一个增强的宽激活残差模块的结构，其包括两个卷积核大小为3
×
3的卷积层3
×
3conv、两个卷积核大小为1
×
1的卷积层1
×
1conv和一个relu激活函数。relu激活函数的数学表达式为：
24.y＝max(x,0)
25.x和y分别为输入、输入值。该函数将非负值输入原样输出，而将负值输入映射为0，
增强了卷积神经网络的非线性能力。然而，这也一定程度上造成了信息的丢失，阻碍信息在卷积神经网络中的流动。为了缓解这一问题，本发明将两个1
×
1卷积层引入到通常的残差模块中，提出了增强的宽激活残差模块。在增强的宽激活残差模块中，第一个1
×
1卷积层提升了来自前一个卷积层的张量的通道数，使更多的信息能够通过relu，第二个1
×
1卷积层再将经过relu函数激活后的张量的通道数降到原来的数量。不同于一般的宽激活残差模块的做法，即直接增加残差模块中第一个3
×
3卷积层的输出通道数来提升激活宽度(通过relu激活函数的张量的通道数)，本发明的增强的宽激活残差模块使用1
×
1卷积层来实现这一目标。由于1
×
1卷积层比3
×
3卷积层具有更少的参数量，所以增强的宽激活残差模块能够在不增加参数量和计算复杂度的条件下获得比一般的宽激活残差模块大得多的激活宽度，大幅度提升了卷积神经网络的信息利用效率和压缩图像去块效应性能。本发明将增强的宽激活残差模块3
×
3卷积层的输入、输出通道数设置为64，激活宽度设置为512。
26.特征解码网络只包含一个卷积层，其卷积核大小为3
×
3，输入、输出通道数为64，其将经过19个增强的宽激活残差模块非线性映射的特征系数转化为像素值。为了防止梯度消失并加快卷积神经网络的收敛速度，本发明借鉴了残差学习的思想，将重叠图像块提取网络的输出与特征解码网络的结果相加。
27.图3展示了重叠图像块重建网络的结构，其中t表示输入的张量，mgones表示一种矩阵生成器，deconv 1和deconv 2表示反卷积层，./表示逐元素相除，i表示输出的图像。若张量t的大小为(h,w,c)，h、w、c分别表示张量的长、宽和通道数，则mgones产生一个h
×
w全一矩阵。deconv 1和deconv 2的权重分别预定义为图4(b)和图4(c)的滤波器，在训练过程中不被更新。这些滤波器的大小都为p
×
p，以步长s对其输入进行反卷积。本发明将s和p分别设定为2和8。重叠图像块重建网络将张量中p2维的向量还原为p
×
p的图像块，并把这些图像块放回到它们在图像中原来的位置，多个图像块之间重叠的区域取平均值。具体地，在每一个滑动窗口执行反卷积的过程中，deconv 1先对张量t中的多个像素值进行求和，这些像素值可以被视为对压缩图像中某一个像素的多个估计，再将求和结果放到图像中相应的位置。接着，mgones生成具有和张量t相同空间大小的全一矩阵。然后，deconv 2以这个全一矩阵作为输入，产生了一个和压缩图像一样大小的权重矩阵，这个权重矩阵的每一个元素表示压缩图像中相应位置的像素跨越的p
×
p图像块的数量。最后，用权重矩阵逐元素相除deconv 1的输出就得到了最终的去块效应图像i。上诉过程可以简洁地表示为下面的公式：
28.i＝deconv1(t)./deconv2(mgones(t))
29.值得注意的是，本发明的重叠图像块重建网络不仅是一种类似于亚像素卷积层的像素重组操作，即把张量重构为矩阵，更是一种低通滤波器，将多个图像块之间重叠的像素值取平均。块效应通常表现为不同图像块之间边界的不连续性，这对应于频域中的高频分量。因此，本发明的重叠图像块重建网络有利于去除块效应。此外，本发明的重叠图像块重建网络的权重是预定义的且稀疏的，所以该子网络不会给整个压缩图像去块效应网络带来额外的训练负担，并且能够被高效地执行。
30.本发明采用均方误差准则作为训练增强的宽激活残差网络模型的损失函数，用下列公式表示为：
31.32.其中，θ表示可训练的网络参数，h(
·
)表示提出的增强的宽激活残差网络模型，x
i
、y
i
分别表示训练样本中第i张压缩图像及其相应的原始图像，m为每批次训练样本的数目，本发明设为16。
33.为了验证本发明的有效性，大量的对比实验在常用的测试图库classic5(包含5张经典图像)和bsds500(包含200张训练图像，100张验证图像，200测试图像)上展开。实验中，本发明与6种典型的压缩图像去块效应方法进行了比较，它们都是基于卷积神经网络的算法。这6种作为对比的压缩图像去块效应方法为：
34.方法1：dong等人提出的方法，参考文献“dong c,deng y,change loy c,et al.compression artifacts reduction by a deep convolutional network[c].ieee international conference on computer vision,2015:576-584.”。
[0035]
方法2：zhang等人提出的方法，参考文献“zhang k,zuo w,chen y,et al.beyond a gaussian denoiser:residual learning of deep cnn for image denoising[j].ieee transactions on image processing,2017,26(7):3142-3155.”。
[0036]
方法3：tai等人提出的方法，参考文献“tai y,yang j,liu x,et al.memnet:a persistent memory network for image restoration[c].ieee international conference on computer vision,2017:4539-4547.”。
[0037]
方法4：chen等人提出的方法，参考文献“chen h,he x,qing l,et al.dpw-sdnet:dual pixel-wavelet domain deep cnns for soft decoding of jpeg-compressed images[c].ieee conference on computer vision and pattern recognition workshops,2018:711-720.”。
[0038]
方法5：liu等人提出的方法，参考文献“liu p,zhang h,zhang k,et al.multi-level wavelet-cnn for image restoration[c].ieee conference on computer vision and pattern recognition workshops,2018:773-782.”。
[0039]
方法6：zhang等人提出的方法，参考文献“zhang y,li k,li k,et al.residual non-local attention networks for image restoration[j].arxiv preprint arxiv:190310082,2019.”。
[0040]
对比实验的内容如下：
[0041]
实验1，先用matlab的jpeg编码器分别在质量因子(quality factor，qf)为10、20、30、40的情况下对数据集bsds500的200张测试图像进行压缩，再用方法1到方法6以及本发明分别对压缩图像进行去块效应处理。表一展示了对比方法及本发明在数据集bsds500的200张测试图像上获得的评价指标的平均值。其中，方法3的作者只提供了qf为10和20时的训练模型，所以表一只列出该方法在上述两种情况下的测试结果。客观评价指标采用psnr(peak signal to noise ratio)、ssim(structure similarity index)和psnr-b。其中，psnr-b是针对jpeg压缩图像而设计的客观评价指标。这三个指标的数值越高表明去块效应的效果越好。另外，为了进行主观视觉比较，图5展示了数据集bsds500的200张测试图像中图像“29030”在qf为10时的去块效应结果。原始图像、jpeg压缩图像、方法1、方法2、方法3、方法4、方法5、方法6及本发明的去块效应结果分别如图5(a)、图5(b)、图5(c)、图5(d)、图5(e)、图5(f)、图5(g)、图5(h)及图5(i)所示。
[0042]
实验2，先用matlab的jpeg编码器分别在qf为10、20、30、40的情况下对测试图库
classic5进行压缩，再用方法1到方法6以及本发明分别对压缩图像进行去块效应处理。表二展示了对比方法及本发明在测试图库classic5上获得的平均psnr、ssim和psnr-b值。同样地，为了进行主观视觉比较，图6展示了测试图库classic5中图像“barbara”在qf为10时的去块效应结果。原始图像、jpeg压缩图像、方法1、方法2、方法3、方法4、方法5、方法6及本发明的去块效应结果分别如图6(a)、图6(b)、图6(c)、图6(d)、图6(e)、图6(f)、图6(g)、图6(h)及图6(i)所示。
[0043]
表一
[0044][0045]
表二
[0046]
[0047]
从表一和表二可以看出，相比较于其他6种压缩图像去块效应方法，本发明在所有的qf下均取得了最高的平均psnr、ssim和psnr-b值。从图5可以看出，方法1和方法2容易在图像中的边缘和纹理区域产生严重的模糊，方法3、方法4、方法5和方法6一定程度上缓解了这一问题，本发明则进一步减少了模糊的程度，恢复出了更加清晰的边缘和纹理。图6中的放大区域包含两种不同走向的条带状纹理，一种像斜杠，另一种类似反斜杠，它们互相交错，形成了菱形样式的图案。方法1、方法2、方法3和方法4几乎无法复原出反斜杠走向的条带状纹理，所以在它们处理过的图像中，菱形样式的图案难以辨认。虽然方法5和方法6可以修复些许依稀可见的反斜杠走向的条带状纹理，但它们倾向于产生扭曲的菱形样式图案。相比之下，本发明能够得到相对规则的菱形样式图案，产生更加接近原图的视觉效果。
[0048]
综上所述，相比于其他6种方法，本发明的压缩图像去块效应结果在主客观评价上都有较大的优势。因此，本发明是一种有效的压缩图像去块效应方法。