一种基于U-net结构的密集残差去噪方法

一种基于u-net结构的密集残差去噪方法
技术领域
1.本发明涉及一种基于u-net结构的密集残差去噪方法，属于图像去噪领域。


背景技术：

2.近年来，图像处理在各个行业的应用越来越广泛，但是图像噪声却是一个难以避免的问题。这些噪声有的来源于图像捕捉传感器，有的来源于设备上的图像处理信道。这些不同来源的噪声难以精确建模，大大增加了图像去噪的难度。在图像处理领域，干净清晰的图像一直是该领域的研究基石之一。所以，图像去噪是图像处理领域的一项根本任务。
3.图像去噪旨在从一个被噪声污染的图片上重构出一个原始的干净图片。而现有的研究表明，卷积神经网络(convolutional neural networks，cnn)在重构原始干净图片方面大放异彩。这不仅归功于现有的大规模数据集和越来越先进的gpu，还归功于大量学者对卷积神经网络持续不断的优化和改进。在学者们的改进过程中，为了获得更多的语义信息，使模型表现的更加优秀，通常采用扩大感受野这一手段来改进与优化网络。所以，如何更有效的扩大cnn的感受野一直是热门的研究点之一。很多网络通过附加池化操作来扩大感受野，其优点是可以降低模型的计算复杂度，然而经过池化操作后，会导致部分网络信息丢失，为更进一步的处理增加阻碍。
4.本发明创新地提出一种基于u-net结构的密集残差去噪方法。本发明设计一个基于u-net结构的密集残差去噪网络用语图像去噪，在保证去噪图像质量的同时，减少该方法所消耗的时间成本。


技术实现要素：

5.本发明的目的是为了进行图像去噪，本发明设计一个基于u-net结构的密集残差去噪网络用语图像去噪，在保证去噪图像质量的同时，减少该方法所消耗的时间成本。
6.本发明的目的是这样实现的：
7.一种基于u-net结构的密集残差去噪方法，包括如下步骤：
8.步骤一：对大量div2k数据集中的数据进行噪声添加；
9.步骤二：对基于u-net结构的去噪模型进行训练，在特征提取部分，采用主成分分析pca 小波变换的方式对含噪图像特征进行提取，在图像重建部分，采用逆小波变换来对图像进行重建；
10.步骤三：将密集残差网络嵌入到了基于u-net结构的去噪模型中；
11.步骤四：通过步骤三中的去噪模型生成去噪后的图片。
12.所述步骤一具体为：选取其中800张作为训练验证测试集，其中训练、验证和测试的比例为6：2：2；在训练开始前，需要数据集进行预处理，在data文件夹中分别建好train、val和test文件，在每个子文件夹中再创建两个clean和noisy文件夹，随机的将数据集中800张图片依次的按比例分配进不同的clean文件夹中，再针对clean文件夹中的图像添加不同等级的高斯噪声，噪声等级为15、25和50，并保存在noisy文件夹中。
13.所述步骤二具体为：
14.基于u-net结构的去噪模型包含两个分支结构：编码器、解码器；编码器位于解码器之前，包含卷积层、激活函数与下采样层；解码器位于网络的后半部分，包含卷积层，激活函数和上采样层，编码器中，对图像进行特征提取和数据降维，解码器中的结构与编码器中的结构类似，利用反池化层对数据进行升维，最终重建图像，其中下采样层为小波变换和pca，上采样层为逆小波变换；
15.所述小波变换的公式如下：
16.利用ll滤波器f
ll
，hh滤波器f
hh
，lh滤波器f
lh
和hl滤波器f
hl
分解出的四个小波变换特征分别为x
ll
、x
hh
、x
lh
和x
hl
，其中l和h分别代表低频和高频分量，第一个字母代表水平分量，第二个字母代表垂直分量，对于滤波器的h(n)定义如式(1-1)所示
[0017][0018]
haar小波的表示见式(1-2)
[0019][0020]
其中ψ(t)是小波函数的母函数，其定义如式(1-3)所示
[0021][0022]
缩放函数其定义如式(1-4)
[0023][0024]
四个滤波器的卷积核定义如式(1-5)
[0025][0026]
对应的池化卷积操作定义如式(1-6)
[0027][0028]
其中表示卷积操作，
↓
表示标准下采样；
[0029]
所述pca步骤如下：
[0030]
步骤2.1:首先计算特征平均值构建特征数据的协方差矩阵；
[0031]
步骤2.2:通过svd分解求解该协方差矩阵的特征值以及特征向量；
[0032]
步骤2.3:求出来的特征值依次从大到小排列以便于选出主成分的特征值；
[0033]
步骤2.4:当选出了主成分的特征值后，这些特征值所对应的特征向量就构成了降维后的子空间。
[0034]
与现有技术相比，本发明的有益效果是：本发明利用小波变换和逆小波变换来优
化网络，并嵌入了密集残差结构，使得在提高去噪效果的同时，减少其计算成本。
附图说明
[0035]
图1为本发明的总体技术路线；
[0036]
图2为本发明基于u-net结构的密集残差去噪网络；
[0037]
图3为密集残差块的结构图。
具体实施方式
[0038]
下面结合附图与具体实施方式对本发明作进一步详细描述。
[0039]
本发明首先对div2k数据集进行噪声添加处理，添加15，25，50三个等级的高斯噪声。之后对基于u-net结构的去噪模型进行训练，在特征提取部分，该模型采用主成分分析(principal component analysis，pca) 小波变换的方式对含噪图像特征进行提取，在图像重建部分，采用逆小波变换来对图像进行重建。此外为了减少模型的计算成本，还将密集残差网络嵌入到了该模型之中，具体路线如下：
[0040]
(1)通过噪声添加程序对大量高清图像进行噪声添加，其噪声等级为15，25，50。
[0041]
(2)通过现有u-net结构模型对其进行预训练。
[0042]
(3)再对整体包含小波变换、pca和密集残差结构的网络进行训练。
[0043]
(4)新的图像去噪网络得到去噪结果。
[0044]
本发明针对计算机图像处理领域的图像去噪算法开展研究。由于在图像去噪过程中可能包含着多种等级的高斯噪声，而不同等级的噪声对于模型去噪效果的影响非常之大。模型的表现也在一定程度上依赖于含噪图像的清晰度。含噪图像越清晰，则去噪效果越好，反之亦然。因此如何提高现有模型对于多种等级的高斯噪声的去噪能力至关重要。为了提升本发明模型的去噪能力，本发明所提出的去噪算法针对15、25、50三个等级的高斯噪声进行了优化。在降噪过程中，如何对图像特征进行更有效的提取与利用也是一个研究重点，现有的基于u-net结构的网络去噪效果较为优秀，但是对于特征提取与利用的方法还有更进一步的优化空间。为了提升模型的特征利用能力，本发明所提出的去噪算法针对该方面进行了特殊优化，采用pca 小波变换的方式对含噪图像特征进行提取，以此来提高最终的去噪效果。此外，去噪网络的计算成本也是制约其实用性的重要因素之一，现有的研究往往将如何提升最终的去噪能力作为重点。但是从实际应用方面来看，去噪网络的计算成本也是鉴别去噪网络优秀与否的因素之一。残差结构在在减少计算成本方面表现优异，因此，本发明所提出的去噪网络结合残差结构，在不影响去噪能力的前提下，降低去噪网络的计算成本。本发明针对现有去噪网络存在的问题，深入开展算法研究，提高基于u-net结构的去噪网络的去噪性能，最终使其在实际应用中具有更多的应用价值。
[0045]
具体步骤如下：
[0046]
(1)对大量div2k数据集中的数据进行噪声添加，具体实施步骤如下：
[0047]
本发明中使用的数据集为div2k数据集，选取其中800张作为训练验证测试集，其中训练、验证和测试的比例为6：2：2。选择dik2k数据集的原因是因为该数据集较为清晰，对于图像去噪算法的有效性比较容易验证。在训练开始前，需要数据集进行预处理，在data文件夹中分别建好train、val和test文件，在每个子文件夹中再创建两个clean和noisy文件
夹，随机的将数据集中800张图片依次的按比例分配进不同的clean文件夹中。再针对clean文件夹中的图像添加不同等级的高斯噪声，噪声等级为15、25和50，并保存在noisy文件夹中。
[0048]
(2)对u-net结构中的池化层进行修改，替换为小波变换和pca，其具体步骤如下：
[0049]
利用ll滤波器(f
ll
)，hh滤波器(f
hh
)，lh滤波器(f
lh
)和hl滤波器(f
hl
)分解出的四个小波变换特征分别为x
ll
、x
hh
、x
lh
和x
hl
。其中l和h分别代表低频和高频分量，第一个字母代表水平分量，第二个字母代表垂直分量。对于滤波器的h(n)定义如式(1-1)所示
[0050][0051]
haar小波的表示见式(1-2)
[0052][0053]
其中ψ(t)是小波函数的母函数，其定义如式(1-3)所示
[0054][0055]
缩放函数其定义如式(1-4)
[0056][0057]
四个滤波器的卷积核定义如式(1-5)
[0058][0059]
对应的池化卷积操作定义如式(1-6)
[0060][0061]
其中表示卷积操作，
↓
表示标准下采样。
[0062]
pca步骤如下：
[0063]
步骤2.1:首先计算特征平均值构建特征数据的协方差矩阵。
[0064]
步骤2.2:通过svd分解求解该协方差矩阵的特征值以及特征向量。
[0065]
步骤2.3:求出来的特征值依次从大到小排列以便于选出主成分的特征值。
[0066]
步骤2.4:当选出了主成分的特征值后，这些特征值所对应的特征向量就构成了降维后的子空间。
[0067]
(3)在模型中，还添加了密集残差模块
[0068]
密集残差块与残差块类似，该网络与普通的神经网络的区别在于可以充分利用原始输入的含噪图像的所有分层特征。对于网络层级很深的神经网络来说，在初始层的特征图与层级较深的特征图差别很大，所以采用密集连接的方法，将这些不同层级的卷积层输
出连接起来，这样就可以加强不同卷积层中特征重用，以此来提高神经网络的训练收益。
[0069]
(4)新的图像去噪网络得到去噪结果。
[0070]
本发明利用小波变换和逆小波变换来优化网络，并嵌入了密集残差结构，使得在提高去噪效果的同时，减少其计算成本。