基于噪声水平的图像超分方法与流程

1.本发明涉及图像处理技术，尤其涉及了基于噪声水平的图像超分方法。


背景技术：

2.图像超分辨率就是通过低分辨率图像恢复出高分辨率图像，例如将一幅图片的分辨率由960*540扩大2倍到1920*1080，方便用户在大尺寸的显示设备上观看。图像的超分辨率，是图像处理相关问题中的基础问题之一，并具有广泛的实际需求和应用场景。特别是在医疗图像、卫星图像和视频等领域，同样场景的低分辨率图像很容易得到的情况下，利用超分辨率重建技术得到高分辨率图像，能更好的帮助后续的图像处理操作。
3.近些年，随着深度学习技术的不断发展，卷积神经网络(cnns)在计算机视觉方向受到了广泛的关注，并取得了显著的效果。在图像超分辨率领域，cnns也做出了巨大贡献。
4.目前，大部分基于深度学习的超分方法都展现了出色的性能，能得到较高的客观图像质量评估指标，比如峰值信噪比(psnr)和结构相似指标(ssim)。但从人的主观来看，这些模型超分出来的图像往往都过于平滑，在实际应用中，尤其在一些高清设备端，这样的图像无法给人们清晰的视觉感受。


技术实现要素：

5.本发明针对现有技术中超分出来的图像过于平滑，对于一些高清设备端图像显示不清晰的问题，提供了基于噪声水平的图像超分方法。
6.为了解决上述技术问题，本发明通过下述技术方案得以解决：
7.基于噪声水平的图像超分方法，包括预处理模块、图像增强模块和重建模块，方法包括：
8.图像数据准备，构建图像超分数据库，对图像进行图像块采样，并对图像块进行处理得到低分辨率图像块；
9.图像预处理，通过多尺度的图像预处理模块对低分辨率图像块进行处理；
10.图像的增强，通过图像增强模块，对预处理后的图像块进行增强；
11.图像重建，通过重建模块，对图像块进行重建；
12.模型的训练，将预处理模块、图像增强模块和重建模块进行连接构成超分模型，并同时训练这三个模块。
13.作为优选，数据准备包括，
14.获取高分辨率的图像，通过图像数据库获取高分辨率的图像；
15.图像块的获取，对于获取的高分辨率的图像，通过设置的图像块大小进行图像块的采样，获取多个图像块；
16.低分辨率图像的获取，对图像块进行模糊、加噪和下采样处理得到低分辨率的图像块。
17.作为优选，图像预处理模块包括1个卷积层，9个doubleconv2d模块，4个下采样层，
4个上采样层和4个拼接层；其中，第一个卷积层的内核大小为3*3，数量为16，填充模式是same，步长为1；doubleconv2d模块的卷积层的内核大小均为3*3，数量与输入特征图一样，填充模式是same，步长为1；下采样采用的步长为2的卷积层，内核大小均为3*3，数量是输入特征图的2倍，填充模式是same；上采样采用双线性插值方法进行采样；拼接层是将2个输入特征图在通道维度进行拼接。
18.作为优选，增强模块为噪声水平增强模块，包括3个卷积层、2个上采样层、1个leakyrelu激活层和1个变换操作；其中，卷积层的内核大小均为3*3，填充模式是same，步长为1，内核数量分别为3、3、16；
19.上采样均采用双线性插值方法；
20.leakyrelu激活层的负斜率参数为0.1；
21.变换操作的输入是低分辨率图像对应的噪声水平参数组成的向量，与随机初始化可训练的正态分布的矩阵参数进行线性变换。
22.作为优选，重建模块为基于残差模块的图像重建模块，包括1个卷积层，6个resblock模块，2个卷积层，1个add层，输入为图像增强模块后的特征图，输出为重建后的超分结果；
23.resblock由1个卷积层，1个leakyrelu激活层，1个卷积层构成；
24.卷积层的内核大小均为3*3，除了最后一个卷积层的内核数量为3，其余数量均为64，且卷积步长均为1；
25.leakyrelu激活层的负斜率参数为0.1。
26.作为优选，模型的训练包括损失函数的计算，损失函数为：
[0027][0028]
其中，表示清晰的高分辨率图像在位置(x,y)的像素值，表示低分辨率图像i
lr
经过超分模型g超分后的图像在位置(x,y)的像素值，w，h分别是图像的宽度和高度；
[0029]
训练参数
[0030]
通过adam算法对训练参数进行优化，其中设置训练参数，初始学习率设为10-4
，训练迭代次数设定为200个epoch，每训练50个epoch，学习率降1/2。
[0031]
本发明由于采用了以上技术方案，具有显著的技术效果：
[0032]
本发明模型的输入是低分辨率图像，通过预处理模块对图像提取特征，在增强模块中得到初步的超分图像，并引入基于对应的噪声水平的先验信息，最后通过重建模块将其调整为高频信息，得到更清晰的超分图像。
[0033]
本发明通过构造增强模块，引入了基于噪声水平的先验信息，可以得到更清晰的超分图像。
附图说明
[0034]
图1是本发明的超分模型的框架
[0035]
其中，preprocess表示预处理模块，enhance表示增强模块，reconstruction表示重建模块。该框架的输入是低分辨率图像，输出是超分后的高分辨率图像；
[0036]
图2是本发明的预处理模块的结构图
[0037]
其中，conv2d表示卷积层，doubleconv2d表示图3所示的双层卷积结构，downsampling表示下采样层，upsampling表示上采样层，concate表示拼接层；i
lr
表示低分辨率图像，x
out
表示预处理模块的输出。
[0038]
图3是本发明的doubleconv2d模块的结构图
[0039]
其中，conv2d表示卷积层，leakyrelu表示leakyrelu激活层；
[0040]
图4是本发明的增强模块的结构图
[0041]
其中，i
lr
表示低分辨率图像，x
mid_out
表示增强模块中输出的初步超分结果，p
noise
表示低分辨率图像对应的噪声水平参数，transform表示对噪声水平参数进行的变换操作；
[0042]
图5是本发明的重建模块的结构图
[0043]
其中，resblock表示图6所示的残差结构，x
mid_out
表示增强模块中输出的初步超分结果，表示像素相加层，g(i
lr
)表示超分后的高分辨率图像；
[0044]
图6是本发明的残差模块(residualblock)的结构图
[0045]
其中，x
in
表示residualblock的输入，x
out
表示residualblock的输出；
[0046]
图7是本发明的对比效果图，7-1低分辨率图像，7-2双三次插值图像，7-3吴噪声增强图像，7-4本发明图像。
具体实施方式
[0047]
下面结合附图1-7与实施例对本发明作进一步详细描述。
[0048]
实施例1
[0049]
基于噪声水平的图像超分方法，包括预处理模块、图像增强模块和重建模块，方法包括：
[0050]
图像数据准备，构建图像超分数据库，对图像进行图像块采样，并对图像块进行处理得到低分辨率图像块；
[0051]
图像预处理，通过多尺度的图像预处理模块对低分辨率图像块进行处理；
[0052]
图像的增强，通过图像增强模块，对预处理后的图像块进行增强；
[0053]
图像重建，通过重建模块，对图像块进行重建；
[0054]
模型的训练，将预处理模块、图像增强模块和重建模块进行连接构成超分模型，并同时训练这三个模块。
[0055]
数据准备包括，
[0056]
获取高分辨率的图像，通过图像数据库获取高分辨率的图像；
[0057]
图像块的获取，对于获取的高分辨率的图像，通过设置的图像块大小进行图像块的采样，获取多个图像块；
[0058]
低分辨率图像的获取，对图像块进行模糊、加噪和下采样处理得到低分辨率的图像块。
[0059]
图像预处理模块包括1个卷积层，9个doubleconv2d模块，4个下采样层，4个上采样层和4个拼接层；其中，第一个卷积层的内核大小为3*3，数量为16，填充模式是same，步长为1；doubleconv2d模块的卷积层的内核大小均为3*3，数量与输入特征图一样，填充模式是same，步长为1；下采样采用的步长为2的卷积层，内核大小均为3*3，数量是输入特征图的2
倍，填充模式是same；上采样采用双线性插值方法进行采样；拼接层是将2个输入特征图在通道维度进行拼接。
[0060]
增强模块为噪声水平增强模块，包括3个卷积层、2个上采样层、1个leakyrelu激活层和1个变换操作；其中，卷积层的内核大小均为3*3，填充模式是same，步长为1，内核数量分别为3、3、16；
[0061]
上采样均采用双线性插值方法；
[0062]
leakyrelu激活层的负斜率参数为0.1；
[0063]
变换操作的输入是低分辨率图像对应的噪声水平参数组成的向量，与随机初始化可训练的正态分布的矩阵参数进行线性变换。
[0064]
重建模块为基于残差模块的图像重建模块，包括1个卷积层，6个resblock模块，2个卷积层，1个add层，输入为图像增强模块后的特征图，输出为重建后的超分结果；
[0065]
resblock由1个卷积层，1个leakyrelu激活层，1个卷积层构成；
[0066]
卷积层的内核大小均为3*3，除了最后一个卷积层的内核数量为3，其余数量均为64，且卷积步长均为1；
[0067]
leakyrelu激活层的负斜率参数为0.1。
[0068]
模型的训练包括
[0069]
损失函数的计算，损失函数为：
[0070][0071]
其中，表示清晰的高分辨率图像在位置(x,y)的像素值，表示低分辨率图像i
lr
经过超分模型g超分后的图像在位置(x,y)的像素值，w，h分别是图像的宽度和高度；
[0072]
训练参数
[0073]
通过adam算法对训练参数进行优化，其中设置训练参数，初始学习率设为10-4
，训练迭代次数设定为200个epoch，每训练50个epoch，学习率降1/2。
[0074]
实施例2
[0075]
在实施例1基础上，本实施例基于噪声水平的图像超分方法包括，准备数据
[0076]
步骤1.1：数据集由5个公开的图像数据库组成，分别是vimeo、realsr、reds、div2k和flickr2k，其中vimeo和reds是视频数据集，每个场景序列由多帧连续的图像组成。每个数据库都提供高分辨率图像，部分数据库提供与之对应的低分辨率图像，本发明只使用高分辨率图像，低分辨率图像由高分辨率图像产生。每个数据库所包含图像的内容、尺寸、数量均不相同。
[0077]
步骤1.2：对于vimeo和reds数据集，为了避免图像内容重复，每个场景序列只取其中一帧图像。对每张高分辨率图像进行图像块采样，图像块大小为128*128*3，为了增大数据量，对大尺寸的图像随机采样多个图像块，例如尺寸为1920*1080*3的高清图像随机采样4个128*128*3的图像块，而这些图像块就作为超分训练的标签。
[0078]
步骤1.3：对高清的128*128*3图像块进行模糊、加噪、下采样处理得到对应的64*64*3低分辨率图像块。其中，模糊处理是用不同的模糊核对图像进行模糊，模糊核包含各向同向高斯模糊核、各向异向高斯模糊核、运动模糊核。加噪处理是对图像添加随机噪声水平
的高斯噪声，该噪声水平参数和其对应的低分辨率图像均为超分模型的输入。下采样是对图像进行0.5倍的双三次插值。
[0079]
步骤2：预处理模块(preprocess)
[0080]
本发明构造了一个多尺度的图像预处理模块，网络结构如图2所示。具体包含1个卷积层，9个doubleconv2d模块，4个下采样层，4个上采样层和4个拼接层。其中，第一个卷积层的内核大小为3*3，数量为16，填充模式是same，步长为1。doubleconv2d模块结构如图3，卷积层的内核大小均为3*3，数量与输入特征图一样，填充模式是same，步长为1。下采样采用的步长为2的卷积层，内核大小均为3*3，数量是输入特征图的2倍，填充模式是same。上采样采用双线性插值方法。拼接层是将2个输入特征图在通道维度进行拼接。
[0081]
步骤3：增强模块(enhance)
[0082]
本发明构造了一个基于噪声水平的增强模块，网络结构如图4所示。具体包含3个卷积层、2个上采样层、1个leakyrelu激活层和1个变换操作。其中，卷积层的内核大小均为3*3，填充模式是same，步长为1，内核数量分别为3、3、16。上采样均采用双线性插值方法。leakyrelu激活层的负斜率参数为0.1。变换操作的输入是低分辨率图像对应的噪声水平参数组成的向量，与随机初始化可训练的正态分布的矩阵参数进行线性变换。
[0083]
步骤4：重建模块(reconstruction)
[0084]
本发明构造了一个基于残差模块的图像重建模块，具体有1个卷积层，6个resblock模块，2个卷积层，1个add层，如图5。输入是经过图像增强模块后的特征图，输出是重建后的超分结果。其中，resblock由1个卷积层，1个leakyrelu激活层，1个卷积层构成，如图6。卷积层的内核大小均为3*3，除了最后一个卷积层的内核数量为3，其余数量均为64，且卷积步长均为1。leakyrelu激活层的负斜率参数为0.1。
[0085]
步骤5：模型的训练
[0086]
将步骤2、步骤3和步骤4的模块连接起来构成超分模型，同时训练这3个模块。
[0087]
步骤5.1：损失函数
[0088][0089]
其中，表示清晰的高分辨率图像在位置(x,y)的像素值，表示低分辨率图像i
lr
经过超分模型g超分后的图像在位置(x,y)的像素值，w，h分别是图像的宽度和高度。
[0090]
步骤5.2：训练参数
[0091]
设置训练参数，初始学习率设为10-4
，训练迭代次数设定为200个epoch。每训练50个epoch，学习率降1/2。优化算法均采用adam算法。