一种基于渐进残差生成对抗网络的图像超分方法与流程

1.本发明主要涉及图像处理领域，具体来说涉及了一种基于渐进残差生成对抗网络的图像超分方法。


背景技术：

2.长久以来，图像的超分辨率重建(简称即图像超分)是图像处理领域中广受研究的一个分支内容。图像超分技术具体来说就是，给定一张或一批低分辨率的图像，通过硬件加工或者算法处理，在确保图像不失真的前提下，得到对用清晰的高分辨率图像。该技术能够丰富完善采集图像的的细节信息，使得采集的图像更具实用价值，因而在航空航天、气象遥感、生物医学等诸多领域都有着广泛的应用场景。
3.传统的超分辨率方法利用原始图像的像素信息，通常采用数学方法如插值算法，手工分析构建数学模型等方式实现图像超分辨率。然而，该类方法不能很好拟合图片数据信息的真实分布，生成的图像会存在图像纹理模糊、噪声较明显等问题。
4.近年来随着深度学习领域的快速发展，基于深度学习方法的超分辨率工作受到了广泛研究关注，取得了很好的进展。深度学习方法通过采用卷积神经网络对输入图片进行处理，提取拟合图像特征，解析图像的高频信息；设计端到端方式的神经网络模型，并且根据先验信息设计可反向传播的优化约束函数，利用输入图片对网络模型进行训练，优化网络参数，提高模型的图像超分效果。相比于其他方法，深度学习方法具有其特有的优势：深度学习方法通过图像处理与神经网络相结合的方式进行图像超分辨率重构，能够更好的学习到原始图像的信息特征，生成的超分辨率图像可视性更好更清晰，并且相较于通过硬件设备提高分辨率的方法，深度学习方法成本更小，更容易实施。
5.当下，在深度学习领域中结合生成对抗网络(gan)的方法实现图像的超分辨率重构是很有效的一种方法。生成对抗网络主要由生成器g(generator)和判别器d(discriminator)组成，其中生成器g通过初始化的噪声信息作为输入，用于映射生成重构图片；判别器d用于判断输入的图片的真假(输出范围(0,1)，输出值越大，图片真实程度越高)。生成器g通过训练调节生成器子网络的参数，使得生成图像的真实程度尽可能高，使得判别器不能识别其是生成的重构图片；判别器d通过训练调节判别器子网络的参数，提升自己识别输入图片真假的能力。可以看出，生成器与判别器的目标是彼此对抗相互博弈的过程，在这两个子网络不断优化对抗的过程中，生成器g的网络模型能够更好的学习到图片信息特征，拟合真实图片的数据分布。通常在生成器g网络中，直接通过多层神经网络完成特征信息提取拟合，但是该网络形式无法充分利用输入特征信息，若是使用desnet形式则网络结构过于复杂，严重减缓了网路处理效率。本发明针对生成对抗网络中图片信息特征利用不完全的问题，提出了一种基于渐进残差的生成对抗网络用于处理图片信息，把生成器g网络的每层神经网络处理得到的特征都以残差形式输入到终层神经网络中，在保证网络特征提取效率的同时，能够充分利用每一层得到的特征信息，使得网络可以充分学习拟合得到的信息；此外，对于整个生成器网络中每层残差特征给予权重超参数，利用网格搜索的方
法确定所有的超参数值，确保网络能够根据特征信息的重要程度不同调节对残差特征的学习，提升最终重构图片的效果。


技术实现要素：

6.本发明关注于如何有效利用图像特征信息，提升生成对抗网络对图像数据信息的拟合，从而提高该网络图像高分辨率效果这一问题，提出了一种基于渐进残差生成对抗网络的图像超分方法。整体网络使用的是gan网络金字塔(包含有多层子网络，每一层处理不同分辨率的输入图片)。首先是对给定的真实目标图像进行下采样处理，获得该图像的一系列低分辨率图片集，按照分辨率从低到高分别输送到gan金字塔的不同子网络层(判别器d)中；网络从最低子网络层(图像分辨率最低)开始训练，生成对应的虚假图像，引入损失函数衡量生成的虚假图像和真实图像的差距。根据损失函数结果自动调节网络参数，迭代多次，直至虚假图像逼近真实图像。在最小分辨率的子网络层训练结束后，采用网格搜索的方法调节子网络层生成器中不同神经网络层的超参数，选取生成效果图最好的超参数值做为最终值；然后，将最后生成的虚假图像上采样后加入噪声，输入到上一层训练网络中，与该层的真实图像一起迭代训练，得到更高分辨率的虚假图像直至重构出与未采样前真实图像相同分辨率大小的虚假图像。由于每个子网络层都是拟合相同图像的数据分布，因此在其他的子网络层可以沿用最低层的超参数；最后，按照需要的超分辨率值对图像进一步上采样，叠加噪声输入至原始图像分辨率的gan网络层中迭代训练，得到所需要的超分辨率图像。整个训练过程主要包含部分：
7.第一方面是对目标图像的下采用样，为gan的每层子网络提供所需的对应分辨率的图片信息；第二方面是设计好可训练的gan网络金字塔，使其可以从低分辨率开始，不断训练生成逼真程度很高的对应的重构图片，直至训练生成原始分辨率大小的图片；第三方面则是在重构出原来分辨率大小的虚假图像的基础上，在更高子网络层进行迭代训练，生成超分辨率图片。
8.一种基于渐进残差生成对抗网络的图像超分方法，步骤如下：
9.步骤1：图像预处理，获得图像数据集。
10.给定一张rgb的自然真实图像，按照确定的降采样参数α不断的对图像进行降采样处理，获得一个关于该图像的不同分辨率的图像数据集。
11.步骤2：搭建残差式生成对抗网络；
12.所述的残差式生成对抗网络包含多层子网络，每层子网络的结构相同，由生成器和判别器组成，生成器g由五层神经网络卷积块和三层残差特征块组成。所述的神经网络卷积块由卷积-归一化-激活函数组成，用于完成图像中特征信息的提取和处理，拟合真实数据分布；所述的残差特征块为第一层神经网络卷积块处理得到的特征信息，用于将加权后的特征信息保留输入至后续的神经网络卷积块中，加强对处理过程中特征信息的调用，同时通过加权参数调节中间残差特征信息在后续处理环节中所占权重，使得生成器网络能够按需求合理利用中间特征信息。对于每层子网络的生成器中生成的重构图片，通过损失函数优化提高生成重构图片的逼真程度，使得其输入判别器时，结果接近1。
13.判别器由五层神经网络卷积块构成，卷积块结构与生成器的神经网络卷积块相同，用于判断图片的真假(输出值越大，图片真实度越高)。对于判别器，当输入重构图片，判
别器的理想输出为0，若输入给定目标图像下采样到该层子网络的低分辨率真实图像，其理想值为1。
14.步骤3：通过步骤1获取的图像数据集对残差式生成对抗网络进行训练。
15.对于残差式生成对抗网络的最低层子网络，在损失函数约束下，通过多次迭代训练优化该层子网络，使得生成的重构图片更加逼近该层的低分辨率真实图片。
16.然后对更高一层的子网络进行训练。对低一层的重构图片上采样并加入随机噪声，作为当前子网络层的输入，按照低一层的子网络层的训练方法开始训练，直至训练生成良好的更高分辨率的重构图片。
17.依次对每一层的子网络进行训练，直至生成和原始真实图片相同分辨率的逼真的重构图片。
18.步骤4：接着对步骤3最终获得的和原始真实图片相同分辨率的重构图片进行超分辨率上采样，此时的子网络层采样结果加入噪声后，接着输入到高层的超分辨率的子网络层网，按照步骤3继续逐层训练直至输入到最高层的子网络，最终通过最高层的子网络得到所需的超分辨率图片。
19.进一步的，步骤1具体方法如下：
20.对图像进行低分辨率采样预处理。对于给定的自然真实图像ir，其维度为m*n*c，其中m，n分别表示图像的宽和高；c表示图像维度。按照降采样参数α不断的对图像进行降采样处理，直至图像大小为原始图像的1/10。α取值公式如下：其中x表示输入图像，y表示所需要的超分辨率图像的倍数，n表示残差式生成对抗网络的子网络层数。
[0021][0022]
进一步的，步骤2具体方法如下：
[0023]
构建残差式生成对抗网络，使用n层子网络(ganj，0≤j≤n-1，j越大的网络层图像分辨率越低)构成整体的残差式生成对抗网络，所述的子网络由生成器和判别器组成，生成器g由五层神经网络卷积块和三层残差特征块组成。其中神经网络卷积块由神经网络中常用的卷积-归一化-激活函数组成，用于特征提取，拟合图像数据分布。卷积核尺寸为3*3，激活函数为：
[0024][0025]
残差特征块为第一层神经网络卷积块处理后得到的特征信息，将该特征块加权输入到随后的三层神经网络卷积块中。即在生成器中，当通过第一层神经网络卷积块conv0处理得到特征信息x0后，后续的第i层(1≤i≤3)神经网络输出的特征信息xi为：
[0026]
xi＝αi*x0 convi(x
i-1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0027]if，j
＝i
f，j 1
↑
conv4(x3)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0028]
其中，αi(1≤i≤3)∈(0，1)为权重超参数，初始值为0.2。最终整体网络模型的第j层生成输出生成的重构图片为i
f，j
(0≤j≤n-1)，如公式(3)所示。其中conv4表示生成器中的第五层神经网络卷积块，x3为经过前四次卷积处理后的输出特征信息，符号
↑
表示以参数β＝1/α进行上采样。在最底层子网络中，没有更低分辨率图片上采样输入到本网络层，以与
最低分辨率的真实图像相同大小的随机噪声图z作为输入直接处理，最终的输出结果：
[0029]if，j
＝conv4(conv3(conv2(conv1(conv0(z)))))
ꢀꢀꢀꢀꢀꢀ
(5)
[0030]
由于超参数数量少，对于每次选定的进行图像超分的自然真实图片，以网格搜索的方式在(0，1)范围对超参数进行逐一调试，每次调试间隔为0.2，查看不同参数值下子网络的训练效果。训练结束后选取最优值作为每一层子网络的超参数值。从而使得网络能够更好的利用每个残差特征块，提升图像重构效果。
[0031]
判别器由五层神经网络卷积块构成，卷积块结构与生成器的神经网络卷积块相同。判别器目标为判断输入图片的真假：当输入下采样的低分辨率真实图片，其输出期望结果接近1，输入生成器重构图片时则尽可能接近0。如公式(6)-(7)所示，损失函数f
loss
＝loss(gj，dj)，在损失函数约束下，通过多次迭代优化生成器和判别器的性能，提升生成器重构图片的真实度，即重构图片输入判别器时，输出结果接近1。
[0032]
loss(gj，dj)＝l
train
(gj，dj) l
rec
(gj)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0033][0034]
其中，gj，dj分别表示第j层子网络的生成器和判别器。利用损失优化函数f
loss
多次重复迭代训练该层gan网络提升重构图片的真实程度。l
train
(gj，dj)表示wgan-gp损失，l
rec
(gj)为重构损失，表示真假图片的差距，i
f，j 1
↑
表示对i
f，j 1
上采样。z表示与最低分辨率的真实图像相同大小的随机噪声图。
[0035]
本发明有益效果如下：
[0036]
本发明基于深度学习中的生成对抗网络模型，融入了加权的级联残差结构，能够高效充分利用输入图片的特征信息，拟合输入图片的数据特征，实现图片的超分辨率。相较于以往的方法，不仅成本低、容易实施，而且能够提升图像的超分辨率效果。
附图说明
[0037]
图1为本发明实施例超分辨率网络框架图；
[0038]
图2为本发明实施例第j层子网络的生成器结构；
[0039]
图3为本发明实施例第j层子网络的判别器结构。
具体实施方式
[0040]
以下结合附图与实施例对本发明方法进行进一步描述。
[0041]
一种基于渐进残差生成对抗网络的图像超分方法，步骤如下：
[0042]
步骤1：对图像进行低分辨率采样预处理。对于给定的自然真实图像ir，其维度为m*n*c，其中m，n分别表示图像的宽和高，m＝n＝256；c＝3表示图像维度。按照降采样参数α不断的对图像进行降采样处理，直至图像大小为原始图像的1/10左右。本文使用13层子网络(ganj，0≤j≤12，j越大的网络层图像分辨率越低)构成整体的生成对抗网络，最终目标是构建生成原始图像4倍超分辨率的重构图像，α取值范围为(0.6，0.8)，本文取值按公式(1)取近似结果0.7，其中x表示输入图像，n＝13表示该模型的子网络层数。
[0043][0044]
步骤2：构建残差式生成对抗网络，使用13层子网络(ganj，0≤j≤12，j越大的网络层图像分辨率越低)构成整体的残差式生成对抗网络(如图1所示)，所述的子网络由生成器和判别器组成，生成器g(如图2所示)由五层神经网络卷积块和三层残差特征块组成。其中神经网络卷积块由神经网络中常用的卷积-归一化-激活函数组成，用于特征提取，拟合图像数据分布。卷积核尺寸为3*3，激活函数为：
[0045][0046]
残差特征块为第一层神经网络卷积块处理后得到的特征信息，将该残差特征块加权输入到随后的三层神经网络卷积块中。即在生成器中，当通过第一层神经网络卷积块conv0处理得到特征信息x0后，后续的第i层(1≤i≤3)神经网络输出的特征信息xi为：
[0047]
xi＝αi*x0 convi(x
i-1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0048]if，j
＝i
f，j 1
↑
conv4(x3)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0049]
其中，αi(1≤i≤3)∈(0，1)为权重超参数，初始值为0.2。最终整体网络模型的第j层生成输出生成的重构图片为i
f，j
(0≤j≤12)，如公式(3)所示。其中conv4表示生成器中的第五层神经网络卷积块，x3为经过前四次卷积处理后的输出特征信息，符号
↑
表示以参数β＝1/α进行上采样。在最底层子网络(j＝12)中，没有更低分辨率图片上采样输入到本网络层，以与最低分辨率的真实图像相同大小的随机噪声图z作为输入直接处理，最终的输出结果：
[0050]if，j
＝conv4(conv3(conv2(conv1(conv0(z)))))
ꢀꢀꢀꢀꢀ
(5)
[0051]
由于超参数数量少，对于每次选定的进行图像超分的自然真实图片，以网格搜索的方式在(0，1)范围对超参数进行逐一调试，每次调试间隔为0.2，查看不同参数值下子网络的训练效果。训练结束后选取最优值作为每一层子网络的超参数值。从而使得网络能够更好的利用每个残差特征块，提升图像重构效果。
[0052]
判别器(如图3所示)由五层神经网络卷积块构成，卷积块结构与生成器的神经网络卷积块相同。判别器目标为判断输入图片的真假：当输入下采样的低分辨率真实图片，其输出期望结果接近1，输入生成器重构图片时则尽可能接近0。如公式(6)-(7)所示，损失函数f
loss
＝loss(gj，dj)，在损失函数约束下，通过多次迭代优化生成器和判别器的性能，提升生成器重构图片的真实度，即重构图片输入判别器时，输出结果接近1。
[0053]
loss(gj，dj)＝l
train
(gj，dj) l
rec
(gj)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0054][0055]
其中，gj，dj分别表示第j层子网络的生成器和判别器。利用损失优化函数f
loss
多次重复迭代训练该层gan网络提升重构图片的真实程度。l
train
(gj，dj)表示wgan-gp损失，l
rec
(gj)为重构损失，表示真假图片的差距，i
f，j 1
↑
表示对i
f，j 1
上采样。z表示与最低分辨率的真实图像相同大小的随机噪声图。
[0056]
步骤3：通过步骤1获取的图像数据集对残差式生成对抗网络进行训练。
[0057]
训练残差式生成对抗网络最低层子网络gan
12
，在损失函数约束下，通过多次迭代训练优化该层子网络，使得生成的重构图片i
f，12
更加逼近该层的低分辨率真实图片i
r，12
。
[0058]
然后对更高一层的子网络训练gan
11
。对低一层子网络gan
12
的重构图片上采样并中加入随机噪声，作为当前子网络层gan
11
的输入，按照低一层的子网络层的训练方法开始训练，直至训练生成良好的更高分辨率的重构图片i
f，11
。
[0059]
重复对每一层的子网络进行训练，直至生成和原始真实图片相同分辨率的逼真的重构图片。
[0060]
步骤4：接着对该重构图片进行超分辨率上采样，此时的子网络层采样结果加入噪声后，接着输入到高层的超分辨率的子网络层网，按照步骤3继续逐层训练直至输入到最高层的子网络，最终通过最高层的子网络得到所需的超分辨率图片i
f，0
。