一种基于生成对抗网络的图像超分辨率重构方法与流程

1.本发明涉及到图像处理领域，具体来说是利用深度学习中生成对抗网络技术，实现图像超分辨率重构的一种方法。


背景技术：

2.长久以来，图像的超分辨率(super
‑
resolution，简称sr)重构是图像处理领域中颇受关注的一个问题。具体来说，给定一张(或一系列)低分辨率的图像，利用相关算法或者硬件设备进行处理，提高图像的分辨率，得到一张清晰的高分辨率图像。随着深度学习领域的兴起，利用神经网络模型来处理低分辨率图片逐渐成为了颇受欢迎的方法，相较于传统的重构方法，基于深度学习方法的图像超分辨率重构具有成本低、效果好、重建质量高等优点，在医疗成像、卫星图像等诸多领域都具有广泛的应用前景。
3.本文采用深度学习领域中生成对抗网络(gan)的思想和模型来完成图像的超分辨率重构，在成像过程中没有在原始图像上采用“临近插值”等方法粗略的提高图像的分辨率。在原理上该方法利用了“零和博弈”的思想，它主要包含有图像生成器(generator，简称g)和图像判别器(discriminator,简称d)两个部分。其中生成器g的输入初始化为一张随机采样的噪声图像，通过生成器g处理映射，得到一张虚假图像，虚假图像的维度大小和真实图像相同。然后把虚假图像和真实图像分别输入到判别器d中判断真假，判别器d的输出范围为0～1。通过优化函数(具体见下节内容)约束，使得网络自动调整生成器g和判别器d的网络参数，使得判别器能够尽可能识别出输入图像的真伪，当输入真实图像，判别器输入尽可能接近1，否则接近0；对于生成器而言，则是最大限度的“欺骗”判别器，在多次的对抗训练过程中，生成器和判别器性能不断提高，构造出的虚假图像不断接近真实图像，直至难以判断真假。
4.不同于利用数据集来优化网络模型的训练方法，本方法中利用gan网络金字塔的思想，训练单张输入图片。对于输入的真实图像不断进行下采样处理，得到一系列低分辨率图片。从最低分辨率开始，经过对应的gan网络层处理训练，得到逼真的虚假图像。然后将所得结果上采样输入到上层的网络中，与该层的高分辨率真实图像在该网络层进一步训练，得到更高分辨率的虚假图像。为提高网络的训练效果，本方法在网络中引入了卷积块注意力机制，将网络的训练重点关注在图像中我们所需要的信息，有利用提升图像训练效果；此外，由于训练过程中缺乏标记的监督信息，单纯使用无监督网络进行训练达不到理想效果，而人为添加标签信息既会增加成本也可能导致网络因标签信息不合理导致模型“恶化”。为解决这个问题，本文在网络中使用自监督的方法对网络进行校正改善:即在判别器中对每层网络输入的真实图像进行特征交换操作，即:当输入真实图像时，经过判别器提取特征后，对于提取的特征图fea，复制得到fea
copy
。选择fea
copy
中不同空间位置如(i,j)和(j,i)处的特征进行空间位置交换，把fea和fea
copy
都输入判别器，判断图像是否为真实图像以及是否进行了特征交换。通过这种方法可以在不加入人工标签的前提下，使得网络以自我监督的方式训练优化。


技术实现要素：

5.本发明关注于如何根据低分辨率图像重构出对应的高分辨率图像这一问题，提出了一种基于生成对抗网络的图像超分辨率重构方法。首先是对图像进行下采样处理，可以获取真实图像的一系列低分辨率图片集；然后gan网络从低分辨率图像开始训练，生成对应的虚假图像，引入优化函数反应虚假图像和真实图像的差距。根据优化函数结果自动调节网络参数，迭代多次，直至虚假图像逼近真实图像；然后，将最后生成的虚假图像上采样后加入噪声，输入到上一层训练网络中，与该层的真实图像一起迭代训练，得到更高分辨率的虚假图像直至重构出与未采样前真实图像相同分辨率大小的虚假图像；最后，按照需要的超分辨率值对图像进一步上采样，叠加噪声输入至原始图像分辨率的gan网络层中迭代训练，得到所需要的超分辨率图像。整个训练过程主要包含部分：
6.第一方面是对目标图像的预处理，提供gan网络训练所需的图片信息；第二方面是设计好gan网络金字塔，使得网络可以以自监督的方式，从低分辨率到高分辨率不断的重建出逼近真实图像的虚假图像；第三方面则是在重构出原来分辨率大小的虚假图像的基础上，按照所需分辨率进行上采样；再次输入到原始分辨率的gan网络层中进行迭代训练，得到超分辨图像。
7.一种基于生成对抗网络的图像超分辨率重构方法，步骤如下：
8.步骤1：图像的预处理。
9.给定一张rgb的自然图像ri，首先按照确定的降采样参数α不断的对图像进行降采样处理，获得一个关于ri的不同分辨率的图像数据集ri
j
(0≤j≤n)。
10.步骤2：从最低分辨率图像开始，输入到对应的网络层gan
j
进行训练。在gan
j
网络中，生成器g包括五层的神经网络卷积块，除最后一层外每层神经网络卷积块后连接注意力卷积块。其中，神经网络卷积块由卷积
‑
归一化
‑
激活函数组成，用于完成图像中特征信息的提取和处理，得到特征图；注意力卷积块在特征图中填加了注意力机制，调整网络对特征图不同位置和不同通道的关注权重，对于生成结果通过优化函数提高生成虚假图片的逼真程度，即使得其输入判别器时，结果接近1。
11.步骤3：将生成的虚假图片和真实图片都输入到判别器d当中，判别器d结构和生成器g相同,但是判别器的最后一层神经网络卷积块采用不同的激活函数sigmoid,使得最终输出值范围为(0～1)，判别器目标为：(1)判断输入图片的真假；(2)输入真实图片时，判断该真实图片是否为进行了特征交换操作。
12.步骤4：多次重复迭代训练该层gan
j
网络，使得生成的虚假图片逼近真实图片。
13.步骤5：对步骤4所得图片上采样，采样率与降采样处理一致，输入至上层即分辨率更高一层的gan
j
‑1网络中加入随机噪声，重复步骤2～4，直至训练生成良好的更高分辨率的虚假图片。
14.步骤6：不断重复步骤5，直至生成和原始真实图片相同分辨率的逼真的虚假图片。
15.步骤7：按照预定的超分辨率参数λ，对步骤6最终生成的虚假图片进行超分辨率上采样，采样结果加入噪声后，重新输入到最高层的gan0网络,按照步骤2～4，训练得到所需的超分辨率图片。
16.本发明有益效果如下：
17.本发明采用注意力关注机制和自监督训练的方式重构图像，网络可在训练过程中
根据需求调节对图片不同区域的关注度，生成更加逼真的重构图；同时自监督的方式在提升网络训练效果的同时避免了人工标注等繁杂操作，也杜绝了由于人工标注信息不准确对训练效果的影响。
附图说明
18.图1是本发明实施例网络整体模型图；
19.图2是本发明实施例单层的生成器结构图；
20.图3是本发明实施例单层的判别器结构图；
21.图4是本发明实施例注意力卷积模块图。
具体实施方式
22.以下结合附图与实施例对本发明方法进行进一步描述。
23.一种基于生成对抗网络的图像超分辨率重构方法，步骤如下：
24.步骤1：图像的预处理。
25.对于给定的rgb的自然图像ri，其维度为m*n*d，初始值m＝n＝256,d＝3，m,n分别表示图像的宽和高，d表示图片通道数。首先按照确定的降采样参数α,α∈(0.6,0.8)不断的对图像进行降采样处理，获得一个关于ri的不同分辨率的图像数据集ri
j
(0≤j≤n),其中j＝0表示原始图像ri，j＝n表示最低分辨率，为原图像的1/10，j越大则图像分辨率越低。
26.步骤2：从最低分辨率图像层开始，开始训练整个网络模型(如图1)，生成器g(如图2所示)包括五层的神经网络卷积块，除最后一层外每层神经网络卷积块后连接注意力卷积块(如图4所示)。其中，神经网络卷积块由神经网络中常用的卷积
‑
归一化
‑
激活函数组成，用于特征提取。卷积块尺寸为3*3，激活函数使用leakyrelu函数f
leaky
(x)。
[0027][0028]
注意力卷积块在特征图中填加了注意力机制模块(如图3)，注意力机制模块含有空间关注模块和通道关注模块两部分，用于调整对特征图不同通道和空间位置的关注权重：
[0029]
atten(fea)＝atten
channel
(fea)*atten
spatial
(fea)
ꢀꢀ
(2)
[0030]
atten
channel
(fea)＝σ(mlp(avgpool(fea)) mlp(maxpool(fea))
ꢀꢀ
(3)
[0031]
attention
spatial
(fea)＝σ(conv
5*5
(cat(mlp(avgpool(fea)) mlp(maxpool(fea))))
ꢀꢀ
(4)
[0032]
其中atten表示整个注意力卷积模块，atten
channel
表示通道关注，调节网络对图片不同通道的关注权重；attention
spatial
表示空间关注，用于调节网络对每个图片通道中不同位置的关注程度。卷积模块maxpool和avepool分别表示最大池化和平均池化，mlp表示多层感知机。conv表示卷积操作，卷积核大小为5*5，fea表示输入的图片特征图。cat(x,x)表示拼接函数，改变图像的通道数不影响图像的宽和高，σ(x)为sigmoid激活函数。
[0033]
cat(x
m,n,c1
,x
m,n,c2
)＝x
m,n,c1 c2
ꢀꢀ
(5)
[0034]
[0035]
通过生成器生成对应的虚假图片fi
j
。
[0036]
步骤3：将生成的图片和真实图片都输入到d判别器当中，判别器d结构结构和生成器g相同,但是判别器的最后一层神经网络卷积块采用不同的激活函数sigmoid,使得最终输出值范围为(0～1)，判别器d的输出值越大，图片真实度越高。当输入判别器的为真实图像时，判别器提取图像特征后会复制一份特征图，选取复制的特征图的对角线上的相邻位置如坐标(i,i)和(i 1,i 1)，交换两个位置的特征数据，将原始特征图和复制后进行特征数据交换的特征图先后输入至判别器中，判别器判断图片的虚假程度和图片是否进行了特征数据交换操作。判别器目标为：(1)判断输入图片的真假；(2)输入真实图片时，判断该真实图片是否为进行了特征交换操作。
[0037]
步骤4：设计损失优化函数f
loss
＝ltf(g
j
，d
j
) γlex(d
j
)，ltf(g
j
，d
j
)用于判断输入图片的真假，lex(d
j
)用于判断当输入真实图片，图片是否进行了特征交换操作利直至难以分辨出虚假图片，γ为超参数，取值为0.1。利用优化函数f
loss
多次重复迭代训练该层gan网络提升虚假图片的真实程度。l
train
(g
j
，d
j
)表示wgan
‑
gp损失，l
rec
(g
j
)为重构损失，表示真假图片的差距，l
self
(d
j
)为添加特征交换操作，引入的自监督损失，t(ri
j
)
p，q
表示仅对对角线上的相邻位置的特征向量进行交换。β＝2，fi
j 1
↑
表示对fi
j 1
上采样。z表示与最低分辨率的真实图像相同大小的随机噪声图。
[0038]
ltf(g
j
，d
j
)＝l
train
(g
j
，d
j
) βl
rec
(g
j
) l
self
(d
j
)
ꢀꢀ
(7)
[0039]
lex(d
j
)＝d
j
(ri
j
) l
self
(d
j
)
ꢀꢀ
(8)
[0040][0041]
l
self
(d
j
)＝1
‑
(d
j
(t(ri
j
))
ꢀꢀ
(10)
[0042][0043]
步骤5：对步骤4所得图片fi
j
上采样(采样率依旧为α)，加入同尺寸的随机噪声，输入至上层，即分辨率更高一层的gan
j
‑1网络中，重复步骤2～4，直至训练生成良好的更高分辨率的虚假图片fi
j
‑1。
[0044]
步骤6：不断重复步骤5，直至生成和原始真实图片相同分辨率的逼真的虚假图片fi。
[0045]
步骤7：按照预定的超分辨率参数λ(通常λ∈[1，4])，对步骤6最终生成的虚假图片进行超分辨率上采样，采样结果加入噪声后，重新输入到最高层的gan0网络，按照步骤2～4，迭代训练得到所需的超分辨率图片。