融合多级特征的生成式对抗网络图像去雾方法与流程

1.本发明属于图像处理技术领域，具体涉及一种融合多级特征的生成式对抗网络图像去雾方法。


背景技术：

2.雾霾天气下，相机从场景接收的辐照度沿视线衰减，大气中的浑浊介质会吸收景物图像的光线，导致拍摄到的图像失去对比度和色彩保真度，降低图像的质量，直接影响到诸如视频监控、遥感影像、自动导航与目标识别等任务。因此，通过设计算法模型消除图像中雾霾因素的带来的不利影响，将雾天图像还原成清晰的图像，使得人们能从图像中获取更多所需要的信息。现有的图像去雾算法主要分为两类，即传统图像去雾方法和基于深度学习的去雾方法。
3.经典的传统去雾方法主要是基于对大气散射模型的构建来获取去雾后图像，但其去雾后的图像整体颜色偏暗沉并且图像边缘容易失真，或者对图像中的天空区域容易失效并且计算量大。由于传统方法求取参数有明显的人为干扰因素，导致去雾效果不太理想，近年来基于深度学习的去雾方法开始兴起。cai等人[1]提出了一个可训练的网络(dehazenet)来估计图像透射率，即输入有雾图像，通过网络输出相应的透射率图。ren等人[2]设计一个多尺度卷积神经网络架构学习图像特征(mscnn)，先由粗尺度网络估计粗略的场景透射率图，再由精细尺度细化该图。由于大气光值存在人为干扰因素，逐渐出现了不再单独估计透射率和大气光值，而是通过卷积神经网络直接生成去雾结果的网络，即输入有雾图像，通过网络直接输出对应的去雾结果。li等人[3]首先提出端到端的图像去雾算法(aod-net)，该算法通过将透射率和大气光值化为一个参数，基于这个参数完成对去雾图像的重构。ren等人[4]基于编码-解码结构设计了一个端到端的网络(gfn)。该算法首先对给定的有雾图像执行三个预处理操作(即，白平衡，对比度增强，伽马校正)。使用三个预处理结果作为网络输入，并通过网络学习生成相应的特征图，将三个预处理结果与三个特征图融合，以获得最终的图像去雾结果。
[0004]
基于深度学习的端到端的网络大多是通过学习图形特征来获取图形去雾结果。近年来，生成式对抗网络(gan)结构在图像-图像的转换中发挥了良好的作用，一些研究人员将这种结构应用于设计图像去雾算法，取得了不错的效果。因此为了获取更多的图形特征来更好的建模有雾图形，本发明提出一个融合多级特征的生成式对抗网络图像去雾算法。


技术实现要素：

[0005]
本发明的目的在于为了更好的去除图像中的雾气，还原图像细节信息，提供一种融合多级特征的生成式对抗网络图像去雾方法。
[0006]
为实现上述目的，本发明的技术方案是：一种融合多级特征的生成式对抗网络图像去雾方法，将u-net的结构嵌入生成式对抗网络的生成器中，提出一种融合多级特征的生成式对抗网络，包括用于生成去雾图像的生成器、用于判别去雾图像与标签图像并反馈结
果至生成器的判别器；生成器生成去雾图像方式为：首先，在下采样时，针对不同分辨率的有雾图像分别进行特征提取，并将提取的不同的特征图通过se-resnet模块学习；而后，将学习后的多级特征图进行拼接，融合更多图像特征；然后，在上采样时，将融合后的特征图放入se模块学习，以更好的分配通道权值，增强有用特征；接着，将学习好的特征图与上采样特征图拼接，融合更多图像信息；最后，将网络学习的残差图与输入的有雾图像相加，得到最终的图像去雾结果。
[0007]
在本发明一实施例中，所述生成器中的卷积核都为3
×
3。
[0008]
在本发明一实施例中，所述判别器中，使用9次卷积，每次卷积的卷积核都为5
×
5，每层的通道数分别为64、64、128、128、256、256、512和512，然后将其折叠成一维数组。
[0009]
在本发明一实施例中，对于三种分别是256
×
256、128
×
128和64
×
64的分辨率的有雾图像，在下采样时，对每层特征图同等分辨率的有雾图像进行特征提取，然后经过se-resnet模块学习，将学习到的特征图与该层原有特征图进行拼接，融合更丰富的图像特征；在下采样第二层中，将下采样中该层原特征图和分辨率为128
×
128的有雾图像卷积后并经过se-resnet模块学习后的特征图进行拼接；在下采样第三和四层中，将三种特征图进行拼接，分别是下采样中该层原特征图、分辨率为128
×
128的有雾图像卷积并经过se-resnet模块学习后的特征图和分辨率为64
×
64的有雾图像卷积并经过se-resnet模块学习后的特征图。
[0010]
在本发明一实施例中，所述se-resnet模块是在残差块中加入se模块；其中，
[0011]
残差块结构输入x
l
和输出x
l 1
的关系式为：
[0012]
x
l 1
＝x
l
f(x
l
,ω
l
)
[0013]
ω
l
是第l层的权重，f(
·
)是非线性变换；
[0014]
se模块先将输入的特征图经过全局平均池化进行压缩成一维向量后，接着进行激励操作即按全连接层、relu层、全连接层、sigmoid层的顺序组成，更好的构建通道间的相关性，最后通过scale操作将权重加权到原来的特征上；se模块通过对通道加权来强调有效信息和淡化无效信息，更好的获取图像特征，提升网络性能。
[0015]
在本发明一实施例中，所述生成器采用均方差作为损失函数，损失函数公式为：
[0016][0017]
其中，n为图像的像素点数量，y为网络输出的去雾结果，为相应的标签图像。
[0018]
在本发明一实施例中，所述判别器采用二值交叉熵作为损失函数，判别器公式如下：
[0019][0020]
其中，x代表标签图像，z代表有雾图像，g(z)表示生成器输出的去雾结果，p
data
(x)代表标签图像的数据分布，pz(z)代表有雾图像的数据分布，e代表这些分布的数学期望，d()代表判别器。
[0021]
相较于现有技术，本发明具有以下有益效果：
[0022]
(1)本发明方法将u-net的结构嵌入生成式对抗网络的生成器中，提出一个融合多级特征的生成式对抗网络图像去雾方法；
[0023]
(2)本发明方法在提取特征时，不同分辨率的有雾图像进行特征提取，并融合多级特征图来获得更多图像特征；
[0024]
(3)本发明方法使用se模块和se-resnet模块来进一步学习图像特征和更好的拟合特征图的通道间的相关性，增强有效信息；
[0025]
本发明方法训练得到模型所生成的去雾图像具有较好的鲁棒性，在无雾与有雾的情况下较之其它六种常见算法均能取得更优的性能，本发明提出的图像去雾方法能更好地提升图像去雾性能。
附图说明
[0026]
图1为本发明方法流程图。
[0027]
图2为本发明网络结构图。
[0028]
图3为本发明残差块结构。
[0029]
图4为本发明se-resnet块结构。
[0030]
图5为七种图像去雾算法在sots中的八张室内有雾图像上获得的图像去雾结果。
[0031]
图6为七种图像去雾算法在sots中的八张室外有雾图像上获得的图像去雾结果。
[0032]
图7为七种图像去雾算法在六张真实世界有雾图像上获得的图像去雾结果。
[0033]
图8为无雾图像上的图像去雾结果：第一行为无雾图像,第二行为图像去雾结果。
具体实施方式
[0034]
下面结合附图，对本发明的技术方案进行具体说明。
[0035]
本发明一种融合多级特征的生成式对抗网络图像去雾方法，将u-net的结构嵌入生成式对抗网络的生成器中，提出一种融合多级特征的生成式对抗网络，包括用于生成去雾图像的生成器、用于判别去雾图像与标签图像并反馈结果至生成器的判别器；生成器生成去雾图像方式为：首先，在下采样时，针对不同分辨率的有雾图像分别进行特征提取，并将提取的不同的特征图通过se-resnet模块学习；而后，将学习后的多级特征图进行拼接，融合更多图像特征；然后，在上采样时，将融合后的特征图放入se模块学习，以更好的分配通道权值，增强有用特征；接着，将学习好的特征图与上采样特征图拼接，融合更多图像信息；最后，将网络学习的残差图与输入的有雾图像相加，得到最终的图像去雾结果。
[0036]
以下为本发明具体实现过程。
[0037]
如图1所示为本发明方法流程图，受u-net和生成式对抗网络结构的启发，本发明提出了一个融合多级特征的生成式对抗网络图像去雾方法，该方法的网络模型如图2所示。该模型分为两个部分，一个是生成器，一个是判别器。在生成器中输入有雾图像，然后生成图像去雾结果，再将去雾结果与标签图像输入判别器进行判别，将判别结果反馈至生成器继续训练。
[0038]
1、网络结构
[0039]
本发明提出的方法主要对生成器进行改进。整个生成器网络中的卷积核都为3
×
3。在下采样时，针对三种分辨率的图像进行特征提取，分辨率分别是256
×
256、128
×
128和64
×
64，针对分辨率为128
×
128图像的三次卷积的步长为1，卷积后的通道数分别为64、128和256，针对分辨率为64
×
64图像的两次卷积步长为1，卷积后的通道数分别为128和256。分
辨率为128
×
128和64
×
64的图像卷积后都经过两个se-resnet模块学习后，再与该层的其余特征图拼接。下采样过程(图2中用点划线表示)每层特征图的通道数依次为64、128、256和512。最后一层的特征图经过10个se-resnet模块学习。然后,进行三次上采样，参数scale_factor都设为2，前两次上采样过程(图2中用虚点线表示)的特征图都要与下采样对应的经过se模块学习的拼接特征图拼接。最后，将上采样学习到的残差图与输入图像相加，得到图像去雾结果。
[0040]
在本发明方法的判别器中，使用了9次卷积，每次卷积的卷积核都为5
×
5，每层的通道数分别为64、64、128、128、256、256、512和512。然后将其折叠成一维数组。
[0041]
2、下采样
[0042]
为了获取更丰富的图像特征，对三种不同分辨率的有雾图像进行特征提取，来融合更多的特征图，分别是256
×
256、128
×
128和64
×
64。对于下采样中每层特征图同等分辨率的有雾图像进行特征提取，然后经过se-resnet模块学习，将学习到的特征图与该层原有特征图进行拼接，融合更丰富的图像特征。在下采样第二层中，我们将下采样中该层原特征图和分辨率为128
×
128的有雾图像卷积后并经过se-resnet模块学习后的特征图进行拼接。在下采样第三和四层中，我们将三种特征图进行拼接，分别是下采样中该层原特征图、分辨率为128
×
128的有雾图像卷积并经过se-resnet模块学习后的特征图和分辨率为64
×
64的有雾图像卷积并经过se-resnet模块学习后的特征图。
[0043]
3、se-resnet模块
[0044]
随着网络层数的增加会导致网络性能的退化。而残差网络能防止这种退化。图3是一个残差块结构示例，其中跳跃连接结构将输入与输出相连，组合不同分辨率特征即将浅层的高分辨率特征与深层低分辨率特征相加。
[0045]
残差块结构输入x
l
和输出x
l 1
的关系式为：
[0046]
x
l 1
＝x
l
f(x
l
,ω
l
)
[0047]
ω
l
是第l层的权重，f(
·
)是非线性变换；
[0048]
而se-resnet模块是在残差块中加入se(squeeze-and-excitation)模块。图4是se-resnet模块的结构图。图4中的h、w和c分别表示图片的高、宽和通道数，r表示缩减系数，用来将通道数下降，本发明实验中r设为16。se模块先将输入的特征图经过全局平均池化进行压缩成一维向量后，接下来就是激励操作，按全连接层、relu层、全连接层、sigmoid层的顺序组成，更好的构建通道间的相关性。最后通过scale操作(点乘操作)将权重加权到原来的特征上。se模块通过对通道加权来强调有效信息和淡化无效信息，更好的获取图像特征，提升网络性能。
[0049]
4、损失函数
[0050]
损失函数决定了网络训练下降方向，合适的损失函数可以提高网络性能。本发明使用均方差作为网络生成器的损失函数。损失函数公式为：
[0051][0052]
其中，n为图像的像素点数量，y为网络输出的去雾结果，为相应的标签图像。
[0053]
本发明使用二值交叉熵作为判别器的损失函数，判别器公式如下:
[0054]
[0055]
其中，x代表标签图像，z代表有雾图像，g(z)表示生成器输出的去雾结果，p
data
(x)代表标签图像的数据分布，pz(z)代表有雾图像的数据分布，e代表这些分布的数学期望，d()代表判别器。
[0056]
5、实验数据及评价
[0057]
为了验证方法的有效性，将通过定性和定量两方面的实验结果来证实。本发明提出的方法将与现有的六种图像去雾算法进行比较,分别是：dcp算法、cap算法、dehazenet算法、mscnn算法、aod-net算法、gfn算法。前两种为传统的图像去雾算法，后四种与本发明提出方法一样是基于深度学习的算法。采用训练和测试网络所使用的reside数据集和评价指标，对网络测试结果进行定性和定量分析，最后对方法的鲁棒性进行测试。
[0058]
本发明的定量比较使用峰值信噪比(psnr)和结构相似性(ssim)两种图像去雾算法通用的评价指标。峰值信噪比是一个衡量图像失真的客观标准，该值越高，则表示图像质量越好。峰值信噪比的数学公式为：
[0059][0060][0061]
其中,w和h分别是图像的宽和高，g表示标签图像，y表示网络输出的图像去雾结果。
[0062]
ssim是衡量两张图像相似度的指标。ssim值越高，意味着图像质量越好。ssim的数学公式为：
[0063][0064]
其中，μ和δ分别表示图像的均值和方差，δ
g,y
表示无雾图像g和网络生成的图像去雾结果y之间的协方差，c1和c2为常量。
[0065]
6、定量比较
[0066]
表1和表2分别给出了七种图像去雾算法在室内和室外图片的定量评估结果。其中，测度最高值用粗体表示。
[0067]
表1 sots数据集的室内有雾图像的平均psnr和ssim值的定量比较
[0068][0069]
表2 sots数据集的室外有雾图像的平均psnr和ssim值的定量比较
[0070]
[0071][0072]
7、定性比较
[0073]
为了进一步定性比较不同算法的去雾效果，图5显示了七种图像去雾算法在sots中的四张室内薄雾图像(前四张)和四张室内浓雾图像(后四张)上获得的图像去雾结果。七种图像去雾算法在薄雾图像上都能较好的去除图像雾气,但dcp算法会出现明显的失真，cap和dehazenet算法去雾后的图像明显深于标签图像。mscnn和aod-net算法的去雾图像存在明显雾气，而cap和dehazenet算法与前三种算法相比雾气残留较少，但仍有较明显的存在。gfn和本发明提出的方法的去雾图像相比前五种，更为干净，本发明提出的方法相对于六种对比算法，有更好的去雾效果。
[0074]
图6显示了七种图像去雾算法在sots中的八张室外有雾图像上获得的图像去雾结果。本发明提出的去雾方法更接近标签图像,取得更优的去雾性能，dcp算法有明显失真。cap和dehazenet算法的能较好去除图像中的雾气,但去雾后的结果在整体表观颜色上均深于标签图像。mscnn和aod-net算法的去雾后图像存在明显雾气,去雾效果一般。而采用gfn和本发明方法的去雾后的图像则雾气残留较少。
[0075]
图7显示了七种图像去雾算法在六张真实世界的有雾图像上获得的图像去雾结果。结果显示本发明方法在去除图像雾气和去雾图像的色彩饱和度上能够取得较好的平衡。dcp算法和cap算法也有明显的失真，mscnn和aod-net算法的去雾图像雾气存在明显。dehazenet、gfn和本发明方法的雾气去除程度较好，但gfn算法去雾后的图像明显过深。
[0076]
8、鲁棒性检测
[0077]
为验证本发明方法对无雾图像没有不利影响，本发明分别选取了两张室内和两张室外图像进行比较。图8显示了本发明方法在四张无雾图像上的去雾结果，前两张为室内图像，后两者为室外图像。从图8可以看出，本发明提出的去雾方法不论对室内图像还是室外图像的去雾结果都与原图极为接近，即本发明方法对无雾图像没有明显的不利影响。
[0078]
参考文献：
[0079]
[1]he k m,sun j,tang x o.single image haze removal using dark channel prior[c]//proceedings ofthe ieee conference on computer vision and pattern recognition,2009:1956-1963.
[0080]
[2]zhu q,mai j,shao l.afast single image haze removalalgorithm using colorattenuation prior[j].ieee transactions on image processing,2015,24(11):3522-3533.
[0081]
[3]cai b,xu x,jia k,et al.dehazenet:an end-to-end system for single image haze removal[j].ieee transactions on image processing,2016,25(11):5187-5198.
[0082]
[4]ren w.q,liu s,zhang h,et al.single image dehazing via multi-scale convolutional neural networks[c]//proceedings ofthe european conference on computer vision(eccv),2016:154-169.
[0083]
[5]li b.y,peng x.l,wang z.y,et al.aod-net:all-in-one dehazing network[c].proceedings ofthe ieee international conference on computer vision(iccv),
2017:4770-4778.
[0084]
[6]ren w.q,ma l,zhang j.w,et al.gated fusion network for single image dehazing[c].proceedings of the ieee conference on computer vision and pattern recognition(cvpr),2018:3253-3261.。
[0085]
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。