一种基于深度神经网络的图像去雾方法

1.本发明属于图像处理技术领域，涉及一种基于深度神经网络的图像去雾方法。


背景技术：

2.目前图像处理已经是深度学习中的一个重要领域，而在图像处理中，图像去雾同样有着重要的作用。在我们生活的环境中，由于空气中大气粒子的存在，我们在户外场景中拍摄到的图片的质量往往不能令人满意，视觉效果会下降很多。而雾、烟等就是这些粒子对大气光的吸收与折射产生的现象。在这些场景中的图像通常表现为亮度增大、对比度下降等，不利于图像特征的提取和辨识，导致各种依赖于成像系统的设备难以发用，进而增大了对图像进行后续处理的难度。在图像处理和计算机视觉领域，诸如图像识别、目标追踪、图像分类、目标检测等，人们通常假设待处理的图像是清晰的。有雾的图像会使得这些问题处理起来更加困难。
3.另一方面，伴随着环境污染，雾霾天气越来越多，其不但给人们的日常生活带来困扰，给视频监控也带来了很大的困难。正如前面提到的，有雾天气下拍摄的视频图像亮度大、对比度低、可见度低，导致在监控视频中出现的一些违规车牌抑等通常很难辨别出来。图像去雾就是对有雾图像进一步处理的关键技术，其期望的结果是从雾天拍摄得到的有雾图像中恢复出其潜在的清晰图像，增加有雾图像的质量和视觉效果。由此可以看出，无论是从研究角度，还是应用角度看，对有雾图像的去雾处理都有着迫切的需求。
4.近些年来，国内外也提出了很多图像去雾的方法，但是图像去雾依旧存在着一些问题：
5.(1)使用大气光散射模型进行去雾，由于大气光照强度值和透射率估计的不准确性，经常会导致计算得到无雾图时误差进一步放大，最终导致图像去雾不彻底、颜色失真等问题。
6.(2)基于大气光散射模型对图像进行去雾，而不是端到端的对图像进行去雾，这样会使得网络模型不能很好的嵌入到其他视觉任务的网络模型中进行图像的预处理。
7.(3)真实环境中雾天图片可能复杂多样，对于浓雾、图片背景杂乱、室内雾气图片、夜间多光源下的雾天图片等，去雾的效果依旧不够理想。仅仅是从上到下的深度神经网络会在重复的卷积、池化过程中将一些低层次的特征损失，会导致去雾不彻底、一些复杂图像的背景的细节丢失等问题的产生。


技术实现要素：

8.有鉴于此，本发明的目的在于提供一种基于深度神经网络的图像去雾方法。
9.为达到上述目的，本发明提供如下技术方案：
10.一种基于深度神经网络的图像去雾方法，包括以下步骤：
11.s1：获取雾图与对应的无雾图数据，划分训练集和测试集；
12.s2：创建包含空域多尺度特征融合模块、频域特征提取模块的深度神经网络模型；
13.s3：使用创建好的训练集和测试集来训练和测试深度神经网络模型；
14.s4：使用训练好的图像去雾网络模型对雾图进行去雾。
15.可选的，所述s1具体为：
16.s11：获取各种环境的无雾图，包括室内以及室外环境下的无雾图；
17.s12：根据大气光照散射模型对无雾图进行计算得到相对应的雾图；大气光照散射模型如下：
18.i(x)＝j(x)t(x) a(1-t(x))
ꢀꢀꢀ
(1)
19.式中，i(x)和j(x)分别表示观测到的有雾图像和清晰图像在x处的像素值，a是全局大气光照强度，定为常数，t(x)表示介质的透射率，如下：
20.t(x)＝e-βd(x)
21.t(x)的物理意义为经过粒子衰减后能够达到探测系统的光的比例；其中β是折射系数， d(x)表示图像在x处的深度值；
22.通过设置大气光照强度a值在[0.7,1.0]之间，均匀的选择β值在[0.1,1.8]之间，利用大气光照散射模型对收集到的无雾图合成对应的雾天图片，每张清晰图片生成对应的10张不同的雾图，最终得到图像去雾的数据集；
[0023]
s13：按7：3的比例划分训练集、测试集。
[0024]
可选的，所述s2具体为：
[0025]
s21：确定所述的图像去雾深度神经网络模型，以编码-解码网络作为空域特征融合网络的基础结构，对其进行修正，特征提取网络添加三个具有空洞卷积的残差块，并将每个残差块提取到的特征进行融合，保证在提取到深层次特征的同时，也保留浅层次的特征，保证去雾后的图像的各个细节特征尽可能地还原；同时在网络中引入频域特征提取子网络，将频域特征提取子网络加入到主干网络中，保证对图像的特征进行多层次、多尺度的提取，保证图像去除雾气的彻底性以及图像细节和边缘的还原；
[0026]
s22：整体网络结构分为空域特征提取子网络以及频域特征提取子网络，然后经过拼接将空域特征子网络与频域特征提取子网络分别提取到的特征图进行相加融合，最后进行反卷积与卷积操作，恢复图像尺寸，输出清晰图像；
[0027]
s23：空域特征提取子网为两次卷积、一次下采样卷积操作以及三个空洞卷积res-block 模块的空域特征提取子网络，并将每次经历res-block空洞卷积的输出进行拼接操作得到子网络的最终输出；而空洞卷积res-block模块包含平滑空洞卷积块、残差块、bn层以及relu 层；平滑空洞卷积块利用空洞卷积，分别设置空洞率为2和3，分别进行空洞卷积后进行堆叠，进而消除网格伪影问题；而空洞卷积实际感受野大小为：
[0028]
k＝k (k-1)(r-1)
ꢀꢀꢀ
(2)
[0029]
k为原始卷积核大小，设置为3
ⅹ
3，而r为空洞率；采用bn层以及relu层，在每一个 res-block块最后加入空间-通道cbam注意力机制模块，结合空间和通道的注意力机制模块，；此模块是先将输入经过通道注意力模块，关注到图像中哪些通道上的特征更重要，得到对应的通道注意力图mc(f)：
[0030]
mc(f)＝σ(mlp(avgpool(f)) mlp(maxpool(f)))
ꢀꢀꢀꢀ
(3)
[0031]
其中σ是sigmoid函数，即将输入的特征图分别经过最大池化与平均池化，然后经过mlp，并将mlp输出的特征进行加和操作，最后经过sigmoid函数，生成最终的通道注意力
特征图；然后将通道注意力特征图作为空间注意力模块的输入，使其关注到通道上哪些特征更重要，得到进一步的空间注意力图ms(f)：
[0032]ms
(f)＝σ(f7×7([avgpool(f)；maxpool(f)]))
ꢀꢀ
(4)
[0033]
空间注意力模块是先做一个基于通道的最大池化以及平均池化，降为一个通道，然后将两个结果做concat拼接操作，然后经过一个卷积操作f，最后经过sigmoid函数得到空间注意力特征图；最后将空间注意力特征图与通道注意力特征图相乘，得到最终生成的特征图，使得去雾网络模型能有更好的表现；在每一个res-block中有两个输出，一个是作为后续多尺度信息的融合的一部分，还有一个是作为下一个res-block的输入，进一步的提取深层次的特征；
[0034]
s24：频域特征提取子网中，先将输入图像经过傅里叶变换得到图像的频域图，然后经过拉普拉斯算子以及高斯滤波器分别滤掉低频以及高频分量，最终分别得到原始图像对应的高频与低频图像；将高、低频子图使用卷积操作与空洞卷积res-block，提取到频域中对应的特征图，然后进行逆傅里叶变换从频域变回空域，接着将此特征图与之前空域特征提取子网络得到的特征图做拼接操作，即将特征图相加；最后再输入空间-通道注意力模块，最后经历反卷积与两次卷积，得到最终的清晰图像；
[0035]
s3：网络的损失函数分为l1损失和感知损失两个部分；
[0036]
使用l1损失训练会更加稳定，广泛用于图像恢复任务中，函数如下：
[0037][0038]
其中ii(x)代表雾图在i通道的像素值，ji(x)代表无雾图在i通道的像素值；
[0039]
采用预先训练的vgg作为损失网络，从前三个阶段的最后一层中提取特征图，所以感知损失函数如下：
[0040][0041]
其中和分别为去雾后的无雾图和真实的无雾图在vgg网络中的特征图，c、h、w分别代表特征图的通道数、高度和宽度；总的损失函数如下：
[0042]
l＝l1 λl
p
ꢀꢀꢀꢀ
(7)。
[0043]
可选的，所述s3具体为：根据构建的深度神经网络，利用训练集训练深度神经网络，通使网络达到最优，实现端到端的训练。
[0044]
可选的，所述s4具体为：用训练好的图像去雾深度神经网络模型对雾图进行去雾，得到对应的清晰图像。
[0045]
本发明的有益效果在于：本发明提供的深度神经去雾网络能更有效地提取到来自图像空域以及频域的特征，并且对于复杂环境以及低能见度下的图像的去雾也取得了很好的效果。本发明可以用于在雾霾天气下的目标检测、自动驾驶中的交通标志检测等任务。
[0046]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和
获得。
附图说明
[0047]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0048]
图1是本发明一种基于深度神经网络的图像去雾方法的流程图；
[0049]
图2是本发明空域特征提取子网络图；
[0050]
图3是本发明频域特征提取子网络图；
[0051]
图4是本发明中特征提取残差块结合空间-通道注意力机制的模块结构图；
[0052]
图5是本发明深度神经网络模型的整体流程图。
具体实施方式
[0053]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0054]
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0055]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0056]
如图1所示，一种基于深度神经网络的图像去雾方法，包括以下步骤：
[0057]
s1、获取雾图与对应的无雾图数据，划分训练集和测试集；
[0058]
步骤s1具体方法如下：
[0059]
s11、获取各种环境的无雾图，包括室内以及室外环境下的无雾图，共1500张。
[0060]
s12、根据大气光照散射模型对无雾图进行计算得到相对应的雾图。大气光照散射模型如下：
[0061]
i(x)＝j(x)t(x) a(1-t(x))
ꢀꢀꢀꢀ
(1)
[0062]
式中，i(x)和j(x)分别表示观测到的有雾图像和清晰图像在x处的像素值，a是全局大气光照强度，通常假定为常数，t(x)表示介质的透射率，如下：
[0063]
t(x)＝e-βd(x)
[0064]
t(x)的物理意义为经过粒子衰减后能够达到探测系统的光的比例。其中是折射系
数，d(x) 表示图像在x处的深度值。
[0065]
通过设置大气光照强度a值在[0.7,1.0]之间，值在[0.1,1.8]之间，利用大气光照散射模型对收集到的无雾图合成对应的雾天图片。即每张清晰图片随机的在上述范围中选取a及的值，生成对应的10张不同的雾图，最终得到图像去雾的数据集，该数据集有共15000张模糊的雾天图像。
[0066]
s13、按7：3的比例划分训练集、测试集。
[0067]
s2、创建包含空域多尺度特征融合模块、频域特征提取模块的深度神经网络模型；
[0068]
所述步骤s2，具体操作如下：
[0069]
s21、确定所述的图像去雾深度神经网络模型，以编码-解码网络作为空域特征融合网络的基础结构，本发明对其进行进一步修正，特征提取网络添加三个具有空洞卷积的残差块，并将每个残差块提取到的特征进行融合，保证在提取到深层次特征的同时，也保留浅层次的特征，保证去雾后的图像的各个细节特征尽可能地还原。同时在网络中引入频域特征提取子网络，图像的频域中也蕴含着图像的很多特征信息，比如图像的边缘、纹理、亮度以及对比度等信息。所以将频域特征提取子网络加入到主干网络中，保证对图像的特征进行多层次、多尺度的提取，保证图像去除雾气的彻底性以及图像细节和边缘的还原。
[0070]
s22、图5为本发明整体网络结构图，其中分为空域特征提取子网络以及频域特征提取子网络，然后经过拼接将空域特征子网络与频域特征提取子网络分别提取到的特征图进行融合，最后在进行反卷积与卷积操作，恢复图像尺寸，输出清晰图像。以下对两个子网络分别进行详解。
[0071]
s23、图2为本发明的空域特征提取子网，为两次卷积、一次下采样卷积操作以及三个空洞卷积res-block模块的空域特征提取子网络，并将每次经历res-block空洞卷积的输出进行拼接操作得到子网络的最终输出。而空洞卷积res-block模块如图4所示，包含平滑空洞卷积块、残差块、bn层以及relu层。分别设置空洞率为2和3，然后分别进行空洞卷积后进行堆叠，进而消除网格伪影问题。而空洞卷积实际感受野大小为：
[0072]
k＝k (k-1)(r-1)
ꢀꢀꢀꢀꢀꢀ
(2)
[0073]
k为原始卷积核大小，设置为3
ⅹ
3，而r为空洞率。而后采用bn层以及relu层，主要是为了解决梯度消失问题以及减少反向传播时的计算量。并且在每一个res-block块最后加入 cbam(空间-通道)注意力机制模块，它是结合了空间和通道的注意力机制模块，得到对应的通道注意力图mc(f)：
[0074]
mc(f)＝σ(mlp(avgpool(f)) mlp(maxpool(f)))
ꢀꢀꢀ
(3) 其中σ是sigmoid函数，f为编码器得到的特征图。即将输入的特征图分别经过最大池化与平均池化，然后经过mlp(multi-layer perceptron)，并将mlp输出的特征进行加和操作，最后经过sigmoid函数，生成最终的通道注意力特征图；然后将通道注意力特征图作为空间注意力模块的输入，使其关注到通道上哪些特征更重要，得到进一步的空间注意力图ms(f)：
[0075]ms
(f)＝σ(f7×7([avgpool(f)；maxpool(f)]))
ꢀꢀꢀ
(4)
[0076]
空间注意力模块是先做一个基于通道的最大池化以及平均池化，降为1个通道，然后将两个结果做concat拼接操作，然后经过一个卷积操作，卷积核为7
ⅹ
7，最后经过sigmoid函数得到空间注意力特征图。最后将空间注意力特征图与通道注意力特征图逐元素相乘，得到最终生成的特征图，使得去雾网络模型能有更好的表现。在每一个res-block
中有两个输出，一个是作为后续多尺度信息的融合的一部分，还有一个是作为下一个res-block的输入，进一步的提取深层次的特征。
[0077]
s24、图3为本发明的频域特征提取子网。先将输入图像经过傅里叶变换得到图像的频域图，然后经过拉普拉斯算子以及高斯滤波器分别滤掉低频以及高频分量，最终分别得到原始图像对应的高频与低频图像。由于图像的高频与低频分量中包含很多图像的细节、边缘以及对比度等信息，所以将高、低频子图也同样使用卷积操作与空洞卷积res-block，提取到频域中对应的特征图，然后进行逆傅里叶变换从频域变回空域，接着将此特征图与之前空域特征提取子网络得到的特征图做拼接操作，即将特征图相加。最后再输入空间-通道注意力模块，最后经历反卷积与两次卷积，得到最终的清晰图像。
[0078]
s25、所述网络的损失函数分为l1损失和感知损失两个部分。
[0079]
使用l1损失训练会更加稳定，广泛用于图像恢复任务中，函数如下：
[0080][0081]
其中ii(x)代表雾图在i通道的像素值，ji(x)代表无雾图在i通道的像素值。
[0082]
本文采用预先训练的vgg作为损失网络，从前三个阶段的最后一层中提取特征图，所以感知损失函数如下：
[0083][0084]
其中和分别为去雾后的无雾图和真实的无雾图经过损失网络中的三张特征图，c、h、w分别代表特征图的通道数、高度和宽度。所以总的损失函数如下：
[0085]
l＝l1 λl
p
ꢀꢀꢀꢀꢀꢀꢀ
(7)
[0086]
λ是l
p
的权重，取0.05。
[0087]
s3、使用创建好的训练集和测试集来训练和测试深度神经网络模型；
[0088]
所述步骤s3，具体操作如下：
[0089]
根据所述s1-s2步骤，配置网络环境，选择windows操作系统与pytorch深度学习框架进行训练。激活函数使用relu函数，同时加入batch normalization批标准化层，避免产生梯度消失等问题。然后利用训练集训练深度神经网络，网络模型训练使用sgdm(sgd withmomentum)优化器，其中将β1参数设置为0.9，batch_size设置为10，初始学习率设置为0.005，训练2
ⅹ
105次迭代。
[0090]
接着加载测试集数据，输入到训练好的深度神经网络中，然后计算其结构相似性(ssim) 与峰值信噪比(psnr)作为网络模型评价指标。
[0091]
其中ssim为衡量两张图片相似性的指标，用它来衡量真实无雾图与经过去雾网络后的去雾图之间的相似性，ssim如下：
[0092][0093]
其中μ
x
为x的均值，μy为y的均值，为x的方差，为y的方差，σ
xy
为x和y的协方
差，c1＝(k1l)2，c2＝(k2l)2，为两个常数，l为像素值范围，k1＝0.01，k2＝0.03为默认值。
[0094]
而psnr为衡量图像质量的指标，用来衡量经过网络后的去雾图的图像质量。psnr 如下：
[0095][0096]
其中mse为真实无雾图和经过网络后的去雾图之间的均方误差，maxi表示图像点颜色的最大数值。
[0097]
本发明与一些主流去雾方法在数据集上的实验情况如表1所示：
[0098]
表1实验结果对比表
[0099]
methodspsnr(db)ssimdehazenet22.460.8472aod-net20.290.8504ffa-net31.040.9602ours31.220.9762
[0100]
与其他方法相比，不管是峰值信噪比(psnr)还是结构相似性(ssim)都有了进一步的提升。
[0101]
s4、使用训练好的图像去雾网络模型对雾图进行去雾。
[0102]
更进一步地、所述步骤s4具体包括：
[0103]
根据上述步骤，用训练好的图像去雾深度神经网络模型对雾图进行去雾，得到对应的清晰图像。根据本方法的真实去雾效果，可以知道不管是室内还是室外环境，都能较好地去除图片中的雾气。
[0104]
综上所述，本发明可以提高去雾效果，并且由于引入频域与注意力机制，对图片的细节特征的还原效果也有了进一步的提升，并且能保证图片的对比度、亮度等信息更接近真实清晰图片。
[0105]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。