一种基于深度学习的多尺度轻量级的图像去雾网络

：
1.本发明涉及一种基于深度学习的多尺度轻量级图像去雾网络，该网络可以很好的应用在图像去雾领域。


背景技术：

2.雾霾是一种常见的自然天气状况，由于大气中存在着漂浮的尘土、颗粒和水滴，大气光在通过这些悬浮颗粒物时导致观测物体的反射光在到达成像设备前产生衰减与模糊，最终采集的图像因色彩衰减严重、对比饱和度降低等质量问题，给人们的生活与各种计算机视觉系统应用带来了严重的影响(如图片识别、分类、无人驾驶和监控视频分析等)。因此，图像去雾作为恢复恶劣天气下获取的退化图像的关键技术受到了人们的关注。
3.现有的单幅图像去雾方法可以简要的分为两类:基于传统先验知识的图像去雾方法和基于深度学习的图像去雾方法。基于传统先验知识的图像去雾算法占据主流，但对于天空、雪地等物体颜色与大气光强度相似时的场景，恢复图像会产生严重的颜色失真。随着深度学习的发展以及大规模基准数据集的提出，越来越多的学者尝试使用深度学习工具直接预测大气传输图或最终恢复图。dehaze －net首先提出使用卷积神经网络估计雾霾图像的大气传输图，取得了一定的性能提升。li等人修改了经典的大气散射模型，使用轻量级卷积神经网络直接预测最终恢复图像，而避免了错误估计大气传输图从而导致的性能下降。随着近年来基于深度学习的图像去雾算法性能的提升，网络的规模与参数量也越来越大了。网络计算量和存储量的增加导致训练难度剧增并降低了运算效率，这种存储规模的图像去雾网络很难应用到实际的场景中。另外，由于雾霾图像中的雾霾分布不均匀不规则，使用固定尺度的卷积核无法有效处理不同大小的雾霾信息，这会影响网络的去雾性能。


技术实现要素：

4.基于前人所提去雾算法的一些问题，本文提出了多尺度的轻量级图像去雾网络，这样的模型能够部署到诸多移动监控设备上实时处理雾霾图像便于后续的计算机视觉系统应用，并且通过不同尺度的处理能够得到优异的去雾性能。
附图说明：
5.图1为本发明实施方式中的mln整体框架图；
6.图2为本发明中所使用的基本模块mlb的框架图；
具体实施方式：
7.为了使本发明的实施例中的技术方案能够清楚和完整地描述，以下结合实施例中的附图，对本发明进行进一步的详细说明。其中图1为本发明实施方式中的mln整体框架图。
8.本发明中，网络模型mlb的搭建是本发明的最关键部分。输入图像首先经过一个3
×
3的64通道卷积层提出浅层信息。为了实现网络的多尺度处理，我们的网络结构在三个并
行的支路分别对不同尺度下的特征进行处理，每个支路包含数量不等的基本模块。
9.每个尺度下的特征空间存在着互补的信息，为了中间信息的相互流通在每个基本模块处理后都会将特征信息上下采样后传递到其他尺度的特征中去。在三条支路处理完相应的尺度特征后，使用上采样层逐层将多尺度信息进行结合。
10.不同尺度特征叠加得到一个192通道的特征图，再经过后续的64通道输出的卷积层和3通道输出的卷积层，最终得到的3通道特征图以全局残差的方式与输入雾霾图像叠加得到恢复的无雾图像，使用全局残差也能降低模型的训练难度。在这里我们注明，除了上下采样层以及基本模块内的卷积层，其他卷积层的卷积核大小均为3
×
3。
11.用一些小尺寸的卷积核拟合大尺寸卷积核得到与大卷积核相同的感受野并减小参数量是一个提高计算效率的方法。在此，我们采用googlenet的部分结构作为我们的基本模块。我们称之为多尺度轻量块(multi－scalelight-weight block，mlb)，该模块的结构图如图2所示。
12.最后将该模型进行训练，把雾霾图像作为输入，直接生成相应的恢复清晰图像。
13.本发明提出了一种多尺度的轻量级图像去雾算法，该算法采用小尺寸卷积核以及多尺度支路并行的设计，使网络不仅能在多尺度内部进行特征传递并且能跨尺度传递特征信息，而小尺寸的卷积核使整个网络的参数量以及运算量大大减少，能够高效快速地完成图像去雾任务。
14.以上所述是结合附图对本发明的实施例进行的详细介绍，本文的具体实施方式只是用于帮助理解本发明的方法。对于本技术领域的普通技术人员，依据本发明的思想，在具体实施方式及应用范围内均可有所变更和修改，故本发明书不应理解为对本发明的限制。


技术特征：
1.一种基于深度学习的多尺度轻量级图像去雾网络，主要包括以下步骤：步骤1：网络结构的搭建。步骤2：网络结构细节的优化。步骤3：训练过程为：由下载好的its数据集中的图片输入到模型里面进行计算。步骤4：测试过程为：将sots测试集中的图片输入到优化后的模型中进行去雾。2.根据权利要求1所述的一种基于深度学习的多尺度轻量级图像去雾网络，其特征在于，所述步骤1中，对网络结构的搭建，具体步骤为：步骤1-1为了实现网络的多尺度处理，我们的网络结构在三个并行的支路分别对不同尺度下的特征进行处理，每个支路包含数量不等的基本模块；步骤1-2在三条支路处理完相对应的尺度特征后，使用上采样层逐层将多尺度信息进行结合。不同尺度特征叠加得到一个192通道的特征图，再经过后续的64通道输出的卷积层和3通道输出的卷积层，最终得到的3通道特征图以全局残差的方式与输入雾霾图像叠加得到恢复的无雾图像，使用全局残差也能降低模型的训练难度；步骤1-3用一些小尺寸的卷积核拟合大尺寸卷积核，得到与大卷积核相同的感受野并减小参数量是一个提高计算效率的方法。在此，我们采用googlenet的部分结构作为我们的基本模块。我们称之为多尺度轻量块(multi－scale light-weight block，mlb)；步骤1-4以rgb雾霾图像作为输入，直接生成相应的恢复清晰图像。3.根据权利要求1所述的一种基于深度学习的多尺度轻量级图像去雾网络，所述步骤2中，其特征在于：在所提出的网络模型中，除了mlb内部的卷积层外，所有的卷积层后都连接着批处理归一化层(bn层)和relu激活函数，每个连接层后连接relu激活函数。bn层有助于防止网络过拟合以及加速收敛，激活函数也是连接层后所必需的。为了训练本文所提出的网络，我们采用了一个双分量损失函数，第一项采用l1像素损失度量恢复图像和真实图像的相似性，第二项采用l1梯度损失帮助构建具有更加丰富边缘信息的图像。4.根据权利要求1所述的一种基于深度学习的多尺度轻量级图像去雾网络，所述步骤3中，其特征在于：本文使用大规模基准数据集reside对网络进行训练，reside数据集包含室内训练集its，室外训练集ots和综合目标测试集sots。所有训练集内的图片会首先进行水平垂直随机翻转，然后裁剪为240
×
240的图像块送入mlnet中。训练时，我们使用adam优化器并将其参数设为默认值。5.根据权利要求1所述的一种基于深度学习的多尺度轻量级图像去雾网络，所述步骤4中，其特征在于：采用reside数据集中包含的测试集sots(500张室内图像和492张室外图像)对该去雾算法进行测试。并且，在本文中我们采用峰值信噪比psnr和结构相似性ssim两个客观指标在rgb通道上验证所提出模型的去雾效果。

技术总结
深度学习已被大量应用于图像去雾领域，并取得优异表现。但现有的网络模型往往深度较深且包含大量参数，这会降低运算效率。为了实现轻量级网络和保持良好性能，提出了多尺度轻量级图像去雾网络(Multi-scaleLightweightNetwork，MLNet)。使用多支路设计和多尺度卷积提取不同层次的特征信息，在网络中进行特征融合后重建残差图像，最终使用残差图像与输入图像求和得到恢复图像。残差图像与输入图像求和得到恢复图像。


技术研发人员：李谦 陈国栋 张根柱
受保护的技术使用者：哈尔滨理工大学
技术研发日：2022.04.26
技术公布日：2022/7/29