基于曝光成像模型和模块化深度网络的图像去雨雪方法

1.本发明属于图像复原技术领域，具体涉及一种基于曝光成像模型和模块化深度网络的图像去雨雪方法。


背景技术：

2.图像是视觉的基础，是计算机视觉系统完成环境自主感知和理解的数据之源。在室外非结构化的视觉感知系统中，恶劣天气(雨、雪、雾)会对背景物体成像形成遮挡和影响物体的成像特征，这就使得恶劣天气下拍摄的图像在视觉和信息上都出现了一定的退化，严重影响了室外机器人的许多高层视觉任务的鲁棒性和环境适应性，如语义分割、目标识别与跟踪、无人驾驶机器视觉感知与导航等，使视觉系统的可靠性难以满足实际要求。因此，恶劣天气条件下图像复原对提高机器视觉的鲁棒性和环境适应性具有重要的理论意义和应用价值。如何从恶劣天气下的大量视觉观测数据中恢复出清晰的图像数据，提高机器人对环境的自主感知和适应能力，已成为机器人、模式识别、计算机视觉等领域的研究热点。
3.雨雪图像技术通常是仅根据雨雪退化图像数据来复原清晰图像，在数学建模和求解上属于病态问题，即属于图像盲复原。由于缺乏足够的信息来唯一确定真实的清晰图像，通常需要对雨雪进行定性和定量分析形成先验约束条件，图像复原就是在满足这些约束条件的前提下求取真实图像在某种约束准则下的最佳估计值。恶劣天气下的图像复原已成为目前机器视觉及其应用中亟待突破的关键问题，其研究进展对于提高机器视觉方法及系统的鲁棒性和环境适应能力具有重要的理论意义和应用价值。目前该雨雪复原技术主要分为两类：基于先验信息的优化型复原方法和基于深度学习的复原方法。基于先验优化的图像复原技术主要是在先验信息约束下获得清晰图像的最佳估计。这类方法有一个共同的局限性：它们的有效性很大程度上依赖于先验信息的准确性，通常只能处理一些符合特定先验的雨雪降质图像。基于深度学习的图像复原技术是利用深度网络建立从降质雨雪图像到清晰图像的映射关系。目前这些基于深度学习的方法通常在复原效果上优于先验优化型方法。
4.现有基于深度学习的雨雪图像复原方法主要包括：完全数据驱动的深度去雨雪网络和模型与数据双驱动的深度去雨网络。完全数据驱动型深度去雨雪网络虽然能够得到清晰的无雨雪图像，但由于这些方法大多是通过引入了新的网络结构以取得更好的去雨/雪性能。这就导致现有的去雨雪网络结构越来越复杂，但去雨雪效果并没有明显提升。引入新的网络结构对于基于深度网络的去雨雪方法在理论意义和实际效果上都出现了瓶颈。另一类雨雪模型和数据双驱动的深度去雨网络中认为雨条纹图像的模型是线性叠加模型。该模型将雨条纹图像分离为干净的背景图像和雨条纹图的线性叠加。线性叠加雨模型来合成雨条纹图像，像素的直接叠加会使背景的偏灰白色像素饱和，这就使雨条纹图像数据不真实，直接影响数据驱动的去雨网络的鲁棒性。


技术实现要素：

5.现有的雨雪模型和数据双驱动的去雨深度网络方法中，多数都是基于简化的线性叠加雨模型设计去雨网络，简化的线性叠加雨模型会合成出不真实的训练和测试雨图像数据集，进而影响基于模型的网络架构设计和雨去除的效果。本发明提出了一个基于物理成像的非线性雨雪曝光成像模型，可以更准确地描述雨雪成像特性和图像中从半透明到不透明的雨雪遮挡。基于此模型合成了一个具有不同曝光时间的多样化雨雪数据集，并设计了一个新颖的雨雪去除网络。该网络包含局部和全局u型雨/雪检测子网络、收缩型曝光时间估计子网络和堆叠式多尺度残差雨雪去除子网络。局部和全局u型雨/雪检测子网络不仅使用残差密集连接的u型自编码结构来充分利用所有层级特征，而且还在编码器与解码器之间引入了局部全局关注块提高像素级估计精度。堆叠式多尺度残差雨雪去除子网络采用层间残差的方式融合了多尺度特征，并通过堆叠的结构方式分阶段地逐步恢复出雨雪图像。该方法鲁棒性较好，泛化能力较强，处理速度较快，在多个公开雨雪图像数据集上均能表现出良好的适应能力。
6.为了达到上述目的，本发明采用了下列技术方案：
7.一种基于曝光成像模型和模块化深度网络的图像去雨雪方法，包括以下步骤：
8.步骤1，建立一个非线性雨雪曝光成像模型，该模型可以表示为：
[0009][0010]
其中，i
rs
表示雨/雪图像强度，ic是干净背景图像，k表示雨/雪的平均辐照度，雨/雪图像强度i
rs
是干净背景图像ic、动态雨/雪图m和曝光时间t的非线性组合；
[0011]
步骤2，建立深度去雨雪网络，所述网络包括局部和全局u型雨雪检测子网络、收缩型曝光时间估计子网络和堆叠式多尺度残差雨雪去除子网络；该网络采用一个多分支网络同时估计雨雪图和曝光时间，应用曝光成像模型获取初步的无雨雪图像后，利用强化子网络，即堆叠式多尺度残差雨雪去除子网络获取精细的去雨雪图像；
[0012]
步骤3，将雨/雪图像输入到局部和全局u型雨/雪检测子网络，提取雨/雪图像的全局和局部性特征，估计出雨/雪条纹图；
[0013]
步骤4，将雨/雪图像输入到收缩型曝光时间估计子网络，将全局信息采样到单一变量值获得曝光时间估计值，然后将估计值上采样到与输入图像相同的尺寸以便进行损失估计；
[0014]
步骤5，将步骤3和步骤4获得的雨/雪条纹图和曝光时间，通过步骤1的非线性雨雪曝光成像模型获得初步复原的雨/雪图像。
[0015]
步骤6，将步骤4获得的初步复原的雨/雪图像输入到堆叠式多尺度残差雨雪去除子网络进一步去除不同程度的雨/雪遮挡，获得最终的精细化无雨/雪图像；
[0016]
步骤7，设定局部和全局u型雨雪检测子网络、收缩型曝光时间估计子网络和堆叠式多尺度残差雨雪去除子网络的损失函数，在损失函数约束下，通过在雨雪数据集上对各子网络进行阶梯型迭代训练学习网络模型参数，直至网络收敛；
[0017]
步骤8，在合成和真实雨/雪图像上对算法去除雨雪的有效性进行定量和定性的验证，并与典型算法进行对比。
[0018]
进一步，所述步骤1中非线性雨雪曝光成像模型建立的具体过程为：
[0019]
在曝光时间t期间，雨雪图像的强度i
rs
是静态雨条纹或雪花的强度rs与背景的强度rb的线性组合：
[0020][0021]
其中τ表示雨条纹或雪花降落通过一个像素的时间，由于背景在曝光时间t内几乎是静止的，rb可以近似为一个常数，因此将上式重写为：
[0022][0023]
在等式中，时间τ和雨/雪降落的速度相关，其不确定性直接导致雨雪成像结果的多样性；因此，静态的雨/雪随时间τ的积分可以被视为动态的雨/雪图m，它丰富了雨雪成像透明度的多样性，并引入了运动模糊；trb是干净的背景图像ic；这样上述方程可以改写为：
[0024][0025]
其中表示雨/雪的平均强度，代表动态雨/雪图m；为了使等式的每一项都具有一定的物理意义，进一步将等式改写为如下形式：
[0026][0027]
其中*表示逐元素乘，因为代表动态雨/雪图m，trb是干净的背景图像ic，所以上面的等式被写为：
[0028][0029]
由于雨/雪的平均辐照度是由雨/雪自身的特性决定的，因此可以近似为常数k；设k＝kt，等式进一步写为：
[0030][0031]
其中，i
rs
表示雨雪图像强度，ic是干净背景图像，k表示雨/雪的平均辐照度，在该雨雪模型中，雨/雪图像强度i
rs
是干净背景图像ic、动态雨/雪图m和曝光时间t的非线性组合。该模型考虑了成像的曝光因素，与线性叠加模型和简化的非线性模型相比，可以更准确地描述雨雪成像特性和图像中从半透明到不透明的雨雪遮挡。
[0032]
进一步，所述步骤2中局部和全局u型雨/雪检测子网络雨雪检测子网络为残差密集u型自编码器，其包括由四阶段残差密集块和降采样层组成的编码器以及由全局局部注意力模块、四阶段残差密集块和上采样层组成的解码器；所述收缩型曝光时间估计子网络由八阶段下采样操作和自适应池化层构成；所述堆叠式多尺度残差雨雪去除子网络为两个以残差方式堆叠的并行残差多尺度块。
[0033]
更进一步，所述编码器用于捕获上下文信息，例如密度、方向；所述解码器用于捕获低层信息，例如位置、透明度和边缘；所述全局局部注意力模块用于提取编码器的全局和局部语义特征，进一步提高自网络的特征表示能力；所述残差密集块作为特征提取单元，以充分利用所有卷积层的特征，包含分层特征融合(hff)和残差学习(rl)，其中，hff操作可以
表示为：
[0034]fhff
＝f
hff
([fs,x1,x2...,x
l
])，
[0035]
其中，[fs,x1,...,x
l-1
]表示前端层提取特征图的串联，f
hff
表示融合后的特征图、f
hff
表示卷积映射函数；
[0036]
残差密集块的输出可以表示为：
[0037]frdb
＝fs f
hff
，
[0038]
其中，fs表示残差密集块的输入特征图；
[0039]
残差密集块第l层的输出可以表示为：
[0040][0041]
其中f
ds
(
·
)表示四个连续操作的复合函数：批处理归一化操作、线性激活函数、卷积层和泄漏层。
[0042]
更进一步，所述并行残差多尺度块由前端卷积块、多尺度块和后端卷积块三部分组成；前端卷积块用于提升通道数，其输出送入多尺度模块提取多尺度特征；然后，多尺度特征与前端卷积块的输出串联在一起输入到1
×
1卷积层，实现降维和信息的融合；最后，将前端卷积块的输出与1
×
1卷积层的输出以残差的方式融合起来通过3
×
3卷积层获得去雨雪图像；对于多尺度块，它以并行残差方式重复使用层级的特征实现了特征的多尺度表示，可以描述为：
[0043][0044]
其中表示多尺度块的第i条路径的输出，f1表示多尺度块的输入，f
conv3
表示3*3卷积操作。
[0045]
进一步，所述步骤3中局部特征提取路径由三层串联卷积层组成，可以表示为：
[0046]fl
＝δw3(δw2(δ(w1f)))
[0047]
其中w1、w2和w3表示卷积核权重，δ表示激活函数relu，f表示输入特征图；
[0048]
全局特征提取路径由平均池化层、最大池化层和1*1的卷积层组成；平均池化层和最大池化层分别提取输入图像全局的共同特征和独有特征，然后将所有特征串联在一起输入1*1的卷积层以减少维度并将信息融合在一起；全局特征提取路径可以表示为：
[0049]fg
＝δ(w4[fa,fm])))
[0050]
其中fa和fm分别表示平均池化特征和最大池化特征，w4是权重；
[0051]
最后，将全局特征与局部特征相乘以形成局部全局特征图；局部全局块的最终输出表示为：
[0052]fo
＝f
l
*fg。
[0053]
进一步，所述步骤4的具体操作过程为：
[0054][0055]
其中f
down,i
、g
ad
和分别表示下采样操作、自适应池化和上采样操作。
[0056]
进一步，所述步骤7中的局部和全局u型雨/雪图检测子网络的损失函数为：
[0057][0058]
其中和m分别表示预测的雨/雪图和相应的真实值，n是训练数据的总数，和是平衡两种损失的权重，为绝对误差损失、表示结构相似性损失；
[0059]
收缩型曝光时间估计子网络的损失函数为：
[0060][0061]
其中和k分别表示估计的曝光时间和相应的真实值；
[0062]
堆叠式多尺度残差雨雪去除子网络的损失函数为：
[0063][0064]
其中和ic分别表示估计的雨雪图像和相应的真实值，和是平衡绝对误差损失和ssim损失之间重要性的权重。
[0065]
进一步，所述步骤7中迭代训练的方法为：首先利用雨雪图像对局部和全局u型雨/雪检测子网络和收缩型曝光时间估计子网络进行单独优化，然后对堆叠式多尺度残差雨雪去除子网络进行优化，最后对整个雨雪去除网络进行优化，获得最终优化结果。
[0066]
与现有技术相比本发明具有以下优点：
[0067]
1.本发明方法建立了非线性的雨雪曝光成像模型，该模型考虑了成像的曝光因素，与线性叠加模型和简化的非线性模型相比，它可以更准确地描述雨雪的成像特性和图像中从半透明到不透明的雨雪遮挡。
[0068]
2.本发明建立了包括局部和全局u型雨雪检测子网络、收缩型曝光时间估计子网络和堆叠式多尺度残差雨雪去除子网络的雨雪去除网络，其中局部和全局u型雨雪检测子网络使用全局局部注意力机制实现了雨雪全局局部特征的感知，收缩型曝光时间估计子网络可通过下采样操作和自适应池化层将全局信息采样到单一变量值获得曝光时间估计值，堆叠式多尺度残差雨雪去除子网络能通过并行残差多尺度模块提取多尺度特征对初步复原雨雪图像进行进一步的去雨雪，最终实现逐步去除不同遮挡程度和遮挡尺度的雨雪条纹。该并行残差多尺度模块在多分支内部和外部都采用了残差的融合方式。多分支内部通过并联式的残差方式实现了不同分支感受野的增加，使特征得到复用，减少了每个分支独立学习带来的计算冗余。外部也采用了残差学习的方式进行特征融合，使得多尺度模块同时融合低层和多尺度的高层特征。
[0069]
3.本发明方法建立了全局局部注意力机制、并行残差多尺度模块和双驱动的学习模式。通过内嵌雨雪曝光成像模型，有效地用成像模型引导了深度网络图像复原过程，提升了深度网络去雨雪算法的可解释性和鲁棒性。另外为了避免平方损失中平方惩罚放大大误差和小误差之间的差异，从而导致复原图像过度平滑，网络使用平均绝对误差l
al
作为损失函数，同时为了使复原的正常光照图像更符合人类的视觉效果，引入ssim损失来约束网络参数的学习。方法提出的加权平衡的雨雪检测损失函数、曝光时间损失函数和雨雪去除损失函数能更好地约束网络的训练，获得最终的清晰的无雨雪图像。与其它典型的去雨雪方法相比，本发明方法具有较好的性能和鲁棒性。
附图说明
[0070]
图1是本发明基于曝光成像模型的深度网络框架；
[0071]
图2是本发明用到的残差密集型模块；
[0072]
图3是本发明用到的全局局部注意力模块；
[0073]
图4是本发明用到的并行残差多尺度模块；
[0074]
图5是本发明与其它典型方法在合成雨图像上复原结果的对比；
[0075]
图6是本发明与其它典型方法在合成雪图像上复原结果的对比；
[0076]
图7是本发明与其它典型方法在真实雨图像上复原结果的对比；
[0077]
图8是本发明与其它典型方法在真实雪图像上复原结果的对比；
[0078]
图9是本发明估计的雨雪图、曝光时间与真实值之间的对比；
[0079]
图10是本发明与其它典型方法在不同曝光雨雪图像上定量的对比；
具体实施方式
[0080]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。此处说明若涉及到具体实例时仅仅用以解释本发明，并不限定本发明。
[0081]
实施例1
[0082]
如图1所示，本实施例的一种基于曝光成像模型和模块化深度网络的雨雪图像复原方法，包括以下步骤：
[0083]
步骤1，建立了一个非线性的雨雪曝光成像模型。在曝光时间t期间，雨雪图像的强度i
rs
是静态雨条纹或雪花的强度rs与背景的强度rb的线性组合：
[0084][0085]
其中τ表示雨条纹或雪花降落通过一个像素的时间。由于背景在曝光时间t内几乎是静止的，rb可以近似为一个常数。因此将上式重写为：
[0086][0087]
在等式中，时间τ和雨/雪降落的速度相关，其不确定性直接导致雨雪成像结果的多样性。因此，静态的雨/雪随时间τ的积分可以被视为动态的雨/雪图m，它丰富了雨雪成像透明度的多样性，并引入了运动模糊。trb是干净的背景图像ic。这样上述方程可以改写为：
[0088][0089]
其中表示雨/雪的平均强度，代表动态雨/雪图m。为了使等式的每一项都具有一定的物理意义，进一步将等式改写为如下形式：
[0090][0091]
其中*表示逐元素乘法。因为代表动态雨/雪图m，trb是干净的背景图像ic，所以上面的等式被写为：
[0092][0093]
由于雨/雪的平均辐照度是由雨/雪自身的特性决定的，因此可以近似为常数k。设k＝kt，等式进一步写为：
[0094][0095]
其中，i
rs
表示雨/雪图像强度，ic是干净背景图像，k表示雨/雪的平均辐照度，在该雨雪模型中，雨/雪图像强度i
rs
是干净背景图像ic、动态雨/雪图m和曝光时间t的非线性组合。它不仅可以准确地描述雨雪的成像特性，而且可以生成在视觉上更真实和多样的雨雪图像。
[0096]
步骤2，建立深度去雨雪网络，包括局部和全局u型雨雪检测子网络、收缩型曝光时间估计子网络和堆叠式多尺度残差雨雪去除子网络。
[0097]
局部和全局u型雨雪检测子网络为残差密集u型自编码器，其包括由四阶段残差密集块和降采样层组成的编码器以及由全局局部注意力模块、四阶段残差密集块和上采样层组成的解码器。低层信息(例如位置、透明度和边缘)和上下文信息(例如密度和方向)都很重要。为了同时捕获低层信息和上下文信息，采用了u型(u-net)结构通过收缩路径(编码器)捕获上下文信息，并通过对称的扩展路径(解码器)捕获低层信息。同时，在u-net的每个阶段中采用残差密集块(rdb)作为特征提取单元，以充分利用所有卷积层的特征。另外，与传统的u-net直接连接编码器和解码器不同，本发明在编码器和解码器之间引入了局部全局注意力机制同时提取了收缩路径的全局和局部语义特征，进一步提高u-net的特征表示能力。图1顶部的分支显示了局部全局u型雨雪检测子网络(lgun)的详细结构。
[0098]
残差密集块包含分层特征融合和残差学习，其中分层特征融合操作可以表示为：
[0099]fhff
＝f
hff
([fs,x1,x2...,x
l
])
ꢀꢀꢀ
(7)
[0100]
其中，[fs,x1,...,x
l-1
]表示前端层提取特征图的串联，f
hff
表示融合后的特征图、f
hff
表示卷积映射函数；
[0101]
残差密集块的输出可以表示为：
[0102]frdb
＝fs f
hff
ꢀꢀꢀ
(8)
[0103]
其中，fs表示残差密集块的输入特征图；
[0104]
残差密集块第l层的输出可以表示为：
[0105][0106]
其中f
ds
(
·
)表示批处理归一化操作、线性激活函数、卷积层和泄漏层四个连续操作的复合函数。
[0107]
所述收缩型曝光时间估计子网络由八阶段下采样操作和自适应池化层构成；
[0108]
所述堆叠式多尺度残差雨雪去除子网络为两个以残差方式堆叠的并行残差多尺度块。
[0109]
步骤3，将雨/雪图像输入局部和全局u型雨雪检测子网络，提取雨/雪图像的全局和局部性特征，估计出雨雪条纹图。
[0110]
图4显示了局部全局注意力机制的详细内部结构。局部特征提取路径是三层串联
的普通的卷积层组成，它们逐渐地提取局部信息。局部特征提取可以表示为：
[0111]fl
＝δw3(δw2(δ(w1f)))
ꢀꢀꢀ
(10)
[0112]
其中w1、w2和w3表示卷积核权重，δ表示激活函数relu，f表示输入特征图；全局特征提取路径由平均池化层、最大池化层和1*1的卷积层组成。平均和最大池化层分别提取输入图像全局的共同特征和独有特征，然后将所有特征串联在一起输入1*1的卷积层以减少维度并将信息融合在一起。全局特征提取路径可以表示为：
[0113]fg
＝δ(w4[fa,fm])))
ꢀꢀꢀ
(11)
[0114]
其中fa和fm分别表示平均池化特征和最大池化特征，w4是权重。最后，将全局特征与局部特征相乘以形成局部全局特征图。局部全局块的最终输出表示为：
[0115]fo
＝f
l
*fgꢀꢀꢀ
(12)
[0116]
步骤4，将雨/雪图像输入收缩型曝光时间估计子网络，由于曝光时间是全局量，需要通过整合雨/雪图像的全局特征估计曝光时间，因此首先采用八阶段下采样操作和自适应池化层将全局信息采样到单一变量值获得曝光时间估计值。然后，将此估计值上采样到与输入图像相同的尺寸以便进行损失估计。这种连续操作可以描述为：
[0117][0118]
其中f
down,i
、g
ad
和分别表示下采样操作、自适应池化和上采样操作。收缩型曝光时间估计子网络的详细内部结构如图1中间分支所示，网络主要采用通用的卷积操作实现。
[0119]
步骤5，将步骤3和4估计的雨/雪条纹图和曝光时间通过步骤1的雨雪曝光成像模型得到的初步复原图像；
[0120]
步骤6，将初步复原图像输入堆叠式多尺度残差雨雪去除子网络，对初步复原图像进行进一步增强复原，由于在雨/雪图像中雨条纹/雪花的遮挡水平和大小各不相同，因此使用堆叠的多尺度残差网络逐步去除不同程度的遮挡。通常，多尺度特征可以提供不同的感受野来重建图像。雨雪去除子网络通过并行残差的方式实现了多尺度特征的提取，并将多尺度模块嵌入到残差块中形成混合残差多尺度块。它由三部分组成：前端卷积块、多尺度块和后端卷积块。前端卷积块用于提升通道数，其输出送入多尺度模块提取多尺度特征；然后，多尺度特征与前端卷积块的输出串联在一起输入到1
×
1卷积层，以实现降维和信息的融合。最后，将前端卷积块的输出与1
×
1卷积层的输出以残差的方式融合起来通过3
×
3卷积层获得去雨雪图像。对于多尺度块，它以并行残差方式重复使用层级的特征实现了特征的多尺度表示，它可以描述为：
[0121][0122]
其中表示多尺度块的第i条路径的输出，f1表示多尺度块的输入，f
conv3
表示3*3卷积操作。该多尺度模块在多分支内部和外部都采用了残差的融合方式。多分支内部通过并联式的残差方式实现了不同分支感受野的增加，使特征得到复用，减少了每个分支独立学习带来的计算冗余。外部也采用了残差学习的方式进行特征融合，这样就使得多尺度模块同时融合低层和多尺度的高层特征。
[0123]
步骤7，设定局部和全局u型雨雪图检测子网络、收缩型曝光时间估计子网络和堆
叠式多尺度残差雨雪去除子网络的损失函数，在损失函数约束下，通过数据集上学习网络模型参数对各子网络进行迭代训练，直至网络收敛。
[0124]
为了避免平方损失中平方惩罚放大大误差和小误差之间的差异，从而导致复原图像过度平滑。网络使用平均绝对误差l
al
作为损失函数，同时为了使复原的正常光照图像更符合人类的视觉效果，引入ssim损失来约束网络参数的学习。
[0125]
所述局部和全局u型雨雪图检测子网络的损失函数为：
[0126][0127]
其中和m分别表示预测的雨/雪图和相应的真实值。n是训练数据的总数，和是平衡两种损失的权重，为绝对误差损失、表示结构相似性损失；
[0128]
所述收缩型曝光时间估计子网络的损失函数为：
[0129][0130]
其中和k分别表示估计的曝光时间和相应的真实值。
[0131]
所述堆叠式多尺度残差雨雪去除子网络的损失函数可以写为：
[0132][0133]
其中和ic分别表示估计的雨雪图像和相应的真实值，和是平衡绝对误差损失和ssim损失之间重要性的权重。
[0134]
深度网络模型总的损失函数可以表示为：
[0135]
l
all
＝lm lk lcꢀꢀꢀ
(18)
[0136]
所述迭代训练的方法为：
[0137]
首先利用雨雪图像对局部和全局u型雨雪检测子网络和收缩型曝光时间估计子网络进行单独优化，然后将堆叠式多尺度残差雨雪去除子网络进行优化，最后对整个雨雪去除网络进行优化，获得最终优化结果。训练过程如下：
[0138]
[0139][0140]
为了验证本发明算法的有效性，我们与主流算法在合成雨雪数据集和真实雨雪数据集上进行了对比实验。所采用的公开合成数据集包括rain1200、rain100h、rain100l和snow100k。由于难以捕获不同曝光时间的真实雨雪图像对，因此，本发明合成了一个多曝光的雨雪数据库rsqd。首先拍摄15个曝光时间(从1/10s到1/250s)下的背景图像；然后使用各种特征(透明度、尺度和密度)的雨条纹和雪花生成雨/雪条纹图，并采用非线性曝光成像雨雪模型合成雨雪图像数据集。所采用的真实雨数据集为real1000。
[0141]
为了定量评估和对比各算法在标签数据集上的性能，对于雨/雪条纹图和无雨雪图像的评估，本发明采用信噪比psnr和结构相似性ssim作为评估指标。对于曝光时间，使用了估计值和真实值之间的平均绝对误差(aae)和平均相对误差(are)衡量估计曝光时间的准确性。在定量实验结果对比中，将本发明的方法与五种主流的方法在七个标签数据库上进行了比较。五种方法包括：(a)ddn，(b)did-mdn，(c)spanet，(d)mspfn和(e)syn2real。对比结果如表1和表2所示。从表中可以看出，本发明的方法在psnr和ssim值上均优于其它方法。本发明方法的psnr值在七个数据集上分别超过了次优方法2.00db，3.22db，1.43db，0.12db，2.94db，3.38db和3.98db。ssim值也高于次优方法，在七个数据集上的ssim值分别高出了次优方法0.7％，2.5％，5.2％，0.4％，1.6％，3.0％和2.1％。这些定量结果都验证了本发明所提算法的有效性。
[0142]
表1在雨/雪数据集上评估最新方法的平均psnr/ssim结果
[0143][0144]
表2在雨/雪数据集上评估先进方法的平均psnr/ssim值
[0145][0146]
此外，本发明也在视觉上定性地对比评估了各去雨/雪方法的性能。合成数据集上去雨结果的直观视觉比较如图5所示。从图中的第一和第二行可以看出，其它方法通常不能很好地处理不透明的雨条纹，并且倾向于在无雨图像中产生雨条纹伪影。对于半透明的雨条纹(例如，图5的第三和第四行)，尽管这些方法可以从整体视觉效果上获得了较好的结果，但它们也倾向于在无雨图像中残留轻微的雨条纹。与这些方法相比，本发明的方法残留较少的雨条纹并具有较高的psnr和ssim。合成雪图像上的去雪结果如图6所示，从图中可以看出，ddn和did-mdn通常只能去除少量的半透明雪花，对大而不透明的雪花几乎没有效果。spanet和mspfn方法倾向于在无雪图像中留下一些大尺寸的雪花。syn2real算法能去掉大部分的雪花，取得了可观的视觉效果，但也会残留一些大尺寸的雪花，并且在定量指标psnr和ssim上低于本发明的方法。相反，本发明的方法能够较彻底地去除图像中的各种特征的雪花，并一定程度上保留了背景细节信息。
[0147]
真实雨图像数据库real1000上的去雨结果如图7所示。从图中可以看出，ddn和spanet只能应对一些小的雨条纹，而无法处理长的雨条纹。did-mdn和mspfn通常只能处理很少的半透明雨条纹，对不透明的雨条纹几乎没有效果。syn2real方法在视觉上取得了较好的结果，但仍然会残留一些长而不透明的雨条纹。相比于这些方法，本发明的方法能够更好地去除真实的雨条纹。真实雪图像上的去雪结果如图8所示。从图中可以看出，ddn、did-mdn、spanet和mspfn通常只能去掉少量半透明的雪花，在稀疏和密集雪花图像中都会有大量的残留雪花。syn2real可以去除多数稀疏的雪花，但是也会残留一些特征不明显的雪花。相反，本发明的方法既可以处理稀疏的雪花，也可以处理密集的雪花。在合成和真实雨/雪图像上较好的去雨雪视觉效果验证了本发明方法的有效性。
[0148]
此外，本发明中也定量和定性地评估了本发明方法预测的雨/雪图和曝光时间。在数据库rqd和sqd上的定量结果列于表3中。从表中可以看出，在雨雪图数据集上psnr值均大于30，ssim值均大于0.9。这说明本发明检测的雨雪图与真实值是比较接近的。对于曝光时间，平均绝对误差(aae)的值小于0.01s，平均相对误差(are)的值小于0.2。估计值和真实值之间的视觉效果对比如图9所示。从图中可以看出，本发明方法估计的雨/雪图和曝光时间非常接近其真实值。对于曝光时间，本发明采用色彩图来表示时间的长短，红色代表最长的曝光时间值(1/10s)，蓝色代表最短的曝光时间值(1/250s)。定量和定性的结果表明，本发明的方法不仅可以有效地去除掉图像中的雨雪，而且可以较准确地估计雨雪图和曝光时间。
[0149]
表3在rqd和sqd上定量评估雨/雪图和暴光时间
[0150][0151]
为了分析不同曝光时间下图像对雨/雪的去除效果，进一步地在十种曝光时间下(1/15s～1/125s)分别与一些主流的去雨雪方法做了定量比较，结果如图10所示。从图中可以得出以下结论，首先，曝光时间持续越长，psnr和ssim越低，雨雪图像中由雨雪引起的遮挡越严重(参见黑线)。其次，随着曝光时间的缩短，除did-mdn以外的其它方法，在去雨条纹图像和去雪图像上的psnr和ssim值都会增加，即半透明的雨/雪比不透明的雨/雪更容易去除。第三，本发明的方法在每个曝光时间都优于其它方法，这表明估计曝光时间对于有效去除雨雪是必要的。