一种基于多尺度分解的单幅夜间图像去雾方法与流程

1.本发明涉及数字图像处理领域，特别是一种基于多尺度分解的单幅夜间图像去雾方法。


背景技术：

2.夜间雾天条件下，由于低照度、人造光源以及雾霾等因素的影响，导致户外采集的图像或视频会出现光照不均匀、亮度过暗、噪声大、纹理细节模糊等现象，严重制约了户外计算机视觉系统在夜间场景的正常运行，同时也给人们的日常生活和出行造成严重的影响。例如，机车在道路行驶中，夜间环境通常是人眼视觉感知较弱，安全隐患较大，事故频发的场景，此外如果再加上雾霾天气的影响，使得视觉能见度进一步降低，此时正是需要计算机辅助视觉系统来提高驾驶员对周围环境的感知能力，进而避免安全事故的发生。因此，在夜间雾天条件下改善采集图像的质量对计算机视觉同的应用有着重要的现实意义。
3.夜间雾天条件下采集的降质图像与白天场景有着明显不同。白天场景下大气光的来源主要是太阳光，呈均匀分布，而夜间雾霾场景下成像过程中参与成像的环境光主要来自路灯、车灯等人造光源，具有照度低、分布不均匀以及颜色多样等特点，进而导致采集到的图像会出现亮度过暗、细节模糊不清、颜色失真等现象，同时图像中较暗区域也会隐藏大量的噪声，在复原过程中通常会被放大。然而目前主流的图像去雾方法主要关注白天场景，无法很好的解决夜间场景下的图像去雾问题。因此，本发明对于数字图像处理领域具有重要的理论价值。
4.虽然现有的白天图像去雾方法无法有效复原夜间雾天图像，但一定程度上给夜间图像去雾方法的研究提供了灵感和解决思路。近年来，研究者提出了多种适用于夜间雾天场景的图像去雾方法。2012年soo-chang pei和tzu-yen lee首次提出了一种基于颜色传递技术夜间图像去雾方法。该方法利用颜色传递技术将夜间雾天图像转换为白天雾天图像，然后利用暗通道先验理论来复原图像。zhang jing等考虑了人造光源的影响，将大气散射模型中的大气光修改为环境光，使其更好的使用夜间雾天图像，然后在新模型的基础上，对输入图像进行光照补偿、颜色校正以去雾等操作。该算法可以很好提高降质图像的亮度和对比度，但是在人造光源区域容易产生辉光现象。li yu等通过分析人造光源在成像过程中多散射的影响，在大气散射模型的基础上添加了新的一项，用来描述夜间雾天图像中的辉光效应，然后基于新的图像降质模型采用相对平滑约束的图像分解算法来分离辉光层，最后利用暗通道先验理论来实现去雾的目的。该算法可以有效的去除夜间雾天图像在复原过程中产生的辉光现象，但是在噪声抑制方面处理欠佳。zhang jing等通过对大量白天无雾的自然图像块进行统计分析提出了最大反射先验理论，然后利用该先验理论来实现夜间雾天图像去雾。该算法的处理结果存在亮度偏暗的现象，且同样无法很好的解决图像暗区域噪声放大的问题。汤春明等利用图像分解的算法将输入图像分为结构层和纹理层，然后分别对结构层去雾和纹理层优化去噪，最后将二者进行叠加得到结果图像。虽然该算法一定程度上可以抑制噪声，但是没有考虑夜间雾天图像中的辉光效应，且对纹理层优化去噪处
理时所设置的参数无法适用于不同的输入图像。yang minmin等将超像素分割的思想引入到夜间图像去雾算法中，在估计环境光和透射率时采用不规则但内容感知的图像块来代替经典的矩形图像块，使得到的大气光图和透射率图与输入图像的结构更加匹配。然而该算法仍然没有考虑噪声放大的问题。方帅等提出了基于光照估计的夜间图像去雾方法，通过估计光照图来去除不均匀光照的影响。yuteng等首先将夜间雾天图像划分为光源区域和非光源区域，然后利用不同的先验知识分别对光源和非光源区域进行处理，最后再进行像素级融合得到清晰图像。然而，该方法得到的结果图像存在偏暗的现象。
5.基于此，本发明提供了一种基于多尺度分解的单幅夜间雾天图像去雾方法。提出的方法主要包括五个处理步骤：辉光分解、亮度补偿、多尺度图像分解、结构层去雾和纹理层去噪以及梯度域增强。首先，利用相对平滑约束的图像分解方法去除夜间雾天图像的辉光层，进而使用伽马校正对余下的残差图像进行亮度补偿。然后，将亮度补偿后的图像利用全变分约束分解为一个结构层图像和两个纹理层图像；接着分别对结构层图像和纹理层图像做去雾和梯度域增强处理。最后，将去雾后的结构层图像与增强后的纹理层图像进行线性融合得到最终的无雾清晰图像。


技术实现要素：

6.本发明提出一种基于多尺度分解的单幅夜间图像去雾方法，旨在同时克服夜间雾天图像的辉光效应、亮度过暗、雾霾干扰、细节模糊以及噪声放大问题。
7.本发明所采用的技术方案如下。
8.一种基于多尺度分解的单幅夜间图像去雾方法，其特征在于，包括如下步骤：(1)将采集到的单幅夜间雾天图像分解为辉光层图像和残差图像；(2)将去除辉光后的残差图像利用伽马校正进行亮度补偿；(3)将亮度补偿后的图像分解为一个结构层图像base和两个纹理层图像t1和t2；(4)将结构层残差图像base进行去雾处理；(5)将纹理层图像t1先后进行去噪和增强处理；(6)将纹理层t2进行梯度域增强处理；(7)将去雾后的结构层图像和两个增强后的纹理层图像进行融合得到结果图像。
9.其中，所述的步骤(1)利用统计分析的方法得到辉光层图像在颜色、形状以及方向上的梯度直方图特征，然后构造能量方程并进行最小化处理将输入的单幅夜间雾天图像中的辉光层进行分离。
10.其中，所述的步骤(2)中使用伽马校正函数进行亮度补偿操作，使得夜间雾天图像的亮度得到补偿。
11.其中，所述的步骤(3)中利用全变分约束，逐步多次将亮度补偿后的夜间雾天图像首先分解为多个结构层图像，然后将相邻结构层图像之差作为纹理图像，通常情况下选择生成三个尺度的结构层图像，进而得到两个尺度上的纹理层图像。
12.其中，所述的步骤(4)中利用最大反射先验和暗通道先验知识来估计结构层残差图像的透射率，进而利用非一致大气光的散射模型来复原结构层图像。
13.其中，所述的步骤(5)中针对纹理层图像t1先利用三维块匹配算法来进行去噪操作，然后再将去噪后的图像转换到梯度域，进而对细节进行增强操作。
rgb的每个颜色通道中单独使用，易导致分离后的h(x)产生颜色偏移的现象。因此，添加了颜色恒常性约束来解决颜色偏移问题。
24.所述的步骤(2)中使用伽马校正函数进行亮度补偿操作，具体为：h(x)＝h(x)
γ
其中，γ为亮度补偿参数。
25.所述的步骤(3)中使用全变分约束将亮度补偿后的图像h(x)分解为一个结构层残差图像和两个纹理层残差图像。具体的，利用全变分约束构造如下能量优化方程，通过最小化能量优化方程得到结构层残差图像s其中，s为结构层残差图像，为梯度算子，α为正则化参数用来平衡数据项和正则项。通过交替方向最小化方法迭代求解上述能量优化方程变得可到结构层残差图像s，进而得到相应的纹理层图像t＝h-s。为了进一步得到不同尺度上的纹理图像，我们利用多尺度表达的形式来描述图像h。具体的，我们将第一次得到结构层残差图像s作为图像h的粗略表达形式，进而对得到的结构层图像依次使用全变分约束得到结构层残差图像si，则相应的纹理层残差图像ti为相邻结构层残差图像之差ti＝s
i-s
i-1
(i＝1,2,
…
,k)。通常情况上我们设置 k＝2，也就是将图像h分解为一个结构层残差图像s和两个纹理层残差图像t1和t2。
26.所述的步骤(4)中对结构层残差图像s做去雾处理，具体的，通过利用最大反射先验和暗通道先验来估计残差图像s的透射率:其中，t为透射率，l为非一致大气光，我们将局部块内像素强度的最大值作为大气光的估计值。然后反解大气散射模型来对结构层残差图像进行复原：需要注意的是，由于雾霾对图像的低频部分干扰较大，因此，本发明仅对结构层残差图像进行去雾操作。
27.所述的步骤(5)中针对纹理层残差图像t1，其中含有明显的噪声和细节，因此，本发明先使用三维块匹配去噪算法对残差纹理层图像t1进行去噪操作，进而将其转换为梯度域并除以透射率实现纹理层图像增强，具体为：进而进行梯度域重建操作得到restore表示梯度域重建操作，为梯度域增强并进行重建后的图像，处理后的纹理层残差图像t1不仅在噪声方面得到了抑制且在细节上也更为丰富。
28.所述的步骤(6)中，由于纹理层t2中几乎不含有噪声，因此仅进行梯度域增强处理
来突出感兴趣的细节区域。
29.所述的步骤(7)中，将去雾后的结构层残差图像和梯度域增强后的纹理层残差图像进行线性融合便可得到最终的清晰图像：其中，i
dehazed
为最终去雾后的夜间雾天图像。
30.上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。