边缘和色调保真度联合约束优化的单幅图像去雾方法

1.本发明涉及室外监控图像处理领域，尤其是一种去雾效果好、平滑区域色调保真度高、光晕抑制能力强、边缘保持质量好、边缘和色调保真度联合约束优化的单幅图像去雾方法。


背景技术：

2.对于室外场景下的视频监控系统来说，其拍摄质量在很大程度上依赖于天气环境。在雾、霾等天气条件下，大气中悬浮着的大量微小水滴、气溶胶等具有散射作用，导致监控拍摄到的图像色彩失真、对比度和能见度降低，这无疑将影响室外视频监控系统的有效性和实用性。因此，去除或者抑制尘埃、雾霾颗粒杂质的干扰是改善室外视频监控系统性能的关键技术环节之一。图像去雾的根本目的是恢复含雾图像的对比度和清晰度，还原其真实色彩以及真实场景，达到在理想天气状况下的拍摄效果，从而帮助管理人员和部门做出恰当的决策。
3.基于多幅图像的去雾方法是较早出现的一类方法，它考虑到尘埃、雾霾颗粒杂质的随机性，利用多幅图像的融合或加权平均来实现去雾。grewe等人将多幅含雾图像在小波域进行融合，获取高对比度的图像。schechner等人根据多幅图像的滤光图和不同程度的偏振来估算景深信息，进而恢复得到不含雾的图像。 narasimhan等人通过对比同一场景在不同天气下的图像，并根据场景点之间的变化来估算景深信息和场景结构，达到了增强图像对比度的目的。galdran等人通过伽马校正和多尺度混合拉普拉斯，将多幅不同曝光的图像进行融合，降低了图像去雾的依赖性和复杂性。尽管该类方法取得了一定的去雾效果，可是要想获取同一场景在不同时刻的输入图像组却需要耗费大量人力及时间，有时甚至是不可行的。故此，研究人员逐渐将目光转移到基于单幅图像的去雾研究上。
4.目前，典型的单幅图像去雾方法主要分为三大类：基于融合的图像去雾方法、基于物理模型的图像去雾方法和基于卷积神经网络的图像去雾方法。
5.1)基于融合的图像去雾方法采用两种以上的传统技术处理生成多个衍生图像，再对多个衍生图像进行融合来实现提高图像去雾质量的目的。zhu等人首先通过伽马校正从模糊图像中获得4个曝光不足的图像，再将每个曝光不足的图像分解为整体和局部分量，构造像素级权重图进行图像融合，最后平衡图像的亮度和色彩饱和度以获取最佳的无雾图像。该方法可以很好地解决饱和度问题，但是逐像素估计透射图容易引起去雾图像过饱和，而逐块估计透射图则会产生边缘伪影。zhao等人在含雾图像的边缘处使用逐像素估计透射图，非边缘区域选择多个不同尺度的块逐块估计透射图，通过权重融合成最终透射图，从而提出了一种mof模型。虽然该方法有效解决了边缘伪影现象，但是运行复杂度并不很理想。ancuti等人利用白平衡和对比度增强技术分别从原始图像中得到两幅派生图像，再通过计算亮度、色度和显著性加权得到的权重图来保留衍生图像的重要特征，最后运用多尺度混合得到清晰图像。尽管该类方法以融合方式增加模糊区域的可见细节，提高了图像的视觉质量，可是自适应权重的选择仍然是其技术难点，当含雾图像比较暗或者雾浓度较高时，不
恰当的融合权重会显著影响去雾性能并产生边缘伪影和光晕。
6.2)基于物理模型的图像去雾方法通过对大气散射过程中光线衰减对图像的物理影响作用进行建模，利用其逆过程实现图像去雾。何凯明在大气散射模型的基础上提出了一种暗通道先验模型，进而求取大气光值和粗透射率，再用引导滤波或者软抠图的方法精细化透射率。虽然该方法能够尽可能地保留图像细节，但是对于大气光值和透射率的估计往往不够准确，将导致去雾图像丢失一部分纹理细节，并且在恢复大面积的天空区域时又容易出现明显的颜色失真和光晕现象。为了解决这一不足，zhang等人发现在局部像素块内每个颜色通道的最大强度点对应于具有最大反射率的场景点，从而根据最大反射率先验直接估计环境照度和透射率。但是，当场景对象具有不同的颜色时，该方法也往往会产生颜色失真现象。zhu等人利用颜色衰减先验模型创建了与场景深度有关的线性模型，并使用有监督方法学习模型参数，然而该方法为了降低算法复杂度，将散射系数固定设置为常数1，很容易低估透射率，导致去雾前后的像素变化量过大引起偏色失真。berman等人发现无雾图像的颜色分布会在rgb空间中形成紧密的颜色簇，并且由于簇群中的像素与相机的距离各不相同，它们在雾霾图像的rgb空间中就会形成一条线，称为“雾线”。据此发现，berman等人提出了一种基于颜色的非局部策略来估计透射率和大气光值。不过，其去雾后的图像仍然存在颜色过饱和的现象。总体来看，对于雾浓度较大的图像，该类去雾方法在天空或者平滑区域的处理结果难免存在一定程度的噪声和偏色失真，而且由于其对大气散射模型的透射率估计不准确，图像中的噪声会被去雾过程所放大，使得去雾图像的主观效果不佳。
7.3)基于卷积神经网络的图像去雾方法利用神经网络的强大学习能力，建立从含雾图像到无雾图像的复杂非线性映射，从而实现图像去雾的目的。chen等人设计了一种pms-net网络，能够自适应地为每个像素选择恰当的像素块，再根据像素块的暗通道图求解大气光值和透射率。huang等人提出了一种端到端的神经网络来学习有雾图和无雾图之间的残差图，再利用过渡卷积层增强结构信息完成去雾。cai等人也构建了一种端到端的深度神经网络dehazenet，能够有效消除均匀分布在图像中的雾。wu等人提出了具有自动编码器和对比正则化的去雾网络，充分利用模糊图像和清晰图像的信息实现去雾。dong等人使用频率信息作为先验信息，提出了具有融合鉴别器的端到端的生成对抗网络，以得到更为自然的去雾图像。因为自然界中很难拍摄到背景相同的无雾图像和有雾图像，所以卷积神经网络目前所使用的含雾图像数据集大多是根据大气散射模型进行人工合成的，这就不可避免地影响到了神经网络的鲁棒性和稳定性，导致其在真实有雾图像上的去雾性能并不能总是尽如人意。而且，该类去雾方法依然无法处理浓雾图像，训练时间过长，缺乏实用性。
8.总体来看，现有的基于融合的图像去雾方法和基于物理模型的图像去雾方法利用先验知识简化物理模型、估计去雾参数的策略，无法有效处理含有天空等大面积平滑区域的有雾图像，易出现透射率估计不准确、天空区域与非天空区域的透射率差异大的现象，始终未能解决平滑区域的偏色和光晕问题；而基于卷积神经网络的图像去雾方法尚存在鲁棒性和稳定性不够、去雾能力有限、真实有雾图像训练数据集获取难等问题。因此，目前尚没有一种能够兼顾处理薄雾图像和浓雾图像，并且平滑区域色调保真度高、光晕抑制能力强、边缘保持质量好的单幅图像去雾方法。


技术实现要素：

9.本发明是为了解决现有技术所存在的上述技术问题，提供一种去雾效果好、平滑区域色调保真度高、光晕抑制能力强、边缘保持质量好、边缘和色调保真度联合约束优化的单幅图像去雾方法。
10.本发明的技术解决方案是：一种边缘和色调保真度联合约束优化的单幅图像去雾方法，按如下步骤进行：利用slic超像素分割将有雾图像划分成一系列图像块；利用正态分布标准化和sigmoid非线性映射，构造归一化暗通道图和归一化细节图，生成一个亮度和结构细节加权融合的特征图，自适应地选取反映大气光的图像块并估算理想的大气光值；以散射系数为自变量，构造一个边缘和色调保真度联合约束优化的目标函数，进而采用基于斐波那契法的一维最优化搜索，在保证色调保真度的前提下计算自适应散射系数和透射率图，最终实现基于大气散射模型的图像去雾。
11.具体按如下步骤进行：
12.步骤1.输入一幅含雾图像i，令其高度和宽度分别为h和w；
13.步骤2.采用slic超像素算法分割含雾图像i，得到各个超像素块所对应的像素坐标集合所述ωi表示第i个超像素块的像素坐标集合且1≤i≤n
sp
，n
sp
是用于表示超像素块总数的预设常数；
14.步骤3.利用最小值滤波计算含雾图像i的暗通道图j
dark
；
15.步骤4.将含雾图像i的颜色空间转换为ycbcr，并令其亮度分量为iy；
16.步骤5.计算iy的多尺度融合细节图
17.步骤6.利用尺寸为s的正方形结构元素，对多尺度融合细节图进行形态学腐蚀运算，得到
18.步骤7.采用形态学区域填充运算，对进行8-连通区域填充处理，得到
19.步骤8.计算含雾图像i的归一化暗通道图
20.步骤9.计算亮度分量iy的归一化细节图
21.步骤10.利用亮度和结构细节加权融合的方法计算含雾图像i的加权融合特征值f i；
22.步骤11.根据计算含雾图像i的大气光值a；
23.步骤12.计算场景深度图d；
24.步骤13.对含雾图像i进行基于大气散射模型和约束优化的去雾操作；
25.步骤14.输出去雾后的图像ρ。
26.所述步骤5按照如下公式计算：
[0027][0028]
所述x表示中位于坐标x处的值，i
y x表示iy中位于坐标x处的亮度值，g
δ
表示标准差为δ的高斯平滑核，“*”表示卷积运算，iy*g
δ
x表示i
y x与g
δ
执行卷积运算后的
值，δ1、δ2和δ3均是预设常数；
[0029]
所述步骤8按照如下公式计算：
[0030][0031]
所述x表示中位于坐标x处的值，μ
dark
表示暗通道图j
dark
中所有像素值的数学期望，σ
dark
表示j
dark
中所有像素值的标准差。
[0032]
所述步骤9按照如下公式计算：
[0033][0034]
所述x表示中位于坐标x处的值，x表示中位于坐标x处的值，μ
blur
表示中所有像素值的数学期望，σ
blur
表示中所有像素值的标准差。
[0035]
所述步骤10按照如下步骤进行：
[0036]
步骤10.1令i
←
1；
[0037]
步骤10.2计算第i个超像素块的亮度特征值f
1 i；
[0038][0039]
所述|ωi|表示第i个超像素块的像素数量；
[0040]
步骤10.3计算第i个超像素块的结构细节特征值f
2 i；
[0041][0042]
步骤10.4计算第i个超像素块的亮度和结构细节加权融合特征值f i；
[0043]
f i＝f
1 i f
2 i
[0044]
步骤10.5令i
←
i 1，若i≤n
sp
，则返回步骤10.2，否则转入步骤11。
[0045]
所述步骤11按照如下公式计算：
[0046][0047][0048]
所述ac表示a的颜色通道c且c∈r,g,b，ωk表示第k个超像素块的像素坐标集合，|ωk|表示第k个超像素块的像素数量。
[0049]
所述步骤13按照如下步骤进行：
[0050]
步骤13.对含雾图像i进行基于大气散射模型和约束优化的去雾操作；
[0051]
步骤13.1建立边缘和色调保真度的客观评价模型vif；
[0052][0053]
所述in表示vif的基准图像，ot表示vif的待评价图像，y表示in和ot中任意像素的坐标，in
c y表示图像in的颜色通道c中位于坐标y处的值，oty表示图像 ot的亮度分量，表示梯度算子，var
·
表示计算方差的算子，mscn
·
表示去均值对比度归一化mscn算子，λ和ξ均是预设常数，θ
·
表示色调角度估计函数，其定义如下；
[0054][0055]
所述p表示像素值，pr表示p的红色分量，pg表示p的绿色分量，pb表示p的蓝色分量；
[0056]
步骤13.2建立基于大气散射模型的去雾模型ic,ac,d,β；
[0057][0058]
所述β表示散射系数，ic,ac,d,βx表示ic,ac,d,β在坐标x处的去雾结果；
[0059]
步骤13.3建立边缘和色调保真度联合约束优化的目标函数β
*
；
[0060][0061]
步骤13.4采用基于斐波那契法的一维最优化搜索求解目标函数，进而得到最佳散射系数β
*
；
[0062]
步骤13.5采用下式给出的基于大气散射模型和最佳散射系数的去雾模型对含雾图像i进行处理，得到去雾后的图像ρ；
[0063][0064]
所述ρ
c x表示图像ρ的颜色通道c中位于坐标x处的值且c∈r,g,b。
[0065]
与现有的技术相比，本发明从三方面保证图像去雾的主客观质量：第一，采用超像素分割将有雾图像划分为一系列更加符合真实场景下物体空间区域拓扑关系的图像块，使得每个图像块内部的像素分布具有更高的一致性，能够从根本上避免传统的规则分块方式由于错误地将不同物体的像素划分到同一个图像块所导致的大气光值估计不准确问题，更加精确地定位到反映实际大气光的区域。第二，根据像素值分布以及多尺度下图像纹理细节分布的特点，对暗通道图和细节图进行正态分布标准化和sigmoid非线性映射，构造了归一化暗通道图和归一化细节图，进而生成了一种新颖的亮度和结构细节加权融合的特征图，能够使大气光区域和大面积白色平滑区域在该特征图上表现出显著的性态差异，据此选取反映大气光的最佳候选区域并估算大气光值，有效地抑制了大面积白色平滑区域对大气光值估计过程的干扰，避免了现有技术对大气光值估计过大所导致的去雾图像昏暗现象。第三，设计了以散射系数为自变量、边缘和色调保真度联合约束优化的目标函数，能够在保证去雾前后的色调保真度的前提下，计算得到自适应的散射系数和透射率图，可以有
效避免去雾操作在天空等大面积平滑区域产生的严重光晕和色调失真现象。因此，本发明具有去雾效果好、平滑区域色调保真度高、光晕抑制能力强、边缘保持质量好的优点。
附图说明
[0066]
图1是本发明与现有技术对含雾图像1的去雾结果对比图。
[0067]
图2是本发明与现有技术对含雾图像2的去雾结果对比图。
[0068]
图3是本发明与现有技术对含雾图像3的去雾结果对比图。
[0069]
图4是本发明与现有技术对含雾图像4的去雾结果对比图。
[0070]
图5是本发明与现有技术对含雾图像5的去雾结果对比图。
具体实施方式
[0071]
本发明的一种边缘和色调保真度联合约束优化的单幅图像去雾方法，其特征在于按照如下步骤进行：
[0072]
步骤1.输入一幅含雾图像i，令其高度和宽度分别为h和w；
[0073]
步骤2.采用slic超像素算法分割含雾图像i，得到各个超像素块所对应的像素坐标集合所述ωi表示第i个超像素块的像素坐标集合且1≤i≤n
sp
，n
sp
是一个用于表示超像素块总数的预设常数，在本实施例中令 n
sp
＝500；
[0074]
步骤3.根据公式(1)，利用最小值滤波计算含雾图像i的暗通道图j
dark
；
[0075][0076]
所述j
dark x表示j
dark
中位于坐标x处的值，ic表示i的颜色通道c且c∈r,g,b， i
c x表示ic中位于坐标x处的像素值，min表示取最小值函数；
[0077]
步骤4.将含雾图像i的颜色空间转换为ycbcr，并令其亮度分量为iy；
[0078]
步骤5.根据公式(2)，计算iy的多尺度融合细节图
[0079][0080]
所述x表示中位于坐标x处的值，i
y x表示iy中位于坐标x处的亮度值，g
δ
表示标准差为δ的高斯平滑核，“*”表示卷积运算，iy*g
δ
x表示i
y x 与g
δ
执行卷积运算后的值，δ1、δ2和δ3均是预设常数，在本实施例中令δ1＝9，δ2＝17，δ3＝33；
[0081]
步骤6.利用尺寸为s的正方形结构元素，对多尺度融合细节图进行形态学腐蚀运算，得到所述s是一个预设常数，在本实施例中令s＝7；
[0082]
步骤7.采用形态学区域填充运算，对进行8-连通区域填充处理，得到
[0083]
步骤8.根据公式(3)，计算含雾图像i的归一化暗通道图
[0084]
[0085]
所述x表示中位于坐标x处的值，μ
dark
表示暗通道图j
dark
中所有像素值的数学期望，σ
dark
表示j
dark
中所有像素值的标准差；
[0086]
步骤9.根据公式(4)，计算亮度分量iy的归一化细节图
[0087][0088]
所述x表示中位于坐标x处的值，x表示中位于坐标x处的值，μ
blur
表示中所有像素值的数学期望，σ
blur
表示中所有像素值的标准差；
[0089]
步骤10.利用亮度和结构细节加权融合的方法估算含雾图像i的大气光值 a；
[0090]
步骤10.1令i
←
1；
[0091]
步骤10.2根据公式(5)，计算第i个超像素块的亮度特征值f
1 i；
[0092][0093]
所述|ωi|表示第i个超像素块的像素数量；
[0094]
步骤10.3根据公式(6)，计算第i个超像素块的结构细节特征值f
2 i；
[0095][0096]
步骤10.4根据公式(7)，计算第i个超像素块的亮度和结构细节加权融合特征值f i；
[0097]
f i＝f
1 i f
2 i
ꢀꢀ
(7)
[0098]
步骤10.5令i
←
i 1，若i≤n
sp
，则返回步骤10.2，否则转入步骤11；
[0099]
步骤11.根据公式(8)和公式(9)，计算含雾图像i的大气光值a；
[0100][0101][0102]
所述ac表示a的颜色通道c且c∈r,g,b，ωk表示第k个超像素块的像素坐标集合，|ωk|表示第k个超像素块的像素数量；
[0103]
步骤12.根据公式(10)，计算场景深度图d；
[0104][0105]
所述d x表示d中位于坐标x处的值，max表示取最大值函数；
[0106]
步骤13.对含雾图像i进行基于大气散射模型和约束优化的去雾操作；
[0107]
步骤13.1根据公式(11)，建立边缘和色调保真度的客观评价模型vif；
[0108][0109]
所述in表示vif的基准图像，ot表示vif的待评价图像，y表示in和ot中任意像素的坐标，in
c y表示图像in的颜色通道c中位于坐标y处的值，oty表示图像ot的亮度分量，表示梯度算子，var
·
表示计算方差的算子，mscn
·
表示去均值对比度归一化mscn算子，λ和均是预设常数，在本实例中令λ＝0.5，ξ＝-0.0001，θ
·
表示色调角度估计函数，其定义由公式(12)给出；
[0110][0111]
所述p表示像素值，pr表示p的红色分量，pg表示p的绿色分量，pb表示p的蓝色分量；
[0112]
步骤13.2根据公式(13)，建立基于大气散射模型的去雾模型ic,ac,d,β；
[0113][0114]
所述β表示散射系数，ic,ac,d,βx表示ic,ac,d,β在坐标x处的去雾结果；
[0115]
步骤13.3将ic和ic,ac,d,β代入公式(11)中，从而建立公式(14)给出的边缘和色调保真度联合约束优化的目标函数；
[0116][0117]
步骤13.4采用基于斐波那契法的一维最优化搜索求解公式(14)的目标函数，进而得到最佳散射系数β
*
；
[0118]
步骤13.5将β
*
代入公式(13)，进而采用公式(15)给出的基于天气散射模型和最佳散射系数的去雾模型对含雾图像i进行处理，得到去雾后的图像ρ；
[0119][0120]
所述ρ
c x表示图像ρ的颜色通道c中位于坐标x处的值且c∈r,g,b；
[0121]
步骤14.输出去雾后的图像ρ。
[0122]
采用本发明与现有技术对含雾图像1的去雾结果对比如图1所示。其中，(a) 为原始含雾图像；(b)为idgcp方法的去雾结果；(c)为ide方法的去雾结果； (d)为haze-lines方法的去雾结果；(e)为dehazenet方法的去雾结果；(f) 为本发明的去雾结果。
[0123]
采用本发明与现有技术对含雾图像2的去雾结果对比如图2所示。其中，(a) 为原始含雾图像；(b)为idgcp方法的去雾结果；(c)为ide方法的去雾结果； (d)为haze-lines方法的去雾结果；(e)为dehazenet方法的去雾结果；(f) 为本发明的去雾结果。
[0124]
采用本发明与现有技术对含雾图像3的去雾结果对比如图3所示。其中，(a) 为原始含雾图像；(b)为idgcp方法的去雾结果；(c)为ide方法的去雾结果； (d)为haze-lines方法的去雾结果；(e)为dehazenet方法的去雾结果；(f) 为本发明的去雾结果。
[0125]
采用本发明与现有技术对含雾图像4的去雾结果对比如图4所示。其中，(a) 为原始含雾图像；(b)为idgcp方法的去雾结果；(c)为ide方法的去雾结果； (d)为haze-lines方法的去雾结果；(e)为dehazenet方法的去雾结果；(f) 为本发明的去雾结果。
[0126]
采用本发明与现有技术对含雾图像5的去雾结果对比如图5所示。其中，(a) 为原始含雾图像；(b)为idgcp方法的去雾结果；(c)为ide方法的去雾结果； (d)为haze-lines方法的去雾结果；(e)为dehazenet方法的去雾结果；(f) 为本发明的去雾结果。
[0127]
采用本发明与现有技术对reside rtts标准有雾图像数据集进行处理，并采用fade、uciqe、hram、r、nr-fqa、mse、ssim、brisque指标对去雾图像的质量进行客观评价，其结果如表1所示。
[0128]
由图1～图5可见，idgcp方法、ide方法和haze-lines方法的去雾结果均不理想，在天空区域会引起显著的偏色和光晕现象；尽管dehazenet方法的去雾结果没有产生明显的偏色和光晕，可是其去雾能力偏弱，仅对薄雾比较有效，对浓雾的处理效率有限；相比之下，本发明的去雾结果最为理想，图像对比度明显提高，画面平滑自然，并且平滑区域没有光晕及边缘失真现象。
[0129]
由表1可见，在uciqe指标方面，本发明的评价结果均高于现有技术，表明本发明去雾后的图像整体对比度和边缘保持度较高、不均匀偏色现象较少；在hram指标方面，本发明的平均得分比ide、haze-lines、dehaze-net都有提高，仅次于idgcp，表明本发明能够有效还原环境光，对光晕有一定的抑制能力；在fade指标方面，本发明的图像雾霾密度估计值仅次于hl，表明本发明取得了理想的去雾效果，雾霾残留浓度较低。需要指出，hl以牺牲色调保真度为代价，增强其去雾能力，导致其光晕和偏色现象最为显著；在nr-fqa指标方面，本发明的平均得分均小于其他现有方法，表明本发明的去雾图像细节较突出，整体清晰自然，图像质量得到明显提升；在r指标方面，本发明的得分大于其他现有技术，表明本发明能够有效地恢复伪边缘，图像边缘保真度高；在ssim、mse和brisque指标方面，本发明均取得了高于其他现有技术的评价结果，说明本发明的去雾图像具有更小的失真和更高的主客观质量。
[0130]
表1本发明与现有技术的去雾图像质量的客观评价结果比较
[0131][0132]
综合上述的对比结果可知，对于含天空等大面积平滑区域的有雾图像，本发明在边缘细节保持和色调保真方面取得了明显优于其他现有技术的去雾结果，既可以克服现有技术所存在的光晕、伪边缘和偏色失真，又具备很强的去雾能力。