一种图像去雾方法、系统、计算机设备、存储介质及终端

1.本发明属于图像去雾技术领域，尤其涉及一种图像去雾方法、系统、计算机设备、存储介质及终端。


背景技术：

2.目前，雾霾图像中的天空区域相较于其他区域灰度值普遍偏高，造成现有去雾算法中对大气光估计值偏低，去雾后天空区域产生严重色偏、细节丢失等问题，影响了图像去雾效果。
3.雾霾环境下，由于大气中悬浮的各种微粒会吸收和散射光线，导致光的传播路径发生偏折，致使成像设备得到的图像质量的退化，细节丢失，对比度和能见度下降，严重影响了后续对图像在场景分析、摄影、计算机视觉以及自动驾驶汽车等领域的分析与处理。
4.单阈值分割采用灰度直方图方法，针对灰度值、对比度近似相同的图像有较好的处理效果。但该方法有极大的局限性，图像的灰度直方图必须具有双峰型，图像中要提取的物体和背景有明显差异，实际情况中图像像素灰度值、对比度差异大，确定全局阈值来分离物体与背景较难。直接采用大津算法分割图像可以快速找到类间分割阈值，但当图像中的目标与背景的面积相差较大、直方图没有明显的双峰或两个峰的大小相差很大，分割效果均不佳，处理图像时像素空间分布中涉及的灰度级越多，分割的合理性越低。同时对噪声也相当敏感。
5.he等人最先在图像去雾领域取得突破性进展，提出了暗通道先验应用于单幅图像的去雾，通过预估出图像的透射率，实现图像去雾。但在处理场景内的目标像素灰度与大气光接近时容易失效，导致去雾图像存在整体画面偏暗和噪声放大等现象，复原的图像易出现颜色失真等。meng等人通过对固有边界约束条件进行分析，利用上下文正则化的方法迭代优化获得透射率，改善了天空区域出现的颜色失真现象，但由于边界限制条件的局限性，当雾图场景存在多样性或亮度范围不确定时，造成去雾后在天空区域及图像明亮区域出现光晕现象。 berman等人提出了基于模糊线并利用上下文正则化的方法估计图像的透射率，基于假说无雾图像的颜色可在rgb中形成紧密的簇，但处理单幅图像时物理参数并不准确，且在图像明亮区域仍然会出现光晕现象。pan等人分析了雾天图像容易出现的亮度损失和光晕现象，通过分割图像的天空区域结合多尺度融合对曝光度不同的图像进行去雾，但是存在局部天空区域分割不准确，去雾图像会出现亮度过高和放大噪声等现象。wei等人通过暗通道融合和雾密度加权的去雾方法，改善了图像中像素的强度暗通道，消除了彩色投影和出现扭曲现象的天空区域，但是部分图像去雾后色彩饱和度过高，整体颜色偏暗，出现部分失真，去雾后天空区域的质量不高。因此，亟需一种新的图像去雾方法。
6.通过上述分析，现有技术存在的问题及缺陷为：
7.(1)由于雾霾图像中的天空区域相较于其他区域灰度值普遍偏高，使得现有去雾算法中对大气光估计值偏低，去雾后天空区域产生严重色偏、细节丢失等问题，影响了图像去雾效果。
8.(2)现有采用灰度直方图的单阈值分割方法中，图像的灰度直方图必须具有双峰型，图像中要提取的物体和背景有明显差异，实际情况中图像像素灰度值、对比度差异大，确定全局阈值来分离物体与背景较难。
9.(3)现有直接采用大津算法分割图像的方法中，当图像中的目标与背景的面积相差较大、直方图没有明显的双峰或两个峰的大小相差很大，分割效果均不佳，处理图像时像素空间分布中涉及的灰度级越多，分割的合理性越低；同时对噪声也相当敏感。
10.(4)现有将暗通道先验应用于单幅图像的去雾方法中，在处理场景内的目标像素灰度与大气光接近时容易失效，导致去雾图像存在整体画面偏暗和噪声放大等现象，复原的图像易出现颜色失真等。
11.(5)现有通过对固有边界约束条件进行分析，利用上下文正则化的方法迭代优化获得透射率的方法，由于边界限制条件的局限性，当雾图场景存在多样性或亮度范围不确定时，造成去雾后在天空区域及图像明亮区域出现光晕现象。
12.(6)现有基于模糊线并利用上下文正则化的方法估计图像透射率的方法，处理单幅图像时物理参数并不准确，且在图像明亮区域仍然会出现光晕现象。
13.(7)现有通过分割图像的天空区域结合多尺度融合对曝光度不同的图像进行去雾的方法，存在局部天空区域分割不准确，去雾图像会出现亮度过高和放大噪声等现象。
14.(8)现有通过暗通道融合和雾密度加权的去雾方法中，部分图像去雾后色彩饱和度过高，整体颜色偏暗，出现部分失真，去雾后天空区域的质量不高。


技术实现要素：

15.针对现有技术存在的问题，本发明提供了一种图像去雾方法、系统、计算机设备、存储介质及终端，尤其涉及一种基于图像天空区域分割的去雾方法、系统、设备及终端。
16.本发明是这样实现的，一种图像去雾方法，所述图像去雾方法包括：根据雾霾图像的相邻平均灰度概率，计算出累积分布函数w(j)，利用正态分布的3σ原则，确定出像素集中分布的平均灰度值，并结合自适应阈值分割以及天空区域与的暗、亮通道灰度值，确定出天空区域分割的粗阈值，根据天空区域的最大连通性，获得天空区域与非天空区域的粗分割结果；利用引导滤波操作，并通过大津算法实现天空区域和非天空区域的精确分割，平滑图像的边缘信息以及增加天空与非天空区域像素灰度的差异性；非天空区域采取改进的暗通道先验算法估计透射率，天空区域则采取对数自适应变换估计透射率，最终将天空与非天空区域的透射率进行像素对应合成，实现图像的去雾。
17.进一步，所述图像去雾方法包括以下步骤：
18.步骤一，通过统计雾霾图像的相邻灰度概率构造累积分布函数，根据像素灰度的集中分布程度获得像素的平均阈值；
19.步骤二，结合自适应阈值分割以及天空区域的暗、亮通道确定出极小值作为天空区域的粗分割阈值，根据天空区域的最大连通性获得粗分割的天空区域与非天空区域；
20.步骤三，通过引导滤波加强天空与非天空区域像素灰度的差异性，利用大津算法实现天空区域和非天空区域的精准分割；
21.步骤四，天空区域利用对数自适应变换估计透射率，非天空区域利用改进的暗通道先验算法估计透射率，通过将天空与非天空区域的对应像素的透射率进行合成实现图像
的去雾。
22.进一步，所述天空区域分割，包括：根据雾霾图像中单一灰度值出现次数占总像素数的概率，计算得雾霾图像的平均灰度概率分布直方图，利用相邻的灰度概率值构造出累积分布函数w(j)；根据正态分布3σ原则定位出灰度像素点的集中分布区间并反解出对应的平均灰度值g3，并结合自适应阈值分割以及天空的暗、亮通道灰度值经线性加权运算后，确定出像素灰度集中分布的区间 [a，b]；将所述灰度区间中的极小值作为粗分割的阈值，选择最大的连通域作为天空区域的分割结果，并利用引导滤波的大津算法实现天空区域与非天空区域的精细分割。
[0023]
进一步，所述天空区域分割算法，包括：
[0024]
(1)统计出原始图像各灰度级的像素数目ai，0≤i＜l，其中l＝256是图像中总的灰度数；单一灰度值为i的像素占图像总像素数的概率是： a为图像中总的像素数，p
x
(i)是灰度值为i的像素直方图归一化的结果；
[0025]
(2)根据图像灰度的集中分布特征，利用雾霾图像的相邻灰度概率值构造出其概率分布函数w
x
(j)：
[0026][0027]
其中，j∈[2，k]；
[0028]
从图像的累积分布函数图中可得雾霾图像的像素灰度值近似服从正态分布 3σ原则：p(μ-3σ＜x≤μ 3σ)＝99.7％，表明随机变像素点量x落在(μ-3σ，μ 3σ) 以外的概率小于千分之三，认为不可能事件，故认为w1(j)＝0.01到w2(j)＝0.997之间的像素分布最多，并计算出对应的灰度值分别记作g1与g2；其中，通过累积加权操作得g3如下式所示：
[0029]
g3＝(g1 g2)/2；
[0030]
(3)利用迭代选择阈值法并结合天空区域的暗、亮通道确定大气光值；
[0031]
(4)结合累积分布函数确定的灰度阈值g3、大气光估值ac以及迭代选择阈值t，得到更精准的区间[a1，b1]，并将[a1，b1]的极小像素值作为天空区域与非天空区域的粗分割阈值；筛选出像素数目最多的连通区域作为天空区域，其余的连通区域均作为非天空区域；其中，所述a1和b1的表达式如下式所示：
[0032][0033]
b1＝(max(max(t，g3(j))，(ac*255))) 1；
[0034]
定位出粗分割后的天空区域与非天空区域，由于天空区域与非天空区域在轮廓边缘衔接处的灰度差异较小，采用引导滤波后，图像的边缘更平滑、纹理信息更明显，且天空区域与非天空区域像素相接处的灰度差异增大；引导滤波后前景与背景的类间方差比最大，根据图像的灰度特征并采用大津算法做最后修正，实现天空区域与非天空区域地精准分割。
[0035]
进一步，步骤(3)中，所述利用迭代选择阈值法并结合天空区域的暗、亮通道确定大气光值，包括：
[0036]
1)选择一个t的初始估计值；
[0037]
2)利用阈值t把图像分为两个区域r1和r2；
[0038]
3)对区域r1和r2中的所有像素计算平均灰度值μ1和μ2；
[0039]
4)计算新的阈值：
[0040][0041]
5)重复步骤2)～步骤4)，直到逐次迭代所得的t值小于事先定义的参数t；
[0042]
6)采用两次最小最大滤波获取雾霾图像的暗亮通道，经迭代阈值获得天空区域的暗亮通道，并取i
max
像素点处灰度值的前1％为a
max
，取i
min
像素点处灰度值的前1％为a
min
，通过线性加权可以得到像素通道的大气光值ac，表达式如下式所示：
[0043]imax
＝max(max(i))；
[0044]imin
＝min(min(i))；
[0045][0046]
进一步，所述透射率合成，包括：
[0047]
非天空区域采用改进的暗通道先验方法预估出透射率；通过暗通道先验理论预估出初始透射率，根据信息熵指标参数最大化原则，利用一元二次函数迭代出最优的透射率权重参数对图像的纹理信息进行加权，从而预估出非天空区域的透射率。
[0048]
暗通道先验去雾理论指出：在无雾图像的rgb三通道中，总能找到一个像素灰度值非常低的通道，此通道像素强度值近似趋于0，所述暗通道先验数学模型如下式所示：
[0049][0050]
假设大气光值ac已知，对所述暗通道先验数学模型公式变形并经最小值滤波操作后，根据暗通道先验理论可得初始透射率，如以下公式所示：
[0051][0052]
式中，ω(0＜ω≤1)是为调节去雾的程度引入的一个定值，是非天空区域的暗通道图像。
[0053]
采用暗通道图像与边缘增强后暗通道图像的差作为图像的纹理信息：
[0054][0055]
根据最大信息熵参数指标，采用最小二乘拟合法构建一元二次函数，并将每幅图像的信息熵最大值σ代入σ1的表达式中，计算出透射率权重值，并将的表达式、δd的表达式以及σ1的表达式线性加权实现非天空区域透射率的估计：
[0056]
σ1＝2.164
·
σ2 2.638
·
σ 0.4922；
[0057][0058]
天空区域采用对数变换获取自适应的透射率，用于平滑暗通道中雾浓度差异明显
的亮度值，改善天空区域产生的色偏现象，表达式如下式所示：
[0059][0060]
其中，为雾霾图像中的天空区域部分；c为rgb通道的其中之一，引入参数k(k＞0)，用于调节灰度动态范围，经过测试验证，当k＝1.5时，复原图像中天空区域的效果最佳；其中，rgb
min
与rgb
max
的表达式如下式所示：
[0061][0062]
非天空区域采用改进的暗通道先验方法预估出透射率，天空区域采用对数变换获取自适应的透射率，采用合成方法来计算天空区域与非天空区域透射率函数t(x，y)，tn(x，y)和tm(x，y)，合成的传输函数如下式所示：
[0063][0064]
其中，tn(x，y)为非天空区域透射率，tm(x，y)为天空区域的透射率；对合成后的透射率t(x，y)进行引导滤波处理，得到细化的透射率函数。
[0065]
将天空与非天空区域合成后优化的透射率tr，以及联合天空区域的大气光值ac，利用如下公式实现图像的去雾输出：
[0066][0067]
本发明的另一目的在于提供一种应用所述的图像去雾方法的图像去雾系统，所述图像去雾系统包括：
[0068]
雾霾图像统计模块，用于通过统计雾霾图像的相邻灰度概率构造累积分布函数，根据像素灰度的集中分布程度获得像素的平均阈值；
[0069]
天空区域粗分割模块，用于结合自适应阈值分割以及天空区域的暗、亮通道确定出极小值作为天空区域的粗分割阈值，根据天空区域的最大连通性获得粗分割的天空区域与非天空区域；
[0070]
天空区域精准分割模块，用于通过引导滤波加强天空与非天空区域像素灰度的差异性，利用大津算法实现天空区域和非天空区域的精准分割；
[0071]
透射率合成模块，用于将天空区域利用对数自适应变换估计透射率，非天空区域利用改进的暗通道先验算法估计透射率，通过将天空与非天空区域的对应像素的透射率进行合成实现图像的去雾。
[0072]
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
[0073]
根据雾霾图像的相邻平均灰度概率，计算出累积分布函数w(j)，利用正态分布的3
σ原则，确定出像素集中分布的平均灰度值，并结合自适应阈值分割以及天空区域与的暗、亮通道灰度值，确定出天空区域分割的粗阈值，根据天空区域的最大连通性，获得天空区域与非天空区域的粗分割结果；利用引导滤波操作，并通过大津算法实现天空区域和非天空区域的精确分割，平滑图像的边缘信息以及增加天空与非天空区域像素灰度的差异性；非天空区域采取改进的暗通道先验算法估计透射率，天空区域则采取对数自适应变换估计透射率，最终将天空与非天空区域的透射率进行像素对应合成，实现图像的去雾。
[0074]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
[0075]
根据雾霾图像的相邻平均灰度概率，计算出累积分布函数w(j)，利用正态分布的3σ原则，确定出像素集中分布的平均灰度值，并结合自适应阈值分割以及天空区域与的暗、亮通道灰度值，确定出天空区域分割的粗阈值，根据天空区域的最大连通性，获得天空区域与非天空区域的粗分割结果；利用引导滤波操作，并通过大津算法实现天空区域和非天空区域的精确分割，平滑图像的边缘信息以及增加天空与非天空区域像素灰度的差异性；非天空区域采取改进的暗通道先验算法估计透射率，天空区域则采取对数自适应变换估计透射率，最终将天空与非天空区域的透射率进行像素对应合成，实现图像的去雾。
[0076]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的图像去雾系统。
[0077]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的图像去雾方法，尤其涉及一种基于天空区域分割的透射率合成图像去雾算法，对天空区域与非天空区域分割准确，纹理细节清晰丰富，相较于传统暗通先验技术，本发明有效改善了传统分割方法在大面积天空区域失效等缺陷，结合透射率合成算法有效减少现有算法天空区域细节损失、颜色失真等问题，去雾图像明亮适中，纹理细节清晰丰富，去雾图像整体视觉效果良好。
[0078]
本发明提供的基于天空区域分割的透射率合成图像去雾算法，通过统计雾霾图像的相邻灰度概率构造累积分布函数，根据像素灰度的集中分布程度获得像素的平均阈值，并结合自适应阈值分割以及天空区域的暗、亮通道确定出极小值作为天空区域的粗分割阈值，根据天空区域的最大连通性获得粗分割的天空区域与非天空区域；进一步通过引导滤波加强天空与非天空区域像素灰度的差异性，利用大津算法实现天空区域和非天空区域的精准分割。天空区域利用对数自适应变换估计透射率，非天空区域利用改进的暗通道先验算法估计透射率，通过将天空与非天空区域的对应像素的透射率进行合成实现图像的去雾。仿真结果表明：本算法对天空区域与非天空区域分割准确，纹理细节清晰丰富，去雾图像明亮适中，实验结果表明新算法有效改善了现有算法天空区域细节损失、天空区域去雾效果不佳等问题，与其他去雾算法比，本算法在信噪比、平均梯度、结构相似性、信息熵等客观指标上平均提高约8.03％，去雾图像整体视觉效果良好。
[0079]
针对现有去雾算法在处理含有大面积天空、强光源以及白色物体等明亮区域时造成天空区域去雾效果不佳等问题，本发明提出了基于天空区域分割的透射率合成图像去雾算法。与以往改进去雾方法相比，所提算法在精确分割天空区域后，根据天空区域与非天空区域的自身像素特征分别进行透射率的计算并合成,去雾后图像视感清晰自然。在图像去雾方面取得了较好的优化结果，一定程度上修正了以往在天空区域去雾的偏差。本发明算
法通过将天空与非天空区域的对应像素的透射率进行合成修正，获得较为细腻平滑的透射率。通过计算像素点灰度值可以准确得到像素通道的大气光值ac，克服了暗通道先验算法在天空等明亮区域失效的缺陷。本发明算法去雾后保证了目标像素点过渡自然，纹理轮廓细节更突出，具有一定的优越性。
附图说明
[0080]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
[0081]
图1是本发明实施例提供的去雾算法总体框图。
[0082]
图2是本发明实施例提供的天空区域分割原理图。
[0083]
图3是本发明实施例提供的图像灰度直方图。
[0084]
图中(a)是本发明实施例提供的有雾图像；(b)是本发明实施例提供的像素累计概率分布函数示意图。
[0085]
图4是本发明实施例提供的天空区域分割修正示意图。
[0086]
图中(a)是本发明实施例提供的原始雾图；(b)是本发明实施例提供的最大连通区域示意图；(c)是本发明实施例提供的引导滤波示意图；(d)是本发明实施例提供的最大类间方差修正示意图。
[0087]
图5是本发明实施例提供的不同方法对比分割结果图。
[0088]
图中(a)是本发明实施例提供的大津算法分割示意图；(b)是本发明实施例提供的文献(潘健鸿,高银.基于天空区域分割和多尺度融合的单幅雾天图像复原算法[j].南京理工大学学报,2019,43(05):592-599.)的分割示意图；(c)是本发明实施例提供的文献(w.mei and x.li,"single image dehazing using dark channelfusion and haze density weight,"2019 ieee 9th international conference onelectronics information and emergency communication(iceiec),2019,pp. 579-585,doi:10.1109/iceiec.2019.8784493.)的分割示意图；(d)是本发明实施例提供的本发明分割示意图；(e)是本发明实施例提供的原始雾图。
[0089]
图6是本发明实施例提供的薄雾场景下去雾效果对比示意图。
[0090]
图中(a)是本发明实施例提供的雾霾图像；(b)是本发明实施例提供的he算法去雾效果示意图；(c)是本发明实施例提供的meng算法去雾效果示意图；(d) 是本发明实施例提供的berman算法去雾效果示意图；(e)是本发明实施例提供的 pan算法去雾效果示意图；(f)是本发明实施例提供的wei算法去雾效果示意图； (g)是本发明实施例提供的本发明算法去雾效果示意图。
[0091]
图7是本发明实施例提供的浓雾场景下去雾效果对比示意图。
[0092]
图中(a)是本发明实施例提供的雾霾图像；(b)是本发明实施例提供的he算法去雾效果示意图；(c)是本发明实施例提供的meng算法去雾效果示意图；(d) 是本发明实施例提供的berman算法去雾效果示意图；(e)是本发明实施例提供的 pan算法去雾效果示意图；(f)是本发明实施例提供的wei算法去雾效果示意图； (g)是本发明实施例提供的本发明算
法去雾效果示意图。
[0093]
图8是本发明实施例提供的景深突变场景下去雾效果对比示意图。
[0094]
(a)是本发明实施例提供的雾霾图像。(b)是本发明实施例提供的he算法去雾效果示意图。(c)是本发明实施例提供的meng算法去雾效果示意图。(d)是本发明实施例提供的berman算法去雾效果示意图。(e)是本发明实施例提供的pan 算法去雾效果示意图。(f)是本发明实施例提供的wei算法去雾效果示意图。(g) 是本发明实施例提供的本发明算法去雾效果示意图。
[0095]
图9是本发明实施例提供的含有大片天空场景下去雾效果对比示意图。
[0096]
图中(a)是本发明实施例提供的雾霾图像；(b)是本发明实施例提供的he算法去雾效果示意图；(c)是本发明实施例提供的meng算法去雾效果示意图；
[0097]
(d)是本发明实施例提供的berman算法去雾效果示意图；(e)是本发明实施例提供的pan算法去雾效果示意图；(f)是本发明实施例提供的wei算法去雾效果示意图；(g)是本发明实施例提供的本发明算法去雾效果示意图。
[0098]
图10是本发明实施例提供的在处理户外不同场景下的去雾指标曲线图。
[0099]
图11是本发明实施例提供的图像去雾方法流程图。
[0100]
图12是本发明实施例提供的图像去雾系统结构框图；
[0132]
图中：1、雾霾图像统计模块；2、天空区域粗分割模块；3、天空区域精准分割模块；4、透射率合成模块。
具体实施方式
[0133]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0134]
针对现有技术存在的问题，本发明提供了一种图像去雾方法、系统、计算机设备、存储介质及终端，下面结合附图对本发明作详细的描述。
[0135]
如图11所示，本发明实施例提供的图像去雾方法包括以下步骤：
[0136]
s101，通过统计雾霾图像的相邻灰度概率构造累积分布函数，根据像素灰度的集中分布程度获得像素的平均阈值；
[0137]
s102，结合自适应阈值分割以及天空区域的暗、亮通道确定出极小值作为天空区域的粗分割阈值，根据天空区域的最大连通性获得粗分割的天空区域与非天空区域；
[0138]
s103，通过引导滤波加强天空与非天空区域像素灰度的差异性，利用大津算法实现天空区域和非天空区域的精准分割；
[0139]
s104，天空区域利用对数自适应变换估计透射率，非天空区域利用改进的暗通道先验算法估计透射率，通过将天空与非天空区域的对应像素的透射率进行合成实现图像的去雾。
[0140]
如图12所示，本发明实施例提供的图像去雾系统包括：
[0141]
雾霾图像统计模块1，用于通过统计雾霾图像的相邻灰度概率构造累积分布函数，根据像素灰度的集中分布程度获得像素的平均阈值；
[0142]
天空区域粗分割模块2，用于结合自适应阈值分割以及天空区域的暗、亮通道确定
出极小值作为天空区域的粗分割阈值，根据天空区域的最大连通性获得粗分割的天空区域与非天空区域；
[0143]
天空区域精准分割模块3，用于通过引导滤波加强天空与非天空区域像素灰度的差异性，利用大津算法实现天空区域和非天空区域的精准分割；
[0144]
透射率合成模块4，用于将天空区域利用对数自适应变换估计透射率，非天空区域利用改进的暗通道先验算法估计透射率，通过将天空与非天空区域的对应像素的透射率进行合成实现图像的去雾。
[0145]
下面结合具体实施例对本发明的技术方案作进一步描述。
[0146]
1、本发明提出了基于天空区域分割的透射率合成图像去雾算法，对天空区域与非天空区域分割准确，纹理细节清晰丰富，相较于传统暗通先验技术，本发明有效改善了传统分割方法在大面积天空区域失效等缺陷，结合透射率合成算法有效减少现有算法天空区域细节损失、颜色失真等问题，去雾图像明亮适中，纹理细节清晰丰富，去雾图像整体视觉效果良好。
[0147]
本发明提出了一种基于天空区域分割的透射率合成图像去雾算法，通过统计雾霾图像的相邻灰度概率构造累积分布函数，根据像素灰度的集中分布程度获得像素的平均阈值，并结合自适应阈值分割以及天空区域的暗、亮通道确定出极小值作为天空区域的粗分割阈值，根据天空区域的最大连通性获得粗分割的天空区域与非天空区域；进一步通过引导滤波加强天空与非天空区域像素灰度的差异性，利用大津算法实现天空区域和非天空区域的精准分割。天空区域利用对数自适应变换估计透射率，非天空区域利用改进的暗通道先验算法估计透射率，通过将天空与非天空区域的对应像素的透射率进行合成实现图像的去雾。仿真结果表明：本算法对天空区域与非天空区域分割准确，纹理细节清晰丰富，去雾图像明亮适中，实验结果表明新算法有效改善了现有算法天空区域细节损失、天空区域去雾效果不佳等问题，与其他去雾算法比，本算法在信噪比、平均梯度、结构相似性、信息熵等客观指标上平均提高约8.03％，去雾图像整体视觉效果良好。
[0148]
2、大气散射模型
[0149]
大气散射模型较为详细地描述了雾霾天气条件下图像的形成过程，具体的数学模型如公式(1)所示。
[0150]
i(x)＝j(x)
·
t(x) a
·
(1-t(x))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0151]
其中，i(x)为有雾图像，a为全局大气光值，j(x)为无雾图像；t(x)为透射率；a(1-t(x))为经过衰减后到达成像装置的能量值。
[0152]
通过将式(1)变形后得到如式(2)所示的无雾图像j(x)。
[0153][0154]
本发明提出了一种基于天空区域分割的透射率合成图像去雾算法。根据雾霾图像的相邻平均灰度概率，计算出累积分布函数w(j)，利用正态分布的3σ原则，确定出像素集中分布的平均灰度值，并结合自适应阈值分割以及天空区域与的暗、亮通道灰度值，确定出天空区域分割的粗阈值，根据天空区域的最大连通性，获得天空区域与非天空区域的粗分割结果。为平滑图像的边缘信息以及增加天空与非天空区域像素灰度的差异性，利用引导滤波操作，并通过大津算法实现天空区域和非天空区域的精确分割。非天空区域采取改进的
暗通道先验算法估计透射率；天空区域则采取对数自适应变换估计透射率，最终将天空与非天空区域的透射率进行像素对应合成，实现图像的去雾。具体的算法原理框图如图1所示。
[0155]
3、天空区域分割
[0156]
根据雾霾图像中单一灰度值出现次数占总像素数的概率，计算得雾霾图像的平均灰度概率分布直方图，利用相邻的灰度概率值构造出累积分布函数w(j)。根据正态分布3σ原则定位出灰度像素点的集中分布区间并反解出对应的平均灰度值g3。并结合自适应阈值分割以及天空的暗、亮通道灰度值经线性加权运算后，确定出像素灰度集中分布的区间[a，b]，将该灰度区间中的极小值作为粗分割的阈值，选择最大的连通域作为天空区域的分割结果。并利用引导滤波的大津算法实现天空区域与非天空区域的精细分割。
[0157]
天空区域分割具体算法如图2所示。
[0158]
(1)统计出原始图像各灰度级的像素数目ai，0≤i＜l，其中l＝256是图像中总的灰度数；单一灰度值为i的像素占图像总像素数的概率是： a为图像中总的像素数，p
x
(i)是灰度值为i的像素直方图归一化的结果。
[0159]
(2)根据图像灰度的集中分布特征，利用雾霾图像的相邻灰度概率值构造出其概率分布函数w
x
(j)，其中j∈[2，k]。
[0160][0161]
从图像的累积分布函数图中可得雾霾图像的像素灰度值近似服从正态分布 3σ原则：p(μ-3σ＜x≤μ 3σ)＝99.7％，表明随机变像素点量x落在(μ-3σ，μ 3σ) 以外的概率小于千分之三，认为不可能事件。因此，可认为w1(j)＝0.01到 w2(j)＝0.997之间的像素分布最多，并计算出对应的灰度值分别记作g1与g2，如图3所示。通过累积加权操作可得g3如式(4)所示。
[0162]
g3＝(g1 g2)/2
ꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0163]
(3)利用迭代选择阈值法并结合天空区域的暗、亮通道确定大气光值。具体算法为：
[0164]
a、选择一个t的初始估计值。
[0165]
b、利用阈值t把图像分为两个区域r1和r2。
[0166]
c、对区域r1和r2中的所有像素计算平均灰度值μ1和μ2。
[0167]
d、计算新的阈值：
[0168][0169]
e、重复步骤(b)～(d)，直到逐次迭代所得的t值小于事先定义的参数t。
[0170]
f、采用两次最小最大滤波获取雾霾图像的暗亮通道，经迭代阈值获得天空区域的暗亮通道，如公式(6)，(7)所示。并取i
max
像素点处灰度值的前1％为a
max
，取i
min
像素点处灰度值的前1％为a
min
，通过线性加权可以得到像素通道的大气光值ac。具体表达式如式(8)所示。
[0171]imax
＝max(max(i))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0172]imin
＝min(min(i))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0173][0174]
进一步结合累积分布函数确定的灰度阈值g3、大气光估值ac以及迭代选择阈值t，得到更精准的区间[a1，b1]，a1和b1的具体表达式如式(9)、(10)所示。并将[a1，b1]的极小像素值作为天空区域与非天空区域的粗分割阈值。相对于非天空区域，天空区域的灰度像素值普遍较高且趋于一致，因此筛选出像素数目最多的连通区域作为天空区域，其余的连通区域均作为非天空区域。
[0175][0176]
b1＝(max(max(t，g3(j))，(ac*255))) 1
ꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0177]
定位出粗分割后的天空区域与非天空区域，由于天空区域与非天空区域在轮廓边缘衔接处的灰度差异较小，采用引导滤波后，图像的边缘更平滑、纹理信息更明显，且天空区域与非天空区域像素相接处的灰度差异增大，如图4所示。引导滤波后前景与背景的类间方差比最大，可根据图像的灰度特征并采用大津算法做最后修正，实现天空区域与非天空区域地精准分割，如图4所示。
[0178]
如图5为选取的不同场景下的原始雾霾图像分别经大津算法、文献(潘健鸿, 高银.基于天空区域分割和多尺度融合的单幅雾天图像复原算法[j].南京理工大学学报,2019,43(05):592-599.)、文献(w.mei and x.li,"single image dehazing using dark channel fusion and haze density weight,"2019 ieee 9th international conference on electronics information and emergency communication(iceiec), 2019,pp.579-585,doi:10.1109/iceiec.2019.8784493.)、本发明算法分割后的对比结果。由图5可知，前四种分割算法会将白色以及较明亮的区域误判为天空区域，分割不精细，而所提的分割算法能够将天空区域进行准确划分。表明了本发明改进的分割算法更加有效。具体分析如下：
[0179]
大津算法处理后，在含有大面积干扰的白色非天空区域的图像中，易造成分割图像的极大误差，如图5(a-3)中广场内白色砖块误识别为天空区域。图像左上角部分的树木也误识别为天空区域，天空区域与非天空区域的对比度与亮度变化对比较小，图像未能准确分割，如将图5(a-2)天安门中的大部分屋脊区域与 5(a-1)中天空交界处的大面积山峰区域误识别为天空区域。
[0180]
文献(潘健鸿,高银.基于天空区域分割和多尺度融合的单幅雾天图像复原算法[j].南京理工大学学报,2019,43(05):592-599.)算法处理后部分图像边缘轮廓会存在细节损失，如图5(b-3)中体育馆边缘轮廓缺失，图像左上角处树木部分误分割为天空区域，同时图像右上角出现突起，部分天空区域分割错误。如图5(b-2) 中天安门的前面屋脊大部分区域误分割为非天空区域，图像右边未能分割出国旗区域。同时在处理包含大片天空区域及景深区域较大的场景中，将山峰图像中的白色区域误认为是天空区域，如图5(b-1)中山峰处亮度高的三个位置和图 5(b-4)中山峰的白雪等近似白色区域均误识别为天空区域。
[0181]
文献(w.mei and x.li,"single image dehazing using dark channel fusionand haze density weight,"2019 ieee 9th international conference on electronicsinformation and emergency communication(iceiec),2019,pp.579-585,doi: 10.1109/iceiec.2019.8784493.)算法在分割天空区域部分处理效果明显好于大津算法与文献(潘健鸿,高银.基于天空区域分割和多尺度融合的单幅雾天图像复原算法[j].南京理工大学学报,2019,43(05):592-599.)算法，如图5(c-2)中国旗的边缘轮廓与图5(c-4)中山峰轮廓大部分均分割正确。但是单图像部分细节轮廓分割不够精细，如图5(c-2)中天安门的屋脊部分分割有误，图5(c-1)中山峰亮度高的部分误分割为天空区域和图5(c-4)中山峰顶的部分白雪区域均误分割为天空区域。
[0182]
本发明算法通过加强天空与非天空区域像素灰度的差异性实现天空区域和非天空区域的精准分割，分割图像纹理细节清晰丰富，如图5(d-1)中天空区域与远处的山峰与如图5(d-4)山峰中的白色区域均精确分割，避免受到图像中白色区域的干扰。处理图像中含有大面积近似天空白色区域时，本发明算法有效避免了大津算法与文献(潘健鸿,高银.基于天空区域分割和多尺度融合的单幅雾天图像复原算法[j].南京理工大学学报,2019,43(05):592-599.)算法误分割大面积非天空区域且细节边缘处理不佳的情况，如图5(d-3)体育馆及旁边建筑识别准确，本发明算法精确定位天空区域，细节边缘轮廓清晰，如图5(d-1)分割山峰与天空区域交界处时，分割精确且细节边缘处理平滑，如图5(d-2)天安门中的国旗缝隙处的狭小天空区域。如图5(d-3)图像中左上角树木边缘轮廓分割精细及右上角建筑边缘轮廓清晰。
[0183]
4、透射率合成
[0184]
非天空区域采用改进的暗通道先验方法预估出透射率。通过暗通道先验理论预估出初始透射率，根据信息熵指标参数最大化原则，利用一元二次函数迭代出最优的透射率权重参数对图像的纹理信息进行加权，从而预估出非天空区域的透射率。
[0185]
暗通道先验去雾理论指出：在无雾图像的rgb三通道中，总能找到一个像素灰度值非常低的通道，此通道像素强度值近似趋于0。暗通道先验数学模型如公式(11)所示。
[0186][0187]
假设大气光值ac已知，对公式(11)变形并经最小值滤波操作后，根据暗通道先验理论可得初始透射率，如公式(12)所示。
[0188][0189]
式中，ω(0＜ω≤1)是为调节去雾的程度引入的一个定值，是非天空区域的暗通道图像。
[0190]
采用暗通道图像与边缘增强后暗通道图像的差作为图像的纹理信息。
[0191][0192]
根据最大信息熵参数指标，采用最小二乘拟合法构建了一元二次函数。并将每幅图像的信息熵最大值σ代入公式(14)中，可计算出透射率权重值，并将公式(12)、公式(13)
以及公式(14)线性加权实现非天空区域透射率的估计。
[0193]
σ1＝2.164
·
σ2 2.638
·
σ 0.4922
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
[0194][0195]
天空区域采用对数变换获取自适应的透射率，用于平滑暗通道中雾浓度差异明显的亮度值，改善天空区域产生的色偏现象。具体表达式如式(16)所示。
[0196][0197]
其中，为雾霾图像中的天空区域部分；c为rgb通道的其中之一，rgb
min
与rgb
max
的具体表达式如式(17)所示。引入参数k(k＞0)，用于调节灰度动态范围，经过测试验证，当k＝1.5时，复原图像中天空区域的效果最佳。
[0198][0199]
非天空区域采用改进的暗通道先验方法预估出透射率，天空区域采用对数变换获取自适应的透射率，采用合成方法来计算天空区域与非天空区域透射率函数t(x，y)，tn(x，y)和tm(x，y)，合成的传输函数如式(18)所示。
[0200][0201]
其中，tn(x，y)为非天空区域透射率，tm(x，y)为天空区域的透射率。并对合成后的透射率t(x，y)进行引导滤波处理，得到细化的透射率函数。
[0202]
将天空与非天空区域合成后优化的透射率tr，以及联合天空区域的大气光值ac，利用公式(19)实现了图像的去雾输出。
[0203][0204]
下面结合仿真对本发明的技术效果作详细的描述。
[0205]
本发明提出的去雾算法根据雾霾图像计算出累积分布函数，利用正态分布结合自适应阈值分割以及天空区域的暗、亮通道灰度值等，先确定出天空区域的粗分割结果。进一步利用引导滤波操作并通过大津算法实现天空区域和非天空区域的精确分割。利用合成天空区域与非天空区域的透射率，可以有效避免天空区域与非天空区域出现分块效应，上述透射率合成中非天空区域采用改进的暗通道先验算法估计透射率，天空区域则采取对数自适应变换估计透射率，最终将天空与非天空区域的透射率进行像素对应合成实现图像的去雾。
[0206]
为保证本发明所提算法的有效性，选取薄雾、浓雾、景深变化剧烈以及含有大片天空区域的不同场景下8幅常用真实有雾图像进行仿真验证，并将实验结果与he、meng、
berman、pan、wei等去雾领域内主流的去雾方法，进行了评价分析与对比，处理结果如图6～图9所示。通过观察图6～图9可得：
[0207]
he等人去雾后基本消除了雾霾的影响，由于采用了最小值滤波，造成透射图不会随景深而变化，高估了轻微模糊区域雾霾的厚度，去雾后图像整体较暗，如图9中的天安门前的冬青，图9体育馆前的下水道等。同时在景深边缘处有不同程度的白色光晕现象，如图6中两个正在观察的人物所穿的衣服边缘处，石柱层间缝隙处，图6中山体的轮廓边缘，图7中的车身的轮廓处，图8中的银杏树叶景深相接处，图9中的建筑物的外轮廓边缘等。此外，去雾后天空区域存在色彩偏移现象，如图9中的天空区域。
[0208]
meng等人在暗通道先验基础上，将边界约束用于透射率的优化，消除暗通道的晕影效应，对薄雾、景深等场景下的雾图有较好的视觉处理效果。如图6与 8所示。该算法并未优化去雾图像的色彩保真度，因而天空等区域由于透射率变化较小且像素相对平滑，去雾后颜色失真现象明显，视觉效果较差，如图7以及图9中的天空区域。同时对于雾浓度较大的场景处理后图像较暗，如图7中的楼房以及近景处的小路。
[0209]
berman等人通过对原始雾图进行聚类分析实现去雾，假设有雾图像所有的像素点都集中于大气光与无雾像素点构成的雾线上，使得处于不同深度位置的透射率估计不足，未能有效去除景深区域的雾霾，如图8所示。同时在图像景深突变区域出现了色偏现象，如图8中景深处的银杏树叶。此外，如图7、图9中的近景区域的道路整体灰暗，去雾后图像不自然。
[0210]
pan等人通过分割图像的天空区域结合多尺度融合对曝光度不同的图像进行去雾，对于处理雾天图像的光晕现象有一定的效果，薄雾场景图像去雾效果较好。但是由于局部天空区域分割不准确，容易出现图像亮度损失和边缘细节模糊等现象，如图6中的山峰区域，如图9中的天空区域。此外，复原的图像存在颜色亮度过高等问题，如图7中天空区域、图9天安门图像都整体偏亮白色。
[0211]
wei等人利用暗通道融合和雾密度加权的去雾方法，消除了彩色投影，改善了天空区域的去雾效果，近景细节恢复清晰，薄雾场景图像去雾效果较好，如图6中故宫的轮廓细节屋檐与人物栏杆等颜色亮度适中。但景深突变区域出现去雾不足，如图8所示。浓雾场景下去雾后的图像去雾效果较差，如图7所示。此外，去雾后天空区域的质量并不高，整体颜色偏暗，色彩饱和度过高，如图9所示。
[0212]
本发明所提的基于天空区域的精确分割去雾算法，可有效避免将天空区域当作非天空区域处理导致去雾效果不佳的情况。本发明算法在天空区域进行精确分割，去雾后在天空区域与非天空区域去的交界处去雾效果自然、清晰可见、边缘处理平滑。本发明算法考虑了景深区域的特殊性，在非天空区域采用改进的暗通道先验方法，天空区域采用对数变换获取自适应的透射率，将天空区域与非天空区域的透射率进行合成修正，使得本算法在处理薄雾场景时能与5种主流去雾算法相媲美，在天空等明亮区域，景深突变区域去雾效果细节信息丰富，无明显伪影及颜色偏移，对比度适中，符合人们的视觉体验。如图8中树林深处的边缘细节还原度更高、残雾被消除，层次感更明显。图6中远景处的阶梯步道都清晰可见。在浓雾区域去雾效果也优于5种对比算法，较好地抑制了明亮区域透射率估计过小而导致的色彩失真现象，复原的图像清晰自然。如图9中在含有大面积天空区域的天安门和体育场的图像中，精确分割的天空区域与非天空区域，天安门去雾后未丢失图像细节，图像中部
树木边缘轮廓清晰，图像中的五星红旗亮度适中，体育场前广场部分去雾图像清晰可见，左上角处的树木还原清晰可见，亮度适中，图像的去雾效果较好。
[0213]
为将本发明算法与he、meng、berman、pan、wei等去雾算法进行客观对比，采用客观评价指标对图6～9的去雾效果进行定量分析。如图10所示。从图中可看出：在保证去雾不失真的情况下，从整体的客观数据曲线观察可知，本发明算法对8幅真实图像去雾后，相比于其他去雾算法，所提算法在信噪比上平均提高 8.06％，平均梯度上平均提高11.35％，结构相似性上平均提高9.15％，信息熵上平均提高2.23％，表明本发明算法在改善图像失真、保持结构相似性以及图像信息量等方面有一定程度的提升，更加符合实际视觉效果。
[0214]
表1不同算法相关评价指标
[0215]
[0216][0217]
综上分析可得：本发明算法通过将天空与非天空区域的对应像素的透射率进行合成修正，获得较为细腻平滑的透射率。通过计算像素点灰度值可以准确得到像素通道的大气光值ac，克服了暗通道先验算法在天空等明亮区域失效的缺陷。本发明算法去雾后保证了目标像素点过渡自然，纹理轮廓细节更突出，具有一定的优越性。
[0218]
针对现有去雾算法在处理含有大面积天空、强光源以及白色物体等明亮区域时造成天空区域去雾效果不佳等问题，本发明提出了基于天空区域分割的透射率合成图像去雾算法。与以往改进去雾方法相比，所提算法在精确分割天空区域后，根据天空区域与非天空区域的自身像素特征分别进行透射率的计算并合成,去雾后图像视感清晰自然。在图像去雾方面取得了较好的优化结果，一定程度上修正了以往在天空区域去雾的偏差。
[0219]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行
传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0220]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。