低照度场景智慧公路监测快速去雾方法、装置和电子设备

1.本发明涉及图像处理技术领域，尤其涉及低照度监测场景智慧公路监测快速去雾方法、装置和电子设备。


背景技术：

2.路面监控是“智慧公路”系统获取实时图像数据，预判交通风险，排解交通隐患，确保车辆安全、路面畅通的可视化窗口。然而，当监测场景处在雾、霾、烟、尘环境时，系统难以准确捕捉数据，若遇交通险患，极易引发交通事故。因而，去除雾、霾、烟、尘干扰，复原真实监测场景在“智慧公路”系统中具有重要价值。现有图像去雾技术，包括，基于图像增强的去雾算法，基于大气光散射成像模型的去雾算法、基于学习策略的去雾算法。其中，基于图像增强的去雾方法，去雾性能差，复原场景多有明显的雾汽残留；基于散射成像模型的去雾方法，可有效去雾，但容易造成明显的光强损失，去雾结果偏暗；学习策略去雾所需数据量大，训练时间长，且大多以散射成像模型和先验为基础，去雾结果也常伴随亮度损失。考虑到现有去雾方法，易导致复原场景变暗，应对低照度环境下的雾、霾、烟、尘场景，难以准确复原监测场景，提供清晰监测画面。


技术实现要素：

3.发明目的：本发明针对现有去雾技术中存在的明显亮度损失问题，提供了一种即可快速有效去雾，又可确保场景亮度稳定的快速去雾方法，以应对低照度环境下“智慧公路”监测场景中的雾、霾、烟、尘干扰。
4.为实现上述目的，本发明提供低照度场景智慧公路监测快速去雾方法，包括以下步骤：
5.步骤1：以观测图像的亮度和颜色浓度在hsi(色度、饱和度、亮度)颜色空间重新表达暗原色；
6.步骤2，依据像素亮度和颜色浓度校准暗原色；
7.步骤3，依据校准的暗原色，计算图像的透射率；
8.步骤4，构建光通量比例计算模型；
9.步骤5：引入光通量比例，修改大气散射成像模型；
10.步骤6，利用光通量比例，计算局部环境光；
11.步骤7，结合透射率和局部环境光，复原原始监测场景。
12.步骤1包括：采用如下公式计算监测到的雾天图像的暗原色
[0013][0014]
其中和分别是暗原色的光照度和颜色浓度，和分别对应原始无雾像素yi暗原色的光强和颜色浓度，真实场景的暗原色为：且
等于零或略大于0，即参量取值区间均为(0,1)。
[0015]
步骤2中，采用如下公式计算雾天图像y在位置i的像素yi的亮度ii：
[0016][0017]
其中，分别表示雾天图像y在位置i的像素yi的红、绿、蓝通道强度值，定义i是像素yi的饱和度，计算如下：
[0018][0019]
其中min是求极小值的运算，将饱和度和亮度的乘积siii定义为像素yi的颜色浓度，用于构造暗原色补充项。的计算方法也是参照上面的两个公式。
[0020]
步骤2包括：采用如下公式计算校准后的暗原色
[0021][0022]
上式中，是校准后的暗原色，以暗原色像素的亮度和颜色浓度构造出暗原色补充项，用于对暗原色校准。此外，∈i是像素yi的局部背景光通量比例，ti是像素yi的透射率。
[0023]
步骤3包括：构造如下关于透射率的方程：
[0024][0025]
解得透射率为：
[0026][0027]
式中，中间参数中间参数a0、b0都可以从观测图像获得，σ是调整参数，数值区间为[0.8，1.0]。
[0028]
步骤4包括：根据监测场景存在背光和面光两种区域，背光区域环境光强小，面光区域环境光强大，将监测场景局部区域环境光强的衰减方向定义为光通量方向，即光通量方向由面光区域指向背光区域，反应在图像上即为局部图像块的光强梯度方向，由于图像透射率与景深d存在：
[0029]
ti＝e-βd
[0030]
式中，β是衰减因子，根据大气散射成像原理，β可取恒定值，即透射率仅与d相关。由于局部图像块包含较小的连续场景，可设定相同景深，因此，图像块中像素透射率一致。在此基础上，本发明发现雾对光通量方向无影响，即监测图像和原始场景图像光通量方向一致，得到方向角
[0031][0032]
式中，分别是原始场景图像中以像素i为中心的卷积窗口ωi在水平、垂直方向上的光强变化，分别是监测图像中以像素i为中心的卷积窗口在水平、垂直方向上的光强变化，由于因此向量和方向一致，通过反正切求出方向角
[0033]
依据将卷积窗口ωi中所有像素分为面光和背光两类，由于环境光的弥散分布，局部区域的面光像素数量占优，面光像素(卷积窗口ωi中的较大一类)占卷积窗口ωi中像素总数的比例定义为光通量比例∈i：
[0034][0035]
式中，n是卷积窗口ωi中像素总数，max({sum(nk)})是面光像素个数。
[0036]
步骤5包括：大气散射成像模型如下：
[0037]
yi＝tixi (1-ti)
·a[0038]
式中，ti是雾天像素yi的透射率，a是监测场景的整体环境光；yi是雾天图像y在位置i的像素值；
[0039]
采用如下公式修改大气散射成像模型：
[0040]
yi＝a
·
∈i·
tixi (1-ti)
·a[0041]
引入∈i后局部环境光为a
·
∈i，环境光变小，xi，即场景的亮度值得以增强，保持了亮度稳定，故可以对低照度环境下“智慧公路”监测场景的去雾复原。
[0042]
步骤6包括：在监测图像中，取图像透射率最小的一定比例(一般为0.1％)的像素的均值得到环境光[ar,ag,ab]，则：
[0043][0044]
其中，ar,ag,ab分别是环境光的红、绿、蓝通道的灰度值；此外，为了避免远景处出现过曝光，若，则该像素的光通量比例确定为∈i＝1，其物理意义在于远景区域，如天空，其局部环境光即为场景的整体环境光。由光通量比例，局部环境光定义为：∈ia。
[0045]
步骤7包括：在修改的大气散射成像模型中，引入透射率ti，光通量比例∈i，整体环境光强[ar,ag,ab]，复原原始监测场景：
[0046][0047]
式中，是无雾像素在颜色通道c中的强度，ac是环境光在颜色通道c中的强度，是雾天像素在颜色通道c中的强度，c∈{r,g,b}。r,g,b分别表示红、绿、蓝颜色通道的强度。
[0048]
本发明还提供了低照度场景智慧公路监测快速去雾装置，包括监测图像预处理模块、模型构建与修正模块、去雾复原图像模块；
[0049]
所述监测图像预处理模块用于，以观测图像的亮度和颜色浓度在hsi颜色空间重
新表达暗原色、依据像素亮度和颜色浓度校准暗原色、依据校准的暗原色，计算图像的透射率；
[0050]
所述模型构建与修正模块用于，构建光通量比例计算模型、引入光通量比例，修改大气散射成像模型、利用光通量比例，计算局部环境光；
[0051]
所述去雾复原图像模块用于，结合透射率和局部环境光，复原原始监测场景；
[0052]
所述以观测图像的亮度和颜色浓度在hsi颜色空间重新表达暗原色，具体包括：采用如下公式计算监测到的雾天图像的暗原色
[0053][0054]
其中和分别是暗原色的亮度和颜色浓度，和分别对应原始无雾像素xi暗原色的光强和颜色浓度，真实场景的暗原色为：为：
[0055]
所述依据像素亮度和颜色浓度校准暗原色、依据校准的暗原色，具体包括：采用如下公式计算雾天图像y在位置i的像素yi的亮度ii：
[0056][0057]
其中，分别表示雾天图像y在位置i的像素yi的红、绿、蓝通道强度值，定义si是像素yi的饱和度，计算如下：
[0058][0059]
其中min是求极小值的运算，将饱和度和亮度的乘积siii定义为像素yi的颜色浓度，用于构造暗原色补充项；
[0060]
采用如下公式计算校准后的暗原色
[0061][0062]
上式中，以暗原色像素的亮度和颜色浓度构造出暗原色补充项，用于对暗原色校准；∈i是像素yi的局部背景光通量比例，ti是像素yi的透射率；
[0063]
所述计算图像的透射率，具体包括：构造如下关于透射率的方程：
[0064][0065]
解得透射率为：
[0066]
[0067]
式中，中间参数中间参数σ是调整参数；
[0068]
所述构建光通量比例计算模型，具体包括：根据监测场景存在背光和面光两种区域，背光区域环境光强小，面光区域环境光强大，将监测场景局部区域环境光强的衰减方向定义为光通量方向，即光通量方向由面光区域指向背光区域，反应在图像上即为局部图像块的光强梯度方向，由于图像透射率与景深d存在：
[0069]
ti＝e-βd
[0070]
式中，β是衰减因子，得到方向角
[0071][0072]
式中，分别是原始场景图像中以像素xi为中心的卷积窗口ωi在水平和垂直方向上的光强变化，分别是监测图像中以像素yi为中心的卷积窗口ωi在水平和垂直方向上的光强变化；
[0073]
依据将卷积窗口ωi中所有像素分为面光和背光两类，面光像素占卷积窗口ωi中像素总数比例定义为光通量比例∈i：
[0074][0075]
式中，n是卷积窗口ωi中像素总数，max({sum(nk)})是面光像素个数；
[0076]
所述引入光通量比例，修改大气散射成像模型，具体包括：大气散射成像模型如下：
[0077]
yi＝tixi (1-ti)
·a[0078]
式中，ti是雾天像素yi的透射率，a是监测场景的整体环境光；yi是雾天图像y在位置i的像素值；
[0079]
采用如下公式修改大气散射成像模型：
[0080]
yi＝a
·
∈i·
tixi (1-ti)
·
a；
[0081]
所述利用光通量比例，计算局部环境光，具体包括：在监测图像中，取图像透射率最小的一定比例的像素的均值得到环境光[ar,ag,ab]，则：
[0082][0083]
其中，ar,ag,ab分别是环境光的红、绿、蓝通道的灰度值；如果则像素的光通量比例确定为∈i＝1；
[0084]
所述结合透射率和局部环境光，复原原始监测场景，具体包括：在修改的大气散射成像模型中，引入透射率ti，光通量比例∈i，整体环境光强[ar,ag,ab]，复原原始监测场景：
[0085][0086]
式中，是无雾像素在颜色通道c中的强度，ac是环境光在颜色通道c中的强度，是雾天像素在颜色通道c中的强度，c∈{r,g,b}，r,g,b分别表示红、绿、蓝颜色通道的强度。
[0087]
所述装置在计算等参数时，采用并行计算的方法完成，具体摄像头不同监测角度的光通量比例存储、环境光位置存储。
[0088]
本发明还提供了一种电子设备，包括：处理器和存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行所述的低照度场景智慧公路监测快速去雾方法。
[0089]
工作原理：本发明用hsi颜色空间并行计算计算参量然后计算ti，∈i和[ar,ag,ab]，再带入修改的大气光散射成像模型得到公路监测场景的复原结果，由于摄像头监测角度不变时监测距离、监测场景变化较小，可存储不同监测角度下环境光位置，局部光通量比例，以提高复原速度。
[0090]
有益效果：与现有技术相比，本发明提供的去雾复原方法考虑了局部环境光变化，提高了透射率精度，涉及参量少、并行计算程度高，因而实施有效、快速去雾的同时，又提升了监测场景光强，对低照度环境下“智慧公路”监测场景的去雾复原效果明显。
附图说明
[0091]
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述/或其他方面的优点将会变得更加清楚。
[0092]
图1为本发明提供的低照度场景智慧公路监测快速去雾方法流程示意图；
[0093]
图2为低照度雾天环境下公路监测场景的图像；
[0094]
图3为传统的暗原色先验方法(dcp:dark channel prior)的去雾复原结果；
[0095]
图4为dcp先验结合深度学习(can:context aggregation network)框架的去雾复原结果；
[0096]
图5为本发明提供的方法的去雾复原后的场景；
[0097]
图6a、图6b、图6c为dcp方法，can方法和本发明方法的去雾复原结果直方图。
具体实施方式
[0098]
如图1所示，本发明提供了低照度场景智慧公路监测快速去雾方法，主要通过修改暗原色先验提高透射率精度，通过引入光通量比例提高局部环境光精度，通过修改大气光散射成像模型提高修复场景的亮度，并根据数据特点采取并行计算提高方法的运行速度，以实现低照度环境下“智慧公路”监测场景快速去雾复原。
[0099]
其中，基于修正暗原色的透射率求解包括，暗原色光强通道的求解、颜色浓度通道的求解、环境光求解及透射率求解，包括以下步骤：
[0100]
步骤1：暗原色光强通道和颜色浓度通道的求解，依据hsi颜色空间，暗原色的表达式：
[0101][0102]
在以像素yi为中心尺寸为23
×
23的卷积窗口ωi中索引暗原色像素位置，得到该像素的光强和颜色浓度作为像素yi的光强通道和颜色浓度通道
[0103]
步骤2：环境光求解，索引图像中所有像素暗原色亮度最大的0.1％像素，取均值获
得场景的整体环境光[ar,ag,ab]。
[0104]
步骤3：透射率求解，依据步骤1，步骤2，修正的暗原色：
[0105][0106]
然后，利用修正的暗原色求解像素yi的透射率：
[0107][0108]
式中，∈i是像素i的局部背景光通量比例，可通过并行计算得到，σ是调整参数,数值区间为[0.8，1.0]。
[0109]
其中，像素的光通量比例可通过在监测图像中并行运算得到，然后引入到整体环境光中得到像素自身的环境光，包括以下步骤：
[0110]
步骤a1：以像素yi为中心，利用23
×
23的卷积窗口，求水平方向、垂直方向的背景亮度梯度求反正切得到像素的光通量方向：
[0111][0112]
将23
×
23卷积窗口中的光通量方向分成两类，求取数量占有的一类的像素个数 max({sum(nk)})，其与卷积窗口像素总数的比例，即为光通量比例∈i；
[0113]
步骤a2：像素yi的局部环境光计算：
[0114][0115]
其中，大气光散射成像模型的修改及场景的去雾复原，依据光通量比例越大的像素局部环境光越强的物理事实实施，包括以下步骤：
[0116]
步骤b1：引入局部环境光修改大气散射成像模型：
[0117]
yi＝a
·
∈i·
tixi (1-ti)
·a[0118]
式中，ai即为修改的环境光，
[0119]
步骤b2：依据修改的大气光散射成像模型，计算复原场景：
[0120][0121]
式中，是无雾像素在颜色通道c中的强度，ac是环境光在颜色通道c中的强度，是雾天像素在颜色通道c中的强度，c∈{r,g,b}。
[0122]
其中，快速方法通过并行计算以及关键数据的数据存储实现，包括以下步骤。
[0123]
步骤c1：分别在监测图像中对关键参数及∈i同时求解。
[0124]
步骤c2：由于监测场景的监测角度数量有限，故可对不同监测角度下的环境光位置和局部光通量比例，快速求解整体环境光和局部环境光。
[0125]
表1是本发明方法、dcp方法和can方法在intel(r)core(tm)i7-1510u cpu @1.80ghz 16.00gb ram pc机上用matlab2021a软件对实际监测图像(图2：704
×
352，下同)的运算时间。由表中数据可以看出，相比于其他两种方法本发明方法运算时间最快。
[0126]
表1
[0127][0128]
图3、图4、图5是dcp方法、can方法以及本发明方法处理实际监测图像的结果，有结果可以看出，相比于其他两种方法，本发明方法不但去雾效果明显，而且有明显的亮度提升，如图6a、图6b、图6c的直方图数据可以得到验证，直方图的横坐标是亮度值范围，纵坐标是各个亮度值的像素个数。
[0129]
本发明还提供了低照度场景智慧公路监测快速去雾装置，包括监测图像预处理模块、模型构建与修正模块、去雾复原图像模块；
[0130]
所述监测图像预处理模块用于，以观测图像的亮度和颜色浓度在hsi颜色空间重新表达暗原色、依据像素亮度和颜色浓度校准暗原色、依据校准的暗原色，计算图像的透射率；
[0131]
所述模型构建与修正模块用于，构建光通量比例计算模型、引入光通量比例，修改大气散射成像模型、利用光通量比例，计算局部环境光；
[0132]
所述去雾复原图像模块用于，结合透射率和局部环境光，复原原始监测场景；
[0133]
所述以观测图像的亮度和颜色浓度在hsi颜色空间重新表达暗原色，具体包括：采用如下公式计算监测到的雾天图像的暗原色
[0134][0135]
其中和分别是暗原色的亮度和颜色浓度，和分别对应原始无雾像素xi暗原色的光强和颜色浓度，真实场景的暗原色为：为：
[0136]
所述依据像素亮度和颜色浓度校准暗原色、依据校准的暗原色，具体包括：采用如下公式计算雾天图像y在位置i的像素yi的亮度ii：
[0137][0138]
其中，分别表示雾天图像y在位置i的像素yi的红、绿、蓝通道强度值，定义i是像素yi的饱和度，计算如下：
[0139][0140]
其中min是求极小值的运算，将饱和度和亮度的乘积siii定义为像素yi的颜色浓度，用于构造暗原色补充项；
[0141]
采用如下公式计算校准后的暗原色
[0142][0143]
上式中，以暗原色像素的亮度和颜色浓度构造出暗原色补充项，用于对暗原色校准；∈i是像素yi的局部背景光通量比例， ti是像素yi的透射率；
[0144]
所述计算图像的透射率，具体包括：构造如下关于透射率的方程：
[0145][0146]
解得透射率为：
[0147][0148]
式中，中间参数中间参数σ是调整参数；
[0149]
所述构建光通量比例计算模型，具体包括：根据监测场景存在背光和面光两种区域，背光区域环境光强小，面光区域环境光强大，将监测场景局部区域环境光强的衰减方向定义为光通量方向，即光通量方向由面光区域指向背光区域，反应在图像上即为局部图像块的光强梯度方向，由于图像透射率与景深d存在：
[0150]
ti＝e-βd
[0151]
式中，β是衰减因子，得到方向角
[0152][0153]
式中，分别是原始场景图像中以像素xi为中心的卷积窗口ωi在水平和垂直方向上的光强变化，分别是监测图像中以像素yi为中心的卷积窗口ωi在水平和垂直方向上的光强变化；
[0154]
依据将卷积窗口ωi中所有像素分为面光和背光两类，面光像素占卷积窗口ωi中像素总数比例定义为光通量比例∈i：
[0155][0156]
式中，n是卷积窗口ωi中像素总数，max({sum(nk)})是面光像素个数；
[0157]
所述引入光通量比例，修改大气散射成像模型，具体包括：大气散射成像模型如下：
[0158]
yi＝tixi (1-ti)
·a[0159]
式中，ti是雾天像素yi的透射率，a是监测场景的整体环境光；yi是雾天图像y在位置i的像素值；
[0160]
采用如下公式修改大气散射成像模型：
[0161]
yi＝a
·
∈i·
tixi (1-ti)
·a[0162]
所述利用光通量比例，计算局部环境光，具体包括：在监测图像中，取图像透射率最小的一定比例的像素的均值得到环境光[ar,ag,ab]，则：
[0163][0164]
其中，ar,ag,ab分别是环境光的红、绿、蓝通道的灰度值；如果则像素的光通量比例确定为∈i＝1；
[0165]
所述结合透射率和局部环境光，复原原始监测场景，具体包括：在修改的大气散射成像模型中，引入透射率ti，光通量比例∈i，整体环境光强[ar,ag,ab]，复原原始监测场景：
[0166][0167]
式中，是无雾像素在颜色通道c中的强度，ac是环境光在颜色通道c中的强度，是雾天像素在颜色通道c中的强度，c∈{r,g,b}，r,g,b分别表示红、绿、蓝颜色通道的强度。
[0168]
所述装置在计算等参数时，采用并行计算的方法完成，具体摄像头不同监测角度的光通量比例存储、环境光位置存储。
[0169]
如上所述，根据本技术实施例的低照度场景智慧公路监测快速去雾装置，可以实现在各种终端设备中，例如分布式计算系统的服务器。在一个示例中，根据本技术实施例的低照度场景智慧公路监测快速去雾装置可以作为一个软件模块和/或硬件模块而集成到所述终端设备中。例如，该装置可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该装置同样可以是该终端设备的众多硬件模块之一。
[0170]
替换地，在另一示例中，该装置与终端设备也可以是分立的终端设备，并且该装置可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
[0171]
本技术还提供一种电子设备10，包括：
[0172]
一个或多个处理器11和存储器12，处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备 10中的其他组件以执行期望的功能。
[0173]
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本技术的各个实施例的低照度场景智慧公路监测快速去雾方法以及/ 或者其他期望的功能。
[0174]
在一个示例中，电子设备10还可以包括输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构互连。
[0175]
例如，该输入装置13可以是键盘、鼠标等。
[0176]
该输出装置14可以向外部输出各种信息，包括低照度场景智慧公路监测快速去雾的结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等。
[0177]
根据本技术的另一方面，还提供一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令被计算装置执行时，可操作来执行如上所述的低照度场景智慧公路监测快速去雾。
[0178]
本发明提供了低照度场景智慧公路监测快速去雾方法、装置和电子设备，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。