低光图像增强方法、系统、终端以及存储介质

1.本发明涉及一种低光图像增强方法、系统、终端以及存储介质。


背景技术：

2.对室内外低光场景图像进行增强可以改善图像的视觉效果，例如众多计算机视觉场景：如城市智慧管理、智能视频监控、人脸识别系统等，都对图像中有效特征的高精度检测有着较高要求。但是，在低光场景下，由于自然环境下的光照率低和大气中悬浮的微小形态的溶胶颗粒、尘埃等散射现象的普遍存在，导致捕获到的图像存在严重的降质问题，如高噪声、低可视性、偏色等。这些问题极大地限制了计算机视觉任务的应用和落地。
3.现有的图像增强技术主要包含三类：传统增强方法、深度学习方法和基于retinex模型理论方法。
4.传统增强方法旨在通过映射直方图的方式对动态范围(对比度)进行调整，以实现目标图像的视觉增强。尽管该类方法操作简单且计算代价低，但其强调的是对比度的增强，而不是对真实光照的调整。因而，该类方法难以照顾到接近饱和的相对明亮区域像素或强度极低的相对较暗区域像素，从而无法较好的解决图像增强过程中的不适定问题。
5.相较前者，深度学习类方法则通过使用大量训练样本在增强图像方面取得了很大进展，其能够利用大数据样本以及映射约束在一定程度上解决增强过程中问题的不适定。然而，该类方法依赖于复杂的网络结构和大量的训练数据，从而导致存在训练过程耗时且依赖硬件资源的问题。除此以外，由于样本获取困难，当测试图像与训练图像存在显著不同时，深度学习类方法在不适定问题上求解的效果会因为泛化能力的减弱从而导致精度的下降。
6.不同于前两类方法，基于retinex模型理论的基础是：物体的颜色是由物体对长波(红色)、中波(绿色)、短波(蓝色)光线的反射能力来决定的，而不是由反射光强度的绝对值来决定的，物体的色彩不受光照非均匀性的影响，具有一致性，即retinex是以色感一致性(颜色恒常性)为基础的。不同于传统的线性、非线性的只能增强图像某一类特征的方法，retinex可以在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡，因此可以对各种不同类型的图像进行自适应的增强。该类方法估计的光照分量是以假设实际场景中光照的分布是缓慢平滑的，其大部分通过对原始图像进行高斯滤波的方式来获得。该类方法虽然一定程度上能提升亮度的可视性，但不合理的假设造成模型估计的光照分量并不准确，且忽略了反射分量和噪声分量的假设分布，从而导致输出结果存在视觉上的伪影或放大的噪声，最终使得增强结果存在较差的可视性和较低的信噪比。
7.因而，如何使用更加科学合理的数学模型来构建人眼视觉成像过程并应用到低光图像增强任务中，使得精细处理后的图像能够获得清晰视图的同时兼顾符合高精度视觉算法对高信噪比输入的需求，俨然成为学术界研究热点和工业界的刚性需求。


技术实现要素：

8.有鉴于此，有必要提供一种低光图像增强方法，以通过变分法迭代实现高可视性和高信噪比的低光图像增强。
9.本发明提供一种低光图像增强方法，该方法包括如下步骤：a.根据传统retinex视觉成像模型，建立新视觉成像模型；b.根据建立的新视觉成像模型，估计光照分量的初始值；c.在新视觉成像模型下，结合估计的光照分量的初始值和反射分量在实际成像中的分布特性，提出变分框架下的优化目标函数；d.采用变分寻优法对提出的优化目标函数进行求解，分解得到优化后的光照分量和反射分量；e.利用非线性gamma函数对优化目标函数分解得到的光照分量进行动态范围调整；根据新视觉成像模型将优化后的反射分量映射回调整动态范围的光照分量，从而使得低光图像达到高可视性和高信噪比的增强效果。
10.优选地，所述的步骤a中：
11.所述新视觉成像模型为：
[0012][0013]
其中，p为相机捕获图像，r为反射分量，l为光照分量，为基于像素的点乘运算符，n为噪声分量。
[0014]
优选地，所述的步骤b包括：
[0015]
在相机捕获图像p的三通道中，选取通道之间像素的最大值作为光照分量的初始值，即在每个像素x上光照分量的初始值为：l
ini
(x)＝maxc∈{r,g,b}p(x)。
[0016]
优选地，所述的步骤c包括：
[0017]
s3.1，光照分量l在整幅图像中满足空间的分段平滑性；
[0018]
s3.2，光照分量l在整幅图像内的强度值大于等于捕获图像的强度值，即l≥p；
[0019]
s3.3，反射分量r在整幅图像中满足空间的分段常数，并在低亮度处包含噪声；
[0020]
s3.4，反射分量r的细节与捕获图像中的细节具有一致性；
[0021]
s3.5，通过实验可以观察到的是：低光环境下，反射分量与光照分量的乘积接近于捕获图像，用于两者的数值相近性构建对应的数据保真项；
[0022]
通过以上先验假设，提出优化目标函数：
[0023][0024]
其中，λ
p
、λr、λ
l
为用于平衡不同正则项的正的权重因子；为数据保真项，用于保证重组后的结果接近于捕获图像p；为梯度保真项，用于保持分离出的反射分量r在细节上与捕获图像p的保持一致；用于强制反射分量保持空间各向异性平滑，其中异性平滑，其中作用于r使其在非同质区域保留重要结构的同时在同质区域压缩噪声以提高信噪比；用于强制光照分量l稀疏并分段平滑。
[0025]
优选地，所述的步骤d包括：
[0026]
首先引入两个辅助变量和然后将提出的优化目标函数转为如下条件限制的优化形式：
[0027][0028][0029]
上式的增广拉格朗日函数自然地写为：
[0030][0031]
其中，ξ和η是拉格朗日乘子，β
l
和βr是预定义的正的参数，将la分离为对应于x和y、l和r的子问题并交替求解，用于接下来的子问题收敛到一个全局最优解；
[0032]
(x,y)子问题：从la中分别收集x和y相关项，并通过如下形式获得关于x和y的最小化问题：
[0033][0034][0035]
其对应的解为：
[0036][0037][0038]
其中，sgn表示符号函数；
[0039]
(l,r)子问题：固定以上的x和y结果，从la中分别收集l和r相关项，并通过如下形式获得关于l和r的最小化问题：
[0040][0041][0042]
其对应的解：
[0043][0044][0045]
其中，i表示单位矩阵，f(
·
),f-1
(
·
)和分别表示fft运算符号，逆fft运算符和复共轭运算符；
[0046]
(ξ,η)更新：每次迭代过程中，拉格朗日乘子ξ和η使用步长为(ξ,η)更新：每次迭代过程中，拉格朗日乘子ξ和η使用步长为分别通过和来更新；
[0047]
基于上述运算，x和y、l和r在迭代中获得最优解并获得优化后的光照分量和低噪且锐化的反射分量。
[0048]
优选地，所述的步骤e包括：
[0049]
将步骤d分解出的光照分量和反射分量分别记为la和ra，利用gamma＝1/2.2对光照分量的动态范围进行非线性调整以获得光照分量在亮度上的增强，并将调整后的结果记为l
′a；
[0050]
将步骤d分解出的低噪且锐化的反射分量ra映射回调整动态范围的光照分量l
′a上
以获得增强后的输出
[0051]
本发明还提供一种低光图像增强系统，包括：模型建立模块：用于根据传统retinex视觉成像模型，建立新视觉成像模型；初始值估计模块：用于根据建立的新视觉成像模型，估计光照分量的初始值；函数提出模块：用于在新视觉成像模型下，结合估计的光照分量的初始值和反射分量在实际成像中的分布特性，提出变分框架下的优化目标函数；函数求解模块，用于采用变分寻优法对提出的优化目标函数进行求解，分解得到优化后的光照分量和反射分量；动态调整模块，用于利用非线性gamma函数对优化目标函数分解得到的光照分量进行动态范围调整；根据新视觉成像模型，将优化后的反射分量映射回调整动态范围的光照分量，从而使得低光图像达到高可视性和高信噪比的增强效果。
[0052]
本发明还提供一种终端，所述终端包括处理器、与所述处理器耦接的存储器，其中：所述存储器存储有用于实现所述的低光图像增强方法的程序指令；所述处理器用于执行所述存储器存储的所述程序指令以实现低光图像增强。
[0053]
本发明还提供一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行所述低光图像增强方法。
[0054]
本技术通过引入传统retinex模型忽略的噪声叠加模型来分析低信噪比增强的原因，并对光照分量和反射分量进行合理性假设以提出变分框架下新的优化目标函数。然后，采用迭代寻优和快速傅里叶的方式对提出的优化目标函数实现求解和加速。最后，结合优化后的光照分量和低噪反射分量，最终生成兼具高可视性和高信噪比的低光增强图像。此外，本技术可以推广到处理一系列类似的问题，例如水下或遥感的图像增强，以及在朦胧或多尘等条件下的图像恢复等。
[0055]
本技术的有益效果包括：
[0056]
其一，首次基于新形式下的视觉成像模型对低光成像过程进行建模。在变分框架下构造能够分解耦合的反射分量和光照分量的优化目标函数；
[0057]
其二，构造的目标函数不仅能够分离出分段平滑的光照分量，同时能够保证反射分量锐度的情况下压缩噪声，进而提高信噪比；
[0058]
其三，本技术利用快速求解方法且在高性能平台上能够实现实时处理的效果，适宜嵌入到嵌入式开发平台的低光图像增强处理中，存在十分广泛的应用前景。
附图说明
[0059]
图1为本发明低光图像增强方法的流程图；
[0060]
图2为本发明实施例提供的低光图像增强过程示意图：其中，(a)低光图像；(b)初始光照图；(c)优化分解出的光照图；(d)调整亮度后的光照图；(e)优化分解出的反射分量；(f)增强后的效果图；
[0061]
图3为本发明实施例提供的lime数据集上不同低光图像增强方法的结果对比示意图；
[0062]
图4为本发明实施例提供的lol数据集上不同低光图像增强方法的结果对比示意图；
[0063]
图5为本技术实施例的低光图像增强系统的结构示意图；
[0064]
图6为本技术实施例的终端结构示意图；
[0065]
图7为本技术实施例的存储介质的结构示意图。
具体实施方式
[0066]
下面结合附图及具体实施例对本发明作进一步详细的说明。
[0067]
参阅图1所示，是本发明低光图像增强方法较佳实施例的作业流程图。
[0068]
步骤s1，根据传统retinex视觉成像模型，建立新视觉成像模型。
[0069]
具体而言：
[0070]
传统retinex视觉成像模型为：
[0071][0072]
其中，p为相机捕获图像，r为反射分量，l为光照分量，ο为基于像素的点乘运算符。该模型并不能充分表达实际噪声场景下的成像过程，因而，本技术将传统retinex视觉成像模型调整为如下的新形式：
[0073][0074]
其中，n是噪声分量。新形式下的视觉成像模型(也即新视觉成像模型)在物理意义上可以很直观的解释为：低光环境下，附着在反射分量中的噪声是最终增强结果中信噪比低的原因。因而，如何构建一个新的优化目标使得分离出的反射分量在细节上保持与输入图像的最大一致性的同时并压缩噪声成为关键。
[0075]
步骤s2，根据建立的新视觉成像模型，估计光照分量的初始值。也即：将相机捕获图像中三通道之间像素的最大值作为估计的光照分量的初始值。具体而言：
[0076]
在上述相机捕获图像p的三通道中，选取通道之间像素的最大值作为光照分量的初始值，即在每个像素x上光照分量的初始值为：l
ini
(x)＝maxc∈{r,g,b}p(x)。
[0077]
步骤s3，模型分量的先验假设及优化目标函数的设计。也即：在新视觉成像模型下，结合估计的光照分量的初始值和反射分量在实际成像中的分布特性，提出变分框架下的优化目标函数。所述优化目标函数能够分离出具有分段平滑的光照分量和具有分段常数且噪声压缩的反射分量。具体而言：
[0078]
本实施例依照本发明提出的新视觉成像模型，对光照分量和反射分量分别做出如下的先验假设以及约束：
[0079]
s3.1，光照分量l在整幅图像中满足空间的分段平滑性；
[0080]
s3.2，光照分量l在整幅图像内的强度值大于等于捕获图像的强度值，即l≥p；
[0081]
s3.3，反射分量r在整幅图像中满足空间的分段常数，并在低亮度处包含噪声；
[0082]
s3.4，反射分量r的细节与捕获图像中的细节具有一致性；
[0083]
s3.5，通过实验可以观察到的是：低光环境下，反射分量与光照分量的乘积接近于捕获图像，用于两者的数值相近性(可近似理解为：来构建对应的数据保真项；
[0084]
通过以上先验假设，提出如下的优化目标函数：
[0085][0086]
其中，λ
p
、λr、λ
l
为用于平衡不同正则项的正的权重因子，其分别经验性设定为0.001、0.001、0.01；为数据保真项，用于保证重组后的结果接近于捕获图像
p；为梯度保真项，用于保持分离出的反射分量r在细节上与捕获图像p的保持一致；用于强制反射分量保持空间各向异性平滑，其中作用于r使其在非同质区域保留重要结构的同时在同质区域压缩噪声以提高信噪比，此处τ＝10-5
防止分母为0；用于强制光照分量l稀疏并分段平滑，其中具有控制参数γ的权重能区分保持深度不连续性边缘特征和平滑同质区域的纹理，其中b为捕获图像的亮通道，即b＝l
ini
；为一阶差分，其包含垂直方向和水平方向
[0087]
通过一系列的先验约束条件，对低光环境下的人眼视觉模型进行处理后，在变分框架下构建出针对光照分量和低噪且锐化的反射分量的优化目标函数，这一过程在本实施例中的意义在于有效地将原始病态的求解问题转化为可解的适定问题。
[0088]
步骤s4，优化目标函数的求解：采用变分寻优法对提出的优化目标函数进行求解，分解得到优化后的光照分量和反射分量。具体而言：
[0089]
经过定性分析，在数据保真项和约束项之间权衡下，得出如下结论，即：
[0090]
光照分量l的估计应该呈现如下几个性质：a)具有分段光滑的特性，且在空间场景中的细节信息上保持突变边缘的深度不连续性；b)其在亮度上具有比捕获图像具有更高的强度值。
[0091]
而反射分量r的估计应该呈现如下几个性质：a)具有分段常数的特性，且在空间场景中也保持对突变边缘的深度连续性；b)其包含的大量噪声应该被压缩，从而提高信噪比；c)其在细节表现上应该与捕获图像保持一致性，从而可以加强增强后结果的锐化效果。
[0092]
基于此结论，使用多种快速求解算法来求解本技术提出的优化目标函数。本实施例采用了一种基于快速傅里叶变换求解光照分量和反射分量的估计方法，也可采用qr快速分解、低秩空间转换等其他求解方案来实现。因而，只要是最终有变分寻优法构建出的优化目标函数的求解方法，都在本技术的保护范围内。
[0093]
考虑到提出的优化目标函数中l1范数的非平滑性惩罚，造成计算上的困难。因此，本实施例提出使用交替方向最小化技术来求解提出的优化目标函数。此处，首先引入两个辅助变量和然后将提出的优化目标函数转为如下条件限制的优化形式：
[0094][0095][0096]
上式的增广拉格朗日函数可以自然地写为：
[0097][0098]
其中，ξ和η是拉格朗日乘子，β
l
和βr是预定义的正的参数(两者经验性设定为1)。接下来，将la分离为对应于x和y、l和r的子问题并交替求解，用于接下来的子问题收敛到一个全局最优解。
[0099]
(x,y)子问题：从la中分别收集x和y相关项，并通过如下形式获得关于x和y的最小化问题：
[0100]
[0101][0102]
其对应的解为：
[0103][0104][0105]
其中，sgn表示符号函数。
[0106]
(l,r)子问题：固定以上的x和y结果，从la中分别收集l和r相关项，并通过如下形式获得关于l和r的最小化问题：
[0107][0108][0109]
其对应的解：
[0110][0111][0112]
其中，i表示单位矩阵，f(
·
),f-1
(
·
)和分别表示fft运算符号，逆fft运算符和复共轭运算符。
[0113]
(ξ,η)更新：每次迭代过程中，拉格朗日乘子ξ和η可以使用步长为分别通过和来更新。
[0114]
基于上述运算，x和y、l和r在迭代中获得最优解并获得优化后的光照分量和低噪且锐化的反射分量。
[0115]
步骤s5，高可视性和高信噪比图像的输出，也即：利用非线性gamma函数对优化目标函数分解得到的光照分量进行动态范围调整；根据新视觉成像模型，将优化后的反射分量映射回调整动态范围的光照分量，从而使得低光图像达到高可视性和高信噪比的增强效果。具体而言：
[0116]
s5.1，根据步骤s4分解出的光照分量和反射分量分别记为la和ra，分别如图2(c)和图2(e)所示。然后，利用gamma＝1/2.2对光照分量的动态范围进行非线性调整以获得光照分量在亮度上的增强，并将调整后的结果记为l
′a,如图2(d)所示；
[0117]
s5.2，将步骤s4分解出的低噪且锐化的反射分量ra映射回调整动态范围的光照分量l
′a上以获得增强后的输出如图2(f)所示。从增强效果来看，噪声得到很大程度压缩，并获得令人愉悦的可视性表现。
[0118]
参阅图5所示，是本发明低光图像增强系统10的硬件架构图。该系统包括：模型建立模块101、初始值估计模块102、函数提出模块103、函数求解模块104以及动态调整模块105。其中：
[0119]
所述模型建立模块101用于根据传统retinex视觉成像模型，建立新视觉成像模型；
[0120]
所述初始值估计模块102用于根据建立的新视觉成像模型，估计光照分量的初始值；
[0121]
所述函数提出模块103用于在新视觉成像模型下，结合估计的光照分量的初始值和反射分量在实际成像中的分布特性，提出变分框架下的优化目标函数。
[0122]
其中，所述优化目标函数能够分离出具有分段平滑的光照分量和具有分段常数且噪声压缩的反射分量。
[0123]
所述函数求解模块104用于采用变分寻优法对提出的优化目标函数进行求解，分解得到优化后的光照分量和反射分量；
[0124]
所述动态调整模块105用于利用非线性gamma函数对优化目标函数分解得到的光照分量进行动态范围调整；根据新视觉成像模型，将优化后的反射分量映射回调整动态范围的光照分量，从而使得低光图像达到高可视性和高信噪比的增强效果。
[0125]
请参阅图6，为本技术实施例的终端结构示意图。该终端50包括处理器51、与处理器51耦接的存储器52。
[0126]
存储器52存储有用于实现上述低光图像增强方法的程序指令。
[0127]
处理器51用于执行存储器52存储的程序指令以实现低光图像增强。
[0128]
其中，处理器51还可以称为cpu(central processing unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0129]
请参阅图7，为本技术实施例的存储介质的结构示意图。本技术实施例的存储介质存储有能够实现上述所有方法的程序文件61，其中，该程序文件61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
[0130]
本技术通过新视觉成像模型分析和实际光照分量及反射分量的分布特性假设，提出变分框架下的优化目标函数。最终，通过交替方向最小化和快速傅里叶变换方法实现了优化目标函数的求解，生成了高可视性和高信噪比的低光图像增强结果(如表i)。由于srie算法和lime算法在模型的假设中存在对分量的不合理性假设，在局部区域分别会出现伪影和过曝等问题(如图3(c)和图3(d)所示)，从而导致两类算法的增强结果会出现不理想的视觉效果和低信噪比的问题，如图4(d)和图4(e)所示。相较而言，本技术在合理的视觉成像模型基础上对光照模型和反射模型的实际分布做出合理性假设，并分别对分量中的细节和噪声进行了增强和抑制操作，从而实现了能在亮度、对比度、细节锐度上获得令人愉悦的视觉表现，同时能够在压缩噪声基础上实现较高的信噪比。
[0131]
表i.不同增强方法对来自lol数据集的500个图像对(低光图像和参考图像)的平
均ssim和psnr结果
[0132][0133]
虽然本发明参照当前的较佳实施方式进行了描述，但本领域的技术人员应能理解，上述较佳实施方式仅用来说明本发明，并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、改进等，均应包含在本发明的权利保护范围之内。