低照度图像增强方法、系统、设备和存储介质

摘要: 本发明涉及图像处理,具体涉及一种低照度图像增强方法、系统、设备和存储介质。背景技术:1、图像作为信息呈现和传递的主要载体,在诸多领域发挥着至关重要的作用。由于采...
低照度图像增强方法、系统、设备和存储介质

本发明涉及图像处理,具体涉及一种低照度图像增强方法、系统、设备和存储介质。

背景技术:

1、图像作为信息呈现和传递的主要载体,在诸多领域发挥着至关重要的作用。由于采集环境和设备的限制,许多真实世界的图像往往具有低可见度和严重的噪声,这使得它们不仅无法满足人们对欣赏和识别的需求,而且对于高层视觉任务来说,提取有效的鉴别性特征也是困难的。自电子成像问世以来,低照度图像增强( llie )引起了工业界和学术界的广泛关注。特别是近年来,随着人工智能的发展,llie成为研究热点,提出了众多算法。根据发展阶段和技术特点,这些算法大致可以分为早期以灰度非线性映射和基于retinex理论的光照归一化为代表的传统方法,以及近期以有监督和无监督神经网络优化为代表的深度学习方法。

2、灰度非线性映射方法旨在通过建立像素值的非线性变换来增强低照度图像。从全局到局部以及自适应的非线性映射方法,在计算机视觉和模式识别等领域引起了广泛的关注。基于retinex理论的光照归一化方法主要致力于开发各种图像分解策略和特征约束机制,以准确地从低照度图像中分离出光照分量和反射分量。除了这两种具有代表性的传统方法外,最近还出现了一些独特的方法,例如基于相机响应模型的技术和基于大气散射模型的技术。这些传统方法在取得显著增强效果的同时,也面临着先验知识有限、性能受限等挑战。

3、深度学习方法涉及使用深度神经网络进行llie,以特定的学习策略和约束机制为指导。有监督的深度学习方法包括成对的和非成对的监督方法。成对方法侧重于利用成对样本直接学习低照度图像和正常光照图像之间的映射。相比之下,非成对方法采用了比全监督方法更弱的监督,但通过非成对的低光照和正常光照图像利用了比非监督方法更丰富的跨域线索。虽然这些方法取得了令人印象深刻的结果,但它们也遇到了诸如配对样本不足、过拟合和有限的泛化能力等挑战,这阻碍了它们在不受控制的实际应用场景中的有效性。基于retinex理论的无监督深度学习方法摒弃了有监督方法的学习机制,主要依靠自衍生信息进行图像分解和光照调整。这些方法能够克服有监督方法的不足,取得了显著的进展,但其性能仍需进一步提升。

4、不管是传统方法还是深度学习方法,大部分都依赖于基于retinex理论的图像分解。他们通常先利用照明的低频和高强度特征来估计照明分量,然后再求解反射分量。在理想情况下,该过程得到的反射率分量实质上代表了一种基于局部反射率最大值的局部归一化结果,具有放大原始反射率对比度的潜力。这可能会导致估计的反射率与原始反射率之间的对比度不匹配,这可能会降低后续弱光增强的性能。而且,光照估计越精确,这种偏差越严重。然而,现有的方法没有明确地建模或直接减轻基于retinex分解引起的反射率对比度放大问题。此外,许多先前的算法主要关注于精确分解光照和反射分量,而往往忽略了有效的光照调整的重要性。他们通常经验地确定一个固定的伽马校正因子,并在不同的图像中统一应用这种校正。这导致了次优的性能,缺乏对现实场景的实用性和适应性。此外,低照度图像往往包含不同数量的噪声,这使得增强过程进一步复杂化,对现有方法提出了不同程度的挑战。

技术实现思路

1、本发明针对现有技术中的不足,提供一种低照度图像增强方法、系统、设备和存储介质,旨在解决现有技术对低照度噪声高度敏感、可能放大原始反射率的对比度、光照调整针对性不足的问题。

2、为实现上述目的,本发明采用以下技术方案:

3、一种低照度图像增强方法,包括以下步骤:

4、构建用于图像平滑的s-net网络、用于估计照度分量的i-net网络和用于估计反射分量的r-net网络;

5、训练s-net网络、i-net网络和r-net网络;

6、利用训练好的s-net网络对原始低照度图像进行图像平滑处理;

7、将平滑后的低照度图像输入训练好的i-net网络,估计照度分量;

8、将平滑后的低照度图像输入训练好的r-net网络,估计反射分量;

9、基于伽马校正并结合全局和局部对比度约束,对照度分量进行自适应重光照,将校正后的照度分量与反射分量融合,得到最终增强图像。

10、为优化上述技术方案,采取的具体措施还包括:

11、进一步地,所述s-net网络由七个卷积层组成,前6层采用relu激活函数,最后一层采用sigmoid激活函数。

12、进一步地,所述i-net网络和所述r-net网络均包括第一卷积层、relu激活函数、残差学习模块、第二卷积层和sigmoid激活函数。

13、进一步地,所述s-net网络的训练过程如下:

14、将原始低照度图像输入s-net网络,估计原始低照度图像的平滑图像;

15、对原始低照度图像进行伽马校正,将原始低照度图像的伽马校正扩展版本输入s-net网络,估计伽马校正扩展版本的平滑图像;

16、s-net网络在结构保持平滑损失ls的指导下进行优化,结构保持平滑损失为结构相似性损失lss、块相似性损失lps和平滑度量损失的线性组合,表达式如下:

17、

18、

19、

20、

21、式中,表示原始低照度图像和原始低照度图像的平滑图像之间的结构保持平滑损失,表示伽马校正扩展版本和伽马校正扩展版本的平滑图像之间的结构保持平滑损失,、和均为平衡系数,表示结构相似性指数,是深度感知块相似性,表示s-net网络的输入,表示s-net网络的输出,当

i=

o时,对应原始低照度图像,表示原始低照度图像的平滑图像;当

i=

c时,指的是原始低照度图像的伽马校正扩展版本,表示伽马校正扩展版本的平滑图像;表示梯度算子。

22、进一步地,所述i-net网络和所述r-net网络的训练过程如下:

23、对平滑后的图像进行自监督图像分解,包括:原始低照度图像的平滑图像so输入i-net网络估计原始低照度图像的照度分量io,伽马校正扩展版本的平滑图像sc输入i-net网络估计伽马校正扩展版本的照度分量ic;

24、原始低照度图像的平滑图像so输入r-net网络估计原始低照度图像的反射分量ro,伽马校正扩展版本的平滑图像sc输入r-net网络估计伽马校正扩展版本的反射分量rc;

25、i-net网络和r-net网络通过自监督损失优化网络参数;

26、自监督损失包括光照自约束损失、反射率估计约束损失、光照互约束损失和反射率互约束损失;

27、训练s-net网络、i-net网络和r-net网络的整体损失函数如下:

28、

29、式中,是训练s-net网络、i-net网络和r-net网络的整体损失函数,和是在图像平滑和图像分解之间权衡的参数。

30、进一步地,所述对照度分量进行自适应重光照,将校正后的照度分量与反射分量融合具体为:

31、动态确定自适应伽马校正因子,利用自适应伽马校正因子对照度分量进行调整和增强;自适应伽马校正因子通过迭代优化照度分量的全局和局部对比度约束得到,确定自适应伽马校正因子的表达式如下:

32、

33、

34、式中,为平衡参数,为自适应伽马校正因子,为定义在局部区域

ω上的局部对比度函数,为全局对比度函数,io为原始低照度图像的照度分量;

35、校正后的照度分量:

36、

37、再将校正后的照度分量与反射分量ro相乘,得到最终增强图像:

38、

39、式中,表示元素乘法。

40、进一步地,所述光照自约束损失lg表达式如下:

41、

42、

43、式中,表示s-net网络的输入,表示i-net网络的输出,当

i=

o时,是原始低照度图像的照度分量,当

i=

c时,是伽马校正扩展版本的照度分量,表示r-net网络的输出,当

i=

o时,是原始低照度图像的反射分量,当

i=

c时,是伽马校正扩展版本的反射分量;是的第k个通道,表示像素的8邻域,表示的初始光照估计,是属于像素的8邻域中的一个像素;

44、反射率估计约束损失ld表达式如下:

45、

46、式中,表示逐元素划分,表示元素乘法;

47、光照互约束损失li表达式如下:

48、

49、式中,是修正因子;

50、反射率互约束损失lr表达式如下:

51、

52、式中,表示原始低照度图像的反射分量和伽马校正扩展版本的反射分量之间的反射率互约束损失。

53、本发明还提出一种低照度图像增强系统,包括:

54、结构保持图像平滑模块,用于对原始低照度图像进行图像平滑处理;

55、自监督图像分解模块,用于对平滑后的图像进行自监督图像分解,估计照度分量和反射分量;

56、自适应重光照模块,用于基于伽马校正并结合全局和局部对比度约束,对照度分量进行自适应重光照,将校正后的照度分量与反射分量融合,得到最终增强图像。

57、本发明还提出一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行计算机程序时,实现如上所述的低照度图像增强方法。

58、本发明还提出一种计算机可读存储介质,存储有计算机程序,所述计算机程序使计算机执行如上所述的低照度图像增强方法。

59、本发明的有益效果是:

60、首先,利用图像质量评价指标,本发明构建了一个结构保持的图像平滑模型,以减少噪声的同时保留更多的细节,对原始图像的结构进行了保护,这对于增强低照度图像至关重要。接下来,利用残差学习模块,结合基于伽马校正的图像扩展和相互约束机制,本发明开发了一种自监督图像分解模型来抑制原始反射率对比度的放大。最后,基于伽马校正并结合全局和局部对比度约束,设计了一种自适应光照重光照优化方案,以增强光照调整的针对性和有效性。在多个真实世界基准数据集上的大量实验表明,本发明的方法在定量指标和定性分析方面都取得了显著的优势,优于大多数无监督方法,并且与有监督方法仍然具有很强的竞争力。