低光图像增强方法及系统与流程

1.本发明涉及图像处理技术领域，具体涉及一种基于深度学习并依据 retinex理论融入残差机制的低光图像增强方法及系统。


背景技术：

2.计算机视觉是近年发展较快的研究领域，图像数据的丰富和便携设备的高计算能力，使得计算机视觉应用已经融入到我们的日常生活中。一些视觉应用如夜间场景监控中受光线、视角等影响，获得的图像质量较差；又如夜间广场这种人员密集，灯光环境复杂，不同的建筑、植物、机车等多事物融合的场景，在这种复杂光照环境中获取的图像，由于光照强度不均或者曝光不足、设备自身问题等原因，导致采集到的图像对比度较低且噪声严重，从而影响图像后续的识别和分析。
3.低光图像增强方法的研究，具有重要的理论和应用价值。增强后的图像能够在视觉上带来更好的体验，从图像中获取到清晰的内容，更好为应用 (如全天自动驾驶、目标识别、目标检测等)提供高质量输入，使其更好的服务人们日常的生活、生产。
4.对低光图像增强最直观的方法就是放大照射图，这会使得较为明亮的区域产生过饱和的问题，并且会丢失细节信息。r.e.woods等人提出了使用基于直方图均衡化方法对图像进行增强，该方法是给出一个灰度值的映射函数，把原始图像的直方图分布改成均匀分布的直方图，这种变换可使得图像信息量较大的灰度区域得到放大，达到对比度增强的目的。这种方法旨在扩展观测图像的动态范围，可以在一定程度上缓解直接放大照射图产生的问题。然而，这种增强方法的目的是增强对比度而不是调整照明，因此可能会产生增强过度或增强不足的问题。
5.artur等人提出了一种基于小波系数局部统计的低光图像对比度自动增强方法。使用了一种基于小波系数局部分布的非线性增强函数，该函数被建模为cauchy分布来扩展亮度/对比度，并使用收缩函数来防止噪声放大。但这种方法的降噪效果并不明显。
6.傅雪阳等人提出了一个加权变分模型来估计从观察到的图像的反射率和照度。与传统的变分模型不同，该模型可以保留更多细节的估计反射率。虽然这种方法取得了比较理想的效果，但在图片中亮度较低的区域，总是会出现噪声干扰。
7.lore等人提出了一种基于深度自动编码器的方法来识别低光图像中的信号特征，并在不过度放大高动态范围图像中较亮部分的情况下，对图像进行自适应增强。在监视、监视和战术侦察中，从动态环境中收集可视信息并对这些数据进行精确处理是做出明智决策和确保任务成功的关键。虽然这种方法可以自适应的增强，但最后得到的结果并不自然，缺乏真实性。
8.chen wei等人提出了一种使用低/正常光图像对训练神经网络模型的方法，包括用于图像分解的decom-net和用于图像增强的enhance-net。在 decom-net的训练过程中，分解的反射图和照射图没有对应的ground truth。该网络只需要学习关键的约束条件，其中包括成对的低/正常光图像共享的一致反射率以及照度平滑。随后通过enhance-net的增
强网络对照射图进行后续亮度增强。虽然这种模型训练较为简单，但由于平滑处理过多，导致最后增强的结果真实性较差。


技术实现要素：

9.本发明的目的在于提供一种在图像处理阶段提取更多的图像特征，使增强后的图片更具真实性的低光图像增强方法及系统，以解决上述背景技术中存在的至少一项技术问题。
10.为了实现上述目的，本发明采取了如下技术方案：
11.一方面，本发明提供一种低光图像增强方法，包括：
12.获取待增强的低光图像；
13.利用预先训练好的分解模型，对获取的低光图像进行处理，提取低光图像的特征，将低光图像分解成照射图和反射图；
14.利用预先训练好的增强模型，通过残差块对照射图进行增强，将增强后的照射图与反射图进行拼接，得到最后的增强图像。
15.优选的，训练分解模型包括：将筛选好的低光/正常光图像对数据集输入到分解网络decom-rnet，对分解网络进行训练；计算decom-rnet的损失，不断更新迭代，得到所述训练好的分解模型。
16.优选的，训练增强模型包括：将分解网络decom-rnet分解的结果输入到增强网络enhance-rnet进行增强；计算enhance-rnet的损失，不断更新迭代，得到训练好的增强模型。
17.优选的，使用residual-attention机制和卷积层共同进行特征提取，对提取的图像特征进行优化，得到照射图和反射图。
18.优选的，将图像对输入到residual-attention层进行图像特征提取，使用卷积层对提取到的特征进行整合，再次利用residual-attention机制对提取的特征进行细化，使用relu激活，最后使用一个卷积层将反射分量和照射分量从特征空间映射出来。
19.优选的，训练分解模型的损失函数包括重构损失、自检损失和平滑损失。
20.优选的，在增强模型中，加入了l2正则项，采用对全变分最小化进行加权的方式进行平滑处理。
21.第二方面，本发明提供一种低光图像增强系统，包括：
22.获取模块，用于获取待增强的低光图像；
23.分解模块，用于利用预先训练好的分解模型，对获取的低光图像进行处理，提取低光图像的特征，将低光图像分解成照射图和反射图；
24.增强模块，用于利用预先训练好的增强模型，通过残差块对照射图进行增强，将增强后的照射图与反射图进行拼接，得到最后的增强图像。
25.第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的低光图像增强方法。
26.第四方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器
执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的低光图像增强方法的指令。
27.本发明有益效果：在图像处理阶段提取了更多的图像特征，基于残差学习增强，将昏暗、可见性差的图片调整成亮度合适图片，同时，保证了增强处理后的图片的真实性。
28.本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
29.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1为本发明实施例所述的训练分解模型和增强模型的流程图。
31.图2为发明实施例所述的基于残差学习的低光图像增强方法流程图。
32.图3为本发明实施例所述的测试结果对比图。
具体实施方式
33.下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
34.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语 (包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
35.还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
36.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
37.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
38.为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
39.本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
40.实施例1
41.本实施例1提供一种基于残差机制的低光图像增强的方法。该方法使用深度学习的技术，依据retinex理论，融入残差机制实现低光图像增强。首先，将低光图像输入到分解网络，将低光图像分解成照射图和反射图，然后输入到增强网络，得到最后的增强结果。在分解阶段，使用residual-attention机制，增强对低光图像的特征提取，从而得到更好的分解结果。在增强阶段，借鉴residual-learning的方法，通过残差块对分解的结果进行增强。最后，将增强的结果与反射图进行拼接，得到最后增强的结果。
42.本实施例1的基于残差学习的低光图像增强方法，利用residual-attention 机制，在分解网络将低光图像分解成照射图和反射图，输入到增强网络中。利用residual-learning机制，将分解网络得到的结果输入到增强网络进行图像增强。
43.如图1所示，本实施例1中，训练分解网络和增强网络包含如下步骤：
44.s1、筛选用于训练我们模型的图像对数据集，lol-dataset、sid-dataset、 deep-upe dataset。
45.s2、将已经筛选好的低光/正常光图像对数据集输入到分解网络decom
‑ꢀ
rnet，对分解网络进行训练。
46.s3、根据s2的结果计算decom-rnet的损失，更新分解网络
47.s4、将分解网络decom-rnet分解的结果输入到增强网络enhance-rnet进行增强。
48.s5、根据s4的结果计算enhance-rnet的损失，更新增强网络
49.s6、重复s2-s5更新方式，不断更新迭代神经网络，最后得到训练模型
50.本实施例1中，s1中将低光/正常光图像对，作为训练数据集，一同输入到分解网络进行训练。由于从单一的低光图像中无法获取更多的图像特征，将低光/正常光图像对同时输入到分解网络，多场景的学习有利于提取到更多的图像特征，增强模型的泛化能力。
51.s2中在图像分解过程中，仅仅使用卷积层进行特征提取，往往只能提取到浅层图像特征，对后续的增强过程会产生一定的影响。本实施例1中，在使用residual-attention机制和卷积层共同工作，进行特征提取，对提取的图像特征进行优化，从而得到更高质量照射图和反射图。
52.本实施例1中，s3中损失函数l
decom
包括三个部分，第一部分是重构损失，第二部分是自检损失，第三部分是平滑损失：
53.l
decom
＝l
recon
μ1l
self
μ2η
smooth
；
54.其中，l
recon
表示重构损失，μ1、μ2表示对平衡反射率持照射平滑度的进行约束的常量，l
self
表示自检损失，η
smooth
表示平滑损失。
55.对于照射图和反射图，将重构损失设定为：
[0056][0057]
其中，μ3表示对重构进行约束的常量；r表示decm-rnet分解输入图像得到的反射分量；i表示decm-rnet分解输入图像得到的照射分量；s表示输入的低/正常光图像。
[0058]
对于照射图和反射图的自检损失设定为：
[0059]
l
self
＝||r
low-r
normal
||1；
[0060]
其中，r
low
表示decm-rnet分解低光图像得到的反射分量；r
normal
表示 decm-rnet分
解正常光图像得到的反射分量。
[0061]
本实施例1中，s4中，将分解网络decom-rnet输出的结果输入到增强网络enhance-rnet。在增强网络中，使用残差块的方式，对图像进行增强。由于残差的方式对噪声有一定的抑制效果，所以噪声对增强后的图片并没有产生太大影响。
[0062]
s5中，损失函数l
relight
表示为：
[0063]
l
relight
＝||r
low
·ienhanced-s
normal
||1 η
smooth
l2；
[0064]
其中，r
low
表示decm-rnet分解低光图像得到的反射分量；i
enhanced
表示 enhance-rnet增强后的照射分量；
[0065]snormal
表示正常光图像；l2表示对增强进行约束的正则项。
[0066]
其中，平滑损失η
smooth
表示为：
[0067][0068]
其中，包括水平方向和垂直方向的梯度，μ表示平衡结构感知强度的系数。由于有了权重的约束，η
smooth
在图像光照不均匀或者急剧变化的地方，将会更加平滑。
[0069]
实施例2
[0070]
如图2所示，本实施例2中，提供一种低光图像增强系统，包括：
[0071]
获取模块，用于获取待增强的低光图像；
[0072]
分解模块，用于利用预先训练好的分解模型，对获取的低光图像进行处理，提取低光图像的特征，将低光图像分解成照射图和反射图；
[0073]
增强模块，用于利用预先训练好的增强模型，通过残差块对照射图进行增强，将增强后的照射图与反射图进行拼接，得到最后的增强图像。
[0074]
本实施例2中，利用如上的低光图像增强系统，实现了低光图像增强方法，该方法包括：
[0075]
使用获取模块获取待增强的低光图像；
[0076]
使用分解模块利用预先训练好的分解模型，对获取的低光图像进行处理，提取低光图像的特征，将低光图像分解成照射图和反射图；
[0077]
使用增强模块利用预先训练好的增强模型，通过残差块对照射图进行增强，将增强后的照射图与反射图进行拼接，得到最后的增强图像。
[0078]
本实施例2中，将筛选好的低光/正常光图像对数据集输入到分解网络 decom-rnet，对分解网络进行训练；计算decom-rnet的损失，不断更新迭代，得到所述训练好的分解模型。将分解网络decom-rnet分解的结果输入到增强网络enhance-rnet进行增强；计算enhance-rnet的损失，不断更新迭代，得到训练好的增强模型。
[0079]
具体的，筛选低/正常光图像对数据集，从lol-dataset、sid-dataset、 deep-upe dataset中挑选了部分图片，对模型进行训练。
[0080]
将准备好的图像数据集输入到模型中，训练图像分解网络decom-rnet。首先将图像对输入到residual-attention层进行图像特征提取，使用3
×
3的卷积层对提取到的特征进行整合，然后再次利用residual-attention机制对提取的特征进行细化，使用relu激活，最后使用一个3
×
3的卷积层将反射分量和照射分量从特征空间映射出来，使用sigmoid函
数的作用是将照射分量和反射分量约束在[0,1]。
[0081]
分解阶段的损失函数l
decom
包括三个部分，第一部分是重构损失，第二部分是自检损失，第三部分是平滑损失：
[0082]
l
decom
＝l
recon
μ1l
self
μ2η
smooth
；
[0083]
其中，l
recon
表示重构损失，μ1、μ2表示对平衡反射率持照射平滑度的进行约束的常量，l
self
表示自检损失，η
smooth
表示平滑损失。
[0084]
对于照射图和反射图，将重构损失设定为：
[0085][0086]
其中，μ3表示对重构进行约束的常量；r表示decm-rnet分解输入图像得到的反射分量；i表示decm-rnet分解输入图像得到的照射分量；s表示输入的低/正常光图像。
[0087]
对于照射图和反射图的自检损失设定为：
[0088]
l
self
＝||r
low-r
normal
||1；
[0089]
其中，r
low
表示decm-rnet分解低光图像得到的反射分量；r
normal
表示 decm-rnet分解正常光图像得到的反射分量。
[0090]
分解网络decom-rnet将输入的低光图像分解成照射图i和反射图r以后，而后将分解结果输入到enhance-rnet进行增强，卷积层卷积核大小为3
×
3，通道为64。因为采用的残差的思想，模仿resenet进行构造，先对输入的图像数据进行预处理，使用卷积核为3
×
3的卷积层，batch normalization(bn)层和 relu激活层。这里使用bn层的原因就是为了加快网络的训练和收敛的速度，防止梯度消失以及过拟合。然后通过堆叠残差块进行增强处理，最后使用卷积核为1
×
1的卷积层将图像处理一维，输出后与反射图进行拼接得到最后的增强结果。
[0091]
为了更好的拟合训练，加入了l2正则项，增强阶段的损失函数为：
[0092]
l
relight
＝||r
low
·ienhanced-s
normal
||1 η
smooth
l2；
[0093]
全变分(total variable)最小化，就是最小化图像梯度，通常在进行图像恢复任务之前用作平滑处理，最常见的是应用到图像复原和图像去噪中，但是在处理这种图像的时候，图像像素变化不均匀，给处理增加了难度，这就导致全变分最小化在实际应用中的效果并不理想。为了解决这个问题，本实施例2中，采用对全变分最小化进行加权的方式来平衡这个问题：
[0094][0095]
其中，包括水平方向和垂直方向的梯度，μ表示平衡结构感知强度的系数。由于有了权重的约束，η
smooth
在图像光照不均匀或者急剧变化的地方，将会更加平滑。
[0096]
本实施例2中，选择了三个数据集，2422组图像对，共计4844张图片，对模型进行训练。首先是对decom-rnet和enhance-rnet进行训练，然后使用带有反向传播的随机梯度下降(sgd)端到端微调神经网络。不需要提供反射率，只需要将图像对输入到卷积神经网络中，该网络可以实现无监督自主学习。整个网络训练迭代128次，批处理大小为16，图像块大小为48，初始的学习率μ1＝0.01，μ2＝0.1，μ3＝0.001。
[0097]
模型训练完成以后，对模型进行测试。从dcim和lime数据集中挑选部分测试图像。将图像输入到已经训练完成的模型，得到的测试结果如图3所示。从图3中可以看出，得到的测试结果在图像亮度、色彩饱和度、图像真实性方面都有较好的表现。
[0098]
实施例3
[0099]
本发明实施例3提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的低光图像增强方法，该方法包括：
[0100]
获取待增强的低光图像；
[0101]
利用预先训练好的分解模型，对获取的低光图像进行处理，提取低光图像的特征，将低光图像分解成照射图和反射图；
[0102]
利用预先训练好的增强模型，通过残差块对照射图进行增强，将增强后的照射图与反射图进行拼接，得到最后的增强图像。
[0103]
实施例4
[0104]
本发明实施例4提供一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的低光图像增强方法，该方法包括：
[0105]
获取待增强的低光图像；
[0106]
利用预先训练好的分解模型，对获取的低光图像进行处理，提取低光图像的特征，将低光图像分解成照射图和反射图；
[0107]
利用预先训练好的增强模型，通过残差块对照射图进行增强，将增强后的照射图与反射图进行拼接，得到最后的增强图像。
[0108]
实施例5
[0109]
本发明实施例5提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的低光图像增强方法的指令，该方法包括：
[0110]
获取待增强的低光图像；
[0111]
利用预先训练好的分解模型，对获取的低光图像进行处理，提取低光图像的特征，将低光图像分解成照射图和反射图；
[0112]
利用预先训练好的增强模型，通过残差块对照射图进行增强，将增强后的照射图与反射图进行拼接，得到最后的增强图像。
[0113]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0114]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0115]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0116]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0117]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。