一种使用长曝光补偿的低光照图像增强方法

1.本发明属于数字图像低光照增强领域，涉及一种使用长曝光补偿的低光照图像增强方法。


背景技术：

2.低光照是一种常见的图像降质，光照不足通常由低光照拍摄环境、相机故障、参数设置错误等原因造成。低光照图像的增强一直受到工业界和学术界的关注。
3.传统的低光照图像增强方法可以分为三类。基于均匀调整图像亮度的方法，通过均匀调整整个图像的全局亮度，从而提亮低光图像。基于视网膜大脑皮层理论的方法，将图像分解为反射率层和照明层两个部分，利用先验知识手动设置约束进行调整来达到增强低光图像的目的。基于深度学习的方法，设计数据驱动的卷积模型，在大型数据集上进行端到端的训练，推理时只需要低光照图像的一次参数前传。
4.但是，低光照图像的增强是一个多解问题，一张低光照图像可以与多张理想的正常光图像相对应，这种优化目标的不确定性为准确而灵活的低光照图像增强造成了挑战。基于均匀调整图像亮度的方法无法解决局部过曝和信号噪声的问题，基于视网膜大脑皮层理论的方法无法满足通用化自动化的要求，基于深度学习的方法难以推广到处理各种照明条件的图像。因此，传统的低光照图像增强方法均很难推广到处理各种照明条件下的低光照图片，无法满足实际应用的需求。


技术实现要素：

5.针对上述问题，本发明的目的在于提供一种使用长曝光补偿的低光照图像增强方法，通过引入容易获得的模糊长曝光图像，利用模糊长曝光图像的亮度、色彩等信息对低光照增强问题添加约束，减少低光照图像增强问题的不确定性，使得优化目标更加明确，综合地提升低光照增强性能，总框架如附图1所示。
6.本发明采用的技术方案如下：
7.一种使用长曝光补偿的低光照图像增强方法，其步骤包括：
8.1)收集低光照训练数据集，其中所述低光照训练数据集中的每一训练样本包括同一场景的低光照图像和正常光照图像；根据每一训练样本生成一组对应的短曝光图像、长曝光图像和真实光照图像，得到一合成数据集s；
9.2)利用所述合成数据集s训练低光照增强模型，所述低光照增强模型包括m-1个特征对齐模块和m-1个提亮模块；其中，对于所述合成数据集s中同一组图像内的照片长曝光图像i
long
和短曝光图像i
short
，所述低光照增强模型将长曝光图像i
long
和短曝光图像i
short
分别映射到特征空间，获得对应的短曝光特征及长曝光特征并将其输入第一特征对齐模块；
10.3)第i特征对齐模块对输入的第i尺度长曝光特征与第i尺度短曝光特征
进行对齐；其中，第i特征对齐模块将第i尺度短曝光特征进行卷积处理，得到一张注意力图ai，然后用注意力图ai对第i尺度长曝光特征进行软阈值滤波操作，得到其中
“⊙”
表示逐元素的乘法；然后将与共同进行降采样并传入卷积层，预测输出第i 1尺度长曝光特征以及将单独进行降采样并传入卷积层，预测输出第i 1尺度短曝光特征将第m-1个特征对齐模块预测输出的第m尺度长曝光特征第m尺度短曝光特征进行拼接作为特征第m 1尺度长曝光特征第m 1尺度短曝光特征其中，i＝1～m-1，
11.4)第i提亮模块将第m i尺度长曝光特征第m i尺度短曝光特征进行拼接，并对拼接特征进行上采样，然后将上采样所得特征与第m-i尺度短曝光特征相连后通过卷积层得到第m i 1尺度短曝光特征对进行上采样所得特征与第m-i尺度长曝光特征相连后通过卷积层得到得到第m i 1尺度长曝光特征以第m-1提亮模块输出的第2m尺度短曝光特征作为优化目标i
normal
、第2m尺度长曝光特征作为辅助，优化所述低光照增强模型；其中，训练优化所述低光照增强模型的总损失函数为l＝l
rec
λ
ssim
l
ssim
λ
lpips
l
lpips
λala；λ
ssim
、λ
lpips
和λa为权重项，l
rec
为优化目标i
normal
和正常光照下真实值i
gt
间的平均绝对误差损失函数；l
ssim
为优化目标i
normal
和正常光照下真实值i
gt
间的结构相似性损失函数；l
lpips
为感知图像块相似度学习损失函数；la为辅助输出i
assist
和正常光照下真实值i
gt
间的平均绝对误差损失函数；
12.5)将待提亮的短曝光图像和对应的模糊长曝光图像输入训练后的低光照增强模型，得到对应的低光照增强图像。
13.进一步的，所述搭建低光照增强模型还包括细节去除模块，用于消除长曝光图像i
long
的细节特征后映射到特征空间，获得长曝光特征
14.进一步的，获取一实拍数据集r，所述实拍数据集r中的每一组图像包括对同一场景拍摄的三张图像，即短曝光图像、长曝光图像和真实光照图像；利用所述实拍数据集r对训练后的低光照增强模型进行评测。
15.进一步的，根据训练样本中的正常光照图像合成得到所述合成数据集s中的长曝光图像；所述合成数据集s中的短曝光图像为训练样本中的低光照图像，所述合成数据集s中的真实光照图像为训练样本的正常光照图像。
16.进一步的，利用模糊核空间模型对训练样本中的正常光照图像进行处理得到所述合成数据集s中的长曝光图像。
17.进一步的，l
rec
＝‖i
normal-i
gt
‖；la＝‖i
assist-i
gt
‖。
18.进一步的，l
ssim
＝1-ssim(i
normal
,i
gt
)；其中，ssim(x,y)表示两张图像x和y的结构相似性；μ
x
是x的平均值，μy是y的平均值，是x的方差，是y的方差，σ
xy
是x和y的协方差，c1、c2是用来维持稳定的常数。
19.进一步的，其中，φ
l
(i
normal
)表示vgg网络提取的图像i
normal
的第l层特征，h
l
和w
l
分别表示φ
l
(i
normal
)的宽和高。
20.一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上述方法中各步骤的指令。
21.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述方法的步骤。
22.与现有技术相比，本发明的积极效果为：
23.本发明显著提升低光照图片增强性能，在lec-lol-real低光照增强基准数据集上，能够将通用低光照增强模型agllnet的峰值信噪比(peak signal to noise ratio)由14.93提升至25.15。
附图说明
24.图1为使用长曝光补偿的低光照图像增强网络的训练框架图。
25.图2为特征对齐子模块的框架图。
26.图3为提亮子模块的框架图。
具体实施方式
27.为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。需说明的是，以下实施例所给出的具体层数、模块数、函数数量以及对某些层的设置等都仅是一种较佳的实施方式，而不用于限制，本领域技术人员可以根据实际需要来选取数量和设置某些层，应可理解。
28.本实施例公开一种长曝光补偿的低光照增强方法，具体说明如下：
29.步骤1：搜集低光照训练数据集，对于其中的每一个低光照/正常光照图像数据对，运用模糊核空间模型合成多张不同的长曝光模糊图像，搭建由正常光照/短曝光/合成长曝光图像对组成的长曝光补偿低光照增强合成数据集s，用于网络的训练和测试；其中，短曝光/真实光照图像直接从收集的低光照/正常光照图像对中获取，即收集的低光照图像为集合s中的短曝光图像，收集的正常光照图像为集合s中的真实光照图像。对于与训练数据集s场景不同的同一场景拍摄短曝光/长曝光/正常光照三张图像，组成数据对，搭建长曝光补偿低光增强实拍数据集r，用于网络的测试。
30.步骤2：搭建低光照增强训练框架。
31.网络的结构如图1所示，包含特征对齐模块s2l、提亮模块l2s和细节去除模块drp。
32.下面以数据集s中的一对照片长曝光图像i
long
和短曝光图像i
short
为例对网络框架进行介绍。长曝光图像i
long
和短曝光图像i
short
先各自经过卷积层，后跟随一个归一化层和线性整流函数(relu)，将图像映射到特征空间，获得初始短曝光特征及长曝光特征特别的，因为长曝光图片提供的是亮度、光照的信息，因此不希望长曝光的细节信息对模型产生干扰，在长曝光输入长曝光的特征解码模块之前，添加一个16倍下采样和16倍上采样模块drp来消除细节特征。
33.为了让每层中的长曝光图像的亮度特征与短曝光图像的细节特征对齐，实现有效的特征交互，模型中添加了特征对齐模块s2l。特征对齐模块的结构如图2所示，短曝光特征先经过一个卷积层，得到一张注意力图之后用这张注意力图ai对长曝光特征进行软阈值滤波操作，得到其中
“⊙”
表示逐元素的乘法。之后，与共同进行降采样并传入卷积层，预测下一个长曝光特征单独进行降采样并传入卷积层，预测下一个短曝光特征下一个特征在空间维度上是上一个特征的一半，但通道维度上是上一个特征的两倍。
34.经过了(m-1)个特征对齐模块，我们得到了多尺度的短曝光特征和长曝光特征下面，模型通过特征解码阶段将它们从特征空间解码到图像空间。在特征解码阶段，引导在相反方向进行。长曝光特征将引导短曝光特征的解码，因为我们需要亮度特征引导短曝光图像的增强，m为大于2的整数。
35.与特征对齐模块s2l类似，模型中同样添加了提亮模块l2s，其结构如图3所示。提亮模块输入上一个尺寸的长曝光特征和短曝光特征以及通过跳跃连接相连的与输入特征尺寸相当编码阶段的长短曝光特征更具体地说，长曝光特征首先与短曝光特征相连。然后，通过上采样模块将上采样得到的特征与跳跃连接的特征相连并通过卷积层，得到下一个尺度的特征单独进行上采样，将上采样得到的特征与跳跃连接的特征相连并通过卷积层，得到下一个尺度的特征下一个尺度的特征和上一个尺度相比，在空间维度是原来的两倍，但在通道维度上是原来的一半。
36.步骤3：利用构建的数据集s训练模型，以模型在短曝光解码模块的输出为优化目标i
normal
，以长曝光解码模块的输出为辅助输出i
assist
来训练模型。使用长曝光补偿的低光照图像增强模型的总损失函数项为：
37.l＝l
rec
λ
ssim
l
ssim
λ
lpips
l
lpips
λala38.其中，λ
ssim
、λ
lpips
和λa是权重项，通常λ
ssim
设置为0.4，λ
lpips
设置为1，λa设置为1。模型的训练批大小为16，使用adam优化器，初始学习速率为1
×
10-4
，优化器超参数设置为β1＝0.9,β2＝0.999，权重衰减参数为1
×
10-4
。此外，为了避免梯度爆炸，梯度反传中梯度值将被截断在[-0.1,0.1]区间中。训练过程中随机裁剪256
×
256像素的块并使用两阶段的训练策略。第一阶段在不加入特征对齐模块s2l的注意力机制的情况下训练1.5
×
105次迭代，之后添加注意力机制后再用1
×
10-5
的初始学习速率训练3
×
104次迭代。
[0039]
1)l
rec
为优化目标i
normal
和正常光照下真实值i
gt
间的平均绝对误差损失函数：
[0040]
l
rec
＝‖i
normal-i
gt
‖,
[0041]
2)l
ssim
为优化目标i
normal
和正常光照下真实值i
gt
间的结构相似性损失函数：
[0042]
l
ssim
＝1-ssim(i
normal
,i
gt
)，
[0043]
其中，ssim(x,y)表示两张图像x和y的结构相似性，可根据以下方式求出：
[0044][0045]
其中μ
x
是x的平均值，μy是y的平均值，是x的方差，是y的方差，σ
xy
是x和y的协方差。c1＝(k1l)2，c2＝(k2l)2是用来维持稳定的常数。l是像素值的动态范围。k1＝0.01,k2＝0.03。
[0046]
3)l
lpips
为感知图像块相似度学习损失函数：
[0047][0048]
这里计算l
lpips
使用的图像特征是采用imagenet上预训练的vgg网络来提取的。通过将网络的输出结果i
normal
和图像对中正常光照的图片i
gt
分别输入预训练的vgg网络模型得到图像特征。其中φ
l
(i)表示vgg网络提取的图像i的第l层特征，h
l
和w
l
分别表示φ
l
(i)的宽和高。
[0049]
4)la为辅助输出i
assist
和正常光照下真实值i
gt
间的平均绝对误差损失函数：
[0050]
la＝‖i
assist-i
gt
‖。
[0051]
步骤4：利用实拍数据集r对训练后的低光照增强模型进行评测。
[0052]
步骤5：推理阶段，输入待提亮的短曝光图像和对应的模糊长曝光图像，最终输出想要的低光照增强结果。
[0053]
以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。