一种基于多尺度特征选择性融合的暗光图像增强方法与流程

1.本发明属于图像增强技术领域，具体地涉及一种基于多尺度特征选择性融合的暗光图像增强方法。


背景技术：

2.当采用相机等感光设备采集图像时，受限于外界环境的光照状况或感光设备的硬件条件，人们通常容易得到对比度差、信噪比低、观感极差的暗光图像。这类图像具有灰度分辨率低的特点，这不仅带给观察者极差的观感，且影响了相关领域的进一步应用，一般采用硬件或软件的方法提升其质量。在基于硬件的方法中最直接的方法为改善拍摄场景中的光照情况，其次也可通过使用具有更长曝光时间的感光设备避免得到暗光图像。但对于一些不可再现的瞬时场景，便只能借助计算机软件技术改善暗光图像的质量。这种技术一般被称作暗光图像增强技术。
3.传统的图像增强方法主要包括有基于直方图的暗光图像增强方法和基于retinex的图像增强处理方法。基于直方图的图像处理方法都是对经典算法直方图均衡化(he)的改进，主要实现图像对比度的整体拉伸。但基于直方图的暗光图像增强方法通常都是根据图像概率密度分布提供的一维信息使集中在某一较小范围的像素拉伸至整个像素有效域，因此增强结果往往具有模糊以及过曝光的问题。基于retinex的图像增强处理方法是根据retinex的基本模型求解高质量的暗光图像增强结果，最具代表性的基于中心环绕的单尺度retinex算法(ssr)凭借其简单有效的优点被广泛地应用于暗光图像的处理中；但该算法的增强结果依赖于卷积核大小等参数的选取，适应性差，并存在易产生光晕或者丢失图像结构信息等问题。为克服以上缺点，在此基础上后人提出多尺度retinex(msr)等方法以此获得更加稳定优良的效果，但此类算法仍然存在色彩失真等问题。
4.随着目标识别、图像分割等计算机视觉领域利用深度学习理论取得明显优于传统算法的性能，相关学者也尝试使用基于深度学习的方法解决暗光图像增强问题。端到端网络进行图像增强的方法直接学习暗光图像与参考图像之间的变换，简单高效，易于实现。chen等人提出一种基于端到端模式的全卷积网络结构(sid)用于处理raw格式的暗光图像，相对于传统算法对raw格式暗光图像先进行rgb格式转换再进行增强的处理流程，该算法通过直接输出rgb格式的增强结果同时完成图像格式转换任务和图像增强任务，然而端对端的增强网络对于具体的特征学习具有盲目性，容易降低网络的泛化性能。


技术实现要素：

5.针对现有技术中存在的问题，本发明提供了一种基于多尺度特征选择性融合的暗光图像增强方法。
6.为实现上述目的，本发明采用如下技术方案：一种基于多尺度特征选择性融合的暗光图像增强方法，具体包括如下步骤：
7.(1)收集暗光图像集，并收集同一拍摄场景下的亮光图像作为对照图，对暗光图像
集和所有亮光图像进行相同预处理，将预处理后的暗光图像集作为训练集；
8.(2)构建多尺度特征选择性融合的神经网络，所述多尺度特征选择性融合的神经网络包括：下采样模块、注意力门模块、上采样模块、se模块，所述下采样模块分别与注意力门模块、上采样模块、se模块连接，所述下采样模块由四个下采样单元组成，用于提取暗光图像不同尺度上的高维特征图；所述注意力门模块由四个注意力门单元组成，将下采样模块输出的不同尺度的高维特征图作为门控信号，使用所述门控信号引导上采样模块融合第四级下采样单元提取的高维度特征图；所述上采样模块由四个上采样单元组成，用于对第四级下采样单元提取的高维特征图及门控信号进行上采样，输出上采样特征图；所述se模块用于将暗光图像经卷积运算获取的第零级特征图、下采样模块提取的第二级高维特征图、第四级高维特征图进行融合。
9.(3)将训练集中的暗光图像依次输入多尺度特征选择性融合的神经网络中进行图像增强训练，直至张量损失函数收敛，完成对多尺度特征选择性融合的神经网络的训练；
10.(4)再次收集拍摄的暗光图像，输入到训练好的多尺度特征选择性融合的神经网络中，输出增强图像。
11.进一步地，步骤(1)中预处理的过程具体为：将暗光图像集和所有亮光图像均剪裁成240*240*3的大小，对剪裁后的图像进行旋转变换、中心对称变换中的一种或两种操作。
12.进一步地，步骤(3)具体包括如下子步骤：
13.(3.1)所述下采样模块通过卷积运算下采样输入暗光图像在不同尺度上的高维特征图，高维特征图经注意力门模块与第四级下采样单元输出的高维特征图在上采样模块中进行上采样，得到上采样特征图；
14.(3.2)选取暗光图像经卷积运算获取的第零级特征图、第二级下采样单元提取的高维特征图、第四级下采样单元提取的高维特征图经过se模块进行多尺度特征融合，将多尺度特征融合的结果与上采样特征图进行相加融合，得到融合特征图，通过卷积运算对融合特征图进行修正，得到增强图像；
15.(3.3)将暗光图像依次输入多尺度特征选择性融合的神经网络中，重复步骤(3.1)
‑
(3.2)，直至张量损失函数收敛，完成对多尺度特征选择性融合的神经网络的训练。
16.进一步地，所述张量损失函数具体为：
17.l＝l
charbonnier
(s
h
,s
out
) l
ssim
(s
h
,s
out
) l
grad
(s
h
,s
out
)
18.其中，s
out
为暗光图像增强的输出张量，s
h
为对应亮光图像的张量，l
charbonnie
(s
h
,s
out
)为超分辨损失函数，l
ssim
(s
h
,s
out
)为结构信息损失函数，l
grad
(s
h
,s
out
)为梯度损失函数。
19.进一步地，所述超分辨损失函数l
charbonnie
(s
h
,s
out
)为：
[0020][0021]
其中，w表示暗光图像的宽度，h表示暗光图像的高度，c表示色彩通道索引，r表示红色通道，g表示绿色通道，b表示蓝色通道，表示增强图像在c色彩通道上的像素坐标，表示对应亮光图像在c色彩通道上的像素坐标，ε＝1e
‑
5。
[0022]
进一步地，所述结构信息损失函数l
ssim
(s
h
,s
out
)为：
[0023][0024]
其中，c表示色彩通道索引，r表示红色通道，g表示绿色通道，b表示蓝色通道，表示增强的图像在c色彩通道上的像素坐标，表示对应亮光图像在c色彩通道上的像素坐标，表示结构相似性指标，表示增强图像的通道像素均值，表示对应亮光图像的通道像素均值，表示增强图像与对应亮光图像之间的通道像素协方差，表示增强图像的通道像素标准差，σ
h
表示对应亮光图像的通道像素标准差，c1、c2均为常数，且均小于1。
[0025]
进一步地，所述梯度损失函数l
grad
(s
h
,s
out
)为：
[0026][0027]
其中，w表示暗光图像的宽度，h表示暗光图像的高度，c表示色彩通道索引，r表示红色通道，g表示绿色通道，b表示蓝色通道，表示增强图像通道像素值的梯度，表示对应亮光图像通道像素值的梯度。
[0028]
与现有技术相比，本发明具有如下有益效果：本发明暗光图像增强方法使用带有门控注意力机制的多尺度特征选择性融合的神经网络对暗光图像进行特征提取，使得多尺度特征选择性融合的神经网络从多个角度有选择性地提取亮度特征及细节特征；在多尺度特征选择性融合的神经网络中抽取低层特征作为多尺度特征进行融合，充分发掘相邻层特征之间的联系，进而提升网络的泛化性能；通过se模块(squeeze
‑
and
‑
excitation)自适应地学习多尺度融合权重，使这些多尺度特征有选择性地与多尺度特征选择性融合的神经网络的输出特征进行相加融合；使用卷积运算对融合特征进行色彩修正和维度重塑，使得增强图像在信噪比、锐化度以及颜色保真度等方面均有良好的性能。本发明暗光图像增强方法在图像对比度拉伸、细节保持等方面均取得更为优良的效果。
附图说明
[0029]
图1为本发明基于多尺度特征融合的暗光图像增强方法的流程图；
[0030]
图2为本发明中多尺度特征选择性融合的神经网络的结构图。
具体实施方式
[0031]
下面结合附图对本发明的技术方案作进一步地解释说明。
[0032]
本发明提供了一种基于多尺度特征选择性融合的暗光图像增强方法，该暗光图像增强方法采用多尺度特征选择性融合的神经网络，并采用张量损失函数引导多尺度特征选择性融合的神经网络收敛，在提升暗光图像对比度和清晰度的同时，恢复出暗光图像中更多的细节信息。
[0033]
如图1为本发明基于多尺度特征融合的暗光图像增强方法流程图，该暗光增强方法具体包括如下步骤：
[0034]
(1)收集暗光图像集，本发明中收集的暗光图像集是chen等人收集的低光照数据集(low
‑
light dataset，lol)，并收集同一拍摄场景下的亮光图像作为对照图，对暗光图像集和所有亮光图像进行相同预处理，将预处理后的暗光数据集作为训练集；本发明中预处理的过程具体为：将暗光图像集和所有亮光图像均剪裁成240*240*3的大小，对剪裁后的图像进行旋转变换、中心对称变换中的一种或两种操作，本发明中旋转变化包括：顺时针旋转90度、逆时针旋转90度以及旋转180度。
[0035]
(2)构建多尺度特征选择性融合的神经网络，如图2，该多尺度特征选择性融合的神经网络为attention u
‑
net结构，包括：下采样模块、注意力门模块、上采样模块、se模块，下采样模块分别与注意力门模块、上采样模块、se模块连接，本发明中下采样模块由四个下采样单元组成，通过卷积运算和池化运算级联实现，并将关机运算的卷积核的个数依次设置为[32,64,128,256]，用于提取暗光图像不同尺度上的高维特征图；注意力门模块由四个注意力门单元组成，将下采样模块输出的不同尺度的高维特征图作为门控信号，使用所述门控信号引导上采样模块融合第四级下采样单元提取的高维度特征图，从而使得多尺度特征选择性融合的神经网络充分利用各阶段提取的特征，加速图像特征的学习；上采样模块由四个上采样单元组成，用于对第四级下采样单元提取的高维特征图及门控信号进行上采样，输出上采样特征图；se模块用于将暗光图像经卷积运算获得的第零级特征图、下采样模块提取的第二级高维特征图、第四级高维特征图进行融合，得到更加丰富的图像信息，同时避免因融合冗余的图像特征造成网络过拟合问题。
[0036]
(3)将训练集中的暗光图像依次输入多尺度特征选择性融合的神经网络中进行图像增强训练，直至张量损失函数收敛，完成对多尺度特征选择性融合的神经网络的训练；具体包括如下子步骤：
[0037]
(3.1)下采样模块通过卷积运算下采样输入暗光图像在不同尺度上的高维特征图，高维特征图经注意力门模块与第四级下采样单元输出的高维特征图在上采样模块中进行上采样，得到上采样特征图，使得多尺度特征选择性融合的神经网络具有挖掘暗光图像深层次特征的能力，提取暗光图像的亮度和噪声特征；
[0038]
(3.2)选暗光图像经卷积运算获得的第零级特征图、第二级下采样单元提取的高维特征图、第四级下采样单元提取的高维特征图作为多尺度特征，与上采样特征图进行相加融合，需将多尺度特征的宽和高进行重塑，使其与上采样特征图具有相同的宽、高，将se模块学习到的通道权重当作融合权重，分别与重塑后的特征相乘，进行多尺度特征融合，将多尺度特征融合的结果与上采样特征图进行相加融合，得到融合特征图，通过卷积运算对融合特征图进行修正，得到增强图像；
[0039]
(3.3)将暗光图像依次输入多尺度特征选择性融合的神经网络中，重复步骤(3.1)
‑
(3.2)，采用adam优化算法将张量损失向后传递，设置学习率lr＝1e
‑
4、第一次估计的指数衰减率β1＝0.9、第二次估计的指数衰减率β2＝0.999，直至张量损失函数收敛，完成对多尺度特征选择性融合的神经网络的训练；同时为防止训练权重数据因意外断电等设备问题消失，每隔200个轮次保存一次网络训练权重。
[0040]
本发明中张量损失函数为：
[0041]
l＝l
charbonnier
(s
h
,s
out
) l
ssim
(s
h
,s
out
) l
grad
(s
h
,s
out
)
[0042][0043][0044][0045]
其中，s
out
为暗光图像增强的输出张量，s
h
为对应亮光图像的张量，l
charbonnie
(s
h
,s
out
)为超分辨损失函数，相比于mse损失函数，超分辨损失函数可以恢复更多关于图像的细节，且可使网络更加快速稳定的收敛；l
ssim
(s
h
,s
out
)为结构信息损失函数，相比于mse损失函数，结构信息损失函数可以使增强结果在结构信息、对比度等方面逼近亮光图像；l
grad
(s
h
,s
out
)为梯度损失函数，使得增强图像的结果与对应亮光图像具有相同的平滑度；w表示暗光图像的宽度，h表示暗光图像的高度，c表示色彩通道索引，r表示红色通道，g表示绿色通道，b表示蓝色通道，表示增强图像在c色彩通道上的像素坐标，表示对应亮光图像在c色彩通道上的像素坐标，ε＝1e
‑
5，表示结构相似性指标，表示增强图像的通道像素均值，表示对应亮光图像的通道像素均值，表示增强图像与对应亮光图像之间的通道像素协方差，表示增强图像的通道像素标准差，σ
h
表示对应亮光图像的通道像素标准差，c1、c2均为常数，且均小于1，表示增强图像通道像素值的梯度，表示对应亮光图像通道像素值的梯度。
[0046]
(4)再次收集拍摄的暗光图像，输入到训练好的多尺度特征选择性融合的神经网络中，输出增强图像。
[0047]
表1给出了本发明暗光图像增强方法与其他暗光图像增强方法的指标比较，指标包括：峰值信噪比指标psnr、结构相似性指标ssim、视觉信息保真度vif、亮度损失指标loe、对应亮光图像的亮度损失指标loeref、基于图像空间域的无参考质量评价指标brisque、自然图像质量评价指标niqe、基于特征感知的无参考图像质量评价指标piqe，本发明的暗光图像增强方法与he相比，采用多尺度特征选择性融合的神经网络，不只是简单地拉伸像素提高图像对比度，而且能够对感兴趣区域针对性地进行增强，更加灵活有效，避免了he方法容易引起的区域过曝或者对比度过低的问题；本发明暗光图像增强方法与retinexnet方法相比，本发明暗光图像增强方法中多尺度特征选择性融合的神经网络通过通道注意力机制学习多尺度相加融合的权重，面对场景变化的图像可以有较好的自适应性，能够得到与亮光图像较为相似的对比度和清晰度的增强结果避免retinexnet方法中依靠经验性选取高斯卷积核和尺度参数而出现光晕增强的问题；本发明暗光图像增强方法与其他暗光增强方法相比，本发明选取暗光图像、第二级下采样单元提取的高维特征图、第四级下采样单元提
取的高维特征图作为多尺度特征，与上采样特征图进行相加融合，不仅使得多尺度特征选择性融合的神经网络更加紧凑，还可以提高中低层特征的利用率，从而使得多尺度特征选择性融合的神经网络具有更快的收敛速度和较好的泛化性能，且通过张量损失函数引导网络收敛，使得增强结果恢复出更多的细节信息。因此，本发明暗光图像增强方法在psnr、ssim、vif、loeref上均具有优异的性能。
[0048]
表1本发明暗光图像增强方法与其他暗光图像增强方法比较
[0049][0050]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施方式，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。