一种基于多尺度特征选择性融合的暗光图像增强方法与流程

技术特征：
1.一种基于多尺度特征选择性融合的暗光图像增强方法，其特征在于，具体包括如下步骤：(1)收集暗光图像集，并收集同一拍摄场景下的亮光图像作为对照图，对暗光图像集和所有亮光图像进行相同预处理，将预处理后的暗光图像集作为训练集；(2)构建多尺度特征选择性融合的神经网络，所述多尺度特征选择性融合的神经网络包括：下采样模块、注意力门模块、上采样模块、se模块，所述下采样模块分别与注意力门模块、上采样模块、se模块连接，所述下采样模块由四个下采样单元组成，用于提取暗光图像不同尺度上的高维特征图；所述注意力门模块由四个注意力门单元组成，将下采样模块输出的不同尺度的高维特征图作为门控信号，使用所述门控信号引导上采样模块融合第四级下采样单元提取的高维度特征图；所述上采样模块由四个上采样单元组成，用于对第四级下采样单元提取的高维特征图及门控信号进行上采样，输出上采样特征图；所述se模块用于将暗光图像经卷积运算获得的第零级特征图、下采样模块提取的第二级高维特征图、第四级高维特征图进行融合。(3)将训练集中的暗光图像依次输入多尺度特征选择性融合的神经网络中进行图像增强训练，直至张量损失函数收敛，完成对多尺度特征选择性融合的神经网络的训练；(4)再次收集拍摄的暗光图像，输入到训练好的多尺度特征选择性融合的神经网络中，输出增强图像。2.根据权利要求1所述基于多尺度特征选择性融合的暗光图像增强方法，其特征在于，步骤(1)中预处理的过程具体为：将暗光图像集和所有亮光图像均剪裁成240*240*3的大小，对剪裁后的图像进行旋转变换、中心对称变换中的一种或两种操作。3.根据权利要求1所述基于多尺度特征选择性融合的暗光图像增强方法，其特征在于，步骤(3)具体包括如下子步骤：(3.1)所述下采样模块通过卷积运算下采样输入暗光图像在不同尺度上的高维特征图，高维特征图经注意力门模块与第四级下采样单元输出的高维特征图在上采样模块中进行上采样，得到上采样特征图；(3.2)选取暗光图像经卷积运算获得的第零级特征图、第二级下采样单元提取的高维特征图、第四级下采样单元提取的高维特征图经过se模块进行多尺度特征融合，将多尺度特征融合的结果与上采样特征图进行相加融合，得到融合特征图，通过卷积运算对融合特征图进行修正，得到增强图像；(3.3)将暗光图像依次输入多尺度特征选择性融合的神经网络中，重复步骤(3.1)
‑
(3.2)，直至张量损失函数收敛，完成对多尺度特征选择性融合的神经网络的训练。4.根据权利要求1所述基于多尺度特征选择性融合的暗光图像增强方法，其特征在于，所述张量损失函数具体为：l＝l
charbonnier
(s
h
,s
out
) l
ssim
(s
h
,s
out
) l
grad
(s
h
,s
out
)其中，s
out
为暗光图像增强的输出张量，s
h
为对应亮光图像的张量，l
charbonnie
(s
h
,s
out
)为超分辨损失函数，l
ssim
(s
h
,s
out
)为结构信息损失函数，l
grad
(s
h
,s
out
)为梯度损失函数。5.根据权利要求4所述基于多尺度特征选择性融合的暗光图像增强方法，其特征在于，所述超分辨损失函数l
charbonnier
(s
h
,s
out
)为：
其中，w表示暗光图像的宽度，h表示暗光图像的高度，c表示色彩通道索引，r表示红色通道，g表示绿色通道，b表示蓝色通道，表示增强图像在c色彩通道上的像素坐标，表示对应亮光图像在c色彩通道上的像素坐标，ε＝1e
‑
5。6.根据权利要求4所述基于多尺度特征选择性融合的暗光图像增强方法，其特征在于，所述结构信息损失函数l
ssim
(s
h
,s
out
)为：其中，c表示色彩通道索引，r表示红色通道，g表示绿色通道，b表示蓝色通道，表示增强的图像在c色彩通道上的像素坐标，表示对应亮光图像在c色彩通道上的像素坐标，表示结构相似性指标，表示增强图像的通道像素均值，表示对应亮光图像的通道像素均值，表示增强图像与对应亮光图像之间的通道像素协方差，表示增强图像的通道像素标准差，σ
h
表示对应亮光图像的通道像素标准差，c1、c2均为常数，且均小于1。7.根据权利要求4所述基于多尺度特征选择性融合的暗光图像增强方法，其特征在于，所述梯度损失函数l
grad
(s
h
，s
out
)为：其中，w表示暗光图像的宽度，h表示暗光图像的高度，c表示色彩通道索引，r表示红色通道，g表示绿色通道，b表示蓝色通道，表示增强图像通道像素值的梯度，表示对应亮光图像通道像素值的梯度。

技术总结
本发明公开了一种基于多尺度特征选择性融合的暗光图像增强方法，属于图像增强技术领域。该图像增强方法使用下采样模块对暗光图像进行特征提取，从多个角度有选择性地提取亮度特征及细节特征；在下采样模块中抽取低层特征作为多尺度特征进行融合，充分发掘相邻层特征之间的联系，进而提升网络的泛化性能；通过SE模块自适应地学习多尺度融合权重，使这些多尺度特征有选择性地与多尺度特征选择性融合的神经网络的输出特征进行相加融合；使用卷积运算对融合特征进行色彩修正和维度重塑，使得增强图像在信噪比、锐化度以及颜色保真度等方面均有良好的性能。本发明暗光图像增强方法在图像对比度拉伸、细节保持等方面均取得更为优良的效果。的效果。的效果。


技术研发人员：张静 魏磊杰 曾繁玉 李云松
受保护的技术使用者：南京天巡遥感技术研究院有限公司
技术研发日：2021.09.15
技术公布日：2021/11/9