一种低照明度图像增强方法及系统

1.本发明涉及图像处理技术领域，具体涉及一种低照明度图像增强方法及系统。


背景技术：

2.高质量图像获取对于计算机视觉视觉任务，如目标检测、图像分割、文字识别、目标跟踪等领域尤为重要，只有提供准确的图像信息，才能确保视觉任务的顺利完成。然而，开放环境下拍摄角度变化、早晚的弱光照以及一些特殊的应用场景都会使相机视野存在亮度低、色彩饱和度差、细节信息难以辨认等问题。通过图像增强来改善弱光照图像对后续的计算机视觉任务具有重要的意义。
3.低照度图像广泛存在于各类计算机视觉任务中，通过图像处理技术来对低照度图像进行增强具有重要的意义。然而现有的增强方法往往存在色彩失真、细节处理能力弱以及泛化性不强等问题。


技术实现要素：

4.本发明的目的在于克服现有技术的不足，本发明提供了一种低照明度图像增强方法及系统，通过多尺度卷积获取低照度图像丰富的特征信息，利用残差块来有效加深卷积神经网络的深度，将图像特征映射到高维，同时在卷积神经网络中使用空间和通道注意力来提升网络对显著信息的提取能力。
5.为了解决上述技术问题，本发明实施例提供了一种低照明度图像增强方法，所述低照明度图像增强方法，包括：
6.将低照度图像输入卷积神经网络；
7.基于多个卷积核对低照度图像进行多尺度特征提取，并对多尺度特征进行拼接处理，得到多尺寸特征图；
8.利用空间注意力机制对特征图进行特征筛选，得到空间注意力特征图；
9.基于串联三个残差块对空间注意力特征图进行映射，得到高维特征；
10.对高维特征进行权重处理，得到通道注意力特征图；
11.对通道注意力特征进行降通处理及取对数运算，得到输入图像环境光照分量估计；
12.根据retinex理论结合输入图像环境光照分量估计对图像处理，得到增强图像。
13.优选的，所述根据retinex理论结合输入图像环境光照分量估计对图像处理，之后包括：
14.根据误差损失函数和ssim对增强图像进行增强图像误差计算，判断增强图像是否达标。
15.优选的，
16.所述根据误差损失函数和ssim对增强图像进行增强图像误差计算，包括：
17.输入正常照明图像，通过误差损失函数和ssim计算增强图像误差；
18.所述平均绝对误差的损失函数为：
[0019][0020]
上式中，y表示网络输出的增强图像，s表示正常光照图像；
[0021]
所述ssim的损失函数为：
[0022][0023]
上式中，μs表示图像s的像素平均值，μy分别与图像y的像素平均值，对应于图像s的方差，对应于图像y的方差，σ
sy
为两幅图像的协方差，c1、c2是两个用于维持函数稳定的常数；
[0024]
所述增强图像误差的损失函数为：
[0025]
loss＝l
mae
ssim。
[0026]
优选的，所述基于多个卷积核对低照度图像进行多尺度特征提取，并对多尺度特征进行拼接处理，包括：
[0027]
将多个不同尺寸和形状的卷积核对输入的低照度图像进行多尺度特征提取，采用1
×
1、3
×
3、5
×
5三种不同尺度卷积核的卷积层对输入的低照度图像进行非线性映射处理，得到多尺度特征图，多尺度卷积层将多尺度特征图通过最大池化转变成相同大小的同一特征图，在通道维度上对统一特征图进行拼接，得到多尺寸特征图。
[0028]
优选的，所述利用空间注意力机制对特征图进行特征筛选，包括：
[0029]
将特征图基于平均池化转换成平均特征图，将平均特征图和统一特征图在通道维度上进行串联，采用1
×
1的卷积层将通道减半，利用sigmoid激活函数将结果映射到(0,1)，得到与多尺度特征图尺寸相同的权重图，将得到的权重图与多尺度特征图逐元素相乘，得到空间注意力特征图。
[0030]
优选的，所述三个残差块中的每个残差块由卷积核大小为1
×
1、3
×
3、1
×
1的卷积层组成，每个卷积层之后连接归一化层和relu层。
[0031]
优选的，所述对高维特征进行权重处理，包括：
[0032]
基于平均池化对高维特征图进行空间压缩，得到1
×1×
c的特征向量，采用两个卷积核为1
×
1的卷积层对特征向量进行权重学习，采用sigmoid激活函数将结果映射到(0,1)得到权重向量，将得到的基于通道的权重向量与高维特征图的各个通道层进行相乘，得到通道注意力特征图。
[0033]
优选的，所述对通道注意力特征进行降通处理及取对数运算，包括：
[0034]
用1
×
1卷积层将特征通道降为三通道，通道注意力特征图通过三通道得到三通道特征图，三通道特征图进行取对数运算，得到输入图像环境光照分量估计。
[0035]
优选的，所述retinex理论将物体亮度分解为物体本身的反射分量和环境光照。
[0036]
相应的，本发明还提供了一种低照明度图像增强系统，所述低照明度图像增强系统用于实现上述的低照明度图像增强方法，所述低照明度图像增强系统包括输入模块、多尺寸模块、空间注意模块、高维模块、注意力模块、光照估计模块和增强模块；
[0037]
所述输入模块将低照度图像输入卷积神经网络；
[0038]
所述多尺寸模块基于多个卷积核对低照度图像进行多尺度特征提取，并对多尺度
特征进行拼接处理，得到多尺寸特征图；
[0039]
所述空间注意模块利用空间注意力机制对特征图进行特征筛选得到空间注意力特征图；
[0040]
所述高维模块基于串联三个残差块对空间注意力特征图进行映射，得到高维特征；
[0041]
所述注意力模块对高维特征进行权重处理，得到通道注意力特征图；
[0042]
所述光照估计模块对通道注意力特征进行降通处理及取对数运算，得到输入图像环境光照分量估计；
[0043]
所述增强模块根据retinex理论结合输入图像环境光照分量估计对图像处理，得到增强图像。
[0044]
本发明实施例提供额低照明度图像增强方法及系统，通过多尺度卷积获取低照度图像丰富的特征信息，利用残差块来有效加深卷积神经网络的深度，将图像特征映射到高维，同时在卷积神经网络中使用空间和通道注意力来提升卷积神经网络对显著信息的提取能力。多尺度卷积层以及注意力机制的使用可以有效提升卷积神经网络对图像细节信息的提取能力，同时在卷积神经网络浅层和深层搭配使用两种注意力机制，给每个像素和通道赋予不同的权重可以显著改善图像增强时的色彩失真问题。除此之外，卷积神经网络结合高效的特征提取方式可以大大提升模型的泛化性。
附图说明
[0045]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0046]
图1是本发明实施例中低照明度图像增强方法的流程示意图。
[0047]
图2是本发明实施例中低照明度图像增强系统的结构示意图。
具体实施方式
[0048]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0049]
实施例
[0050]
图1示出了本发明实施例中低照明度图像增强方法的流程示意图，所述低照明度图像增强方法，包括：
[0051]
s1：将低照度图像输入卷积神经网络；
[0052]
将低照度图像输入卷积神经网络，利用卷积神经网络的输入层、输出层、卷积层、池化层和全连接层等一些功能对低照度图像进行处理来增强图像。依据retinex理论将物体亮度分解为物体本身的反射分量和环境光照；由于视觉感知到的物体颜色仅仅取决于物体对该波长光的反射能力,而与该环境光无关，因此，估计出采集图像时所处环境的光照强
度分量,就可以根据retinex理论将环境光照对成像的影响去除。借助卷积神经网络能够很好地学习数据特征的特性,用于估计环境光照分量，通过估计环境光照分量来增强图像。
[0053]
s2：基于多个卷积核对低照度图像进行多尺度特征提取，并对多尺度特征进行拼接处理，得到多尺寸特征图；
[0054]
将多个不同尺寸和形状的卷积核对输入的低照度图像进行多尺度特征提取，采用1
×
1、3
×
3、5
×
5三种不同尺度卷积核的卷积层对输入的低照度图像进行非线性映射处理，得到多尺度特征图，多尺度卷积层将多尺度特征图通过最大池化转变成相同大小的同一特征图，在通道维度上对统一特征图进行拼接，得到多尺寸特征图p。非线性映射定义为一个卷积运算和relu激活函数的组合。三个多尺度卷积层的参数为：
[0055]
layerparametersconv1[1
×
1，16]，strid＝2conv2[3
×
3，16]，strid＝2conv3[5
×
5，16]，strid＝2
[0056]
输入图像经过三个不同尺度的卷积层映射，得到三个16通道的特征图，通过全局最大池化将特征图尺度映射为相同大小，在通道维度上进行拼接，这一过程可以表示为：
[0057]
p＝c(max(x*wk×k b))
[0058]
上式中，c代表特征图通道维度的串联，max代表最大池化，x代表输入图像，w表示非线性映射层的权重，b表示非线性映射层的偏置，k
×
k表示卷积核的尺寸。
[0059]
s3：利用空间注意力机制对特征图进行特征筛选，得到空间注意力特征图；
[0060]
将特征图基于平均池化转换成平均特征图，将平均特征图和统一特征图在通道维度上进行串联，采用1
×
1的卷积层将通道减半，利用sigmoid激活函数将结果映射到(0，1)，得到与多尺度特征图p尺寸相同的权重图，将得到的权重图与多尺度特征图p逐元素相乘，得到空间注意力特征图pa。该过程可以表示为：
[0061][0062]
上式中，max代表最大池化，avg代表平均池化，sigmoid表示sigmoid函数，pa代表空间注意力特征图。
[0063]
采用空间注意力机制对多尺度卷积层提取到的特征图赋予不同的权重，让网络关注到图像中光照变化剧烈的位置。
[0064]
s4：基于串联三个残差块对空间注意力特征图进行映射，得到高维特征；
[0065]
残差块通过跳跃连接来缓解深度神经网络中深度增加带来的梯度消失问题，易于优化，所述三个残差块中的每个残差块由卷积核大小为1
×
1、3
×
3、1
×
1的卷积层组成，每个卷积层之后连接归一化层(bn)和relu层。将空间注意力图pa通过三个残差块映射得到高维特征f。
[0066]
s5：对高维特征进行权重处理，得到通道注意力特征图；
[0067]
基于平均池化对高维特征图进行空间压缩，得到1
×1×
c的特征向量，采用两个卷积核为1
×
1的卷积层对特征向量进行权重学习，采用sigmoid激活函数将结果映射到(0，1)得到权重向量，将得到的基于通道的权重向量与高维特征图的各个通道层进行相乘，得到通道注意力特征图。该过程可以表示为：
[0068][0069]
上式中，f代表高维特征，conv代表1
×
1卷积层，ca代表高维通道注意力特征图。
[0070]
s6：对通道注意力特征进行降通处理及取对数运算，得到输入图像环境光照分量估计；
[0071]
用1
×
1卷积层将特征通道降为三通道，通道注意力特征图通过三通道得到三通道特征图，三通道特征图进行取对数运算，得到输入图像环境光照分量估计。输入图像环境光照分量估计计算过程可以表示为：
[0072]
t(x,y)＝log[conv(ca)]
[0073]
s7：根据retinex理论结合输入图像环境光照分量估计对图像处理，得到增强图像。
[0074]
retinex理论将物体亮度分解为物体本身的反射分量和环境光照。
[0075]
retinex理论公式为：
[0076]
i(x,y)＝r(x,y)
·
e(x,y)
[0077]
其中，i(x，y)表示采集图像对应(x，y)坐标的像素，r(x，y)表示图像(x,y)坐标像素的反射分量,e(x,y)表示该位置的环境光照分量。
[0078]
由于视觉感知到的物体颜色仅仅取决于物体对该波长光的反射能力，而与该环境光无关，因此，估计出采集图像时所处环境的光照强度分量,就可以根据retinex理论将环境光照对成像的影响去除。retinex理论结合输入图像环境光照分量估计对低照明度图像进行图像增强，该过程可以表示为：
[0079]
r(x,y)＝log(i(x,y))-t(x,y)
[0080]
上式中，r(x，y)为去除光照分量之后的输出图像的对数域表示，log表示对图像进行以自然对数或10为底的对数运算,i(x,y)则表示输入的低照度图像，*表示两张图像之间进行卷积运算。
[0081]
s8：根据误差损失函数和ssim对增强图像进行增强图像误差计算，判断增强图像是否达标；
[0082]
输入正常照明图像，通过误差损失函数和ssim计算增强图像误差，增强图像误差能够直观的观察正常照明图像与增强图像的之间的差别，判断增强图像误差是否大于预设值；若增强图像误差大于预设值，表示图像增强失败，传输至s1，重新对低照明度图像进行图像增强；若增强图像误差小于等于预设值，表示图像增强成功，对增强图像输出。ssim全称是structural similarity index measurement，为结构相似度。
[0083]
平均绝对误差的损失函数为：
[0084][0085]
上式中，y表示网络输出的增强图像，s表示正常光照图像；
[0086]
ssim的损失函数为：
[0087][0088]
上式中，μs表示图像s的像素平均值，μy分别与图像y的像素平均值，对应于图像
s的方差，对应于图像y的方差，σ
sy
为两幅图像的协方差，c1、c2是两个用于维持函数稳定的常数，防止分母出现零的情况。
[0089]
增强图像误差的损失函数为：
[0090]
loss＝l
mae
ssim。
[0091]
本发明实施例提供额低照明度图像增强方法，通过多尺度卷积获取低照度图像丰富的特征信息，利用残差块来有效加深卷积神经网络的深度，将图像特征映射到高维，同时在卷积神经网络中使用空间和通道注意力来提升卷积神经网络对显著信息的提取能力。多尺度卷积层以及注意力机制的使用可以有效提升卷积神经网络对图像细节信息的提取能力，同时在卷积神经网络浅层和深层搭配使用两种注意力机制，给每个像素和通道赋予不同的权重可以显著改善图像增强时的色彩失真问题。除此之外，卷积神经网络结合高效的特征提取方式可以大大提升模型的泛化性。
[0092]
图2示出了本发明实施例中低照明度图像增强系统的结构示意图，所述低照明度图像增强系统用于实现上述的低照明度图像增强方法，所述低照明度图像增强系统包括输入模块201、多尺寸模块202、空间注意模块203、高维模块204、注意力模块205、光照估计模块206和增强模块207；
[0093]
输入模块201将低照度图像输入卷积神经网络；
[0094]
多尺寸模块202基于多个卷积核对低照度图像进行多尺度特征提取，并对多尺度特征进行拼接处理，得到多尺寸特征图；
[0095]
空间注意模块203利用空间注意力机制对特征图进行特征筛选得到空间注意力特征图；
[0096]
高维模块204基于串联三个残差块对空间注意力特征图进行映射，得到高维特征；
[0097]
注意力模块205对高维特征进行权重处理，得到通道注意力特征图；
[0098]
光照估计模块206对通道注意力特征进行降通处理及取对数运算，得到输入图像环境光照分量估计；
[0099]
增强模块207根据retinex理论结合输入图像环境光照分量估计对图像处理，得到增强图像。
[0100]
本发明实施例提供额低照明度图像增强方法及系统，通过多尺度卷积获取低照度图像丰富的特征信息，利用残差块来有效加深卷积神经网络的深度，将图像特征映射到高维，同时在卷积神经网络中使用空间和通道注意力来提升卷积神经网络对显著信息的提取能力。多尺度卷积层以及注意力机制的使用可以有效提升卷积神经网络对图像细节信息的提取能力，同时在卷积神经网络浅层和深层搭配使用两种注意力机制，给每个像素和通道赋予不同的权重可以显著改善图像增强时的色彩失真问题。除此之外，卷积神经网络结合高效的特征提取方式可以大大提升模型的泛化性。
[0101]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器(rom，read only memory)、随机存取存储器(ram，random access memory)、磁盘或光盘等。
[0102]
另外，以上对本发明实施例进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核
心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。