一种低照度图像增强方法、装置、电子设备及存储介质

1.本发明涉及图像处理技术领域，尤其是涉及一种低照度图像增强方法、装置、电子设备及存储介质。


背景技术：

2.图像的采集过程因为受到光照条件的影响，得到的图像质量会随着光照强度的变化而改变。在低照度条件下采集的图像往往存在低对比度、低信噪比和低分辨率问题，会给后续的图像处理、目标检测、语义分割等任务带来极大的挑战。
3.相关技术在采用例如基于深度学习方法的图像增强任务对低照度图像进行图像增强时不能够很好地对图像的细节部分进行增强，从而导致图像增强效果较差。


技术实现要素：

4.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种用以改善图像增强效果的低照度图像增强方法、装置、电子设备及存储介质。
5.本发明的目的可以通过以下技术方案来实现：
6.第一方面，本发明提供一种低照度图像增强方法，该方法包括：
7.采用图像增强模型的照度分布估计模块，获取待增强图像的照度分布特征图；
8.采用所述图像增强模型的特征注意模块，根据所述光照分布特征图，获取所述待增强图像的注意力权重图；
9.采用所述图像增强模型的重建模块，根据所述注意力权重图，获取所述待增强图像的照度增强图像。
10.可选地，所述根据光照分布特征图，获取待增强图像的注意力权重图，包括：
11.以所述照度分布特征图作为所述特征注意模块中的卷积注意力模块cbam的输入，获取待增强图像的注意力权重图。
12.可选地，所述卷积注意力模块cbam包括通道注意力子模块ca和空间注意力子模块sa；
13.所述通道注意力子模块ca的表达式为：
[0014][0015]
其中，f表示输入特征；σ表示sigmoid操作；avgpool(
·
)和maxpool(
·
)分别平均池化操作和最大池化操作；和分别表示所述通道注意力子模块ca中的平均池化特征和最大池化特征；mlp表示共享网络；
[0016]
所述空间注意力子模块sa的表达式为：
[0017]
[0018]
其中，所述n
×
n表示卷积核大小；和分别表示所述空间注意力子模块sa中的平均池化特征和最大池化特征。
[0019]
可选地，在所述根据所述光照分布特征图，获取所述待增强图像的注意力权重图之前，所述方法还包括：
[0020]
采用所述特征注意模块中的级联层将所述照度分布特征图和所述待增强图像的特征图进行级联，获取级联融合特征图；
[0021]
以所述级联融合特征图作为所述特征注意模块中卷积注意力模块cbam的输入，获取待增强图像的注意力权重图。
[0022]
可选地，所述根据所述注意力权重图，获取所述待增强图像的照度增强图像，包括：
[0023]
采用所述重建模块中的三个依次设置的卷积层对所述注意力权重图进行卷积处理；
[0024]
采用所述重建模块中的通道注意力子模块ca对进行卷积处理后的注意力权重图进行照度信息重建，获取初始增强图像；
[0025]
采用所述重建模块中的卷积层对所述初始增强图像进行卷积处理，获取照度增强图像。
[0026]
可选地，所述照度分布估计模块采用u-net网络获取待增强图像的照度分布特征图，
[0027]
可选地，所述照度分布估计模块采用基于注意门机制的u-net网络获取待增强图像的照度分布特征图。
[0028]
第二方面，本发明提供一种低照度图像增强装置，该装置包括：
[0029]
照度分布估计单元，用于采用图像增强模型的照度分布估计模块，获取待增强图像的照度分布特征图；
[0030]
注意力特征图获取单元，用于采用所述图像增强模型的特征注意模块，根据所述光照分布特征图，获取所述待增强图像的注意力权重图；
[0031]
照度增强图像获取单元，用于采用所述图像增强模型的重建模块，根据所述注意力权重图，获取所述待增强图像的照度增强图像。
[0032]
第三方面，本发明提供一种电子设备，包括：处理器、存储器和通信总线，其中，所述处理器和所述存储器通过所述通信总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面或第一方面的任意一种可能的实现方式提供的方法。
[0033]
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行第一方面或第一方面的任意一种可能的实现方式提供的方法。
[0034]
与现有技术相比，本发明具有以下优点：
[0035]
一、图像增强效果好：上述方案通过图像增强模型中的照度分布估计模块获得待增强图像，即低照度图像的照度分布特征图，然后采用特征注意模块对照度分布特征图进行权重学习，获取注意力权重图，最后经过重建模块从待增强图像中学习更多的图像细节，从而有效改善图像增强效果。
[0036]
二、避免过度增强或增强不足的问题：上述方案通过采用基于注意门机制的u-net网络来引导照度分布估计模块降低亮度无关特征的响应，使得网络当前层的输出特征携带更多的亮度信息被输入到下一个上采样层，从而提高网络对亮度特征的学习能力；同时，通过特征注意模块所产生的注意力权重图来引导重建模块对亮度细节进行有针对性的细节重建，从而有效解决低照度图像增强时出现的局部亮度过度增强或增强不足的问题，以及色彩失真和噪声过大的问题。
附图说明
[0037]
图1为本发明实施例中低照度增强方法的流程示意图；
[0038]
图2为本发明实施例中图像增强模型的结构示意图；
[0039]
图3为本发明实施例中注意门模块的结构示意图；
[0040]
图4为本发明实施例中卷积注意力模块cbam的结构示意图；
[0041]
图5为本发明实施例中通道注意力子模块ca的结构示意图；
[0042]
图6为本发明实施例中空间注意力子模块sa的结构示意图；
[0043]
图7为本发明实施例中对照实验的结果示意图；
[0044]
图8为本发明实施例中电子设备的结构示意图。
具体实施方式
[0045]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0046]
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0047]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0048]
如图1所示，本实施例提供一种低照度图像增强方法，该方法包括：
[0049]
步骤s110：采用图像增强模型的照度分布估计模块，获取待增强图像的照度分布特征图；
[0050]
步骤s120：采用图像增强模型的特征注意模块，根据光照分布特征图，获取待增强图像的注意力权重图；
[0051]
步骤s130：采用图像增强模型的重建模块，根据注意力权重图，获取待增强图像的照度增强图像。
[0052]
上述图像增强模型的结构如图2所示，下面分别对上述步骤s110至步骤s130进行详细介绍：
[0053]
步骤s110中的照度分布估计模块可以采用u-net网络，该网络的结构如图2中的照度分布估计模块所示，图2中的resize代表上采样或者下采样，可以理解的是：在u-net网络
中，第一个resize层为下采样层，其余resize层均为上采样层。u-net网络的工作原理是先将输入图像缩放到一个预设的特定分辨率，然后对缩放至特定分辨率的图像进行照度分布预测，然后将其缩放回至原始分辨率。
[0054]
上述注意门机制ag(attention gate，也可以成为门控注意力机制)的所采用的注意门模块的结构如图3所示，该模块的输入为两个特征映射，输出为一个特征映射。首先，输入特征图αi和βi通过单独的1
×
1卷积层，然后在应用relu激活之前将其加在一起，之后是一个1
×
1卷积层，这次使用sigmoid作为激活函数层，sigmoid值的范围为[0,1]，最后，将sigmoid的结果与输入特征σi进行乘法运算得到输出特征γi。
[0055]
步骤s120中的特征注意模块可以采用卷积注意力模块cbam，该模块的结构如图4所示，卷积注意力模块cbam包括通道注意力子模块ca和空间注意力子模块sa，其中，通道注意力子模块ca的表达式为：
[0056][0057]
其中，f表示输入特征；σ表示sigmoid操作；avgpool(
·
)和maxpool(
·
)分别平均池化操作和最大池化操作；和分别表示所述通道注意力子模块ca中的平均池化特征和最大池化特征；mlp表示共享网络；
[0058]
空间注意力子模块sa的表达式为：
[0059][0060]
其中，所述n
×
n表示卷积核大小；和分别表示所述空间注意力子模块sa中的平均池化特征和最大池化特征。
[0061]
卷积注意力模块cbam的实现过程为：首先，将级联融合特征图作为输入，此模块将先沿着通道注意模块进行计算，得到通道细化特征；之后，将通道细化特征与输入cbam模块的特征图相乘，并沿着空间注意模块进行计算，得到空间注意特征；最后，再将空间注意力特征与通道细化特征和输入cbam模块的特征图相乘结果进行相乘，从而得到细化自适应特征图。
[0062]
上述级联融合特征图的获取方法为：采用所述特征注意模块中的级联层将所述照度分布特征图和所述待增强图像的特征图进行级联，获取级联融合特征图。
[0063]
上述通道注意力子模块ca的结构如图5所示，通道注意力子模块ca的实现过程为：首先，通过使用平均池化avgpool和最大池化maxpool汇聚特征图的空间信息，从而生成两个不同的空间上下文描述符，分布用和来进行表示。然后，将它们送进一个共享网络中，以此来产生通道注意力图mc(f)∈rc×1×1，将其称为f
′
。其中，含有一个隐藏层的多层感知机mlp组成了共享网络。
[0064]
上述空间注意力子模块sa的结构如图6所示，空间注意力子模块sa的实现过程为：首先，通过使用平均池化avgpool和最大池化maxpool来聚集特征映射的通道信息，从而生成两个特征图，用和来进行表示。然后，通过标准卷积层将这两个特征图进行连接；最后，通过卷积核为7
×
7的卷积层进行卷积操作，从而生成空间注
意特征。
[0065]
上述重建模块的具体实现过程为：首先，采用重建模块中的三个依次设置的卷积层对注意力权重图进行卷积处理；其次，采用重建模块中的通道注意力子模块ca对进行卷积处理后的注意力权重图进行照度信息重建，获取初始增强图像；最后，采用重建模块中的卷积层对初始增强图像进行卷积处理，将特征图的通道降为三通道，获取照度增强图像。
[0066]
需要指出的是，重建模块中所采用的通道注意力子模块ca的结构与上述特征注意模块中的通道注意力子模块ca的结构相同。
[0067]
为了验证上述低照度增强方法的有效性，本实施例还设置了对照实验，对照实验结果如图7所示，其中，图(a)为数据集中的低照度图像，图(b)为图(a)对应的正常照度图像，图(c)为msrcr方法的增强结果图像，图(d)为lime方法的增强结果图像，图(e)为gladnet方法的增强结果图像，图(f)为retinexnet方法的增强结果图像，图(g)为mbllen方法的增强结果图像，图(h)为zero-dce方法的增强结果图像，图(i)为enlightengan方法的增强结果图像，图(j)为本实施例方法的增强结果图像。其中，lime，zero-dce及mbllen的增强结果中仍然存在明显的暗区，且存在照度亮度分布不均匀和颜色失真问题，而采用本实施例方法得到的增强结果图则不存在上述缺陷。
[0068]
基于相同的构思，本实施例提供一种低照度图像增强装置，其结构如所示，该装置包括：
[0069]
照度分布估计单元，用于采用图像增强模型的照度分布估计模块，获取待增强图像的照度分布特征图；
[0070]
注意力特征图获取单元，用于采用所述图像增强模型的特征注意模块，根据所述光照分布特征图，获取所述待增强图像的注意力权重图；
[0071]
照度增强图像获取单元，用于采用所述图像增强模型的重建模块，根据所述注意力权重图，获取所述待增强图像的照度增强图像。
[0072]
可选地，注意力特征图获取单元根据光照分布特征图，获取待增强图像的注意力权重图，包括：以所述照度分布特征图作为所述特征注意模块中的卷积注意力模块cbam的输入，获取待增强图像的注意力权重图。
[0073]
可选地，卷积注意力模块cbam包括通道注意力子模块ca和空间注意力子模块sa；
[0074]
所述通道注意力子模块ca的表达式为：
[0075][0076]
其中，f表示输入特征；σ表示sigmoid操作；avgpool(
·
)和maxpool(
·
)分别平均池化操作和最大池化操作；和分别表示所述通道注意力子模块ca中的平均池化特征和最大池化特征；mlp表示共享网络；
[0077]
所述空间注意力子模块sa的表达式为：
[0078][0079]
其中，所述n
×
n表示卷积核大小；和分别表示所述空间注意力子模块sa中的平均池化特征和最大池化特征。
[0080]
可选地，注意力特征图获取单元包括：
[0081]
级联融合特征图获取单元，用于采用所述特征注意模块中的级联层将所述照度分布特征图和所述待增强图像的特征图进行级联，获取级联融合特征图；
[0082]
可选地，照度增强图像获取单元根据所述注意力权重图，获取所述待增强图像的照度增强图像，包括：
[0083]
采用所述重建模块中的三个依次设置的卷积层对所述注意力权重图进行卷积处理；
[0084]
采用所述重建模块中的通道注意力子模块ca对进行卷积处理后的注意力权重图进行照度信息重建，获取初始增强图像；
[0085]
采用所述重建模块中的卷积层对所述初始增强图像进行卷积处理，获取照度增强图像。
[0086]
可选地，照度分布估计模块采用u-net网络获取待增强图像的照度分布特征图。
[0087]
可选地，照度分布估计模块采用基于注意门机制的u-net网络获取待增强图像的照度分布特征图。
[0088]
图8示出了可以用来实施本公开的实施例的电子设备的示意性框图。如图8所示，本发明电子设备包括中央处理单元(cpu)，其可以根据存储在只读存储器(rom)中的计算机程序指令或者从存储单元加载到随机访问存储器(ram)中的计算机程序指令，来执行各种适当的动作和处理。在ram中，还可以存储设备操作所需的各种程序和数据。cpu、rom以及ram通过总线彼此相连。输入/输出(i/o)接口也连接至总线。
[0089]
设备中的多个部件连接至i/o接口，包括：输入单元，例如键盘、鼠标等；输出单元，例如各种类型的显示器、扬声器等；存储单元，例如磁盘、光盘等；以及通信单元，例如网卡、调制解调器、无线通信收发机等。通信单元允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0090]
处理单元执行上文所描述的各个方法和处理，例如本发明方法步骤101～103。例如，在一些实施例中，本发明方法步骤101～103可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由rom和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到ram并由cpu执行时，可以执行上文描述的本发明方法步骤101～103的一个或多个步骤。备选地，在其他实施例中，cpu可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本发明方法步骤101～103。
[0091]
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
[0092]
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0093]
在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0094]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。