实时低光照图像增强方法、系统、设备及存储介质与流程

1.本发明是关于一种基于轻量化金字塔深度模型的实时低光照图像增强方法、系统、设备及存储介质，涉及图像处理技术领域。


背景技术：

2.现实生活中光照条件复杂，例如夜晚、阴雨、雾霾，都会影响图像质量。传统的增强方法主要分为直方图均衡化和基于retinex理论。直方图均衡化是将灰度集中的图像进行拉伸，使其灰度均匀分布，从而达到增强全局对比度的效果。kokufuta等人通过对滑动窗口的中心像素进行灰度映射解决了局部的亮度增强问题，但是lhe需要很高的计算成本，并且会使图像某些部分过度增强。retinex理论的基础是物体的颜色是由物体对光线的反射能力来决定的，物体的色彩不受光照非均匀性的影响，具有一致性。jobson等人提出了一种基于多重迭代策略的retinex算法，单个点的像素值取决于一条特定路径环绕的结果，经过多次迭代逼近理想值。利用视网膜理论可以在不影响图像其他属性的情况下对图像的亮度进行调整，这样在图像增强的操作过程中可以避免增加或减弱图像的其他属性信息。但是由于其中的高斯滤波器不具备边缘保持的特性，在亮度较高的区域容易出现光晕现象，影响图像的质量。
3.近年来基于学习的增强方法取得了令人瞩目的成功，wei等人将retinex理论与cnn网络结合，提出了retinexnet。kind算法受retinexnet的启发，用高曝光图像的反射图作为标签图像，通过深度卷积神经网络学习映射，在明亮的区域增加更多的光照。gharbi等人受到双边网格处理和局部仿射颜色变换的启发设计了hdrnet，即训练卷积神经网络来预测双边空间中局部仿射模型的系数。lv等人提出了端到端多分支增强网络(mbllen)。mbllen通过特征提取模块、增强模块和融合模块提取有效的特征表示，提高了图像增强性能。上述方法的恢复效果虽然良好，但是由于参数空间巨大，不可避免会导致内存占用大，难以在计算和存储资源有限的嵌入式平台上运行，而且推理时间长，无法实现实时光照增强。


技术实现要素：

4.针对上述问题，本发明的目的是提供一种能够在嵌入式平台上实现低光照增强的基于轻量化金字塔深度模型的实时低光照图像增强方法、系统、设备及介质。
5.为实现上述目的，本发明采取以下技术方案：
6.第一方面，本发明提供一种实时低光照图像增强方法，包括：
7.获取低光照基准数据集；
8.设计基于轻量化金字塔深度模型的低光照增强网络；
9.通过低光照基准数据集对低光照增强网络进行训练，得到低光照增强网络模型；
10.采用低光照增强网络模型对低光照图像进行处理，实现图像的光照增强。
11.所述的实时低光照图像增强方法，进一步地，所述低光照基准数据集采用低光照/
正常光照的配对数据集。
12.所述的实时低光照图像增强方法，进一步地，所述低光照增强网络采用三层金字塔结构，第一层包括若干多尺度深度可分离密集卷积块，第二层和第三层均包括若干深度可分离密集卷积块。
13.所述的实时低光照图像增强方法，进一步地，通过低光照基准数据集对低光照增强网络进行训练，得到低光照增强网络模型的过程包括：
14.使用设定大小的不重叠的滑动窗口对输入低光照图像进行剪裁，并对剪裁后的图像执行两次最大池化下采样，得到两个不同分辨率的下采样图像，分别作为第二层和第三层级的输入；
15.图像从第三层级开始训练，经过若干深度可分离密集卷积块后，将训练后的特征图上采样至第二层级，与第二层级的输入特征图拼接；
16.第二层级的输入特征图与第三层级的输出特征图拼接后，经过若干深度可分离密集卷积块后，将训练后的特征图上采样至第一层级，与第一层级的输入特征图拼接；
17.第一层级的输入特征图与第二层级的输出特征图拼接后，经过若干多尺度深度可分离密集卷积块后，输出最终的增强图像。
18.所述的实时低光照图像增强方法，进一步地，第二层和第三层分别包括四个深度可分离密集卷积块，所述深度可分离密集卷积块包括两组深度可分离卷积块、instancenorm归一化函数和leakyrelu激活函数的串接模块；相邻两个深度可分离密集卷积块通过跳跃连接相连。
19.所述的实时低光照图像增强方法，进一步地，第一层包括四个多尺度深度可分离密集卷积块，所述多尺度密集深度可分离卷积块由一个3
×
3的深度可分离密集卷积块和一个5
×
5的深度可分离密集卷积块并联构成，其输出为两个深度可分离密集卷积块输出的concat连接。
20.所述的实时低光照图像增强方法，进一步地，在训练过程中需要通过损失函数约束增强图像与正常曝光图像之间的特征距离，对网络参数进行迭代修正，，包括：
21.当图像在第三层级训练时，在增强图像和正常曝光图像之间，采用l2损失函数重建图像的光照信息；
22.当图像在第二层级和第一层级训练时，使用感知损失和ssim损失来重建细节信息。
23.第二方面，本发明还提供一种实时低光照图像增强系统，该系统包括：
24.数据集获取单元，被配置为获取低光照基准数据集；
25.低光照增强网络设计单元，被配置为设计基于轻量化金字塔结构的低光照增强网络；
26.低光照增强网络模型训练单元，被配置为通过低光照基准数据集对低光照增强网络进行训练，得到低光照增强网络模型；
27.光照增强单元，被配置为采用低光照增强网络模型对低光照图像进行处理，实现图像的光照增强。
28.第三方面，本发明还提供一种处理设备，所述处理设备至少包括处理器和存储器，所述存储器上存储有计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以
实现所述的实时低光照图像增强方法。
29.第四方面，本发明还提供一种计算机存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现所述的实时低光照图像增强方法。
30.本发明由于采取以上技术方案，其具有以下优点：
31.1、本发明通过设计三层金字塔结构的低光照增强网络，实现了具有良好的视觉效果和色彩保真度的图像光照增强；
32.2、本发明基于深度可分离卷积，设计了深度可分离密集卷积块和多尺度深度可分离密集卷积块，在减小模型参数量和计算量的同时，提升了特征提取性能，进而提高低光照增强效果；
33.3、本发明能够在嵌入式平台和gpu计算平台等多平台上实现实时低光照增强。通过在lol数据集和scie数据集上的验证和评估，在1080ti上增强一张低光照图像仅耗时35ms，在nvidia jetson xavier nx上耗时仅有0.335s；
34.综上，本发明可以广泛应用于图像处理中。
附图说明
35.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在整个附图中，用相同的附图标记表示相同的部件。在附图中：
36.图1是本发明实施例的方法流程图；
37.图2是本发明实施例的低光照增强网络结构框图，其中，mdscdb为多尺度深度可分离密集卷积块，dscdb为深度可分离密集卷积块。
38.图3是本发明实施例的深度可分离密集卷积块的结构图，其中，mdscdb为多尺度深度可分离密集卷积块，dscdb为深度可分离密集卷积块；
39.图4是本发明实施例的低光照增强算法对比图，图(a)为lol图像光照增强结果对比图，图(b)是scie图像光照增强结果对比图。
具体实施方式
40.下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
41.应理解的是，文中使用的术语仅出于描述特定示例实施方式的目的，而无意于进行限制。除非上下文另外明确地指出，否则如文中使用的单数形式“一”、“一个”以及“所述”也可以表示包括复数形式。术语“包括”、“包含”、“含有”以及“具有”是包含性的，并且因此指明所陈述的特征、步骤、操作、元件和/或部件的存在，但并不排除存在或者添加一个或多个其它特征、步骤、操作、元件、部件、和/或它们的组合。文中描述的方法步骤、过程、以及操作不解释为必须要求它们以所描述或说明的特定顺序执行，除非明确指出执行顺序。还应当理解，可以使用另外或者替代的步骤。
42.为了便于描述，可以在文中使用空间相对关系术语来描述如图中示出的一个元件
或者特征相对于另一元件或者特征的关系，这些相对关系术语例如为“内部”、“外部”、“内侧”、“外侧”、“下面”、“上面”等。这种空间相对关系术语意于包括除图中描绘的方位之外的在使用或者操作中装置的不同方位。
43.实施例一
44.如图1所示，本实施例提供的基于轻量化金字塔深度模型的实时低光照图像增强方法，包括内容为：
45.s1、采用lol数据集作为训练数据集。
46.具体地，lol数据集为一个低光照增强的基准数据集，包含了由真实场景捕获的500对正常/低光照图像，图像大小为600
×
400。
47.s2、设计低光照增强网络
48.本实施例设计的低光照增强网络结构如图2所示。网络为三层金字塔结构，第一层由四个多尺度深度可分离密集卷积块mdscdb构成，第二层和第三层分别由四个深度可分离密集卷积块dscdb构成。另外，相邻的深度可分离密集卷积块dscdb通过跳跃连接相连，防止梯度消失。在每一层的末端，经3
×
3的香草卷积和tanh激活函数输出可视化增强结果，需要说明的是，最终的低光照增强结果是由第一层的输出。
49.s3、如图2、图3所示，通过低光照基准数据集对低光照增强网络进行训练，得到低光照增强网络模型，具体过程包括：
50.s31、使用设定大小例如96
×
96大小的不重叠的滑动窗口对输入低光照图像进行剪裁，并对剪裁后的图像执行两次最大池化下采样，使图像下采样到原分辨率的1/2和1/4大小，以此为例，不限于此。
51.s32、输入图像被下采样后，分布在三个分辨率的层级上，分别为原分辨率、原分辨率的1/2及原分辨率的1/4层级。
52.图像从第三层级开始训练，经过4个3
×
3深度可分离密集卷积块dscdb后，将训练后的特征图上采样至第二层级，与第二层级的输入特征图拼接。
53.一些实现中，深度可分离密集卷积块dscdb如图3所示，包括两组深度可分离卷积块、instancenorm归一化函数和leakyrelu激活函数的串接模块。相邻的两个深度可分离密集卷积块通过跳跃连接相连。
54.s33、第二层级的输入特征图在与第三层级的输出特征图拼接后，经过四个3
×
3深度可分离密集卷积块dscdb后，将训练后的特征图上采样至第一层级，与第一层级的输入特征图拼接。
55.s34、第一层级的输入特征图与第二层级的输出特征图拼接后，经过四个多尺度深度可分离密集卷积块mdscdb后，通过一个3
×
3卷积和tanh激活函数，输出最终的增强图像。其中，多尺度深度可分离密集卷积块mdscdb如图3所示，由一个3
×
3的深度可分离密集卷积块和一个5
×
5的深度可分离密集卷积块并联构成，其输出为两个深度可分离密集卷积块输出的concat连接
56.进一步地，为了恢复图像的光照信息，在训练过程中需要通过多个损失函数约束增强图像与正常曝光图像之间的特征距离，对网络参数进行迭代修正，，具体包括：
57.当图像在第三层级训练时，由于输入图像分辨率只有24
×
24大小，在特征图中主要为光照信息，颜色、轮廓信息很少。因此，在增强图像和正常曝光图像之间针对全局亮度
使用l2损失函数作为重建损失(reconstruction loss)，以恢复图像的光照信息，重建损失可以表示为：
[0058][0059]
其中，h、w和c分别表示训练图像的高度、宽度和通道数，p和t分别代表增强图像和正常曝光的图像，i,j表示第i行，第j列，c表示特征图的通道数。
[0060]
当图像在第二层级和第一层级训练时，由于分辨率为48
×
48和96
×
96，图像中的颜色、轮廓信息更为显著，有助于重建图像的细节信息。因此，在增强图像和正常曝光图像之间针对图像的颜色、轮廓等细节信息，使用感知损失和ssim损失来恢复细节信息，感知损失可以表示为：
[0061][0062]
其中，h、w和c分别表示特征图的高度、宽度和通道数，表示从vgg网络中第m个卷积层之后提取的特征图，p和t分别代表增强图像和正常曝光的图像，i,j，表示第i行，第j列，c表示特征图的通道数。
[0063]
ssim损失可以表示为：
[0064][0065]
其中，μ和σ分别表示均值和方差，c1和c2是ssim损失中的常值，它们的大小分别可以设置为0.01和0.03。
[0066]
s4、采用低光照增强网络模型对待处理的低光照图像进行处理，实现图像的光照增强，具体过程为：
[0067]
输入图像被不重叠的滑动窗口裁剪成为96
×
96大小，然后分别进行两次卷积和池化操作，使输入图像分布在三个不同分辨率的层级中。
[0068]
在第三层级输入经过两次下采样后的小尺寸图像，经4个深度可分离密集卷积块dscdb进行特征重建，重建结果被上采样返回至第二层级；
[0069]
同理，第二层级在接收到第三层级的重建特征后，与一次下采样特征拼接后，通过4个深度可分离密集卷积块dscdb进行特征重建后，将第二层级重建特征再上采样返回给第一层级；
[0070]
第一层级将第二层级返回的重建特征与原始分辨率特征拼接后，通过4个多尺度深度可分离密集卷积块mdscdb进行特征重建，并经3
×
3香草卷积和tanh激活函数输出最终的增强图像。
[0071]
本发明的一些优选实施例中，还包括将训练后的低光照增强模型移植到资源受限平台的步骤。
[0072]
下面通过具体实施例详细说明本发明的基于轻量化金字塔深度模型的实时低光照图像增强方法的实验过程。
[0073]
1、实验平台配置
[0074]
本实施例在pytorch框架下实现。运行平台是基于英特尔i7
‑
6850kcpu、nvidia gtx1080ti与ubuntu16.04操作系统进行训练和测试。
[0075]
在低光照增强网络中，本实施例在lol数据集上训练上述的低光照增强网络模型。为了证明本发明在资源受限平台上的性能，本实施例在嵌入式平台nvidia
‑
jetson xavier nx上进一步测试。nvidia jetson xavier nx平台配备6核nvidia carmel arm v8.2 cpu和384核gpu,支持jetpack sdk，支持主流人工智能框架和算法，如tensorflow、pytorch、caffe/caffe2、keras、mxnet等。
[0076]
2、训练轻量化低光照增强网络模型
[0077]
2.1、数据集和评价指标
[0078]
在实验中，采用lol作为训练数据集。lol包含了由真实场景捕获的500对正常/低光照图像，图像大小为600
×
400。将其中的图像经滑动窗口剪裁为96
×
96大小的图像块，总计25260张图像作为训练数据集，780张图像作为验证和测试集。另外，还使用了scie数据集作为测试集以评估算法性能。scie数据集包括了589个室内外场景的多重曝光图像序列，每个序列有3
‑
18张不同曝光水平的低对比度图像和对应的高质量高对比度参考图像，大小为3000
×
2000
‑
6000
×
4000之间。选择10幅最低曝光的图像作为测试图片，并将其调整到600
×
400大小。
[0079]
本实施例使用psnr(db)和ssim作为低光照增强算法的图像质量评价指标，一般来说，这两种指标的数值越高代表图像增强效果越好。另外，使用param、flops和运行时间作为低光照增强方法的轻量化指标，这三种指标的数值越低，代表网络模型越小，模型运行效率越高。
[0080]
2.2、训练参数设置
[0081]
本实施例网络在pytorch框架中实现，并且在1080ti gpu上使用adam优化器进行训练，batch size根据网络层级依次设置为：level 0是16，level 1
‑
2是48，epoch根据网络层级依次设置为：level 0是160，level 1
‑
2是40。另外，学习速率为10e
‑
5，每个特征图通道设为32。
[0082]
2.3、结果分析
[0083]
将本发明的增强网络模型与各类增强算法进行对比，所有的结果都通过psnr(db)、ssim、param(m)、flops(b)和running time(s)进行了评估。在lol和scie数据集上，分别用dong,retinexnet,hdrnet,kind,enlightengan和mbllen等6种代表性算法进行光照增强测试。
[0084]
各种低光照增强算法对比实验结果如表1所示。在每种评价指标下，最佳结果用斜体表示，第二最佳结果用加黑表示，
“‑”
表示结果不可用。
[0085]
在低光照图像增强方面，本发明的psnr和ssim略高于enlightengan，且优于其他算法；在模型的轻量化上，本发明增强模型在参数量和计算量上都是最低的，在gpu1080ti上运行时间35ms与hdrnet的31ms非常接近，推演时间低于其他算法。在边缘计算设备nvidia xavier nx上部署的运行时间仅为0.335s，大大优于所有对比算法。
[0086]
图4(a)和(b)分别展示了lol和scie数据集图像的光照增强效果。本发明的增强视觉效果与enlightengan和mbllen算法相当。在亮度、清晰度、噪声和颜色重建方面都优于retinexnet，hdrnet，kind等算法。
[0087]
实验结果表明，本发明的图像增强方法实现了高效运行和增强效果的平衡，不仅能够获得很好的光照增强效果，还能够在边缘计算设备上完成高效增强处理。
[0088]
表1低光照增强算法对比
[0089][0090]
实施例二
[0091]
上述实施例一提供了基于轻量化金字塔深度模型的实时低光照图像增强方法，与之相对应地，本实施例提供一种实时低光照图像增强系统。本实施例提供的实时低光照图像增强系统可以实施实施例一的实时低光照图像增强方法，该系统可以通过软件、硬件或软硬结合的方式来实现。例如，该系统可以包括集成的或分开的功能模块或功能单元来执行实施例一各方法中的对应步骤。由于本实施例的实时低光照图像增强系统基本相似于方法实施例，所以本实施例描述过程比较简单，相关之处可以参见实施例一的部分说明即可，本实施例的实时低光照图像增强系统仅仅是示意性的。
[0092]
本实施例提供的一种实时低光照图像增强系统，该系统包括：
[0093]
数据集获取单元，被配置为获取低光照基准数据集；
[0094]
低光照增强网络设计单元，被配置为设计基于轻量化金字塔结构的低光照增强网络；
[0095]
低光照增强网络模型训练单元，被配置为通过低光照基准数据集对低光照增强网络进行训练，得到低光照增强网络模型；
[0096]
光照增强单元，被配置为采用低光照增强网络模型对低光照图像进行处理，实现图像的光照增强。
[0097]
实施例三
[0098]
本实施例提供一种实现本实施例一所提供的基于轻量化金字塔深度模型的实时低光照图像增强方法的处理设备，处理设备可以是用于客户端的处理设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行实施例一的基于轻量化金字塔深度模型的实时低光照图像增强方法。
[0099]
所述处理设备包括处理器、存储器、通信接口和总线，处理器、存储器和通信接口通过总线连接，以完成相互间的通信。存储器中存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行本实施例一所提供的基于轻量化金字塔深度模型的实时低光照图像增强方法。
[0100]
优选地，存储器可以是高速随机存取存储器(ram：random access memory)，也可能还包括非不稳定的存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。
[0101]
优选地，处理器可以为中央处理器(cpu)、数字信号处理器(dsp)等各种类型通用处理器，在此不做限定。
[0102]
实施例四
[0103]
本实施例一的基于轻量化金字塔深度模型的实时低光照图像增强方法被具体实现为一种计算机程序产品，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本实施例一所述的基于轻量化金字塔深度模型的实时低光照图像增强方法的计算机可读程序指令。
[0104]
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。
[0105]
最后应说明的是，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。