一种基于曲线族函数的低光照增强方法及系统

1.本发明属于数字图像低光照增强领域，涉及一种基于增强曲线族的无监督低光照增强模型实现方法及训练方法。


背景技术：

2.低光照是一种常见的图像降质，光照不足通常由低光照拍摄环境、参数设置错误、相机故障、使用者操作不当等原因造成。如何对低光照图片提高亮度一直受到学术界和工业界的关注。目前较为流行的增强方法大多利用深度学习，借助神经网络直接对每一个像素点进行修改与合成。这些现存方法运用成对的训练数据、对比学习或视网膜皮层的颜色恒常理论来保证训练结果的质量。此外，这些提亮方法常常运用抹黑噪点、增强对比度等操作来提高人类视觉层面上的图片质量。
3.但是，以上方法需要使用参数繁多的网络模型，存在训练过拟合的风险。由于模型过于复杂，训练过程往往需要花费大量的时间与资源。这些方法的鲁棒性也十分有限，很容易产生噪点。此外，为提高人类视觉层面的图片质量，这些方法会牺牲很多可供计算机提取的高维语义。


技术实现要素：

4.针对上述技术问题，本发明提出了一种基于增强曲线族的无监督低光照增强方法及系统。本发明能够通过更短的运行时间、更小的网络模型实现图片的光照增强，且低光照增强效果在更大程度上保留了计算机可提取的高维语义。
5.本发明采用的技术方案如下：
6.一种基于曲线族的低光照增强方法，包括以下步骤：
7.利用由不成对、无标注的低光照图片组成的数据集，训练低光照增强网络模型；该低光照增强网络模型包括特征提取器、参数估值器和曲线族函数；特征提取器包括一个降采样层和连续的若干个卷积层，每个卷积层后跟随一个线性整流函数。降采样层对原图片进行缩小，减少整个模型所需的参数数量。卷积层与线性整流函数的作用为提取图片的特征，并保证特征值非负。不同卷积层的特征会进行加法运算共同作为下一卷积层的输入；参数估值器包括一个全局平均池化层和一个线性整流函数。其中全局平局池化层根据得到的特征向量计算曲线族参数值，线性整流函数保证该参数值非负；曲线族函数是一个人为规定的函数族，用来对输入图像的每一个像素进行映射。
8.将待增强的低光照图像输入到训练好的低光照增强模型中进行以下步骤的处理：
9.将待增强图像输入到特征提取器中，得到图像特征；
10.将图像特征输入到参数估值器中，得到合适的曲线族参数；
11.将既定的曲线族函数与上一步的参数作用于待增强图像的每一个像素上，得到最终的光照增强后图像；
12.进一步地，特征提取器的卷积层有n(n≥3)层，在每个卷积层后都伴随一个线性整
流函数。第i个卷积层对其输入提取特征后通过线性整流函数，得到该层的输出结果。第一层卷积层以原始低光照图片为输入，第i(2≤i《n)层卷积层的输入为前一层卷积层的输出，第n层卷积的输入为前n-1层卷积层输出结果的和。
13.进一步地，参数估值器包括一个全局平均池化层和一个线性整流函数。
14.一种基于曲线族函数的低光照增强系统，包括一个低光照增强网络模型，其经训练后，通过输入待增强的低光照图像，处理得到提高亮度后的图片；该网络模型包括：
15.特征提取器，包括降采样层和连续的若干个卷积层，每个卷积层后跟随一个线性整流函数，前两个整流函数输出结果的和共同作为第三个卷积层的输入；该模块用于提取图像的特征。
16.参数估值器，包括全局平均池化层和一个线性整流函数；该模块根据图像的特征，确定曲线族参数。
17.曲线族函数，是人为确定的函数，用于根据参数估值器得到的参数对原图像的像素进行映射，得到最终提高亮度后的图片。
18.与现有技术相比，本发明的积极效果为：
19.本发明通过调整神经网络的特征空间与通道两个维度的分布，只需要一次参数前传就可以实现效果良好的低光照增强。与已有技术相比，本发明在神经网络鲁棒性、网络模型参数数量、训练速度、处理速度等方面取得更好的综合效果，并保留了光照增强后图像在计算机层面的高维语义。
附图说明
20.图1为本发明实施例所使用的低光照增强网络的结构图。
具体实施方式
21.为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。需说明的是，以下实施例所给出的具体层数、模块数、函数数量以及对某些层的设置等都仅是一种较佳的实施方式，而不用于限制，本领域技术人员可以根据实际需要来选取数量和设置某些层，应可理解。
22.本实施例公开一种基于增强曲线族的低光照增强方法，以对目标内容图像进行低光照增强为例，具体说明如下：
23.步骤1：搜集大量不成对、无标注的低光照图片，组成低光照数据集h。
24.步骤2：搭建低光照增强网络模型。
25.网络结构如图1所示，模型分为特征提取器ef、参数估值器m和曲线族函数f三个部分。特征提取器ef首先对h中选取的输入图像i进行降采样，得到16
×
16的降采样图片。之后，使用3个卷积层对降采样图片进行特征提取，每个卷积层后跟随一个线性整流函数(relu)。网络模型将对第一个与第二个线性整流函数的输出结果进行加法运算，以此作为第三个卷积层的输入。
26.参数估值器m由一个全局平均池化层和一个线性整流函数(relu)组成。该模块可根据上一模块提取的特征矩阵计算曲线组参数α的值，并保证该值非负。
27.其中全局平均池化层运算公式为：
[0028][0029]
式中，α
global
为经全局平均池化层运算预估的参数，s为特征提取器输出的特征矩阵，c,h,w为特征矩阵的总通道数、总长与总宽，s
i,j,k
为特征矩阵第i个通道(j,k)位置的值。
[0030]
线性整流函数运算公式为：α＝max(0,α
global
)
[0031]
式中，α为最后估计的参数值。
[0032]
曲线族函数f是一个给定的函数族f(x,α)，其具体输出由输入值x与参数α共同决定。在参数估值器m计算得到α后，网络模型对输入图片i的每一个像素进行函数映射，得到输出图像o。
[0033]
在确定曲线族函数f时，为保证生成图像的稳定性、连续性，f需满足如下四个性质：
[0034]
1.对比度不变：f(0,α)＝0,
[0035]
2.内容一致性：f是单调且可微的；
[0036]
3.全域覆盖：对于任意的x0,y0,都存在α使得f(x0,α)＝y0；
[0037]
4.严格单调性：f对于定义域中任意x的导数非零
[0038]
以下曲线函数族均满足上述四个条件：
[0039][0040]
其中，
[0041]
上述函数中，自变量x为正实数值，在本发明的应用场景中为图像每个像素的具体值；自变量α为曲线族的参数，在本发明的应用场景中为待网络模型确定的曲线族参数。
[0042]
图1以倒数函数族为例，也可替换为其他函数族。
[0043]
步骤3：训练低光照增强模型。
[0044]
模型的总损失函数项为：
[0045]
l＝λ
exp
l
exp
λ
spa
l
spa

color
l
color
，
[0046]
式中，λ
exp
、λ
spa
、λ
color
是权重项，通常λ
exp
设置为10，λ
spa
设置为48，λ
color
设置为5.
[0047]
l
exp
为增强程度损失函数项：
[0048]
l
exp
＝∑
x∈i
|e(x)-e|，
[0049]
式中，e(
·
)为步骤2中的网络模型，i为待增强的低光照图像，x为图像i中的像素点，e为人工设定的超参数值，用以控制光照增强的程度。
[0050]
l
spa
为空间分布一致损失函数项：
[0051]
l
spa
＝∑
j∈ω
(|e(i)-e(i)j|-|i-ij|)2，
[0052]
式中，ω为与一个像素相邻的四个像素的偏移量集合，即上、下、左、右；ij为图像i整体向某一方向偏移一个像素得到的图像，e(i)j为输出图像e(i)整体向某一方向偏移一个像素得到的图像。
[0053]
l
color
为颜色稳定损失函数项：
[0054]
l
color
＝(e(i)
r-e(i)g)2 (e(i)
g-e(i)b)2 (e(i)
b-e(i)r)2，
[0055]
e(i)r，e(i)g，e(i)b为输出图像e(i)在rgb三个通道上的分量。
[0056]
在计算得到总损失函数项后，通过反向传播方法更新特征提取器中各卷积层的参数，以此进行训练。
[0057]
步骤4：推理阶段，对于待增强的低光照图像，输入给步骤3训练得到的低光照增强模型即可得到结果。
[0058]
以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。