基于特征解耦学习的低曝光图像增强方法与流程

1.本发明涉及计算机视觉领域，具体涉及一种基于特征解耦学习的低曝光图像增强方法。


背景技术：

2.静脉血管与其他生物识别功能(如指纹，虹膜，手势和脸部)相比，具有防伪，易接受的特点，已成为最受欢迎的个人识别方法之一。但由于静脉采集设备的局限性，采集到的图像往往会出现背景灰暗，图像对比度低，静脉脉络不清晰和静脉信息细节丢失等问题。
3.静脉识别需要较多静脉细节信息，传统低曝光图像增强算法不能很好解决静脉信息细节丢失的问题。wang等人提出一种多尺度top
‑
hat的方法提高手背静脉图像的质量和对比度，但是其边缘处理效果较差。wu等人通过考虑静脉图像采集过程中个体近红外吸收的差异，增强静脉和周围组织之间对比度。但是不同个体对红外吸收差异较大，导致模型泛化能力较弱。ravirathinam等人提出一种可分离卷积层组成的编码器
‑
解码器模型，引入多上下文特征提取模块提取更丰富和与图像增强任务更相关的特征用于低亮度图像增强，但只考虑了噪声对低亮度图像的影响，模型泛化能力不强。


技术实现要素：

4.本发明的目的在于提供一种基于特征解耦学习的低曝光图像增强方法，能够有效解决静脉图像背景灰暗，图像对比度低，静脉的脉络不清晰和静脉细节信息丢失的问题。
5.实现本发明目的的技术解决方案为：一种基于特征解耦学习的低曝光图像增强方法，包括以下步骤：
6.步骤1、采集p幅正常曝光下人体手背静脉图像，100＜p＜10000，通过低亮度图像合成方法将上述正常曝光人体手背静脉图像逐张转化为低曝光手背静脉图像，再对所有静脉图像分别进行有效区域提取，提取后的图像像素大小为h
×
w，分别得到正常曝光下人体手背静脉提取图像训练集和低曝光手背静脉提取图像训练集。
7.步骤2、基于编码器enc_p、enc_b、解码器dec_b、dec_p以及判别器dis构建一个特征解耦网络，基于一个编码器enc_v和一个解码器dec_v构建一个图像增强网络。
8.步骤3、利用正常曝光下人体手背静脉提取图像训练集和低曝光手背静脉提取图像训练集，训练特征解耦网络，得到训练好的特征解耦网络：
9.步骤3
‑
1、通过正常曝光人体手背静脉提取图像训练集中的图像训练编码器enc_p，得到其对应的正常曝光人体手背静脉图像的纹理特征f
p_v
，经解码器dec_p解码得到正常曝光人体手背静脉图像，训练迭代优化后，固定编码器enc_p参数。
10.步骤3
‑
2、将低曝光手背静脉提取图像训练集中的低曝光手背静脉提取图像输入到编码器enc_b中，编码得到低曝光手背静脉提取图像特征f
b
。
11.步骤3
‑
3、将正常曝光人体手背静脉图像的纹理特征f
p_v
和低曝光手背静脉提取图像特征f
b
进行级联，得到低曝光手背静脉图像重建特征f
d
，将f
d
输入到解码器dec_b中进行
解码得到低曝光手背静脉解码图像
12.步骤3
‑
4、将低曝光手背静脉提取图像作为标签信息和低曝光手背静脉解码图像同时输入到判别器dis，对其真假进行判别，迫使编码器enc_b编码得到的低曝光手背静脉提取图像特征f
b
是低曝光静脉图像的背景特征，训练迭代优化后，固定编码器enc_b参数和解码器dec_b参数，进而获得训练好的特征解耦网络。
13.步骤4、利用低曝光手背静脉提取图像训练集和训练好的特征解耦网络，训练图像增强网络，得到训练好的图像增强网络：
14.步骤4
‑
1、将低曝光手背静脉提取图像训练集中的低曝光手背静脉提取图像输入到编码器enc_v，得到低曝光手背静脉特征f
v
。
15.步骤4
‑
2、将低曝光手背静脉特征f
v
与低曝光手背静脉提取图像特征f
b
级联，得到低曝光图像重建特征f
d
′
，f
d
′
输入到解码器dec_b中进行解码得到低曝光手背静脉图像
16.步骤4
‑
3、将低曝光手背静脉提取图像作为标签信息和低曝光手背静脉图像同时输入到判别器dis，对其真假进行判别，迫使编码器enc_v得到的低曝光手背静脉特征f
v
为低曝光手背静脉提取图像的纹理特征。
17.步骤4
‑
4、将低曝光手背静脉特征f
v
输入到解码器dec_v解码输出得到增强后的静脉图像训练迭代优化后，得到训练好的图像增强网络。
18.步骤5、采集m个人体手背的低曝光静脉图像，100<m＜1000，对其进行有效区域提取，得到像素大小为h
×
w的m幅静脉图像，作为测试集。
19.步骤6、将测试集中的低曝光静脉图像输入到训练好的图像增强网络，得到增强后的静脉图像。
20.与现有技术相比，本发明的优点在于：
21.1)传统的静脉图像增强算法需要大量的手工参数设计，并且针对某个特定的数据库，进而导致算法普适性和鲁棒性差。本发明结合静脉图像分布特性将低曝光静脉图像看作为纹理特征与背景光照信息的线性组合，基于这一分布特性，首次构建了基于特征解耦学习的低曝光静脉图像增强算法框架。该算法框架通过三个编码器和两个解码器将低曝光图像分解为纹理特征和背景光照信息，随后利用分解的纹理信息重建正常曝光的静脉图像。因此，相比现有的静脉图像增强算法，本发明设计的算法泛化能力更强，鲁棒性更强。
22.2)在使用普通编码器对图像进行编码时，这些构成图像的主要因素是耦合的，使得在改变编码向量时，无法单独改变某一个特征而不影响其他的特征。低曝光静脉图像背景灰暗，静脉纹理信息与背景很难区分，图像对比度低；正常曝光静脉图像背景明亮，静脉纹理信息丰富，图像的对比度较高，使用编解码网络较容易获得其纹理特征，本发明以此为监督信息，引入对抗损失，将低曝光静脉图像纹理特征和背景分离，操纵特定的特征重建正常曝光的图像，从而实现低曝光静脉图像的增强。
附图说明
23.图1为基于特征解耦学习的低曝光图像增强方法流程图。
24.图2为基于特征解耦学习的低曝光图像增强方法框架图。
25.图3为自制手背静脉图像数据集合成图像和原始图像，其中图(a)为合成图像，图
(b)为原始图像。
26.图4为不同算法对比实验结果图。
具体实施方式
27.为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
28.结合图1和图2，本发明所述的种基于特征解耦学习的低曝光图像增强方法，包括以下步骤：
29.步骤1、采集p幅正常曝光下人体手背静脉图像，100＜p＜10000，通过低亮度图像合成方法将上述正常曝光人体手背静脉图像逐张转化为低曝光手背静脉图像，再对所有静脉图像分别进行有效区域提取，提取后的图像像素大小为h
×
w，分别得到正常曝光下人体手背静脉提取图像训练集和低曝光手背静脉提取图像训练集。
30.步骤2、基于编码器enc_p、enc_b、解码器dec_b、dec_p以及判别器dis构建一个特征解耦网络，基于一个编码器enc_v和一个解码器dec_v构建一个图像增强网络。
31.步骤3、利用正常曝光下人体手背静脉提取图像训练集和低曝光手背静脉提取图像训练集，训练特征解耦网络，得到训练好的特征解耦网络：
32.步骤3
‑
1、通过正常曝光人体手背静脉提取图像训练集中的图像训练编码器enc_p，得到其对应的正常曝光人体手背静脉图像的纹理特征f
p_v
，经解码器dec_p解码得到正常曝光人体手背静脉图像，训练迭代优化后，固定编码器enc_p参数。
33.使用正常曝光人体手背静脉提取图像训练编码器enc_p与解码器dec_p，由于输入和输出都为正常曝光人体手背静脉图像，使得编码器enc_p编码出来得到的特征为静脉图像的纹理特征：
[0034][0035]
其中，f
p_v
为正常曝光人体手背静脉图像的纹理特征；为输入的正常曝光人体手背静脉提取图像。
[0036]
步骤3
‑
2、将低曝光手背静脉提取图像训练集中的低曝光手背静脉提取图像输入到编码器enc_b中，编码得到低曝光手背静脉提取图像特征f
b
。
[0037]
将低曝光手背静脉提取图像输入到编码器enc_b中，得到特征：
[0038][0039]
其中，f
b
为enc_b编码得到的低曝光手背静脉提取图像特征，当后续经过特征解耦后其代表低曝光手背静脉提取图像的背景特征；为输入的低曝光手背静脉提取图像。
[0040]
步骤3
‑
3、将正常曝光人体手背静脉图像的纹理特征f
p_v
和低曝光手背静脉提取图像特征f
b
进行级联，得到低曝光手背静脉图像重建特征f
d
，将f
d
输入到解码器dec_b中进行解码得到低曝光手背静脉解码图像
[0041]
在获取到正常曝光人体手背静脉图像的纹理特征f
p_v
和低曝光手背静脉提取图像编码输出的低曝光手背静脉提取图像特征f
b
之后，将两个特征进行级联：
[0042]
f
d
＝concate(f
b
,f
p_v
)
[0043]
其中，f
d
为f
b
和f
p_v
级联之后的低曝光手背静脉图像重建特征，concate(
·
)为特征
级联操作；再将f
d
输入到解码器dec_b中进行解码得到低曝光手背静脉解码图像
[0044][0045]
步骤3
‑
4、将低曝光手背静脉提取图像作为标签信息和低曝光手背静脉解码图像同时输入到判别器dis，对其真假进行判别，迫使编码器enc_b编码得到的低曝光手背静脉提取图像特征f
b
是低曝光静脉图像的背景特征，训练迭代优化后，固定编码器enc_b参数和解码器dec_b参数，进而获得训练好的特征解耦网络。
[0046]
通过计算损失函数l
dec_b
使f
d
为低曝光手背静脉提取图像的主要特征；
[0047][0048]
为了使低曝光手背静脉提取图像的纹理特征和背景特征的解耦效果更好，使用判别器网络对解码器重建的图像和目标图像进行真假判断。由于f
d
是由预训练的自编码网络得到的正常曝光人体手背静脉提取图像的纹理特征f
p_v
和输入为低曝光手背静脉提取图像编码得到的低曝光手背静脉提取图像特征f
b
级联得到，通过将f
d
恢复成低曝光手背静脉图像，就可以迫使f
b
编码得到的是低曝光手背静脉提取图像的背景特征。
[0049]
步骤4、利用低曝光手背静脉提取图像训练集和训练好的特征解耦网络，训练图像增强网络，得到训练好的图像增强网络：
[0050]
步骤4
‑
1、将低曝光手背静脉提取图像训练集中的低曝光手背静脉提取图像输入到编码器enc_v，得到低曝光手背静脉特征f
v
：
[0051][0052]
步骤4
‑
2、将低曝光手背静脉特征f
v
与低曝光手背静脉提取图像特征f
b
级联，得到低曝光图像重建特征f
d
′
，f
d
′
输入到解码器dec_b中进行解码得到低曝光手背静脉图像
[0053]
将低曝光手背静脉特征f
v
与低曝光手背静脉提取图像特征f
b
级联，得到低曝光图像重建特征f
d
′
：
[0054]
f
d
′
＝concate(f
b
，f
v
)
[0055]
将f
d
′
输入到解码器dec_b中进行解码得到低曝光手背静脉图像
[0056][0057]
步骤4
‑
3、将低曝光手背静脉提取图像作为标签信息和低曝光手背静脉图像同时输入到判别器dis，对其真假进行判别，迫使编码器enc_v得到的低曝光手背静脉特征f
v
为低曝光手背静脉提取图像的纹理特征。
[0058]
通过计算损失函数l
dec_b
使f
d
′
为低曝光手背静脉提取图像的主要特征：
[0059][0060]
步骤4
‑
4、将低曝光手背静脉特征f
v
输入到解码器dec_v解码输出得到增强后的静脉图像训练迭代优化后，得到训练好的图像增强网络。
[0061]
由于f
d
和f
d
′
解码输出都为低曝光的手背静脉图像，并且两部分的解码使用相同的解码器，从而迫使f
d
与f
d
′
具有相同的特征向量，由于两者都是通过与低曝光手背静脉提取图像特征f
b
级联得到，这会使f
v
与f
p_v
非常接近，因此使用f
v
也能重建增强后的静脉图像
[0062][0063]
其中，为增强后的静脉图像。
[0064]
步骤5、采集m个人体手背的低曝光静脉图像，100<m＜1000，对其进行有效区域提取，得到像素大小为h
×
w的m幅静脉图像，作为测试集。
[0065]
步骤6、将测试集中的低曝光静脉图像输入到训练好的图像增强网络，得到增强后的静脉图像。
[0066]
实施例1
[0067]
本发明所述的种基于特征解耦学习的低曝光图像增强方法，包括以下步骤：
[0068]
步骤1、采集2000幅正常曝光下人体手背静脉图像，通过低亮度图像合成方法将上述正常曝光人体手背静脉图像逐张转化为低曝光手背静脉图像，再对所有静脉图像分别进行有效区域提取，提取后的图像像素大小为256
×
256，分别得到正常曝光下人体手背静脉提取图像训练集和低曝光手背静脉提取图像训练集，如图3所示。
[0069]
步骤2、基于编码器enc_p、enc_b、解码器dec_b、dec_p以及判别器dis构建一个特征解耦网络，基于一个编码器enc_v和一个解码器enc_v构建一个图像增强网络。
[0070]
步骤3、利用正常曝光下人体手背静脉提取图像训练集和低曝光手背静脉提取图像训练集，训练特征解耦网络，得到训练好的特征解耦网络：
[0071]
步骤3
‑
1、通过正常曝光人体手背静脉提取图像训练集中的图像训练编码器enc_p，得到其对应的正常曝光人体手背静脉图像的纹理特征f
p_v
，经解码器dec_p解码得到正常曝光人体手背静脉图像，训练迭代优化后，固定编码器enc_p参数。
[0072]
使用正常曝光人体手背静脉提取图像训练编码器enc_p与解码器dec_p，由于输入和输出都为正常曝光人体手背静脉图像，使得编码器enc_p编码出来得到的特征为静脉图像的纹理特征：
[0073][0074]
其中，f
p_v
为正常曝光人体手背静脉图像的纹理特征；为输入的正常曝光人体手背静脉提取图像。
[0075]
步骤3
‑
2、将低曝光手背静脉提取图像训练集中的低曝光手背静脉提取图像输入到编码器enc_b中，编码得到低曝光手背静脉提取图像特征f
b
。
[0076]
将低曝光手背静脉提取图像输入到编码器enc_b中，得到特征：
[0077][0078]
其中，f
b
为enc_b编码得到的低曝光手背静脉提取图像特征，当后续经过特征解耦后其代表低曝光手背静脉提取图像的背景特征；为输入的低曝光手背静脉提取图像。
[0079]
步骤3
‑
3、将正常曝光人体手背静脉图像的纹理特征f
p_v
和低曝光手背静脉提取图像特征f
b
进行级联，得到低曝光手背静脉图像重建特征f
d
，将f
d
输入到解码器dec_b中进行解码得到低曝光手背静脉解码图像
[0080]
在获取到正常曝光人体手背静脉图像的纹理特征f
p_v
和低曝光手背静脉提取图像编码输出的低曝光手背静脉提取图像特征f
b
之后，将两个特征进行级联：
[0081]
f
d
＝concate(f
b
,f
p_v
)
[0082]
其中，f
d
为f
b
和f
p_v
级联之后的低曝光手背静脉图像重建特征，concate(
·
)为特征级联操作；再将f
d
输入到解码器dec_b中进行解码得到低曝光手背静脉解码图像
[0083][0084]
步骤3
‑
4、将低曝光手背静脉提取图像作为标签信息和低曝光手背静脉解码图像同时输入到判别器dis，对其真假进行判别，迫使编码器enc_b编码得到的低曝光手背静脉提取图像特征f
b
是低曝光静脉图像的背景特征，训练迭代优化后，固定编码器enc_b参数和解码器dec_b参数，进而获得训练好的特征解耦网络。
[0085]
通过计算损失函数l
dec_b
使f
d
为低曝光手背静脉提取图像的主要特征：
[0086][0087]
为了使低曝光手背静脉提取图像的纹理特征和背景特征的解耦效果更好，使用判别器网络对解码器重建的图像和目标图像进行真假判断。由于f
d
是由预训练的自编码网络得到的正常曝光人体手背静脉提取图像的纹理特征f
p_v
和输入为低曝光手背静脉提取图像编码得到的低曝光手背静脉提取图像特征f
b
级联得到，通过将f
d
恢复成低曝光手背静脉图像，就可以迫使f
b
编码得到的是低曝光手背静脉提取图像的背景特征。
[0088]
步骤4、利用低曝光手背静脉提取图像训练集和训练好的特征解耦网络，训练图像增强网络，得到训练好的图像增强网络：
[0089]
步骤4
‑
1、将低曝光手背静脉提取图像训练集中的低曝光手背静脉提取图像输入到编码器enc_v，得到低曝光手背静脉特征f
v
：
[0090][0091]
步骤4
‑
2、将低曝光手背静脉特征f
v
与低曝光手背静脉提取图像特征f
b
级联，得到低曝光图像重建特征f
d
′
，f
d
′
输入到解码器dec_b中进行解码得到低曝光手背静脉图像
[0092]
将低曝光手背静脉特征f
v
与低曝光手背静脉提取图像特征f
b
级联，得到低曝光图像重建特征f
d
′
：
[0093]
f
d
′
＝concate(f
b
，f
v
)
[0094]
将f
d
′
输入到解码器dec_b中进行解码得到低曝光手背静脉图像
[0095][0096]
步骤4
‑
3、将低曝光手背静脉提取图像作为标签信息和低曝光手背静脉图像同时输入到判别器dis，对其真假进行判别，迫使编码器enc_v得到的低曝光手背静脉特征f
v
为低曝光手背静脉提取图像的纹理特征。
[0097]
通过计算损失函数l
dec_b
使f
d
′
为低曝光手背静脉提取图像的主要特征：
[0098][0099]
步骤4
‑
4、将低曝光手背静脉特征f
v
输入到解码器dec_v解码输出得到增强后的静脉图像训练迭代优化后，得到训练好的图像增强网络。
[0100]
由于f
d
和f
d
′
解码输出都为低曝光的手背静脉图像，并且两部分的解码使用相同的解码器，从而迫使f
d
与f
d
′
具有相同的特征向量，由于两者都是通过与低曝光手背静脉提取
图像特征f
b
级联得到，这会使f
v
与f
p_v
非常接近，因此使用f
v
也能重建增强后的静脉图像
[0101][0102]
步骤5、采集300个人体手背的低曝光静脉图像，对其进行有效区域提取，得到像素大小为256
×
256的300幅静脉图像，作为测试集。
[0103]
步骤6、将测试集中的低曝光静脉图像输入到训练好的图像增强网络，得到增强后的静脉图像。
[0104]
本发明提出的方法在nvidia 2080ti gpu主机上采用python编程语言和tensorflow框架语言搭建网络框架进行相关实验。训练包含三部分，首先训练编码器enc_p与解码器dec_p。每层卷积层使用relu激活函数，网络的学习率设置为2e
‑4。第二步训练特征解耦网络enc_b与dec_b、判别器dis。在固定以上模块的参数之后，训练静脉图像增强网络enc_v和dec_v，网络的学习率设置为2e
‑5，卷积层后使用relu激活函数。其中，训练编码器enc_p与解码器dec_p的batch
‑
size设置为3，训练迭代400次，特征解耦网络的batch
‑
size设置为2，训练迭代800次结束训练。实验网络中还使用adam优化算法实现更高效的运算。
[0105]
为了验证低曝光图像增强有利于提高静脉识别系统的准确率，将没有经过增强的低曝光静脉图像和增强过后的静脉图像进行静脉识别对比实验，体现低曝光图像增强的实际应用意义。由于实际采集的低曝光静脉图像规模较小，不利于训练静脉识别模型，而且在实际的应用场所中，静脉采集装置采集得到的静脉图像大多是正常曝光的图像，只是由于某些因素可能导致采集过程中偶然出现背景灰暗的低对比度静脉图像。因此，使用正常曝光的静脉图像训练经典的图像识别网络vgg16，然后将没有经过增强的低曝光静脉图像和增强过的静脉图像作为网络的测试集，得到图像增强对静脉识别率的影响，rank
‑
one识别结果如表1所示。由实验可知，增强后的静脉图像识别率提高58.943％，验证了低曝光图像增强对静脉系统验证效果提升的有效性。
[0106]
表1 rank
‑
one识别结果(％)
[0107][0108]
为了更好地体现本发明提出算法对于低曝光静脉图像增强的有效性，选取图像转换和低亮度图像增强中的相关算法lime、cycle
‑
gan、pix2pix、die作为对比实验的模型进行相关实验，实验结果如图4所示。为了避免人类视觉偏差带来的误差，计算图像的psnr和ssim进行定量分析，结果如表2所示。
[0109]
表2不同算法的psnr和ssim对比结果(单位：分贝)
[0110]
[0111]
由表2可知，本发明提出的方法在数值上相对于其他的对比模型在psnr和ssim指标上均有较为明显的提高。