基于红外补偿器和生成对抗网络的红外与可见光融合方法

1.本发明涉及图像融合技术领域，尤其是涉及一种基于红外补偿器和生成对抗网络的红外与可见光融合方法。


背景技术：

2.由于成像传感器本身的限制，很难获得满足人们需求的高质量图像。图像融合在这方面起到了很重要的作用，图像融合的目标便是将两幅图像或多幅图像进行融合并在融合图像中保留源图像中丰富的有效信息。这种对图像信息的重建可以广泛的应用于许多的计算机视觉领域，如目标识别、目标跟踪、自动驾驶等。而红外与可见光图像的融合一直都是多源传感器图像融合的热点领域之一，红外图像是热成像仪所形成的图像，所以目标图像可以通过热辐射的差异较为容易的识别出来，但由于纹理轮廓几乎不会影响物体的辐射热量，因此红外图像无法保留场景中的细节信息。而可见光图像是通过捕捉反射光形成的，所以包含了很多纹理信息。正由于这两种源图像的强互补性，因此融合出的结果很有可能呈现出图像所有不同的特性。
3.近年来，人们提出了许多不同的融合方法，总体大致分为传统方法和基于深度学习的融合方法。然而大多数的传统方法中的活动级别度量和融合规则都是以手动方式设计的，随着方法性能的提升这些都变得越来越复杂，因此存在实现难度和计算成本问题。深度学习的火热也为图像融合领域提供一种全新的思路。目前深度学习在图像融合中应用主要是卷积神经网络和生成对抗网络，经过检索中国专利cn112750095a公开了一种红外与可见光融合方法、交通监控装置及存储介质，通过将可见光图像和红外图像进行高斯金字塔和拉普拉斯金字塔构建，实现二者的融合，此专利解决了红外图像与可见光图像的融合，但计算过程较复杂。基于生成对抗神经网络的方法可以产生具有良好视觉效果的融合图像，然而它们缺乏突出源图像中存在的典型区域的能力，使得红外图像中的目标对比度较低，忽略了可见光图像中存在的一些细节信息。


技术实现要素：

4.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，方法解决了现有基于生成对抗网络的图像融合技术中不能兼顾两幅源图像中目标特征信息和纹理细节信息等问题，可用于目标检测跟踪等电力系统领域。
5.本发明的目的可以通过以下技术方案来实现：
6.一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，包括以下步骤：
7.s1采用改进的生成对抗网络中的生成器，获取红外图像的强度信息和可见光图像的细节信息，并通过判别器与生成器之间的博弈对抗获取源图像信息；
8.s2采用红外补偿器对红外图像进行特征提取得到目标热辐射信息；
9.s3对由红外补偿器提取到的目标热辐射信息以及由生成对抗网络得到的源图像
信息进行信息重构，得到最终的融合图像。
10.进一步地，所述步骤s1中的生成对抗网络通过带有梯度惩罚的wasserstein距离来设计生成器和判别器的网络结构以及损失函数，解决了传统生成对抗网络的生成图像质量问题。
11.进一步地，所述的生成对抗网络通过控制比例因子使网络专注于学习一个部分来择取强度信息和梯度信息。
12.进一步地，所述的生成器模型的损失函数表示为：
13.l＝ladvers(g) γl
content
[0014][0015][0016]
其中，l
advers
(g)为生成器和判别器之间的对抗性损失，ez表示生成器生成的数据分布，z表示生成器生成的数据，pg表示生成器生成数据的集合，l
content
是内容损失，h和w是输入图像的长度和宽度，||
·
||表示矩阵的范数，if为融合图像的像素强度值，ir为红外图像的像素强度值，iv表示可见光图像的梯度值，是梯度运算符，d(z)为通过判别器生成的数据，调节机制是指控制比例因子使网络专注于学习一个某部分，τ是比例因子。
[0017]
进一步地，所述的判别器模型的损失函数表示为：
[0018][0019]
其中前两项为wasserstein距离估计，后一项是梯度惩罚表达式，e
x
为可见光图像的数据分布，p
vis
是可见光图像的集合，pg是生成器生成的数据分布，是沿连接生成数据和真实数据的直线均匀采样的样本，μ是惩罚因子，d(x)是可见光图像输入判别器后生成的数据。
[0020]
进一步地，所述的最终的融合图像通过红外补偿器提取到的显著目标图像和生成对抗网络的预融合图像进行线性叠加得到，表示为：
[0021]iffl
＝σ0i
fibf
σ1i
fl
[0022]
其中，i
ffl
是最终融合图像，i
fibf
是由红外补偿器生成的红外明亮特征图，i
fl
是生成对抗网络生成的预融合图像，σ0和σ1是权重参数。
[0023]
进一步地，所述步骤s2中对红外图像特征的提取包括：
[0024]
s21首先对红外背景进行预重构，然后使用滤波器对出现的块状伪影进行平滑处理，得到最终的红外背景图，其过程表达式为：
[0025]
q(u，v)＝umpm
tvt
[0026]ifibg
＝i
ibg
×
g(s，σ)
[0027]
其中(u，v)表示的是插值点，其位置由0和1之间的插值比表示，u和v矩阵代表了与(u，v)相关的插值系数，m为指定常量插值系矩阵，p表示由16个控制点组成的4
×
4矩阵，通过结合q(u，v)来获得初步的红外背景i
ibg
，(s，σ)表示的是高斯滤波器的大小及其参数，i
fibg
代表最终的红外背景图；
[0028]
s22红外图像减去红外背景图可以得到初始明亮红外特征bf，其表达式为：
[0029]
bf＝max(i
ir-i
fibg
，0)
[0030]
s23为避免之前操作造成的冗余，通过将红外图像的正部分与求和图像i
sum
相乘来计算冗余背景信息抑制比，初始明亮红外特征减去i
rbg
得到最终的明亮红外特征图，其过程表达式为：
[0031]irbg
＝α
×
max(i
sum-i
ir
，0)
[0032]
bf
final
＝bf-i
rbg
[0033]
其中，α是冗余背景信息抑制比，bf
final
代表最终的明亮红外特征图，i
ibg
为初步的红外背景，i
sum
为求和图像，表示生成对抗网络生成的预融合图像，i
ir
为红外图像，bf为初始明亮红外特征。
[0034]
进一步地，所述的红外补偿器采用基于背景重构和红外的方法对红外图像进行特征提取。
[0035]
与现有技术相比，本发明具有以下有益效果：
[0036]
1.本发明利用一种红外补偿器来提取红外特征并保留视觉信息，有助于整个融合方法获得红外图像中的明亮目标特征。
[0037]
2.本发明采用的改进生成对抗网络通过带有梯度惩罚的wasserstein距离，加快了生成对抗网络的收敛速度，可以生成更高质量的融合图像，解决了传统生成对抗网络中缺乏突出源图像典型区域的问题。
[0038]
3.本发明通过线性叠加将从红外提取和生成对抗网络中提取图像信息进行有效整合，解决了现有图像融合技术不能兼顾两幅源图像中的目标特征信息和纹理细节信息的问题，使最终融合图像不仅含有丰富的纹理细节而且具有明显的红外目标特征。
附图说明
[0039]
图1为本发明的方法流程图。
[0040]
图2为本发明的实施例应用过程图。
[0041]
图3为本发明的生成器网络结构示意图。
[0042]
图4为本发明的判别器网络结构示意图。
具体实施方式
[0043]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0044]
实施例
[0045]
如图1所示的一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，包括以下步骤：
[0046]
s1采用改进的生成对抗网络中的生成器，获取红外图像的强度信息和可见光图像的细节信息，并通过判别器与生成器之间的博弈对抗获取源图像信息；
[0047]
s2采用红外补偿器对红外图像进行特征提取得到目标热辐射信息；
[0048]
s3对由红外补偿器提取到的目标热辐射信息以及由生成对抗网络得到的源图像信息进行信息重构，得到最终的融合图像。
[0049]
步骤s2中对红外图像特征的提取包括：
[0050]
s21首先对红外背景进行预重构，然后使用滤波器对出现的块状伪影进行平滑处理，得到最终的红外背景图，其过程表达式为：
[0051]
q(u，v)＝umpm
tvt
[0052]ifibg
＝i
ibg
×
g(s，σ)
[0053]
其中(u，v)表示的是插值点，其位置由0和1之间的插值比表示，u和v矩阵代表了与(u，v)相关的插值系数，m为指定常量插值系矩阵，p表示由16个控制点组成的4
×
4矩阵，通过结合q(u，v)来获得初步的红外背景i
ibg
，(s，σ)表示的是高斯滤波器的大小及其参数，i
fibg
代表最终的红外背景图；
[0054]
s22红外图像减去红外背景图可以得到初始明亮红外特征bf，其表达式为：
[0055]
bf＝max(i
ir-i
fibg
，0)
[0056]
s23为避免之前操作造成的冗余，通过将红外图像的正部分与求和图像i
sum
相乘来计算冗余背景信息抑制比，初始明亮红外特征减去i
rbg
得到最终的明亮红外特征图，其过程表达式为：
[0057]irbg
＝α
×
max(i
sum-i
ir
，0)
[0058]
bf
final
＝bf-i
rbg
[0059]
其中，α是冗余背景信息抑制比，bf
final
代表最终的明亮红外特征图，i
ibg
为初步的红外背景，i
sum
为求和图像，表示生成对抗网络生成的预融合图像，i
ir
为红外图像，bf为初始明亮红外特征。
[0060]
如图2所示的生成对抗网络是一种带有梯度惩罚的wasserstein生成对抗网络。该生成对抗网络包含生成器模型和判别器模型，生成器获得红外图像的强度信息和大量的可见光图像的细节信息，并通过判别器与生成器之间的博弈对抗获得更为完善的源图像信息；在红外补偿器中先对输入的红外图像进行背景提取得到红外背景图，接着进行红外图像的特征提取得到目标热辐射信息。对由红外补偿器提取到的目标热辐射信息以及由生成对抗网络得到的源图像信息进行信息重构得到最终的融合图像。生成器模型的损失函数表示为：
[0061]
l＝ladvers(g) γl
content
[0062][0063][0064]
其中，l
advers
(g)为生成器和判别器之间的对抗性损失，ez表示生成器生成的数据分布，z表示生成器生成的数据，pg表示生成器生成数据的集合，l
content
是内容损失，h和w是输入图像的长度和宽度，||
·
||表示矩阵的范数，if为融合图像的像素强度值，ir为红外图像的像素强度值，iv表示可见光图像的梯度值，是梯度运算符，d(z)为通过判别器生成的数据，调节机制是指控制比例因子使网络专注于学习一个某部分，τ是比例因子。
[0065]
判别器模型的损失函数表示为：
[0066][0067]
其中前两项为wasserstein距离估计，后一项是梯度惩罚表达式，e
x
为可见光图像的数据分布，p
vis
是可见光图像的集合，pg是生成器生成的数据分布，是沿连接生成数据和
真实数据的直线均匀采样的样本，μ是惩罚因子，d(x)是可见光图像输入判别器后生成的数据。
[0068]
最终的融合图像通过红外补偿器提取到的显著目标图像和生成对抗网络的预融合图像进行线性叠加得到，表示为：
[0069]iffl
＝σ0i
fibf
σ1i
fl
[0070]
其中，i
ffl
是最终融合图像，i
fibf
是由红外补偿器生成的红外明亮特征图，i
fl
是生成对抗网络生成的预融合图像，σ0和σ1是权重参数。
[0071]
如图3所示，生成器包含五层的卷积神经网络，其中的第一层和第二层我们采用了5
×
5的大卷积核，目的是为了获得更大的感受野从而获得更好的图片特征信息。第三层和第四层采用了3
×
3的卷积核降低计算量，第五层用了1
×
1的卷积核，为了模型训练的稳定性，在前四层的每个滤波器后都加上了批标准化层，这有利于梯度的反向传播进而改善梯度消失等问题，此外将每个卷积层上的步幅设为1，每个卷积层上的卷积核的数量分别为256、128、56、32、1。最后在激活函数方面，在前四层采用了leakyrelu激活函数，在第五层采用了tanh激活函数。
[0072]
如图4所示，判别器包含五层的卷积神经网络，其输入是三幅图像，分别为可见光图像、生成器生成的融合图像、还有介于前两幅图像之间直线采样后用于梯度惩罚的中间图像。我们同样为判别器的结构设计了一个五层的卷积神经网络，前四层采用了数量分别为32、64、128、256、步幅为2的3
×
3的卷积核和leakyrelu激活函数，并且由于wgan-gp是对每一个样本进行梯度惩罚，所以在第二、三、四层的滤波器后采用了层归一化来帮助稳定训练，最后一层是线性层，用来输出分类结果。
[0073]
上述的生成对抗网络在训练时通过对生成器和判别器迭代训练来达到最终的纳什平衡，使得损失函数最小化从而生成理想图像，在测试过程中采用与训练过程中不交叉的数据集来验证模型的可行性和泛化能力。
[0074]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。