基于红外补偿器和生成对抗网络的红外与可见光融合方法

技术特征：
1.一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，其特征在于，包括以下步骤：s1采用改进的生成对抗网络中的生成器，获取红外图像的强度信息和可见光图像的细节信息，并通过判别器与生成器之间的博弈对抗获取源图像信息；s2采用红外补偿器对红外图像进行特征提取得到目标热辐射信息；s3对由红外补偿器提取到的目标热辐射信息以及由生成对抗网络得到的源图像信息进行信息重构，得到最终的融合图像。2.根据权利要求1所述的一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，其特征在于，所述步骤s1中生成对抗网络通过带有梯度惩罚的wasserstein距离来设计生成器和判别器的网络结构以及损失函数，以解决传统生成对抗网络的生成图像质量问题。3.根据权利要求1所述的一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，其特征在于，所述步骤s1中生成对抗网络通过控制比例因子使网络专注于学习一个部分来择取强度信息和梯度信息。4.根据权利要求1所述的一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，其特征在于，所述的生成器模型的损失函数表示为：l＝l
advers
(g) γl
contentcontent
其中，l
advers
(g)为生成器和判别器之间的对抗性损失，e
z
表示生成器生成的数据分布，z表示生成器生成的数据，p
g
表示生成器生成数据的集合，l
content
是内容损失，h和w是输入图像的长度和宽度，||
·
||表示矩阵的范数，i
f
为融合图像的像素强度值，i
r
为红外图像的像素强度值，i
v
表示可见光图像的梯度值，是梯度运算符，d(z)为通过判别器生成的数据，调节机制是指控制比例因子使网络专注于学习一个某部分，τ是比例因子。5.根据权利要求1所述的一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，其特征在于，所述的判别器模型的损失函数表示为：其中前两项为wasserstein距离估计，后一项是梯度惩罚表达式，e
x
为可见光图像的数据分布，p
vis
是可见光图像的集合，p
g
是生成器生成的数据分布，是沿连接生成数据和真实数据的直线均匀采样的样本，μ是惩罚因子，d(x)是可见光图像输入判别器后生成的数据。6.根据权利要求1所述的一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，其特征在于，所述的红外补偿器采用基于背景重构和红外的方法对红外图像进行特征提取。7.根据权利要求1所述的一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，其特征在于，所述步骤s2中对红外图像特征的提取包括：s21首先对红外背景进行预重构，然后使用滤波器对出现的块状伪影进行平滑处理，得到最终的红外背景图，其过程表达式为：
q(u，v)＝umpm
tvt
i
fibg
＝i
ibg
×
g(s，σ)其中(u，v)表示的是插值点，其位置由0和1之间的插值比表示，u和v矩阵代表与(u，v)相关的插值系数，m为指定常量插值系矩阵，p表示由16个控制点组成的4
×
4矩阵，通过结合q(u，v)来获得初步的红外背景i
ibg
，g(s，σ)表示的是高斯滤波器的大小及其参数，i
fibg
为最终的红外背景图；s22红外图像减去红外背景图得到初始明亮红外特征bf，其表达式为：bf＝max(i
ir-i
fibg
，0)其中，i
ir
为红外图像，i
fibg
为最终的红外背景图；s23为避免之前操作造成的冗余，通过将红外图像的正部分与求和图像i
sum
相乘来计算冗余背景信息抑制比，初始明亮红外特征减去i
rbg
得到最终的明亮红外特征图，其过程表达式为：i
rbg
＝α
×
max(i
sum-i
ir
，0)bf
final
＝bf-i
rbg
其中，α是冗余背景信息抑制比，bf
final
代表最终的明亮红外特征图，i
ibg
为初步的红外背景，i
sum
为求和图像，表示生成对抗网络生成的预融合图像，i
ir
为红外图像，bf为初始明亮红外特征。8.根据权利要求1所述的一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，其特征在于，所述步骤s3中最终的融合图像通过红外补偿器提取到的显著目标图像和生成对抗网络的预融合图像进行线性叠加得到，表示为：i
ffl
＝σ0i
fibf
σ1i
fl
其中，i
ffl
是最终融合图像，i
fibf
是由红外补偿器生成的红外明亮特征图，i
fl
是生成对抗网络生成的预融合图像，σ0和σ1是权重参数。9.本实施例提供一种基于红外补偿器和生成对抗网络的红外与可见光融合装置，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于当执行所述计算机程序时实现权利要求1～8中所述的一种红外与可见光图像融合方法。10.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1～8任意一项所述的一种红外与可见光图像融合方法。

技术总结
本发明涉及一种基于红外补偿器和生成对抗网络的红外与可见光融合方法，该方法包括：S1改进的生成对抗网络中的生成器，获取红外图像的强度信息和可见光图像的细节信息，并通过判别器与生成器之间的博弈对抗获取源图像信息；S2采用红外补偿器对红外图像进行特征提取得到目标热辐射信息；S3对由红外补偿器提取到的目标热辐射信息以及由生成对抗网络得到的源图像信息进行信息重构，得到最终的融合图像。与现有技术相比，本发明能够兼顾两幅源图像中的目标特征信息和纹理细节信息的问题，使最终融合图像不仅含有丰富的纹理细节而且具有明显的红外目标特征。有明显的红外目标特征。有明显的红外目标特征。


技术研发人员：刘刚 王肖
受保护的技术使用者：上海电力大学
技术研发日：2022.08.24
技术公布日：2022/11/11