一种基于Cascade-GAN的多波段红外图像融合方法与流程

技术特征：
1.一种基于cascade
‑
gan的多波段红外图像融合方法，其特征在于，所述方法包括以下步骤：s1、数据集准备：通过红外传感器分别采集相同场景下短波红外、中波红外、长波红外图像，并对图像进行加噪处理，其中原始图像和加噪后的图像分别保存在image文件夹和noise文件夹下；将相同场景下的原始红外图像及加噪后图像对应的长波、中波、短波分别沿通道进行连接，作为训练数据集输入cascade
‑
gan进行无监督学习；s2、dngan网络设计：将原始图像与加噪后的图像输入dngan，dngan包括生成器g
dn
和判别器d
dn
两部分，二者存在对抗博弈的关系，生成器g
dn
不断生成更接近原始图像的去噪图像，而判别器d
dn
确定原始图像和生成的去噪图像之间的差异，最终的目标是建立一个去噪生成网络，使其能够生成与原始无噪图像无法区分的去噪图像；s3、fugan网络设计：将去噪图像输入融合生成对抗网络fugan，同样是以生成对抗网络作为基础网络，通过生成器g
fu
与判别器d
fu
的对抗博弈实现高质量融合图像的输出；生成器g
fu
通过编码器提取图像特征，通过解码器重建输出单通道融合图像；判别器d
fu
对其输出的图像分别根据三种波段的单通道红外源图像进行鉴别，输出对应的判别概率向量，作为反馈来驱动生成器g
fu
学习输入图像的数据分布进而进行融合，直到判别器d
fu
无法对生成器g
fu
输出的图像判别真伪；s4、训练策略：首先，利用在无噪声的环境下训练好的网络来初始化融合生成对抗网络fugan，然后以端到端的方式训练两个网络的级联，同时在这过程确定fugan的权值；去噪生成对抗网络dngan中的权值也通过后续网络的误差反向传播来更新。2.根据权利要求1所述的一种基于cascade
‑
gan的多波段红外图像融合方法，其特征在于：所述步骤s2中，生成器g
dn
主要由编码器和解码器两大部分组成，并引入上下采样对操作；通过编码器提取图像的特征，并对特征进行下采样操作，获得不同尺度的特征图，然后再在该尺度上进行一次特征提取操作，最终通过解码器实现两个尺度的特征融合并实现去噪图像的重建；通过下采样和上采样操作对，实现特征图的缩放，实现卷积核感受野的变化，从而利用更多的上下文信息，以此提高去噪效果。3.根据权利要求2所述的一种基于cascade
‑
gan的多波段红外图像融合方法，其特征在于：所示编码器由4个cnn组成，4个cnn从上到下分别有3
×
3、1
×
1、3
×
3和1
×
1大小的128、32、32、128个核；为了缓解梯度的消失，弥补特征的损失，重用之前计算的特征，引入densenet，并以前馈的方式在每一层和所有层之间建立短的直接连接；所示解码器同样为4层cnn，与编码器的结构相似，只是四个卷积层的内核数分别为256、64、64和256；所有卷积层的步数设为1；为了避免爆炸/消失的梯度和加速训练，应用批归一化；采用relu激活函数加快收敛速度，避免梯度稀疏；下采样采用max pooling，步长为2；上采样操作通过4
×
4核的反卷积来实现，目的是将feature map扩展到与之前尺度相同的空间大小。4.根据权利要求2所述的一种基于cascade
‑
gan的多波段红外图像融合方法，其特征在于：所述判别器d
dn
本质上是一个二分类器，在第一层到第三层的卷积层中使用3
×
3卷积内核和relu激活函数，从输入图像中提取特征映射，然后对其进行分类；所有卷积层的步幅设为2；设置最后一层利用tanh激活函数生成一个标量，该标量表示输入数据来源于原始图像而非g
dn
生成的假图像的概率。5.根据权利要求1所述的一种基于cascade
‑
gan的多波段红外图像融合方法，其特征在
于：所述步骤s3中，生成器g
fu
主要由编码器和解码器两大部分组成；编码器由5个卷积层组成，并在第一层和第四层卷积层后引入注意力机制，聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，从而提高整个网络的效率；引入densenet，并以前馈的方式在每一层和所有层之间建立短的直接连接，以此缓解梯度的消失，弥补特征的损失，重用之前计算的特征；判别器由4个卷积层和一个线性层组成；这四个卷积层使用3
×
3卷积内核和泄漏的relu激活函数，以及批处理归一化；在所有的卷积层中，将stride设置为2；最后一个线性层根据前四个卷积层提取的特征对输入进行判别，输出概率向量。6.根据权利要求5所述的一种基于cascade
‑
gan的多波段红外图像融合方法，其特征在于：所述注意力机制包括通道注意力模块cam和空间注意力模块sam两部分，两部分按顺序连接，中间特征映射首先输入cam，然后将通道精细化特征映射作为sam的输入；其中，为了在每个通道中聚集丰富的信息，cam分别使用max
‑
pooling、overlapping
‑
pooling和avg
‑
pooling来挤压输入特征图的空间信息；其中overlapping
‑
pooling的应用可以提升预测精度，减缓过拟合；经过压缩操作，可以得到三个通道向量；然后，这三个通道向量送入共享全连接层与一个隐藏层，再经由元素级求和操作和sigmoid函数激活三个通道向量，由此便可以获得通道关注向量；将其与输入特征映射相乘，便使得网络对刚兴趣通道区域有更多的关注。7.根据权利要求1所述的一种基于cascade
‑
gan的多波段红外图像融合方法，其特征在于：所述步骤s4具体包括：分别设定损失函数用于指导两个网络的生成器和判别器的优化：无噪声的环境下，指导fugan的生成器训练的损失函数由g
fu
与d
fu
之间的对抗损失和控制高频特征损失的感知损失以及控制低频特征损失的ssim损失组成：其中λ1、λ2是在训练中逐步修改的比率；对抗损失的定义如下：其中e为判定融合图像的概率标签；由于判别器d
fu
是一个多分类器，输出1
×
3概率向量，因此，d
fu
(
·
)[0]表示向量的第一项，即融合图像为短波红外图像的概率，同样，d
fu
(
·
)[1]、d
fu
(
·
)[2]表示向量的第二项和第三项，即融合图像为中波红外图像、长波红外图像的概率；由于生成器g
fu
期望判别器d
fu
不能区分融合图像和真实数据，所以e设为1；感知损失：需要将源图像的高级特征与训练网络生成的融合图像的同级特征进行比较；选择目前现成的vgg
‑
16网络模型的2，4，6，8层作为特征提取子网络；将三种波段的红外图像沿通道连接得到三通道图像f，作为参考图像输入，将相同的三幅单通道融合图像连接后作为融合结果输入i：其中j表示vgg
‑
16网络的第j层；c
j
h
j
w
j
表示第j层通道的特征映射，大小为h
j
w
j
；φ
j
(f)和φ
j
(i))分别表示由vgg
‑
16网络的第j层得到的输出特征映射，最终损耗用l2范数计算；
通过感知损失项的约束，可以促使生成器g
fu
得到视觉效果良好的融合图像；ssim损失:约束融合图像的相关性损失、亮度失真和对比度失真，ssim损失定义如下：l
gfssim
＝1
‑
(ω1·
ssim(i
fused
,i
swir
) ω2·
ssim(i
fused
,i
mwir
) ω3·
ssim(i
fused
,i
lwir
))其中ω表示权重，ω1 ω2 ω3＝1；采用最小二乘生成对抗网络，该网络采用最小二乘损失函数作为判别器的损失函数，fugan的判别器d
fu
的损耗函数l
df
由三种红外源图像和融合图像的决策损耗四部分组成；用来表示这四种损耗：考虑鉴别器输出的1
×
3个向量，我们有p
swir
＝d
fu
(x)[0]、p
mwir
＝d
fu
(x)[1]、p
lwir
＝d
fu
(x)[2]；当输入是一个短波红外图像时，期望p
swir
接近于1，p
mwir
和p
lwir
接近于0；相应的损失定义为:其中n为图像中像素数量，a1、a2和a3为概率标签，a1设为1，a2和a3设为0，即输入短波红外图像时，判别器d
fu
判断其为短波红外图像的概率较大，而判为中波和长波红外图像的概率较小；类似的，中波红外、长波红外图像的损失项定义为：为：其中b2设为1，b1和b3设为0；c3设为1，c1和c2设为0；最后，当输入图像为融合图像时，损失函数定义为：其中d是判别器d
fu
判定融合图像的概率标签，设为0；同样，使三个概率标签d达到平衡，也就是说，从判别器d
fu
的角度来看，融合后的图像是相同程度的伪短波红外图像、伪中波红外图像和伪长波红外图像；在级联网络的训练过程中，dngan的生成器g
dn
和fugan生成器g
fu
的损失函数由重构损失感知损失和指导无噪声环境下fugan生成器g
fu
的各损失项l
gf
共同构成：重构损失为去噪网络输出与无噪图像之间的均方误差，定义如下：其中x为输入的噪声图像，x～为无噪图像，g
dn
(x)为由dngan生成的去噪图像，i,j分别代表像素所在的行和列，h
×
w为图像大小；
感知损失的结构参考fugan相应的损失项；fugan生成器的各损失项即g
fu
的损失函数l
gf
；dngan的判别器d
dn
损失函数同样采用最小二乘损失函数：其中n为图像中像素数量，a1、a2为概率标签，a1设为1，a2设为0，即输入去噪图像时，判别器d
dn
判断其为去噪图像的概率较大，而判为无噪的概率较小；类似的，无噪图像的损失项定义为：

技术总结
本发明涉及一种基于Cascade


技术研发人员：彭玉怀 王文茜 郭钰 王晨路 吴菁晶
受保护的技术使用者：东北大学
技术研发日：2021.09.09
技术公布日：2021/12/6