基于残差密集网络和梯度损失的红外光与可见光图像融合方法与流程

技术特征：
1.一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法，其特征在于，包括：将红外光图像和可见光图像放入预先训练好的vgg
‑
16网络中进行参数提取，对提取到的特征图值进行标准化和归一化处理得到权重块；再将红外光图像和可见光图像放入网络模型中进行端到端的无监督学习，生成融合图像模型；训练所述融合图像模型，在训练过程中利用损失函数不断进行反向传播迭代，更新学习内容，所述损失函数是基于所述权重块优化梯度；通过训练后的融合图像模型进行图像融合任务。2.根据权利要求1所述一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法，其特征在于，将红外光图像和可见光图像放入预先训练好的vgg
‑
16网络中进行参数提取，具体为：将红外光图像和可见光图像分别放入预先训练好的vgg
‑
16网络中提取特征图，设定每个图像在最大池化层前提取n个特征图；对提取到的每个特征图进行信息量化，公式如下：其中，i
a
表示输入图像种类，即为红外光图像i
r
或为可见光图像i
v
；n表示特征图数量；表示提取到的特征图值；代表拉普拉斯算子，公式采用第二范数形式进行计算，h、w和c分别表示图像的长、宽和通道数。3.根据权利要求1所述一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法，其特征在于，使用softmax函数对提取到的特征图值进行标准化和归一化处理得到两个权重块，获取权重块的公式如下：其中，和是可调节自适应的权重块，m是一个用来衡量权重块的超参数；最终结果会保持在0到1之间，并且它们的和是1。4.根据权利要求1所述一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法，其特征在于，所述网络模型包括特征提取器、残差密集块、深度特征提取器和特征重组器，所述特征提取器包括两个相同的卷积层，所述残差密集块为多个，所述深度特征提取器包括两个卷积核大小不同的卷积层，所述特征重组器包括一个卷积层，每个卷积层前都设置有填充层。5.根据权利要求4所述一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法，其特征在于，所述残差密集块的前三层由卷基层和激活层构成，第四层为卷积层。6.根据权利要求1所述一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法，其特征在于，所述损失函数定义如下：l＝l
s
λl
g
其中，s代表结构，g代表梯度；l
s
控制融合结果的整体感觉和视觉感知，l
g
的作用则为突
出图像边缘细节，λ是一个调整损失函数值的超参数。7.根据权利要求6所述一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法，其特征在于，结构损失函数l
s
包括ssim和mse两部分；所述ssim衡量输入图像和融合图像间的结构相似性，所述mse表示了两幅图像的均方误差；损失函数l
ssim
计算公式如下：其中，ssim具体计算公式为：其中，μ代表平均值，σ代表标准差，c1、c2和c3是用来保持矩阵稳定的参数；所述mse计算公式为：其中，p代表图像的像素值；损失函数l
mse
被定义为：所以结构损失函数ls具体为：l
s
＝l
ssim
αl
mse
其中，α是适用于转换损失函数的超参数。8.根据权利要求6所述一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法，其特征在于，梯度损失函数l
g
能够增强融合结果的边缘锐度，ω和l
g
相互配合来展现效果更好的边缘细节：其中，f代表菲波那切范数，所以l
g
被定义为：

技术总结
本发明公开了一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法，包括：将红外光图像和可见光图像放入预先训练好的VGG


技术研发人员：周士华 李嘉伟 王宾
受保护的技术使用者：大连大学
技术研发日：2021.08.10
技术公布日：2021/11/2