基于密集连接生成对抗网络的图像融合方法和装置与流程

技术特征：
1.一种基于密集连接生成对抗网络的图像融合方法，其特征在于，所述方法包括：获取可见光图像样本和偏振图像样本，将所述可见光图像样本和所述偏振图像样本输入可见光和偏振图像融合训练模型中；所述可见光和偏振图像融合训练模型包括生成器网络和判别器网络；所述生成器网络包括两路级联前置网络和一路级联密集连接网络；所述判别器网络包括多层特征提取网络；通过所述两路级联前置网络分别对所述可见光图像样本和所述偏振图像样本进行处理，得到两路采样通道特征图；其中，第一层前置网络的输入为所述可见光图像样本和所述偏振图像样本的源图；其他层前置网络的输入为前一层两路采样通道特征图和对应通道的图像源图；将所述两路级联前置网络的每层前置网络输出的特征图级联，并加入所述可见光图像样本和所述偏振图像样本的源图，输入到所述级联密集连接网络；通过所述级联密集连接网络对输入的图像进行处理，得到所述可见光图像样本和所述偏振图像样本的生成器融合图像；其中，每一层密集连接网络的输入包括前一级网络的输出和所述可见光图像样本和所述偏振图像样本的源图；以可见光图像样本源图为真、所述生成器融合图像为假，将所述生成器融合图像以及所述可见光图像样本源图输入所述判别器网络，通过所述判别器网络输出所述生成器融合图像的判别结果；根据预先构建的损失函数、所述生成器融合图像和所述判别结果对所述可见光和偏振图像融合模型进行训练，得到训练好的生成器网络；通过训练好的生成器网络进行可见光与偏振图像融合。2.根据权利要求1所述的方法，其特征在于，所述前置网络包括：卷积层、批量归一化层和lrelu激活层；所述密集连接网络包括：卷积层、批量归一化层和lrelu激活层，其中，最后一级密集连接网络的激活层为tanh激活层；所述多层特征提取网络包括卷积层、批量归一化层和lrelu激活层。3.根据权利要求2所述的方法，其特征在于，根据预先构建的损失函数、所述生成器融合图像和所述判别结果对所述可见光和偏振图像融合模型进行训练，包括：根据预先构建的损失函数、所述生成器融合图像和所述判别结果对所述可见光和偏振图像融合模型进行训练；所述损失函数包括所述可见光和偏振图像融合训练模型的对抗损失函数、所述生成器网络的生成器对抗损失函数、所述生成器网络的内容损失函数。4.根据权利要求3所述的方法，其特征在于，所述对抗损失函数为：其中，x为所述可见光图像样本源图，d(x)为所述判别器网络的输出，z为所述生成器网络的输入，g(z)为所述生成器网络的输出，p
data
表示真实图像数据分布；p
z
表示生成图像数据分布；表示数学期望，x服从概率分布p
data
；表示数学期望，x服从概率分布p
z
，log(
·
)表示对数操作。5.根据权利要求4所述的方法，其特征在于，所述生成器对抗损失函数为：
其中，n为批量归一化的批数量，为每个批次下的所有融合结果图像，f代表融合。6.根据权利要求5所述的方法，其特征在于，所述内容损失函数包括：相似度损失函数和梯度损失函数；所述相似度损失函数为：loss
ssim
＝w
dolp
(1
‑
ssim
dolp
) w
s0
(1
‑
ssim
s0
)其中，w
dolp
为所述偏振图像样本的权重，为所述偏振图像样本的权重，为所述偏振图像样本的梯度量，为所述可见光图像样本的梯度量，w
s0
为所述可见光图像样本的权重，ssim
dolp
为所述偏振图像样本的结构相似度，ssim
s0
为所述可见光图像样本的结构相似度；所述梯度损失函数为：其中，n、w分别为图像的长和宽，为所述生成器融合图像的梯度量，||
·
||1表示l1范数。7.根据权利要求1至6任意一项所述的方法，其特征在于，所述根据预先构建的损失函数、所述生成器融合图像和所述判别结果对所述可见光和偏振图像融合模型进行训练，包括：根据预先构建的损失函数、所述生成器融合图像和所述判别结果，采用mini
‑
batch的训练策略对所述可见光和偏振图像融合模型进行训练。8.一种基于密集连接生成对抗网络的图像融合装置，其特征在于，所述装置包括：样本获取模块，用于获取可见光图像样本和偏振图像样本，将所述可见光图像样本和所述偏振图像样本输入可见光和偏振图像融合训练模型中；所述可见光和偏振图像融合训练模型包括生成器网络和判别器网络；所述生成器网络包括两路级联前置网络和一路级联密集连接网络；所述判别器网络包括多层特征提取网络；前置网络处理模块，用于通过所述两路级联前置网络分别对所述可见光图像样本和所述偏振图像样本进行处理，得到两路采样通道特征图；其中，第一层前置网络的输入为所述可见光图像样本和所述偏振图像样本的源图；其他层前置网络的输入为前一层两路采样通道特征图和对应通道的图像源图；密集连接网络处理模块，用于将所述两路级联前置网络的每层前置网络输出的特征图级联，并加入所述可见光图像样本和所述偏振图像样本的源图，输入到所述级联密集连接网络；通过所述级联密集连接网络对输入的图像进行处理，得到所述可见光图像样本和所述偏振图像样本的生成器融合图像；其中，每一层密集连接网络的输入包括前一级网络的输出和所述可见光图像样本和所述偏振图像样本的源图；
判别器网络判别模块，用于以可见光图像样本源图为真、所述生成器融合图像为假，将所述生成器融合图像以及所述可见光图像样本源图输入所述判别器网络，通过所述判别器网络输出所述生成器融合图像的判别结果；训练模块，用于根据预先构建的损失函数、所述生成器融合图像和所述判别结果对所述可见光和偏振图像融合模型进行训练，得到训练好的生成器网络；图像融合模块，用于通过训练好的生成器网络进行可见光与偏振图像融合。9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及一种基于密集连接生成对抗网络的图像融合方法、装置、计算机设备和存储介质。所述方法包括：将可见光和偏振图像样本输入图像融合训练模型，通过两路级联前置网络分别对可见光偏振图像样本进行处理，将两路级联前置网络的每层前置网络输出的特征图级联，并加入两路样本源图，输入到级联密集连接网络，得到生成器融合图像；以可见光图像样本源图为真、生成器融合图像为假，将生成器融合图像以及可见光图像样本源图输入判别器网络，输出生成器融合图像的判别结果；根据预先构建的损失函数对图像融合模型进行训练，得到训练好的生成器网络，用于可见光与偏振图像融合。本发明通过对抗学习提升可见光与偏振图像的融合质量。量。量。


技术研发人员：刘通 程江华 程榜 王涛 何佩林 罗笑冰
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2021.08.20
技术公布日：2021/11/21