基于多分类约束双判别器生成对抗网络红外图像融合方法与流程

1.本发明涉及图像处理领域，尤其涉及基于多分类约束双判别器生成对抗网络红外图像融合方法。


背景技术：

2.图像融合是一种增强技术，从源图像中提取准确和有意义的信息，并将其合并为单一的融合图像，该融合图像具有足够的鲁棒性或信息量，以帮助后续应用。因此，图像融合技术在医学图像分析、遥感检测、目标识别等应用中越来越受到重视。在这些应用中，红外与可见光图像融合是一个重要的组成部分。红外图像获取的是热辐射信息，在较差的条件下都能获得重要的目标信息，而可见光图像则反映了丰富的纹理细节。这两种图像信息可以相辅相成。融合图像结合其独特的优势产生的融合图像具有展现场景固有的综合属性的潜力，适合人类视觉感知。由于这些优势，红外和可见光图像在军事和民用领域有着重要的应用。
3.为了生成理想的融合图像，近几十年来研究人员提出了许多融合方法，这些方法可以分为不同的类别，包括基于多尺度变换的方法，基于稀疏表示的方法，基于神经网络的方法，基于子空间的方法，基于显著性的方法，混合方法，以及其他融合方法。这些方法在大多数场景中取得了积极的效果，但也有一些不可忽视的缺点。首先，传统方法的活动级和融合规则是人工设计的，以获得更好的融合性能，这使得融合方法由于源图像的多样性而变得复杂。通常，详细和多样的特征提取是部分的，限制了融合性能。其次，虽然许多深度学习方法在红外和可见光图像融合方面取得了很大的成功，但它们缺乏ground truth，仅依靠设计内容丢失功能来实现图像融合。因此，结果的分布不够全面。第三，现有基于传统生成对抗网络(generative adversarial network，gan)融合方法的融合图像通常只与一类源图像相似，导致部分信息丢失和结果不完整。第四，现有的方法很难融合出符合人类视觉审美的图像。例如，有些方法不能在保持固有的红外信息和可见光信息之间达到平衡，结果往往是可见光图像。也就是说，热辐射信息被抛弃了。其他一些方法保留了明显的目标信息，但引入了目标伪影或不连续性边缘。


技术实现要素：

4.针对上述问题，本发明设计了一种双判别器生成对抗网络，其中判别器具有多分类输出，以提高判别能力。该模型不需要人工设计融合规则，避免了复杂的融合过程。该方法包括内容损失、对抗性损失和判别器损失，使网络能够提取更多有价值的信息和结果的分布更加全面。通过所提出的结构，这些判别器在生成图像上的分布上相互作用，每个判别器都能将生成图像与红外图像或可见光图像单独区分开来，从而使融合后的图像同时从红外图像和可见光图像中获取有价值的信息。我们的结果收敛了两种源图像的优点，消除了目标的伪影，从而满足人类的视觉审美。
5.本发明提供一种基于多分类约束双判别器生成对抗网络红外图像融合方法，包
括：
6.s101：获取图像融合数据集；
7.s102：构建双判别器生成对抗网络，利用所述图像融合数据集对双判别器生成对抗网络进行训练，得到训练完成的网络；所述双判别器生成对抗网络包括：生成器和判别器；生成器包括两个输入路径和五个卷积神经层；判别器包括两个，均为多分类器；
8.s103：利用训练完成的网络完成图像融合。
9.进一步地，所述生成器的两个输入路径分别为：梯度路径和对比路径。
10.进一步地，所述梯度路径，连接两幅可见光图像ir和一幅红外图像vi；所述对比路径，连接两幅红外图像vi和一幅可见光图像ir。
11.进一步地，所述生成器的五个卷积神经层，均包括一个卷积层和一个leaky relu激活层。
12.进一步地，所述生成器的前两个卷积层由5
×
5过滤器实现，第三和第四层使用3
×
3过滤器，最后一层使用1
×
1过滤器，且所有卷积层步长设置为1。
13.进一步地，所述生成器的输入图像经过前四层卷积层后，采用concating的策略融合两条输入路径中提取的特征。
14.进一步地，所述生成器的第五个leaky relu激活层采用tanh激活函数，其余四个leaky relu激活层均采用leaky relu激活函数。
15.进一步地，两个判别器的架构均由：一个四层卷积和一层线性神经网络组成；第一层卷积由一个卷积层和一个leaky relu激活层组成，第二层到第四层在第一层的基础上增加了批量归一化；判别器中所有卷积层都由一个3
×
3的卷积核实现，其中步长设置为2；每层的卷积核数量依次为32、68、128和256。
16.进一步地，生成器的损失函数由对抗性损失和内容损失组成，其中权重γ用于控制权衡：
[0017][0018]
式(1)中，内容损失如式(2)：
[0019][0020]
其中βi是每个子损失的权重，||
·
||f是frobenius矩阵范数，i
fused
是融合图像，i
ir
是红外图像，i
vis
是可见图像，是二阶梯度算子；
[0021]
式(1)中，对抗性损失如式(3)：
[0022][0023]
式(3)中，d(
·
)[1]指的是1
×
2大小的概率向量的第一项，d是鉴别器的概率标签；
[0024]
针对双判别器结构，有两个对抗性损失函数；在第一个对抗性损失中，d(
·
)[1]是融合图像是红外图像的概率，d(
·
)[2]是融合图像不是红外图像的概率；在第二个判别器中类似，d(
·
)[1]表示融合图像是可见图像的概率，而d(
·
)[2]表示融合图像不是可见图
像的概率。
[0025]
判别器的损失函数如式(4)：
[0026][0027]
来自vi判别器discriminator_vi，它将融合图像与真实可见图像区分开来，具体如式(5)：
[0028][0029]
式(5)中，i为图像的编号，n为图像总数；p
vis
为输出图像是可见光图像的概率；为第n张可见光图像；a1和a2为预设值；
[0030]
将融合图像数据的分布拉近红外图像，具体如式(6)：
[0031][0032]
式(6)中，为第n张红外图像；b1和b2为预设值；
[0033]
的损失函数如式(7)：
[0034][0035]
式(7)中，为第n张融合图像。
[0036]
本发明提供的有益效果是：可以产生更适合人类感知的图像。这些图像细节更丰富，目标更突出，目标边缘更清晰，无伪影。
附图说明
[0037]
图1是本发明基于多分类约束双判别器生成对抗网络红外图像融合方法的流程示意图；
[0038]
图2是本发明总体框架示意图；
[0039]
图3是本发明生成器架构示意图
[0040]
图4是本发明判别器的架构示意图；
[0041]
图5是tno数据集中五个典型红外和可见光图像的融合结果示意图；
[0042]
图6是本发明方法与使用四个指标(包括en、sd、cc、sssim)的6种最先进方法的定量比较示意图。
具体实施方式
[0043]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
[0044]
请参考图1，一种基于多分类约束双判别器生成对抗网络红外图像融合方法，包括以下：
[0045]
s101：获取图像融合数据集；
[0046]
s102：构建双判别器生成对抗网络，利用所述图像融合数据集对双判别器生成对
抗网络进行训练，得到训练完成的网络；所述双判别器生成对抗网络包括：生成器和判别器；生成器包括两个输入路径和五个卷积神经层；判别器包括两个，均为多分类器；
[0047]
s103：利用训练完成的网络完成图像融合。
[0048]
请从参考图2，图2是本发明总体框架示意图；
[0049]
生成器的输入路径分为梯度路径和对比路径。在本发明中，判别器采用多酚类器，优选的，采用d2ganmcc，由两个判别器组成，有助于提取更充分的细节信息和对比度部分。
[0050]
图2中，2ir vi表示输入图像是两个ir图像加一个vi图像；2vi ir表示输入图像是两个vi图像加一个ir图像；one ir表示一个ir图像；one vi表示表示一个vi图像；generatoer表示生成器；fused image表示融合图像；discriminator_ir表示ir判别器；discriminator_vi表示vi判别器；
[0051]
生成器的架构如图3所示。如图所示，有两个输入路径和五个卷积神经层。
[0052]
每层都包含一个卷积层和一个leaky relu激活层。
[0053]
生成器中的前两个卷积层由5
×
5过滤器实现，第三和第四层使用3
×
3过滤器，最后一层使用1
×
1过滤器。
[0054]
为了避免梯度消失的问题，遵循深度卷积gan的规则进行批量归一化和激活函数。批量归一化的使用改善了整个网络的梯度流，并有助于增强其鲁棒性，从而使其更加稳定。
[0055]
所有卷积层的步长都设置为1，以确保所有特征图的大小不能改变。经过四层卷积后，采用concating的策略融合两条路径中提取的特征。
[0056]
为了克服正区间梯度的消失并加快收敛速度，前四层使用leaky relu激活函数，最后一层使用tanh激活函数。
[0057]
请参考图4，图4是本发明判别器的架构示意图；
[0058]
单个判别器是一个简单的四层卷积和一层线性神经网络。第一层由一个卷积层和一个leaky relu激活层组成。与第一层不同的是，从第二层到第四层增加了批量归一化。
[0059]
判别器中的所有卷积层都由一个3
×
3的卷积核实现，其中步长设置为2。每层的卷积核数量依次为32、68、128和256。两个判别器都是多分类器，它们从输入图像中提取特征图并对其进行分类。discriminator_ir最后产生一个大小为1
×
2的概率向量，其中一个表示融合图像是红外图像的概率，而另一个表示没有。
[0060]
gan因训练不稳定而受到诟病，有时会导致噪声或强度失真。避免不良结果的一个可行解决方案是引入内容丢失以在网络中包含一系列约束。内容损失的作用主要体现在从可见光图像中提取丰富的纹理信息，突出背景中的热辐射目标。除了内容损失之外，还引入了和判别器的对抗损失以在各种信息之间取得平衡。
[0061]
生成器的损失函数由对抗性损失和内容损失组成，其中权重γ用于控制权衡：
[0062][0063]
内容损失由主要信息损失和辅助信息损失组成。主要信息是指红外图像中的强度信息和可见光图像中的纹理信息。辅助信息包括在可见光图像中出现的一些强度分布和在红外图像中隐藏的一些细节信息。主信息损失和辅助信息损失均由梯度损失和强度损失组成。
[0064]
式(1)中，内容损失如式(2)：
[0065][0066]
其中βi是每个子损失的权重，||
·
||f是frobenius矩阵范数，i
fused
是融合图像，i
ir
是红外图像，i
vis
是可见图像，是二阶梯度算子；
[0067]
式(1)中，对抗性损失如式(3)：
[0068][0069]
式(3)中，d(
·
)[1]指的是1
×
2大小的概率向量的第一项，d是鉴别器的概率标签；
[0070]
针对双判别器结构，有两个对抗性损失函数；在第一个对抗性损失中，d(
·
)[1]是融合图像是红外图像的概率，d(
·
)[2]是融合图像不是红外图像的概率；在第二个判别器中类似，d(
·
)[1]表示融合图像是可见图像的概率，而d(
·
)[2]表示融合图像不是可见图像的概率。
[0071]
生成器可以提取大量的热辐射信息和纹理信息，但不足以描述场景的清晰和全面。本发明为了解决上述问题，引入了判别器的损失函数。
[0072]
判别器的损失函数如式(4)：
[0073][0074]
来自vi判别器discriminator_vi，它将融合图像与真实可见图像区分开来。将融合图像数据的分布拉近红外图像。
[0075]
为了减轻对融合图像的白化效应，本发明使用μ和来惩罚红外在discriminator_vi中，预计p
vis
接近1，p
ir
接近0。
[0076]
而在discriminator_ir中，预计p
vis
接近0，p
ir
接近1。相应的损失函数定义如式(5)、(6)所示：
[0077][0078]
式(5)中，i为图像的编号，n为图像总数；p
vis
为输出图像是可见光图像的概率；为第n张可见光图像；a1和a2为预设值；
[0079][0080]
式(6)中，为n张可见光图像；b1和b2为预设值；
[0081]
的损失函数如式(7)：
[0082][0083]
式(7)中，为第n张融合图像。
[0084]
作为一种实施例，本发明将所提出的方法与其他最先进的方法进行了比较，包括
cvt、dtcwt、基于引导过滤的融合(gff)、gtf、lp、多分辨率奇异值分解(msvd)和fusiongan来证明有效性。
[0085]
本发明从tno图像融合数据集中随机选择了37个图像对来测试所提出的方法和其他最先进方法的性能。tno数据集中的图像对包含不同军事场景的多光谱夜间图像，tno图像融合数据集与不同的多波段相机系统配准。我们选择了六个典型的对进行定性说明，即bunker、heather、lake、kaptein_1123、kaptein_1654、soldiers_with_jeep。
[0086]
请参考图5，图5是tno数据集中五个典型红外和可见光图像的融合结果示意图。
[0087]
图5中，从左到右：bunker、heather、lake、kaptein_1123、kaptein_1654、soldiers_with_jeep。从上到下：可见图像、红外图像、cvt、dtcwt、gff、gtf、msvd、fusiongan和本发明的方法的结果。
[0088]
显然，可以看到本发明的结果保留了更清晰的纹理细节，同时突出了目标。
[0089]
相比定性比较，直观的定量数据比较起来更快、更方便。近年来提出了各种融合指标来衡量融合结果。本发明使用四个指标来评估不同算法融合结果的能力，包括熵(en)、标准差(sd)、相关系数(cc),和结构相似性指数测量(ssim)。比较结果如图6所示。图6中，本发明的方法与使用四个指标(包括en、sd、cc、sssim)的6种最先进方法的定量比较。对于所有指标，该值越大，结果显示的性能越好。
[0090]
本发明的有益效果是：设计了一个具有多分类约束的目标边缘优化双判别器生成对抗网络，用于融合红外和可见光图像，以同时增强热目标、优化目标边缘并保留纹理细节。添加了对抗性损失函数来增强对抗性。通过与其他七种先进的方法对比，定性分析表明，与其他算法相比，本发明的方法可以产生更适合人类感知的图像。这些图像细节更丰富，目标更突出，目标边缘更清晰，无伪影。四个评价指标和运行时间的定量比较表明，我们的方法也具有很大的优势。
[0091]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。