一种基于循环生成对抗网络的近红外图像彩色化方法

1.本发明涉及一种基于循环生成对抗网络的近红外图像彩色化方法，属于图像彩色化技术领域。


背景技术：

2.图像彩色化技术已被广泛应用于艺术美学、遥感卫星、医学及图像预处理等领域。图像彩色化是一个高度不确定的问题，需要将实值灰度图像映射到没有唯一解的三维彩色图像。近红外图像的成像效果不受强光云雾等天气因素影响，且对场景的亮度改变不敏感。但缺乏颜色信息，增加了使用者对信息的判断难度，因此需要对近红外图像进行着色。然而，现有的近红外图像彩色化方法存在两个关键问题，即缺乏精细细节和映射不正确。
3.中国专利公开号为“cn114581560a”，名称为“基于注意力机制的多尺度神经网络红外图像彩色化方法”，该方法首先利用由像素损失、边缘损失和感知损失组成的复合损失函数训练红外图像彩色化模型；接着，通过二维卷积神经网络在不同分辨率尺度下对输入的红外图像对进行特征提取；然后，通过注意力机制对提取出的高维特征信息进行提炼处理；最后，将多尺度信息进行融合处理得到预测的彩色化红外图像。该方法得到的彩色化结果细节模糊，不符合人眼视觉效果，同时对数据集要求高且颜色不匹配。


技术实现要素：

4.本发明为了解决现有的彩色化方法得到的图像缺乏精细细节，不符合人眼视觉效果，同时对数据集要求高且颜色不匹配的问题，提供了一种基于循环生成对抗网络的近红外图像彩色化方法。使彩色化得到的图像具有精细的细节，更符合人眼视觉观察，同时本发明提出的方法对数据集要求低，不需要依赖大量的配对图像，图像颜色匹配度更高。
5.本发明解决技术问题的方案是：
6.一种基于循环生成对抗网络的近红外图像彩色化方法，其包含如下步骤：
7.步骤1，准备数据集：对整个生成对抗网络采用公开的近红外数据集进行训练，即rgb-nir场景数据集；
8.步骤2，构建网络模型：整个网络由两个生成对抗网络组成，包括生成器一、生成器二、鉴别器一和鉴别器二；生成器一由下采样模块、残差模块、上采样模块和跳跃连接组成，实现红外图像到彩色图像的转换，生成器二在生成器一的基础上去掉残差模块，实现彩色图像到红外图像的转换，鉴别器一和鉴别器二均采用马尔可夫鉴别器，判断生成的假图像是否足够真实；
9.步骤3，训练网络模型：将步骤1中准备好的数据集输入到步骤2构建好的网络模型中进行训练；
10.步骤4，获得最小化损失函数值：通过最小化生成器和鉴别器的损失函数交替优化生成器和鉴别器，直到生成器和鉴别器的对抗达到平衡状态即可认为模型参数已训练完成，保存模型参数；
11.步骤5，微调模型：用近红外与可见光图像对模型进行训练和微调，得到稳定可靠的模型参数，进一步提高模型彩色化的能力；
12.步骤6，保存模型：将最终确定的模型参数进行固化，当需要对近红外图像进行彩色化时，直接将图像输入到网络中即可得到最终的彩色红外图像。
13.所述步骤2中下采样模块由卷积块一至卷积块五和密集残差块一至密集残差块五组成，用于从输入的近红外图像中提取特征，其中，每个卷积块将特征图减小到一半，密集残差块提取并保留每个卷积块后的信息；残差模块由残差块一至残差块九组成，用于增加网络深度；上采样模块由反卷积块一至反卷积块六和输出块组成，用于图像重建，其中，反卷积块对编码器的信息进行解码进而重构输出图像，输出块输出重建的彩色图像；跳跃连接用于将下采样模块的各尺度特征细节直接映射到上采样模块；鉴别器一和鉴别器二均由六个卷积块组成，输出真假概率信息判断输入图像是否真实。
14.所述步骤4中在训练过程中损失函数选择使用对抗损失、循环一致性损失、内容损失和感知损失的复合损失函数。得到的彩色图像在色度和亮度方面都接近真实的可见光图像，能够突出红外图像中的纹理和细节部分，提升人眼视觉效果。
15.本发明的有益效果如下：
16.1、在下采样模块中采用卷积块和密集残差块的组合取代池化操作，能够最大限度保留图像中的细节信息，进而提高网络的特征提取和表达能力，使彩色化得到的图像细节更精细。
17.2、使用复合损失函数有助于学习图像更精细的颜色与纹理信息，使得生成的图像颜色更自然，图像中的色彩信息和内容信息更匹配，更符合人眼视觉观察。
18.3、使用循环生成对抗网络的网络架构，使得网络训练对数据集要求低，有效避免了彩色化网络模型对于配对图像的依赖。
附图说明
19.图1为本发明一种基于循环生成对抗网络的近红外图像彩色化方法流程图。
20.图2为本发明一种基于循环生成对抗网络的近红外图像彩色化方法的整体网络架构图。
21.图3为本发明所述的生成器一网络结构图。
22.图4为本发明生成器网络中密集残差块的网络结构图。
23.图5为本发明所述的鉴别器一网络结构图。
具体实施方式
24.下面结合附图对本发明做进一步详细说明。
25.如图1所示，一种基于循环生成对抗网络的近红外图像彩色化方法，该方法具体包括如下步骤：
26.步骤1，准备数据集。对整个生成对抗网络采用公开的近红外数据集进行训练，即rgb-nir场景数据集，此处只需要进行调整图像分辨率大小操作。
27.步骤2，构建网络模型。整个网络由两个生成对抗网络组成，包括生成器一、生成器二、鉴别器一和鉴别器二；生成器一由下采样模块、残差模块、上采样模块和跳跃连接组成，
实现红外图像到彩色图像的转换，生成器二在生成器一的基础上去掉残差模块，实现彩色图像到红外图像的转换，鉴别器一和鉴别器二均采用马尔可夫鉴别器，判断生成的假图像是否足够真实。其中，下采样模块由卷积块一至卷积块五和密集残差块一至密集残差块五组成，用于从输入的近红外图像中提取特征，其中，每个卷积块将特征图减小到一半，密集残差块提取并保留每个卷积块后的信息；残差模块由残差块一至残差块九组成，用于增加网络深度；上采样模块由反卷积块一至反卷积块六和输出块组成，用于图像重建，其中，反卷积块对编码器的信息进行解码进而重构输出图像，输出块输出重建的彩色图像；跳跃连接用于将下采样模块的各尺度特征细节直接映射到上采样模块；鉴别器一和鉴别器二均采用马尔可夫鉴别器，，输出真假概率信息判断输入图像是否真实。
28.步骤3，训练网络模型。将步骤1中准备好的数据集输入到步骤2构建好的网络模型中进行训练。
29.步骤4，获得最小化损失函数值。通过最小化生成器和鉴别器的损失函数交替优化生成器和鉴别器，直到生成器和鉴别器的对抗达到平衡状态即可认为模型参数已训练完成，保存模型参数。在训练过程中损失函数选择使用对抗损失、循环一致性损失、内容损失和感知损失的复合损失函数。得到的彩色图像在色度和亮度方面都接近真实的可见光图像，能够突出红外图像中的纹理和细节部分，提升人眼视觉效果。
30.步骤5，微调模型。用近红外与可见光图像对模型进行训练和微调，得到稳定可靠的模型参数，进一步提高模型彩色化的能力。
31.步骤6，保存模型。将最终确定的模型参数进行固化，当需要对近红外图像进行彩色化时，直接将图像输入到网络中即可得到最终的彩色红外图像。
32.实施例：
33.如图1所示，一种基于循环生成对抗网络的近红外图像彩色化方法，该方法具体包括如下步骤：
34.步骤1，准备数据集。近红外图像彩色化数据集使用rgb-nir场景数据集。数据集中包含477幅近红外图像和477幅可见光图像，将每一张图像大小裁剪为256
×
256。
35.步骤2，构建网络模型。如图2所示，网络模型结构由生成器一、生成器二、鉴别器一和鉴别器二组成。生成器一网络结构图如图3所示，由卷积块、密集残差块、残差块、反卷积块和输出块组成，卷积块中包含卷积层、实例归一化和激活函数，卷积核大小为3
×
3，步长为2，激活函数选择relu函数，relu函数在随机梯度下降算法中能够快速收敛，并且可以有效缓解梯度消失的问题；密集残差块网络结构图如图4所示，包括卷积层、激活函数、拼接操作和跳跃连接，卷积核大小为3
×
3，步长和填充均为1，激活函数选择relu函数，前四个拼接操作是使用concat，最后一个拼接操作使用add。残差块中包含卷积层、激活函数和拼接操作，第一层和第三层卷积层的卷积核大小为1
×
1，第二层卷积层的卷积核大小为3
×
3，步长和填充均为1，1
×
1卷积能够对通道数起到降维的作用，从而令3
×
3的卷积以相对较低维度的输入进行卷积运算，提高计算效率，激活函数使用relu函数，拼接操作采用add；反卷积块中包含反卷积层、激活函数和实例归一化层，卷积核大小为3
×
3，步长为2，激活函数选择leaky relu函数，leaky relu函数解决了relu的神经元死亡问题；输出块中卷积层的卷积核大小为3
×
3，步长和填充均为1，激活函数采用tanh函数。鉴别器一网络结构图如图5所示，包括五个卷积块，第一个和第五个卷积块去掉了批归一化层，卷积核大小为4
×
4，步长
为1，激活函数采用leaky relu函数，批归一化层和leaky relu函数的使用使模型更加稳定，同时有效地实现了梯度的反向传播。relu函数、leaky relu函数和tanh函数定义如下所示：
[0036][0037][0038][0039]
步骤3，训练网络模型。将数据集中的红外图像输入到生成器一中生成假彩色图像再输入到生成器二中得到假红外图像，通过循环一致性损失使得假红外图像尽可能恢复成输入的红外图像，另一条通路与之同理，与此同时，生成器和鉴别器进行对抗训练。
[0040]
步骤4，获得最小化损失函数值。通过最小化生成器和鉴别器的损失函数交替优化生成器和鉴别器。通过使损失函数最小化更新网络参数，获得最优网络模型。损失函数选择使用对抗损失、循环一致性损失、内容损失和感知损失的组合。
[0041]
次级生成器需要在一个周期内尽可能地恢复所需图像，以保持输入图像和重建输出图像之间的一致性，为此，使用循环一致性损失，其计算公式定义为：
[0042]
l
cyc
＝||x-g2(g1(x))||1[0043]
其中，x表示输入的红外图像，g2(g1(x))表示先经过生成器一再经过生成器二生成的假红外图像。
[0044]
内容损失促使生成的图像在色度和亮度方面都接近真实的可见光图像，有助于模型缩小网络输出和真实图像之间的距离，其实质就是l1损失，定义内容损失的计算公式为：
[0045]
l
content
＝||y
real-g(x)||1[0046]
其中，y
real
表示真实的可见光图像，g(x)表示生成器生成的图像。
[0047]
虽然使用内容损失有利于得到高的峰值信噪比，但彩色化的结果会丢失细节内容。为了鼓励网络输出具有更真实细节的彩色化结果，采用了对抗损失。对抗损失用于使彩色化结果与真实可见光图像无法区分，定义对抗损失的计算公式为：
[0048]
l
adv
＝e
x
[-log(d(g(x)，x))]
[0049]
其中x不仅是生成器的输入，也是鉴别器的输入，作为条件项。
[0050]
使用对抗损失容易产生失真纹理，为了缓解这个问题，使用基于vgg-16网络relu函数的感知损失，感知损失有利于在高层空间中保持纹理，定义感知损失的计算公式为：
[0051][0052]
其中，φk(
·
)表示vgg-16网络中第k个最大池化层的特征表示，c
khk
wk表示这些特征表示的大小。
[0053]
因此，模型总损失l
total
为：
[0054]
l
total
＝λ
cyc
l
cyc
l
content
λ
adv
l
adv
λ
perceptual
l
perceptual
[0055]
其中，λ
cyc
、λ
perceptual
和λ
adv
分别表示在整个总损失函数中控制不同损失份额的权重，权重的设置是基于训练数据集上的初步实验。
[0056]
设定训练次数为100，每次输入到网络图片数量为16张，该数量可根据计算机图形处理器性能决定，在计算机允许的情况下每次输入的数量越大越好，能够使网络更加稳定。训练过程中的学习率设置为0.0002，既能保证网络快速拟合，又不会导致网络过拟合。网络参数优化器选择随机梯度下降算法，该算法通过随机的方式从整个参与训练的数据集中选取一部分来参与模型的训练，所以只要随机选取的数据集大小合适，就不用担心计算损失函数的时间成本和模型训练的复杂度。当输入生成器输出图和真实图后，鉴别器难辨真假，判断真假的概率均为二分之一，就可以认为网络已基本训练完成。
[0057]
步骤5，微调模型。用近红外与可见光图像对模型进行训练和微调，得到稳定可靠的模型参数，进一步提高模型彩色化的能力。
[0058]
步骤6，保存模型。将网络训练完成后，需要将网络中所有参数保存，当需要对近红外图像进行彩色化时，直接将图像输入到网络中即可得到最终的彩色红外图像。
[0059]
其中，卷积、激活函数、跳跃连接、拼接操作和残差结构的实现是本领域技术人员公知的算法，具体流程和方法可在相应的教科书或者技术文献中查阅到。
[0060]
本发明通过构建一种基于循环生成对抗网络的近红外图像彩色化网络模型，可以自动给红外图像着色，避免人工辅助着色的繁琐，且降低了对数据集的要求。通过计算与现有方法得到图像的相关指标，进一步验证了该方法的可行性和优越性。现有技术和本发明提出方法的相关指标对比如表1所示：
[0061]
表1现有技术和本发明提出方法的相关指标对比
[0062][0063]
从表中可知，本发明提出的方法有更高的峰值信噪比和结构相似性两个指标，进一步说明本发明具有更好的彩色化图像结果。