基于深度卷积神经网络的遥感图像融合方法与流程

1.本发明涉及一种基于深度卷积神经网络的遥感图像融合方法，属于遥感图像处理领域。


背景技术：

2.近些年，随着科技发展以及遥感技术的发展，遥感图像在各种领域中都有着广泛的应用，例如城市规划、环境监测、地形勘测等。全色图像具有高空间分辨率，但是缺少色彩信息，而多光谱图像具有丰富的光谱信息，但空间分辨率较低。为了获得高空间分辨率的多光谱图像，在很多情况下，我们通常将低空间分辨率的多光谱图像与具有丰富空间细节的全色图像进行融合，从而得到空间域和光谱域的高分辨率图像，我们称之为遥感图像全色锐化。遥感图像全色锐化在分类、目标检测、图像分割等方面有着广泛的使用。
3.迄今为止，已经提出了大量的遥感图像融合方法，主要分为以下四类方法：1)基于成分替代的方法；2)基于多分辨率分析的方法；3)基于模型的方法；4)基于深度学习的方法。基于成分替代的方法主要思想是通过投影变换，用高分辨率全景图像代替低分辨率质谱图像的空间成分。基于多分辨率分析的方法是通过小波变换、拉普拉斯金字塔等方法提取空间结构，然后将其注入上采样的多光谱图像。基于模型的方法将融合过程视为一个不适定的逆优化问题，并基于融合后的图像构造能量函数。构造通常基于观测模型和稀疏表示。传统的图像融合的方法通常会造成空间信息丢失以及光谱失真的现象。
4.近些年随着计算机软硬件技术的提升，深度学习在各个领域都得到了广泛应用，尤其在计算机视觉领域，深度学习能够解决相对复杂的问题。相对于传统的遥感图像融合方法，基于深度学习的方法能够通过卷积神经网络端对端的学习图像的高频结构特征，并且能更好的保持图像的光谱信息。


技术实现要素：

5.为了克服现有技术存在的不足，本发明提出了一种基于深度卷积神经网络的遥感图像融合方法，该遥感图像融合方法更加快速高效，空间信息更丰富，光谱保真度更高。
6.本发明为解决其技术问题采用的技术方案如下：
7.一基于深度卷积神经网络的遥感图像融合方法，包括以下步骤：
8.步骤1：将原始的低空间分辨率的多光谱遥感图像以及高空间分辨率的全色遥感图像分别采用高斯核函数下采样四倍，再将多光谱图像上采样四倍，得到低质量的图像，将低质量图像作为输入；
9.步骤2：使用20层深度卷积神经网络，将低质量的多光谱图像与全色图像输入深度卷积神经网络进行训练，得到高频残差图像；
10.步骤3：将得到的高频残差图像与原始的多光谱图像相加，得到高空间分辨率的多光谱遥感图像。
11.步骤1的具体过程如下：
12.步骤1.1：使用高斯核函数对原始的低空间分辨率的多光谱遥感图像以及高空间分辨率的全色遥感图像进行低通滤波，得到降质后的多光谱遥感图像和全色图像，以此模拟低分辨率多光谱图像和全色图像输入；
13.步骤1.2：使用双立方插值将多光谱遥感图像放大四倍，使得低质多光谱图像与全色图像具有相同的分辨率，并将它们堆叠后作为神经网络的输入。
14.步骤2中所述使用20层深度卷积神经网络，其构建的神经网络模型具体为：
15.特征提取层：l
i
＝max(0，w
i
*i b
i
)，i＝1，2，3...20
16.残差重建层：l
21
＝w
21
*l
20
b
21
17.输出层：l
output
＝w
22
*[i l
21
] b
22
[0018]
式中，i为输入图像，l
i
，i＝1，2
…
20是相应的第1～20层的特征提取层的输出，w
i
，i＝1，2
…
20是对应层的卷积核，b
i
，i＝1，2
…
20为对应层的偏置，*表示卷积操作，l
21
为残差重建层，w
21
为残差重建层的卷积核，l
20
为特征提取层的输出，b
21
为残差重建层的偏置，l
output
为最终的输出层，w
22
为输出层的卷积核，b
22
为输出层的偏置。
[0019]
使用小批量梯度下降算法优化求解，具体的损失函数为：
[0020][0021]
其中，loss代表损失函数，本发明中使用均方误差函数作为损失函数，n代表样本数量，g
mix
代表图像融合操作，分别代表输入的全色图像和多光谱图像，f
(i)
为真实标注的高分辨率多光谱图像。
[0022]
所述图像重建层的网络模型为：
[0023]
l
21
＝w
21
*l
20
b
21
[0024]
其中：l
20
为第20层特征提取层的输出。
[0025]
本发明的有益效果如下：
[0026]
本发明使用20层卷积层，能够提取图像更加精细的空间细节特征，并添加了残差网络层，将得到的高频残差图像和多光谱图像相加，能够避免学习到冗余特征，得到全色图像精准的边缘特征以及多光谱图像的光谱信息。此方法能够实现低分辨率多光谱影像与高分辨率全色影像的融合，得到结构清晰、空间分辨率高，光谱信息丰富的遥感影像。
附图说明
[0027]
图1是本发明基于深度卷积神经网络的遥感图像融合方法的流程示意图。
[0028]
图2是本发明提出的基于深度卷积神经网络的遥感图像融合模型。
[0029]
图3是不同算法对worldview
‑
2卫星融合图像对比，图3(a)是ihs方法的融合结果图；图3(b)是pca方法的融合结果图；图3(c)是wavelet方法的融合结果图；图3(d)是mtf
‑
glp
‑
hpm方法的融合结果图；图3(e)是pnn方法的融合结果图；图3(f)是本发明所提出方法的融合结果图。
具体实施方式
[0030]
下面结合附图对本发明进行详细阐述。
[0031]
如图1所示，本发明公开了一种基于深度卷积神经网络的遥感图像融合方法，首先，本发明将低空间分辨率的多光谱遥感影像预先插值到与高空间分辨率的全色影像相同大小，其次，利用深度卷积神经网络提取全色图像与多光谱图像的高频空间结构特征，最后，将提取到的高频残差信息与原始多光谱图像相加，得到融合后的具有高空间分辨率的多光谱遥感影像。此方法能够实现低分辨率多光谱影像与高分辨率全色影像的融合，得到结构清晰、空间分辨率高，光谱信息丰富的遥感影像。包括以下步骤：
[0032]
步骤1：将原始的低空间分辨率的多光谱遥感图像以及高空间分辨率的全色遥感图像分别采用高斯核函数下采样四倍，再将多光谱图像上采样四倍，得到低质量的图像，将低质量图像作为输入。
[0033]
步骤2：使用20层深度卷积神经网络，将低质量的多光谱图像与全色图像输入深度卷积神经网络进行训练，得到高频残差图像。
[0034]
步骤3：将得到的高频残差图像与原始的多光谱图像相加，得到高空间分辨率的多光谱遥感图像。
[0035]
步骤1中包括构建网络所需的数据集，具体步骤如下：
[0036]
步骤1.1：使用高斯核函数对原始的多光谱遥感图像以及全色图像进行低通滤波，得到降质后的多光谱遥感图像和全色图像，以此模拟低分辨率多光谱图像和全色图像输入。
[0037]
步骤1.2：使用双立方插值将多光谱遥感图像放大四倍，使得低质多光谱图像与全色图像具有相同的分辨率，并将它们堆叠后作为神经网络的输入。
[0038]
其中，步骤2中深度卷积神经网络的具体模型为：
[0039]
特征提取层(20层)：l
i
＝max(0，w
i
*i b
i
)
[0040]
残差重建层：l
21
＝w
21
*l
20
b
21
[0041]
输出层：l
output
＝w
22
*[i l
21
] b
22
[0042]
式中，i为输入图像，l
i
，i＝1，2
…
20是相应的第1～20层的特征提取层的输出，w
i
，i＝1，2
…
20是对应层的卷积核，b
i
，i＝1，2
…
20为对应层的偏置，*表示卷积操作，l
21
为残差重建层，w
21
为残差重建层的卷积核，l
20
为特征提取层的输出，b
21
为残差重建层的偏置，l
output
为最终的输出层，w
22
为输出层的卷积核，b
22
为输出层的偏置。
[0043]
神经网络使用小批量梯度下降算法优化求解，具体的损失函数为：
[0044][0045]
其中，loss代表损失函数，本发明中使用均方误差函数作为损失函数，n代表样本数量，g
mix
代表图像融合操作，分别代表输入的全色图像和多光谱图像，f
(i)
为真实标注的高分辨率多光谱图像。
[0046]
在步骤3中使用残差网络，将得到的高频残差图像和多光谱图像相加，残差图像重建层的网络模型为：
[0047]
l
21
＝w
21
*l
20
b
21
[0048]
本实施例中，图2是本发明提出的基于深度卷积神经网络的遥感图像融合模型，其输入为低分辨率多光谱图像与全色图像融合后的图像，输出为高分辨率多光谱图像。
[0049]
为了评估本发明的性能，选择了wordview
‑
2卫星的数据集作为实验对象，分别从整幅图像中剪裁相对应的图像块用来测试，全色遥感图像尺寸为1280*1280，分辨率为0.46m，多光谱遥感图像为八波段，尺寸为320*320，分辨率为1.84m。并将实验结果与其他四个经典的遥感图像融合方法进行了对比。其中，基于强度色度饱和度(intensity
‑
hue
‑
saturation，ihs)变换的融合方法算法与基于主分量分析(principal component analysis，pca)的融合方法是传统的基于成分替代的算法，基于小波变换(wavelet)的融合算法与基于调制传递函数匹配滤波器与高通调制注入模型的广义拉普拉斯金字塔(glp with mtf
‑
matched filter and high
‑
pass modulation injection model，mtf
‑
glp
‑
hpm)算法是基于多尺度分析的算法，基于卷积神经网络(pnn)的融合方法是基于深度学习的算法，其与本发明一样是基于卷积神经网络的遥感图像融合算法，实验都采用相同的一组多光谱和全色图像进行融合。
[0050]
图3(a)(b)(c)(d)(e)(f)为六种算法的实验结果。可以清楚的看到ihs算法与pca算法能保持较好的空间分辨率，但存在明显的光谱失真问题。wavelet算法与mtf
‑
glp
‑
hpm算法相较于基于成分替代的算法能保持多一点的光谱特性，但丢失了部分空间信息。pnn算法保证了较好的光谱特性，但边缘细节还需要加强。对比其他方法，本发明提出的方法在空间结构和光谱保真度都与参考图像最接近。相比之下，本算法能产生具有高空间分辨率且光谱信息丰富的遥感图像。