一种基于U型金字塔残差结构的全色锐化方法

一种基于u型金字塔残差结构的全色锐化方法
技术领域
1.本发明涉及遥感图像融合技术领域，尤其涉及一种基于u型金字塔残差结构的全色锐化方法。


背景技术：

2.当前的卫星传感器被多方面技术限制无法直接提供高分辨率多光谱图像极大限制了遥感图像的应用。相对优化物理设备而言，全色锐化技术成本小的多，传统的全色锐化方法分为三种：基于成分替换方法，基于多分辨率分析方法以及基于优化模型方法。基于成分替换方法主要思想是通过变换工具将多光谱图像分解空间和光谱分量，然后将全色图像代替空间分量再逆变换得到融合图像，这种方法优点是实现简单，运行快但缺点是造成光谱失真。基于多分辨率分析方法是将原图像分解不同尺度，不同分辨率序列再根据融合策略将相同尺度的图像分别融合，最后通过逆变换生成最终融合图像。多分辨率分析方法要比成分替换方法融合质量较好，但是计算量增大。优化模型方法将全色锐化方法转换为建立高效融合模型求最优解的过程。优化模型方法的代价是时间复杂度高，在实际操作中模型求解不理想，效率低。
3.随着深度学习技术在计算机视觉多个热门研究中取得令人满意的突破，基于深度学习的全色锐化方法也相继被提出：依据图像超分辨率的相关知识，pnn是第一个提出将卷积神经网络应用到全色锐化中，网络结构由三层卷积构成，实现简单(参考文献1：masi,giuseppe,davide cozzolino,luisa verdoliva,and giuseppe scarpa.2016."pansharpening by convolutional neural networks"remote sensing 8,no.7:594)。相较传统的方法增强空间信息和保持光谱信息，pnn都有很大提升，但是浅层的映射操作无法提取更多的图像特征。resnet利用残差网络设计两分支，一方面在图像高频域内训练网络，另一方面利用跳连接实现光谱补充(参考文献2：j.yang,x.fu,y.hu,y.huang,x.ding and j.paisley,"pannet:adeep network architecture for pan-sharpening,"2017ieee international conference on computer vision(iccv),2017,pp.1753-1761)。残差网络的成功实现使得更多的残差连接被应用，restfnet结合残差网络与双流卷积网络结构(参考文献3：xiangyu liu,qingjie liu,yunhong wang,remote sensing image fusion based on two-stream fusion network,information fusion,volume 55,2020,pages1-15,issn 1566-2535)。以上方法是将多光谱图像上采样至全色图像大小，输入网络训练，这样不仅会造成多光谱信息损失而且计算量大。dunet方法渐进向融合过程注入多尺度原图像特征信息，先是用梯度计算器提取全色图像的空间信息作为网络的输入，又设计多尺度特征复用网络结构重建图像(参考文献4：d.lei,y.huang,l.zhang and w.li,"multibranch feature extraction and feature multiplexing network for pansharpening,"in ieee transactions on geoscience and remote sensing,vol.60,pp.1-13,2022,art no.5402613,doi:10.1109/tgrs.2021.3074624)。


技术实现要素：

4.为了能够至少解决采用插值方法上采样后的图像质量不高，高频分量损失，多光谱图像渐进补充光谱信息却忽略了相同分辨率的多光谱图像与全色图像的相关性，以及原图像简单的通道合并输入网络，无法充分的提取有效特征等技术问题中的部分问题，本发明提出一种基于u型金字塔残差结构的全色锐化方法。
5.本发明提供一种基于u型金字塔残差结构的全色锐化方法，步骤包括：
6.步骤1：获取多光谱图像和全色图像，并对两种图像按照设定大小进行剪裁以得到训练集和测试集；
7.步骤2：利用训练集对基于u型金字塔残差结构的全色锐化网络模型进行训练，获得最优全色锐化网络模型；
8.步骤3：利用训练得到的最优全色锐化网络模型对测试集中的图像数据进行全色锐化；
9.其中，所述基于u型金字塔残差结构的全色锐化网络模型的构建过程包括：
10.构建多尺度特征提取模块，具体包括：重采样单元、合并单元和特征提取单元；其中，重采样单元用于对输入的多光谱图像渐进扩大图像，得到多层多光谱图像金字塔；对输入的全色图像渐进缩小图像，得到多层全色图像金字塔；合并单元用于将相同尺度的多光谱图像和全色图像进行像素和通道双合并；特征提取单元用于对合并单元输出的多个不同尺度图像进行特征提取；
11.构建u型金字塔残差结构，具体包括：特征融合模块和图像重建模块；其中，特征融合模块用于对特征提取单元输出的不同分辨率下的特征图进行自上而下的特征融合；图像重建模块用于对特征融合模块输出的不同分辨率下的特征图进行自下而上的图像重建，最后使用跳连接对最大尺度多光谱图像和重建图像进行求和。
12.进一步地，所述重采样单元具体用于：
13.将输入的多光谱图像依次进行s次转置卷积操作以实现渐进t倍扩大图像，生成s 1层多光谱图像金字塔；s≥2，t≥2；
14.将输入的全色图像依次进行s次卷积操作以实现渐进t倍缩小图像，生成s 1层全色图像金字塔。
15.进一步地，所述多尺度特征提取模块还包括高通滤波单元；
16.对应地，所述合并单元具体用于按照下式对相同尺度的多光谱图像和全色图像进行通道拼接；
[0017][0018]
其中，i表示第i层金字塔，f表示拼接后的图像，ms表示多光谱图像，pan表示全色图像，h(pan)表示全色图像经过高通滤波单元后输出的高通域的全色图像，表示像素相加操作，表示通道拼接操作。
[0019]
进一步地，所述特征融合模块具体用于：从金字塔中最高分辨率层开始，针对金字塔中的任意相邻两层对应的特征提取单元输出的图像采用给定融合过程进行特征融合，直至融合至金字塔中最低层分辨率层；
[0020]
其中，所述给定融合过程具体包括：将金字塔中较高分辨率层对应的最后一个特征提取单元输出的图像进行池化下采样以将图像缩小s倍，进而与金字塔中较低分辨率层
对应的第一个特征提取单元输出的图像进行像素融合，最后对像素融合的特征图采用特征提取单元再次进行特征提取。
[0021]
进一步地，所述图像重建模块具体用于：从金字塔中最低分辨率层开始，针对金字塔中的任意两层对应的特征提取单元输出的图像采用给定重建过程进行特征融合，直至融合至金字塔中最高层分辨率层；
[0022]
其中，所述给定重建过程具体包括：将金字塔中较低分辨率层对应的最后一个特征提取单元输出的图像进行卷积上采样以将图像扩大s倍，进而与金字塔中较高分辨率层对应的第一个特征提取单元输出的图像进行像素融合，最后对像素融合的特征图采用特征提取单元再次进行特征提取。
[0023]
进一步地，步骤2中，训练过程中使用下式作为损失函数：
[0024][0025][0026][0027]
loss＝λ(loss
cc
loss
ssim
) εloss
mae
,ε＝1-λ
[0028]
其中，hrms表示使用跳连接求和后得到的最终高分辨率多光谱图像，gt表示参照的多光谱图像，cov(
·
)表示图像的协方差，d(
·
)表示图像的方差，u(
·
)表示图像的均值，δ(
·
)表示图像的标准差，c1，c2，c3，λ表示常数，n表示样本个数。
[0029]
进一步地，所述特征提取单元采用密集残差卷积网络来提取空间和光谱特征。
[0030]
本发明的有益效果：
[0031]
由于采用u型金字塔结构将原图像分为等比例图像序列自上向下过程提取融合特征，自下向上过程重建图像，且设计横向级联促进特征复用，相较现有方法，本发明能够产生更加具有针对性的光谱和空间信息同时注入对应尺度光谱和空间细节特征使得生成高分辨率图像质量较好；通过对全色图像像素和通道双重合并，与简单通道合并相比不仅加强了空间细节而且保持了空间结构。
附图说明
[0032]
图1为本发明实施例提供的一种基于u型金字塔残差结构的全色锐化方法的流程示意图；
[0033]
图2为本发明实施例提供的基于u型金字塔残差结构的全色锐化网络模型的结构示意图之一；
[0034]
图3为本发明实施例提供的基于u型金字塔残差结构的全色锐化网络模型的结构示意图之二；
[0035]
图4为本发明实施例提供的：(a)是降分辨率的多光谱图像，(b)是降分辨率的全色图像，(c)是实例的模拟测试融合图像。
[0036]
图5为本发明实施例提供的：(a)是全分辨率的多光谱图像，(b)是全分辨率的全色
图像，(c)是实例的真实测试融合图像。
具体实施方式
[0037]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0038]
实施例1
[0039]
如图1所示，本发明实施例提供一种基于u型金字塔残差结构的全色锐化方法，包括以下步骤：
[0040]
s101：获取多光谱图像和全色图像，并对两种图像按照设定大小进行剪裁以得到训练集和测试集；
[0041]
s102：利用训练集对基于u型金字塔残差结构的全色锐化网络模型进行训练，获得最优全色锐化网络模型；
[0042]
s103：利用训练得到的最优全色锐化网络模型对测试集中的图像数据进行全色锐化；
[0043]
具体地，训练集图像输入网络模型充分训练模型后获取最佳权重，测试集的图像输入训练好的网络模型中产生高分辨率的多光谱图像，达到全色锐化目的。
[0044]
其中，如图2所示，所述基于u型金字塔残差结构的全色锐化网络模型的构建过程包括：
[0045]
构建多尺度特征提取模块，具体包括：重采样单元、合并单元和特征提取单元；其中，重采样单元用于对输入的多光谱图像渐进扩大图像，得到多层多光谱图像金字塔；对输入的全色图像渐进缩小图像，得到多层全色图像金字塔；合并单元用于将相同尺度的多光谱图像和全色图像进行像素和通道双合并；特征提取单元用于对合并单元输出的多个不同尺度图像进行特征提取；
[0046]
构建u型金字塔残差结构，具体包括：特征融合模块和图像重建模块；其中，特征融合模块用于对特征提取单元输出的不同分辨率下的特征图进行自上而下的特征融合；图像重建模块用于对特征融合模块输出的不同分辨率下的特征图进行自下而上的图像重建，最后使用跳连接对最大尺度多光谱图像和重建图像进行求和。
[0047]
本发明实施例提供的基于u型金字塔残差结构的全色锐化方法，通过构建图像金字塔将图像采用卷积操作，自主学习最佳上采样权重使得图像分为多个分辨率层对应合并，从而提取多尺度细节特征，基于金字塔的网络结构能够较好的学习多光谱图像和全色图像波段间的相关性。
[0048]
实施例2
[0049]
在上述实施例1的基础上，如图3所示，本发明实施例中提供一种基于u型金字塔残差结构的全色锐化网络模型的另一种网络架构；
[0050]
其中，重采样单元具体用于：将输入的多光谱图像依次进行s次转置卷积操作以实现渐进t倍扩大图像，生成s 1层多光谱图像金字塔；将输入的全色图像依次进行s次卷积操作以实现渐进t倍缩小图像，生成s 1层全色图像金字塔；s≥2，t≥2。
[0051]
多尺度特征提取模块还包括高通滤波单元；对应地，合并单元具体用于按照下式对相同尺度的多光谱图像和全色图像进行通道拼接；
[0052][0053]
其中，i表示第i层金字塔，f表示拼接后的图像，ms表示多光谱图像，pan表示全色图像，h(pan)表示全色图像经过高通滤波单元后输出的高通域的全色图像，表示像素相加操作，表示通道拼接操作。
[0054]
特征融合模块具体用于：从金字塔中最高分辨率层开始，针对金字塔中的任意相邻两层对应的特征提取单元输出的图像采用给定融合过程进行特征融合，直至融合至金字塔中最低层分辨率层；其中，所述给定融合过程具体包括：将金字塔中较高分辨率层对应的最后一个特征提取单元输出的图像进行池化下采样以将图像缩小s倍，进而与金字塔中较低分辨率层对应的第一个特征提取单元输出的图像进行像素融合，最后对像素融合的特征图采用特征提取单元再次进行特征提取。
[0055]
所述图像重建模块具体用于：从金字塔中最低分辨率层开始，针对金字塔中的任意两层对应的特征提取单元输出的图像采用给定重建过程进行特征融合，直至融合至金字塔中最高层分辨率层；其中，所述给定重建过程具体包括：将金字塔中较低分辨率层对应的最后一个特征提取单元输出的图像进行卷积上采样以将图像扩大s倍，进而与金字塔中较高分辨率层对应的第一个特征提取单元输出的图像进行像素融合，最后对像素融合的特征图采用特征提取单元再次进行特征提取。
[0056]
具体地，图3所示网络架构是以s＝2，即三层图像金字塔为例。其中，t＝2为例。
[0057]
实施例3
[0058]
在上述各实施例的基础上，本发明实施例提供一种基于u型金字塔残差结构的全色锐化方法，具体包括以下步骤：
[0059]
s301：准备数据集。
[0060]
具体地，实例数据来自worldview 2卫星传感器。首先按照64*64大小数据剪裁生成数据集，数据集分成测试集和训练集，其中测试集又分成全分辨率测试集(真实测试集)和下降分辨率测试集(模拟测试集)，全分辨率测试集数量设定100张64*64尺寸图像，下降分辨率测试集数量设定为数据集的20％。依据wald协议设置训练网络的输入图像，剪裁后worldview 2，卫星训练数据量为7988。
[0061]
s302：多尺度提取图像细节特征。
[0062]
具体地，利用多尺度特征提取模块将输入的多光谱图像通过转置卷积操作渐进2倍扩大图像，将输入的全色图像通过卷积操作渐进2倍缩小图像，这样构成了两个图像金字塔。不同尺度的多光谱图像与高通滤波后的该层全色图像像素叠加后再与全色图像通道拼接。该步骤表达式可参见上述的公式(1)所示。
[0063]
s303：利用特征提取单元(例如密集残差卷积网络)提取图像的细节特征(包括空间和光谱特征)，每层得到64通道的光谱空间特征。
[0064]
s304：u型金字塔模型结构构建，包括自上而下特征融合过程和自下而上重建图像过程，以及跳连接过程。
[0065]
具体地，基于图3所示的网络结构，自上而下特征融合过程具体包括：从金字塔中最高分辨率层开始，将金字塔中最高分辨率层对应的特征提取单元输出的图像进行池化下
采样以将图像缩小2倍，进而与金字塔中次高分辨率层对应的第一个特征提取单元输出的图像进行像素融合，最后对像素融合的特征图采用特征提取单元再次进行特征提取；然后，针对金字塔中次高分辨率层，将其对应的最后一个特征提取单元输出的图像进行池化下采样以将图像缩小2倍，进而与金字塔中最低分辨率层对应的第一个特征提取单元输出的图像进行像素融合，最后对应像素融合后的特征图采用特征提取单元再次进行特征提取，至此，特征融合过程结束。
[0066]
基于图3所示的网络结构，自下而上重建图像过程具体包括：从金字塔中最低分辨率层开始，将金字塔中最低分辨率层对应的最后一个特征提取单元输出的图像进行卷积上采样以将图像扩大2倍，进而与金字塔中次高分辨率层对应的第一个特征提取单元输出的图像进行像素融合，最后对像素融合的特征图采用特征提取单元再次进行特征提取；然后，针对金字塔中次高分辨率层，将其对应的最后一个特征提取单元输出的图像进行卷积上采样以将图像扩大2倍，进而与金字塔中最高分辨率层对应的第一个特征提取单元输出的图像进行像素融合，最后对像素融合的特征图采用特征提取单元再次进行特征提取。
[0067]
具体地，在自下而上重建图像过程中，通过特征复用(在图3中，这一过程表现为横向连接)加快了网络的收敛速度，提高了模型训练的效率。
[0068]
模型结构的最后为了保持光谱信息，使用跳连接来融合最大尺度多光谱图像与重建图像，本实施例中，跳连接表达式为：式中，hrms表示最终高分辨率多光谱图像，f表示自下向上得到的重建图像,ms
↑4表示最大尺度多光谱图像，本实施例中即为扩大四倍的多光谱图像，目的是为了和重建图像达到相同的尺度大小。
[0069]
s305：网络模型建立完成后，设置损失函数反向传播。损失函数设计使用ssim与cc结合mae多任务指导训练网络，不断优化参数产生最优全色锐化网络模型。
[0070]
具体地，损失函数表达式为：
[0071][0072][0073][0074]
loss＝λ(loss
cc
loss
ssim
) εloss
mae
,ε＝1-λ
[0075]
其中，gt表示参照的多光谱图像，cov(
·
)表示图像的协方差，d(
·
)表示图像的方差，u(
·
)表示图像的均值，δ(
·
)表示图像的标准差，c1，c2，c3，λ表示常数，n表示样本个数。
[0076]
s306：训练网络。使用pycharm根据以上操作设计程序，其具体参数设为：batchsize设为16；选择主流的adam优化器；学习率设为0.0001。把步骤s301中训练数据集输入网络中训练。实验的硬件环境为：cpu为intel(r)xeon(r)cpu e5-2650 v4@2.20ghz；gpu为tesla p40。
[0077]
s307：测试网络。将测试集图像输入训练完成的网络模型中，得到最终融合图像，也即高分辨率多光谱图像。如图4和图5所示。
[0078]
表1下降分辨率图像各类方法融合结果的客观评价
[0079]
方法ergassamuiqiq2nsccpnn3.15275.38660.89220.88860.9406pannet3.09765.17410.89920.89510.9439srppnn2.69574.49990.91350.90980.9596dunet2.65854.44650.91120.90790.9612本发明2.60124.33640.91890.91580.9633
[0080]
表2全分辨率图像各类方法融合结果的客观评价
[0081]
methodqnrd
sdλ
pnn0.89130.06860.0442pannet0.89520.07770.0339srppnn0.89100.07290.0422dunet0.89630.06140.0498本发明0.90500.06430.0352
[0082]
选择pnn，pannet，srppnn，dunet全色锐化算法作为对比算法进行对比实验。表1是实例的下降分辨率图像采用不同全色锐化方法得到的结果图像，有五种需要参考图像的质量评估指标，全局相对光谱损失(ergas)、光谱角映射(sam)、通用图像质量指数(uiqi)、q2n指数和空间相关系数(scc)，其中uiqi、q2n和scc对应的数值越接近于1，ergas和sam数值接近0代表图像与原图像越接近。表2是实例的全分辨率图像采用不同全色锐化方法得到的结果图像，使用三种无参考图像的定量评估指标qnr、ds、d
λ
，其中ds和d
λ
对应数值越接近0、qnr数值越接近1表示对应融合图像质量较好。三个实例实验证明本发明提出的全色锐化方法无论在空间细节还是光谱结构都优于其他方法，证明本发明方法的有效性。
[0083]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。