基于空谱联合感知注意力的高光谱影像超分辨率重建方法

1.本发明涉及高光谱影像超分辨率重建领域，尤其是一种基于空谱联合感知注意力的高光谱影像超分辨率重建方法。


背景技术：

2.高光谱遥感技术的成像光谱仪同时对地物的几十或上百个波段进行成像，可以获取地物的连续光谱信息，实现地物的空间信息、辐射信息和光谱信息的同时提取，故高光谱影像(hsi)已应用于变化检测、目标检测以及地物分类等领域。然而，由于硬件的限制，高光谱影像虽具有高光谱分辨率，但其空间分辨率则通常较低，在很大程度上影响了高光谱影像的实际应用效果。在这种背景下，如何通过一些辅助的多光谱影像(msi)信息来增强高光谱影像(hsi)的空间分辨率，以实现高光谱影像的超分辨率重建成为特别受到关注的问题。
3.近年来，越来越多的学者对低空间分辨率高光谱影像(lr-hsi)和高空间分辨率多光谱影像(hr-msi)的融合任务进行了研究。在这些融合方法中，一些基于卷积神经网络的深度学习方法取得了很好的效果。例如，空间光谱重建网络(ssr-net)设计了一种新的损失函数来约束空间和光谱模式，达到了很好的效果。但该lr-hsi和hr-msi融合方法忽略了层次信息，忽略了hsi中光谱信息的保存和msi中空间信息的保存，以至于在融合过程中，hsi的光谱信息和msi的空间信息很难连续地传递到融合图像中，融合图像的质量有待提升。


技术实现要素：

4.本发明是为了解决现有技术所存在的上述技术问题，提供一种基于空谱联合感知注意力的高光谱影像超分辨率重建方法。
5.本发明的技术解决方案是：一种基于空谱联合感知注意力的高光谱影像超分辨率重建方法，依次按照如下步骤进行：
6.步骤1.在输入端输入高光谱影像y∈r
p
×q×c，对y进行预处理，获得高光谱影像和多光谱影像的总训练集和总测试集，其中p
×
q为y每一波段影像的空间大小，c为y的波段数；
7.步骤2.构建最佳网络模型
8.步骤2.1用总训练集训练空间光谱注意力提取模块，分别提取总训练集的空间注意力spai和光谱注意力spei，所述i＝1，2，3；
9.步骤2.2用总训练集训练全尺度链接u型融合模块，输出特征图f1、f2、f3、f2’
及f3’
；
10.步骤2.3利用adam优化器和网络总损失函数l
t
更新网络参数，得到经过训练的网络模型；
11.步骤2.4用总测试集测试经过训练的网络模型，计算峰值信噪比，迭代直至得到最佳网络模型；
12.步骤3.将总测试集输入至最佳网络模型，得到重建超分辨率的高光谱影像。
13.所述步骤1具体如下：
14.步骤1.1将高光谱影像y中元素值归一化至0-255，得到归一化后的高光谱影像y
′
∈r
p
×q×c；
15.步骤1.2对所得高光谱影像y
′
∈r
p
×q×c的边缘进行裁剪，得到裁剪后的高光谱影像y1∈r
p
′×q′×c；所述p
′×q′
为裁剪后的高光谱影像y1每一波段影像的空间大小，p
′
＝p w_edge，q
′
＝q h_edge；所述w_edge＝p//4*4-p，h_edge＝q//4*4-q，其中“//”为整数除法操作，返回商的整数部分；
16.步骤1.3划分工作区，所述工作区起始列w_str＝(p
′‑
a)//2，工作区起始行h_str＝(q
′‑
b)//2，工作区终止列w_end＝w_str a，工作区终止行h_end＝h_str b，其中a和b分别为需要得到的多光谱影像的宽度和高度；
17.步骤1.4划分测试数据
18.首先截取高光谱影像y1的第w_str列至w_end列的第h_str行至h_end行，得到高光谱影像test_ref∈ra×b×c；
19.对高光谱影像test_ref进行高斯模糊，同时传入参数ksize＝(5，5)，sigmax＝2，得到高光谱影像test_lr
′
∈ra×b×c；
20.对高光谱影像test_lr
′
进行4倍下采样，传入参数dsize＝(a//4，b//4)，其中“//”为整数除法操作，返回商的整数部分，得到测试集高光谱影像test_lr∈ra×b×c，其中a
×
b为下采样后所得高光谱影像test_lr每一波段影像的空间大小，且有a＝a//4，b＝b//4；
21.然后，从高光谱影像test_ref中抽取c个通道得到测试集多光谱影像test_hr∈ra×b×c，抽样方式为等距抽样，其中c为要得到的多光谱影像的通道数；
22.步骤1.5划分训练数据
23.首先将高光谱影像y1中工作区部分赋值为0，即将高光谱影像y1∈r
p
′×q′×c的第w_str列至w_end列的第h_str行至h_end行全部赋值为0，得到高光谱影像train_ref∈r
p
′×q′×c；
24.然后对高光谱影像train_ref进行高斯模糊，同时传入参数ksize＝(5，5)，sigmax＝2，得高光谱影像train_lr
′
∈r
p
′×q′×c；
25.对高光谱影像train_lr
′
进行4倍下采样，传入参数dsize＝(p
′
//4，q
′
//4)，其中“//”为整数除法操作，返回商的整数部分，得到训练集高光谱影像train_lr∈re×f×c，其中e
×
f为下采样后所得高光谱影像train_lr每一波段影像的空间大小，且有e＝p
′
//4，f＝q
′
//4；
26.最后，从高光谱影像train_ref中抽取c个通道，得到训练集多光谱影像trainhr∈r
p
′×q′×c，抽样方式为等距抽样，所述p
′×q′
为所得多光谱影像train_hr每一波段影像的空间大小；
27.步骤1.6从高光谱影像train_ref∈r
p
′×q′×c中随机截取出一个与高光谱影像test_ref∈ra×b×c尺寸相同的高光谱影像image_ref∈ra×b×c；
28.对高光谱影像image_ref进行下采样操作，空间大小乘数取1/4，得到下采样后高光谱影像作为训练用高光谱影像lr；
29.最后从训练集多光谱影像train_hr中，截取出与高光谱影像image_ref在高光谱影像train_ref中的对应位置的多光谱影像image_hr∈ra×b×c，作为训练用多光谱影像hr。
30.所述步骤2具体如下：
31.设置总体神经网络迭代次数t，初始最佳峰值信噪比psnr_b＝0，令epoch＝1，开始构建最佳网络模型；
32.所述步骤2.1训练空间注意力提取模块得到总训练集的空间注意力spai具体如下：
33.步骤2.1.1.1使用一组卷积层conv2_0对多光谱影像hr进行特征提取，得到特征图hr1∈rh×w×c；其中h
×
w为hr的每一波段的空间大小，c为lr的波段数；
34.所述conv2_0包含1层卷积操作和1层激活操作，其中，卷积层含有c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
35.步骤2.1.1.2构建空间注意子模块spaam，执行步骤如下：
36.首先调用封装好的torch.mean函数返回输入特征图按通道维求平均值的结果，得到特征图avg_sa；
37.再调用封装好的torch.max函数返回输入特征图按通道维求最大值的结果，得到特征图max_sa；
38.再调用封装好的torch.cat函数按通道维连接特征图avg_sa和特征图max_sa，得到特征图avg_max；
39.最后使用一组卷积层conv2_1对特征图avg_max进行特征提取，得到空间注意；
40.所述conv2_1包含1层卷积操作和1层激活操作，其中，卷积层含有1个大小为7
×
7的卷积核，进行padding＝3的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数sigmoid作为激活函数进行运算；
41.步骤2.1.1.3使用空间注意子模块spaam对特征图hr1进行特征提取，得到空间注意spa1∈rh×w×1；
42.步骤2.1.1.4使用离散小波变换dwt对特征图hr1进行下采样，得到特征图
43.步骤2.1.1.5使用一组卷积层conv22对特征图hr
1d
进行特征提取，得到特征图
44.所述conv2_2包含1层卷积操作和1层激活操作，其中，卷积层含有2c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
45.步骤2.1.1.6使用空间注意子模块spaam对特征图hr2进行特征提取，得到空间注意
46.步骤2.1.1.7使用离散小波变换dwt对特征图hr2进行下采样，得到特征图
47.步骤2.1.1.8使用一组卷积层conv23对特征图hr
2d
进行特征提取，得到特征图
48.所述conv2_3包含1层卷积操作和1层激活操作，其中，卷积层含有8c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
49.步骤2.1.1.9使用空间注意子模块spaam对特征图hr3进行特征提取，得到空间注意
50.所述步骤2.1训练光谱注意力提取模块得到总训练集的光谱注意力spei，具体步骤如下：
51.步骤2.1.2.1对高光谱影像lr进行4倍上采样操作，得到特征图lr1∈rh×w×c；
52.步骤2.1.2.2构建光谱注意子模块speam，执行步骤如下：
53.首先调用封装好的自适应平均池化方法torch.nn.adaptiveavgpool2d对该模块输入特征图逐光谱求特征值，得到特征图avg_pool∈r1×1×c；
54.使用一组卷积层conv2_4对特征图avg_pool进行特征提取，得到特征图avg_mid；
55.所述conv2_4包含1层卷积操作和1层激活操作，其中卷积层含有in_planes//16个大小为1
×
1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
56.使用一组卷积层conv2_5对特征图avg_mid进行特征提取，得到特征图avg_out∈r1×1×c；
57.所述conv2_5包含1层卷积操作，其中卷积层含有in_planes个大小为1
×
1的卷积核，每个卷积核以1个像素为步长进行卷积运算；
58.然后调用封装好的自适应最大池化方法torch.nn.adaptivemaxpool2d对该模块输入特征图逐光谱求特征值，得到特征图max_pool∈r1×1×c；
59.使用所述卷积层conv2_4对特征图max_pool进行特征提取，得到特征图max_mid；
60.使用所述卷积层conv2_5对特征图max_mid进行特征提取，得到特征图max_out∈r1×1×c；
61.将特征图avg_out和特征图max_out相加，得到特征图out∈r1×1×c；
62.最后，调用非线性激活函数sigmoid对特征图out进行激活，并返回激活后所得特征图；
63.步骤2.1.2.3使用光谱注意子模块speam对特征图lr1进行特征提取，向该光谱注意子模块传入参数in_planes＝c，得到光谱注意spe1∈r1×1×c；
64.步骤2.1.2.4使用离散小波变换dwt对特征图lr1进行下采样，得到特征图
65.步骤2.1.2.5使用所述卷积层conv22对特征图lr
1d
进行特征提取，得到特征图
66.步骤2.1.2.6使用光谱注意子模块speam对特征图lr2进行特征提取，向该光谱注意子模块传入参数in_planes＝2c，得到光谱注意spe2∈r1×1×
2c
；
67.步骤2.1.2.7使用离散小波变换dwt对特征图lr2进行下采样，得到特征图
68.步骤2.1.2.8使用所述卷积层conv2_3对特征图lr
2d
进行特征提取，得到特征图
69.步骤2.1.2.9使用光谱注意子模块speam对特征图lr3进行特征提取，向该光谱注意子模块传入参数in_planes＝8c，得到光谱注意spe3∈r1×1×
8c
；
70.所述步骤2.2具体如下：
71.编码过程：
72.步骤2.2.1.1调用封装好的torch.cat函数按通道维连接特征图hr1和特征图lr1，得到特征图x
1c
；
73.步骤2.2.1.2使用一组卷积层conv2_6对特征图x
1c
进行特征提取，得到特征图x
1d
∈rh×w×c；
74.所述conv26包含1层卷积操作和1层激活操作，其中卷积层含有c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
75.步骤2.2.1.3构建空间-光谱联合感知注意力模块ssjpa，执行步骤如下：
76.定义si为要进行信息增强的特征图，spai和spei为传入的空间注意和光谱注意，则信息增强后的特征图表示为：
[0077][0078]
其中表示矩阵乘法，i＝1，2，3；
[0079]
步骤2.2.1.4使用空间-光谱联合感知注意力模块ssjpa对特征图x
1d
进行信息增强，传入空间注意spa1和光谱注意spe1，最终得到信息增强后的特征图x1∈rh×w×c；
[0080]
步骤2.2.1.5使用离散小波变换dwt对特征图x1进行下采样，得到特征图
[0081]
步骤2.2.1.6使用所述卷积层conv2_2对特征图x
2d
进行特征提取，得到特征图
[0082]
步骤2.2.1.7使用空间-光谱联合感知注意力模块ssjpa对特征图x
2c
进行信息增强，传入光谱注意spe2和空间注意spa2，最终得到信息增强后的特征图
[0083]
步骤2.2.1.8使用离散小波变换dwt对特征图x2进行下采样，得到特征图
[0084]
步骤2.2.1.9使用所述卷积层conv2_3对特征图x
3d
进行特征提取，得到特征图
[0085]
步骤2.2.1.10使用空间-光谱联合感知注意力模块ssjpa对特征图x
3c
进行信息增
强，传入光谱注意spe3和空间注意spa3，最终得到信息增强后的特征图
[0086]
步骤2.2.1.11使用离散小波变换dwt对特征图x1进行下采样，得到特征图再使用离散小波变换dwt对特征图x
1d
′
进行下采样，得到特征图
[0087]
步骤2.2.1.12使用一组卷积层conv27对特征图x
1dd
′
进行特征提取，得到特征图
[0088]
所述conv2_7包含1层卷积操作和1层激活操作，其中卷积层含有8c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
[0089]
步骤2.2.1.13利用封装好的torch.cat函数按光谱维连接特征图x3和特征图x1′
，得到特征图
[0090]
步骤2.2.1.14使用一组卷积层conv2_8对特征图f
3d
进行特征提取，得到特征图
[0091]
所述conv28包含1层卷积操作和1层激活操作，其中卷积层含有16c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
[0092]
步骤2.2.1.15使用光谱 空间注意模块cbam对特征图f
3c
进行特征增强，得到特征增强后的特征图
[0093]
所述光谱 空间注意模块cbam执行步骤如下：
[0094]
定义gv为要进行特征增强的特征图；
[0095]
首先使用光谱注意子模块speam对特征图gi进行特征提取，向该光谱注意子模块传入特征图gv的光谱数，得到光谱注意speg；
[0096]
然后利用光谱注意speg对特征图gv进行光谱信息增强，得到特征图g
spe
；
[0097]
接着使用空间注意子模块spaam对特征图g
spe
进行特征提取，得到空间注意spag；
[0098]
最后利用空间注意spag对特征图g
spe
进行空间信息增强，得到输出特征图go；
[0099]
步骤2.2.1.16使用离散小波变换dwt对特征图x1进行下采样，得到特征图
[0100]
步骤2.2.1.17使用所述卷积层conv2_2对特征图x
1d
″
进行特征提取，得到特征图
[0101]
解码过程；
[0102]
步骤2.2.2.1使用逆小波变换iwt对特征图f3进行上采样，得到特征图
[0103]
步骤2.2.2.2使用逆小波变换iwt对特征图f
3i
″
进行上采样，得到特征图f
3ii
″
∈rh×w×c；
[0104]
步骤2.2.2.3使用一组卷积层conv2_9对特征图f
3ii
″
进行特征提取，得到特征图f3″
∈rh×w×c；
[0105]
所述conv2_9包含1层卷积操作和1层激活操作，其中卷积层含有c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
[0106]
步骤2.2.2.4使用逆小波变换iwt对特征图f3进行上采样，得到特征图
[0107]
步骤2.2.2.5使用一组卷积层conv2_10对特征图y
2i
进行特征提取，得到特征图
[0108]
所述conv2_10包含1层卷积操作和1层激活操作，其中卷积层含有4c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
[0109]
步骤2.2.2.6利用封装好的torch.cat函数按光谱维连接特征图x1″
和特征图y2，再按光谱维与特征图x2相连接，最终得到特征图
[0110]
步骤2.2.2.7使用一组卷积层conv2_11对特征图f
2d
进行特征提取，得到特征图
[0111]
所述conv2_11包含1层卷积操作和1层激活操作，其中卷积层含有4c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
[0112]
步骤2.2.2.8使用光谱 空间注意模块cbam对特征图f
2c
进行特征增强，得到特征增强后的特征图
[0113]
步骤2.2.2.9使用逆小波变换iwt对特征图f2进行上采样，得到特征图y
1i
∈rh×w×c；
[0114]
步骤2.2.2.10使用所述卷积层conv2_9对特征图y
1i
进行特征提取，得到特征图y1∈rh×w×c；
[0115]
步骤2.2.2.11使用一组卷积层conv2_12对特征图x2进行特征提取，得到特征图
[0116]
所述conv2_12包含1层卷积操作和1层激活操作，其中卷积层含有4c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
[0117]
步骤2.2.2.12使用逆小波变换iwt对特征图x
2c
′
进行上采样，得到特征图x
2i
′
∈rh×w×c；
[0118]
步骤2.2.2.13.使用所述卷积层conv2_9对所得特征图x
2i
′
进行特征提取，得到特征图x2′
∈rh×w×c；
[0119]
输出过程：
[0120]
步骤2.2.3.1.利用封装好的torch.cat函数按光谱维连接特征图x1和特征图x2′
，再按光谱维与特征图f3″
相连接，再按光谱维与特征图y1相连接，最终得到特征图f
1d
∈rh×w×
4c
；
[0121]
步骤2.2.3.2.使用一组卷积层conv2_13对特征图f
1d
进行特征提取，得到特征图f1∈rh×w×c；
[0122]
所述conv2_13包含1层卷积操作和1层激活操作，其中卷积层含有c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
[0123]
步骤2.2.3.3.使用离散小波变换dwt对特征图f1进行下采样，得到特征图
[0124]
步骤2.2.3.4使用所述卷积层conv2_10对特征图f
2d
′
进行特征提取，得到特征图
[0125]
步骤2.2.3.5使用离散小波变换dwt对特征图f2′
进行下采样，得到特征图
[0126]
步骤2.2.3.6.使用所述卷积层conv2_8对特征图f
3d
′
进行特征提取，得到特征图
[0127]
步骤2.2.3.7依次输出特征图f1、特征图f2、特征图f3、特征图f2′
及特征图f3′
；
[0128]
所述步骤2.3的网络总损失l
t
按照如下步骤获得：
[0129]
调用封装好的均方差损失函数nn.mseloss求得输出特征图f1与高光谱影像image_ref对应位置平方差后的均值l
mse1
；
[0130]
调用封装好的均方差损失函数nn.mseloss求得输出特征图f2′
与输出特征图f2对应位置平方差后的均值l
mse2
；
[0131]
调用封装好的均方差损失函数nn.mseloss求得输出特征图f3′
与输出特征图f3对应位置平方差后的均值l
mse3
；
[0132]
对三个损失函数进行加权，求得最终网络总损失l
t
：
[0133]
l
t
＝0.6*l
mse1
0.4*l
mse2
0.4*l
mse3
；
[0134]
所述步骤2.4具体如下：
[0135]
步骤2.4.1将所得测试集高光谱影像test_lr和测试集多光谱影像test_hr分别作为高光谱影像lr和多光谱影像hr，输入至经过训练的网络模型，得到输出特征图f
1t
，f
2t
，f
3t
，f
2t
′
，f
3t
′
；
[0136]
步骤2.4.2计算峰值信噪比psnr；
[0137]
首先按如下公式计算高光谱影像test_ref和输出特征图f
1t
之间的均方误差：
[0138]
mse＝mean((test_ref-f
1t
)2)
[0139]
其中mean(
·
)表示封装好的求平均值函数np.mean；
[0140]
然后，调用封装好的np.max函数求得高光谱影像test_ref的最大元素max；
[0141]
最后，按照如下公式求得峰值信噪比psnr：
[0142]
psnr＝10*log10(max2/mse)
[0143]
其中log10(
·
)表示封装好的以10为底求对数的函数np.log10；
[0144]
步骤2.4.3判断所得峰值信噪比psnr与最佳峰值信噪比psnr_b的大小关系，若psnr_b＜psnr，则取psnr_b
←
psnr，并保存当前网络模型为最佳网络模型；否则不做变动；
[0145]
步骤2.4.4 epoch
←
epoch 1，若epoch＞t，则已完成最佳网络模型得构建，保存最佳网络模型，否则返回步骤2.1.1.1。
[0146]
本发明采用了多级特征提取策略，利用更密集的全尺度跳跃连接，在细粒度范围内探索特征信息，实现了多尺度、多路径特征的灵活组合；同时，本发明应用了空间-光谱联合感知注意模块，可以充分利用该模块计算出的注意力图，有效地将空间信息和光谱信息嵌入融合后的图像中，实现信息的不间断传递和聚合，既本发明充分挖掘了深层次特征提升重建影像精度，在有效提升高光谱影像空间分辨率的同时尽可能的保持其光谱分辨率不发生畸变。在公开的pavia center数据集和washington dc mall数据集上的实验结果表明，本发明的超分辨率效果能达到较高水平。
附图说明
[0147]
图1为本发明实施例空间光谱注意力提取模块网络结构图。
[0148]
图2为本发明实施例全尺度链接u型融合模块结构图。
[0149]
图3为本发明实施例空间-光谱联合感知注意力提取模块结构图。
[0150]
图4为本发明实施例与现有技术对pavia center数据集的结果对比示意图。
[0151]
图5是本发明实施例与现有技术对washington dc mall数据集的结果对比示意图。
具体实施方式
[0152]
本发明的一种基于空谱联合感知注意力的高光谱影像超分辨率重建方法，依次按照如下步骤进行：
[0153]
步骤1.在输入端输入高光谱影像y∈r
p
×q×c，对y进行预处理，获得高光谱影像和多光谱影像的总训练集和总测试集，其中p
×
q为y每一波段影像的空间大小，c为y的波段数；
[0154]
步骤1.1将高光谱影像y中元素值归一化至0-255，得到归一化后的高光谱影像y
′
∈r
p
×q×c，归一化过程如下：
[0155]
调用封装好的numpy.max函数返回y中的最大元素值y_max，调用封装好的numpy.min函数返回y中的最小元素值y_min；按下列公式获得y的归一化影像y
′
：
[0156]y′
＝255*((y-y_min)/(y_max-y_min))；
[0157]
步骤1.2对所得高光谱影像y
′
∈r
p
×q×c的边缘进行裁剪，首先求得高光谱影像宽度裁剪值w_edge＝p//4*4-p；其中“//”为整数除法操作，返回商的整数部分.
[0158]
然后求得高光谱影像高度裁剪值h_edge＝q//4*4-q；
[0159]
若w_edge＝0，则将w_edge重新赋值为-1，否则不做修改；若h_edge＝0，则将h_edge重新赋值为-1，否则不做修改；
[0160]
最后，截取高光谱影像y
′
的第0至p w_edge行的第0至q h_edge列作为边缘裁剪后的新高光谱影像y1∈r
p
′×q′×c；所述p
′×q′
为裁剪后的高光谱影像y1每一波段影像的空间大小，p
′
＝p w_edge，q
′
＝q h_edge；
[0161]
步骤1.3划分工作区，所述工作区起始列w_str＝(p
′‑
a)//2，工作区起始行h_str＝(q
′‑
b)//2，工作区终止列w_end＝w_str a，工作区终止行h_end＝h_str b，其中a和b分别为需要得到的多光谱影像的宽度和高度，本实施例取a＝b＝128；
[0162]
步骤1.4划分测试数据
[0163]
首先截取高光谱影像y1的第w_str列至w_end列的第h_str行至h_end行，得到高光谱影像test_ref∈ra×b×c；
[0164]
调用封装好的cv2.gaussianblur方法对高光谱影像test_ref进行高斯模糊，同时传入参数ksize＝(5，5)，sigmax＝2，得到高光谱影像test_lr
′
∈ra×b×c；
[0165]
调用封装好的cv2.resize方法对高光谱影像test_lr
′
进行4倍下采样，传入参数dsize＝(a//4，b//4)，其中“//”为整数除法操作，返回商的整数部分，得到测试集高光谱影像test_lr∈ra×b×c，其中a
×
b为下采样后所得高光谱影像test_lr每一波段影像的空间大小，且有a＝a//4，b＝b//4；
[0166]
然后，从高光谱影像test_ref中抽取c个通道得到测试集多光谱影像test_hr∈ra×b×c，抽样方式为等距抽样，其中c为要得到的多光谱影像的通道数，本实施例取c＝5；
[0167]
步骤1.5划分训练数据
[0168]
首先将高光谱影像y1中工作区部分赋值为0，即将高光谱影像y1∈r
p
′×q′×c的第w_str列至w_end列的第h_str行至h_end行全部赋值为0，得到高光谱影像train_ref∈r
p
′×q′×c；
[0169]
然后调用好的cv2.gaussianblur方法对高光谱影像train_ref进行高斯模糊，同时传入参数ksize＝(5，5)，sigmax＝2，得高光谱影像train_lr
′
∈r
p
′×q×c；
[0170]
调用封装好的cv2.resize方法对高光谱影像train_lr
′
进行4倍下采样，传入参数dsize＝(p
′
//4，q
′
//4)，其中“//”为整数除法操作，返回商的整数部分，得到训练集高光谱影像train_lr∈re×f×c，其中e
×
f为下采样后所得高光谱影像train_lr每一波段影像的空间大小，且有e＝p
′
//4，f＝q
′
//4；
[0171]
最后，从高光谱影像train_ref中抽取c个通道，得到训练集多光谱影像train_hr∈r
p
′×q′×c，抽样方式为等距抽样，所述p
′×q′
为所得多光谱影像train_hr每一波段影像的空间大小；
[0172]
步骤1.6从高光谱影像train_ref∈r
p
′×q′×c中随机截取出一个与高光谱影像test_ref∈ra×b×c尺寸相同的高光谱影像image_ref∈ra×b×c；
[0173]
对高光谱影像image_ref进行下采样操作，空间大小乘数取1/4，得到下采样后高光谱影像作为训练用高光谱影像lr；
[0174]
最后从训练集多光谱影像train_hr中，截取出与高光谱影像image_ref在高光谱影像train_ref中的对应位置的多光谱影像image_hr∈ra×b×c，作为训练用多光谱影像hr。
[0175]
步骤2.构建最佳网络模型
[0176]
步骤2.1如图1所示，用总训练集训练空间光谱注意力提取模块，分别提取总训练集的空间注意力spai和光谱注意力spei，所述i＝1，2，3；
[0177]
设置总体神经网络迭代次数t，初始最佳峰值信噪比psnr_b＝0，令epoch＝1，开始构建最佳网络模型；
[0178]
所述训练空间注意力提取模块得到总训练集的空间注意力spai具体如下：
[0179]
步骤2.1.1.1使用一组卷积层conv2_0对多光谱影像hr进行特征提取，得到特征图hr1∈rh×w×c；其中h
×
w为hr的每一波段的空间大小，c为lr的波段数；
[0180]
所述conv2_0包含1层卷积操作和1层激活操作，其中，卷积层含有c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
[0181]
步骤2.1.1.2构建空间注意子模块spaam，执行步骤如下：
[0182]
首先调用封装好的torch.mean函数返回输入特征图按通道维求平均值的结果，得到特征图avg_sa；
[0183]
再调用封装好的torch.max函数返回输入特征图按通道维求最大值的结果，得到特征图max_sa；
[0184]
再调用封装好的torch.cat函数按通道维连接特征图avg_sa和特征图max_sa，得到特征图avg_max；
[0185]
最后使用一组卷积层conv2_1对特征图avg_max进行特征提取，得到空间注意；
[0186]
所述conv2_1包含1层卷积操作和1层激活操作，其中，卷积层含有1个大小为7
×
7的卷积核，进行padding＝3的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数sigmoid作为激活函数进行运算；
[0187]
步骤2.1.1.3使用空间注意子模块spaam对特征图hr1进行特征提取，得到空间注意spa1∈rh×w×1；
[0188]
步骤2.1.1.4使用离散小波变换dwt对特征图hr1进行下采样，得到特征图
[0189]
所述离散小波变换dwt具体实施方式如下：
[0190]
首先以2为步长从输入特征图的第0行开始进行逐行截取，将所得特征图中所有元素值除以2，得到特征图x
01
；
[0191]
然后以2为步长从输入特征图的第1行开始进行逐行截取，将所得特征图中所有元素值除以2，得到特征图x
02
；
[0192]
再以2为步长从特征图x
01
的第0列开始进行逐列截取，得到特征图x1；
[0193]
再以2为步长从特征图x
02
的第0列开始进行逐列截取，得到特征图x2；
[0194]
再以2为步长从特征图x
01
的第1列开始进行逐列截取，得到特征图x3；
[0195]
再以2为步长从特征图x
02
的第1列开始进行逐列截取，得到特征图x4；
[0196]
随后，按公式(1)-(4)对特征图x1，x2，x3，x4进行计算，求得特征图x_ll，x_hl，x_lh，x_hh，公式(1)-(4)如下：
[0197]
x_ll＝x1 x2 x3 x4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0198]
x_hl＝-x
1-x2 x3 x4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0199]
x_lh＝-x1 x
2-x3 x4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0200]
x_hh＝x
1-x
2-x3 x4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0201]
最后，调用封装好的torch.cat函数按通道维连接特征图x_ll，x_hl，x_lh，x_hh，返回连接结果即完成离散小波变换dwt；
[0202]
步骤2.1.1.5使用一组卷积层conv2_2对特征图hr
1d
进行特征提取，得到特征图
[0203]
所述conv2_2包含1层卷积操作和1层激活操作，其中，卷积层含有2c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
[0204]
步骤2.1.1.6使用空间注意子模块spaam对特征图hr2进行特征提取，得到空间注意
[0205]
步骤2.1.1.7使用离散小波变换dwt对特征图hr2进行下采样，得到特征图
[0206]
步骤2.1.1.8使用一组卷积层conv2_3对特征图hr
2d
进行特征提取，得到特征图
[0207]
所述conv2_3包含1层卷积操作和1层激活操作，其中，卷积层含有8c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
[0208]
步骤2.1.1.9使用空间注意子模块spaam对特征图hr3进行特征提取，得到空间注意
[0209]
所述训练光谱注意力提取模块得到总训练集的光谱注意力spei，具体步骤如下：
[0210]
步骤2.1.2.1对高光谱影像lr进行4倍上采样操作，得到特征图lr1∈rh×w×c；
[0211]
步骤2.1.2.2构建光谱注意子模块speam，执行步骤如下：
[0212]
首先调用封装好的自适应平均池化方法torch.nn.adaptiveavgpool2d对该模块输入特征图逐光谱求特征值，得到特征图avg_pool∈r1×1×c；
[0213]
使用一组卷积层conv2_4对特征图avg_pool进行特征提取，得到特征图avg_mid；
[0214]
所述conv2_4包含1层卷积操作和1层激活操作，其中卷积层含有in_planes//16个大小为1
×
1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
[0215]
使用一组卷积层conv2_5对特征图avg_mid进行特征提取，得到特征图avg_out∈r1×1×c；
[0216]
所述conv25包含1层卷积操作，其中卷积层含有in_planes个大小为1
×
1的卷积核，每个卷积核以1个像素为步长进行卷积运算；
[0217]
然后调用封装好的自适应最大池化方法torch.nn.adaptivemaxpool2d对该模块
输入特征图逐光谱求特征值，得到特征图max_pool∈r1×1×c；
[0218]
使用所述卷积层conv2_4对特征图max_pool进行特征提取，得到特征图max_mid；
[0219]
使用所述卷积层conv2_5对特征图max_mid进行特征提取，得到特征图max_out∈r1×1×c：
[0220]
将特征图avg_out和特征图max_out相加，得到特征图out∈r1×1×c；
[0221]
最后，调用非线性激活函数sigmoid对特征图out进行激活，并返回激活后所得特征图；
[0222]
步骤2.1.2.3使用光谱注意子模块speam对特征图lr1进行特征提取，向该光谱注意子模块传入参数in_planes＝c，得到光谱注意spe1∈r1×1×c；
[0223]
步骤2.1.2.4使用离散小波变换dwt对特征图lr1进行下采样，得到特征图
[0224]
步骤2.1.2.5使用所述卷积层conv2_2对特征图lr
1d
进行特征提取，得到特征图
[0225]
步骤2.1.2.6使用光谱注意子模块speam对特征图lr2进行特征提取，向该光谱注意子模块传入参数in_planes＝2c，得到光谱注意spe2∈r1×1×
2c
；
[0226]
步骤2.1.2.7使用离散小波变换dwt对特征图lr2进行下采样，得到特征图
[0227]
步骤2.1.2.8使用所述卷积层conv2_3对特征图lr
2d
进行特征提取，得到特征图
[0228]
步骤2.1.2.9使用光谱注意子模块speam对特征图lr3进行特征提取，向该光谱注意子模块传入参数in_planes＝8c，得到光谱注意spe3∈r1×1×
8c
；
[0229]
步骤2.2如图2所示，用总训练集训练全尺度链接u型融合模块，输出特征图f1、f2、f3、f2’
及f3’
；
[0230]
编码过程：
[0231]
步骤2.2.1.1调用封装好的torch.cat函数按通道维连接特征图hr1和特征图lr1，得到特征图x
1c
；
[0232]
步骤2.2.1.2使用一组卷积层conv2_6对特征图x
1c
进行特征提取，得到特征图x
1d
∈rh×w×c；
[0233]
所述conv26包含1层卷积操作和1层激活操作，其中卷积层含有c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
[0234]
步骤2.2.1.3构建空间-光谱联合感知注意力模块ssjpa如图3所示，执行步骤如下：
[0235]
定义si为要进行信息增强的特征图，spai和spei为传入的空间注意和光谱注意，则信息增强后的特征图表示为：
的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
[0251]
步骤2.2.1.15使用光谱 空间注意模块cbam对特征图f
3c
进行特征增强，得到特征增强后的特征图
[0252]
所述光谱 空间注意模块cbam执行步骤如下：
[0253]
定义gv为要进行特征增强的特征图；
[0254]
首先使用光谱注意子模块speam对特征图gi进行特征提取，向该光谱注意子模块传入特征图gv的光谱数，得到光谱注意speg；
[0255]
然后利用光谱注意speg对特征图gv进行光谱信息增强，得到特征图g
spe
；
[0256]
接着使用空间注意子模块spaam对特征图g
spe
进行特征提取，得到空间注意spag；
[0257]
最后利用空间注意spag对特征图g
spe
进行空间信息增强，得到输出特征图go；
[0258]
步骤2.2.1.16使用离散小波变换dwt对特征图x1进行下采样，得到特征图
[0259]
步骤2.2.1.17使用所述卷积层conv2_2对特征图x
1d
″
进行特征提取，得到特征图
[0260]
解码过程；
[0261]
步骤2.2.2.1使用逆小波变换iwt对特征图f3进行上采样，得到特征图
[0262]
步骤2.2.2.2使用逆小波变换iwt对特征图f
3i
″
进行上采样，得到特征图f
3ii
″
∈rh×w×c；
[0263]
所述逆小波变换iwt具体实施方式如下：
[0264]
定义要进行逆小波变换的特征图i∈r
ih
×
iw
×
ic
，首先求得进行逆小波变换后的输出尺寸，即输出特征图高度ih
′
＝2
×
ih，宽度iw
′
＝2
×
iw，光谱数ic
′
＝ic
×
4；
[0265]
然后，截取特征图i的第0至ic光谱，并将截取所得特征图中所有元素值除以2，得到特征图x
01
′
；
[0266]
再截取特征图i的第ic至2ic光谱，并将截取所得特征图中所有元素值除以2，得到特征图x
02
′
；
[0267]
再截取特征图i的第2ic至3ic光谱，并将截取所得特征图中所有元素值除以2，得到特征图x
03
′
；
[0268]
再截取特征图i的第3ic至4ic光谱，并将截取所得特征图中所有元素值除以2，得到特征图x
04
′
；
[0269]
随后，调用封装好的torch.zeros函数构建全零张量i
′
∈r
ih
′×
iw
′×
ic
′
；并按公式(7)-(10)对特征图x
01
′
，x
02
′
，x
03
′
，x
04
′
进行计算，求得特征图x1′
，x2′
，x3′
，x4′
，公式(5)-(8)如下：
[0270]
x1′
＝x
01
′‑
x
02
′‑
x
03
′
x
04
′ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0271]
x2′
＝x
01
′‑
x
02
′
x
03
′‑
x
04
′ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0272]
x3′
＝x
01
′
x
02
′‑
x
03
′‑
x
04
′ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0273]
x4′
＝x
01
′
x
02
′
x
03
′
x
04
′ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0274]
最后，将x1′
填充至i
′
的偶数行的偶数列，将x2′
填充至i
′
的奇数行的偶数列，将x3′
填充至i
′
的偶数行的奇数列，将x4′
填充至i
′
的奇数行的奇数列，得到逆小波变换上采样的结果i
′
∈r
ih
′×
iw
′×
ic
′
；
[0275]
步骤2.2.2.3使用一组卷积层conv2_9对特征图f
3ii
″
进行特征提取，得到特征图f3″
∈rh×w×c；
[0276]
所述conv2_9包含1层卷积操作和1层激活操作，其中卷积层含有c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
[0277]
步骤2.2.2.4使用逆小波变换iwt对特征图f3进行上采样，得到特征图
[0278]
步骤2.2.2.5使用一组卷积层conv2_10对特征图y
2i
进行特征提取，得到特征图
[0279]
所述conv2_10包含1层卷积操作和1层激活操作，其中卷积层含有4c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
[0280]
步骤2.2.2.6利用封装好的torch.cat函数按光谱维连接特征图x1″
和特征图y2，再按光谱维与特征图x2相连接，最终得到特征图
[0281]
步骤2.2.2.7使用一组卷积层conv2_11对特征图f
2d
进行特征提取，得到特征图
[0282]
所述conv2_11包含1层卷积操作和1层激活操作，其中卷积层含有4c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
[0283]
步骤2.2.2.8使用光谱 空间注意模块cbam对特征图f
2c
进行特征增强，得到特征增强后的特征图
[0284]
步骤2.2.2.9使用逆小波变换iwt对特征图f2进行上采样，得到特征图y
1i
∈rh×w×c；
[0285]
步骤2.2.2.10使用所述卷积层conv2_9对特征图y
1i
进行特征提取，得到特征图y1∈rh×w×c；
[0286]
步骤2.2.2.11使用一组卷积层conv2_12对特征图x2进行特征提取，得到特征图
[0287]
所述conv2_12包含1层卷积操作和1层激活操作，其中卷积层含有4c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
[0288]
步骤2.2.2.12使用逆小波变换iwt对特征图x
2c
′
进行上采样，得到特征图x
2i
′
∈rh×w×c；
[0289]
步骤2.2.2.13.使用所述卷积层conv2_9对所得特征图x
2i
′
进行特征提取，得到特征图x2′
∈rh×w×c；
[0290]
输出过程：
[0291]
步骤2.2.3.1.利用封装好的torch.cat函数按光谱维连接特征图x1和特征图x2′
，再按光谱维与特征图f3″
相连接，再按光谱维与特征图y1相连接，最终得到特征图f
1d
∈rh×w×
4c
；
[0292]
步骤2.2.3.2.使用一组卷积层conv2_13对特征图f
1d
进行特征提取，得到特征图f1∈rh×w×c；
[0293]
所述conv213包含1层卷积操作和1层激活操作，其中卷积层含有c个大小为3
×
3的卷积核，进行padding＝1的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数relu作为激活函数进行运算；
[0294]
步骤2.2.3.3.使用离散小波变换dwt对特征图f1进行下采样，得到特征图
[0295]
步骤2.2.3.4使用所述卷积层conv2_10对特征图f
2d
′
进行特征提取，得到特征图
[0296]
步骤2.2.3.5使用离散小波变换dwt对特征图f2′
进行下采样，得到特征图
[0297]
步骤2.2.3.6.使用所述卷积层conv2_8对特征图f
3d
′
进行特征提取，得到特征图
[0298]
步骤2.2.3.7依次输出特征图f1、特征图f2、特征图f3、特征图f2吸特征图f3′
；
[0299]
步骤2.3利用adam优化器和网络总损失函数l
t
更新网络参数，得到经过训练的网络模型；
[0300]
调用封装好的均方差损失函数nn.mseloss求得输出特征图f1与高光谱影像image_ref对应位置平方差后的均值l
mse1
；
[0301]
调用封装好的均方差损失函数nn.mseloss求得输出特征图f2′
与输出特征图f2对应位置平方差后的均值l
mse2
；
[0302]
调用封装好的均方差损失函数nn.mseloss求得输出特征图f3′
与输出特征图f3对应位置平方差后的均值l
mse3
；
[0303]
对三个损失函数进行加权，求得最终网络总损失函数l
t
：
[0304]
l
t
＝0.6*l
mse1
0.4*l
mse2
0.4*l
mse3
；
[0305]
步骤2.4用总测试集测试经过训练的网络模型，计算峰值信噪比，迭代直至得到最佳网络模型；
[0306]
步骤2.4.1将所得测试集高光谱影像test_lr和测试集多光谱影像test_hr分别替代训练用的高光谱影像lr和多光谱影像hr，输入至经过训练的网络模型(重复步骤
2.1.1.1-步骤2.2.3.7)，得到输出特征图f
1t
，f
2t
，f
3t
，f
2t
′
，f
3t
′
；
[0307]
步骤2.4.2计算峰值信噪比psnr；
[0308]
首先按如下公式计算高光谱影像test_ref和输出特征图f
1t
之间的均方误差：
[0309]
mse＝mean((test_ref-f
1t
)2)
[0310]
其中mean(
·
)表示封装好的求平均值函数np.mean；
[0311]
然后，调用封装好的np.max函数求得高光谱影像test_ref的最大元素max；
[0312]
最后，按照如下公式求得峰值信噪比psnr：
[0313]
psnr＝10*log10(max2/mse)
[0314]
其中log10(
·
)表示封装好的以10为底求对数的函数np.log10；
[0315]
步骤2.4.3判断所得峰值信噪比psnr与最佳峰值信噪比psnr_b的大小关系，若psnr_b＜psnr，则取psnr_b
←
psnr，并保存当前网络模型为最佳网络模型；否则不做变动；
[0316]
步骤2.4.4epoch
←
epoch 1，若epoch＞t，则已完成最佳网络模型得构建，保存最佳网络模型，否则返回步骤2.1.1.1，再次从训练开始。
[0317]
步骤3.将总测试集输入至最佳网络模型，所得输出特征图f1即最佳融合结果，从而得到重建超分辨率的高光谱影像。
[0318]
为验证本发明的有效性，采用均方根误差(rmse)、峰值信噪比(psnr)、相对无量纲全局误差(ergas)和光谱角相似度(sam)作为客观指标对结果进行评价，并将本发明的评价结果与msdcnn方法、tfnet方法、restfnet方法、ssfcnn方法、conssfcnn方法、ssr-net方法在pavia center和washington dc mall数据集上进行比较。
[0319]
表1和图4分别展示了所有方法在pavia center数据集上的重建结果的评价指标和伪彩色rgb图像。从实验结果可以看出在pavia center数据集上本发明在四个评价指标上均取得最好的结果。与重建质量第二名的算法ssr-net相比，本发明的psnr提高了5.65％，rmse，ergas和sam分别降低了21.65％，21.90％和9.90％。这些数据充分说明本发明在pavia center数据集上的有效性，证明其具有很好空间-光谱信息保持能力。
[0320]
表1 pavia center数据集上不同融合算法的性能比较
[0321][0322]
图4为本发明实施例与msdcnn方法、tfnet方法、restfnet方法、ssfcnn方法、conssfcnn方法、ssr-net方法对washington dc mall数据集的结果对比示意图，其中第一行显示了融合后的伪彩色r-g-b结果图像，第二行是经过伪色处理后的差分图像。
[0323]
表2和图5分别展示了所有方法在washington dc mall数据集上的重建结果的评
价指标和伪彩色rgb图像。实验结果表明本发明在washington dc mall数据集上四个指标都达到了最好。与重建质量排名第二的restfnet相比，本发明的psnr提高了59.52％，rmse、ergas和sam分别降低了16.80％、59.93％和58.62％。可以看出，本发明在washington dc mall数据集上的性能较其他方法取得了巨大的飞跃。与其他数据集相比，washington dc mall数据集具有更多的波段，这表明本发明在较高光谱分辨率的数据集上依然具有良好的性能。
[0324]
表2 washington dc mall数据集上不同融合算法的性能比较
[0325][0326]
图5为本发明实例与msdcnn方法、tfnet方法、restfnet方法、ssfcnn方法、conssfcnn方法、ssr-net方法对washington dc mall数据集的结果对比示意图，其中第一行显示了融合后的伪彩色r-g-b结果图像，第二行是经过伪色处理后的差分图像。