基于通道约束多特征融合的图像超分辨率重建方法和系统与流程

1.本发明属于超分辨率图像重建领域，更具体地，涉及基于通道约束多特征融合的图像超分辨率重建方法和系统。


背景技术：

2.在遥感图像领域，光谱与空间细节信息之间要进行一定的权衡，为保证光谱波段信息的完整性不得不牺牲其部分空间细节信息，然而，这会对后续的高级任务带来较大难度，限制了高光谱图像的应用。为此，在确保光谱分辨率的同时提高图像的空间质量，使其能最大程度上还原场景信息，是当前高光谱领域研究的重点与难点。
3.提高高光谱图像空间分辨率通常有两种途径：一种途径是提高成像设备的硬件能力，但这依赖于成像技术与半导体工艺的突破，该方法不仅研发时间周期长，而且也会提高硬件成本。另一种途径则是通过软件层面来解决，利用算法来提升图像质量。近年来，图像超分辨率(super
‑
resolution，sr)技术吸引了广大研究人员的关注。该技术旨在将空间细节信息较少的低空间分辨率(low
‑
resolution，lr)图像重建成为包含细节特征更加丰富的高空间分辨率(high
‑
resolution，hr)图像，同时在一定程度上消除图像噪声与模糊带来的影响。随着计算机设备的快速更新，计算机的运算能力得到了显着的提升，在充足算力与大量数据的支撑下，深度学习在图像超分辨率取得了十分耀眼的成绩。相较于传统的机器学习方法，基于深度学习的超分辨率方法可以避免手工设置特征规则，自动提取图像与光谱层次特征，从大量数据中学习到高低空间分辨率图像之间复杂的非线性映射关系，具有更好的重建效果。因此，利用深度学习技术完成高光谱图像超分辨率重建任务具有相当重要的意义和价值。
4.尽管研究人员们在图像超分辨率领域已经取得了一定的成绩，但由于高光谱图像数据结构的特殊性，在重建过程中有效利用光谱信息、减少光谱信息失真仍是一项具有挑战性的任务。针对上述情况，将基于多特征融合的高光谱与多光谱图像联合方法应用于图像超分辨率领域，并根据网络模型实际应用中存在的问题进行改进，增强算法图像细节重建能力及模型光谱信息还原能力。


技术实现要素：

5.针对现有技术的缺陷和改进需求，本发明提供了基于通道约束多特征融合的图像超分辨率重建方法和系统，其目的在于解决高光谱图像超分辨率重建后的图像在光谱信息上常常存在失真、超分辨率倍数较高时图像重建难度大等问题。
6.为实现上述目的，按照本发明的第一方面，提供了一种基于通道约束多特征融合的图像超分辨率重建方法，该方法包括：
7.训练阶段：
8.获取同一场景下的高空间分辨率高光谱图像、低空间分辨率高光谱图像和高空间分辨率多光谱图像，并将低空间分辨率高光谱图像作为训练样本，对应高空间分辨率高光
谱图像作为标签，构建训练集；
9.搭建双通道超分辨率网络，所述双通道超分辨率网络包括：特征提取模块，用于从同一场景下的低空间分辨率高光谱图像和高空间分辨率多光谱图像中同时提取空间特征与光谱特征；特征融合模块，用于融合同一场景下的多光谱图像与高光谱图像的空谱特征；图像重建模块，用于将融合后的特征重建，得到重建高空间分辨率高光谱图像；
10.采用训练集训练双通道超分辨率网络，直至重建高空间分辨率高光谱图像与原始高空间分辨率高光谱图像的对应光谱向量中各元素变化规律保持一致，得到训练好的双通道超分辨率网络；
11.应用阶段：
12.获取待重建场景下的低空间分辨率高光谱图像和高空间分辨率多光谱图像，输入至训练好的双通道超分辨率网络进行超分辨率重建，得到重建高空间分辨率高光谱图像。
13.优选地，高空间分辨率高光谱图像对应的低空间分辨率高光谱图像通过以下方式获得：对原始高空间分辨率高光谱图像双立方插值的方式降采样，并添加标准差为0.5的高斯模糊；
14.高空间分辨率高光谱图像对应的高空间分辨率多光谱图像通过以下方式获得：结合光谱响应曲线对原始高空间分辨率高光谱图像进行光谱下采样。
15.优选地，所述特征提取模块包括并联的第一分支和第二分支；
16.第一分支用于提取高空间分辨率多光谱图像信息，其包括串联的第一三维卷积层、第一三维残差特征聚合模块和第二三维卷积层，其中，第一三维卷积层用于提取多光谱图像浅层空谱特征，第一三维残差特征聚合模块用于进一步提取其空间维特征与光谱维特征，为所得的特征图中的每个特征通道分配相应权重，第二三维卷积层用于提取高级特征，并输出至特征融合模块；
17.第二分支用于提取低空间分辨率高光谱图像信息，其包括串联的第一三维反卷积层、第三三维卷积层、第二三维残差特征聚合模块和第四三维卷积层，其中，第一三维反卷积层用于调节高光谱图像尺寸至与多光谱相同，第三三维卷积层用于提取高光谱图像浅层，第二三维残差特征聚合模块用于提取其空间维特征与光谱维特征，为所得的特征图中的每个特征通道分配相应权重，第四三维卷积层用于提取高级特征，并输出至特征融合模块。
18.本发明优选三维卷积对空间特征与光谱特征同时进行提取，增强了模型对光谱信息的利用率，提高模型超分辨率重建精度。
19.优选地，所述特征融合模块包括串联的三维残差模块及三维卷积层，其中，三维残差模块用于融合特征提取网络输出的特征，且融合采用跳跃连接的方式；三维卷积层用于融合每个残差模块输出的特征图与所有残差特征的特征图，n个特征图通过级联的形式连接在一起，形成特征图组m共同传输至图像重建模块。
20.有益效果：本发明优选的融合模块在特征融合的过程中加入各个残差模块中的残差特征以加强对图像细节信息的重建。融合模块中采用跳跃连接的方式，将每个残差模块输出的特征图与所有残差特征经过卷积之后的特征图共同连接至模块输出端，将每个特征图通过级联的形式连接在一起共同传输至图像重建模块，最大程度上保证各层特征均被充分利用，减少卷积所带来的信息损失。
21.优选地，所述图像重建模块包括串联的特征层加权约束模块、第一三维卷积层、残差特征聚合模块、第二三维卷积层和第三三维卷积层；
22.其中，所述特征层加权约束模块用于对特征融合模块输出的特征图组中不同图像、不同层次的特征图进行加权约束；第一三维卷积层模块用于对加权约束后的特征图进一步提取特征；残差特征聚合模块用于提取融合后的空谱特征，分配相应权重；第二三维卷积层和第三三维卷积层用于非线性映射，生成最终的高光谱图像。
23.有益效果：本发明将特征层加权约束模块(layer attention module，lam)应用到高光谱图像重建任务中，通过网络学习自动为来自不同深度的特征图分配不同的权重值，提高特征提取的表达能力。
24.优选地，所述残差特征聚合模块由四个三维残差模块组成，前三个位置靠前的按常规方式堆叠在一起，最后一个去掉了恒等映射部分，仅保留3d
‑
crb部分；将四个3d
‑
crb输出的特征图通过级联的方式进行加权融合。
25.优选地，加权约束后的特征图组计算过程表示为：
[0026][0027][0028]
其中，ρ表示缩放因子，m
j
表示输入特征图组，m
i
表示维度转换后的特征图组，w
i,j
表示第i组特征与第j组特征之间的相关系数，δ(
·
)与分别表示softmax和维度转换操作，n表示构成特征图组的特征图数。
[0029]
有益效果：本发明对融合后的特征进行进一步计算，自适应为不同图像、不同层次的特征分配权重，并将其特征图重建为高空间分辨率高光谱图像，从而使二者的优势充分互补，从而完成更高超分辨率倍数与更高图像精度要求下的重建任务。
[0030]
优选地，训练过程中，计算空谱联合约束损失函数，当损失数值达到预期范围内或不再减小时停止。
[0031]
优选地，空谱联合约束损失函数为：
[0032]
l＝l
mse
αl
specral
βl
diff
[0033][0034]
其中，l表示总损失函数，l
mse
表示均方误差损失函数，l
specral
表示光谱差异度损失函数，l
diff
表示光谱差分特征误差损失函数，α,β为用于平衡损失函数的系数，h,w分别表示图像空间方向上的长和宽，δx
ij
表示原始图像在空间第i行j第列的一维光谱差分向量，δy
ij
表示重建图像在空间第i行第j列的一维光谱差分向量。
[0035]
有益效果：针对重建过程中容易出现的光谱失真问题，本发明提出空谱联合约束损失函数，以减少光谱信息失真性。为了让图像在提高空间分辨率的同时，保证光谱信息的真实性，在损失函数中加入了光谱差异度作为约束；为了防止重建后图像光谱向量相邻元素出现与原始图像不一致的异常跳变，在损失函数的设计中还加入了光谱差分特征误差。
[0036]
为实现上述目的，按照本发明的第二方面，提供了一种基于通道约束多特征融合的图像超分辨率重建系统，该系统包括：计算机可读存储介质和处理器；
[0037]
所述计算机可读存储介质用于存储可执行指令；
[0038]
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行第一方面所述的基于通道约束多特征融合的图像超分辨率重建方法。
[0039]
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
[0040]
针对超分辨率重建过程中存在的光谱信息利用率低，本发明提出通过融合同一场景下的多光谱图像(高空间分辨率)与高光谱图像(低空间分辨率)的空谱特征，提高模型的多层次特征表达能力，将前者空间信息优势与后者光谱信息优势相结合，再利用两者的空谱信息联合重建高空间分辨率高光谱图像，使二者空谱特征充分融合，以满足更高超分辨率倍数下的重建精度要求。
附图说明
[0041]
图1为本发明提供的一种基于通道约束多特征融合的图像超分辨率重建方法流程图；
[0042]
图2为本发明提供的基于多特征融合的双通道超分辨率网络结构示意图；
[0043]
图3为本发明提供的特征融合模块结构示意图；
[0044]
图4为本发明提供的图像重建模块结构示意图；
[0045]
图5为本发明提供的特征层加权约束模块结构示意图；
[0046]
图6为本发明实施案例在chikusei数据集中基于均方根误差的误差图；
[0047]
图7为本发明实施案例中不同超分辨率重建算法在地物分类任务中的结果对比；
[0048]
图8为本发明实施案例中不同超分辨率重建算法在各类地物分类精度统计散点图；
[0049]
图9为本发明实施案例中不同超分辨率重建算法整体分类地物精度统计直方图。
具体实施方式
[0050]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0051]
针对高光谱图像与多光谱图像联合超分辨率重建任务，本发明提出了一种基于多特征融合的双通道超分辨率网络(dual
‑
channel image super
‑
resolution network based on multi
‑
feature fusion，dsr
‑
mff)，通过三维卷积对空间特征与光谱特征同时进行提取，增强了模型对光谱信息的利用率，提高模型超分辨率重建精度，并通过融合同一场景下的高空间分辨率多光谱图像(high
‑
resolution multispectral image，hr
‑
msi)与低空间分辨率高光谱图像(low
‑
resolution hyperspectral image，lr
‑
hsi)的多层次特征信息，将前者空间信息优势与后者光谱信息优势相结合，利用两者的空谱信息联合重建高空间分辨率高光谱图像(high
‑
resolution hyperspectral image，hr
‑
hsi)，提高模型的多层次特征表达能力。针对重建过程中容易出现的光谱失真问题，本发明提出空谱联合约束损
失函数以减少光谱信息失真性。
[0052]
本发明提出一种基于通道约束多特征融合的图像超分辨率重建方法，包括以下步骤：
[0053]
步骤(1)、制作数据集，选部分高光谱图像，将其作为原始高空间分辨率图像输入。
[0054]
步骤(2)、通过降采样、添加模糊与噪声等操作，得到低空间分辨率高光谱图像。
[0055]
步骤(3)、结合光谱响应曲线对原始图像进行光谱下采样操作，得到高空间分辨率多光谱图像。
[0056]
步骤(4)、构建基于多特征融合的双通道超分辨率网络，输入低空间分辨率高光谱图像和高空间分辨率多光谱图像，将两幅图像调整至同样的空间尺寸，通过特征融合模块提取输入的多光谱图像、高光谱图像的多层次特征并对其进行融合。
[0057]
所述步骤(4)中多特征融合的双通道超分辨率网络具体实现为：
[0058]
提出了基于多特征融合的双通道超分辨率网络的图像超分辨率重建方法，将同一场景下空间信息丰富的高空间分辨率多光谱图像hr
‑
msi与光谱信息丰富的低空间分辨率高光谱图像lr
‑
hsi联合进行超分辨率重建，使二者空谱特征充分融合，以满足更高超分辨率倍数下的重建精度要求。
[0059]
所述步骤(4)中特征融合模块具体实现为：
[0060]
融合模块在特征融合的过程中加入各个残差模块中的残差特征以加强对图像细节信息的重建。融合模块中采用跳跃连接的方式，将每个残差模块输出的特征图与所有残差特征经过卷积之后的特征图共同连接至模块输出端，将每个特征图通过级联的形式连接在一起共同传输至图像重建模块，最大程度上保证各层特征均被充分利用，减少卷积所带来的信息损失。融合模块整体结构如图3所示。
[0061]
所述步骤(4)中特征融合模块采用的特征图级联具体实现为：
[0062]
特征图级联需保证各个特征图的空间尺寸保持一致，在卷积过程中应确保图像特征图空间尺寸不会发生变化。为此，特征融合模块里每个通道加权约束残差模块中卷积步幅均设置为1，并通过same的方式对特征图进行填充，以保证各层输出的特征图具有同样的空间尺寸。
[0063]
步骤(5)、将融合后的特征输出至图像重建模块，对融合后的特征进行进一步计算，自适应为不同图像、不同层次的特征分配权重，并将其特征图重建为高空间分辨率高光谱图像。
[0064]
所述步骤(5)中图像重建模块具体实现为：
[0065]
将特征层加权约束模块(layer attention module，lam)应用到高光谱图像重建任务中，通过网络学习自动为来自不同深度的特征图分配不同的权重值，提高特征提取的表达能力。对于图像融合模块中输入的由n个特征图级联而成特征图组m，首先将其从维度h
×
w
×
nc转换到维度n
×
hwc，得到新的二维矩阵。该矩阵通过与其相应的转置矩阵进行矩阵乘法操作来计算不同层之间相关性，计算过程可表示为：
[0066][0067]
其中，w
i,j
表示第i组特征与第j组特征之间的相关系数，δ(
·
)与分别表示softmax和维度转换操作。最终，将维度转换后的特征图组与相关矩阵系数和缩放因子α相
乘，并将得到的结果与输入特征图组相加，即可得到加权约束后的特征图组，计算过程表示为：
[0068][0069]
步骤(6)、训练构建好的模型，计算空谱联合约束损失函数，当损失数值达到预期范围内或不再减小时停止模型训练。
[0070]
所述步骤(6)中空谱联合约束损失函数为：
[0071]
对于高光谱图像而言，其相邻波段具有较强相关性，若单纯考虑像素损失不利于高光谱图像光谱特征的表达，将导致重建后的图像光谱信息上存在失真。因此，在高光谱图像重建任务中，为了让图像在提高空间分辨率的同时，保证光谱信息的真实性，在损失函数中加入了光谱差异度作为约束：
[0072][0073]
其中，h、w表示图像空间方向上的长和宽，l
spectrum
表示光谱差异度损失函数，x
ij
与y
ij
分别表示原始图像与重建后图像在空间第i行j第列的一维光谱向量。
[0074]
同时，除了对整体光谱信息进行约束外，为保证原始图像与重建后图像光谱向量之间各元素保持一致的变化规律，防止重建后图像光谱向量相邻元素出现与原始图像不一致的异常跳变，在损失函数的设计中还加入了光谱差分特征误差。对于具有c个元素的一维光谱向量x
ij
与y
ij
，其波段k(2≤k≤c)处的光谱差分表示为：
[0075]
δx
ij
(k)＝x
ij
(k)
‑
x
ij
(k
‑
1)
[0076]
δy
ij
(k)＝y
ij
(k)
‑
y
ij
(k
‑
1)
[0077]
光谱差分向量可以表示为：
[0078]
δx
ij
＝(δx
ij
(2),δx
ij
(3),
…
,δx
ij
(c))
t
[0079]
δy
ij
＝(δy
ij
(2),δy
ij
(3),
…
,δy
ij
(c))
t
[0080]
则光谱差分特征误差损失函数l
diff
可表示为：
[0081][0082]
总损失函数：
[0083]
l＝l
mse
αl
specral
βl
diff
[0084]
其中，α、β为用于平衡损失函数的系数，本实施例中α、β皆设置为0.5。
[0085]
步骤(7)、利用训练好的模型对输入的高空间分辨率多光谱图像与低空间分辨率高光谱图像联合进行超分辨率计算，重建生成高空间分辨率高光谱图像。
[0086]
本发明在公开数据集中对两种模型图像重建质量进行视觉效果、参数指标与对地物分类性能影响的多角度验证。
[0087]
实施例包括如下步骤：
[0088]
1、数据集制作与分析
[0089]
本实施例选用cave和chikusei数据集。其中，cave数据集包含32张空间大小为512
×
512的室内场景高光谱图像，具有从400nm到700nm的31个光谱波段，波段之间的间隔为
10nm。chikusei数据集是在日本拍摄的遥感高光谱图像，其中包含128个波段，图像尺寸为2517pixel
×
2335pixel。
[0090]
在训练集制作中，以原始图像作为高空间分辨率标签，对应的低空间分辨率图像通过双立方插值的方式降采样生成，并添加标准差为0.5的高斯模糊。在cave数据集中，随机抽取20张图像用于制作模型的训练集，而对于只有单图像的chikusei数据集，则选出图像中五块320
×
320的区域作为测试集，其余区域通过裁切分成部分重叠的小图像块用于制作训练集。对于pavia centre and university数据集，为保证不对图像分类任务造成干扰，选用整张pavia centre图像作为训练集，同样以图像裁切的方式生成多张训练图像。
[0091]
在超分辨率重建对地物分类任务效果提升的验证实验中，选用了经典超分辨率和地物分类两种任务中通用的pavia centre and university数据集。对于pavia centre and university数据集，为保证不对图像分类任务造成干扰，选用整张pavia centre图像作为训练集，以图像裁切的方式生成多张训练图像。
[0092]
模型是有监督的，dsr
‑
mff需要低空间分辨率高光谱图像(lr
‑
hsi)和对应的高空间分辨率高光谱图像(hr
‑
his)图像对作为训练数据，还额外需要对应的高空间分辨率多光谱图像(hr
‑
msi)，dsr
‑
mff模型所需要的hr
‑
msi由hr
‑
hsi与对应光谱响应曲线中rgb三个波段的曲线合成，在cave数据集中选用尼康d700相机的光谱响应曲线，在chikusei和pavia centre and university数据集选用landsat
‑
8星载传感器的光谱响应曲线。
[0093]
在实验之前需要对图像像素值进行归一化，将每个像素值调整至0到1之间。本实施例实验中通过图像除以该图像最大的像素值的方式对每一张图像进行归一化：
[0094]
i
′
＝i/max(i)
[0095]
其中，i
′
表示归一化后的图像，i表示原始图像，max(
·
)表示取图像中所有像素的最大值。
[0096]
对训练集中的图像进行样本增广：对训练集的每组样本进行0.5、0.75和1的缩放处理，并通过图像旋转与翻转的方式，将样本分别旋转至0、90
°
和270
°
并进行水平翻转，获得更多的训练数据。
[0097]
2、网络训练过程
[0098]
本发明提供了一种基于多特征融合的多光谱与高光谱图像联合超分辨率重建方法，其总体流程如图1所示，该方法具体过程网络训练主要包括网络搭建、损失函数设计、网络训练三个部分。
[0099]
网络搭建
[0100]
本发明提出的双通道超分辨率网络过程可以分为：特征融合与图像重建两个步骤。首先由特征融合模块对输入的两幅图像进行特征提取与特征融合，并将融合后的特征图输出至图像重建模块，然后由图像重建模块将融合后的特征重建得到最终的hr
‑
his，整体网络结构如图2所示。
[0101]
双通道特征融合模块
[0102]
传统图像融合方法按照信息层级不同，可分为像素级融合、特征级融合和决策级融合三个层次，本发明设计了一个双输入通道的图像特征融合模块用于提取并融合图像特征。通常来讲，更深的网络模型能够带来更好的非线性表达能力，高层网络具有较强的全局映射能力，但其特征图分辨率较低，缺乏图像几何特征细节的表达能力，而低层网络提取的
特征图通常包含较强的几何特征信息，但缺乏语义信息。为综合两者的优势，特征融合模块将较低级的特征与较高级的特征共同输入至之后的重建模块中以提高模型性能。
[0103]
首先，在进行融合之前，为将两幅图像调整至同样的空间尺寸，在lr
‑
hsi输入端放置反卷积层扩大图像尺寸。
[0104]
融合模块在特征融合的过程中加入各个残差模块中的残差特征以加强对图像细节信息的重建。且采用跳跃连接的方式，将每个残差模块输出的特征图与所有残差特征经过卷积之后的特征图共同连接至模块输出端，将每个特征图通过级联的形式连接在一起共同传输至图像重建模块，最大程度上保证各层特征均被充分利用，减少卷积所带来的信息损失。融合模块整体结构如图3所示。
[0105]
特征图级联需保证各个特征图的空间尺寸保持一致，在卷积过程中应确保图像特征图空间尺寸不会发生变化。为此，特征融合模块里每个crm中卷积步幅均设置为1，并通过same的方式对特征图进行填充，以保证各层输出的特征图具有同样的空间尺寸。
[0106]
图像重建模块
[0107]
图像重建模块以图像融合模块输出的多层次空谱特征图组作为输入，这些来自于不同图像、不同层次的特征图对于图像重建的重要性并不是一致的。此外，不同层次的特征图之间还具有关联性，简单地将不同层次的特征图拼接并不能有效地体现层与层之间的关联性与差异性。
[0108]
本发明提出将特征层加权约束模块应用到高光谱图像重建任务中，通过网络学习自动为来自不同深度的特征图分配不同的权重值，提高特征提取的表达能力。
[0109]
在图像融合模块输出的特征图组输入图像重建模块以后，首先通过lam对不同图像、不同层次的特征图进行加权约束，之后通过卷积层和由四个crm组成的残差特征聚合模块对加权约束后的特征图进行非线性映射与图像重建并生成最终的高光谱图像。图像重建模块结构如图4所示。下面将对特征层加权约束模块的实现过程作出介绍，具体构造如图5所示。
[0110]
对于图像融合模块中输入的由n个特征图级联而成特征图组m，首先将其从维度h
×
w
×
nc转换到维度n
×
hwc，得到新的二维矩阵。该矩阵通过与其相应的转置矩阵进行矩阵乘法操作来计算不同层之间相关性，计算过程可表示为：
[0111][0112]
其中，w
i,j
表示第i组特征与第j组特征之间的相关系数，δ(
·
)与分别表示softmax和维度转换操作。最终，将维度转换后的特征图组与相关矩阵系数和缩放因子α相乘，并将得到的结果与输入特征图组相加，即可得到加权约束后的特征图组，计算过程可表示为：
[0113][0114]
损失函数设计
[0115]
针对多光谱图像与高光谱图像联合重建时光谱维信息容易失真的问题，本发明提出了一种结合光谱差异度、光谱差分特征误差与均方误差的空谱联合约束损失函数，在重建过程中可有效地降低光谱失真性。
[0116]
高光谱图像均方误差损失函数：
[0117][0118]
光谱差异度损失函数：
[0119]
为了让图像在提高空间分辨率的同时，保证光谱信息的真实性，在损失函数中加入了光谱差异度作为约束：
[0120][0121]
其中，h、w表示图像空间方向上的长和宽，l
spectrum
表示光谱差异度损失函数，x
ij
与y
ij
分别表示原始图像与重建后图像在空间第i行j第列的一维光谱向量。利用光谱差异度，可以对原始图像与重建图像间的光谱向量进行约束，减少两者图像的整体光谱差异性。
[0122]
同时，除了对整体光谱信息进行约束外，为保证原始图像与重建后图像光谱向量之间各元素保持一致的变化规律，防止重建后图像光谱向量相邻元素出现与原始图像不一致的异常跳变，在损失函数的设计中还加入了光谱差分特征误差。对于具有c个元素的一维光谱向量x
ij
与y
ij
，其波段k(2≤k≤c)处的光谱差分表示为：
[0123]
δx
ij
(k)＝x
ij
(k)
‑
x
ij
(k
‑
1)
[0124]
δy
ij
(k)＝y
ij
(k)
‑
y
ij
(k
‑
1)
[0125]
光谱差分向量可表示为：
[0126]
δx
ij
＝(δx
ij
(2),δx
ij
(3),
…
,δx
ij
(c))
t
[0127]
δy
ij
＝(δy
ij
(2),δy
ij
(3),
…
,δy
ij
(c))
t
[0128]
光谱差分特征误差损失函数
[0129]
利用光谱差分特征误差，可以对重建图像间的光谱向量中相邻元素之间相差的值进行约束，使重建图像与原始图像的对应光谱向量中各元素变化规律保持一致，防止重建图像光谱向量相邻元素出现异常跳变。
[0130]
光谱差分特征误差损失函数l
diff
表示为：
[0131][0132]
总损失函数
[0133]
为减少重建图像的像素误差，同时增强光谱相似性，将光谱差异度损失函数、光谱差分特征误差损失函数和均方误差损失函数相结合，得到总损失函数：
[0134]
l＝l
mse
αl
specral
βl
diff
[0135]
其中，α、β为用于平衡损失函数的系数，本实施例中α、β均为0.5。
[0136]
网络训练
[0137]
网络训练过程具体为将上述准备好的训练样本输入到搭建好的网络中进行训练，通过计算损失函数，进行反向传播梯度，更新网络。训练步骤具体如下：
[0138]
初始化双通道特征融合网络和图像重建网络；
[0139]
分别将低空间分辨率高光谱图像y和高空间分辨率多光谱图像z送入双通道特征融合网络，提取多光谱图像、高光谱图像的内容特征及风格特征；
[0140]
对内容特征施加几何变换，可以是旋转、镜像等，然后将几何变换后的内容特征与原先各自的风格特征一起送图像重建网络进行图像生成；
[0141]
将原图像与生成图像进行比较，计算空谱联合约束损失；
[0142]
转入下一次迭代过程，生成高空间分辨率高光谱图。
[0143]
融合模型性能分析
[0144]
为综合评估dsr
‑
mff的整体性能，本发明在chikusei数据集上将dsr
‑
mff与四种最新的高光谱与多光谱图像联合超分辨率重建算法进行对比，超分辨率倍数设为16和32。这四种方法包括nssr、hysure、dhsis与usdn，由于chikusei数据集中的各像素点的数值分布较为广泛，这里采用基于均方根误差的误差图。不同方法在chikusei数据集中的重建结果如图6所示，左边为dsr
‑
mff，右边为真值图像。客观评价指标对比结果如表1所示。
[0145]
表1
[0146][0147]
将进一步探究重建任务对于高光谱图像实际场景应用价值的影响。在高光谱图像应用场景中，选用高光谱图像经典任务—地物分类作为测试任务。使用dsr
‑
mff网络模型对lr
‑
hsi进行重建，超分辨率倍率设置为4。
[0148]
模型训练好后，分别将lr图像、两个模型重建后的图像与降采样前的真值图像进行分类测试，分类结果如图7所示，左边为der
‑
mff重建分类结果，中间对原始图像分类结果，右边为标签地物对。分类精度统计图如图8和图9所示。
[0149]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。