一种用于高光谱与多光谱图像的融合模型的构建方法

本发明涉及图像处理领域，具体而言，涉及一种用于高光谱与多光谱图像的融合模型的构建方法。

背景技术：

1、高光谱图像记录连续光谱波段，具有较丰富的光谱信息，但实际高光谱传感器在空间分辨率、光谱分辨率、信噪比、传感器尺寸和采集成本之间存在权衡，因此高光谱图像通常具有较低空间分辨率。多光谱图像具有较少的光谱波段，但能够提供较清晰的空间结构。高光谱与多光谱图像进行融合则可利用低分辨率高光谱图像的光谱信息和高分辨率多光谱图像的空间信息重建高分辨率高光谱图像。

2、对高光谱与多光谱图像进行融合的方法，目前常用的技术有基于逆问题与因子分解的传统方法，基于卷积神经网络的深度学习方法：例如基于注意力与transformer的特征交互方法，以及生成式模型等。其中，传统方法通常需要显式构建空间退化与光谱退化模型，将融合问题转化为带正则化的逆问题求解或矩阵/张量因子分解，虽具备可解释的物理基础，但严重依赖手工设计的先验假设（如稀疏性、低秩性、平滑性），且常需针对单幅图像进行特定优化，计算复杂度高，泛化能力受限。近年来，深度学习方法逐渐成为主流：基于cnn、注意力机制、transformer及生成式网络的模型，通过前馈式特征编码、跨模态对齐与深度融合，端到端地学习高光谱图像的重建映射。然而，在这类框架中，物理观测模型通常仅通过输出端的退化损失或重建损失间接发挥作用，网络内部的前向传播过程缺乏对物理观测一致性的显式约束。由此导致一个关键缺陷：当网络产生中间估计时，若该估计与低分辨率高光谱观测或高分辨率多光谱观测存在偏差，虽然理论上可通过观测残差度量这种跨域不一致性，但由于物理一致性约束仅作用于输出端，中间层的重建轨迹无法直接利用观测残差进行反馈修正，影响最终融合图像的空间细节保真度与光谱保真度。

3、因此，需要一种用于高光谱与多光谱图像融合的技术方案，在固定深度重建过程中重新计算高光谱估计并利用双域观测残差进行学习式校正，以实现图像融合，保证空间细节保真度与光谱保真度。

技术实现思路

1、为实现上述目的，本技术提供了一种用于高光谱与多光谱图像的融合模型的构建方法，包括以下步骤：

2、获取高光谱与多光谱图像融合的训练样本，计算每条样本的空间尺度因子；其中，每条训练样本中包括具有高分辨率高光谱参考图像和对应的双源观测图像；所述双源观测图像包括同一目标场景的低分辨率高光谱图像和高分辨率多光谱图像；

3、定义初始观测模型，初始观测模型用于对双源观测图像进行初始化，生成初始高分辨率高光谱估计；

4、定义观测投影模型，观测投影模型用于根据光谱估计，生成观测能量图，计算图像空间校正量；所述观测能量图用于表征当前估计在低分辨率高光谱和高分辨率多光谱中的局部不一致程度；

5、定义更新模型，更新模型根据图像空间校正量更新当前高分辨率高光谱估计，实现固定步校正，输出双源观测图像的融合结果；

6、通过训练样本对初始观测模型、投影模型和更新模型进行训练；训练过程中，以输出和高分辨率高光谱参考图像的平均绝对误差和平均光谱角损失的加权和作为训练目标；训练完成后，构建完成用于高光谱与多光谱图像的融合模型。

7、其中，低分辨率高光谱图像包含b个高光谱波段，表示为：，其中，和分别表示的空间高度和空间宽度，表示高光谱波段数；

8、所述高分辨率多光谱图像包含b个多光谱波段，表示为：，其中，和分别表示待重建高分辨率高光谱图像的空间高度和空间宽度，表示多光谱波段数；

9、所述双源观测图像的特征满足：、、。

10、所述空间尺度因子的计算方法表示为：。

11、进一步的，初始观测模型由观测模型和初始化网络构成；

12、观测模型通过空间退化和光谱退化体现双源观测图像与高分辨率高光谱图像的关系，表示为：，其中，表示待重建的高分辨率高光谱图像，表示包括空间模糊和下采样的空间退化算子，表示由光谱响应函数形成的光谱退化算子，和分别表示两个观测域中的噪声或建模误差；

13、初始化网络包括3×3卷积干、两个残差块以及零初始化的3×3输出层，用于预测初始修正量。

14、其中，双源观测图像输入初始观测模型后，初始观测模型按照空间尺度因子r对低分辨率高光谱图像执行双三次上采样，得到与高分辨率空间网格对齐的上采样图像；通过两个归一化空间坐标通道c，将、和c沿特征通道维进行拼接，将拼接结果输入初始化网络得到初始修正量，生成初始高分辨率高光谱估计。

15、其中，观测投影模型由双域模拟观测器、残差反馈单元、残差引导校正单元构成；

16、双域模拟观测器用于生成模拟观测，所述模拟观测包括模拟低分辨率高光谱观测和模拟高分辨率多光谱观测；

17、残差反馈单元按照实测观测减去对应模拟观测的方式逐元素计算双域观测残差；所述双域观测残差包括对齐后的低分辨率高光谱域观测残差和高分辨率多光谱域观测残差；

18、残差引导校正单元通过双域观测残差执行残差引导校正，生成观测能量图后，预测图像空间校正量。

19、双域模拟观测器表示为：，其中，表示当前校正步骤索引，表示预设的固定校正步数，表示第个校正步骤的当前高分辨率高光谱估计；和分别表示由当前高分辨率高光谱估计生成的模拟低分辨率高光谱观测和模拟高分辨率多光谱观测，和分别表示可学习空间退化投影器和可学习光谱退化投影器的参数，并在各校正步骤之间共享。

20、所述残差反馈单元表示为：，式中，表示第个校正步骤的低分辨率高光谱域观测残差，表示第个校正步骤的高分辨率多光谱域观测残差；

21、按照空间尺度因子r对执行双三次上采样，并将其与高分辨率空间网格对齐，得到对齐后的低分辨率高光谱域观测残差。

22、所述构建残差引导校正单元包括具有3×3卷积干和两个残差块的空间相关分支编码器和多光谱相关分支编码器；两个分支输出的编码特征，表示为；

23、将对齐后的低分辨率高光谱域观测残差按个光谱通道的平均绝对值与按个多光谱通道的平均绝对值之和生成观测能量图；

24、基于所述观测能量图预测图像空间校正量。

25、生成预测图像空间校正量包括以下步骤：

26、通过、以及生成观测特征；所述观测特征包括基础特征和细节特征；

27、通过sigmoid函数得到单通道门控图；

28、在单通道门控图的基础上，计算图像空间校正量，表示为：，其中，表示广播至细节特征各通道的单通道门控图，表示逐元素乘积，表示第个校正步骤的残差校正头，且。

29、进一步的，更新模型表示为：，其中，表示第个校正步骤更新后的高分辨率高光谱估计，表示更新前的当前高分辨率高光谱估计；表示第个校正步骤独立学习并经sigmoid函数约束的校正步系数；

30、当前校正步骤已达到预设固定校正步数t后，将赋值给作为最终融合得到的高分辨率高光谱图像。

31、根据本发明，可以在各校正步骤中重新计算对齐后的低分辨率高光谱域观测残差和高分辨率多光谱域观测残差，并将双域观测残差作为动态反馈信息参与当前估计的校正，使后续校正步骤能够针对前序校正后仍未消除的观测不一致进行调整；并在调整过程中适应细节特征从而在保持高光谱图像光谱信息的同时，有选择地融合多光谱图像中的空间细节，减少缺乏观测残差支持的细节注入；在学习过程中，通过共享的可学习空间退化投影器和光谱退化投影器，将物理观测约束与学习式非线性校正相结合，提高融合结果与两个输入观测域之间的一致性。