基于物理先验引导条件扩散模型的无监督光谱超分辨方法

本发明涉及基于物理先验引导条件扩散模型的无监督光谱超分辨方法，属于遥感图像处理。

背景技术：

1、高光谱图像同时包含空间地物信息和丰富的光谱信息，拥有较高的光谱分辨率，能够捕捉到不同相近的地物目标反射率之间的微小差异，进而提高图像识别不同地物目标的能力，然而，受传感器能量守恒定律和硬件条件的约束，星载高光谱成像设备在追求较高光谱分辨率的同时，存在空间分辨率低、幅宽窄、重访能力弱的困境；多光谱图像光谱分辨率远低于高光谱图像，所以仅具有初步的特征识别及分类能力，但它拥有较高的空间分辨率和较大的幅宽，且重访周期短，高光谱图像和多光谱图像在时、空、谱分辨率及成像幅宽方面都各有优劣之处，因此，利用多-高光谱图像的互补优势，从多光谱图像中重建具有大幅宽、高重访频率和高空间分辨率的高光谱图像，即光谱超分辨，已成为主要研究方向。

2、光谱超分辨的目标是通过引入光谱信息，提升多光谱的光谱分辨率到与高光谱图像一致，属于反向求解光谱退化过程的不适定性逆问题，期间如果没有足够的空间-光谱约束信息作为输入，单个多光谱图像可能对应多个可能的高空间分辨率高光谱解空间。因此，核心挑战是如何精确拟合多-高光谱图像光谱之间复杂的非线性映射关系，并且有效提升重建后光谱的物理准确性和可信程度。基于物理模型的字典学习和数据驱动的深度学习方法是目前两种主流的光谱超分辨方法，字典学习方法通过线性混合方程全面表征可见光和近红外区域（400-1000nm）和短波红外区域（1000-2500 nm）的光谱信息，然而它仅针对理想成像情况进行建模，难以捕捉真实成像过程的阴影、多重散射等非线性效应，同样难以建模空间上下文信息和图像的深度语义信息。深度学习方法通过大量多-高光谱数据对端到端学习多-高光谱之间的非线性映射关系，由于扩散模型作为生成式模型通过概率形式显示建模生成光谱的不确定性，在训练过程中能够提供多种可能的解，避免了优化过程陷入局部最优的困境，因此扩散模型已成为光谱超分辨领域的前沿方法。尽管基于扩散模型的深度学习方法非线性关系建模能力较强，在应用中通常能够得到更高的重建指标，但本质上仍然依靠纯数据驱动，缺乏物理理论基础，面对极其依赖精确物理信息的遥感数据时重构结果的可信度不高；并且由于多光谱相机成像光谱波段范围是400-1000nm，而高光谱传感器的可用波长范围是400-2500nm，因此，深度学习方法在1000-2500nm波段范围内缺乏与高光谱数据相对应的训练多光谱数据作为光谱指导，可能会由于过度追求重构指标产生违背物理常理的光谱曲线形式。

技术实现思路

1、本发明为解决现有的扩散模型光谱超分辨方法通常依赖地面真实高空间分辨率高光谱图像执行训练过程，推理过程中扩展到无真值真实成像场景导致精度不高；现阶段的主流方法没有针对覆盖完整400-2500nm波段的设计，无法确保卫星光谱在1000-2500nm区域恢复的真实性以及常常忽视遥感数据的固有物理特性；以及仅使用mse等数据量作为端到端约束，容易导致光谱失真的问题，进而提出基于物理先验引导条件扩散模型的无监督光谱超分辨方法。

2、基于物理先验引导条件扩散模型的无监督光谱超分辨方法具体过程为：

3、步骤1：获取真实的高光谱数据，使用光谱响应函数对真实的高光谱数据进行光谱下采样得到多光谱数据；

4、基于多光谱数据和真实的高光谱数据构建多-高光谱数据对，多-高光谱数据对作为训练集；

5、步骤2：构建基于物理先验引导条件扩散模型；

6、所述基于物理先验引导条件扩散模型包括掩码-字典引导的光谱扩散先验模块、物理条件编码和条件融合模块、基于u-net结构的空-谱协同条件扩散模块；

7、所述掩码-字典引导的光谱扩散先验模块包括加噪过程和去噪过程；

8、所述物理条件编码和条件融合模块包括srf编码器、msi编码器、注意力融合模块、条件融合模块；

9、所述srf编码器依次包括展平层、全连接层、relu激活函数层、全连接层；

10、所述msi编码器依次包括卷积层、残差模块1、残差模块2、残差模块3；

11、残差模块1包括二维卷积层、批归一化层、relu激活函数层、二维卷积层、批归一化层、relu激活函数层；

12、残差模块2包括二维卷积层、批归一化层、relu激活函数层、二维卷积层、批归一化层、relu激活函数层；

13、残差模块3包括二维卷积层、批归一化层、relu激活函数层、二维卷积层、批归一化层、relu激活函数层；

14、所述注意力融合模块为通道注意力模块；

15、所述条件融合模块包括深度可分离卷积层、第一线性层linear、第二线性层linear、第三线性层linear、卷积层、gelu激活函数层、卷积层、sigmoid激活函数层、加权融合、卷积层；

16、所述基于u-net结构的空-谱协同条件扩散模块包括加噪过程和去噪过程；

17、所述去噪过程包括第一编码器、第一条件注入模块、第二编码器、第二条件注入模块、第三编码器、第三条件注入模块、瓶颈层、第一解码器、第四条件注入模块、第二解码器、第五条件注入模块、二维卷积层；

18、所述瓶颈层包括空间注意力机制、光谱注意力机制、卷积层；

19、步骤3：基于训练集对基于物理先验引导条件扩散模型进行训练，直至基于物理先验引导条件扩散模型的损失函数收敛，获得训练好的基于物理先验引导条件扩散模型；

20、步骤4：获取待测高空间分辨率的多光谱图像，将待测高空间分辨率的多光谱图像输入训练好的基于物理先验引导条件扩散模型，训练好的基于物理先验引导条件扩散模型输出高空间分辨率高光谱数据。

21、本发明的有益效果为：

22、本发明提出了一种由掩码-字典光谱先验和物理编码引导条件扩散模型光谱超分辨方法，用于400-2500nm波段范围内的无监督光谱超分辨任务。该方法由三个模块组成：掩码-字典约束的光谱扩散先验模块、物理条件编码和条件融合模块，以及基于u-net的多层级条件注入条件扩散模块。创新之处在于，先验模块中对光谱响应函数进行随机掩码处理，以训练模型的光谱外推能力，同时采用高光谱字典提取400-2500nm范围内的光谱深层次稀疏特征，通过稀疏系数的一致性损失作为优化目标，以解决光谱响应函数以及输入的多光谱图像无法全面覆盖400-2500nm波长导致短波红外区域难以充分恢复的问题，以及仅使用mse损失优化导致过度平滑问题。随后，物理条件编码器和条件融合模块通过精确的物理信息编码和融合，能够全面提取空间-光谱先验信息，进一步提高光谱重构的保真度。基于u-net的多层级条件注入条件扩散模块通过多层次的物理机制嵌入和空间-光谱注意力机制，深度拟合空间相关性信息和光谱交叉相关关系，从而通过扩散过程逐步恢复高保真度的光谱信息。其有益效果是：

23、从方法角度，本发明旨在解决基于扩散模型的高空间分辨率高光谱图像重建方法中存在的需要监督图像、短波红外区域重建不准确和重构图像物理一致性不强三大主要问题，  1）该方法专为真实卫星遥感图像设计，由于学习了独立于空间分辨率的纯光谱映射，因此适用于无监督的光谱超分辨任务；2）该方法旨在实现在短波红外1000~2500nm区域的光谱精确恢复;3）该方法充分利用输入多光谱图像的空间特征和传感器光谱响应先验作为扩散条件输入，进一步增强重建图像的物理一致性。与传统的字典学习方法以及基于非生成模型的深度学习方法相比，本方法将物理先验与数据驱动学习相结合，精确捕捉跨越整个近红外和短红外光谱范围的复杂的非线性映射关系，并通过扩散过程明确建模光谱不确定性。这使得生成结果在物理保真度和数据一致性之间实现了有效的平衡。与先进的条件扩散光谱重建方法相比，本方法创新且专门地设计应用于具有真实卫星遥感图像但无监督高分辨率高光谱图像参考的场景中。与基于图像融合的方法不同，本方法仅利用小规模的低分辨率高光谱图像和光谱响应函数就能在大规模的高分辨率多光谱图像中精确重建高分辨率高光谱图像，并且创新性地在400-2500nm的光谱范围内实现了高度一致的光谱重建。

24、从应用角度，本发明可以有效应对现有卫星高光谱数据数据量少且幅宽有限，从而限制光谱超分辨任务在多地区的实际应用的问题，为遥感领域的多项下游任务提供大量且覆盖广泛的高空间分辨率高光谱数据来源，且本发明可以显著提升重构图像的物理一致性，相比于现有的方法，在地物分类任务上也有极高的分类准确度，具有很好的实际应用价值。