一种基于结构到细节异步扩散细化的多光谱与全色图像融合方法

本技术的实施例涉及遥感图像处理，特别涉及一种基于结构到细节异步扩散细化的多光谱与全色图像融合方法。

背景技术：

1、多光谱与全色图像融合，又称全色锐化，是遥感图像处理中的关键任务。多光谱图像具有较丰富的光谱信息，但受传感器成像条件和能量分配限制，其空间分辨率通常较低；全色图像具有更高的空间分辨率，能够提供清晰的边缘、纹理和几何结构，但仅包含宽波段灰度观测，缺少完整的多光谱信息。因此，如何将低分辨率多光谱图像中的光谱信息与高分辨率全色图像中的空间结构信息进行有效融合，生成兼具高空间分辨率和高光谱保真度的高分辨率多光谱图像，是遥感图像解译、目标识别、地物分类、变化检测和精细化测绘等任务的重要基础。

2、现有的全色锐化方法主要包括传统方法和深度学习方法。传统方法如成分替换法、多分辨率分析法与变分优化法，虽各有侧重，但普遍存在依赖人工设计、易导致光谱失真或空间伪影等问题。深度学习方法中，基于卷积神经网络的方法受限于局部感受野，难以建模长距离依赖；基于transformer的方法虽具备全局建模能力，但计算开销大，对数据量要求高；基于生成对抗网络的方法训练不稳定，易产生伪纹理；而现有基于扩散模型的方法，通常采用同步条件融合方式，即在同一个去噪阶段同时使用全色图像与多光谱图像作为条件，未能有效区分二者在空间结构重建与光谱细节精修中的不同作用，导致空间细节增强与光谱保持之间相互干扰，难以取得理想的平衡。

技术实现思路

1、有鉴于此，本技术的实施例提出了一种基于结构到细节异步扩散细化的多光谱与全色图像融合方法，旨在解决现有同步扩散融合方法中，全色图像的空间结构约束与多光谱图像的光谱信息约束难以协调，导致空间细节增强与光谱保真度之间相互冲突的技术问题，以实现在空间结构恢复与光谱细节精修上更为协调、稳定且高效的图像融合效果。

2、为了实现上述目的，本技术的实施例提出了一种基于结构到细节异步扩散细化的多光谱与全色图像融合方法，所述方法包括以下步骤：

3、获取同一区域的低分辨率多光谱图像和高分辨率全色图像，并对低分辨率多光谱图像进行上采样，得到与高分辨率全色图像尺寸一致的初始多光谱估计图像；

4、在扩散模型的反向去噪过程中的第一噪声区间，利用高分辨率全色图像中的空间结构信息，引导模型恢复融合图像的整体空间结构，完成结构重建；

5、在反向去噪过程中的第二噪声区间，通过异步传输机制，将生成过程的主导信息从基于高分辨率全色图像的空间结构流逐步转移到基于多光谱残差的光谱残差流，完成信息主导权的平滑过渡；

6、在反向去噪过程中的第三噪声区间，基于光谱残差流，并结合高分辨率全色图像的空间结构信息与上采样多光谱图像的光谱信息，对融合图像进行光谱补偿和局部细节修正，完成光谱精修，进而得到高分辨率多光谱融合图像；

7、输出高分辨率多光谱融合图像。

8、为了实现上述目的，本技术的实施例还提出了一种基于结构到细节异步扩散细化的多光谱与全色图像融合系统，所述系统包括：

9、输入预处理模块，用于获取同一区域的低分辨率多光谱图像和高分辨率全色图像，并对低分辨率多光谱图像进行上采样，得到与高分辨率全色图像尺寸一致的初始多光谱估计图像；

10、结构重建模块，用于在扩散模型的反向去噪过程中的第一噪声区间，利用高分辨率全色图像中的空间结构信息，引导模型恢复融合图像的整体空间结构，完成结构重建；

11、异步传输模块，用于在反向去噪过程中的第二噪声区间，通过异步传输机制，将生成过程中的主导信息从基于高分辨率全色图像的空间结构流逐步转移到基于多光谱残差的光谱残差流，完成信息主导权的平滑过渡；

12、光谱精修与融合模块，用于在反向去噪过程中的第三噪声区间，基于光谱残差流，并结合高分辨率全色图像的空间结构信息与上采样多光谱图像的光谱信息，对融合图像进行光谱补偿和局部细节修正，完成光谱精修，进而得到高分辨率多光谱融合图像；

13、图像输出模块，用于输出高分辨率多光谱融合图像。

14、在一种实现方式中，光谱精修与融合模块，具体用于：

15、采用残差预测方式，由去噪网络预测高分辨率多光谱融合图像相对于初始多光谱估计图像的补充残差；

16、将补充残差与初始多光谱估计图像相加，以实现对融合图像的光谱补偿和局部细节修正，得到最终的高分辨率多光谱融合图像。

17、为了实现上述目的，本技术的实施例还提出了一种电子设备，包括：处理器和存储器，所述存储器中存储有所述处理器能够执行的指令，所述处理器被配置为执行所述指令时，使得所述电子设备能够实现如上述所述的一种基于结构到细节异步扩散细化的多光谱与全色图像融合方法。

18、为了实现上述目的，本技术的实施例还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，能够实现如上述所述的一种基于结构到细节异步扩散细化的多光谱与全色图像融合方法。

19、本技术的实施例提出的一种基于结构到细节异步扩散细化的多光谱与全色图像融合方法，获取同一区域的低分辨率多光谱图像和高分辨率全色图像，并对低分辨率多光谱图像进行上采样，得到与高分辨率全色图像尺寸一致的初始多光谱估计图像；在扩散模型的反向去噪过程中的第一噪声区间，利用高分辨率全色图像中的空间结构信息，引导模型恢复融合图像的整体空间结构，完成结构重建；在反向去噪过程中的第二噪声区间，通过异步传输机制，将生成过程中的主导信息从基于高分辨率全色图像的空间结构流逐步转移到基于多光谱残差的光谱残差流，完成信息主导权的平滑过渡；在反向去噪过程中的第三噪声区间，基于光谱残差流，并结合高分辨率全色图像的空间结构信息与上采样多光谱图像的光谱信息，对融合图像进行光谱补偿和局部细节修正，完成光谱精修，得到高分辨率多光谱融合图像；输出高分辨率多光谱融合图像；本方案能够解决现有同步扩散融合方法中，全色图像的空间结构约束与多光谱图像的光谱信息约束难以协调，导致空间细节增强与光谱保真度之间相互冲突的技术问题，以实现在空间结构恢复与光谱细节精修上更为协调、稳定且高效的图像融合效果。

20、可选地，在扩散模型的反向去噪过程中的第一噪声区间，利用高分辨率全色图像中的空间结构信息，引导模型恢复融合图像的整体空间结构，完成结构重建，包括：对高分辨率全色图像进行低通与高通分解，提取其高频空间细节分量；计算高分辨率全色图像与初始多光谱估计图像之间的相关性信息，生成用于控制高频空间细节分量向不同光谱波段注入强度的相关性权重；将高频空间细节分量及相关性权重作为结构先验输入扩散网络，引导模型在第一噪声区间内生成符合高分辨率全色图像空间结构的初始高分辨率多光谱表示。

21、可选地，在反向去噪过程中的第二噪声区间，通过异步传输机制，将生成过程的主导信息从基于高分辨率全色图像的空间结构流逐步转移到基于多光谱残差的光谱残差流，完成信息主导权的平滑过渡，包括：

22、定义空间结构流和光谱残差流；其中，空间结构流和光谱残差流的计算公式包括：

23、；

24、；

25、其中，表示高分辨率全色图像；表示初始多光谱估计图像；表示理想的高分辨率多光谱图像；表示低通滤波函数；表示相关性函数；表示缺失的细节和光谱修正项；

26、通过异步传输机制，在第二噪声区间内，利用递推系数和控制空间结构流与光谱残差流在时间维度上的平滑传播；其中，递推系数和满足：

27、；

28、；

29、其中，为扩散模型预设的噪声调度参数。

30、可选地，异步传输机制的前向过程表示为：

31、；

32、其中，为第时间步的中间状态，为累积噪声调度参数，和分别为第二噪声区间的起始时间步和结束时间步，为噪声项。

33、可选地，异步传输机制的反向过程表示为：

34、；

35、；

36、其中，表示第时间步的中间状态，表示由去噪网络预测的残差信息，用于预测光谱残差流。

37、可选地，在反向去噪过程中的第三噪声区间，基于光谱残差流，并结合高分辨率全色图像的空间结构信息与上采样多光谱图像的光谱信息，对融合图像进行光谱补偿和局部细节修正，完成光谱精修，进而得到高分辨率多光谱融合图像，包括：采用残差预测方式，由去噪网络预测高分辨率多光谱融合图像相对于初始多光谱估计图像的补充残差；将补充残差与初始多光谱估计图像相加，以实现对融合图像的光谱补偿和局部细节修正，进而得到最终的高分辨率多光谱融合图像。

38、可选地，扩散模型的去噪网络包括：时间-文本自适应特征调制模块和top-k稀疏交叉注意力模块；时间-文本自适应特征调制模块用于根据当前时间步和传感器文本提示对网络特征进行调制；top-k稀疏交叉注意力模块用于以多光谱特征作为查询，以全色特征作为键和值，通过top-k筛选机制选择性地注入全色图像的高频空间信息。