基于小波先验引导状态空间模型的遥感图像全色锐化方法

本发明涉及图像处理，具体是一种基于小波先验引导状态空间模型的遥感图像全色锐化方法，以及应用这种方法的计算机终端和计算机可读存储介质。

背景技术：

1、随着卫星科技快速发展，农业、城市规划、环境监测等领域对高分辨率多光谱图像（hrms）的需求日益增加。然而，由于当前技术的限制，直接获取高分辨率多光谱图像仍然具有挑战性。为了解决这个问题，卫星通常配备两种类型的传感器，以同时捕获低分辨率多光谱（lrms）图像和高分辨率、纹理丰富的全色（pan）图像。融合这两种数据源以获得hrms的图像融合技术（即全色锐化）成为一个关键的解决方案。

2、早期的全色锐化主要依赖传统算法分为三类：成分置换（cs）、多分辨率分析（mra）和变分优化（vo）。但这些传统方法常常由于依赖手工特征和对先验知识的不足整合而产生不理想的结果。近年来，深度学习的快速发展促使卷积神经网络（cnn）在全色锐化中得到广泛应用。研究表明，有效的全局建模和从pan图像中高频信息的高效提取对于解决全色锐化的复杂挑战至关重要。现有的cnn与transformer架构往往会过拟合低频信息，导致结构细节不清晰和计算复杂性高。同时，尽管一系列基于transformer 的模型在捕捉长程依赖关系方面表现出色，其查询（query）、键（key）和值（value）交互过程中的二次计算复杂度，仍是高分辨率遥感图像处理的根本性瓶颈。

3、近期，以mamba为代表的状态空间模型（ssms）的出现，为全局上下文建模提供了一种范式革新的替代方案。mamba在捕捉长距离依赖的同时，保持了序列建模的线性复杂度，突破了自注意力机制固有的计算瓶颈。然而，纯状态空间模型在捕捉细粒度局部特征（如角点、微小纹理）方面存在天然劣势。因此，如何有效弥补状态空间模型在微观几何特征提取上的不足，在保持其线性计算效率优势的同时，实现高质量的全局上下文建模与局部高频细节的精准融合，在当前遥感图像全色锐化领域亟待解决。

技术实现思路

1、为解决现有技术中存在的技术问题，本发明提供了一种基于小波先验引导状态空间模型的遥感图像全色锐化方法，在保证局部细微特征不丢失的前提下，兼顾遥感图像融合模型的融合质量和计算效率。

2、为实现上述目的，本发明提供如下技术方案：

3、本发明公开一种基于小波先验引导状态空间模型的遥感图像全色锐化方法，包括步骤s1~s5。

4、s1.获取待融合的低分辨率的多光谱图像和高分辨率的全色图像，并将所述多光谱图像上采样至与全色图像相同的空间尺度；

5、s2.基于上采样后的多光谱图像和原始全色图像，分别提取用于构建物理结构基底的空间先验张量，以及用于频域引导的小波频域先验张量；

6、s3.采用层级局部特征注入网络提取多光谱图像的深层多光谱特征，在提取过程中逐层显式注入所述空间先验张量和所述小波频域先验张量；同时利用浅层编码器提取全色图像的浅层全色特征；

7、s4.将深层多光谱特征和浅层全色特征展平并交错排列，输入至多层堆叠的频域感知门控状态空间模型中，在所述小波频域先验张量的显式引导下，动态调节频域感知门控状态空间模型的动力学参数以进行多模态特征交互与流形对齐，输出多光谱融合特征和全色融合特征；

8、s5.将多光谱融合特征和全色融合特征进行逐元素聚合与空间投影优化，并结合上采样后的多光谱图像进行全局残差重构，生成高分辨率多光谱图像。

9、作为上述方案的进一步改进，步骤s2具体包括：

10、s21.将上采样后的多光谱图像与原始全色图像沿通道维度拼接，构建得到保留物理拓扑形态的所述空间先验张量；

11、s22.利用离散小波变换对上采样后的多光谱图像进行分解以提取低频近似分量，对全色图像进行分解以提取包含水平、垂直和对角线方向的高频细节分量；将低频近似分量与高频细节分量在通道维度拼接，构建得到小波频域先验张量。

12、作为上述方案的进一步改进，步骤s3中，所述层级局部特征注入网络为包含编码器和解码器的u型结构，提取过程具体包括：

13、在编码器的下采样阶段，采用堆叠的特征调制注入块逐级提取特征，并在每一层显式注入所述空间先验张量，以建立物理结构基底；

14、在编码器的深层，引入多头空间自注意力机制进行全局上下文特征聚合；

15、在解码器的上采样阶段，将当前层特征与来自编码器的对应跳跃连接特征拼接，并通过特征调制注入块逐级显式注入适配当前分辨率的小波频域先验张量以恢复高频细节。

16、作为上述方案的进一步改进，特征调制注入块的特征注入过程具体包括：

17、将输入的空间先验张量或小波频域先验张量通过卷积网络进行映射，生成在空间和通道维度对齐的缩放因子和平移因子；

18、利用缩放因子和平移因子对主特征流进行仿射调制，实现先验信息的注入；

19、将仿射调制后的主特征依次经过群归一化、激活函数及双层卷积残差路径进行局部纹理提取，并通过残差连接输出调制后的特征。

20、作为上述方案的进一步改进，步骤s4中，将深层多光谱特征和浅层全色特征输入频域感知门控状态空间模型的具体过程包括：

21、将深层多光谱特征和浅层全色特征在空间维度分别展平为一维序列，并按照空间位置进行交错排列，构建光谱-空间混合特征序列；

22、将小波频域先验张量在空间维度展平并进行复制交错，生成混合频域先验序列；

23、在所述光谱-空间混合特征序列的末尾追加一组可学习的全局上下文寄存器，生成扩增特征序列，通过吸收全局上下文寄存器中的全局统计信息将频域感知门控状态空间模型过渡至非零稳态，缓解频域感知门控状态空间模型的零状态初始化偏差；

24、为所述全局上下文寄存器配置可学习的虚拟频域条件，并将虚拟频域条件追加至混合频域先验序列的末尾，生成扩增频域先验序列。

25、作为上述方案的进一步改进，步骤s4中，在所述小波频域先验张量的显式引导下，动态调节频域感知门控状态空间模型的动力学参数的具体过程包括：

26、对所述扩增特征序列和所述扩增频域先验序列应用多方向扫描策略，得到不同方向下的方向特征序列和方向频域先验序列；

27、对于每个扫描方向，利用方向频域先验序列作为显式调节器计算门控输入，计算公式为：

28、

29、式中，为可学习的自适应缩放因子，表示线性映射操作；

30、由门控输入生成频域感知门控状态空间模型的核心动力学参数，所述核心动力学参数包括离散化步长以及投影矩阵和；当扫描至平滑多光谱节点时，通过所述小波频域先验张量中包含的全色图像的高频细节分量的引导，自适应放大离散化步长；

31、利用核心动力学参数进行系统参数离散化与状态更新，输出各方向下的序列响应；

32、对所有方向的序列响应进行逆向变换与聚合，随后分离出多光谱响应序列和全色响应序列，重塑为二维空间网格后，通过残差连接分别更新多光谱特征和全色特征，得到所述多光谱融合特征和所述全色融合特征。

33、作为上述方案的进一步改进，步骤s3至s5的处理过程集成于一个全色锐化网络模型中；在所述全色锐化网络模型的端到端训练阶段，采用复合损失函数进行联合约束与参数更新，所述复合损失函数的计算公式为：

34、

35、式中，为复合损失函数；为用于约束光谱数值保真的像素级重建损失；为用于增强局部结构感知的结构相似性损失；为用于显式正则化高频细节的梯度保持损失；为用于平衡不同损失分量贡献的超参数。

36、作为上述方案的进一步改进，像素级重建损失的计算公式为：

37、

38、式中，为图像包含的总像素数；为融合图像中第个位置的像素值；为真实图像中第个位置的像素值；为l1范数；

39、结构相似性损失的计算公式为：

40、

41、式中，为图像块的数量；为计算两个图像块间亮度、对比度和结构相似度的评估函数；为融合图像中截取的第个图像块；为真实图像中截取的第个区域的图像块；

42、梯度保持损失的计算公式为：

43、

44、式中，为sobel算子，用于提取水平和垂直方向的梯度图。

45、本发明还公开一种计算机终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的基于小波先验引导状态空间模型的遥感图像全色锐化方法的步骤。

46、本发明还公开一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时，实现如上所述的基于小波先验引导状态空间模型的遥感图像全色锐化方法的步骤。

47、与现有技术相比，本发明的有益效果是：

48、本发明提出的基于小波先验引导状态空间模型的遥感图像全色锐化方法，摒弃了纯空间域拼接的传统做法。通过将小波高频先验显式注入到状态空间模型的动力学参数生成过程中。在处理平滑的多光谱节点时，模型依然能根据小波频域的先验信息维持对高频边缘的高响应，有效防止了全色图像的高频纹理细节被平滑节点快速衰减或“稀释”，从而能够充分融合图像在空间以及时频域上所包含的特征。

49、本发明设计了层级局部特征注入模块作为基础骨干。通过该模块在深层全局融合发生前显式恢复多尺度的空间细节，将“局部纹理提取”与“全局光谱建模”解耦。这不仅保留了状态空间模型在线性计算复杂度上的优势，还弥补了纯状态空间模型架构在微观几何特征（如角点、微小边缘）恢复上的准确性。

50、另外，本发明引入了全局上下文锚点学习机制。通过在混合序列末尾追加可学习的全局上下文寄存器，在扫描实际多模态序列前对状态空间进行预热，使系统迅速过渡到包含全局统计信息的非零稳态，消除了初始状态的上下文真空，增强了模型推断的稳定性。