一种基于渐进式空频集成融合网络的全色锐化方法

本发明涉及图像处理，尤其涉及一种基于渐进式空频集成融合网络的全色锐化方法。

背景技术：

1、高空间分辨率多光谱（high-spatial-resolution multispectral, hrms）图像在遥感领域有着广泛的应用，包括图像分类、环境监测和地表检测等。然而，由于光学成像传感器的物理限制，单光谱成像系统往往需要进行权衡：低空间分辨率多光谱（low-spatial-resolution multispectral, lrms）图像能够捕获丰富的光谱信息，但空间分辨率有限；相反，高空间分辨率全色（panchromatic, pan）图像提供丰富的空间细节，但缺乏足够的光谱信息。为了满足实际应用的明确需求，必须整合这两种成像模式以生成hrms图像，这一特定的融合过程正式被称为全色锐化。现有的全色锐化方法主要可分为传统算法和基于深度学习的方法两大类。传统算法通常包括基于成分替换、多分辨率分析和变分优化的方法。近年来，由于神经网络强大的特征提取能力，基于深度学习的全色锐化方法已成为主要范式。

2、传统算法受限于手工设计的特征提取机制和经验设计的融合规则。这些限制通常导致特征整合处于次优状态，不可避免地导致融合结果中出现明显的光谱和空间失真。

3、尽管基于深度学习的全色锐化方法取得了重大进展，但现有的大多数方法主要集中在空间域的特征表示上，而忽略了频域信息。这种忽视导致关键的高频和低频成分提取不足，不可避免地引发空间和光谱失真。

4、尽管近期有一些方法引入了双域交互或专用空间与频域分支，但这些方法通常将lrms和pan图像的振幅和相位成分直接拼接，并没有明确区分和解耦高频与低频信息。这限制了对特定频率成分的深入提取及其与空间特征的最佳融合。

技术实现思路

1、本发明旨在至少解决相关技术中存在的技术问题之一。为此，本发明提供一种基于渐进式空频集成融合网络的全色锐化方法，提升了遥感图像全色锐化中的光谱保真度和空间细节还原度。

2、本发明提供一种基于渐进式空频集成融合网络的全色锐化方法，包括：

3、s1：获取pan图像和lrms图像，通过pan空间特征提取分支提取pan图像的多尺度空间特征，通过lrms光谱特征提取分支提取lrms图像的多尺度光谱特征；

4、s2：将最小尺度的空间特征和最小尺度的光谱特征进行拼接，获得最小尺度中间融合特征；

5、s3：将最小尺度中间融合特征、下一尺度的空间特征以及下一尺度的光谱特征共同输入空频域融合模块进行特征强化，获得下一尺度强化特征；

6、s4：下一尺度强化特征经过卷积和上采样后，与多尺度空间特征和多尺度光谱特征经多个空频域融合模块进行特征强化，获得最大尺度强化特征；

7、s5：最大尺度强化特征经过残差处理与lrms图像相加，获得hrms图像。

8、进一步地，通过pan空间特征提取分支提取pan图像的多尺度空间特征包括：

9、pan图像经残差处理，获得最大尺度空间特征；

10、最大尺度空间特征经下采样及残差处理，获得第一尺度空间特征；

11、第一尺度空间特征经下采样及残差处理，获得下一尺度空间特征；

12、下一尺度空间特征经残差处理，获得最小尺度空间特征。

13、进一步地，通过lrms光谱特征提取分支提取lrms图像的多尺度光谱特征包括：

14、lrms图像经残差处理，获得最小尺度光谱特征；

15、最小尺度光谱特征经残差处理，获得下一尺度光谱特征；

16、下一尺度光谱特征经上采样及残差处理，获得第一尺度光谱特征；

17、第一尺度光谱特征经上采样及残差处理，获得最大尺度光谱特征。

18、进一步地，s4步骤包括：

19、下一尺度强化特征经过卷积和上采样后与第一尺度空间特征和第一尺度光谱特征输入空频域融合模块，获得第一尺度强化特征；

20、第一尺度强化特征经过卷积和上采样后与最大尺度空间特征和最大尺度光谱特征输入空频域融合模块，获得最大尺度强化特征。

21、进一步地，所述空频域融合模块包括自适应高低频学习块、全局-局部空间特征提取块以及混合信息特征提取块。

22、进一步地，自适应高低频学习块包括：

23、通过的卷积层将多尺度空间特征映射至频域，并通过傅里叶变换，获得pan图像的幅值图和相位图；

24、通过的卷积层将多尺度光谱特征映射至频域，并通过傅里叶变换，获得lrms图像的幅值图和相位图；

25、对pan图像的幅值图施加注意力计算，获得pan图像的注意力图；对lrms图像的幅值图施加注意力计算，获得lrms图像的注意力图；

26、通过计算pan图像的注意力图和lrms图像的注意力图的差值生成高低频自适应权重；

27、将高低频自适应权重与pan图像的幅值图以及lrms图像的幅值图进行逐位置相乘，获得高低频学习后的增强幅值；

28、将pan图像的相位图和lrms图像的相位图进行拼接和卷积，获得高低频学习后的增强相位；

29、对高低频学习后的增强幅值和高低频学习后的增强相位执行逆离散傅里叶变换，并与中间融合特征相加，获得频域增强后的输出特征。

30、进一步地，所述中间融合特征计算表达式为：

31、

32、

33、其中，为最小尺度中间融合特征，为拼接操作，为卷积核尺寸为的卷积层，为2倍上采样操作，为第尺度中间融合特征，为第尺度强化特征，为最小尺度光谱特征，为最小尺度空间特征。

34、进一步地，全局-局部空间特征提取块包括：

35、将pan图像的空间特征和lrms图像的光谱特征相加，并通过全局平均池化与卷积层，获取全局特征权重图；

36、将pan图像的空间特征和lrms图像的光谱特征相加，并通过连续的卷积层获取局部特征权重图；

37、将全局特征权重图和局部特征权重图进行逐像素相加，并与pan图像的空间特征和lrms图像的光谱特征进行逐位置相乘，获得增强后的空域特征；

38、增强后的空域特征与中间融合特征拼接后进行卷积操作再与中间融合特征相加，获得全局-局部空间特征。

39、进一步地，混合信息特征提取块的计算表达式为：

40、

41、

42、

43、

44、其中，为第尺度注意力增强特征，为卷积块注意力模块，为拼接操作，为第尺度频域增强后的特征，为第尺度全局-局部空间特征，为卷积核尺寸为的卷积层，为ahlfb分支注意力增强特征，为glfeb分支注意力增强特征，为第尺度混合权重图，为sigmoid激活函数。

45、进一步地，卷积块注意力模块的计算表达式为：

46、

47、

48、其中，为第尺度中间特征，为第尺度通道注意力加权特征，为由两个连续卷积核尺寸为的卷积层和relu激活函数组成的共享多层感知机，为最大池化，为平均池化，为的卷积层，为逐位置相乘。

49、本发明实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：

50、本发明通过自适应高低频学习块（adaptive high-low frequency block,ahlfb）来明确捕获和细化频域表示，通过全局-局部空间特征提取块（global-localfeature extraction block, glfeb）捕获上下文依赖关系和细粒度的空间纹理。通过混合信息特征提取块（hybrid information feature extraction block hifeb）进行跨域整合，hifeb通过动态的权重分配自适应地校准空间和频率特征，从而最大化整体的融合保真度。

51、本发明在增强空间细节的同时，较好地保持了原始多光谱图像的光谱一致性，改善了光谱保真度与几何保真度难以兼顾的问题，提升了综合融合效果。

52、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。