基于空频协同网络的高光谱与多光谱图像融合增强方法

摘要: 本发明属于图像融合增强,具体涉及基于空频协同网络的高光谱与多光谱图像融合增强方法。背景技术:1、高分辨率高光谱图像同时包含精细的空间结构信息和连续的光谱响应信息...
基于空频协同网络的高光谱与多光谱图像融合增强方法

本发明属于图像融合增强,具体涉及基于空频协同网络的高光谱与多光谱图像融合增强方法。

背景技术:

1、高分辨率高光谱图像同时包含精细的空间结构信息和连续的光谱响应信息,能够较为准确地表征地物的几何形态、材料属性及光谱差异,因而广泛应用于地物分类、目标识别、资源调查、环境监测和精细遥感解译等任务。然而,受传感器瞬时视场、入射光能量以及空间分辨率与光谱分辨率相互制约的影响,单一成像系统通常难以直接获取同时具有高空间分辨率和高光谱分辨率的观测数据,低分辨率高光谱图像波段数量多、光谱分辨率高,但空间纹理与地物边界模糊;高分辨率多光谱图像空间结构清晰、空间分辨率高,但光谱通道数量有限。因此,通过融合两类图像在空间细节与光谱信息方面的互补性,重建兼具高空间分辨率与高光谱保真度的高分辨率高光谱图像,成为遥感图像处理领域的重要研究方向。

2、现有的高光谱与多光谱图像融合方法主要分为传统模型驱动方法和深度学习数据驱动方法两类。传统模型驱动方法大致包括空间细节注入方法与低秩物理建模方法,前者利用分量替换、多分辨率分析或频率分解,从高分辨率多光谱图像中提取高频空间信息并注入低分辨率高光谱图像;后者利用矩阵分解、张量分解、光谱解混或贝叶斯推断,对两类观测图像的空间退化过程和光谱响应过程进行显式建模。此类方法具有一定的物理可解释性,但通常依赖人工设定的先验约束、线性或简单非线性假设以及较为理想化的退化模型,当真实遥感场景存在复杂空间异构性、混合像元、非均匀模糊或非线性光谱畸变时,容易出现模型适应能力不足、参数求解复杂以及融合结果鲁棒性受限的问题。随着深度学习技术的发展,基于卷积神经网络、注意力机制和transformer的融合方法逐渐成为主流技术路线。卷积神经网络依靠局部连接和权重共享机制提取边缘、纹理及局部光谱相关性,并由单流通道拼接架构逐步发展为双流或多分支架构;注意力机制和transformer则在更大范围内建立跨模态依赖关系,增强了全局空间结构和长程光谱相关性的表达能力。

3、尽管上述深度学习方法显著提升了非线性特征建模能力,但多数方法仍主要在空间域内完成特征提取和交互,容易忽略频率域中反映全局能量分布、周期结构和几何轮廓位置的幅值与相位信息。空间域特征适于描述地物边缘、纹理突变和局部结构,频率域特征则适于从整体角度描述图像能量分布与结构一致性,二者本应协同利用;而现有空频联合融合方法通常采用普通卷积、残差块或密集连接结构提取空间特征,对道路、建筑物边缘、农田条带及地物轮廓等具有明显方向性的空间结构缺少显式建模,同时大面积同质区域中的重复响应、噪声响应及冗余弱响应可能被持续传递至后续频率调制过程,降低空间先验的可靠性,并对频率补偿产生干扰。

4、幅值分量主要反映频率能量分布,与图像亮度、对比度、光谱能量和细节强度相关;相位分量主要反映结构位置与几何轮廓,对边缘定位和形状保持具有重要作用。由于高分辨率多光谱图像与低分辨率高光谱图像在空间分辨率、光谱响应范围和噪声分布方面存在显著差异,不同光谱通道、不同频率坐标对两种模态信息的依赖程度并不相同,采用固定滤波器、静态频率权重、直接幅值替换或简单相位拼接,难以根据空间结构的可靠程度和跨模态频率差异动态调节补偿强度,容易引起光谱能量偏移、边缘振铃、轮廓错位或局部结构失真。此外,空间域特征与频率域特征并非简单的重复关系,二者既包含共同支持同一地物结构的同向一致信息,又包含一方能够弥补另一方缺失内容的反向互补信息;现有方法若仅通过特征拼接、固定加权或普通注意力完成空频融合,通常难以同时区分并建模上述两类关系,且标准二次复杂度注意力还会随空间位置数量增加而显著提高计算量,不利于高维高光谱图像的高效处理。

技术实现思路

1、根据以上现有技术中的不足,本发明的目的在于提供基于空频协同网络的高光谱与多光谱图像融合增强方法,通过空间置信度引导幅相自适应补偿与双极性空频线性交叉融合,可抑制冗余弱响应,兼顾空间细节与光谱保真,复杂度低且端到端可训练。

2、为达到以上目的,本发明提供了基于空频协同网络的高光谱与多光谱图像融合增强方法,包括以下步骤:

3、s1、对输入的高分辨率多光谱图像和低分辨率高光谱图像进行空间尺度对齐,通过多尺度特征提取模块提取两路图像的多层级初始多尺度特征;

4、s2、将每一层级配对的初始多尺度特征输入方向感知稀疏空间特征提取模块,提取方向性结构响应,并利用可学习软阈值进行稀疏选择,通过残差重建得到对应层级的空间结构特征;

5、s3、将初始多尺度特征与空间结构特征输入空间置信度引导频率残差补偿模块,对两路初始多尺度特征进行傅里叶幅相分解,根据空间结构特征生成频率结构置信图,结合跨模态频率差异对幅值分量和相位分量进行自适应补偿,得到对应层级的频率补偿特征;

6、s4、将同一层级的空间结构特征和频率补偿特征输入极性感知交叉融合模块,对查询矩阵和键矩阵进行正负极性分解,通过同极性交互建模空间域与频率域的相似一致性,通过异极性交互建模空间域与频率域的互补差异性,生成对应层级的空频融合特征;

7、s5、将全部层级对应的空频融合特征输入图像重构模块进行聚合重构,融合输出空间细节与光谱保真度增强的高分辨率高光谱图像;

8、s6、利用由均方误差损失、频域幅值损失和周期相位损失组成的组合损失函数,对由各模块组成的空频协同网络进行端到端训练;基于训练后的空频协同网络,对实际输入的高分辨率多光谱图像和低分辨率高光谱图像进行融合。

9、作为本发明的优选方案,所述的s1中,多尺度特征提取模块的处理过程为:

10、采用插值上采样或可学习上采样方式,将低分辨率高光谱图像变换至与高分辨率多光谱图像一致的空间尺寸;

11、分别对空间尺度对齐后的低分辨率高光谱图像和高分辨率多光谱图像采用3×3卷积搭配非线性激活函数进行浅层特征提取,并采用卷积投影完成通道对齐,使两路图像的浅层特征具有相同的特征维度;

12、对两路图像的浅层特征分别进行逐层下采样,生成三种不同空间分辨率的分层特征图,全部分层特征图经过归一化处理后,得到三个层级配对的初始多尺度特征;

13、在第i个层级得到多光谱特征和高光谱特征,二者的维度均为ci×hi×wi,ci、hi、wi分别表示第i个层级特征的光谱通道数、高和宽,;

14、各层级配对的多光谱特征和高光谱特征分别输送至方向感知稀疏空间特征提取模块和空间置信度引导频率残差补偿模块。

15、作为本发明的优选方案,所述的s2中,方向感知稀疏空间特征提取模块的输入为第i个层级配对的多光谱特征和高光谱特征,得到空间结构特征的过程为:

16、对和沿通道维度进行拼接,采用1×1卷积将拼接特征投影至预设通道维度,得到该层级的基础空间特征;

17、分别采用核尺寸为k1×k2和k2×k1的深度卷积对进行处理,提取水平方向结构响应和垂直方向结构响应,并分别采用逐点卷积完成通道信息混合:

18、;

19、;

20、式中,k1、k2表示卷积核的核尺寸参数,k2>k1;、分别表示第i个层级水平、垂直方向的响应特征;、分别表示k1×k2和k2×k1的深度卷积;pwconv表示逐点卷积;

21、将、沿通道维度进行拼接,并通过1×1卷积得到第i个层级的方向融合特征;对执行逐元素软阈值操作,完成稀疏选择,得到第i个层级的稀疏方向特征:

22、;

23、式中,表示第i个层级的非负可学习阈值;sign表示符号函数;表示逐元素相乘;

24、通过残差重建得到第i个层级的空间结构特征:

25、;

26、式中,conv1×1表示1×1卷积。

27、作为本发明的优选方案,所述的s3中,空间置信度引导频率残差补偿模块的输入为第i个层级配对的多光谱特征和高光谱特征,以及第i个层级的空间结构特征,对幅值分量和相位分量进行自适应补偿的过程为:

28、分别对和执行二维傅里叶变换,得到第i个层级的多光谱幅值、高光谱幅值、多光谱相位和高光谱相位;

29、将输入卷积网络,并通过sigmoid激活函数生成第i个层级的空间置信图,取值范围为0至1;对执行二维傅里叶变换、取模和归一化处理,得到第i个层级的频率结构置信图:

30、;

31、式中,norm表示归一化操作;表示二维傅里叶变换;

32、计算和之间的幅值差异,并根据与生成第i个层级的幅值补偿权重:

33、;

34、式中,表示sigmoid激活函数;conv1×1表示1×1卷积;concat表示拼接;

35、利用对和进行自适应加权,得到第i个层级的基础幅值,并利用、和预测残差幅值:

36、;

37、式中,表示第i个层级的残差幅值;

38、将与相乘后写入基础幅值,获得最终补偿幅值:

39、;

40、式中,表示第i个层级的补偿幅值;表示第i个层级的可学习缩放系数;表示逐元素相乘;

41、利用、和,生成第i个层级的相位补偿权重:

42、;

43、基于,分别对、的正弦分量与余弦分量进行加权,得到第i个层级融合相位的正弦项和余弦项:

44、;

45、;

46、通过双参数反正切函数恢复补偿相位:

47、;

48、式中,表示第i个层级的补偿相位。

49、作为本发明的优选方案,所述的s3中,空间置信度引导频率残差补偿模块中,得到对应层级的频率补偿特征的过程为:

50、将和组合为复数频谱,执行二维傅里叶反变换并取实部,获得第i个层级的频率补偿特征:

51、;

52、式中,re表示取实部;表示二维傅里叶反变换;e表示自然常数;j表示虚数单位。

53、作为本发明的优选方案,所述的s4中,极性感知交叉融合模块的输入为第i个层级的空间结构特征和频率补偿特征,生成空频融合特征的过程为:

54、分别对和进行线性投影,得到第i个层级的空间查询矩阵、空间键矩阵、空间值矩阵,以及频率查询矩阵、频率键矩阵、频率值矩阵;

55、定义查询矩阵q代表或,键矩阵k代表或,值矩阵v代表或;

56、对q和k分别进行正、负极性分解:

57、;

58、式中,q+、q-分别表示查询矩阵的正、负极性分量;k+、k-分别表示键矩阵的正、负极性分量;relu表示线性整流函数;

59、将v通过两个独立线性投影获得相似性值分量vsim和互补性值分量vcom,同极性交互和异极性交互分别表示为:

60、;

61、;

62、式中,osim、ocom分别表示相似一致性响应和互补差异性响应;linearattn表示线性注意力运算;

63、将osim、ocom沿特征维度进行拼接,得到双极性线性交叉融合输出:

64、;

65、式中,dplcf表示双极性线性交叉融合;

66、基于、和执行第一方向的双极性线性交叉融合,基于、和执行第二方向的双极性线性交叉融合,得到第i个层级的空间交互响应和频率交互响应:

67、;

68、;

69、分别对和进行深度卷积与逐点卷积增强,得到、对应的增强值特征和;将、分别与对应的增强值特征进行残差相加,并通过卷积完成信息整合,生成第i个层级的空频融合特征oi:

70、;

71、式中,conv表示卷积操作。

72、作为本发明的优选方案,所述的s5中,图像重构模块融合输出高分辨率高光谱图像的过程为:

73、将三个层级对应的空频融合特征o1、o2和o3分别通过双线性插值、转置卷积或像素重排方式变换至相同的空间尺度,并沿通道维度进行串联拼接,得到多尺度聚合特征fagg:

74、;

75、式中,表示将第i个层级的空频融合特征变换至目标聚合尺度的尺度变换操作,oi表示第i个层级的空频融合特征;concat表示拼接;

76、对fagg依次通过多层3×3卷积和非线性激活函数完成跨尺度信息整合,配合逐级上采样操作逐步恢复图像的原始宽高尺寸,并通过输出映射层将重构特征的光谱通道数变换为高光谱图像的目标波段数,重构输出高分辨率高光谱图像。

77、作为本发明的优选方案,所述的s6中,组合损失函数ltotal表示为:

78、;

79、式中,表示均方误差损失;表示频域幅值损失;表示周期相位损失;

80、其中,用于约束高分辨率高光谱图像与真实参考图像y在频率能量分布方面的一致性,具体为:

81、;

82、式中,nf表示参与损失计算的频率坐标数量;、分别表示、y的傅里叶频谱在频率坐标(u,v)处的复数频谱值,u、v分别表示频率坐标的行索引和列索引;表示l1范数;

83、用于约束与y在几何轮廓位置和结构相位方面的一致性,具体为:

84、;

85、式中,表示相位差,、分别表示、y在频率坐标(u,v)处的相位,由傅里叶频谱取相位得到。

86、作为本发明的优选方案,所述的s6中,对由多尺度特征提取模块、方向感知稀疏空间特征提取模块、空间置信度引导频率残差补偿模块、极性感知交叉融合模块和图像重构模块组成的空频协同网络进行端到端训练,过程为:

87、将成对匹配的低分辨率高光谱图像、高分辨率多光谱图像和对应的真实参考图像y构成训练样本集,并将训练样本分批量输入空频协同网络;

88、空频协同网络依次执行步骤s1至s5,得到融合输出的高分辨率高光谱图像,并计算与y之间的组合损失函数值;

89、采用反向传播算法结合梯度下降优化器,根据组合损失函数值反向逐层更新空频协同网络内全部模块的网络参数;迭代进行前向推理、损失计算和网络参数更新,直至组合损失函数满足预设收敛条件,完成空频协同网络的训练。

90、本发明所具有的有益效果是:

91、本发明通过方向感知稀疏空间特征提取模块,利用水平、垂直方向条带卷积显式提取方向性结构响应,并借助可学习软阈值对方向融合特征进行稀疏选择,在保留显著边缘、纹理和地物轮廓响应的同时抑制同质区域的冗余弱响应与噪声,从而形成稳定可靠的空间结构特征先验;在此基础上,空间置信度引导频率残差补偿模块将空间结构特征生成的频率结构置信图与跨模态幅值差异相结合,对幅值分量逐频率坐标、逐通道地进行自适应加权融合和门控残差补偿,对相位分量采用正弦-余弦周期一致性融合,使高置信频率位置有选择地注入可靠空间细节、低置信位置保留高光谱幅值信息,有效避免了固定频率权重或直接幅相替换引起的光谱能量偏移、边缘振铃和轮廓错位。

92、本发明的极性感知交叉融合模块对查询矩阵和键矩阵进行正负极性分解,通过同极性交互建模空间域与频率域之间的相似一致性、异极性交互建模互补差异性,并沿两个方向执行双极性线性交叉融合,相比简单拼接、固定加权或普通注意力能够更完整地刻画空频协同关系,且线性注意力使计算复杂度随空间位置数量线性增长,更适于高维高光谱数据的高效处理;配合多尺度层级特征的聚合重构,以及由均方误差损失、频域幅值损失和周期相位损失组成的组合损失函数从像素强度、频率能量和结构相位三个维度同步约束的端到端训练,最终融合输出的高分辨率高光谱图像兼具清晰完整的空间细节、稳定的全局频率结构和与真实地物一致的光谱保真度。