一种小波域低频状态建模与跨频调制的全色锐化方法

本发明属于新一代信息技术中的遥感图像智能处理，尤其涉及一种小波域低频状态建模与跨频调制的全色锐化方法。

背景技术：

1、随着对地观测、资源调查、城市规划、环境监测、目标识别及变化检测等遥感应用的发展，高空间分辨率且具有较高光谱保真度的多光谱影像已成为遥感信息提取中的重要数据基础。受卫星载荷成像器件、信噪比以及数据传输能力等因素制约，同一遥感平台通常难以同时获得兼具高空间分辨率和高光谱分辨率的影像，一般采用全色传感器获取空间分辨率较高但光谱信息有限的全色影像，并采用多光谱传感器获取光谱信息较丰富但空间分辨率较低的多光谱影像。全色锐化通过利用全色影像中的空间结构和纹理细节增强多光谱影像，以生成高空间分辨率多光谱影像，是解决上述空间分辨率与光谱分辨率制约关系的重要技术手段。

2、然而，在实际遥感成像环境下，全色影像与各多光谱波段在光谱响应范围、局部亮度分布、纹理强度以及成像退化特性等方面存在差异。若空间细节提取和融合过程不能充分考虑上述差异，容易造成纹理恢复不足、局部过增强以及光谱失真，因而如何兼顾空间细节恢复与多光谱信息保持，仍是全色锐化领域需要解决的关键问题。

3、现有技术中，全色锐化方法主要包括成分替换、多分辨率分析、基于退化模型的方法以及基于深度神经网络的方法。成分替换方法通常将多光谱影像变换至特定表示空间，并利用全色影像替换或者修正其中与空间信息相关的分量，其计算过程相对直接，但全色波段与多光谱波段之间的光谱响应差异容易引起光谱偏移。多分辨率分析方法通常采用小波变换、金字塔分解等方式将影像划分为不同尺度或者不同频率的分量，并将全色影像中的高频细节引入多光谱影像，能够显式区分低频主体信息和高频纹理信息，但低频信息与高频信息之间通常采用直接组合或者预设方式进行交互，难以充分建立低频结构信息与高频纹理信息之间具有特征内容对应关系的跨频关联。

4、随着深度学习的发展，本领域技术人员还采用卷积神经网络、注意力机制、transformer以及状态空间模型等进行特征建模。其中，卷积运算适于提取局部结构特征，注意力机制适于建立跨位置或者跨模态关联，状态空间模型能够通过状态递推对较长范围的依赖关系进行建模。与此同时，离散小波变换能够将二维特征分解为低频特征和高频特征，为分别处理主体结构信息和纹理细节信息提供基础。但是，现有方法在完成频率分解后，通常分别对低频特征和高频特征进行处理，再通过相加、联结或者逆小波变换完成组合，尚未充分利用低频结构信息建立具有长程依赖表征能力的低频建模特征，也较少根据高频特征与低频建模特征之间的内容对应关系，对高频纹理增强过程进行针对性引导。

5、经检索，授权公告号为cn116228577b的中国发明专利《一种基于互补融合网络的全色锐化方法》公开了一种局部、全局双分支的全色锐化网络，其中，局部分支通过卷积提取局部信息，全局分支在空谱结合的小波域中采用可变形交叉注意力进行引导融合，并通过融合增强模块和重构模块生成全色锐化结果。该方案已经考虑利用小波域和注意力机制加强全局信息及跨模态信息的融合。但是，从其公开的主要技术方案看，其重点在于利用双分支结构以及小波域交叉注意力获得互补融合特征，对于经小波分解得到的低频特征，尚未进一步利用二维状态空间建模形成具有长程依赖表征能力的低频建模特征；同时，其未形成将高频查询特征与低频建模特征按照特征距离进行匹配，并利用匹配低频特征对高频查询特征进行调制的处理关系。因此，其低频结构信息对高频纹理增强过程的针对性引导仍有进一步改进空间。

6、另外，授权公告号为cn119579847b的中国发明专利《一种基于频域分解网络的多光谱遥感图像全色锐化方法》公开了一种频域分解与域泛化网络，将相关影像及特征通过离散小波变换得到高频分量和低频分量，对高频分量进行高频保持以获得空间特征，对低频分量通过动态卷积进行低频提取以获得光谱特征，再利用逆离散小波变换和特征组合获得融合特征，并结合域泛化策略生成高分辨率多光谱影像。该方案能够分别利用高频信息和低频信息，但其高频处理和低频处理主要表现为频率分解后的分支式特征提取，低频分量主要利用卷积进行处理，对二维低频结构中较长距离的空间依赖关系利用仍然有限；同时，高频分量和低频分量分别完成特征提取后再进行组合，尚未形成利用低频状态空间建模结果与高频查询特征进行特征匹配，并通过多次低频感知调制引导高频注意力增强的处理链路。因此，在复杂地物区域中，高频纹理特征的增强仍较少受到与其特征内容相匹配的低频结构信息的直接引导。

7、此外，部分现有全色锐化网络虽然设置了多光谱特征提取支路、全色特征提取支路或者特征融合支路，但通常仅在网络末端对不同支路的深层特征进行集中融合，或者在相邻层之间进行简单传递，未能在递进特征提取过程中持续利用各层多光谱支路特征、全色支路特征和已有融合特征建立逐层交互关系。因此，浅层空间信息、光谱信息及中间融合信息难以充分参与后续层级的特征提取与重建过程，可能影响最终重建影像中的空间纹理恢复和光谱信息保持。

8、因此，现有全色锐化方法仍存在低频结构信息的长程依赖利用不足、高低频特征交互针对性不强以及多光谱特征、全色特征与融合特征逐层交互不充分的问题，容易影响重建影像的空间细节恢复和光谱信息保持。

技术实现思路

1、针对现有全色锐化方法存在低频结构信息的长程依赖建模不充分、高频特征增强缺乏与低频建模特征之间基于特征内容的跨频关联，以及多光谱特征、全色特征与融合特征逐层交互不足的问题，本发明提出一种小波域低频状态建模与跨频调制的全色锐化方法。该方法在多光谱特征提取支路和全色特征提取支路中分别设置多个小波辅助状态空间模块，对各层输入特征执行离散小波变换，得到低频特征和高频特征；利用低频状态空间建模模块对低频特征进行二维状态空间建模，得到具有长程依赖表征能力的低频建模特征；将高频特征映射为查询特征、键特征和值特征，根据高频查询特征与低频建模特征之间的l2距离确定匹配低频特征，并利用匹配低频特征对高频查询特征进行第一次低频感知调制；在多头自注意力增强之后，进一步基于低频建模特征对注意力增强特征进行第二次低频感知调制，得到高频增强特征；将低频建模特征与高频增强特征组合并执行逆离散小波变换，得到各层支路特征；同时，将多光谱支路特征、全色支路特征与上一融合特征进行逐层联结融合，并根据末层支路特征和融合特征生成重建影像，进而与上采样多光谱影像相加得到高空间分辨率多光谱影像。由此，使低频结构信息能够按照特征内容对高频纹理增强过程进行针对性引导，并通过双支路递进提取和逐层融合兼顾空间纹理恢复与多光谱信息保持。

2、本发明提供一种小波域低频状态建模与跨频调制的全色锐化方法，具体包括：

3、s1、获取同一目标区域且完成配准的低空间分辨率多光谱影像和全色影像，对低空间分辨率多光谱影像进行上采样，得到与全色影像空间尺寸相同的上采样多光谱影像；

4、s2、将上采样多光谱影像和全色影像输入包括多光谱特征提取支路、全色特征提取支路以及特征交互与融合支路的全色锐化网络，并将二者沿通道维度联结，得到初始融合特征；

5、s3、分别以上采样多光谱影像和全色影像作为对应特征提取支路的首层输入，在每一特征提取支路中连续设置四个小波辅助状态空间模块；在每一小波辅助状态空间模块中，对本层输入特征进行卷积映射和离散小波变换，得到低频特征和高频特征；对低频特征进行二维状态空间建模，得到低频建模特征；将低频建模特征与由高频特征生成的查询特征进行特征匹配和第一次低频感知调制，对调制后的查询特征、键特征和值特征执行多头自注意力计算，得到注意力增强特征；利用低频建模特征对注意力增强特征进行第二次低频感知调制，得到高频增强特征；根据低频建模特征和高频增强特征生成待逆变换小波系数，并执行逆离散小波变换，得到本层支路特征；

6、s4、将第一层至第三层的本层支路特征分别作为同一特征提取支路中下一层小波辅助状态空间模块的输入；将第一层至第三层的多光谱支路特征、全色支路特征与对应层的上一融合特征沿通道维度联结，并经融合处理依次得到第一层至第三层融合特征，其中，第一层的上一融合特征为初始融合特征，第二层和第三层的上一融合特征为前一层融合特征；

7、s5、将第四层多光谱支路特征、第四层全色支路特征和第三层融合特征沿通道维度联结，生成重建影像，并将重建残差影像与上采样多光谱影像相加，得到高空间分辨率多光谱影像。

8、作为本发明的一种技术优选方案，步骤s3中，四个小波辅助状态空间模块按照下式分别生成多光谱支路特征和全色支路特征：

9、；（1）

10、其中，表示上采样多光谱影像，表示全色影像；和分别表示多光谱特征提取支路和全色特征提取支路；其中，时对应各支路首层特征的生成；对应各支路基于前一层支路特征的递推生成；和分别表示多光谱特征提取支路和全色特征提取支路中的第个小波辅助状态空间模块；和分别表示第层多光谱支路特征和第层全色支路特征，上标表示上采样操作，上标表示第层，表示对应模块的输入。

11、作为本发明的一种技术优选方案，步骤s3中，小波辅助状态空间模块按照以下方式生成本层支路特征：

12、对本层输入特征进行卷积映射，并对卷积映射结果执行离散小波变换，得到低频特征以及由水平、垂直和对角方向高频子带经通道融合形成的高频特征，低频特征和高频特征具有相同的空间尺寸和通道数量；

13、将低频特征输入低频状态空间建模模块，得到低频建模特征；将高频特征和低频建模特征输入高频特征增强模块，得到与低频建模特征具有相同空间尺寸和通道数量的高频增强特征；

14、将低频建模特征和高频增强特征逐元素相加，对相加结果进行卷积映射，并按照低频、水平高频、垂直高频和对角高频的系数次序排列卷积映射的输出通道，得到待逆变换小波系数；对待逆变换小波系数执行逆离散小波变换，得到本层支路特征；

15、其中，表示小波域特征，表示经对应模块处理后的特征，下标表示低频分量，下标表示高频分量。

16、作为本发明的一种技术优选方案，步骤s3中，低频状态空间建模模块通过以下处理生成低频建模特征：

17、对低频特征进行层归一化和二维状态空间建模，按照下式与低频特征进行第一次残差相加，得到第一低频中间特征：

18、；（2）

19、对第一低频中间特征依次进行层归一化、卷积和深度卷积，按照下式将卷积结果沿通道维度等分为第一特征组和第二特征组：

20、；（3）

21、按照下式对第一特征组进行gelu非线性激活，将激活结果与第二特征组逐元素相乘，并通过卷积得到第二低频中间特征：

22、；（4）

23、按照下式将第一低频中间特征和第二低频中间特征进行第二次残差相加，得到低频建模特征：

24、；（5）

25、其中，表示低频特征，表示第一低频中间特征，和分别表示沿通道维度等分得到的第一特征组和第二特征组，表示第二低频中间特征，表示低频建模特征；表示层归一化操作，表示保持输入空间尺寸和通道数量不变的二维状态空间建模操作，表示卷积操作，表示深度卷积操作，表示沿通道维度等分为两个特征组的操作，表示高斯误差线性单元激活操作，表示逐元素相乘。

26、作为本发明的一种技术优选方案，步骤s3中，高频特征增强模块按照以下匹配关系执行低频感知调制：

27、将待调制高频特征展平为由高频查询向量组成的高频查询特征序列，将低频建模特征展平为由低频建模向量组成的低频建模特征序列；按照下式计算高频查询向量与低频建模向量之间的l2距离，确定匹配索引，并对高频查询向量与匹配低频向量的联结结果进行通道投影，得到调制查询向量：

28、；（6）

29、其中，表示第个高频查询向量，表示第个低频建模向量，和分别表示高频查询特征序列和低频建模特征序列中的位置索引，和分别表示两个特征序列的向量数量，表示与共有的特征维度，表示与之间的l2距离，表示与对应的匹配索引，表示按照匹配索引取得的匹配低频向量，表示调制查询向量；表示l2范数，表示最小值对应的索引集合，表示当多个低频建模向量具有相同最小距离时选取最小位置索引，表示沿特征维度联结，表示将联结结果投影至维的通道投影操作。

30、作为本发明的一种技术优选方案，步骤s3中，高频特征增强模块按照以下方式生成高频增强特征：

31、对高频特征依次进行层归一化、卷积和深度卷积，按照下式将卷积结果沿通道维度等分为查询特征、键特征和值特征：

32、；（7）

33、根据低频建模特征，按照所述的匹配关系对查询特征进行第一次低频感知调制，得到调制查询特征：

34、；（8）

35、对调制查询特征、键特征和值特征执行多头自注意力计算，按照下式将计算结果与高频特征进行第一次残差相加，得到注意力增强特征：

36、；（9）

37、对注意力增强特征依次进行层归一化、卷积和深度卷积，并根据低频建模特征进行第二次低频感知调制，得到第二高频中间特征：

38、；（10）

39、将注意力增强特征和第二高频中间特征进行第二次残差相加，得到高频增强特征：

40、；（10）

41、其中，表示高频特征，表示低频建模特征，、和分别表示查询特征、键特征和值特征，表示第一次低频感知调制后的查询特征，表示注意力增强特征，表示第二高频中间特征，表示高频增强特征；表示沿通道维度等分为三个特征的操作，表示的特征匹配、联结及通道投影操作，且其输出与待调制特征具有相同的空间尺寸和通道数量，表示包含查询映射、键映射和值映射的多头自注意力操作，且其输出与具有相同的空间尺寸和通道数量；、和分别表示层归一化、卷积和深度卷积操作。

42、作为本发明的一种技术优选方案，步骤s2和步骤s4中，利用步骤s2得到的初始融合特征，按照以下关系依次确定第一层至第三层融合特征：

43、；（12）

44、（13）

45、其中，表示上采样多光谱影像，表示全色影像，表示初始融合特征；和分别表示第层多光谱支路特征和第层全色支路特征，表示第层融合特征；表示沿通道维度联结，表示卷积操作，表示批归一化操作，表示参数化线性整流激活操作，上标表示上采样操作。

46、作为本发明的一种技术优选方案，步骤s5中，重建影像和高空间分辨率多光谱影像按照以下方式生成：

47、将第四层多光谱支路特征、第四层全色支路特征和第三层融合特征沿通道维度联结，得到待重建融合特征：

48、；（14）

49、依次对待重建融合特征进行卷积、prelu非线性激活和卷积和sigmoid非线性激活，得到重建影像：

50、；（15）

51、将所述重建影像与上采样多光谱影像逐元素相加，得到高空间分辨率多光谱影像：

52、；

53、其中，和分别表示第四层多光谱支路特征和第四层全色支路特征，表示第三层融合特征，表示待重建融合特征；表示重建影像，表示上采样多光谱影像，表示高空间分辨率多光谱影像；表示沿通道维度联结，表示卷积操作，表示参数化线性整流激活操作，上标和分别表示特征层序号，上标表示上采样操作。

54、作为本发明的一种技术优选方案，对执行所述方法的全色锐化网络进行训练时，采用由内容损失、梯度损失和多尺度结构相似度损失构成的总损失函数更新全色锐化网络的网络参数，总损失函数满足：

55、（17）

56、其中，表示内容损失，表示梯度损失，表示多尺度结构相似度损失，表示总损失；表示高空间分辨率多光谱真实影像，表示上采样多光谱影像，表示全色影像，表示全色锐化网络及其前向运算输出；表示l1范数，表示sobel梯度算子，表示沿多光谱通道维度计算平均值，表示多尺度结构相似度函数；、和分别表示内容损失、梯度损失和多尺度结构相似度损失的非负权重，且、、；下标表示网络，上标表示上采样结果。

57、与相关的现有技术相比，本发明的有益效果是：

58、1、通过对多光谱支路和全色支路各层输入特征进行离散小波变换，并利用低频状态空间建模模块对低频特征进行二维状态空间建模，使低频特征在保留影像主体结构和光谱分布信息的同时，能够建立二维空间范围内较长距离位置之间的依赖关系，弥补单纯依靠局部卷积处理低频特征时长程结构信息利用不足的问题，为后续高频纹理增强提供具有全局结构表征能力的低频建模特征。

59、2、通过计算高频查询特征与低频建模特征之间的l2距离确定匹配低频特征，并依次在多头自注意力增强之前和之后实施两次低频感知调制，使低频结构信息能够按照特征内容的对应关系连续引导高频纹理特征的筛选和增强。相较于将高频特征与低频特征直接相加或者联结的处理方式，本发明能够建立低频结构信息与高频纹理信息之间更具针对性的跨频关联，减少与当前高频内容不对应的纹理信息被无差别增强所引起的局部过增强和结构失真，提高空间细节恢复与主体结构之间的一致性。

60、3、通过设置多光谱特征提取支路和全色特征提取支路，并在递进特征提取过程中将各层多光谱支路特征、全色支路特征与上一层融合特征进行逐层联结融合，使多光谱影像中的光谱信息、全色影像中的空间结构和已有融合信息能够持续参与后续层级的特征提取，避免仅在网络末端集中融合造成的浅层信息利用不足，有利于同时保持多光谱影像的波段信息和恢复全色影像所提供的空间纹理。

61、4、通过将低频建模特征与高频增强特征组合后执行逆离散小波变换，使经过状态空间建模的低频信息和经过跨频调制的高频信息按照相应频率子带关系完成重建；进一步根据末层支路特征和融合特征生成重建影像，并将重建影像与上采样多光谱影像相加，使网络能够在保留上采样多光谱影像主体光谱信息的基础上补充缺失的空间细节，从而兼顾高空间分辨率多光谱影像的空间纹理恢复和光谱信息保持。