金字塔空谱竞争融合状态空间高光谱图像分类方法

本发明属于遥感图像处理与深度学习，具体涉及金字塔空谱竞争融合状态空间高光谱图像分类方法。

背景技术：

1、高光谱图像是由成像光谱仪获取的三维数据立方体，包含数百个连续且极窄的电磁波段，能够同时提供地表物质精细的光谱特征与二维空间结构信息。凭借这种“图谱合一”的独特优势，高光谱图像分类旨在为图像中的每一个像素赋予正确的地物类别标签，是遥感场景理解与精细地物识别中的关键任务，在精准农业、矿物勘探、环境灾害监测等对地观测领域具有重要的研究价值与实际应用意义。

2、早期的高光谱图像分类方法主要基于统计学习，如支持向量机、随机森林等分类器，仅利用像素的光谱向量进行判别，易受“同物异谱”与“异物同谱”现象的干扰；此后出现的空谱联合方法通过形态学剖面、低秩表示、稀疏表示等手段引入空间上下文，但仍高度依赖人工特征设计，在地物分布破碎、类别相互渗透的复杂场景下表征能力有限，难以刻画高光谱数据中的深层非线性关系。

3、近年来，深度学习凭借强大的特征提取能力已成为高光谱图像分类领域的主流范式。卷积神经网络虽能有效提取局部空间-光谱特征，但受限于固定感受野，难以捕捉长程依赖；transformer架构虽实现了全局建模，却面临与序列长度呈二次方增长的计算复杂度瓶颈，且对局部先验的利用相对不足；近期，基于状态空间模型的mamba架构因其能以线性复杂度建模长程依赖而展现出巨大潜力，并被逐步引入高光谱图像分类任务。该架构通过输入相关的选择性扫描机制沿一维序列逐位置传播隐状态，因而在处理二维图像时须先按固定路径将二维特征图展平为一维序列，再沿该序列依次扫描。

4、然而，现有方法在应对复杂场景、尤其是标注样本稀缺的小样本高光谱图像分类任务时仍存在显著局限性，主要体现在以下三个方面：一是局部边缘细节与长程空间依赖难以兼顾，状态空间模型固有的一维序列化扫描会削弱二维空间结构的邻域关系，导致地物边界模糊、细碎地物漏分；二是连续波段强相关导致光谱冗余，直接对原始通道序列建模会引入大量冗余响应，削弱模型对细粒度光谱差异的判别能力；三是异构空谱特征融合缺乏自适应性，现有方法多采用直接相加、通道拼接或固定权重的静态融合策略，无法依据不同通道上两分支判别力的差异动态调节其贡献，易引入分支间的冲突噪声。为此，本发明提出金字塔空谱竞争融合状态空间高光谱图像分类方法。

5、经过检索，申请公开号cn120451633a，一种空间-光谱金字塔型mamba高光谱图像分类方法，首先将高光谱图像立方体转换为一维空间序列与光谱序列，其中空间序列在生成之前先经特征增强模块处理，再由多层感知机映射并划分为不重叠空间块，光谱序列则由中心区域经多层感知机映射后按不重叠斑块嵌入得到，然后将两路序列分别送入金字塔型mamba模块，经归一化并投影为特征提取与门控两种表示后，以一维卷积对序列逐级下采样，在每个金字塔层级由一维深度卷积与选择性状态空间模型提取局部特征与长期依赖，再逐级上采样并与同一层级的特征融合，最后，将空间特征与光谱特征进行特征增强和融合，送入线性分类层，得到最后的分类结果。

6、cn120451633a专利依托一维序列长度上的逐级下采样与上采样完成金字塔构建，各层级串行相连，缺少在二维空间尺度上并行建模的能力，且全程未引入注意力机制，空间上下文刻画粒度粗糙；并且其序列化之前的特征增强仅由多分支卷积拼接完成，对各空间位置一视同仁，难以区分地物边界与同质区域内部，局部先验注入不够精准；同时其光谱分块仅为构造序列的手段，未针对相邻波段强相关作显式处理，两分支特征经静态融合后送入线性分类层，且采用基于图像块的分类范式，光谱冗余与分支间冲突噪声均未得到抑制。而本发明通过金字塔精炼通道注意力模块在多个二维空间尺度上并行地沿通道维度建模上下文、轻量空间先验模块以空间门控掩膜逐位置注入局部先验、一阶光谱差分增强与光谱分组标记耦合抑制光谱冗余以及通道级竞争融合模块沿分支维度施加softmax实现逐通道零和择优，有效提升小样本条件下的地物分类精度与推理效率。

技术实现思路

1、本发明的目的在于针对现有高光谱图像分类方法中局部边缘细节与长程空间依赖难以兼顾、连续波段强相关导致光谱冗余以及异构空谱特征融合缺乏自适应性所带来的缺陷，提出金字塔空谱竞争融合状态空间高光谱图像分类方法，通过轻量空间先验模块、金字塔精炼通道注意力模块、一阶光谱差分增强单元和通道级竞争融合模块的协同作用，有效提升复杂场景与小样本条件下不同尺度地物的分类精度，实现优异的分类性能。

2、本发明的技术方案如下：

3、金字塔空谱竞争融合状态空间高光谱图像分类方法，其包括以下步骤：

4、s1、获取高光谱图像，依次经高斯平滑滤波、主成分分析降维、逐波段分位数拉伸与归一化，得到预处理图像；将输入由1×1卷积、分组归一化和silu激活函数构成的特征映射层，投影至统一的共享隐特征空间，得到初始特征；

5、s2、建立金字塔空谱竞争融合状态空间网络模型，包括依次连接的特征映射层、双分支主干网络、通道级竞争融合模块和分类头，其中双分支主干网络包含并行的局部先验金字塔空间mamba分支和差分分组光谱mamba分支；所述局部先验金字塔空间mamba分支依次由轻量空间先验模块、金字塔精炼通道注意力模块和空间mamba状态空间模型构成，按照局部先验注入、多尺度上下文聚合、全局序列扫描的顺序处理初始特征，输出空间域特征；其中，所述轻量空间先验模块以深度卷积提取局部边缘与纹理响应，并由空间门控分支生成的空间门控掩膜对该局部响应逐元素加权后经残差连接注入，所述金字塔精炼通道注意力模块在多个空间尺度下并行地沿通道维度而非空间维度计算注意力，再将各尺度精炼特征上采样至原始分辨率后沿通道维度拼接融合；所述差分分组光谱mamba分支依次由一阶光谱差分增强单元和光谱分组序列建模单元构成，沿光谱通道维度计算相邻通道的一阶离散差分得到差分增强特征，并将差分增强特征沿通道维度重新划分为若干光谱分组标记后进行分组序列扫描，输出光谱域特征；

6、s3、通过通道级竞争融合模块对空间域特征和光谱域特征分别执行全局平均池化与线性投影，得到两分支的通道级响应描述，沿新增的分支维度堆叠后经softmax归一化生成逐通道的竞争权重和，使同一通道上两分支的竞争权重之和恒为1，并以该竞争权重对双分支特征加权求和，得到融合特征；

7、s4、将融合特征与初始特征残差相加后经平均池化，再输入由1×1卷积、分组归一化、silu激活函数和1×1卷积依次构成的分类头，最后经双线性插值上采样恢复至原始空间分辨率，得到像素级地物预测图；

8、s5、利用带标注的高光谱数据集对网络模型进行端到端训练，并将待分类的高光谱图像输入训练好的网络模型，取各像素在类别通道维度上最大响应所对应的类别作为其预测标签，获得逐像素的地物分类结果。

9、进一步的，所述步骤s1中，对获取的高光谱图像依次执行高斯平滑滤波、主成分分析降维、逐波段2%~98%分位数拉伸并归一化至[0,1]区间，得到预处理图像，其中、分别表示图像的高度与宽度，表示主成分分析降维后保留的波段数；随后将输入由1×1卷积、分组归一化和silu激活函数构成的特征映射层，得到初始特征，表示共享隐特征空间维度，其表达式如下：

10、，

11、其中表示1×1卷积层，表示分组归一化，表示silu激活函数。

12、进一步的，所述步骤s2中，所述轻量空间先验模块执行如下操作：

13、s21、对初始特征执行3×3深度卷积，捕获局部边缘与纹理响应；同时将送入空间门控分支，依次经1×1卷积、silu激活函数、1×1卷积和sigmoid激活函数生成单通道的空间门控掩膜，其表达式如下：

14、，

15、s22、利用空间门控掩膜对深度卷积分支的局部响应逐元素加权，再依次经1×1卷积的特征投影、分组归一化与silu激活函数，并通过残差连接与融合，得到注入局部空间先验的特征，其表达式如下：

16、，

17、其中表示3×3深度卷积，表示逐元素相乘。

18、进一步的，所述步骤s2中，所述金字塔精炼通道注意力模块执行如下操作：

19、s23、将特征在三个空间尺度下并行处理，其中1/2与1/4尺度分支的输入由平均池化下采样得到；在每个尺度上先经1×1卷积完成查询、键、值投影，再经带空洞率的3×3深度卷积增强局部上下文，分别得到查询、键与值，并将通道维度均分为若干注意力头以并行计算注意力；

20、s24、为避免整图输入带来的空间自注意力二次方计算开销，沿通道维度计算注意力权重，其表达式如下：

21、，

22、其中、为沿空间维度作归一化后的查询与键张量，为可学习的温度系数，为尺度下的通道注意力分布，为经注意力精炼后的多尺度特征，每个尺度的注意力输出再经1×1卷积完成输出投影；

23、s25、将1/2与1/4尺度的精炼特征双线性插值上采样至原始分辨率，再与原始尺度的精炼特征沿通道维度拼接，并由1×1卷积融合投影，得到多尺度精炼后的空间上下文特征，其表达式如下：

24、，

25、其中表示双线性插值上采样，表示沿通道维度的拼接操作。

26、进一步的，所述步骤s2中，所述空间mamba状态空间模型将特征沿空间维度展平为一维序列并送入选择性状态空间模型进行全局扫描，将输出重塑回二维空间结构后依次经分组归一化与silu激活函数，并通过残差连接与融合，得到空间域特征，其表达式如下：

27、，

28、其中表示选择性序列扫描算子，表示将一维序列重塑回二维空间结构。

29、进一步的，所述步骤s2中，所述一阶光谱差分增强单元沿光谱通道维度计算相邻通道的一阶离散差分，并通过差分增强系数调节跨波段变化信息的注入强度，得到差分增强后的光谱表征，其表达式如下：

30、，

31、其中上标表示特征的第个光谱通道，对最后一个通道以零填充保持通道维度不变。

32、进一步的，所述步骤s2中，所述光谱分组序列建模单元将具有个通道的差分增强特征重新划分为个独立的光谱分组标记，每个标记包含维特征，生成重组后的分组张量，表示批次大小；随后由模型维度等于的选择性状态空间模型沿该分组序列进行状态传播，将输出重塑回二维特征图拓扑后依次经分组归一化与silu激活函数，并与差分增强特征进行残差连接，得到光谱域特征，其表达式如下：

33、。

34、进一步的，所述步骤s3中，所述通道级竞争融合模块执行如下操作：

35、s31、对空间域特征与光谱域特征分别执行全局平均池化以提取通道级统计描述，并经线性投影生成对应的分支响应与，其表达式如下：

36、，

37、s32、将两路响应沿新增的分支维度堆叠，并经softmax函数沿分支维度归一化，生成逐通道的竞争权重，其表达式如下：

38、，

39、s33、利用生成的竞争权重对两路分支特征进行自适应加权融合，得到融合特征，其表达式如下：

40、。

41、进一步的，所述步骤s4中，将融合特征与初始特征残差相加后经平均池化下采样，再依次经1×1卷积、分组归一化、silu激活函数和1×1卷积构成的分类头映射为类别响应图，最后经双线性插值上采样恢复至原始空间分辨率，得到像素级地物预测图，表示地物类别总数，其表达式如下：

42、，

43、其中表示平均池化操作，表示双线性插值上采样操作。

44、进一步的，所述步骤s5中，对网络模型的训练过程包括：

45、s51、以整幅高光谱图像为输入，采用按各类别标注样本数平衡加权的标签平滑交叉熵损失函数，并通过忽略索引使损失仅在带标注像素上计算，采用adam优化器通过最小化损失函数优化模型参数，实现对网络的端到端训练；

46、s52、每轮训练后在验证集上计算总体精度、平均精度与kappa系数，保存性能最优的模型权重用于最终结果分析；推理阶段将待分类的高光谱图像按步骤s1至步骤s4前向传播，取各像素在类别通道维度上最大响应所对应的类别作为其预测标签，得到全图逐像素的分类结果。

47、本发明的优点及有益效果如下：

48、本发明提出金字塔空谱竞争融合状态空间网络，通过局部先验注入、多尺度上下文聚合、一阶光谱差分增强与分组序列扫描以及通道级竞争加权的协同作用，实现空间与光谱互补特征的解耦提取、增强与自适应融合。与现有方法相比，本发明的优点及有益效果可归纳为以下四个关键方面。

49、（1）局部先验金字塔空间mamba分支在一维序列扫描之前，先由轻量空间先验模块以深度卷积提取局部边缘与纹理响应、再由空间门控掩膜对该响应逐位置自适应加权后残差注入，使二维邻域结构中真正承载地物边界与纹理突变的位置被选择性保留；随后由金字塔精炼通道注意力模块在三个空间尺度上并行地以通道维注意力聚合多尺度上下文，构建“局部先验注入—多尺度上下文—全局扫描”的特征提取范式。相较于以不同核形状与膨胀率的多分支卷积作与位置无关的感受野堆叠，该范式具备区分空间位置重要性的能力，更有效地缓解了一维序列化对二维空间结构的削弱，使模型同时兼顾局部边缘细节与长程空间依赖。

50、（2）差分分组光谱mamba分支将一阶光谱差分增强与分组序列扫描相耦合，在序列建模之前即以相邻通道差分显式凸显跨波段变化量、抑制强相关带来的冗余响应，并以光谱分组标记替代逐通道标记显著缩短序列长度。该设计有效弥补了现有方法直接对原始通道序列建模所导致的光谱冗余与细粒度光谱判别力不足的缺陷。

51、（3）通道级竞争融合模块沿分支维度施加softmax归一化，使空间分支与光谱分支在每个通道上形成“非此即彼”的竞争关系，令该通道由更具判别力的分支主导。该机制克服了直接相加、通道拼接或固定加权等静态融合方式无法自适应调节分支贡献、易引入跨分支冲突噪声的弊端，提升了异构空谱特征融合的自适应性。

52、（4）本发明采用整幅图像输入的语义分割范式，并以线性计算复杂度的选择性状态空间模型替代二次方复杂度的自注意力承担长程依赖建模；在此前提下，将注意力的计算维度由空间维转置到通道维，使注意力的开销与空间尺寸呈线性关系，从而在整图视野下引入了现有状态空间模型类方法通常回避的注意力机制；同时以光谱分组标记压缩光谱方向的序列长度。该架构在保证分类精度的同时，使模型参数量、单像素浮点运算量与整图推理耗时均维持在较低水平，并避免了图像块范式下滑窗重叠推理所带来的重复计算，在分类精度与计算效率之间取得了良好的平衡。