一种基于空谱图卷积与视觉状态空间模型协同的高光谱影像地物分类方法

本发明涉及高光谱遥感影像智能解译，具体涉及一种基于空谱图卷积与视觉状态空间模型协同的高光谱影像地物分类方法。

背景技术：

1、高光谱遥感影像在获取地物连续光谱曲线的同时保留了二维空间分布信息，形成了同时具备图谱合一特性的三维数据立方体，为地物精细化识别提供了丰富的判别依据，已被广泛应用于精细农业作物类型识别、生态环境监测、矿产资源勘查与国土资源调查等领域。高光谱影像地物分类的核心任务是为影像中的每个像素赋予唯一的地物类别标签，其分类精度直接决定了后续定量反演与应用分析的可靠性。

2、随着深度学习的快速发展，基于卷积神经网络、循环神经网络与transformer的高光谱影像分类方法相继提出，在标记样本充足的条件下取得了优于传统机器学习方法的分类性能。然而，现有技术仍存在以下技术问题：

3、（1）卷积神经网络以规则方形卷积核提取特征，受限于局部感受野，难以刻画地物的不规则空间形态与全局长程光谱依赖，且堆叠层数增加会带来参数量与计算量的急剧上升；而基于自注意力机制的transformer方法虽然具备全局建模能力，但其计算复杂度与序列长度呈平方关系，难以处理高光谱影像海量像素与上百个波段带来的长序列。

4、（2）现有方法通常以规则方格邻域或固定尺寸窗口构造样本，将每个像素视作独立同分布样本进行分类，割裂了像素之间的空间上下文关联，在农作物地块边界、林草交错带等异质区域易产生椒盐噪声，分类图斑破碎、边界贴合度差。

5、（3）高光谱影像存在严重的休斯现象，即在训练样本数量有限时，随着特征维数增加分类器性能反而下降；同时地物类别分布极不均衡，小样本类别易被大样本类别淹没，而现有交叉熵损失函数缺少对类内特征紧致性与空间一致性的显式约束。因此，亟需一种能够在少量标记样本条件下兼顾局部空谱结构建模与全局长程依赖建模、且计算复杂度可控的高光谱影像地物分类方法。

技术实现思路

1、为解决现有技术难以刻画地物不规则空间形态、割裂像素间空间上下文关联导致分类图斑破碎，以及自注意力方法计算复杂度随序列长度平方增长难以处理高光谱长序列的技术问题，本发明的目的在于提供一种基于空谱图卷积与视觉状态空间模型协同的高光谱影像地物分类方法，所采用的技术方案具体如下：所述方法包括：获取待分类的高光谱遥感影像并进行辐射定标、大气校正、坏线修复与最小噪声分离预处理，获得预处理影像；对预处理影像进行主成分分析获得降维影像；按预设空间窗口尺寸在降维影像上逐像素裁剪空谱立方体样本，获得空谱立方体样本集；对预处理影像进行超像素分割获得超像素分割结果；以超像素分割结果中的超像素为图节点，按空谱复合核相似度构建节点邻接关系，获得空谱图结构样本集；基于多跳注意图卷积网络设计空谱图卷积编码分支，将空谱图结构样本集转换成空谱图结构特征；基于选择性状态空间模型设计双向空谱选择性扫描分支，将空谱图结构特征按正向与反向两种空间光栅顺序展平扫描，获得全局长程依赖特征；设计自适应门控融合子模块，对空谱图结构特征与全局长程依赖特征进行逐通道门控融合，获得融合分类特征；在融合分类特征之后串联分类头，构成ssgm-net网络；根据高光谱影像地物类别分布不均衡、标记样本稀少且同类地物光谱离散度大的特点设计联合损失函数，获得训练监督信号；根据训练监督信号对ssgm-net网络进行训练，获得训练好的网络模型；利用训练好的网络模型对待分类的高光谱遥感影像进行逐像素分类，获得初始分类结果；对初始分类结果进行超像素多数投票与全连接条件随机场后处理，获得地物分类图；对地物分类图进行总体精度、平均精度与kappa系数评价。

2、进一步地，所述高光谱遥感影像获取与预处理方法包括：选取空间分辨率不低于30米、光谱分辨率优于10纳米、波段数不少于100的高光谱遥感影像作为数据源，影像来源包括高分五号ahsi、珠海一号ohs或aviris、rosis航空高光谱传感器；对原始影像依次进行辐射定标、大气校正以消除传感器响应差异与大气散射吸收影响；采用邻域像元线性插值方法对坏线、死像元与条纹噪声进行坏线修复；采用最小噪声分离变换对修复后的影像进行噪声白化与特征提取，剔除信噪比低于设定阈值的噪声主导分量，获得空间维数为、波段数为的预处理影像，其中坏线修复采用邻域像元线性插值，插值计算公式如下所示：

3、

4、其中，表示第个波段中位于第行第列的像元灰度值；表示修复后的像元灰度值；，表示波段总数。

5、进一步地，所述主成分分析与空谱立方体样本集获得方法包括：由于高光谱影像波段数多、相邻波段相关性强，若直接以全部波段参与网络计算会带来严重的冗余与维数灾难，故采用主成分分析将原始波段投影至互不相关的低维主成分空间；计算预处理影像的波段协方差矩阵并进行特征值分解，主成分分析的协方差矩阵与特征方程如下所示：

6、

7、

8、其中，表示由个像元的光谱向量构成的数据矩阵，每个光谱向量维数为；表示样本光谱均值向量；表示波段协方差矩阵；表示由特征值构成的对角矩阵；表示由特征向量按列排布构成的投影矩阵；表示投影后的低维数据；取前个最大特征值对应的特征向量构成投影矩阵，将预处理影像投影至低维空间，获得波段数为的降维影像，的取值范围为15至40；以降维影像中每个像素为中心、按预设空间窗口尺寸裁剪空谱立方体样本，每个样本的空谱特征维数为，所述空间窗口尺寸为奇数且取值范围为7至11。

9、进一步地，所述空谱图结构样本集获得方法包括：由于像素级的规则方格邻域难以贴合地物真实边界，为使图节点具备同质性与语义完整性，先对预处理影像进行超像素分割；采用简单线性迭代聚类算法对预处理影像进行超像素分割，聚类时同时度量光谱距离与空间距离，距离度量计算公式如下所示：

10、

11、其中，表示像元与聚类中心在降维影像上的光谱距离；表示二者的空间欧氏距离；、分别为光谱距离与空间距离的归一化因子；通过迭代更新聚类中心直至收敛，获得由若干个内部光谱一致、边界贴合地物轮廓的超像素构成的超像素分割结果；以每个超像素为一个图节点，以超像素内所有像素的空谱特征均值为节点特征；按空谱复合核相似度判定两节点是否邻接，空谱复合核相似度计算公式如下所示：

12、

13、其中，、分别表示第个与第个节点的空谱特征均值向量；表示两节点质心之间的空间欧氏距离；为光谱核带宽，取值范围为0.5至2.0；为空间核带宽，取值范围为3至15个像素；表示两节点的空谱复合核相似度；当两节点的空谱复合核相似度大于相似度阈值时保留该边，否则置零，每个节点仅保留相似度最大的条边以获得稀疏邻接关系，的取值范围为4至12；对邻接关系进行对称归一化处理获得归一化邻接矩阵，对称归一化计算公式如下所示：

14、

15、其中，表示由空谱复合核相似度构成的邻接矩阵；表示单位矩阵；表示邻接矩阵的度矩阵；表示归一化邻接矩阵；表示对称归一化图拉普拉斯矩阵。

16、进一步地，所述ssgm-net网络由空谱图卷积编码分支、双向空谱选择性扫描分支、自适应门控融合子模块与分类头依次串联构成；所述空谱图卷积编码分支用于在非欧氏结构的空谱图上聚合异质邻域信息，所述双向空谱选择性扫描分支用于以线性复杂度捕获全局长程光谱依赖，所述自适应门控融合子模块用于对两支特征逐通道自适应加权互补融合。

17、进一步地，所述空谱图卷积编码分支由层多跳注意图卷积层串联构成，的取值范围为2至4；每层先以归一化邻接矩阵进行邻域聚合得到邻域聚合结果，再以可学习注意力向量计算邻域节点的注意力系数对聚合结果加权，第层的邻域聚合与注意力系数计算公式如下所示：

18、

19、

20、

21、其中，表示第层的节点特征矩阵；表示第层的可学习权重矩阵；表示节点的邻接节点集合；表示节点对节点的注意力系数；表示可学习注意力向量；表示激活函数，采用relu或leakyrelu；为兼顾不同阶邻域信息，将各层输出沿通道维度拼接并通过线性映射降维，获得空谱图结构特征，多跳特征拼接计算公式如下所示：

22、

23、其中，表示第层图卷积层的输出；表示多跳特征融合的可学习权重矩阵；表示空谱图结构特征。

24、进一步地，所述双向空谱选择性扫描分支的获得方法包括：由于自注意力机制的计算复杂度与序列长度呈平方关系，直接对整幅影像的全部图节点建模代价过高，故引入具有线性复杂度的选择性状态空间模型；将空谱图卷积编码分支输出的空谱图结构特征中的节点，按超像素质心行列坐标进行正向光栅排序得到正向序列，按逆序得到反向序列；以连续时间状态空间模型对两序列分别建模，采用零阶保持方法将其离散化为递归形式，连续状态空间模型与离散化计算公式如下所示：

25、

26、

27、

28、其中，表示输入序列在时刻的取值；表示隐状态向量；表示输出；表示状态转移矩阵；、、分别表示输入投影矩阵、输出投影矩阵与直连矩阵；表示离散化步长；、分别表示离散化后的状态转移矩阵与输入投影矩阵；、、分别表示离散化后第个位置的隐状态、输入与输出；为使状态空间模型的参数随输入自适应变化以实现选择性记忆，将离散化步长、输入投影矩阵与输出投影矩阵设为输入的函数，选择性参数计算公式如下所示：

29、

30、

31、其中，表示节点序列在第个位置的输入特征；、、分别为用于生成离散化步长、输入投影矩阵与输出投影矩阵的可学习权重矩阵；为可学习偏置项；、、分别表示随输入自适应变化的离散化步长、输入投影矩阵与输出投影矩阵；表示节点特征张量；、分别表示正向扫描与反向扫描算子；表示输出投影的可学习权重矩阵；表示全局长程依赖特征。

32、进一步地，所述自适应门控融合子模块的融合过程为：由于空谱图结构特征擅长刻画局部异质邻域结构，而全局长程依赖特征擅长刻画整幅影像的光谱上下文，两支特征的重要性随位置与类别动态变化，故不宜采用固定权重的直接相加或简单拼接；将空谱图结构特征与全局长程依赖特征沿通道维度拼接，经一维卷积与sigmoid激活函数生成逐通道门控权重，按门控权重对两支路特征进行互补加权融合，融合分类特征计算公式如下所示：

33、

34、

35、其中，表示空谱图结构特征；表示全局长程依赖特征；表示生成门控权重的可学习权重矩阵；表示逐通道门控权重，取值范围为0至1；表示逐元素相乘；表示融合分类特征；表示第个节点的融合分类特征；、分别表示分类头的权重矩阵与偏置项；表示第个节点属于各类别的概率分布。

36、进一步地，所述联合损失函数获得方法，包括：针对高光谱影像地物类别分布不均衡、标记样本稀少且同类地物光谱离散度大的问题，在加权交叉熵损失的基础上引入图拉普拉斯平滑约束项与原型对比损失，其中加权交叉熵损失按各类别样本数的倒数设置类别权重以缓解类别不平衡，图拉普拉斯平滑约束项使图邻接节点的特征表示趋于一致以增强空间平滑性，原型对比损失以各类别当前批次特征均值为原型、以温度系数调节分布锐度，加权交叉熵损失、图拉普拉斯平滑约束项与原型对比损失的计算公式如下所示：

37、

38、

39、

40、

41、其中，表示训练样本总数；表示地物类别总数；表示第类的样本数；表示第类的类别权重；表示第个样本在第类上的真实标签；表示网络输出的预测概率；表示加权交叉熵损失；表示融合分类特征矩阵；表示对称归一化图拉普拉斯矩阵；表示矩阵的迹；表示图拉普拉斯平滑约束项；表示第类的原型特征向量，由当前批次第类样本特征的均值计算得到；表示温度系数，取值范围为0.1至1.0；表示原型对比损失；、为多任务平衡系数。

42、进一步地，所述ssgm-net网络的训练方法，包括：按每类随机选取固定比例像素作为训练集、其余作为测试集的方式划分样本；采用adamw优化器，初始学习率设置为，权重衰减系数设置为，并按余弦退火策略动态调整学习率；批量大小设置为64，迭代训练不少于300个epoch；多任务平衡系数设置为、，温度系数设置为；在图卷积层与选择性扫描层之后均采用随机失活（dropout），失活概率设置为0.2至0.5；当验证集总体损失连续30个epoch不再下降时停止训练，保存最佳模型权重。

43、进一步地，所述超像素多数投票与全连接条件随机场后处理方法包括：由于超像素内部的光谱一致性保证了其所属地物类别的高度统一，故先以超像素为单元进行投票以消除超像素内部的零星误分；统计每个超像素内各类别像素数并以多数类别作为该超像素的类别标签，得票最多判决计算公式如下所示：

44、

45、其中，表示第个超像素内的像素集合；表示第个像素的初始预测类别；表示指示函数，条件成立时取1否则取0；表示第个超像素的投票类别标签；以一元势函数与二元势函数构成能量函数进行全连接条件随机场推理，其中一元势函数取网络输出的类别负对数概率，二元势函数由空谱特征相似度与空间位置邻近度加权构成，能量函数与二元势函数计算公式如下所示：

46、

47、

48、其中，表示能量函数；表示一元势函数；表示二元势函数；表示标签相容性函数，当两像素标签不同时取1否则取0；表示两像素空谱特征的欧氏距离；表示两像素的空间欧氏距离；表示光谱核带宽；表示空间核带宽；采用平均场近似迭代求解使能量函数最小的标签配置，迭代次数为10次，获得优化后的地物分类图。

49、进一步地，所述精度评价方法，包括：以总体精度、平均精度与kappa系数作为定量评价指标，其中总体精度为被正确分类像素数占像素总数的比例，平均精度为各类别生产者精度的算术平均，kappa系数在总体精度的基础上扣除随机一致性的影响，总体精度、平均精度与kappa系数的计算公式如下所示：

50、

51、其中，表示总体精度；表示平均精度；表示kappa系数；表示被正确分类的像素总数；表示参与评价的像素总数；表示地物类别总数；表示第类中被正确分类的像素数；表示第类的真实像素数；表示随机一致性期望比例，按下式定义为；表示被预测为第类的像素数。

52、本发明具有如下优异效果：本发明通过对高光谱遥感影像进行辐射定标、大气校正、坏线修复与最小噪声分离预处理，消除了传感器响应差异、大气影响与条纹噪声，抑制了噪声主导分量对后续特征提取的干扰；由于高光谱影像波段数多、相邻波段相关性强，故采用主成分分析将原始波段投影至互不相关的低维主成分空间，在保留绝大部分信息量的前提下显著降低了特征维数，缓解了休斯现象；由于像素级规则方格邻域难以贴合地物真实边界，故采用简单线性迭代聚类算法进行超像素分割，获得内部光谱一致、边界贴合地物轮廓的超像素作为图节点，并按空谱复合核相似度构建稀疏邻接关系，使图结构同时携带光谱相似性与空间邻近性先验；由于空谱图上的邻接关系是非欧氏结构，故采用多跳注意图卷积层对异质邻域信息自适应加权聚合，并通过多跳拼接兼顾不同阶邻域信息，增强了对地物不规则空间形态的刻画能力；由于自注意力机制的复杂度与序列长度呈平方关系，难以处理海量像素与上百波段构成的长序列，故引入选择性状态空间模型，通过将参数设为输入的函数实现选择性记忆，以线性复杂度完成全局长程光谱依赖建模，并按正反向两种光栅顺序扫描以消除单向扫描的方向偏置；由于局部结构特征与全局上下文特征的重要性随位置与类别动态变化，故设计自适应门控融合子模块进行逐通道互补加权融合，避免了直接相加与简单拼接的表达瓶颈；由于地物类别分布不均衡且标记样本稀少，故在加权交叉熵损失基础上引入图拉普拉斯平滑约束项与原型对比损失，分别增强空间平滑性与类内特征紧致性，抑制类间混淆；由于单点像素预测易产生椒盐噪声，故采用超像素多数投票与全连接条件随机场相继进行后处理，在保持地物边界细节的同时消除了零星误分，使分类图斑完整、边界贴合。本发明充分考虑了高光谱影像图谱合一、维数高、标记样本稀少与类别不均衡的特点，设计了独特的超像素空谱图构建、多跳注意图卷积、双向空谱选择性扫描、自适应门控融合与联合损失监督框架，在少量标记样本条件下显著提升了地物分类精度与地物边界一致性，为高光谱遥感影像的精细化解译提供了可靠的技术手段。