交叉引导多路径RWKV的高光谱图像分类方法及系统

本技术涉及遥感图像处理与计算机视觉，特别是涉及一种交叉引导多路径rwkv的高光谱图像分类方法及系统。

背景技术：

1、高光谱图像（hyperspectral image，hsi）由数十至数百个连续窄波段构成，能够捕获地表物质在像素级别的光谱与空间特性，在环境监测、精准农业、城市规划及军事侦察等领域具有重要应用价值。

2、早期的高光谱图像分类（hsic）方法主要依赖人工特征与传统的机器学习技术，如支持向量机（svm）、主成分分析（pca）和线性判别分析（lda）等，但这些方法主要利用光谱信息，忽略了空间上下文，在复杂场景下性能受限。

3、随着深度学习的快速发展，卷积神经网络（cnn）因其强大的自动特征提取能力被广泛应用于hsic。通过联合建模空间与光谱信息，基于cnn的方法显著优于传统方法。然而，固定卷积核固有的局部性限制了感受野，难以捕获长距离光谱-空间依赖关系。

4、为解决上述局限，基于transformer的方法被引入hsic。通过自注意力机制，这些方法能够建模全局上下文并捕获长距离依赖，进一步提升了分类精度。然而，自注意力的计算复杂度随令牌数量呈二次增长，导致高维高光谱数据的计算成本和内存消耗巨大。

5、近年来，基于状态空间模型（ssm）的方法，尤其是mamba，被引入hsic以实现线性复杂度的长距离依赖建模。然而，将序列算子应用于hsi块通常需要将原始的二维空间邻域转换为一维有序令牌序列，这种转换对原始空间结构施加了预定义的遍历顺序，使得建模的空间关系对扫描路径敏感，难以充分描述目标像素周围的复杂空间相关性。

6、rwkv架构结合了基于键值的令牌混合与循环计算，能够以线性计算复杂度实现长距离依赖建模并支持并行训练。但原始的rwkv主要针对一维有序序列设计，直接应用于高光谱特征建模时仍依赖于二维空间特征的单序列化，限制了其对hsi块内多样化空间布局的利用能力。

7、因此，亟需一种既能实现线性复杂度的全局光谱-空间依赖建模，又能有效刻画高光谱图像中多样化空间布局的高光谱图像分类方法及系统。

技术实现思路

1、本技术的目的是提供一种交叉引导多路径rwkv的高光谱图像分类方法及系统，既能实现线性复杂度的全局光谱-空间依赖建模，又能有效刻画高光谱图像中多样化空间布局的高光谱图像分类。

2、为实现上述目的，本技术提供了如下方案：

3、第一方面，本技术提供了一种交叉引导多路径rwkv的高光谱图像分类方法，包括：

4、获取高光谱图像立方体块。

5、对所述高光谱图像立方体块进行浅层光谱-空间特征提取，得到嵌入表示。

6、对所述嵌入表示进行通道分裂、特征变换、互补交互和特征融合，得到融合输出。

7、将所述融合输出输入多路径rwkv块进行长距离光谱-空间依赖建模，得到最终输出；所述多路径rwkv块用于通过多方向空间扫描与双视图耦合机制捕获长距离上下文依赖。

8、对所述最终输出进行全局平均池化，得到特征向量。

9、基于所述特征向量输出分类结果。

10、可选地，对所述高光谱图像立方体块进行浅层光谱-空间特征提取，得到嵌入表示，具体包括：

11、基于所述高光谱图像立方体块，采用3×3×3的3d卷积，后接批归一化和非线性激活，联合建模局部光谱-空间相关性，得到特征图。

12、通过线性投影层将所述特征图投影到潜在嵌入空间，得到嵌入表示。

13、可选地，对所述嵌入表示进行通道分裂、特征变换、互补交互和特征融合，得到融合输出，具体包括：

14、沿通道维度将所述嵌入表示分裂为第一分支和第二分支。

15、对所述第一分支进行光谱富集处理，得到光谱-语义上下文特征；对所述第二分支进行空间保持处理，得到空间定位特征。

16、基于所述光谱-语义上下文特征生成通道注意力权重；基于所述空间定位特征生成空间注意力图；采用交叉重加权策略，以所述空间注意力图对所述光谱-语义上下文特征进行重加权，得到重加权后的光谱-语义上下文特征；以所述通道注意力权重对所述空间定位特征进行重加权，得到重加权后的空间定位特征。

17、将所述重加权后的光谱-语义上下文特征和所述重加权后的空间定位特征进行融合，得到融合输出。

18、可选地，对所述第一分支进行光谱富集处理，得到光谱-语义上下文特征；对所述第二分支进行空间保持处理，得到空间定位特征，具体包括：

19、采用两个堆叠的3×3卷积后接1×1投影对所述第一分支进行处理，得到光谱-语义上下文特征。

20、采用1×1卷积对所述第二分支进行通道映射，得到空间定位特征。

21、可选地，基于所述光谱-语义上下文特征生成通道注意力权重；基于所述空间定位特征生成空间注意力图，具体包括：

22、对所述光谱-语义上下文特征采用3×3深度卷积进行处理，经全局平均池化聚合各通道的空间响应，经sigmoid激活得到通道注意力权重。

23、对所述空间定位特征采用1×1卷积、批归一化和sigmoid激活得到空间注意力图。

24、可选地，将所述融合输出输入多路径rwkv块进行长距离光谱-空间依赖建模，得到最终输出，具体包括：

25、采用多路径扫描集合将所述融合输出变换为若干条有序一维第一序列。

26、对各第一序列独立进行空间混合处理，通过wkv算子进行线性复杂度全局序列聚合，得到若干第一路径输出。

27、将各第一路径输出经逆扫描恢复至二维空间布局后进行聚合，得到第一路径融合空间特征图。

28、将所述第一路径融合空间特征图展平为令牌序列后进行通道混合处理，得到第一通道增强特征。

29、采用多路径扫描集合将所述融合输出对应的转置视图变换为若干条有序一维第二序列。

30、对各第二序列独立进行空间混合处理，通过wkv算子进行线性复杂度全局序列聚合，得到若干第二路径输出。

31、将各第二路径输出经逆扫描恢复至二维空间布局后进行聚合，得到第二路径融合空间特征图。

32、将所述第二路径融合空间特征图展平为令牌序列后进行通道混合处理，得到第二通道增强特征。

33、将所述第一通道增强特征和所述第二通道增强特征进行空间转置相加，得到最终输出。

34、可选地，所述多路径扫描集合包括：从左到右、从右到左、从上到下和从下到上四种令牌排列方向。

35、可选地，所述空间混合处理包括：应用层归一化后通过q-shift机制进行局部混合，经线性投影得到空间混合后的接收表示、空间混合后的键表示和空间混合后的值表示；将所述空间混合后的键表示和空间混合后的值表示输入wkv算子进行全局序列聚合；以所述空间混合后的接收表示作为门控调制聚合后的上下文表示。

36、可选地，所述通道混合处理包括：应用层归一化和q-shift后经线性投影得到通道混合后的接收表示和通道混合后的键表示；对所述通道混合后的键表示进行squared relu激活后投影回嵌入维度，由所述通道混合后的接收表示进行门控调制，生成通道增强特征。

37、第二方面，本技术提供了一种交叉引导多路径rwkv的高光谱图像分类系统，所述系统用于实现上述所述的交叉引导多路径rwkv的高光谱图像分类方法，所述系统包括：

38、高光谱图像立方体块获取模块，用于获取高光谱图像立方体块。

39、空间-光谱特征提取器，用于对所述高光谱图像立方体块进行浅层光谱-空间特征提取，得到嵌入表示。

40、交叉引导互补融合模块，用于对所述嵌入表示进行通道分裂、特征变换、互补交互和特征融合，得到融合输出。

41、多路径rwkv块，用于对所述融合输出进行长距离光谱-空间依赖建模，得到最终输出。

42、全局平均池化模块，用于对所述最终输出进行全局平均池化，得到特征向量。

43、分类头，用于基于所述特征向量输出分类结果。

44、根据本技术提供的具体实施例，本技术具有了以下技术效果：

45、本技术提供了一种交叉引导多路径rwkv的高光谱图像分类方法及系统，通过获取高光谱图像立方体块，解决了高光谱原始二维图像难以同时保留光谱维度、空间维度完整关联信息的问题，实现了原始数据由二维图像向包含空间邻域信息与全部波段信息的立方体块结构化输入形式的转换，为后续同步开展光谱-空间联合特征提取提供规整有效的基础输入；通过对所述高光谱图像立方体块进行浅层光谱-空间特征提取，得到嵌入表示，解决了直接使用深层网络建模时原始高维光谱噪声干扰严重、浅层局部光谱空间细节特征容易丢失的问题，实现了原始立方体块低维稠密嵌入表示的生成，在保留基础光谱响应特征与局部邻域空间特征的前提下降低原始高维数据冗余，减轻后续模块的计算负担；通过对所述嵌入表示进行通道分裂、特征变换、互补交互和特征融合，得到融合输出，解决了单一路径特征提取模式下光谱特征、空间特征相互独立、信息互补性无法充分挖掘，单一变换方式容易产生特征偏置的问题，实现了通道维度特征拆分后多分支差异化特征变换、跨分支互补信息交互以及多路径特征的有效融合，增强光谱特征与空间特征之间的关联性，扩充有效特征表征空间；通过将所述融合输出输入多路径rwkv块进行长距离光谱-空间依赖建模，得到最终输出，解决了传统卷积网络感受野受限难以捕获远距离像素之间长距离光谱-空间依赖关系、长序列波段建模效率低下的问题，实现了基于rwkv架构对全局范围内光谱波段依赖、远距离空间位置依赖的高效建模；通过对所述最终输出进行全局平均池化，得到特征向量，解决了输出特征图维度较高、空间位置冗余信息较多、无法直接适配分类器输入格式的问题，实现了空间维度信息压缩，生成具备全局语义的一维特征向量，保留整体特征信息同时减少后续分类运算参数量；最后基于所述特征向量输出分类结果，解决了高光谱地物复杂、特征耦合严重造成分类识别难度大的问题，实现了基于前面多阶段优化特征完成地物类别的精准输出。本技术采用浅层预提取-多路径交叉互补-rwkv长距离依赖建模的整体架构，依次从基础数据组织、浅层特征嵌入、多分支特征交互融合、全局光谱空间长距离关联建模、特征降维、最终地物判别多个环节针对性克服传统高光谱分类方法局部特征挖掘不充分、光谱-空间信息割裂、长距离依赖建模成本高的缺陷，可以在较低计算开销条件下充分融合浅层局部细节特征与全局长范围依赖特征，有效抑制高光谱图像噪声、提升地物分类准确率与模型整体泛化性能。