基于多分支分组Mamba网络的图像分类方法及系统

本技术属于遥感图像处理与深度学习，具体涉及一种基于多分支分组mamba网络的图像分类方法及系统。

背景技术：

1、高光谱数据固有的高维度、标注样本稀缺、强噪声和波段间强相关性等特性，使得分类任务极具挑战性。卷积神经网络（cnn）受限于固定局部感受野，难以建模长距离依赖；transformer通过自注意力实现全局建模，但o(n²)的计算复杂度在高维高光谱数据上难以承受；基于选择性结构化状态空间模型的mamba架构以线性复杂度实现全局序列建模，已成为高光谱分类领域的研究热点。然而，现有mamba方法普遍存在光谱冗余处理不足和异构特征融合较弱的问题。

2、此外，地表覆盖物质往往只能在特定的表示域中被有效区分：光谱相似的类别可能通过空间纹理区分，空间相似的类别通过光谱特征区分，而在空间和光谱两个域中都容易混淆的类别，则可能需要通过频域的周期性模式进行判别。现有mamba方法仍局限于空间域和光谱域，忽略了频域中的周期性全局判别能力。因此，有效的分类需要同时从空间、光谱和频率三个互补域中提取特征。

技术实现思路

1、基于上述问题，本发明提供了一种基于多分支分组mamba网络的图像分类方法及系统，旨在通过协同空间、光谱和频率三个正交互补表示域的判别信息，在保持轻量级参数量的同时实现高精度的高光谱地物分类。

2、一种基于多分支分组mamba网络的图像分类方法，包括以下步骤：

3、s1：数据准备与预处理：读取高光谱图像，以每个标注像素为中心提取固定大小的邻域三维图块作为输入样本，进行标准化处理后划分训练集和测试集；

4、s2：初始特征嵌入：通过卷积层将输入图块映射至潜在特征空间，实现跨光谱通道的初步信息聚合；

5、s3：多域并行特征提取：将嵌入特征同时送入三个并行分支：空间分组mamba提取器pgm负责捕获空间上下文特征，双向光谱mamba提取器bcm负责沿光谱维度建模长距离依赖关系，基于傅里叶的特征提取器ffe负责从频域提取全局纹理和周期性信息，三个分支分别输出空间特征图、光谱特征图和频域特征图；

6、s4：自适应多域融合：将三个域的特征图求和后送入轻量级权重生成网络，为每个像素生成三个域的自适应融合权重，经阈值化过滤低贡献域后进行加权求和，得到融合特征；

7、s5：分类预测：将融合特征通过全连接层映射至类别空间，取最大概率对应的类别作为该像素的分类标签；

8、s6：采用交叉熵损失函数计算预测值与真实标签之间的损失，通过adamw优化器反向传播更新全部网络参数，迭代训练直至收敛。

9、优选的，在空间分组mamba提取器pgm中设计相邻分组选择性状态空间模型agsm：沿光谱维度将嵌入特征连续划分为多个非重叠组，每组包含若干连续光谱通道，保持局部光谱相关性；每组特征独立送入一个单向选择性状态空间模型（s模块)，并为每组分配不同的空间扫描方向，各组并行执行状态空间演化，最后将各组输出重塑后沿特征维度拼接，得到空间特征图。

10、优选的，相邻分组选择性状态空间模型agsm通过实施序列感知的参数化机制，使投影矩阵能够根据输入序列内容进行动态调整，从而实现了序列状态之间的交互式学习，其参数化过程表述为：

11、；

12、；

13、其中，参数和均由输入直接映射生成; b表示批量大小，l表示序列长度，d表示每个序列元素的特征维度；n表示状态空间的隐状态维度；分别表示输出维度为d和n的线性映射函数; 表示输入相关的离散化步长参数，用于调节单向选择性状态空间模型离散化过程中的时间尺度，从而使状态更新过程能够根据输入内容自适应变化。

14、优选的，相邻分组选择性状态空间模型agsm包括：

15、相邻分组：

16、给定嵌入特征立方体，沿光谱维度d将其连续划分为g个非重叠组，划分方式为：

17、；

18、其中为特征立方体的第个通道,每组包含个连续光谱通道，保留了相邻波段间的局部光谱一致性；

19、单向选择性状态空间模型演化:

20、各组序列分别送入独立的单向选择性状态空间模型，各组使用独立的可训练参数集合；以第组为例，其状态空间演化过程为：

21、；

22、；

23、其中、、和为第组专用的独立可训练参数，为t时刻的隐式潜在状态；上述状态空间演化过程结合第k组的独立参数和输入相关的选择机制，使各特征组能够分别根据自身序列内容进行自适应状态更新。

24、特征重构：

25、其余g-1个特征组并行执行相同的展平-扫描-演化过程，每组使用独立单向选择性状态空间模型参数并分配不同扫描方向；完成后，各组输出序列分别重塑回原始二维空间结构，然后沿特征维度拼接，重构最终的空间特征图。

26、优选的，双向光谱mamba提取器bcm专注于沿光谱维度建模全局语义依赖关系，包括：

27、序列构造：将嵌入特征的空间维度展平，得到特征矩阵，将该矩阵转置为，其中序列长度为d，每个序列元素的特征维度为；

28、双向扫描：正向扫描，即从第一波段向第d波段顺序扫描；反向扫描，即将序列反转后从第d波段向第一波段扫描;两个序列分别送入两个独立单向选择性状态空间模型；

29、正向扫描状态空间演化过程为：

30、；

31、；

32、反向扫描通过独立的参数集合(,,,)处理得到；

33、双向信息融合:将反向扫描的输出序列翻转为原始波段顺序，与正向扫描输出逐元素相加：

34、；

35、融合后的序列经转置和重塑操作恢复为原始的空间立方体结构，生成最终的光谱特征图。

36、优选的，基于傅里叶的特征提取器ffe包含两个并行子分支;空间频率学习分支对输入特征沿空间维度执行傅里叶变换，采用低通滤波保留主要频率分量，在频域中通过可学习的复数权重进行频率调制后，经逆傅里叶变换转换回空间域;光谱频率学习分支沿光谱维度执行傅里叶变换，保留所有频率分量并进行复数域调制后还原;两分支的输出通过可学习权重进行自适应融合，得到频域特征图;基于傅里叶的特征提取器ffe从频域提取空间纹理周期性和光谱谐波模式，提供与空间-光谱域正交互补的全局判别视角。

37、优选的，基于傅里叶的特征提取器ffe包含两个并行子分支，分别沿空间维度和光谱维度学习频率表示;对于来自初始嵌入层的特征，首先将其展平为，，并施加层归一化，随后，归一化后的特征被送入两个分支；

38、空间频率学习分支给定输入特征：

39、首先沿空间维度n应用快速傅里叶变换，将特征映射到空间频域，空间分支采用低通滤波策略，仅选择m个低频模式进行后续处理，公式化表达为：

40、；

41、随后，通过将这些选定的频率模式与可学习的复数权重r进行复数乘法，完成频率调制：

42、；

43、其中为可学习的复数权重矩阵，表示hadamard积；调制后的特征通过补零恢复到原始频率维度，再经逆fft转换回空间域，得到空间滤波后的特征；

44、光谱频率学习分支：对输入特征沿光谱维度d执行fft：

45、；

46、与空间分支不同，该分支保留所有频率分量以捕获完整的光谱谐波信息;通过复数乘法与可学习权重进行频率调制：

47、；

48、其中为可学习的复数权重矩阵,调制后经逆fft转换回空间域;

49、双分支自适应融合:两分支输出通过两个可学习标量权重和进行自适应融合，产生最终的频域特征输出。

50、优选的，首先将空间、光谱和频率三个域的特征图求和得到聚合特征，送入一个轻量级权重生成网络，为每个像素逐位置地输出三个域的融合权重,引入重归一化机制，使低贡献域被抑制，高贡献域被增强，最终通过加权求和得到融合特征，具体方法如下：

51、首先通过对三个分支的输出特征图进行求和来聚合全局上下文信息：

52、；

53、然后，将该聚合特征送入一个轻量级权重生成网络，将其映射为一个三通道的权重向量：

54、；

55、的三个通道分别对应空间域权重、光谱域权重和频率域权重;引重归一化机制，利用归一化后的权重、、，对相应的特征图执行加权求和，得到最终的融合特征:

56、；

57、其中，表示hadamard积。

58、优选的，包括数据准备与预处理模块、初始特征嵌入模块、多域并行特征提取模块、自适应多域融合模块和分类预测模块；

59、数据准备与预处理模块：读取高光谱图像，以每个标注像素为中心提取固定大小的邻域三维图块作为输入样本，进行标准化处理后划分训练集和测试集；

60、初始特征嵌入模块：通过卷积层将输入图块映射至潜在特征空间，实现跨光谱通道的初步信息聚合；

61、多域并行特征提取模块包括空间分组mamba提取器pgm模块、双向光谱mamba提取器bcm模块和基于傅里叶的特征提取器ffe模块；

62、空间分组mamba提取器pgm模块通过相邻分组和单向选择性状态空间模型扫描提取空间特征；双向光谱mamba提取器bcm模块通过双向光谱单向选择性状态空间模型扫描提取光谱特征；基于傅里叶的特征提取器ffe模块通过空间和光谱两个维度的傅里叶变换提取频域特征；三个分支完全并行执行，各自保持其表示域的独立性；

63、自适应多域融合模块：将空间、光谱和频率三个域的特征图求和得到聚合特征，送入一个轻量级权重生成网络，为每个像素逐位置地输出三个域的融合权重；引入归一化机制，使低贡献域被抑制，高贡献域被增强，最终通过加权求和得到融合特征；

64、分类预测模块：将融合特征通过全连接层映射至类别空间，取最大概率对应的类别作为该像素的分类标签。

65、优选的，空间分组mamba提取器pgm：设计相邻分组选择性状态空间模型：沿光谱维度将嵌入特征连续划分为多个非重叠组，每组包含若干连续光谱通道，保持局部光谱相关性，每组特征独立送入一个单向选择性状态空间模型，并为每组分配不同的空间扫描方向，各组并行执行状态空间演化，将各组输出重塑后沿特征维度拼接，得到空间特征图。

66、与现有技术相比，本技术有益效果如下：

67、本发明通过引入强化学习与自适应遗传算法的协同优化机制，在动态拆解调度场景中取得了显著效果。首先，基于强化学习的全局调度策略能够根据工位负载、任务特性和子任务依赖关系实现更加准确的任务分配，使动态环境下的决策稳定性明显提升。

68、其次，通过自适应遗传算法对目标工位的任务序列进行局部优化，有效降低了高优先级任务被阻塞的情况，任务处理顺序更加合理。此外，本发明在状态构建中引入离散化与子任务依赖约束，使调度模型能够准确识别拆解顺序要求，避免调度冲突，任务平均等待时间降低约15%。综合来看，本发明显著提升了拆解系统的运行效率与资源利用率，具有良好的工程应用价值。