Mamba驱动的跨域少样本多模态遥感影像分类系统及方法

摘要: 本发明涉及遥感影像智能解译与多模态特征学习,具体为mamba驱动的跨域少样本多模态遥感影像分类系统及方法。背景技术:1、随着遥感传感技术的发展,高光谱、激光雷达...
Mamba驱动的跨域少样本多模态遥感影像分类系统及方法

本发明涉及遥感影像智能解译与多模态特征学习,具体为mamba驱动的跨域少样本多模态遥感影像分类系统及方法。

背景技术:

1、随着遥感传感技术的发展,高光谱、激光雷达、合成孔径雷达等多源遥感数据可从光谱、高程、散射等多个维度刻画地物特性,多模态遥感影像分类已成为地物解译的核心技术之一。现有监督式多模态分类方法依赖大量像素级标注样本,而遥感影像标注需专业领域知识,耗时费力,在少样本场景下分类性能显著下降。同时,现有方法普遍假设训练域与测试域数据分布一致,但实际应用中不同地理区域、成像条件下的数据分布存在明显偏移,导致模型跨域泛化能力不足。

2、针对少样本问题,小样本学习、对比学习等范式已被引入遥感分类领域,但多数研究面向单模态高光谱数据,未能利用多模态数据的互补信息。现有多模态跨域少样本分类方法多采用静态特征拼接或注意力融合方式,忽略模态内部特征的动态演化过程,跨模态信息交互不充分,在噪声与分布偏移场景下易出现性能退化。此外,现有方法的优化目标较为单一,难以同时兼顾特征判别性、视图一致性与域不变性,限制了跨域少样本场景下的分类精度与鲁棒性。

技术实现思路

1、本发明的目的在于提供mamba驱动的跨域少样本多模态遥感影像分类系统及方法,以解决现有技术中存在的问题。

2、为实现上述目的,本发明提供如下技术方案:mamba驱动的跨域少样本多模态遥感影像分类方法,包括以下步骤:

3、步骤1:构建跨域情景任务并生成多视图样本;采用c-wayk-shot情景式训练策略分别构建源域任务与目标域任务,每个任务包含支持集与查询集,每个样本由高光谱数据与辅助模态数据组成;对每个多模态样本生成四种学习视图,分别为高光谱单模态视图、辅助模态单模态视图、完整多模态视图以及模态感知增强视图;

4、步骤2:通过编码网络提取多视图特征并执行跨状态融合;采用模态特定编码器分别对各单模态视图进行特征提取,得到模态特定特征嵌入;将多模态视图对应的两路模态特定特征嵌入输入跨状态融合模块,在潜在状态空间中完成模态内动态建模与跨模态门控交互,输出融合多模态特征表示;

5、步骤3:采用复合损失函数进行端到端联合优化;所述复合损失函数由分类损失、多视图对比损失以及域对齐损失加权组成,从类别判别性、视图一致性与域间一致性三个层面对编码网络进行联合约束;

6、步骤4:基于原型匹配执行跨域少样本分类推理;利用训练完成的编码网络提取目标域支持集的多模态特征,计算各类别原型向量;对目标域查询样本提取特征后,通过计算与各类别原型的距离得到分类结果。

7、进一步的,步骤1中所述四种学习视图的生成方式具体为:

8、对于输入多模态样本对,其中为高光谱样本,为辅助模态样本:

9、第一视图为高光谱单模态视图:;

10、第二视图为辅助模态单模态视图:;

11、第三视图为完整多模态视图:;

12、第四视图为模态感知增强视图:,其中为高光谱数据增强算子,为辅助模态数据增强算子;对两种模态同步施加空间变换以保持空间对应关系,并分别对不同模态施加符合其成像特性的数据扰动。

13、进一步的,步骤2中所述跨状态融合模块的处理过程具体包括:

14、s3.1:动态生成状态空间参数;给定高光谱特征嵌入hh与辅助模态特征嵌入,分别为每个模态计算自适应步长、输入投影系数与输出投影系数:

15、

16、其中为模态索引、、为可学习投影矩阵;

17、s3.2:执行状态空间转移更新;计算离散化状态转移矩阵与输入矩阵,并更新隐藏状态:

18、

19、

20、其中为可学习的状态转移矩阵,为对应模态的隐藏状态;

21、s3.3:计算跨模态门控交互权重;对各模态隐藏状态沿特征维度进行平均池化得到全局描述向量:

22、

23、基于两路全局描述向量生成双向门控权重:

24、

25、其中为特征拼接操作,为sigmoid激活函数,、为可学习投影矩阵;

26、s3.4:执行双向状态融合与输出映射;基于门控权重完成跨模态状态信息注入:

27、

28、其中表示逐元素乘积;将融合后的隐藏状态映射回特征空间:

29、

30、最终经线性投影与层归一化得到融合多模态表示:

31、

32、其中为线性投影矩阵,为层归一化操作。

33、进一步的,步骤3中所述多视图对比损失的计算方式为:

34、将完整多模态视图对应的特征嵌入作为原型表示,将所有特征嵌入归一化至单位超球面;任意视图特征与原型特征的余弦相似度为:

35、

36、对于包含个样本的小批量数据,单视图对比损失为:

37、

38、其中为温度系数,为第i个视图的第k个样本特征,为第k个样本对应的原型特征;

39、多视图对比损失为所有视图对比损失的平均值:

40、

41、其中为视图总数。

42、进一步的,步骤3中所述域对齐损失基于最优传输理论计算,具体为:

43、取源域多模态特征嵌入集合与目标域多模态特征嵌入集合,定义样本间传输代价为:

44、

45、求解带熵正则项的最优传输问题得到最优传输矩阵:

46、

47、其中为运输代价,为熵正则项,为平滑系数;

48、域对齐损失为最优传输计划对应的总传输代价:

49、。

50、进一步的,步骤3中所述分类损失采用基于原型的交叉熵损失,具体为:

51、基于支持集多模态特征计算第类的类别原型:

52、

53、其中为每类支持样本数,为样本类别标签;

54、查询样本对应第类的分类得分为该样本与类别原型的负欧氏距离:

55、

56、分类损失采用交叉熵形式:

57、

58、其中为查询样本数量,为类别总数。

59、一种mamba驱动的跨域少样本多模态遥感影像分类系统,包括数据构建与多视图生成模块、多模态编码网络模块、复合损失优化模块以及分类推理模块;

60、所述数据构建与多视图生成模块采用c-wayk-shot情景式训练策略构建源域与目标域的情景任务,每个任务包含支持集与查询集,并对每个多模态样本生成高光谱单模态视图、辅助模态单模态视图、完整多模态视图以及模态感知增强视图共四种学习视图;

61、所述多模态编码网络模块包含两路模态特定编码器与一个跨状态融合模块;模态特定编码器分别对高光谱视图与辅助模态视图进行独立特征提取,输出对应模态的特征嵌入;跨状态融合模块在潜在状态空间中建模模态内动态演化与跨模态门控交互,输出融合后的多模态特征表示;

62、所述复合损失优化模块以分类损失、多视图对比损失与域对齐损失的加权组合作为优化目标,从类别判别性、视图一致性与域间一致性三个层面对编码网络进行端到端联合训练;

63、所述分类推理模块基于训练完成的编码网络计算目标域各类别原型向量,通过度量查询样本特征与类别原型的距离输出分类结果。

64、进一步的,所述多模态编码网络模块包括高光谱编码单元、辅助模态编码单元与跨状态融合单元;

65、高光谱编码单元采用三维卷积结构联合建模空间-光谱相关性,经自适应平均池化与投影层输出高光谱特征嵌入;

66、辅助模态编码单元采用二维卷积结构提取空间结构特征,经自适应平均池化与投影层输出辅助模态特征嵌入;

67、跨状态融合单元依次执行状态参数动态生成、隐藏状态转移更新、跨模态门控权重计算、双向状态融合以及输出投影映射,在潜在状态空间完成多模态信息自适应融合。

68、进一步的,所述复合损失优化模块包括分类损失计算单元、多视图对比损失计算单元与域对齐损失计算单元;

69、分类损失计算单元基于支持集特征构建类别原型,采用交叉熵损失约束查询样本的分类精度;

70、多视图对比损失计算单元以完整多模态特征为原型,通过对比学习约束各视图特征的语义一致性;

71、域对齐损失计算单元基于最优传输理论计算源域与目标域特征分布的传输代价,缩小域间分布差异。

72、进一步的,所述分类推理模块包括原型构建单元与相似度匹配单元;

73、原型构建单元利用编码网络提取目标域支持集的多模态特征,按类别取均值得到对应类别的原型向量;

74、相似度匹配单元计算查询样本特征与各分类原型的欧氏距离,将距离最小的类别作为该样本的分类结果输出。

75、与现有技术相比,本发明的有益效果是:

76、本发明将状态空间建模与多视图对比学习相结合,构建了统一的跨域少样本多模态分类框架,可同时应对标注样本稀缺与跨域分布偏移两类问题,提升模型在复杂遥感场景下的泛化能力。

77、本发明提出的跨状态融合模块在潜在状态空间中分别建模各模态的动态演化过程,通过门控机制实现双向跨模态信息交互,可自适应融合异构模态的互补信息,增强特征表示的鲁棒性与判别能力。

78、本发明设计的复合损失函数融合分类监督、多视图对比约束与最优传输域对齐,从类别判别性、视图一致性与域间一致性三个维度联合优化特征空间,使模型同时学习可区分的类别特征与可迁移的域不变表示。

79、本发明采用多视图构建策略,通过单模态视图、完整视图与增强视图的协同学习,充分挖掘模态内与模态间的语义关联,在有限监督条件下有效提升特征表示质量,适用于多种多模态遥感组合场景。