一种基于物理定向掩码与双视角增强的高光谱少样本分类方法

摘要: 本发明属于高光谱遥感图像处理、深度学习和计算机视觉,具体涉及一种利用波段变异系数构建高变异波段定向掩码、在同一掩码区域实施光谱重构并结合空间-光谱双视角扭曲一致...
一种基于物理定向掩码与双视角增强的高光谱少样本分类方法

本发明属于高光谱遥感图像处理、深度学习和计算机视觉,具体涉及一种利用波段变异系数构建高变异波段定向掩码、在同一掩码区域实施光谱重构并结合空间-光谱双视角扭曲一致性增强的高光谱少样本分类方法。

背景技术:

1、高光谱图像同时包含空间结构信息和连续光谱信息,可用于农作物识别、环境监测、地物调查及灾害普查等任务。由于高光谱图像的像元标注通常依赖专业人员进行现场调查和类别核验,可获得的有标签训练样本数量有限,直接采用高容量分类模型容易发生过拟合。

2、为缓解少样本条件下的分类困难,现有技术通常利用无标签数据开展自监督预训练,并通过掩码重构任务学习空间或光谱先验。然而,现有光谱掩码预训练多随机选择被遮蔽波段,没有依据不同波段在当前批次内的相对离散程度确定重构目标,容易遮蔽反射率变化较小的冗余波段,而将具有较强判别作用的波段直接暴露给编码器。

3、现有技术中的波段选择通常用于保留高信息波段并舍弃低信息波段;若将该思路直接用于掩码预训练,仍可能降低重构任务难度。如何反向将具有较高变异程度的波段设为被遮蔽和被重构目标,使编码器必须利用其余波段推断所述高变异波段,是需要解决的技术问题。

4、此外,若在全部光谱波段上计算重构误差,未被遮蔽波段的误差会分散优化目标,使模型对被遮蔽波段的恢复关注不足;在目标域少样本分类阶段,若空间增强和光谱增强分别处理而缺少预测一致性约束,模型对空间形变及光谱辐射扰动的适应能力也会受到影响。

5、因此,需要一种以变异系数为依据反向遮蔽高变异波段、使遮蔽波段集合与重构损失计算波段集合保持一致,并在少量标签条件下联合约束空间增强视图和光谱增强视图的高光谱少样本分类方法。

技术实现思路

1、有鉴于此,本发明要解决的技术问题是提供一种基于物理定向掩码与双视角增强的高光谱少样本分类方法,以提高光谱自监督预训练任务的针对性,减少未遮蔽波段误差对优化目标的干扰,并增强少样本分类模型对空间形变和光谱扰动的适应能力。

2、本发明解决上述技术问题所采用的技术方案如下:

3、一种基于物理定向掩码与双视角增强的高光谱少样本分类方法,包括以下步骤:

4、步骤(1)获取用于空间特征预训练的源域图像数据、用于光谱特征预训练的无标签源域高光谱数据以及少量有标签的目标域高光谱图像,对所述数据进行校正、归一化和空间-光谱图像块构建;

5、步骤(2)利用所述源域图像数据训练空间特征提取分支;在光谱特征预训练阶段,沿批次轴计算各光谱波段的均值、标准差及变异系数,并按照变异系数降序选取高变异系数波段;

6、步骤(3)根据所述高变异系数波段构建批次共享的确定性定向掩码,对所述高变异系数波段进行遮蔽,将掩码光谱输入光谱编码器和重构解码器,并仅在同一被遮蔽波段集合上计算重构损失;

7、步骤(4)在目标域少样本分类阶段,加载经预训练的空间特征提取分支和光谱编码器,通过空谱适配器对空间特征和光谱特征进行对齐融合,对同一目标域样本分别实施空间视角增强和光谱视角增强;

8、步骤(5)利用少量有标签支持样本构建类别原型或其他度量空间,采用分类损失与双视角一致性损失联合优化分类网络,并对目标域高光谱图像进行逐像元分类。

9、进一步地,所述变异系数由当前批次内各波段的标准差与均值绝对值之比确定;根据预设掩码率从变异系数降序序列中选取预设数量的高变异系数波段,并形成同一批次样本共享的布尔型定向掩码矩阵。

10、进一步地,被所述定向掩码矩阵遮蔽的波段集合与所述重构损失的计算波段集合相同,未被遮蔽波段不参与所述重构损失的计算;由此使光谱编码器利用未被遮蔽波段推断被遮蔽的高变异系数波段。

11、进一步地,所述空间视角增强包括裁剪、旋转、镜像或平移中的至少一种,所述光谱视角增强包括高斯噪声扰动、反射率尺度扰动、波段偏移或波段丢弃中的至少一种;所述双视角扭曲一致性损失包括预测分布一致性项、单样本预测熵项和批次类别分布均衡项。

12、进一步地,本发明还提供一种用于实施上述方法的高光谱少样本分类系统,以及存储或执行相应计算机程序的电子设备和计算机可读存储介质。

13、本发明与现有技术相比具有以下有益效果:

14、(1)不同于将高变异波段直接保留作为分类输入的常规波段选择方式,本发明反向将高变异系数波段作为遮蔽和重构目标,提高了光谱自监督任务的难度,使编码器学习未遮蔽波段与高变异波段之间的跨波段依赖关系。

15、(2)定向掩码所确定的遮蔽波段集合与重构损失计算波段集合一致,避免未遮蔽波段误差分散优化目标,并通过批次共享的确定性掩码提高预训练任务的一致性。

16、(3)通过空间增强视图、光谱增强视图、空谱特征融合和双视角扭曲一致性损失的联合优化,在约束两个视图预测分布一致的同时提高单样本预测确定性并抑制批次预测向少数类别坍缩,从而提高少量标签条件下分类结果对空间形变及光谱扰动的稳定性。

1.一种基于物理定向掩码与双视角增强的高光谱少样本分类方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,第b个光谱波段的变异系数为该光谱波段在当前批次内的标准差与该光谱波段在当前批次内的均值绝对值和正数稳定项之和的比值。

3.根据权利要求1所述的方法,其特征在于,设光谱波段总数为b、预设掩码率为r,按照变异系数降序选取k个高变异系数波段形成波段索引集合,其中k为rb向下取整所得的整数;所述定向掩码矩阵在所述波段索引集合对应位置取1,在其余位置取0。

4.根据权利要求1所述的方法,其特征在于,所述定向掩码矩阵采用并行矩阵运算施加于输入光谱向量,将所述高变异系数波段设置为零值、归一化基准值或可学习掩码标记;同一批次内的各光谱样本使用相同的所述定向掩码矩阵。

5.根据权利要求1所述的方法,其特征在于,所述光谱编码器包括通道映射层以及由一维卷积层和一维残差块构成的特征提取网络,所述通道映射层用于将不同数据源的光谱波段维度映射至统一特征维度;光谱特征预训练完成后保留所述光谱编码器参数并移除所述重构解码器。

6.根据权利要求1所述的方法,其特征在于,所述重构损失为所述被遮蔽波段集合上的预测光谱值与原始光谱值之间的均方误差,未被遮蔽波段不参与所述重构损失的计算。

7.根据权利要求1所述的方法,其特征在于,所述空间视角增强包括裁剪、旋转、镜像和空间平移中的至少一种;所述光谱视角增强包括高斯噪声扰动、反射率尺度扰动、波段偏移和波段丢弃中的至少一种。

8.根据权利要求1所述的方法,其特征在于,所述双视角扭曲一致性损失包括:用于约束所述空间增强视图与光谱增强视图预测分布趋于一致的分布一致性项、用于降低单样本预测熵的置信度项以及用于提高批次平均类别分布熵的类别均衡项;分类网络的总损失为分类损失与所述双视角扭曲一致性损失的加权和。

9.根据权利要求1所述的方法,其特征在于,针对每一地物类别,对属于该类别的支持样本融合特征求均值得到类别原型,并依据待分类像元融合特征与各类别原型之间的欧氏距离、余弦距离或可学习距离进行分类。

10.一种高光谱少样本分类系统,其特征在于,包括数据预处理模块、空间预训练模块、变异系数计算模块、定向掩码模块、掩码区域重构模块、空谱特征融合模块、双视角增强模块以及少样本分类模块,各模块被配置为执行权利要求1至9任一项所述的方法。

11.一种电子设备,包括存储器和处理器,其特征在于,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使所述处理器实施权利要求1至9任一项所述的方法。

12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实施权利要求1至9任一项所述的方法。