基于互补算子排序的自监督高光谱图像分类方法及系统

摘要: 本发明涉及高光谱图像处理,更具体地,涉及一种基于互补算子排序的自监督高光谱图像分类方法及系统。背景技术:1、现有高光谱图像分类方法主要分为三类:2、基于卷积神经...
基于互补算子排序的自监督高光谱图像分类方法及系统

本发明涉及高光谱图像处理,更具体地,涉及一种基于互补算子排序的自监督高光谱图像分类方法及系统。

背景技术:

1、现有高光谱图像分类方法主要分为三类:

2、基于卷积神经网络的方法利用局部卷积核提取光谱-空间特征,但受限于固定形状的卷积核,难以灵活适应不同形态地物目标,且串行操作的固定处理顺序导致某一域的特征在另一域变换中被不可逆地改变。

3、基于视觉变换器的方法利用多头自注意力机制建模全局依赖关系,但二次计算复杂度带来巨大开销,且同样采用固定的光谱-空间处理顺序,未能规避顺序固定带来的特征偏置问题。

4、基于状态空间模型的方法凭借线性计算复杂度高效捕捉序列长程依赖,但普遍采用单一固定的处理顺序,即先光谱后空间或先空间后光谱。由于跨通道光谱混合与空间上下文聚合两种操作在数学上不可交换,后执行的算子基于已被前序算子变换过的特征进行操作,原始的另一域信息被结构性压制,形成“表示不完整性”,在标签极少时类间可分性显著下降。现有状态空间模型的方法未能意识到处理顺序反转本身即可提供互补的表示偏置。

5、此外,为减少对标注数据的依赖,自监督学习被引入高光谱分类领域,通过对无标签数据施加增强构造多视图进行预训练。但高光谱光谱吸收特征具有物理诊断意义,增强的强度和类型受到严格限制,导致仅依赖数据级增强产生的视图多样性有限,无法覆盖单一固定处理顺序架构所固有的结构盲点。

6、综上所述,现有方法普遍存在因固定处理顺序导致的表示不完整性问题,且缺乏从架构层面提供互补视图多样性的有效手段。

技术实现思路

1、本发明的目的在于克服上述现有技术的不足,提供一种基于互补算子排序的自监督高光谱图像分类方法及系统。

2、为了实现上述目的,本发明采用如下技术方案:

3、一种基于互补算子排序的自监督高光谱图像分类方法,包括如下步骤:

4、步骤s1,构建非对称双分支编码器,第一分支和第二分支由相同构建块以相反的光谱混合-空间聚合处理顺序交替堆叠而成,且第一分支和第二分支的参数相互独立;

5、步骤s2,对无标签高光谱图像像素进行自监督预训练,通过奇偶波段分割和增强生成视图对,将奇偶视图分别输入两分支并基于冗余减少损失优化编码器参数;

6、步骤s3,将待分类高光谱图像像素块沿光谱维度奇偶拆分后分别输入两分支,提取第一分支的输出特征和第二分支的输出特征;

7、步骤s4,融合第一分支的输出特征和第二分支的输出特征,利用分类器分类,输出地物类别标签。

8、进一步的,在步骤s1中,每个分支的构建块的总数量为大于等于2的偶数;第一分支按照光谱混合块与空间聚合块交替排列,以光谱混合块起始并以空间聚合块结束;第二分支按照空间聚合块与光谱混合块交替排列,以空间聚合块起始并以光谱混合块结束。

9、进一步的,步骤s2包括如下步骤:

10、步骤s21,将高光谱图像像素沿光谱维度按奇偶索引拆分为奇数波段视图和偶数波段视图;

11、步骤s22,对奇数波段视图和偶数波段视图分别施加高光谱专用数据增强,各生成两个增强视图;

12、步骤s23,将奇数波段视图的两个增强视图输入第一分支,经投影后基于冗余减少目标函数计算第一损失;将偶数波段视图的两个增强视图输入第二分支,经投影后基于相同的冗余减少目标函数计算第二损失;

13、步骤s24,将第一损失和第二损失相加,用于更新编码器的参数。

14、进一步的,光谱混合处理采用两层线性变换的前馈网络实现,前馈网络将输入特征投影至原维度四倍的空间,经激活函数后再投影回原维度。

15、进一步的,空间聚合处理采用基于指数移动平均的状态空间模型,其隐藏状态更新公式为:

16、

17、式中,为时刻的隐藏状态;为时刻的隐藏状态;为时刻的输入标记;为可学习的衰减参数;为时刻索引。

18、进一步的,空间聚合处理沿水平前向、水平后向、垂直向下和垂直向上四个方向分别对空间标记序列进行扫描,各方向具有独立的可学习衰减参数,四个方向的扫描输出通过可学习权重经softmax归一化后进行加权融合。

19、进一步的,步骤s3包括:将待分类高光谱图像像素块进行标准化处理,沿光谱维度按奇偶索引拆分为奇数波段子块和偶数波段子块,分别对两子块独立进行主成分分析降维至相同维度,将降维得到的奇数波段降维特征输入第一分支,将降维得到的偶数波段降维特征输入第二分支。

20、进一步的,在步骤s4中,对第一分支和第二分支输出的空间标记序列分别施加高斯空间权重后进行加权平均池化,将池化后的两个向量拼接,再经层归一化、线性投影和激活函数处理得到融合特征。

21、进一步的,高斯空间权重的计算公式为:

22、

23、式中,为空间位置处标记的高斯空间权重,和分别为空间位置的行索引和列索引;为空间位置处的标记到补丁中心的欧氏距离;为高斯标准差,,为补丁宽度;表示自然常数e为底的指数函数。

24、本发明还提供了一种基于互补算子排序的自监督高光谱图像分类系统,该系统包括:

25、视图生成模块,用于将高光谱图像像素沿光谱维度按照奇偶索引拆分为奇数波段视图和偶数波段视图,并对各视图施加高光谱专用数据增强生成对应的两个增强视图;

26、非对称双分支编码器,包含第一分支和第二分支,第一分支按照先执行光谱混合处理后执行空间聚合处理的顺序交替堆叠多个构建块,第二分支按照先执行空间聚合处理后执行光谱混合处理的顺序交替堆叠相同数量的构建块,第一分支与第二分支使用相同构建块但参数相互独立;编码器的参数通过自监督预训练获得,自监督预训练基于视图生成模块输出的各视图的两个增强视图并采用冗余减少目标函数进行优化;

27、特征融合模块,用于将待分类高光谱图像像素块经编码器提取的第一分支输出特征和第二分支输出特征进行融合;

28、分类模块,用于基于融合特征产生分类结果。

29、本发明的有益效果是:

30、1.本发明通过构建算子顺序严格相反的非对称双分支架构,利用光谱混合与空间聚合两种操作的不可交换性,使两个分支分别产生光谱偏置和空间偏置的互补特征表示,每个分支所压制的信息恰好由另一分支予以保留,融合后实现光谱-空间信息的完整表达。

31、2.本发明通过算子顺序反转从架构层面提供了正交的表示多样性来源,与奇偶波段分割和专用增强形成互补,两者相互独立且高度协同,使得模型在标签极少时仍能学习到强判别力的特征表示。

1.一种基于互补算子排序的自监督高光谱图像分类方法,其特征在于,包括如下步骤:

2.根据权利要求1所述一种基于互补算子排序的自监督高光谱图像分类方法,其特征在于,在步骤s1中,每个分支中构建块的总数量为大于等于2的偶数;第一分支按照光谱混合块与空间聚合块交替排列,以光谱混合块起始并以空间聚合块结束;第二分支按照空间聚合块与光谱混合块交替排列,以空间聚合块起始并以光谱混合块结束。

3.根据权利要求1所述一种基于互补算子排序的自监督高光谱图像分类方法,其特征在于,步骤s2包括如下步骤:

4.根据权利要求1所述一种基于互补算子排序的自监督高光谱图像分类方法,其特征在于,光谱混合处理采用两层线性变换的前馈网络实现,前馈网络将输入特征投影至原维度四倍的空间,经激活函数后再投影回原维度。

5.根据权利要求1所述一种基于互补算子排序的自监督高光谱图像分类方法,其特征在于,空间聚合处理采用基于指数移动平均的状态空间模型,其隐藏状态更新公式为:

6.根据权利要求5所述一种基于互补算子排序的自监督高光谱图像分类方法,其特征在于,空间聚合处理沿水平前向、水平后向、垂直向下和垂直向上四个方向分别对空间标记序列进行扫描,各方向具有独立的可学习衰减参数,四个方向的扫描输出通过可学习权重经softmax归一化后进行加权融合。

7.根据权利要求1所述一种基于互补算子排序的自监督高光谱图像分类方法,其特征在于,步骤s3包括:将待分类高光谱图像像素块进行标准化处理,沿光谱维度按奇偶索引拆分为奇数波段子块和偶数波段子块,分别对两子块独立进行主成分分析降维至相同维度,将降维得到的奇数波段降维特征输入第一分支,将降维得到的偶数波段降维特征输入第二分支。

8.根据权利要求1所述一种基于互补算子排序的自监督高光谱图像分类方法,其特征在于,在步骤s4中,对第一分支和第二分支输出的空间标记序列分别施加高斯空间权重后进行加权平均池化,将池化后的两个向量拼接,再经层归一化、线性投影和激活函数处理得到融合特征。

9.根据权利要求8所述一种基于互补算子排序的自监督高光谱图像分类方法,其特征在于,高斯空间权重的计算公式为:

10.用于实现权利要求1所述方法的基于互补算子排序的自监督高光谱图像分类系统,其特征在于,该系统包括: