一种高光谱图像分类方法、装置、设备及存储介质
本发明涉及遥感图像处理,具体为一种高光谱图像分类方法、装置、设备及存储介质。
背景技术:
1、高光谱遥感图像包含丰富的光谱信息和空间结构信息,在地物识别、环境监测和精细分类等任务中具有重要应用价值。然而,由于其波段维度高、信息冗余强、类别间光谱相近且类内差异明显,如何实现多尺度空间—光谱特征的有效建模仍是关键问题。
2、现有技术中,基于卷积神经网络的方法侧重局部邻域特征提取,但对长程依赖关系的建模能力不足;基于transformer的方法虽具备较强的上下文建模能力,但计算复杂度较高,且在长序列建模中易出现注意力响应不稳定问题;基于状态空间模型的方法在长程依赖建模方面具有一定优势,但通常对多尺度特征进行耦合处理,缺乏针对不同尺度的独立建模机制,易引入跨尺度信息干扰。
3、此外,不同建模机制在特征表达方式上存在差异,简单的串联或并联组合难以实现有效协同,且现有多分支融合方法多采用直接拼接或加权方式,缺乏一致性约束,易导致融合特征表达不稳定。
4、因此,有必要提出一种能够实现多尺度空间—光谱特征统一表示、支持不同建模机制解耦建模并在融合过程中引入一致性约束的高光谱图像分类方法,以提升分类精度和稳定性。
技术实现思路
1、基于以上所述现有技术的缺点,本发明的目的是提供一种高光谱图像分类方法、装置、设备及存储介质,以解决上述技术问题。
2、为实现上述目的,本发明提供如下技术方案:一种高光谱图像分类方法,包括:
3、s1:输入高光谱图像执行多尺度空间—光谱token构建,形成至少两组对应不同空间尺度的token序列;
4、s2:将各组token序列并行输入解耦多尺度mamba专家分支和稳定化门控注意力transformer专家分支;
5、s3:在解耦多尺度mamba专家分支中,对各组token序列分别执行独立的序列建模处理,利用动态判别门基于各token特征与参考特征之间的差异度量构建判别权重,并利用判别权重对各组token序列进行加权处理,获得第一专家特征;
6、s4:在稳定化门控注意力transformer专家分支中,对各组token序列分别执行尺度内注意力计算获得注意力结果,并利用稳定化门控机制生成对应的门控权重,对注意力结果进行逐元素加权处理,获得第二专家特征;
7、s5:将第一专家特征与第二专家特征输入预设的专家自蒸馏融合模块进行融合处理,并基于融合处理后的特征分别对第一专家特征与第二专家特征施加一致性约束,获得融合特征;
8、s6:将融合特征输入分类头,输出高光谱图像中待分类样本对应的地物类别结果。
9、本发明进一步设置为,所述对应不同空间尺度的token序列构建包括:
10、针对高光谱图像中的待分类像素,以该待分类像素所在位置为中心,选取至少两种不同预设空间尺寸的邻域图像区域;
11、对各尺寸的邻域图像区域分别进行光谱维映射处理,并对映射后的数据执行空间维展开处理,以形成按空间位置顺序排列的特征序列;
12、对各特征序列进行线性映射完成特征嵌入处理,得到对应不同空间尺度的token序列。
13、本发明进一步设置为,所述解耦多尺度mamba专家分支包括:
14、在解耦多尺度mamba专家分支中设置有与token序列尺度数量相对应的mamba建模子分支和动态判别门;
15、将不同尺度的token序列分别输入对应的mamba建模子分支,通过双向状态空间模型层对token序列执行基于序列顺序的状态更新处理,获得序列建模后的token特征;
16、在对应的动态判别门中,对于任一尺度的token序列,将序列中部位置对应的token特征确定为参考特征向量,并基于各token特征与参考特征向量之间的差异关系,采用高斯核函数生成各token对应的判别权重;
17、将判别权重与对应token的特征向量进行逐元素加权处理得到第一专家特征分量,并将各尺度对应的第一专家特征分量组合共同构成第一专家特征。
18、本发明进一步设置为,所述稳定化门控注意力transformer专家分支包括:
19、在稳定化门控注意力transformer专家分支中设置有与token序列尺度数量相对应的分组多头自注意力模块和稳定化门控单元;
20、将不同尺度的token序列分别输入对应的分组多头自注意力模块,在各分组多头自注意力模块中对输入的token序列执行尺度内多头自注意力计算,并结合残差连接对token序列进行更新,获得对应尺度的注意力输出结果;
21、在对应的稳定化门控单元中,基于注意力输出结果生成与对应的门控权重序列,并利用门控权重序列对注意力输出结果进行逐元素加权处理,得到各尺度对应的门控调制特征;
22、将各尺度对应的门控调制特征进行拼接处理,并输入共享的预设前馈网络进行非线性特征变换,获得融合后的第二专家特征。
23、本发明进一步设置为,所述预设的专家自蒸馏融合模块包括:特征拼接与投影单元和自蒸馏对齐单元;
24、特征拼接与投影单元用于将第一专家特征与第二专家特征在特征维度进行拼接,并对拼接结果执行线性投影,获得融合特征表示;
25、自蒸馏对齐单元用于以融合特征表示为对齐参考,对第一专家特征与融合特征表示以及第二专家特征与融合特征表示分别执行一致性约束处理,并基于一致性约束确定融合特征。
26、本发明进一步设置为,所述融合特征获得包括:
27、通过特征拼接与投影单元对第一专家特征和第二专家特征进行特征维度拼接,并将拼接结果经线性投影映射至预设维度空间,得到融合特征表示;
28、在自蒸馏对齐单元中,将融合特征表示作为对齐参考,分别约束第一专家特征和第二专家特征向融合特征表示进行一致性对齐;
29、在对齐过程中,对融合特征表示施加约束,限制融合特征表示对第一专家特征和第二专家特征更新过程的影响;
30、将施加约束后的融合特征表示确定为融合特征。
31、本发明进一步设置为,所述分类头包括线性分类器和softmax输出层;
32、线性分类器以融合特征为输入,用于输出待分类样本在各类别上的判别得分;
33、softmax输出层用于对判别得分进行归一化处理,得到对应的类别概率分布,并根据概率分布确定待分类样本的地物类别结果。
34、本发明还提供一种高光谱图像分类装置,所述系统包括:
35、token构建模块:输入高光谱图像执行多尺度空间—光谱token构建,形成至少两组对应不同空间尺度的token序列;
36、mamba建模模块:在解耦多尺度mamba专家分支中,对各组token序列分别执行独立的序列建模处理,利用动态判别门基于各token特征与参考特征之间的差异度量构建判别权重,并利用判别权重对各组token序列进行加权处理,获得第一专家特征;
37、transformer建模模块:在稳定化门控注意力transformer专家分支中,对各组token序列分别执行尺度内注意力计算获得注意力结果,并利用稳定化门控机制生成对应的门控权重,对注意力结果进行逐元素加权处理,获得第二专家特征;
38、融合蒸馏模块:将第一专家特征与第二专家特征输入预设的专家自蒸馏融合模块进行融合处理,并基于融合处理后的特征分别对第一专家特征与第二专家特征施加一致性约束,获得融合特征;
39、分类输出模块:将融合特征输入分类头,输出高光谱图像中待分类样本对应的地物类别结果。
40、本发明还提供一种电子设备,所述电子设备包括:
41、一个或多个处理器;
42、存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现如上述任一项所述的一种高光谱图像分类方法。
43、本发明还提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行如上述任一项所述的一种高光谱图像分类方法。
44、本发明提供一种高光谱图像分类方法、装置、设备及存储介质,所述方法通过s1:输入高光谱图像执行多尺度空间—光谱token构建,形成至少两组对应不同空间尺度的token序列;s2:将各组token序列并行输入解耦多尺度mamba专家分支和稳定化门控注意力transformer专家分支;s3:在解耦多尺度mamba专家分支中,对各组token序列分别执行独立的序列建模处理,利用动态判别门基于各token特征与参考特征之间的差异度量构建判别权重,并利用判别权重对各组token序列进行加权处理,获得第一专家特征;s4:在稳定化门控注意力transformer专家分支中,对各组token序列分别执行尺度内注意力计算获得注意力结果,并利用稳定化门控机制生成对应的门控权重,对注意力结果进行逐元素加权处理,获得第二专家特征;s5:将第一专家特征与第二专家特征输入预设的专家自蒸馏融合模块进行融合处理,并基于融合处理后的特征分别对第一专家特征与第二专家特征施加一致性约束,获得融合特征;s6:将融合特征输入分类头,输出高光谱图像中待分类样本对应的地物类别结果,产生的有益效果包括:
45、解耦多尺度建模消除跨尺度干扰:通过为不同空间尺度分别构建独立的token序列,并在mamba分支中设置尺度对应的独立建模子分支且相互解耦状态更新,避免不同尺度特征在统一建模过程中的信息串扰与特征淹没,保障各尺度空间—光谱特征的表达纯度与完整性。
46、双分支内部增强机制提升特征判别性与训练稳定性:mamba分支通过动态判别门以序列中部token为参考、基于特征差异的高斯加权自适应增强关键响应;transformer分支通过稳定化门控对各注意力头输出逐元素调制以抑制异常激活,二者分别适配各自建模范式的内在特性,改善特征质量与收敛稳定性。
47、异构分支自蒸馏协同优化兼顾独立学习与语义对齐:以拼接投影生成的融合特征为隐式教师,分别对两路专家特征施加一致性约束,同时在对齐过程中限制融合特征对各专家分支的梯度影响,使mamba与transformer在保持各自建模优势的前提下实现语义空间对齐,提升融合特征的判别性与分类精度。
48、上述说明仅是本技术技术方案的概述,为了能够更清楚了解本技术的技术手段,而可依照说明书的内容予以实施,并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂,以下特举本技术的具体实施方式。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com