一种基于轻量化Transformer的小样本高光谱图像分类方法及系统

本发明涉及高光谱图像处理与模式识别，尤其涉及一种基于轻量化transformer的小样本高光谱图像分类方法及系统。

背景技术：

1、高光谱图像同时承载精细的光谱信息与空间结构信息，在遥感监测、农业估产、环境勘查等领域具备重要应用价值。实际工程场景中，受限于地物标注成本、样本获取难度等因素，大量高光谱数据仅能提供极少量标注样本，小样本条件下的高精度分类已成为高光谱图像处理领域的关键技术需求。

2、现有技术常采用深度学习模型实现高光谱图像分类，其中基于卷积神经网络的方法通过局部感受野提取光谱-空间特征，并配合简单数据扩充提升小样本适应性，是当前小样本高光谱分类的主流实现方式。

3、该类基于卷积神经网络的现有方法依赖局部特征提取，在样本量极度稀缺时特征表征能力显著下降，模型极易出现过拟合与训练震荡问题，无法在极端小样本（例如每类样本的数量只有十几个）的条件下稳定输出高精度分类结果，难以满足实际工程对分类精度与模型可靠性的双重要求。

技术实现思路

1、本发明实施例提供一种基于轻量化transformer的小样本高光谱图像分类方法及系统，能够解决现有技术中小样本高光谱图像分类依赖局部特征提取、模型复杂度过高、训练稳定性差，在每类样本数量较少的极端条件下无法实现高精度、高鲁棒性分类的问题。

2、为达到上述目的，本发明的实施例采用如下技术方案：

3、第一方面，提供一种基于轻量化transformer的小样本高光谱图像分类方法，包括：获取高光谱数据立方体，对所述高光谱数据立方体进行预处理，得到光谱空间特征块序列；根据所述光谱空间特征块序列和预设样本数量，将高光谱图像数据集划分为训练集、验证集和测试集；根据所述训练集、数据增强策略与优化训练策略对所述轻量化transformer模型进行训练，得到训练完成的分类模型；获取待分类的目标高光谱图像，利用所述训练完成的分类模型进行推理，得到高光谱图像的最终分类结果。

4、本发明提供的方法通过对高光谱数据立方体进行预处理得到光谱空间特征块序列，按预设样本数量完成数据集划分，再基于训练集与对应策略完成模型训练，最终对待分类目标高光谱图像进行推理得到分类结果，构建了从小样本高光谱数据输入到最终分类输出的完整流程，能够适配小样本学习场景，实现高光谱图像的高效、稳定分类，为极小样本下的高光谱图像处理提供了完整可行的技术路径。

5、在第一方面的一种可能的实现方式中，所述对高光谱数据立方体进行预处理，得到光谱空间特征块序列，包括：对高光谱数据立方体进行光谱维度的均值标准差归一化处理，得到归一化后的高光谱数据立方体；采用反射填充方式对归一化后的高光谱数据立方体进行边界扩展，得到扩展后的数据立方体；按照预设空间尺寸从扩展后的数据立方体中提取以目标像素为中心的光谱空间特征块，并将三维特征块扁平化为一维序列，得到光谱空间特征块序列。

6、本发明提供的方法通过对高光谱数据立方体依次执行光谱维度均值标准差归一化、反射填充边界扩展、预设尺寸特征块提取与扁平化处理，能够规范高光谱数据的分布形态，避免边缘像素特征提取不完整，同时有效融合光谱特征与空间上下文信息，抑制光谱噪声干扰，为后续模型输入提供高质量、标准化的特征序列，提升模型特征提取的准确性与稳定性。

7、在第一方面的一种可能的实现方式中，所述轻量化transformer模型包括输入投影模块、位置编码模块、transformer编码器模块、特征聚合模块以及分类头模块；所述轻量化transformer模型的构建过程，包括：将所述光谱空间特征块序列输入至输入投影模块，通过特征映射与非线性变换得到低维投影特征；将所述低维投影特征输入至位置编码模块，加入类别令牌与位置嵌入信息，得到带位置信息的特征序列；将所述带位置信息的特征序列输入至transformer编码器模块，通过多层自注意力与前馈网络提取全局与局部特征；将所述全局与局部特征输入至特征聚合模块，融合全局语义特征与局部统计特征得到综合特征向量；将所述综合特征向量输入至分类头模块，通过余弦相似度计算得到模型的分类输出。

8、本发明提供的方法通过构建包含输入投影模块、位置编码模块、transformer编码器模块、特征聚合模块及分类头模块的轻量化transformer模型，并按照特征投影、位置编码、全局与局部特征提取、多特征融合及余弦相似度计算的流程完成模型构建，能够在降低模型复杂度的同时，充分捕捉高光谱数据的全局关联与局部结构信息，提升小样本场景下的特征表达能力与分类可靠性。

9、在第一方面的一种可能的实现方式中，所述transformer编码器模块由多层轻量化transformer块构成，所述transformer块采用预归一化架构，包含多头自注意力机制与前馈网络，且在前馈网络与自注意力机制中均设置随机失活正则化操作。

10、本发明提供的方法通过采用由多层轻量化transformer块构成的编码器模块，且transformer块使用预归一化架构，搭配多头自注意力机制、前馈网络与随机失活正则化操作，能够保证模型训练的稳定性，抑制小样本学习中易出现的过拟合问题，同时在减少模型参数量的前提下，维持高效的特征提取能力，兼顾模型轻量化与分类性能。

11、在第一方面的一种可能的实现方式中，所述根据光谱空间特征块序列和预设样本数量，将高光谱图像数据集划分为训练集、验证集和测试集，包括：按照地物类别对光谱空间特征块序列进行均衡采样，得到各类别对应的样本集合；根据预设样本数量从各类别样本集合中选取指定数量样本作为训练集与验证集；将剩余样本确定为测试集，完成小样本条件下数据集的划分。

12、本发明提供的方法通过按照地物类别对光谱空间特征块序列进行均衡采样，依据预设样本数量选取训练集与验证集，并将剩余样本作为测试集，能够保证数据集各类别分布均衡，严格适配小样本学习的样本数量约束，避免因样本不均衡导致的模型分类偏差，提升小样本条件下数据集划分的合理性与模型训练的有效性。

13、在第一方面的一种可能的实现方式中，所述根据训练集、数据增强策略与优化训练策略对轻量化transformer模型进行训练，包括：对训练集中的样本采用mixup与cutmix混合方式进行数据增强，得到增强后的训练样本；基于增强后的训练样本，采用标签平滑交叉熵损失函数计算模型损失值；根据模型损失值，采用adamw优化器并结合梯度裁剪、学习率预热与早停机制更新模型参数，得到训练完成的分类模型。

14、本发明提供的方法通过采用mixup与cutmix混合数据增强策略扩充训练样本多样性，使用标签平滑交叉熵损失函数计算模型损失，结合adamw优化器、梯度裁剪、学习率预热与早停机制完成参数更新，能够有效缓解小样本下模型过拟合与训练不稳定问题，加快模型收敛速度，提升训练完成的分类模型的泛化能力与鲁棒性。

15、在第一方面的一种可能的实现方式中，所述利用训练完成的分类模型进行推理，得到高光谱图像的最终分类结果，包括：对待分类的目标高光谱图像进行预处理，得到对应的光谱空间特征块序列；将所述光谱空间特征块序列输入训练完成的分类模型，得到初始分类结果；对所述初始分类结果进行概率融合与判决，得到高光谱图像的最终分类结果。

16、本发明提供的方法通过对待分类目标高光谱图像执行与训练阶段一致的预处理得到对应特征块序列，经模型推理得到初始分类结果后再进行概率融合与判决，能够保证推理过程与训练过程的特征处理逻辑一致，提升分类结果的可信度与准确性，实现小样本下高光谱图像的稳定、精准分类。

17、第二方面，本发明提供了一种基于轻量化transformer的小样本高光谱图像分类系统，包括：获取单元，用于获取高光谱数据立方体，对所述高光谱数据立方体进行预处理，得到光谱空间特征块序列；划分单元，用于根据所述光谱空间特征块序列和预设样本数量，将高光谱图像数据集划分为训练集、验证集和测试集；训练单元，用于根据所述训练集、数据增强策略与优化训练策略对所述轻量化transformer模型进行训练，得到训练完成的分类模型；分类单元，用于获取待分类的目标高光谱图像，利用所述训练完成的分类模型进行推理，得到高光谱图像的最终分类结果。

18、第三方面，提供一种电子设备，电子设备包括存储器、一个或多个处理器；存储器与处理器耦合；其中，存储器中存储有计算机程序代码，计算机程序代码包括计算机指令，当计算机指令被处理器执行时，使得电子设备执行如第一方面任一实现方式中的方法。

19、第四方面，提供一种计算机可读存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如第一方面任一实现方式中的方法。

20、第五方面，提供计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行第一方面任一实现方式中的方法。

21、可以理解地，上述提供的第二方面的系统，第三方面的电子设备，第四方面的计算机可读存储介质，第五方面的计算机程序产品所能达到的有益效果，可参考第一方面及其任一种可能的设计方式中的有益效果，此处不再赘述。