高光谱图像分类方法和装置

摘要: 本说明书涉及人工智能,特别涉及一种高光谱图像分类方法和装置。背景技术:1、高光谱图像能够通过多个连续且较窄的光谱波段获取地物的精细光谱响应,同时保留空间纹理、边...
高光谱图像分类方法和装置

本说明书涉及人工智能,特别涉及一种高光谱图像分类方法和装置。

背景技术:

1、高光谱图像能够通过多个连续且较窄的光谱波段获取地物的精细光谱响应,同时保留空间纹理、边界和局部结构信息。高光谱图像被广泛应用于农业遥感、地物识别、环境监测、矿物探测和精细制图等任务中。高光谱图像分类是指根据像素的光谱特征及其邻域空间信息,为像素分配对应的地物类别标签。高光谱图像具有波段维度高、不同地物类别间的光谱差异细微、同一地物类别内部的光谱变化明显等特点,使得分类任务面临较大挑战。地物的光谱特征通常表现为有限波长区间内的连续非周期信号,且易受边缘波段噪声、局部波动和冗余波段的干扰,导致传统依赖人工特征或浅层统计建模的分类方法难以获得稳定可靠的分类结果。

2、近年来,卷积神经网络、transformer、mlp和mamba等深度学习方法被用于高光谱图像分类,在光谱-空间特征提取方面取得了一定进展。然而,上述深度学习方法的非线性映射大多仍依赖线性变换和固定激活函数,难以充分适应高光谱图像在有限区间内的连续非周期变化,导致上述深度学习方法对复杂地物场景的分类准确性和稳定性仍有不足。

3、kan(kolmogorov-arnold networks,柯尔莫哥洛夫–阿诺德网络)将可学习的一元函数置于网络连接上,为复杂非线性关系建模提供了新的思路。kan在高光谱图像分类中往往样本压缩为单一整体特征并依据单一类别中心进行分类。但是同一地物类别内部存在多种光谱响应模式,单一整体特征无法覆盖类内多样性。另外,不同地物类别间的光谱差异细微,单一类别中心缺乏对类间细微差异的区分能力。因此kan针对高光谱图像的分类准确性较低。

技术实现思路

1、本说明书实施例提供一种高光谱图像分类方法和装置,以提高复杂场景下高光谱图像分类的准确性和稳定性。本说明书实施例的技术方案如下。

2、本说明书实施例提供了一种高光谱图像分类方法,应用于分类模型,所述分类模型包括映射模块、编码模块、多原型模块和分类器,所述编码模块包括堆叠的l层编码单元,每个编码单元包括谱域波表示单元、空域波表示单元和融合单元;所述方法包括:

3、将高光谱图像中待分类像素的图像块输入所述映射模块,得到初始特征图;

4、将所述初始特征图输入编码模块,以通过所述l层编码单元对所述初始特征图进行编码,得到所述编码模块输出的谱域多频波响应和空域多频波响应;编码单元中的谱域波表示单元用于根据编码单元的输入提取谱域波表示,所述谱域波表示包括谱域特征图和谱域多频波响应,编码单元中的空域波表示单元用于根据编码单元的输入提取空域波表示,所述空域波表示包括空域特征图和空域多频波响应,编码单元中的融合单元用于对谱域特征图和空域特征图进行融合,得到谱空特征;编码单元的输出包括谱域多频波响应、空域多频波响应和谱空特征;

5、将所述编码模块输出的谱域多频波响应和空域多频波响应输入多原型模块,得到多原型表示;

6、将所述多原型表示输入所述分类器,得到所述待分类像素的分类结果。

7、在一些实施例中,所述编码单元的输入包括多个空间位置的第一通道向量数据,每个第一通道向量数据包括多个第一通道特征值;

8、所述将所述初始特征图输入编码模块,以通过所述l层编码单元对所述初始特征图进行编码,得到所述编码模块输出的谱域多频波响应和空域多频波响应,包括:

9、通过所述谱域波表示单元对第一通道特征值进行压缩,根据压缩后的第一通道特征值分别构建谱域正弦频率基函数和谱域余弦频率基函数,根据谱域正弦频率基函数和谱域余弦频率基函数计算谱域多频波响应,对谱域多频波响应中的多个频率分量进行聚合,得到谱域频率分支特征,对第一通道向量数据进行非线性映射,得到谱域基础分支特征,对谱域基础分支特征和谱域频率分支特征进行融合,得到谱域特征图。

10、在一些实施例中,所述根据压缩后的第一通道特征值分别构建谱域正弦频率基函数和谱域余弦频率基函数,包括:

11、通过公式构建的谱域正弦频率基函数,通过公式构建的谱域余弦频率基函数,表示谱域余弦频率基函数,表示谱域正弦频率基函数,表示第层编码单元中与第个通道和第个频率分量对应的相位参数,表示第层编码单元中与第个通道和第个频率分量对应的频率参数,表示第层编码单元中空间位置(u,v)所对应第一通道向量数据中的第j个第一通道特征值,表示压缩后的第个第一通道特征值。

12、在一些实施例中,所述谱域多频波响应包括多个频率分量的响应向量;所述根据谱域正弦频率基函数和谱域余弦频率基函数计算谱域多频波响应,包括:

13、通过公式计算空间位置(u,v)处第k个频率分量的响应向量,表示第层编码单元中空间位置(u,v)所对应第一通道向量数据中的第j个第一通道特征值,表示谱域余弦频率基函数,表示谱域正弦频率基函数,和为所述谱域波表示单元中的权重参数。

14、在一些实施例中,所述将所述初始特征图输入编码模块,以通过所述l层编码单元对所述初始特征图进行编码,得到所述编码模块输出的谱域多频波响应和空域多频波响应,包括:

15、通过所述空域波表示单元将编码单元的输入由笛卡尔坐标域重参数化至极坐标域,得到极坐标特征图;所述极坐标特征图包括多个极坐标位置对应的第二通道特征向量,每个第二通道特征向量包括多个极坐标域的第二通道特征值;对极坐标域的第二通道特征值进行压缩,根据压缩后的第二通道特征值分别构建空域正弦波基函数和空域余弦波基函数;根据所述空域正弦波基函数和空域余弦波基函数计算空域多频波响应;对所述空域多频波响应中的多个频率分量进行聚合,得到空域波分支特征;对所述第二通道向量数据进行非线性映射,得到空域基础分支特征;对所述空域基础分支特征和空域波分支特征进行融合,得到空域特征图。

16、在一些实施例中,所述根据压缩后的第二通道特征值分别构建空域正弦频率基函数和空域余弦频率基函数,包括:

17、通过公式构建的空域正弦频率基函数,通过公式构建的空域余弦频率基函数,表示空域余弦频率基函数,表示空域正弦频率基函数,表示第层编码单元中与第个通道和第个频率分量对应的相位参数,表示第层编码单元中与第个通道和第个频率分量对应的频率参数,表示第层编码单元中极坐标位置(r,t)所对应第二通道向量数据中的第j个第二通道特征值,表示压缩后的第个第二通道特征值。

18、在一些实施例中,所述空域多频波响应包括多个频率分量的响应向量;所述根据空域正弦频率基函数和空域余弦频率基函数计算空域多频波响应,包括:

19、通过公式计算极坐标位置(r,t)处第k个频率分量的响应向量,表示第l层编码单元中极坐标位置(r,t)所对应第二通道向量数据中的第j个第二通道特征值,表示空域余弦频率基函数,表示空域正弦频率基函数,和为所述空域波表示单元中的权重参数。

20、在一些实施例中,所述将所述编码模块输出的谱域多频波响应和空域多频波响应输入多原型模块,得到多原型表示,包括:

21、通过多原型模块对谱域多频波响应沿笛卡尔坐标平面池化,得到谱域原型矩阵,对空域多频波响应沿极坐标平面池化,得到空域原型矩阵,将谱域原型矩阵和空域原型矩阵投影到统一特征空间,将投影后的谱域原型矩阵和投影后的空域原型矩阵进行融合,得到多原型表示。

22、在一些实施例中,所述将投影后的谱域原型矩阵和投影后的空域原型矩阵进行融合,包括:

23、通过公式计算谱域融合权重和空域融合权重,根据谱域融合权重和空域融合权重,将投影后的谱域原型矩阵和投影后的空域原型矩阵进行加权融合,对融合结果进行残差增强处理,得到所述多原型表示;

24、表示谱域融合权重,表示空域融合权重,表示投影后的谱域原型矩阵的方差,表示投影后的空域原型矩阵的方差,表示多原型模块的参数,表示融合温度系数。

25、本说明书实施例还提供了一种高光谱图像分类装置,包括:

26、映射模块,用于将高光谱图像中待分类像素的图像块映射为初始特征图;

27、编码模块,用于对所述初始特征图进行编码,得到谱域多频波响应和空域多频波响应;所述编码模块包括堆叠的l层编码单元,每个编码单元包括谱域波表示单元、空域波表示单元和融合单元;编码单元中的谱域波表示单元用于根据编码单元的输入提取谱域波表示,所述谱域波表示包括谱域特征图和谱域多频波响应,编码单元中的空域波表示单元用于根据编码单元的输入提取空域波表示,所述空域波表示包括空域特征图和空域多频波响应,编码单元中的融合单元用于对谱域特征图和空域特征图进行融合,得到谱空特征,编码单元的输出包括谱域多频波响应、空域多频波响应和谱空特征;

28、多原型模块,用于根据编码模块输出的谱域多频波响应和空域多频波响应生成多原型表示;

29、分类器,用于根据所述多原型表示进行分类,得到所述待分类像素的分类结果。

30、本说明书实施例的技术方案,高光谱图像包括多个待分类像素。可以为每个待分类像素在高光谱图像中选择图像块,图像块中包含该待分类像素。可以将待分类像素的图像块输入映射模块,得到初始特征图。可以将初始特征图输入编码模块,以通过l层编码单元对初始特征图进行编码,得到编码模块输出的谱域多频波响应和空域多频波响应。编码单元中的谱域波表示单元用于根据编码单元的输入提取谱域波表示,所述谱域波表示包括谱域特征图和谱域多频波响应,编码单元中的空域波表示单元用于根据编码单元的输入提取空域波表示,所述空域波表示包括空域特征图和空域多频波响应,编码单元中的融合单元用于对谱域特征图和空域特征图进行融合,得到谱空特征;编码单元的输出包括谱域多频波响应、空域多频波响应和谱空特征。可以将编码模块输出的谱域多频波响应和空域多频波响应输入多原型模块,得到多原型表示。可以将多原型表示输入分类器,得到待分类像素的分类结果。本说明书实施例可以将谱域笛卡尔坐标波表示、空域极坐标波表示和多原型类别表示学习统一到一个端到端的分类框架中。通过在谱域和空域分别构建多频波响应,并将多频波响应中的每个频率分量与多原型表示中的原型槽位对应,使得能够从多个判别子模式描述同一地物类别内部的光谱变化和空间结构差异,提高复杂高光谱场景下分类的精度和稳定性。