一种基于KAN的多模态遥感图像分类方法及装置

本发明属于遥感图像处理，具体涉及一种基于kan的多模态遥感图像分类方法及装置。

背景技术：

1、遥感图像分类是地物识别、生态监测、资源调查及土地利用分析中的重要技术手段。随着遥感传感器类型的不断丰富，多光谱、高光谱、热红外、合成孔径雷达等多模态遥感数据能够从光谱、空间结构、温度特征和后向散射特性等不同方面表征地物属性，为复杂场景下的精细分类提供了更丰富的数据基础。不同模态的数据在成像机理、空间分辨率、光谱维度、辐射特性及数据分布方面存在显著差异，同时，不同地物类别之间还可能存在光谱相似、空间混杂和边界模糊等现象，使其类别判别关系呈现复杂的非线性特征。如何有效融合多源异构遥感数据、充分挖掘各模态间的互补信息，已成为高精度遥感图像分类领域的核心问题之一。

2、现有多模态遥感分类方法主要包括基于传统机器学习的方法、基于深度学习的方法和基于注意力机制的方法等。传统方法如支持向量机、随机森林等通常依赖人工设计或预先提取的特征，其对高维异构遥感数据中复杂层次关系的自动表征能力有限。基于深度学习的方法，尤其是卷积神经网络，通过多层卷积运算自动提取层次化特征，在一定程度上改善了分类性能。近年来，transformer架构及其注意力机制也被引入多模态遥感分类，通过建模全局上下文依赖关系提升融合效果。然而，这些方法通常依赖形式固定的卷积运算、固定的非线性激活函数或普通的线性映射结构，对异构遥感模态中复杂的光谱-空间关系及高阶非线性交互关系的建模能力仍显不足。具体而言，普通卷积主要通过局部线性加权提取空间特征，对不同模态中差异化纹理模式的统一建模能力仍有提升空间；普通激活函数（如relu、sigmoid）在有限网络深度和参数规模下，对复杂异构模态关系的自适应非线性表达能力有限；传统前馈网络通常由普通全连接层与固定激活函数组合构成，其非线性表达主要依赖多层堆叠，对多模态特征间高阶交互关系的建模效率仍有提升空间。上述局限易导致模态特征表达不充分、跨模态互补信息利用不充分以及复杂地物类别判别能力受限等问题。

3、此外，现有模型训练过程中的早停判断通常主要依据验证集损失、验证集精度等外部性能指标，对网络内部可学习参数变化状态的利用相对有限。当验证集规模较小或指标存在短期波动时，单纯依赖外部性能指标可能影响训练停止时机的判断，并降低最优模型参数选择的稳定性和可靠性。

4、kolmogorov-arnold network（kan）是一类受kolmogorov-arnold表示定理启发的新型网络结构，与采用预设形式激活函数的传统多层感知机不同，kan通过在网络连接上设置可学习的基函数映射，对输入特征进行非线性变换，为复杂函数关系建模提供了新的实现方式。已有研究表明，kan在部分函数拟合和科学计算任务中表现出较好的表达能力，并具有一定的模型解释潜力。然而，如何结合多模态遥感数据的异构特性，将kan有效应用于模态特征提取、跨模态特征融合和分类判别过程，仍有进一步研究和改进空间。

技术实现思路

1、为解决上述技术问题，本发明提供了一种基于kan的多模态遥感图像分类方法及装置，通过将kan分别用于特征提取、特征融合和分类判别过程，利用其可学习的基函数展开与非线性映射机制增强模型对复杂函数关系的表达能力；同时，在训练阶段结合kan内部可学习参数的变化状态进行早停判定，提高了多模态遥感分类精度、鲁棒性和可解释性。

2、为实现上述目的，本发明采用的技术方案如下：

3、一种基于kan的多模态遥感图像分类方法，所述方法包括：

4、获取同一区域多个模态的遥感图像并进行图像配准，使各模态图像在空间上一一对应；

5、基于所述配准后的遥感图像，选取空间分辨率最高的遥感图像作为基准，执行面向对象图像分割，得到同质性图斑对象，并基于所述图斑对象的空间位置，在配准后的各模态的遥感图像对应位置处提取多模态图像样本切片；

6、将所述多模态图像样本切片分别输入基于kan的特征提取网络，所述特征提取网络通过各模态独立的特征提取分支提取相应的光谱-空间特征，得到各模态的高层特征，其中，每个特征提取分支由多个级联的kan卷积单元构成，每个kan卷积单元包括基础卷积映射分支与第一非线性基函数扩展分支；

7、将所述各模态的高层特征输入基于kan的特征融合层，通过特征嵌入、位置编码、多头自注意力机制和kan增强前馈网络，生成融合特征；所述kan增强前馈网络由多个级联的kan全连接层构成，每个kan全连接层包括线性映射分支与第二非线性基函数扩展分支；

8、将所述融合特征输入基于kan的分类层，输出对应地物类别得分，并通过归一化指数函数得到类别概率，实现多模态遥感影像分类。

9、进一步的，以所述同质性图斑对象的质心作为中心点，在各个配准后的遥感图像中按照预设窗口大小同步裁剪，得到空间位置一致的多模态图像样本切片。

10、进一步的，所述特征提取网络中，各所述特征提取分支结构相同且参数不共享；每个所述kan卷积单元的所述基础卷积映射分支采用固定卷积核对输入进行卷积运算以提取局部空间纹理和边界结构信息，所述第一非线性基函数扩展分支对输入进行可学习的基函数非线性展开，以增强对复杂光谱-空间关系的表达能力。

11、进一步的，所述基于kan的特征融合层基于transformer编码器结构构建，依次包含多头自注意力层、第一残差连接、第一层层归一化、所述kan增强前馈网络、第二残差连接和第二层层归一化；所述多头自注意力层用于计算不同空间位置及不同模态来源之间的关联权重；所述基于kan的特征融合层级联设置多个，以逐步增强不同空间位置和不同遥感模态之间的信息交互能力。

12、进一步的，所述kan增强前馈网络中，每个所述kan全连接层的所述线性映射分支用于完成特征维度的映射变换，所述第二非线性基函数扩展分支对输入进行可学习的基函数非线性展开以增强融合特征的高阶非线性表达能力。

13、进一步的，将各模态的高层特征图沿空间维度展开为空间位置词元序列，将各模态的词元序列按固定顺序拼接，得到空间—模态联合词元序列；对所述联合词元序列加入可学习的位置编码，用于区分不同空间位置及不同模态来源；将加入位置编码后的联合词元序列依次输入连续设置的多个基于kan的特征融合层；对最后一个基于kan的特征融合层输出的词元序列进行全局平均汇聚，得到每个图斑对象的统一融合特征表示。

14、进一步的，训练由基于kan的特征提取网络、基于kan的特征融合层、基于kan的分类层所构建的分类模型时，采用交叉熵损失函数和带权重衰减的优化器更新网络参数；提取所述第一非线性基函数扩展分支和所述第二非线性基函数扩展分支的可学习参数，分别计算相邻训练轮次间两者的平均相对变化量，并以加权总和作为综合参数变化量；当训练轮次达到预设最小轮次后，若验证集性能未继续提升且所述综合参数变化量低于预设阈值并连续达到早停容忍轮次，则停止训练，采用验证集性能最优时的模型参数作为最终模型参数。

15、另一方面，本发明提供一种基于kan的多模态遥感图像分类装置，包括：

16、配准模块，用于获取同一区域多个模态的遥感图像并进行图像配准，使各模态图像在空间上一一对应；

17、分割模块，用于基于所述配准后的遥感图像，选取空间分辨率最高的遥感图像作为基准，执行面向对象图像分割，得到同质性图斑对象，并基于所述图斑对象的空间位置，在配准后的各模态的遥感图像对应位置处提取多模态图像样本切片；

18、提取模块，用于将所述多模态图像样本切片分别输入基于kan的特征提取网络，所述特征提取网络通过各模态独立的特征提取分支提取相应的光谱-空间特征，得到各模态的高层特征，其中，每个特征提取分支由多个级联的kan卷积单元构成，每个kan卷积单元包括基础卷积映射分支与第一非线性基函数扩展分支；

19、融合模块，用于将所述各模态的高层特征输入基于kan的特征融合层，通过特征嵌入、位置编码、多头自注意力机制和kan增强前馈网络，生成融合特征；所述kan增强前馈网络由多个级联的kan全连接层构成，每个kan全连接层包括线性映射分支与第二非线性基函数扩展分支；

20、分类模块，用于将所述融合特征输入基于kan的分类层，输出对应地物类别得分，并通过归一化指数函数得到类别概率，实现多模态遥感影像分类。

21、第三方面，本发明提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的一种基于kan的多模态遥感图像分类方法。

22、第四方面，本发明提供一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时能够使处理器实现前述的一种基于kan的多模态遥感图像分类方法。

23、本发明的有益效果在于：

24、提升分类精度与鲁棒性：本发明通过将kan结构引入多模态遥感图像分类的特征提取、特征融合和分类判别全过程，利用kan可学习的基函数展开机制，能够更有效地拟合各模态数据中复杂的光谱-空间非线性关系及模态间高阶交互关系，弥补了传统卷积和普通全连接层表达能力不足的缺陷。实验表明，相较于常规多模态融合方法，本发明在总体精度上大幅提升，在多类别f1分数上均取得最优结果，验证了kan架构在遥感分类任务中的显著有效性。

25、改善空间制图质量：本发明以空间分辨率最高的影像为基准进行面向对象分割，基于同质性图斑对象提取空间位置一致的多模态样本切片，有效保持了地物边界的完整性，减少了多模态数据融合过程中的边界偏移和制图碎片化问题，提高了分类结果的空间连续性和可视化质量。

26、增强融合特征的判别能力：本发明在特征融合阶段采用kan增强前馈网络替代普通前馈层，结合多头自注意力机制对多模态词元序列进行统一交互建模，能够更充分地利用不同模态间的互补信息，使融合特征在光谱相似、空间邻近或边界模糊等困难场景下仍保持良好的判别性能。

27、提高训练收敛判定的可靠性：本发明在训练阶段引入基于kan内部可学习参数变化状态的早停机制，联合监控验证集外部性能指标与网络内部学习活跃程度，有效降低了仅依赖验证集指标进行早停时的偶然波动风险，增强了模型收敛判定的准确性和最优参数选择的稳定性，有助于提升最终模型的泛化能力。

28、增强模型可解释性：kan结构中基函数展开的系数分布能够反映不同输入维度对输出结果的贡献程度，为理解多模态遥感分类的决策依据提供了更直观的分析途径。