一种基于残差扩散模型的高光谱与激光雷达图像融合分类方法

摘要: 本发明涉及遥感图像处理、计算机视觉与深度学习技术,具体涉及一种基于残差扩散模型的高光谱与激光雷达图像融合分类方法。背景技术:1、随着遥感技术的发展,多模态数据的...
一种基于残差扩散模型的高光谱与激光雷达图像融合分类方法

本发明涉及遥感图像处理、计算机视觉与深度学习技术,具体涉及一种基于残差扩散模型的高光谱与激光雷达图像融合分类方法。

背景技术:

1、随着遥感技术的发展,多模态数据的联合分析在精细化对地观测中发挥着越来越重要的作用。高光谱图像(hsi)包含丰富的连续光谱信息,能够精确识别地物材质;而激光雷达(lidar)数据能够提供精确的地表高程与几何结构信息。两者的有效融合能够显著提升复杂城市场景或植被覆盖区的地物分类精度。

2、然而,现有的多模态遥感分类方法仍面临以下挑战:

3、高光谱图像易受噪声干扰:受大气吸收、传感器热噪声等影响,hsi中往往包含大量噪声。传统的特征提取网络直接在带噪数据上进行学习,导致提取的特征鲁棒性差。

4、多模态特征融合生硬:现有的融合方法多采用特征级直接拼接(concatenation)或简单的相加操作,未能深入探索lidar几何先验对光谱重建和特征提取的指导作用,导致物理特性差异巨大的两类数据难以实现深层语义对齐。

5、波段重建与学习难度不平衡:在对高光谱图像进行去噪或特征增强时,不同光谱波段受噪声污染的程度和重建难度差异巨大。现有方法通常在损失函数中使用固定的权重对待所有通道,这导致模型容易对简单波段过拟合,而在难点波段(如受水汽吸收强烈的波段)上表现不佳。

6、为了解决上述问题,本发明提出了一种基于残差扩散模型的高光谱与激光雷达图像融合分类框架,利用生成式先验实现高保真特征增强,并设计了动态通道权重策略以及双流分类器,显著提升了分类的准确率和鲁棒性。

技术实现思路

1、为了克服现有技术的不足,本发明的目的在于提供一种残差扩散模型的高光谱与激光雷达图像融合分类方法,以解决高光谱去噪困难、模态融合不深入及波段学习不平衡的问题。

2、为了实现上述目的,本发明提供的技术方案如下:

3、一种基于残差条件扩散模型与动态权重的多模态遥感分类方法,其核心在于一个由四部分组成的协同工作流:

4、1、多模态数据预处理骨干:从原始遥感图像中提取对应的hsi和lidar数据块,并对高维hsi数据进行主成分分析(pca)降维与标准化处理,构建成对的空间-光谱图像块,为后续网络提供高质量的输入。

5、2、残差条件扩散与特征增强重建:为了克服传统扩散模型破坏图像纹理的缺陷,本发明构建了在“残差空间”运行的条件扩散模型。通过向hsi输入注入高斯噪声构建带噪输入,模型目标被设定为预测带噪输入与原始干净数据之间的残差。同时,在u-net架构中创新性地引入了光谱条件融合(spectralconditionfusion)模块,将lidar提取的几何特征(高度与边缘)作为生成先验,深度指导高光谱残差的生成。

6、3、指数移动平均(ema)动态通道权重损失策略:为了解决波段学习难度不平衡的问题,本发明提出了一种动态损失加权机制。该机制通过ema算法实时追踪各光谱通道在训练过程中的历史平均误差,自动识别高噪声、难重建的物理波段,并自适应地增大这些难点通道的mse损失权重,强制模型聚焦薄弱环节。

7、4、解耦的双流融合分类器:为避免联合优化带来的震荡,本发明将扩散网络作为前置特征增强模块,其输出的重构hsi被送入一个独立的双流分类网络。主流利用3dcnn提取增强hsi的空间-光谱特征,并采用深度与输入高光谱图像光谱通道数相等的3d卷积核直接将光谱维度完全压缩,降维至2d;辅流利用2dresblock提取lidar的局部空间上下文。双流特征在通道维度拼接后,经融合卷积层与分类头输出最终预测结果。

8、整个网络结合扩散模型的重建损失与双流网络的分类损失进行端到端联合训练,使得模型能自动在复杂多模态场景中重构高保真特征并精准分类。

9、本发明的有益效果为:

10、与现有技术相比,本发明具有以下显著的有益效果:

11、残差空间生成的极高保真度:本发明打破了传统扩散模型直接生成整幅图像或单纯预测噪声的范式,转而让模型在残差空间内工作。这极大地缩小了生成模型的搜索空间,使得模型在有效去噪的同时,最大限度地保留了高光谱图像原有的光谱纹理和结构信息。

12、深度物理感知的几何-光谱融合:本发明设计的光谱条件融合模块,充分利用了lidar高程和边缘(通过sobel算子提取)几何先验,通过空间与光谱双重注意力机制动态指导hsi的生成过程。这有效解决了hsi与lidar物理特性差异巨大的问题,实现了真正意义上的深层语义对齐。

13、自适应解决波段学习不平衡问题:本发明的ema动态权重策略,使模型能够自动追踪难重建的高噪声物理波段并自适应调整损失权重,彻底摆脱了人工繁琐调参。这实现了全谱段的均衡重建与优化,显著提高了边缘类别的区分度。

14、强大的模块化设计与解耦鲁棒性:本发明将“特征增强(扩散模型)”与“特征分类(双流网络)”解耦。扩散模型作为强大的生成式先验去除噪声,独立的3d-2d双流分类器只需专注于判别任务,降低了联合优化的难度。实验证明,该框架在面临lidar高斯噪声和配准偏移等挑战下依然能保持稳健和优异的性能。

1.一种基于残差扩散模型的高光谱与激光雷达图像融合分类方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述步骤s2还包括:

3.根据权利要求1所述的方法,其特征在于,所述步骤s3还包括:

4.根据权利要求1所述的方法,其特征在于,所述步骤s4还包括: