扩散模型辅助的双嵌入空间对齐的高光谱地物识别网络模型构建方法

摘要: 本发明涉及高光谱地物识别方法。背景技术:1、高光谱图像因其丰富的光谱信息被广泛用于地物与场景识别。然而,不同成像场景在传感器特性与观测条件上的差异易引发显著的分...
扩散模型辅助的双嵌入空间对齐的高光谱地物识别网络模型构建方法

本发明涉及高光谱地物识别方法。

背景技术:

1、高光谱图像因其丰富的光谱信息被广泛用于地物与场景识别。然而,不同成像场景在传感器特性与观测条件上的差异易引发显著的分布偏移,使得在单一场景训练的模型难以泛化至未知场景,成为高光谱应用于实际的关键瓶颈。

2、作为高光谱数据处理中核心的任务之一,地物识别问题在长期研究中已取得显著进展。受限于早期数据规模与获取条件,多数方法默认训练与测试数据服从同一分布,仅适用于封闭场景。随着 houston、pavia 等多场景数据集的提出,高光谱跨场景地物识别逐渐成为研究热点,但源域与目标域之间的分布偏移、源域数据问题仍然显著制约模型的泛化能力。为缓解上述分布偏移问题,研究者开始引入域适应(da)与域泛化(dg)方法。

3、域适应(domain adaptation, da)通过利用源域标注数据并结合目标域(通常无标注或少量标注)数据进行分布对齐或特征迁移,以缓解跨域性能退化问题。相比之下,域泛化(domain generalization, dg)不依赖目标域先验信息,而是通过学习域不变表示提升模型在未知场景中的鲁棒性,因此更契合实际应用中目标域不可预知的实际需求。

4、尽管研究设定不同,da与dg的核心目标一致,即缓解场景间的分布偏移(distribution shift),并学习具有稳定性的特征表征。然而,在高维且高度相关的高光谱特征空间中,不同场景往往存在复杂的统计差异与结构变化,如何有效实现跨域分布对齐或域不变特征学习,仍然是关键挑战。

5、围绕这一问题,研究者提出了多种建模策略,如基于卷积神经网络(cnn)的特征抽取方法、结合图卷积网络(gcn)的结构一致性建模方法等。这些方法在一定程度上缓解了跨场景性能退化问题。进一步地,在域泛化框架下,为在无目标域信息的条件下构建更加稳定的域不变表示,对抗学习机制逐渐被引入相关研究。尤其是生成对抗网络(gan)通过构建对抗博弈过程,在特征空间或数据空间层面增强分布一致性与表示鲁棒性,成为dg领域的重要技术手段。随着相关工作的深入发展,在域泛化研究方向上逐渐形成了以gan为核心技术路径的主流研究范式。

6、基于gan的方法在高光谱跨场景泛化任务中已被广泛验证,其在跨域样本生成与特征对齐方面展现出一定优势。例如,单源域的sde方法、引入语言信息约束的llu方法以及ldg 模型等,均通过对抗机制实现跨域特征分布的一致性约束,在一定程度上缓解了域偏移问题。然而,此类方法的核心思想仍然是通过判别器驱动的分布对齐来缩小源域与目标域之间的统计差异,本质上属于隐式分布匹配机制,并未对数据生成过程进行显式建模。因此,在高维高光谱特征空间中,模型的分布覆盖能力受限,难以刻画跨场景条件下复杂的模态结构变化与类别条件分布重构问题。

7、当前跨场景高光谱域泛化识别面临多重挑战。首先,由于高光谱数据维度高、类别间差异细微,类别条件分布往往呈现出复杂的非线性特征;在此基础上,不同场景之间不仅存在整体分布偏移,还伴随类内结构变化和类间决策边界重构。更为关键的是,目标域在训练阶段不可见,模型无法依赖已观测分布进行对齐,而必须具备对潜在域变化进行外推的能力。

8、在这种背景下,单纯依赖对抗学习进行全局统计一致性约束,难以充分建模跨域分布的结构性差异与潜在生成机制,尤其在高维特征空间中容易出现模式塌陷或局部对齐失效问题。

9、与生成对抗模型不同,扩散模型通过显式构建数据从噪声到样本的逐步生成过程,实现对数据分布的渐进式逼近。其基于概率轨迹的建模方式能够更充分地刻画复杂高维分布结构,在训练稳定性与分布表达能力方面具有理论优势。近年来,扩散模型已在高光谱图像处理任务中取得良好效果。例如,spectraldiff利用扩散过程构建光谱-空间联合分布用于地物识别与域适应;ddsr将扩散机制引入光谱重建;hir-diff实现了高光谱图像的无监督恢复;gewdiff与 ddpm-fus分别在超分辨率与多模态融合任务中验证了扩散理论在高光谱建模中的潜力。尽管现有方法在高光谱生成建模与域适应任务中取得了一定成效,但这些方法大多依赖目标域样本或显式分布对齐策略。当面向跨场景域泛化问题时,由于目标域在训练阶段不可获取,现有方法难以从根本上应对未知分布变化带来的挑战。

技术实现思路

1、本发明的目的是为了解决现有高光谱地物识别网络模型无法融合光谱与空间信息的多尺度上下文特征,特征表达的判别能力低;模型在未知场景中的泛化性能弱,跨场景分布偏移大的问题,而提出扩散模型辅助的双嵌入空间对齐的高光谱地物识别网络模型构建方法。

2、扩散模型辅助的双嵌入空间对齐的高光谱地物识别网络模型构建方法具体过程为:

3、扩散模型辅助的双嵌入空间对齐的高光谱地物识别网络模型dasan网络模型包括:扩散辅助生成器diff-generater、第一光谱归一化判别器、第二光谱归一化判别器、第三光谱归一化判别器;

4、所述扩散辅助生成器包括:主成分分析pca模块、扩散模型、空间分支、光谱分支、融合门控、自注意力机制、拼接层;

5、所述空间分支包括:第一卷积层、csarm模块;

6、所述光谱分支包括:标签、线性层、反卷积层、csarm模块;

7、所述融合门控包括:卷积层、leaky relu激活函数、正则化层dropout、拼接层、卷积层、relu激活函数、卷积层、sigmoid激活函数;

8、所述csarm模块包括:卷积层、卷积层、卷积层、自注意力机制、正则化层dropout、批量归一化层bn、relu激活函数、rand、卷积层、卷积层、卷积层、自注意力机制、正则化层dropout、批量归一化层bn、relu激活函数;

9、所述第一光谱归一化判别器包括:第一连续谱归一化残差模块src block、第二连续谱归一化残差模块src block、第三连续谱归一化残差模块src block、分类头、投影头和中间隐藏层;

10、所述第一连续谱归一化残差模块、第二连续谱归一化残差模块、第三连续谱归一化残差模块中每个连续谱归一化残差模块src block包括:第一光谱归一化层、第二卷积层、第二光谱归一化层、第一卷积层、压缩激励模块、拼接层、第三卷积层、自适应平均池化层、整形reshape层;

11、所述第二光谱归一化判别器包括:第一连续谱归一化残差模块src block、第二连续谱归一化残差模块src block、第三连续谱归一化残差模块src block、分类头、第一投影头和中间隐藏层;

12、所述第一连续谱归一化残差模块、第二连续谱归一化残差模块、第三连续谱归一化残差模块中每个连续谱归一化残差模块src block包括:第一光谱归一化层、第二卷积层、第二光谱归一化层、第一卷积层、压缩激励模块、拼接层、第三卷积层、自适应平均池化层、reshape整形层;

13、所述第三光谱归一化判别器包括:第一连续谱归一化残差模块src block、第二连续谱归一化残差模块src block、第三连续谱归一化残差模块src block、分类头、第一投影头和中间隐藏层;

14、所述第一连续谱归一化残差模块、第二连续谱归一化残差模块、第三连续谱归一化残差模块中每个连续谱归一化残差模块src block包括:第一光谱归一化层、第二卷积层、第二光谱归一化层、第一卷积层、压缩激励模块、拼接层、第三卷积层、自适应平均池化层、reshape整形层。

15、本发明的有益效果为:

16、针对高光谱图像跨场景地物识别的挑战,本文首次将扩散生成机制引入高光谱跨场景域泛化框架,提出了一种扩散模型辅助的双嵌入空间对齐的高光谱地物识别网络(diffusion-model-assisted dual-embedding space alignment network forhyperspectral land cover classification, dasan)。具体而言,首先设计了一个扩散模型生成模块,通过引入扩散过程重建特征以增强跨域数据的多样性,从而缓解不同场景之间的分布差异。随后,构建了跨尺度注意力交互随机化模块,充分捕获并融合光谱与空间信息的多尺度上下文特征,以提升特征表达的判别能力。最后,提出了一种基于双嵌入空间对齐的策略,通过同时在特征空间与类别空间建立一致性约束,进一步提升模型在未知场景中的泛化性能。

17、本发明的主要贡献如下:

18、本发明首次在高光谱跨场景泛化地物识别任务中引入扩散模型,设计了一种diffusion-assisted generator (dag),以生成多样化跨域样本,从而提升模型对未知场景的泛化能力。

19、设计csarm模块,通过尺度感知的注意力交互机制对光谱–空间表征进行协同建模,实现特征响应的动态重组与判别性语义强化,从而提升高维数据表征的判别能力与鲁棒性。

20、在语义嵌入空间和结构嵌入空间引入对齐约束,引导模型学习稳定的域不变表示,有效缓解跨场景分布偏移问题。