基于动态双向知识学习的缺失模态土地利用分类方法和装置

本申请涉及遥感图像分析，特别是涉及一种基于动态双向知识学习的缺失模态土地利用分类方法和装置。

背景技术：

1、土地利用分类是遥感图像分析中一项至关重要且不可或缺的任务。其核心在于在像素级别进行精细的语义分割，以绘制整幅图像的土地覆盖类别图。因此，土地利用分类广泛应用于城市管理、环境监测和资源管理等任务中。光学传感器和合成孔径雷达(sar)传感器是最常见的传感器，由于二者能够联合利用图像特征来克服单一数据源的局限性（例如光学传感器易受天气干扰以及合成孔径雷达图像的高噪声含量），因此引起了广泛的关注和研究。

2、传统的多源图像特征融合方法依赖于人工设计的特征，这不足以满足当今高分辨率图像时代对精确细节的要求。深度学习方法的不断发展从根本上克服了手动特征设计的固有局限性和主观性，从而产生了更稳健、更准确的分类模型，能够捕捉遥感数据中复杂的空间上下文模式。图像特征融合方法利用光学图像和合成孔径雷达图像中嵌入的协同信息，通过各种融合策略，将各自独立提取的特征表示进行融合。这种精心设计的融合过程构建了一个全面而稳健的融合特征，显著提高了模型准确分类土地利用的能力。

3、然而，这些方法需要完整的光学和合成孔径雷达图像来进行训练和推理测试。这对于实际应用而言极具挑战性。在实际推理测试中，裁剪、配准和校正光学和合成孔径雷达图像极其耗时。此外，在极端天气条件下（例如灾害监测），可能无法获得高质量的光学图像，或者sar图像质量较差无法使用。此问题归类为不完整模态融合分类任务。在这种情况下，利用历史完整光学图像和sar图像的融合特征来训练一个能够直接对单模态光学或sar数据进行分类测试的网络，提高缺失模态数据情况下的分类准确性是一项紧迫的挑战。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于动态双向知识学习的缺失模态土地利用分类方法和装置。

2、一种基于动态双向知识学习的缺失模态土地利用分类方法，所述方法包括：

3、获取成对的光学图像和sar图像；

4、构建包括融合网络和反馈网络的动态双向知识学习模型，将成对的光学图像和sar图像输入融合网络，将光学图像或sar图像输入反馈网络；

5、对融合网络和反馈网络进行联合训练，训练过程中，利用融合网络分阶段提取多模态图像特征，以及利用反馈网络分阶段提取单模态图像特征并作为反馈特征后，将多尺度的反馈特征与对应尺度的多模态图像特征进行特征对齐与融合，得到多尺度的融合特征，采用金字塔融合策略分别对多尺度的反馈特征和多尺度的融合特征进行土地利用分类预测，得到基于反馈特征的分类结果和基于融合特征的分类结果；采用知识蒸馏策略将基于融合特征的分类结果通过软标签传递至反馈网络后，根据两种分类结果综合计算融合网络损失和反馈网络损失，并采用基于两类损失的梯度调整策略进行反向梯度传播，以调整融合网络与反馈网络的梯度冲突，直至训练收敛完成；

6、训练完成后，使用训练好的反馈网络作为测试网络，并将待分类的光学图像或sar图像输入测试网络，输出基于单模态图像的土地利用分类结果。

7、一种基于动态双向知识学习的缺失模态土地利用分类装置，所述装置包括：

8、数据获取模块，用于获取成对的光学图像和sar图像；

9、模型构建模块，用于构建包括融合网络和反馈网络的动态双向知识学习模型，将成对的光学图像和sar图像输入融合网络，将光学图像或sar图像输入反馈网络；

10、联合训练模块，用于对融合网络和反馈网络进行联合训练，训练过程中，利用融合网络分阶段提取多模态图像特征，以及利用反馈网络分阶段提取单模态图像特征并作为反馈特征后，将多尺度的反馈特征与对应尺度的多模态图像特征进行特征对齐与融合，得到多尺度的融合特征，采用金字塔融合策略分别对多尺度的反馈特征和多尺度的融合特征进行土地利用分类预测，得到基于反馈特征的分类结果和基于融合特征的分类结果；采用知识蒸馏策略将基于融合特征的分类结果通过软标签传递至反馈网络后，根据两种分类结果综合计算融合网络损失和反馈网络损失，并采用基于两类损失的梯度调整策略进行反向梯度传播，以调整融合网络与反馈网络的梯度冲突，直至训练收敛完成；

11、测试模块，用于训练完成后，使用训练好的反馈网络作为测试网络，并将待分类的光学图像或sar图像输入测试网络，输出基于单模态图像的土地利用分类结果。

12、上述基于动态双向知识学习的缺失模态土地利用分类方法和装置，相较于现有技术，具备以下有益效果：

13、1、提出了一种动态双向知识学习模型用于不完整模态下的土地利用分类，该模型促进了融合网络和反馈网络之间的相互引导，在仅有单模态图像数据的情况下显著提升了推理与分类能力。

14、2、引入了一种多阶段特征融合机制，有效地将多尺度的反馈特征融入多模态表征学习过程中，实现与对应尺度的多模态图像特征进行特征对齐与融合，得到多尺度的融合特征。这种设计使得在模态缺陷的情况下，能够实现更具自适应性和上下文感知的特征融合。

15、3、开发了一种梯度调整策略，用于识别并协调由光学和合成孔径雷达数据异构特性引起融合网络与反馈网络之间的梯度冲突，有效地最小化了融合网络和反馈网络联合优化过程中的表征差异，使得在测试模态仅为光学图像或sar图像时，也能学习到有助于正确分类区域的特征，提高土地利用分类的准确性。

1.一种基于动态双向知识学习的缺失模态土地利用分类方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于动态双向知识学习的缺失模态土地利用分类方法，其特征在于，所述反馈网络包括特征提取网络和第一金字塔融合模块；所述融合网络包括光学特征提取分支、sar特征提取分支、多阶段特征融合模块和第二金字塔融合模块；

3.根据权利要求2所述的基于动态双向知识学习的缺失模态土地利用分类方法，其特征在于，所述特征提取网络、光学特征提取分支和sar特征提取分支均基于hrnet进行图像特征的分阶段提取；

4.根据权利要求2所述的基于动态双向知识学习的缺失模态土地利用分类方法，其特征在于，所述多阶段特征融合模块采用注意力机制进行动态融合权重计算，并根据动态融合权重对同一尺度的反馈特征、光学图像特征和sar图像特征进行特征对齐与融合，得到多尺度的融合特征，包括：

5.根据权利要求4所述的基于动态双向知识学习的缺失模态土地利用分类方法，其特征在于，当所述反馈特征是反馈网络提取的sar图像特征时，所述多阶段特征融合模块进行特征对齐与融合的过程表示为：

6.根据权利要求1所述的基于动态双向知识学习的缺失模态土地利用分类方法，其特征在于，采用知识蒸馏策略将基于融合特征的分类结果通过软标签传递至反馈网络后，根据两种分类结果综合计算融合网络损失和反馈网络损失，表示为：

7.根据权利要求1所述的基于动态双向知识学习的缺失模态土地利用分类方法，其特征在于，采用基于两类损失的梯度调整策略进行反向梯度传播，以调整融合网络与反馈网络的梯度冲突，包括：

8.一种基于动态双向知识学习的缺失模态土地利用分类装置，其特征在于，所述装置包括：