基于CNN-Transformer的遥感影像处理方法

本发明属于遥感影像处理，涉及一种基于cnn-transformer的遥感影像处理方法。

背景技术：

1、随着高分辨率光学遥感卫星技术的快速发展，空间分辨率达到亚米级甚至分米级的光学遥感影像获取能力不断提升，为精细化道路信息提取提供了前所未有的数据基础。高分辨率光学遥感影像能够清晰展现道路的几何形状、纹理特征、光谱信息以及与周围地物的空间关系，使得基于影像的自动化道路提取技术在智慧城市建设、交通规划、地图更新、自动驾驶等领域具有重要应用价值。然而，高分辨率光学影像在提供丰富细节信息的同时，也带来了诸多技术挑战：影像中包含大量细微纹理和噪声干扰，道路边界更加复杂多变，不同类型道路的光谱差异显著，且容易受到阴影、遮挡、光照变化等因素影响。传统的道路提取方法主要依赖人工标注，效率低下且成本高昂，难以满足大规模、实时性道路信息更新的需求。

2、目前，基于深度学习的高分辨率光学遥感影像道路提取技术已成为该领域的主流方案。卷积神经网络（cnn）架构是当前道路提取的主流技术，其中u-net系列方法采用编码器-解码器结构，通过跳跃连接保持多尺度特征信息，改进版本包括dense u-net、residualu-net等，在deepglobe等标准数据集上取得60-75%的iou性能。d-linknet方法作为2018年deepglobe道路提取挑战赛冠军方案，结合空洞卷积和linknet结构，扩大感受野以处理不同尺度的道路特征。此外，注意力增强cnn如radanet、linknet34等，引入空间注意力和通道注意力机制，提升道路特征的选择性表达能力，但这些注意力机制多为通用设计，在处理高分辨率影像中复杂的道路网络时效果有限。

3、vision transformer的出现为高分辨率光学遥感影像道路提取带来了新的技术路径。swin transformer适配方案通过分层特征提取和窗口注意力机制，实现多尺度道路特征建模，在部分数据集上达到80-85%的iou性能。roadformer架构专门针对道路提取设计，通过金字塔可变形视觉transformer实现0.8886 iou和0.9407 f1-score的优异性能。然而，现有transformer方法中的自注意力机制主要基于数据驱动学习，缺乏融入领域专业知识的机制，在面对高分辨率光学影像中丰富的细节信息和复杂的干扰因素时，仍然存在道路分割不连续、误提取等问题。

4、近年来出现了cnn-transformer混合方案，其中seg-road模型结合transformer的长程依赖建模能力与cnn的局部特征提取优势，引入像素连通性结构（pcs）改善道路分割的连通性。dpenet双路径提取网络采用cnn和transformer并行处理，通过特征融合模块整合不同尺度的道路信息，取得了较好的提取效果。但这些混合方案中的注意力机制设计仍然遵循通用范式，在处理高分辨率光学影像中的复杂道路场景时，限制了算法的性能表现。

技术实现思路

1、针对上述传统方法中存在的问题，本发明提出了一种基于cnn-transformer的遥感影像处理方法，能够提升了复杂场景（如遮挡、阴影或尺度突变）下的道路边界识别鲁棒性，特别适用于高分辨率遥感影像或自动驾驶场景中的多尺度道路网提取任务。

2、一方面，提供一种基于cnn-transformer的遥感影像处理方法，所述方法包括：

3、获取第一图像；所述第一图像为高分辨率光学遥感影像。

4、对所示第一图像进行预处理，得到预处理后的第一图像。

5、将预处理后的第一图像输入到骨干网络中，得到混合特征图；所述骨干网络用于采用cnn-transformer并行双分支架构进行特征提取，然后采用跨注意力机制进行特征融合，得到混合特征图。

6、将所述混合特征图输入到道路先验知识驱动注意力模块中，得到增强特征图；所述道路先验知识驱动注意力模块用于采用几何与拓扑先验知识计算注意力权重以增强特征表达。

7、将所述增强特征图输入到多尺度道路信息提取模块中，得到多尺度道路特征图；所述多尺度道路特征图用于构建多分辨率特征金字塔，通过自适应尺度选择机制进行加权融合，得到多尺度道路特征图。

8、将所述多尺度道路特征图输入到道路约束优化模块中，得到道路概率图；所述道路约束优化模块用于联合几何与拓扑约束计算综合损失进行优化。

9、对所述道路概率图进行后处理，得到二值化的道路掩膜图和矢量化的道路网络数据。

10、上述技术方案中的一个技术方案具有如下优点和有益效果：

11、上述基于cnn-transformer的遥感影像处理方法，本方法采用cnn-transformer深度融合的混合架构，充分发挥两种技术的互补优势，特别适合处理高分辨率光学遥感影像中丰富的多尺度道路特征；设计了基于道路先验知识驱动的注意力机制，该机制将道路的线性几何特征、连续分布特性、方向性约束、宽度一致性等几何先验知识，以及道路网络的拓扑连通性、层次结构等语义先验知识融入注意力权重计算过程，实现了对高分辨率光学影像中道路特征的精准定位和提取；设计了专门针对高分辨率影像道路几何特征的多尺度信息提取模块，能够自适应地处理从主干道到小径等不同尺度的道路特征；引入道路几何约束和拓扑连通性约束作为正则化项，在训练过程中引导网络学习符合道路物理特性的表征，显著提升高分辨率光学遥感影像道路网络提取的完整性、准确性和几何合理性。

1.一种基于cnn-transformer的遥感影像处理方法，其特征在于，包括步骤：

2.根据权利要求1所述的基于cnn-transformer的遥感影像处理方法，其特征在于，所述骨干网络包括：cnn分支、transformer分支和特征交互模块；

3.根据权利要求1所述的基于cnn-transformer的遥感影像处理方法，其特征在于，所述道路先验知识驱动注意力模块包括：几何先验注意力子模块、语义先验注意力子模块、先验知识融合子模块和注意力应用子模块；

4.根据权利要求3所述的基于cnn-transformer的遥感影像处理方法，其特征在于，所述几何先验注意力子模块包括：方向感知注意力组件、宽度一致性注意力组件、连续性注意力组件和几何注意力融合组件；

5.根据权利要求3所述的基于cnn-transformer的遥感影像处理方法，其特征在于，所述语义先验注意力子模块包括层次结构注意力组件、连通性注意力组件和语义注意力融合组件；

6.根据权利要求1所述的基于cnn-transformer的遥感影像处理方法，其特征在于，所述多尺度道路信息提取模块包括金字塔特征融合子模块、自适应尺度选择子模块、道路尺度感知卷积子模块和加权融合子模块；

7.根据权利要求6所述的基于cnn-transformer的遥感影像处理方法，其特征在于，所述道路尺度感知卷积子模块包括小尺度分支、中尺度分支以及大尺度分支；

8.根据权利要求6所述的基于cnn-transformer的遥感影像处理方法，其特征在于，所述加权融合子模块包括特征1×1卷积层、通道注意力机制、权重学习组件、特征组合组件、层标准化层；

9.根据权利要求6所述的基于cnn-transformer的遥感影像处理方法，其特征在于，所述自适应尺度选择子模块包括：响应强度组件、注意力权重计算组件以及尺度选择策略组件；

10.根据权利要求1所述的基于cnn-transformer的遥感影像处理方法，其特征在于，所述道路约束优化模块包括道路几何约束子模块、道路拓扑约束子模块和综合损失子模块；