一种基于语义分割的无人机影像建筑分类方法及系统与流程

本发明提供一种基于语义分割的无人机影像建筑分类方法及系统，属于遥感影像处理和计算机视觉。

背景技术：

1、在城市规划、土地管理、灾害评估、农村普查等领域，需要对遥感影像中的建筑进行精准识别与分类。通过自动识别遥感影像中的建筑类型、位置和分布，可以为城市规划部门提供决策支持，为土地管理部门提供监测手段，为灾害评估部门提供灾情分析依据。

2、传统的建筑识别方法主要依赖人工目视解译，这种方法虽然准确率较高，但效率低下，成本高昂，无法满足大规模遥感影像处理的需求。随着计算机视觉技术的发展，基于深度学习的建筑识别方法逐渐成为研究热点。

3、现有的基于深度学习的遥感影像建筑识别方法存在以下技术问题：

4、第一，单阶段“直接分类”模型存在严重的特征冲突与背景干扰问题，难以兼顾高精度轮廓与细粒度分类。现有技术通常采用单一深度学习网络（如单阶段实例分割模型），在一张包含复杂背景的遥感整图中直接同时输出建筑掩码和具体类别。然而，像素级分割任务高度依赖局部边缘特征，细粒度分类任务却更依赖屋顶的全局纹理特征。将两种任务耦合在同一网络末端，不仅导致优化过程梯度相互干扰，更重要的是，在直接分类的机制下，分类特征提取极易被建筑周边的树木、道路、阴影等复杂背景像素污染，导致模型将“背景特征”误认为“类别特征”，最终表现为建筑边界粗糙或细分类别混淆严重。

5、第二，类别长尾分布导致模型对稀有类别的特征学习严重不足。在真实遥感场景中，不同建筑类型天然出现频率差异极大（如平房、彩钢房海量，光伏屋顶房屋、大棚极少）。现有常规训练方法被多数类样本主导梯度下降，导致对“光伏屋顶”等稀有类别的决策边界模糊，极易误判，无法支撑新能源普查等关键应用。

6、第三，模型跨区域泛化能力弱，存在严重的“域偏移”现象。现有模型多基于单一地理区域训练，不同地域建筑群空间布局、屋顶材质老化程度及成像条件差异巨大，单一地域训练的模型在遇到新地域数据时，漏报率和错误率显著上升。

7、第四，边缘建筑裁剪上下文缺失问题。当建筑靠近图像或切片边缘时，常规裁剪方式将越界部分截断，导致该方向上下文内容不足，分类模型接收到的输入不完整，影响分类准确率。

8、第五，模型选型情况复杂，尤其在语义分割和语义分割之中，还有cnn架构模型和transformer架构模型之中，难以进行一个准确的选择。

技术实现思路

1、本发明为了解决背景技术中存在的技术问题，采用的技术方案为：一种基于语义分割的无人机影像建筑分类方法，具体包括以下步骤：

2、步骤1：搭建深度学习框架，深度学习框架包括第一阶段建筑语义分割模型和第二阶段建筑分类模型；

3、步骤2：采集多地域遥感影像制作成多地域遥感影像数据集，并对多地域遥感影像数据集内建筑实例的类别进行标注，得到原始分割数据集；

4、步骤3：从原始分割数据集中提取单个建筑实例的影像和类别，构建分类数据集；

5、步骤4：对分类数据集中建筑实例的影像进行增强处理，用于平衡分类数据集中不同类别建筑实例的分布情况；

6、步骤5：使用原始分割数据集对第一阶段建筑语义分割模型进行训练，使用步骤4处理后的分类数据集对第二阶段建筑分类模型进行训练；

7、步骤6：采集待识别遥感影像，将待识别遥感影像输入第一阶段建筑语义分割模型进行建筑分割，输出像素级分割预测结果；从像素级分割预测结果中提取每个建筑实例的分割掩码和空间坐标；根据空间坐标采用上下文填充裁剪策略从待识别遥感影像中裁剪出每个建筑实例区域；将裁剪后的建筑实例区域输入第二阶段建筑分类模型进行类别预测，得到每个建筑实例的分类结果；

8、步骤7：将每个建筑实例的分类结果与空间信息映射，输出每个建筑实例的识别结果。

9、进一步地，第一阶段建筑语义分割模型包括基于transformer的语义分割网络和卷积块注意力模块，基于transformer的语义分割网络内设置有解码器，解码器包括解码器特征融合层和分类头，第二阶段建筑分类模型包括基于yolov8主干网络搭建的建筑分类模型。

10、进一步地，基于transformer的语义分割网络采用segformer，卷积块注意力模块采用cbam注意力模块。

11、进一步地，步骤5中具体还包括以下步骤：

12、步骤5.1：使用segformer作为语义分割网络，将cbam注意力模块设置于解码器特征融合层与分类头之间，使用原始分割数据集对第一阶段建筑语义分割模型进行训练；

13、步骤5.2：使用基于yolov8主干网络搭建的建筑分类模型和步骤4处理后的分类数据集对第二阶段建筑分类模型进行训练。

14、进一步地，cbam注意力模块包括通道注意力子模块和空间注意力子模块，通道注意力子模块与空间注意力子模块串联。

15、进一步地，在步骤5.1中具体还包括以下步骤：

16、步骤5.1.1：配置第一训练参数；

17、步骤5.1.2：配置第一数据增强策略，第一数据增强策略包括随机水平翻转、随机缩放、随机裁剪、颜色抖动、随机高斯模糊；

18、步骤5.1.3：配置交叉熵损失函数的权重；

19、步骤5.1.4：配置第一早停策略并开展对第一阶段建筑语义分割模型的训练。

20、进一步地，在步骤5.2中具体还包括以下步骤：

21、步骤5.2.1：配置第二训练参数；

22、步骤5.2.2：配置第二数据增强策略，第二数据增强策略包括随机旋转、随机平移、随机缩放、水平翻转；

23、步骤5.2.3：配置第二早停策略并开展对第二阶段建筑分类模型的训练。

24、进一步地，建筑实例的类别包括瓦房、平房、彩钢房、光伏屋顶房屋、大棚、城市建筑、工业厂房。

25、进一步地，建筑实例的识别结果包括建筑实例的位置坐标、轮廓、类别。

26、更进一步地，一种实施如上所述基于语义分割的无人机影像建筑分类方法的系统，数据采集与预处理模块的输出端与两阶段模型训练模块的输入端电性连接，两阶段模型训练模块的输出端与协同推理模块的输入端电性连接，协同推理模块的输出端与结果输出模块的输入端电性连接。

27、本发明相对于现有技术具备的有益效果为：1、通过segformer和cbam语义分割模型，实现了高精度的建筑边界分割。

28、2、通过cbam注意力模块，增强了建筑边界特征表达和稀有类别识别能力。

29、3、通过上下文填充裁剪策略，解决了边缘建筑分类输入不完整问题。

30、4、通过高精细度的多地域数据以及标注数据，增强了模型的跨区域泛化能力。

1.一种基于语义分割的无人机影像建筑分类方法，其特征在于，具体包括以下步骤：

2.根据权利要求1所述的一种基于语义分割的无人机影像建筑分类方法，其特征在于：第一阶段建筑语义分割模型包括基于transformer的语义分割网络和卷积块注意力模块，基于transformer的语义分割网络内设置有解码器，解码器包括解码器特征融合层和分类头，第二阶段建筑分类模型包括基于yolov8主干网络搭建的建筑分类模型。

3.根据权利要求2所述的一种基于语义分割的无人机影像建筑分类方法，其特征在于：基于transformer的语义分割网络采用segformer，卷积块注意力模块采用cbam注意力模块。

4.根据权利要求3所述的一种基于语义分割的无人机影像建筑分类方法，其特征在于：步骤5中具体还包括以下步骤：

5.根据权利要求4所述的一种基于语义分割的无人机影像建筑分类方法，其特征在于：cbam注意力模块包括通道注意力子模块和空间注意力子模块，通道注意力子模块与空间注意力子模块串联。

6.根据权利要求5所述的一种基于语义分割的无人机影像建筑分类方法，其特征在于：在步骤5.1中具体还包括以下步骤：

7.根据权利要求6所述的一种基于语义分割的无人机影像建筑分类方法，其特征在于：在步骤5.2中具体还包括以下步骤：

8.根据权利要求1所述的一种基于语义分割的无人机影像建筑分类方法，其特征在于：建筑实例的类别包括瓦房、平房、彩钢房、光伏屋顶房屋、大棚、城市建筑、工业厂房。

9.根据权利要求1所述的一种基于语义分割的无人机影像建筑分类方法，其特征在于：建筑实例的识别结果包括建筑实例的位置坐标、轮廓、类别。

10.一种实施如权利要求1-9中任一项所述基于语义分割的无人机影像建筑分类方法的系统，其特征在于：数据采集与预处理模块的输出端与两阶段模型训练模块的输入端电性连接，两阶段模型训练模块的输出端与协同推理模块的输入端电性连接，协同推理模块的输出端与结果输出模块的输入端电性连接。