基于域自适应的跨城市绿地乔灌草精细分类方法及装置

摘要: 本发明涉及遥感影像处理与深度学习,具体涉及基于域自适应的跨城市绿地乔灌草精细分类方法及装置,该方法是一种面向高分辨率遥感影像的城市绿地乔灌草精细分类方法,尤其适...
基于域自适应的跨城市绿地乔灌草精细分类方法及装置

本发明涉及遥感影像处理与深度学习,具体涉及基于域自适应的跨城市绿地乔灌草精细分类方法及装置,该方法是一种面向高分辨率遥感影像的城市绿地乔灌草精细分类方法,尤其适用于大范围、多城市场景下的跨域迁移分类。

背景技术:

1、城市绿地是城市生态系统中不可或缺的自然基础设施,将其内部进一步细分为乔木、灌木和草地(乔灌草),对于现代城市规划、碳汇估算及人居环境评估具有重要意义。高分辨率遥感技术的发展为城市复杂背景下的绿地乔灌草分类提供了数据支撑。当前,基于深度学习的分割方法已成为该领域的主流技术。

2、部分城市绿地遥感分类研究致力于提升分类精度。早期研究依赖中低分辨率影像的光谱阈值分割(如ndvi),但难以解决高分辨率影像中“同物异谱”及阴影干扰问题。随后发展的面向对象影像分析结合传统机器学习(如支持向量机、随机森林)虽有所改进,但模型性能严重依赖人工特征工程,且浅层模型容量有限,难以区分乔灌草这种细粒度植被类型。

3、近年来,深度学习尤其是卷积神经网络(cnn)和视觉transformer的引入带来了突破。例如,有研究通过引入高分辨率网络(hrnet)结合focal tversky loss提升城市绿地分类精度;有研究基于yolo v8利用gf-7影像区分常绿树、落叶树、灌木和草原;还有研究针对绿地边缘模糊问题提出了多尺度特征融合与transformer网络(mfftnet)。然而,这些高精度模型普遍依赖于大量精细标注的样本数据,而现有开源数据集(如gid数据集)多面向城乡混合场景,其植被所处的空间分布模式、背景地物与高密度城市建成区存在显著差异。直接将此类数据集训练的模型迁移至城市区域,会因域偏移问题导致灌木被误判为树冠阴影、草坪边界提取支离破碎等现象。

4、在面对全国或全球尺度的宏观分析需求时,学者们致力于提升模型的跨区域迁移能力。早期工作采用中低分辨率数据结合简单机器学习,但混合像元效应严重低估绿地面积。近期研究开始引入深度学习域自适应方法或半监督机制。例如,有研究采用基于hrnet的半监督深度学习方法,通过预训练与局部微调成功生成了中国36个大城市的3米分辨率蓝绿灰景观数据集;另有研究引入对抗学习思想,绘制了31个主要城市的1米分辨率城市绿地地图。然而,上述方法仍高度依赖大规模的样本数据集,且目前缺乏面向城市领域的细粒度乔灌草分类样本开源数据集。现有具备乔灌草标签的高分辨率数据集(如gid)标签主要针对自然林地、农田等非纯粹城市环境,其与城市建成区之间的域偏移问题仍未得到根本解决。

5、许多研究引入无监督域自适应技术提升模型的跨域泛化能力,主要分为以下四类:基于对抗训练的方法借鉴生成对抗网络思想,通过域判别器与特征提取器的博弈,拉近源域与目标域的全局特征分布。该类方法在消除传感器及宏观环境引起的全局偏移方面具有优势,但容易忽视局部语义一致性,且在面对长尾样本时特征对齐效果较差。基于自训练的方法利用源域预训练模型对目标域生成伪标签,再以高置信度伪标签进行迭代微调。该类方法能挖掘目标域内部结构,但极易受伪标签噪声影响,产生误差累积,且若置信度阈值设置不当会导致少数类退化。基于风格迁移的方法在像素空间将源域影像风格转换为目标域风格,但难以处理由地理纬度、物候差异导致的深层结构特征转换。还有基于混合策略的方法,如结合对抗训练与自训练的triada模型,兼顾了全局分布对齐与局部特征挖掘,具有最强的跨域鲁棒性,但模型结构复杂、计算开销大。

6、现有基于深度学习的城市绿地乔灌草分类方法主要存在以下技术缺陷:

7、1,现有乔灌草分类方法受样本域偏移影响,细粒度分类精度低

8、现有的高精度乔灌草分类方法(如基于u-net、deeplabv3+、swin transformer等模型)通常采用全监督学习范式,其性能高度依赖于训练数据与测试数据分布的一致性。然而,目前公开的具备乔灌草精细标签的高分辨率遥感数据集(如gid数据集)其样本主要采集于自然林地、大片农田或城乡结合部,与高密度城市建成区(建筑物密集、阴影严重、植被斑块破碎)在光谱特征、纹理特征和空间分布模式上存在本质差异。直接将此类城乡混合数据集训练的模型应用于城市区域,会引发域间偏移问题,导致模型将低矮灌木误判为树冠阴影、将草坪与背景混淆,乔灌草细粒度分类的总体精度显著下降。现有域自适应方法虽在一定程度上缓解了全局偏移,但针对城市绿地乔灌草分类任务中存在的长尾分布问题(乔木占绝对优势,灌木、草地样本稀少),尚未提出有效的针对性解决方案。

9、2,现有跨城市乔灌草分类方法泛化能力弱,难以实现无标注迁移

10、当需要将分类方法推广至全国多个城市时,不同城市之间因纬度气候差异导致的植被物候变化(如生长季不同步)、传感器辐射特性差异(如谷歌地球影像由多源卫星拼接、色调拉伸不一致)以及太阳高度角差异(阴影模式变化),形成了更为复杂的域内偏移问题。现有无监督域自适应方法(如单纯对抗训练或自训练)在应对此类跨城市偏移时存在明显缺陷:对抗训练方法倾向于对齐全局分布,忽略局部语义一致性,对灌木、草地等长尾类别的对齐效果差;自训练方法依赖伪标签,但易受噪声累积影响,且采用全局统一置信度阈值会导致少数类因置信度低而被过滤,模型逐渐退化。目前缺乏一种无需目标城市任何人工标注,能够有效克服跨城市物候、传感器及阴影差异,实现乔灌草细粒度分类的域自适应方法。

11、3,现有方法难以支撑全国尺度多城市高分辨率乔灌草分类

12、受限于上述域偏移问题和跨城市迁移能力的不足,现有城市绿地分类研究大多局限于单个城市或少数几个城市,且多数停留在绿地/非绿地的二分类层面。能够实现大范围、多城市、1米分辨率乔灌草细粒度分类的方法尚属空白。这导致难以从景观生态学角度对比不同气候带、不同发展阶段城市在植被空间配置和乔灌草结构上的宏观分异规律。

技术实现思路

1、本发明提供了一种基于域自适应的跨城市绿地乔灌草精细分类方法及装置,可以实现城市区域的乔灌草精细分类,为后续景观格局分析提供高质量的数据基础。

2、本发明提供的基于域自适应的跨城市绿地乔灌草精细分类方法包括:获取源域数据和目标域数据,其中,所述源域数据包括源域标注数据集,所述目标域数据包括目标城市无标签遥感影像;利用所述源域数据和所述目标域数据,通过域间对抗训练与类平衡自训练构建单城市乔灌草分类模型;通过基于信息熵的子域划分与域内对抗训练实现所述单城市乔灌草分类模型跨城市模型迁移;其中,经过所述子域划分与域内对抗训练的单城市乔灌草分类模型用于对目标城市全域影像进行滑动窗口预测,并输出乔灌草分类结果图。

3、在一种可能的实现方式中,所述获取源域数据和目标域数据,包括:从遥感影像数据集中具有筛选出与城市环境相关且包括乔木、灌木、草地、背景中至少一类标签的样本,得到所述源域标注数据集。

4、在一种可能的实现方式中,所述获取源域数据和目标域数据,包括:下载所述目标城市的遥感影像,其中,所述目标城市的遥感影像的缩放等级为18级;利用全球城市边界数据集在所述目标城市的遥感影像中裁剪出所述目标城市的城区范围,并采用均匀空间采样策略选取代表性影像瓦片作为训练集,其余作为预测集。

5、在一种可能的实现方式中,所述获取源域数据和目标域数据,还包括:将所述源域数据和所述目标域数据中的所有影像统一裁剪为256×256像素大小,并进行数据增强操作;其中,所述数据增强操作包括随机翻转和/或旋转。

6、在一种可能的实现方式中,所述利用所述源域数据和所述目标域数据,通过域间对抗训练与类平衡自训练构建单城市乔灌草分类模型,包括:构建生成器;构建域间判别器;将所述源域数据和所述目标域数据输入生成器,利用域间判别器对所述生成器进行域间对抗训练;所述域间对抗训练包括交替进行的第一步和第二步;在所述第一步,固定所述生成器的参数,训练所述域间判别器,使得所述域间判别器学会区分源域预测结果和目标域预测结果;在所述第二步,固定所述域间判别器的参数,训练所述生成器,使得所述生成器最小化源域上的分割损失且最大化所述域间判别器的判别错误率。

7、在一种可能的实现方式中,所述生成器采用编码器-解码器结构;其中,所述编码器包括串行结合的卷积神经网络和移位窗口变换器swin transformer;其中,所述卷积神经网络用于提取植被的局部纹理细节,所述swin transformer用于通过基于窗口的自注意力机制和移动窗口自注意力机制,捕获全局长距离上下文语义信息;所述解码器用于通过双线性插值进行上采样,逐步恢复图像分辨率,并引入跳跃连接将所述卷积神经网络提取到的特征与所述解码器提取到特征拼接,以及通过卷积层和softmax函数输出每个像素属于乔木、灌木、草地、背景这四类中每一类的概率图。

8、在一种可能的实现方式中,所述域间判别器由四个卷积层串联构成,其中,所述四个卷积层中的每个卷积层后依次连接relu激活函数和dropout层。

9、在一种可能的实现方式中,所述利用所述源域数据和所述目标域数据,通过域间对抗训练与类平衡自训练构建单城市乔灌草分类模型,还包括:在完成所述域间对抗训练后,进行自训练;其中,所述自训练包括如下步骤:利用所述生成器对目标域数据进行预测,得到每个像素分别属于乔木、灌木、草地、背景这四个类别中各类别的置信度;针对乔木、灌木、草地、背景这四个类别,分别收集所有像素的置信度,并各自从高到低排序;设定随迭代轮次逐渐增大的筛选比例,并取每个类别排序中前对应比例的像素作为该类别的高置信度伪标签;其中,每个类别的初始筛选比例和该类别的总体置信度正相关,该类别的总体置信度由所有像素对该类别的置信度得到;利用乔木、灌木、草地、背景这四个类别的高置信度伪标签,更新所述生成器的参数。

10、在一种可能的实现方式中,所述通过基于信息熵的子域划分与域内对抗训练实现所述单城市乔灌草分类模型跨城市模型迁移,包括:基于信息熵对目标域进行子域划分,得到易分子域和难分子域;以及,构建域内判别器;利用所述易分子域、所述难分子域和所述域内判别器,对经过所述域间对抗训练的的生成器进行域内对抗训练;其中,所述域内对抗训练包括交替进行的第三步和第四步;在所述第三步,固定经过所述域间对抗训练的生成器的参数,训练所述域内判别器,使得所述域内判别器能分辨特征来自所述易分子域还是所述难分子域;在所述第四步,固定所述域内判别器的参数,训练经过所述域间对抗训练的生成器,使得经过所述域间对抗训练的生成器最小化所述易分子域上的分割损失和所述难分子域上的对抗损失。

11、本发明提供的基于域自适应的跨城市绿地乔灌草精细分类装置包括:获取模块,用于获取源域数据和目标域数据,其中,所述源域数据包括源域标注数据集,所述目标域数据包括目标城市无标签遥感影像;域间训练模块,用于利用所述源域数据和所述目标域数据,通过域间对抗训练与类平衡自训练构建单城市乔灌草分类模型;域内训练模块,用于通过基于信息熵的子域划分与域内对抗训练实现所述单城市乔灌草分类模型跨城市模型迁移;其中,经过所述子域划分与域内对抗训练的单城市乔灌草分类模型用于对目标城市全域影像进行滑动窗口预测,并输出乔灌草分类结果图。

12、本发明提供的基于域自适应的跨城市绿地乔灌草精细分类方法及装置实现了大范围多城市的高精度乔灌草分类。其中,该方法通过两阶段域自适应框架,系统性解决了从开源数据集到单城市、再到多城市的累积域偏移问题,同时处理了域间偏移与域内偏移。并且,该方法在跨城市迁移阶段完全不依赖目标城市的任何人工标注样本,仅利用无标签影像即可完成模型适配。