一种高分遥感影像居民地细粒度分类方法和装置与流程

1.本发明涉及遥感影像处理的技术领域，尤其是涉及一种高分遥感影像居民地细粒度分类方法和装置。


背景技术：

2.人类按照生产和生活需要而聚集定居的场所称为居民地。在各种比例尺地形图中，居民地要素是最基本的地理信息之一，也是地理空间数据库中最主要以及变化最快的要素之一。随着社会经济水平的发展，用户对地形图的现势性要求越来越高。
3.对现有地形图数据进行更新的需求愈加紧迫。目前基于遥感影像提取居民地的方法不断涌现，绝大多数方法将所有居民地要素视为一类要素进行识别提取，无法获取居民地要素内部的精细分类，难以满足地形图更新以及其他遥感应用中需要对居民地要素进行细分类的需求。
4.针对上述问题，还未提出有效的解决方案。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种高分遥感影像居民地细粒度分类方法和装置，以缓解了现有技术难以对居民地要素进行细分类的技术问题。
6.第一方面，本发明实施例提供了一种高分遥感影像居民地细粒度分类方法，包括：获取样本高分遥感影像，并对所述样本高分遥感影像中的居民地要素进行多类别标注，得到目标样本高分遥感影像；按照预设尺寸对所述目标样本高分遥感影像进行分割，得到样本数据集，并按照预设比例将所述样本数据集划分为训练集和验证集；利用所述训练集和所述验证集对多任务学习模型进行训练，得到目标多任务学习模型；在获取到待分类高分遥感影像之后，利用所述目标多任务学习模型，对所述待分类高分遥感影像进行居民地要素细粒度分类，得到所述待分类高分遥感影像的居民地要素细分类结果。
7.进一步地，所述居民地要素包括：独立房屋，街区，操场和高层房屋，对所述样本高分遥感影像中的居民地要素进行多类别标注，得到目标高分遥感影像，包括：为所述样本高分遥感影像中的独立房屋、街区和操场添加面标签，得到中间样本高分遥感影像；为所述中间样本高分遥感影像中的高层房屋添加包围框标签，得到所述目标样本高分遥感影像。
8.进一步地，利用所述目标多任务学习模型，对所述待分类高分遥感影像进行居民地要素细粒度分类，得到所述待分类高分遥感影像的居民地要素细分类结果，包括：将所述待分类高分遥感影像输入所述目标多任务学习模型，得到语义分割预测图和高层房屋结果图，其中，所述语义分割预测图包括所述待分类高分遥感影像中的独立房屋、街区和操场，所述高层房屋结果图包括：所述待分类高分遥感影像中的高层房屋；对所述语义分割预测图和所述高层房屋结果图进行融合，得到所述待分类高分遥感影像的居民地要素细分类结果。
9.进一步地，对所述语义分割预测图和所述高层房屋结果图进行融合，得到所述待
分类高分遥感影像的居民地要素细分类结果，包括：对所述语义分割预测图进行孔洞填充处理和碎图斑移除处理，得到目标语义分割预测图；基于所述目标语义分割预测图中包含的居民地要素的图斑，确定出所述高层房屋结果图中的中间高层房屋，其中，所述中间高层房屋为与所述目标语义分割预测图中包含的居民地要素的图斑的重叠面积大于预设阈值的高层房屋；确定出所述中间高层房屋中的目标高层房屋，其中，所述目标高层房屋为面积大于预设面积的中间高层房屋和面积小于预设面积的独立中间高层房屋；对所述目标高层房屋与所述目标语义分割预测图进行融合，得到融合图像；对所述融合图像中的居民地要素的轮廓进行简化平滑处理，以及将所述融合图像中的分类栅格转化为矢量，得到所述居民地要素细分类结果。
10.进一步地，所述多任务学习模型的模型骨干网为convnext-base，语义分割分类头为unet结构，目标检测定位分类头为yolov5s。
11.第二方面，本发明实施例还提供了一种高分遥感影像居民地细粒度分类装置，包括：获取单元，构建单元，训练单元和分类单元，其中，所述获取单元，用于获取样本高分遥感影像，并对所述样本高分遥感影像中的居民地要素进行多类别标注，得到目标样本高分遥感影像；所述构建单元，用于按照预设尺寸对所述目标样本高分遥感影像进行分割，得到样本数据集，并按照预设比例将所述样本数据集划分为训练集和验证集；所述训练单元，用于利用所述训练集和所述验证集对多任务学习模型进行训练，得到目标多任务学习模型；所述分类单元，用于在获取到待分类高分遥感影像之后，利用所述目标多任务学习模型，对所述待分类高分遥感影像进行居民地要素细粒度分类，得到所述待分类高分遥感影像的居民地要素细分类结果。
12.进一步地，所述居民地要素包括：独立房屋，街区，操场和高层房屋，所述获取单元，用于：为所述样本高分遥感影像中的独立房屋、街区和操场添加面标签，得到中间样本高分遥感影像；为所述中间样本高分遥感影像中的高层房屋添加包围框标签，得到所述目标样本高分遥感影像。
13.进一步地，所述分类单元，用于：将所述待分类高分遥感影像输入所述目标多任务学习模型，得到语义分割预测图和高层房屋结果图，其中，所述语义分割预测图包括所述待分类高分遥感影像中的独立房屋、街区和操场，所述高层房屋结果图包括：所述待分类高分遥感影像中的高层房屋；对所述语义分割预测图和所述高层房屋结果图进行融合，得到所述待分类高分遥感影像的居民地要素细分类结果。
14.第三方面，本发明实施例还提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储支持处理器执行上述第一方面中所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
15.第四方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序。
16.在本发明实施例中，通过获取样本高分遥感影像，并对所述样本高分遥感影像中的居民地要素进行多类别标注，得到目标样本高分遥感影像；按照预设尺寸对所述目标样本高分遥感影像进行分割，得到样本数据集，并按照预设比例将所述样本数据集划分为训练集和验证集；利用所述训练集和所述验证集对多任务学习模型进行训练，得到目标多任务学习模型；在获取到待分类高分遥感影像之后，利用所述目标多任务学习模型，对所述待
分类高分遥感影像进行居民地要素细粒度分类，得到所述待分类高分遥感影像的居民地要素细分类结果，达到了对居民地要素进行细分类的目的，进而解决了现有技术难以对居民地要素进行细分类的技术问题，从而实现了为地形图数据更新提供便利的技术效果。
17.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
18.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
19.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本发明实施例提供的一种高分遥感影像居民地细粒度分类方法的流程图；
21.图2为本发明实施例提供的一种高分遥感影像居民地细粒度分类装置的示意图；
22.图3为本发明实施例提供的一种电子设备的示意图。
具体实施方式
23.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.实施例一：
25.根据本发明实施例，提供了一种高分遥感影像居民地细粒度分类方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
26.图1是根据本发明实施例的高分遥感影像居民地细粒度分类方法的流程图，如图1所示，该方法包括如下步骤：
27.步骤s102，获取样本高分遥感影像，并对所述样本高分遥感影像中的居民地要素进行多类别标注，得到目标样本高分遥感影像；
28.具体的，对获取的样本高分遥感影像采用人工目视解译的方式对居民地要素进行多类别标注，分别获取得到独立房屋、街区、操场3类要素的面标签，同时对高层房屋进行包围框标注，得到高层房屋标签。
29.步骤s104，按照预设尺寸对所述目标样本高分遥感影像进行分割，得到样本数据集，并按照预设比例将所述样本数据集划分为训练集和验证集；
30.具体的，对目标样本高分遥感影像进行转换和裁剪，得到诸如512或1024像素大小的样本数据，基于样本数据构建样本数据集，并按照预设比例将样本数据集划分为训练集
和验证集。
31.步骤s106，利用所述训练集和所述验证集对多任务学习模型进行训练，得到目标多任务学习模型；
32.需要说明的是，多任务学习模型选取类unet网络，在模型结构中插入目标检测定位分类头。本发明实施例中采用的模型骨干网为convnext-base，语义分割分类头为unet结构，目标检测定位分类头为yolov5s，一起组成多任务学习网络模型。
33.将训练集中的独立房屋、街区和操场语义分割样本和高层房屋目标检测样本训练集输入多任务学习网络模型中进行模型训练和调优，通过验证集指标选取最优的模型，得到目标多任务学习网络模型。
34.在本发明实施例中，语义分割损失函数为交叉熵损失l
ce
和dice损失l
dice
的组合损失函数，目标检测损失函数分为分类损失l
cls
、定位损失l
box
和置信度损失l
obj
三部分，其中语义分割损失和目标检测损失的加权系数分别为0.6和0.4，具体的损失函数表达式如下：
35.l＝0.6
×
(l
ce
l
dice
) 0.4
×
(l
cls
l
box
l
obj
)。
36.步骤s108，在获取到待分类高分遥感影像之后，利用所述目标多任务学习模型，对所述待分类高分遥感影像进行居民地要素细粒度分类，得到所述待分类高分遥感影像的居民地要素细分类结果。
37.在本发明实施例中，通过获取样本高分遥感影像，并对所述样本高分遥感影像中的居民地要素进行多类别标注，得到目标样本高分遥感影像；按照预设尺寸对所述目标样本高分遥感影像进行分割，得到样本数据集，并按照预设比例将所述样本数据集划分为训练集和验证集；利用所述训练集和所述验证集对多任务学习模型进行训练，得到目标多任务学习模型；在获取到待分类高分遥感影像之后，利用所述目标多任务学习模型，对所述待分类高分遥感影像进行居民地要素细粒度分类，得到所述待分类高分遥感影像的居民地要素细分类结果，达到了对居民地要素进行细分类的目的，进而解决了现有技术难以对居民地要素进行细分类的技术问题，从而实现了为地形图数据更新提供便利的技术效果。
38.在本发明实施例中，步骤s108包括如下步骤：
39.步骤s11，将所述待分类高分遥感影像输入所述目标多任务学习模型，得到语义分割预测图和高层房屋结果图，其中，所述语义分割预测图包括所述待分类高分遥感影像中的独立房屋、街区和操场，所述高层房屋结果图包括：所述待分类高分遥感影像中的高层房屋；
40.步骤s12，对所述语义分割预测图和所述高层房屋结果图进行融合，得到所述待分类高分遥感影像的居民地要素细分类结果。
41.具体的，对所述语义分割预测图和所述高层房屋结果图进行融合，得到所述待分类高分遥感影像的居民地要素细分类结果，包括：
42.对所述语义分割预测图进行孔洞填充处理和碎图斑移除处理，得到目标语义分割预测图；
43.基于所述目标语义分割预测图中包含的居民地要素的图斑，确定出所述高层房屋结果图中的中间高层房屋，其中，所述中间高层房屋为与所述目标语义分割预测图中包含的居民地要素的图斑的重叠面积大于预设阈值的高层房屋；
44.确定出所述中间高层房屋中的目标高层房屋，其中，所述目标高层房屋为面积大
于预设面积的中间高层房屋和面积小于预设面积的独立中间高层房屋；
45.对所述目标高层房屋与所述目标语义分割预测图进行融合，得到融合图像；
46.对所述融合图像中的居民地要素的轮廓进行简化平滑处理，以及将所述融合图像中的分类栅格转化为矢量，得到所述居民地要素细分类结果。
47.在本发明实施例中，将待分类高分遥感影像输入目标多任务学习模型之后，得到语义分割预测图s和高层房屋结果图d。
48.对语义分割预测图s进行孔洞填充和碎图斑移除，得到语义分割结果s
post
。
49.需要说明的是，本发明实施例中，空洞填充采用形态学闭运算对小空洞进行填充，采用形态学开运算对小碎图斑进行移除。
50.对高层房屋结果d和语义分割结果s
post
进行融合，得到待分类高分遥感影像的居民地要素细分类结果，具体的融合步骤如下：
51.将高层房屋结果d中包围框和语义分割结果s
post
按图斑依次计算相交图斑的面积，将相交区域面积大于0(即，预设阈值)的标记为疑似高层房屋图斑b(即，中间高层房屋)；
52.根据疑似高层房屋图斑，采用一种自适应的选取策略，得到目标高层房屋，具体如下：
53.若疑似高层房屋图斑面积小于ts(即，预设面积)，则再判断该疑似高层房屋图斑是否为独立图斑，若为独立图版，则标记为目标高层房屋；若为非独立图斑，则标记为原始类别；
54.若疑似高层房屋图斑面积大于等于ts，则不论该图斑是否为独立图斑，将包含该区域的整个图斑标记为目标高层房屋。
55.最后，对4类居民地要素提取结果轮廓进行简化平滑，将分类栅格转换为矢量，得到居民地要素细分类结果。
56.相较于已有基于高分遥感影像的居民地提取方法仅仅将所有的建筑物作为一类进行提取，无法得到更细粒度的分类结果。本发明实施例采用一种多任务学习的遥感影像居民地要素细粒度分类方法，可以端到端的提取得到独立房屋、街区、高层房屋和操场4类居民地要素，为地形图更新、城市规划等遥感应用提供更为详尽的居民地分布信息。
57.实施例二：
58.本发明实施例还提供了一种高分遥感影像居民地细粒度分类装置，该高分遥感影像居民地细粒度分类装置用于执行本发明实施例上述内容所提供的高分遥感影像居民地细粒度分类方法，以下是本发明实施例提供的装置的具体介绍。
59.如图2所示，图2为上述高分遥感影像居民地细粒度分类装置的示意图，该高分遥感影像居民地细粒度分类装置包括：获取单元10，构建单元20，训练单元30和分类单元40。
60.所述获取单元，用于获取样本高分遥感影像，并对所述样本高分遥感影像中的居民地要素进行多类别标注，得到目标样本高分遥感影像；
61.所述构建单元，用于按照预设尺寸对所述目标样本高分遥感影像进行分割，得到样本数据集，并按照预设比例将所述样本数据集划分为训练集和验证集；
62.所述训练单元，用于利用所述训练集和所述验证集对多任务学习模型进行训练，得到目标多任务学习模型；
63.所述分类单元，用于在获取到待分类高分遥感影像之后，利用所述目标多任务学习模型，对所述待分类高分遥感影像进行居民地要素细粒度分类，得到所述待分类高分遥感影像的居民地要素细分类结果。
64.在本发明实施例中，通过获取样本高分遥感影像，并对所述样本高分遥感影像中的居民地要素进行多类别标注，得到目标样本高分遥感影像；按照预设尺寸对所述目标样本高分遥感影像进行分割，得到样本数据集，并按照预设比例将所述样本数据集划分为训练集和验证集；利用所述训练集和所述验证集对多任务学习模型进行训练，得到目标多任务学习模型；在获取到待分类高分遥感影像之后，利用所述目标多任务学习模型，对所述待分类高分遥感影像进行居民地要素细粒度分类，得到所述待分类高分遥感影像的居民地要素细分类结果，达到了对居民地要素进行细分类的目的，进而解决了现有技术难以对居民地要素进行细分类的技术问题，从而实现了为地形图数据更新提供便利的技术效果。
65.实施例三：
66.本发明实施例还提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储支持处理器执行上述实施例一中所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
67.参见图3，本发明实施例还提供一种电子设备100，包括：处理器50，存储器51，总线52和通信接口53，所述处理器50、通信接口53和存储器51通过总线52连接；处理器50用于执行存储器51中存储的可执行模块，例如计算机程序。
68.其中，存储器51可能包含高速随机存取存储器(ram，random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
69.总线52可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
70.其中，存储器51用于存储程序，所述处理器50在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中，或者由处理器50实现。
71.处理器50可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现成可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本
领域成熟的存储介质中。该存储介质位于存储器51，处理器50读取存储器51中的信息，结合其硬件完成上述方法的步骤。
72.实施例四：
73.本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例一中所述方法的步骤。
74.另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
75.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
76.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
77.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
78.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
79.最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。