基于多尺度特征融合与增强的遥感影像建筑物提取方法

1.本发明涉及一种基于多尺度特征融合与增强的遥感影像建筑物提取方法，属于遥感图像识别技术领域。


背景技术：

2.传统的计算机视觉技术进行高分遥感影像地面建筑物识别提取主要是利用建筑物的多边形形状信息、颜色和纹理特征，随后使用传统机器学习分类算法(adaboost、支持向量机、随机森林等)对这些特征进行分类，并完成建筑物的提取。但是真实环境下，城市建筑物有着复杂多变的纹理和颜色，以及会受到阴影的遮挡，这些因素使上述算法在复杂的建筑物提取场景下处理能力不足。


技术实现要素：

3.本发明的目的在于克服现有技术中的不足，提供一种基于多尺度特征融合与增强的遥感影像建筑物提取方法，在提高建筑物语义分割的准确率的同时，减小了网络模型参数量的大小，提高了模型训练速度和识别速度。
4.为达到上述目的，本发明是采用下述技术方案实现的：
5.第一方面，本发明提供了一种基于多尺度特征融合与增强的遥感影像建筑物提取方法，包括：
6.采集目标区域的遥感影像并进行预处理，将预处理后的遥感影像输入预构建的建筑物提取模型中进行建筑物提取；
7.其中，所述建筑物提取模型的构建过程包括：
8.采集目标区域的遥感影像，并人工标注遥感影像中建筑物区域得到对应的建筑物标签；
9.将遥感影像和建筑物标签按照预设比例划分为独立的训练样本、验证样本以及测试样本，以构成样本数据集，并对样本数据集进行预处理；
10.采用编码-解码结构构建深度学习网络模型，所述深度学习网络模型包括编码阶段和解码阶段，并且在编码阶段和解码阶段之间引入多尺度特征融合模块和双通道池化加权模块；
11.通过训练样本对网络模型进行训练，通过验证样本对训练后的网络模型进行验证及模型选择；
12.将测试样本输入选择后的网络模型中，根据模型输出的预测建筑物标签与真实建筑物标签进行比较得到精度指标；
13.若精度指标满足预设要求，则将选择后的网络模型作为建筑物提取模型。
14.可选的，所述编码阶段包括：
15.采用densenet-45网络作为编码器从输入的样本数据中提取含有深层以及浅层语义特征的特征图；
16.其中，所述编码器包括5个串联的dense block，每个dense block输出的特征图依次记为c1、c2、c3、c4、c5，所述特征图的尺寸分别为样本数据的1/2、1/4、1/8、1/16、1/32。
17.可选的，所述多尺度特征融合模块获取编码器末端dense block输出的特征图c5；
18.所述多尺度特征融合模块为四个分支并行结构；其中，前两个所述分支分别按照等差和等比的规律来组合不同扩张率的空洞卷积来获取特征图c5的不同尺度特征；后两个所述分支分别使用平均池化和最大池化来提取特征图c5的突出特征和平均特性；
19.四个所述分支末端均经过bn层和relu激活函数层来调整多尺度特征融合模块输出的数据分布；对四个所述分支的输出进行通道拼接，将拼接结果通过一个1*1的卷积层来融合特征以及调整输出特征图的数量，从而输出特征图c5′
。
20.可选的，所述解码阶段包括：
21.获取特征图c1、c2、c3、c4、c5′
，通过上采样逐步将特征图恢复为样本数据的尺寸，并通过4个双通道池化加权模块辅助上采样；
22.所述4个双通道池化加权模块分别记为第一双通道池化加权模块、第二双通道池化加权模块、第三双通道池化加权模块和第四双通道池化加权模块；
23.所述上采样过程如下：
24.将特征图c4和c5′
分别作为第四双通道池化加权模块的两个输入，将第四双通道池化加权模块的输出进行2倍上采样，得到特征图p4；
25.将特征图c3和p4分别作为第三双通道池化加权模块的两个输入，将第三双通道池化加权模块的输出进行2倍上采样，得到特征图p3；
26.将特征图c2和p3分别作为第二双通道池化加权模块的两个输入，将第二双通道池化加权模块的输出进行2倍上采样，得到特征图p2；
27.将特征图c1和p2分别作为第一双通道池化加权模块的两个输入，将第一双通道池化加权模块的输出进行2倍上采样，得到特征图p1；
28.将特征图p1进行2倍上采样的到样本数据的尺寸的特征图p，特征图p经过像素分类器输出单通道特征分割结果。
29.可选的，所述双通道池化加权模块包括上分支和下分支；
30.所述上分支获取编码器输出的特征图，并对特征图进行全局平均池化操作得到通道级别的全局特征；
31.对全局特征通过一次全连接操作、relu激活函数激活、二次全连接操作、sigmoid激活函数激活，学习通道之间的相互关系，并计算出不同通道的权重；
32.将得到的权重与解码阶段上采样输出的特征图相乘获取增强特征图；
33.对增强特征图进行1*1卷积操作实现通道之间的融合以及调整输出通道数量；
34.所述下分支获取编码器输出的特征图，并对特征图进行局部最大池化和局部平均池化操作得到通道级别的局部特征；
35.将局部特征进行逐通道相加学习，将学习到的权重通过1*1卷积操作进行融合以及调整输出通道数；将融合结果通过sigmoid激活函数激活，与解码阶段上采样输出的特征图相乘来选择性的聚焦每个像素点；
36.对上分支和下分支的输出进行逐通道相加并通过1*1卷积操作进行融合得到双通道池化加权模块的输出。
37.可选的，所述网络模型的训练过程包括优化函数和损失函数，所述优化函数为adam，学习率为0.0001；所述损失函数为交叉熵损失函数；通过计算损失函数误差，采用梯度反向传播算法不断优化调整网络权值和偏置，当损失函数误差收敛，则训练完成。
38.第二方面，本发明提供了一种基于多尺度特征融合与增强的遥感影像建筑物提取装置，所述提取装置包括：
39.数据获取模块：用于采集目标区域的遥感影像并进行预处理；
40.建筑物提取模块：用于将预处理后的遥感影像输入预构建的建筑物提取模型中进行建筑物提取；
41.其中，所述建筑物提取模型的构建过程包括：
42.采集目标区域的遥感影像，并人工标注遥感影像中建筑物区域得到对应的建筑物标签；
43.将遥感影像和建筑物标签按照预设比例划分为独立的训练样本、验证样本以及测试样本，以构成样本数据集，并对样本数据集进行预处理；
44.采用编码-解码结构构建深度学习网络模型，所述深度学习网络模型包括编码阶段和解码阶段，并且在编码阶段和解码阶段之间引入多尺度特征融合模块和双通道池化加权模块；
45.通过训练样本对网络模型进行训练，通过验证样本对训练后的网络模型进行验证及模型选择；
46.将测试样本输入选择后的网络模型中，根据模型输出的预测建筑物标签与真实建筑物标签进行比较得到精度指标；
47.若精度指标满足预设要求，则将选择后的网络模型作为建筑物提取模型。
48.第三方面，本发明提供了一种基于多尺度特征融合与增强的遥感影像建筑物提取装置，包括处理器及存储介质；
49.所述存储介质用于存储指令；
50.所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。
51.第四方面，本发明提供了计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一项所述方法的步骤。
52.与现有技术相比，本发明所达到的有益效果：
53.本发明提供的一种基于多尺度特征融合与增强的遥感影像建筑物提取方法，通过构建建筑物提取模型对遥感影像进行建筑物提取；在建筑物提取模型的构建过程中，通过编码器获取含有深层以及浅层语义特征的特征图，将编码器末端的输出的特征图输入到多尺度特征融合模块，获得新的特征图；将新的特征图进行双线性插值上采样之后的特征图输入到双通道池化加权模块，再将编码器输出的对应的特征图输入双通道池化加权模块，获得合并特征图，再合并特征图，再次进行双线性差值上采样恢复到原图大小；通过上述方法，能够提高建筑物语义分割的准确率的同时，大大减小了网络模型参数量，提高了训练和识别的速度，进而提升建筑物提取模型的性能，从而提升建筑物提取的准确性。
附图说明
54.图1是本发明实施例提供的一种基于多尺度特征融合与增强的遥感影像建筑物提
取方法流程图；
55.图2是本发明实施例提供的建筑物提取模型的构建过程流程图；
56.图3是本发明实施例提供的编码阶段和解码阶段流程示意图；
57.图4是本发明实施例提供的多尺度特征融合模块的原理示意图；
58.图5是本发明实施例提供的双通道池化加权模块的原理示意图；
59.图6是本发明实施例提供的编码器消融实验效果示意图；
60.图7是本发明实施例提供的多尺度特征融合模块消融实验效果示意图；
61.图8是本发明实施例提供的双通道池化加权模块消融实验效果示意图；
62.图9是本发明实施例提供的建筑物提取模型实验效果示意图。
具体实施方式
63.下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
64.实施例一：
65.如图1所示，本发明实施例提供了一种基于多尺度特征融合与增强的遥感影像建筑物提取方法，包括：
66.s1、采集目标区域的遥感影像并进行预处理；
67.s2、将预处理后的遥感影像输入预构建的建筑物提取模型中进行建筑物提取。
68.如图2所示，建筑物提取模型的构建过程包括：
69.s101、采集目标区域的遥感影像，并人工标注遥感影像中建筑物区域得到对应的建筑物标签。
70.s102、将遥感影像和建筑物标签按照预设比例划分为独立的训练样本、验证样本以及测试样本，以构成样本数据集，并对样本数据集进行预处理。
71.s103、采用编码-解码结构构建深度学习网络模型，深度学习网络模型包括编码阶段和解码阶段，并且在编码阶段和解码阶段之间引入多尺度特征融合模块和双通道池化加权模块。
72.s104、通过训练样本对网络模型进行训练，通过验证样本对训练后的网络模型进行验证及模型选择；
73.网络模型的训练过程包括优化函数和损失函数，优化函数为adam，学习率为0.0001；损失函数为交叉熵损失函数；通过计算损失函数误差，采用梯度反向传播算法不断优化调整网络权值和偏置，当损失函数误差收敛，则训练完成。
74.s105、将测试样本输入选择后的网络模型中，根据模型输出的预测建筑物标签与真实建筑物标签进行比较得到精度指标。
75.s106、若精度指标满足预设要求，则将选择后的网络模型作为建筑物提取模型。
76.具体的，编码阶段和解码阶段如图3所示。
77.编码阶段包括：
78.采用densenet-45网络作为编码器从输入的样本数据中提取含有深层以及浅层语义特征的特征图；
79.其中，编码器包括5个串联的dense block，每个dense block输出的特征图依次记
为c1、c2、c3、c4、c5，特征图的尺寸分别为样本数据的1/2、1/4、1/8、1/16、1/32。
80.编码器的效果图如图6所示，图中image为遥感影像，ground truth为建筑物标签，proposed(k＝24)，proposed(vgg-19)，proposed(k＝16)，proposed(k＝32)，proposed(k＝48)为搭载不同编码器的模型输出的效果图。
81.如图3所示，多尺度特征融合模块获取编码器末端dense block输出的特征图c5；
82.多尺度特征融合模块为四个分支并行结构；其中，前两个分支分别按照等差和等比的规律来组合不同扩张率的空洞卷积来获取特征图c5的不同尺度特征；后两个分支分别使用平均池化和最大池化来提取特征图c5的突出特征和平均特性；
83.四个分支末端均经过bn层和relu激活函数层来调整多尺度特征融合模块输出的数据分布；对四个分支的输出进行通道拼接，将拼接结果通过一个1*1的卷积层来融合特征以及调整输出特征图的数量，从而输出特征图c5′
。
84.验证：如图7所示，图中image为遥感影像，ground truth为建筑物标签，baseline mssfm为添加多尺度特征融合模块的效果图，baseline aspp为添加了传统aspp模型的效果图，baseline为直接效果图；通过在whu数据集上进行对比消融实验，添加多尺度特征融合模块之后对大型建筑物内部以及边缘分割的完整性和连续性更好，减少了“虫洞”现象。对于大型建筑物旁边的非建筑物的分割更加准确，在一定程度上避免了错误分割，miou、召回率、精度以及f1-score均有所提高。同时添加多尺度特征融合模块比添加aspp模块具有更好的性能，miou提升了0.89％。可以看出我们的多尺度特征融合模块可以很好的起到融合多通道特征扩大感受野的作用。
85.解码阶段包括：
86.获取特征图c1、c2、c3、c4、c5′
，通过上采样逐步将特征图恢复为样本数据的尺寸，并通过4个双通道池化加权模块辅助上采样；
87.4个双通道池化加权模块分别记为第一双通道池化加权模块、第二双通道池化加权模块、第三双通道池化加权模块和第四双通道池化加权模块；
88.上采样过程如下：
89.将特征图c4和c5′
分别作为第四双通道池化加权模块的两个输入，将第四双通道池化加权模块的输出进行2倍上采样，得到特征图p4；
90.将特征图c3和p4分别作为第三双通道池化加权模块的两个输入，将第三双通道池化加权模块的输出进行2倍上采样，得到特征图p3；
91.将特征图c2和p3分别作为第二双通道池化加权模块的两个输入，将第二双通道池化加权模块的输出进行2倍上采样，得到特征图p2；
92.将特征图c1和p2分别作为第一双通道池化加权模块的两个输入，将第一双通道池化加权模块的输出进行2倍上采样，得到特征图p1；
93.将特征图p1进行2倍上采样的到样本数据的尺寸的特征图p，特征图p经过像素分类器输出单通道特征分割结果。
94.如图5所示，双通道池化加权模块包括上分支和下分支；
95.上分支获取编码器输出的特征图，并对特征图进行全局平均池化操作得到通道级别的全局特征；
96.对全局特征通过一次全连接操作、relu激活函数激活、二次全连接操作、sigmoid
激活函数激活，学习通道之间的相互关系，并计算出不同通道的权重；
97.将得到的权重与解码阶段上采样输出的特征图相乘获取增强特征图；
98.对增强特征图进行1*1卷积操作实现通道之间的融合以及调整输出通道数量；
99.下分支获取编码器输出的特征图，并对特征图进行局部最大池化和局部平均池化操作得到通道级别的局部特征；
100.将局部特征进行逐通道相加学习，将学习到的权重通过1*1卷积操作进行融合以及调整输出通道数；将融合结果通过sigmoid激活函数激活，与解码阶段上采样输出的特征图相乘来选择性的聚焦每个像素点；
101.对上分支和下分支的输出进行逐通道相加并通过1*1卷积操作进行融合得到双通道池化加权模块的输出。
102.验证：如图8-9所示，图中image为遥感影像，ground truth为建筑物标签，proposed为添加双通道池化加权模块效果图，proposed_without_dapwm为未添加双通道池化加权模块效果图；ma-fcn，deeplabv3 、u-net、segnet、fcn为各种网络效果图。
103.在whu数据集上进行实验将含有双通道池化加权模块与不含双通道池化加权模块的同一模型进行比对，分析建筑物分割性能。同时为了证明该模块的通用性，将该模块添加到u-net网络中与原始的u-net网络进行比对。实验表明双通道注意力池化加权模块对于模型的整体分割精度提升较大，添加前后建筑物分割miou指标提升了4.61％，在召回率、精度以及f1-score方面也有较大提升。同时在u-net网络中添加了该模块也相较于添加前有更好的性能，其中miou提升了0.76％，可见该模块拥有较好的通用性能。
104.实施例二：
105.本发明实施例提供了一种基于多尺度特征融合与增强的遥感影像建筑物提取装置，提取装置包括：
106.数据获取模块：用于采集目标区域的遥感影像并进行预处理；
107.建筑物提取模块：用于将预处理后的遥感影像输入预构建的建筑物提取模型中进行建筑物提取；
108.其中，建筑物提取模型的构建过程包括：
109.采集目标区域的遥感影像，并人工标注遥感影像中建筑物区域得到对应的建筑物标签；
110.将遥感影像和建筑物标签按照预设比例划分为独立的训练样本、验证样本以及测试样本，以构成样本数据集，并对样本数据集进行预处理；
111.采用编码-解码结构构建深度学习网络模型，深度学习网络模型包括编码阶段和解码阶段，并且在编码阶段和解码阶段之间引入多尺度特征融合模块和双通道池化加权模块；
112.通过训练样本对网络模型进行训练，通过验证样本对训练后的网络模型进行验证及模型选择；
113.将测试样本输入选择后的网络模型中，根据模型输出的预测建筑物标签与真实建筑物标签进行比较得到精度指标；
114.若精度指标满足预设要求，则将选择后的网络模型作为建筑物提取模型。
115.实施例三：
116.本发明实施例提供了一种基于多尺度特征融合与增强的遥感影像建筑物提取装置，包括处理器及存储介质；
117.存储介质用于存储指令；
118.处理器用于根据指令进行操作以执行根据实施例一所述方法的步骤。
119.实施例四：
120.本发明提供了计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现实施例一所述方法的步骤。
121.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
122.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
123.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
124.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
125.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。