一种遥感影像建筑物语义分割方法及系统

1.本发明属于图像处理技术领域，涉及一种遥感影像建筑物语义分割方法及系统。


背景技术：

2.建筑物提取是遥感影像信息自动提取领域中的一个经典问题，它的主要目的是识别并提取遥感影像中的建筑物区域。建筑物提取的结果在许多领域中都有着广泛的应用，比如军事侦察、环境与火灾监测、气象与资源观测等多方面发挥了至关重要的作用。因此，建筑物提取有着重要的研究价值。
3.大多数的传统方法通过人工或机器学习方法获取梯度、灰度值、纹理信息等图像特征实现对特定目标的分割，主要包括基于阈值、基于边缘和基于区域的分割方法。这类方法在图像提取时无法获取深层语义特征，导致有效特征提取困难，因此难以获得高精度的分割结果。
4.近年来越来越多的遥感图像语义分割方法使用卷积神经网络的深度学习技术来达到更准确的分割精度。但基于深度学习的遥感图像建筑物的准确分割依赖于深度学习网络对建筑物图像的特征信息有效表达，因此几何特征对遥感建筑物图像的分割至关重要，然而建筑物由于光照、季节、角度和边界不清晰等数据本质存在的干扰，导致深度学习网络难以真正学习到其本质边缘特征，因此常造成建筑物图像分割边缘的模糊。


技术实现要素：

5.本发明的目的在于提供一种遥感影像建筑物语义分割方法及系统，解决了现有技术中存在的上述不足。
6.为了达到上述目的，本发明采用的技术方案是：
7.本发明提供的一种遥感影像建筑物语义分割方法，包括以下步骤：
8.步骤1，获取遥感图像数据集；
9.步骤2，构建网络模型，其中，所述网络模型包括特征提取网络和特征恢复网络，其中，所述特征提取网络包括resnet网络和fd-aspp模块；所述特征恢复网络转置卷积层和agap注意力机制模块，所述resnet网络和fd-aspp模块的输出均连接至agap注意力机制模块；所述agap注意力机制模块的输出连接转置卷积层；
10.步骤3，利用步骤1得到的数据集对网络模型进行训练，得到训练后的网络模型；
11.步骤4，利用训练后的网络模型对待分割的遥感图像进行分割。
12.优选地，所述resnet网络包括卷积层，所述卷积层的输出连接最大池化层，最大池化层的输出分别连接三个卷积层，三个卷积层的输出均连接至fd-aspp模块；所述fd-aspp模块的输出依次连接四个卷积层、二十三个卷积层和三个卷积层。
13.优选地，所述fd-aspp模块包括五个分支，五个分支分别为四个空洞卷积子块和一个全局平均池化层，其中，每个空洞卷积子块的输出连接有一个dbc分形维数子块；
14.每个dbc分形维数子块和全局平均池化层的输出均连接至拼接层；所述拼接层的
输出连接有卷积层。
15.优选地，所述agap注意力机制模块包括全局平均池化层、全连接层和一个sigmoid激活函数。
16.优选地，所述agap注意力机制模块的输出连接有分类函数。
17.优选地，步骤3中，利用步骤1得到的数据集对网络模型进行训练，得到训练后的网络模型，具体方法是：
18.采用dice loss与bce loss相结合的多尺度复合损失函数，对构建得到网络模型进行训练，得到训练后的网络模型。
19.优选地，所述多尺度复合损失函数的表达式如下：
[0020][0021]
其中，bcelossi为尺度i下的bceloss，dicelossi为尺度i下的diceloss，i的取值范围为{0,2,3,...，n},n为所选取的尺度的个数。
[0022]
一种遥感影像建筑物语义分割系统，包括：
[0023]
获取模块，用于获取遥感图像数据集；
[0024]
构建模块，用于构建网络模型，其中，所述网络模型包括特征提取网络和特征恢复网络，其中，所述特征提取网络包括resnet网络和fd-aspp模块；所述特征恢复网络转置卷积层和agap注意力机制模块，所述resnet网络和fd-aspp模块的输出均连接至agap注意力机制模块；所述agap注意力机制模块的输出连接转置卷积层；
[0025]
训练模块，用于利用得到的数据集对网络模型进行训练，得到训练后的网络模型；
[0026]
分割模块，用于利用训练后的网络模型对待分割的遥感图像进行分割。
[0027]
与现有技术相比，本发明的有益效果是：
[0028]
本发明提供的一种遥感影像建筑物语义分割方法，以resnet网络为特征提取网络，在编码阶段中引入融合分形先验的空洞空间金字塔池化模块(fd-aspp)，利用分形维数捕获遥感图像的分形特征，增强了resnet网络的几何特征描述能力；解码阶段提出一种全局平均池化注意力融合机制(agap)，有效融合高层次特征和低层次特征，获取更加丰富的遥感图像语义信息和位置细节信息；采用多尺度复合损失函数，对构建的建筑物提取网络进行训练,并将待提取的遥感影像输入训练好的网络，获取语义分割结果；所提方法相比现有建筑物遥感语义分割算法具有更好的分割精度，有效克服了道路、树木、阴影等因素的干扰，得到了较清晰的建筑物边界。
附图说明
[0029]
图1是本发明的流程示意图；
[0030]
图2是本发明实施例提供的网络结构示意图；
[0031]
图3本发明实施例提供的fd-aspp结构示意图；
[0032]
图4是本发明实施例提供的agap注意力机制结构示意图；
[0033]
图5为本发明构建网络的实施例分割效果图；其中左边第一列为原图，中间为标签，右边一列为本发明网络分割结果；
[0034]
图6为本发明构建网络模型的实施例与fcn、segnet和u-net分割结果对比图。
具体实施方式
[0035]
下面结合实施例对本发明作进一步详细说明。
[0036]
请参阅图1所示，本发明提供的一种遥感影像建筑物语义分割方法，包括以下步骤：
[0037]
步骤1：对数据集进行数据增强：将遥感数据原图以及标注好的label图片依次进行旋转、翻转、模糊、高斯滤波、双边滤波或者添加白噪声得到增强之后的数据集。
[0038]
数据增强方法均为现有技术，此处不再做具体阐述。
[0039]
步骤2：构建网络结构，所述网络结构包括特征提取网络和特征恢复网络，其中：
[0040]
特征提取网络，如图2所示，特征提取网络包括resnet网络和fd-aspp模块，其中：
[0041]
resnet网络包括卷积层，所述卷积层的输出连接最大池化层，最大池化层的输出分别连接三个卷积层，三个卷积层的输出均连接至fd-aspp模块；所述fd-aspp模块的输出依次连接四个卷积层、二十三个卷积层和三个卷积层。
[0042]
所述fd-aspp模块包括五个分支，分别为四个空洞卷积子块和一个全局平均池化层，其中每个空洞卷积子块连接有一个dbc分形维数子块。
[0043]
每个dbc分形维数子块和全局平均池化层的输出均连接至拼接层，所述拼接层的输出连接卷积层。
[0044]
具体地：
[0045]
resnet网络具体为包括卷积核为7
×
7的步长为2，输出通道数为64的卷积。视野域为3
×
3步长为2的最大池化层，输出特征图结果记为f1。
[0046]
之后是三个卷积核分别为1
×
1、3
×
3、1
×
1步长均为1，输出通道数分别为64、64、256的卷积层，最终得到输出特征图f2。
[0047]
将f2经过fd-aspp模块，fd-aspp模块包括五个并行的分支，五个并行的分支中分别包含两个并行子块：
[0048]
卷积核为3
×
3空洞率a为3空洞卷积子块和滑动窗口大小为7的dbc分形维数子块；
[0049]
卷积核为3
×
3空洞率为5空洞卷积子块和滑动窗口大小为11的dbc分形维数子块；
[0050]
卷积核为3
×
3空洞率为11空洞卷积子块和滑动窗口大小为23的dbc分形维数子块；
[0051]
卷积核为3
×
3空洞率为15空洞卷积子块和滑动窗口大小为31的dbc分形维数子块；
[0052]
最后1个分支则为全局平均池化；用以将空洞卷积子块提取的深度信息和分形特征输出融合到新的特征作为单个分支的输出结果。
[0053]
最终将单个分支的输出结果进行拼接，再用1
×
1的卷积将通道数恢复为与原特征图相同的通道数，即可得到融合分形先验的多尺度特征f2new。
[0054]
再将f2new送入四个卷积核为1
×
1、3
×
3、1
×
1步长为1，输出通道数分别为128、128、512的卷积得到f3。
[0055]
再将f3送入二十三个卷积核为1
×
1、3
×
3、1
×
1步长为1，输出通道数分别为256、256、1024的卷积得到f4。
[0056]
再将f4送入三个卷积核为1
×
1、3
×
3、1
×
1步长为1，输出通道数分别为512、512、2048的卷积得到f5。
[0057]
构建特征恢复网络，所述特征恢复网络包括转置卷积层和agap注意力机制模块，其中，agap注意力机制模块包括全局平均池化层、全连接层和一个sigmoid激活函数。
[0058]
所述agap注意力机制模块的输出连接有分类函数。
[0059]
所述agap注意力机制模块的输入分别与resnet网络和fd-aspp模块的输出连接，所述agap注意力机制模块的输出连接转置卷积层。
[0060]
请参阅图4所示，将f5通过转置卷积还原到与f4相同大小，并记为高层次特征图(h)，再通过使用agap注意力机制模块进行融合。
[0061]
使用agap注意力机制进行融合的具体方法是：
[0062]
首先，将高层次特征图h的每个通道都进行全局平均池化，得到1
×1×
n(n为通道数)大小的类别信息特征图(f1)；
[0063]
然后，在f1之后连接一个全连接层，通过参数ω来为每个特征通道生成权重，参数ω被学习用来显式建模特征通道间的相关性；
[0064]
接着，利用激活函数f2＝sigmoid(ω
×
f1)，将特征映射到0和1之间，用作表示通道重要程度；
[0065]
最后，将经过特征选择后的特征图f2逐通道对低层次特征图(l)进行加权，完成对特征图l在通道维度上的重标定，使得特征图l也具备了高层次特征图类别信息的感受野。
[0066]
在每个高等级特征图和具有相同大小的低等级特征图之间连接注意力融合机制，网络通过4层不同尺度的agap注意力机制将f5,f4,f3,f2new,f1进行特征融合，最后输出的特征图包含了丰富的语义信息。
[0067]
步骤3：基于训练集，采用dice loss与bce loss相结合的多尺度复合损失函数，对构建的建筑物提取网络进行训练；
[0068]
bce loss函数如下:
[0069][0070]
其中，bcelossi为尺度i下(即预测的概率图分辨率为w/2i×
h/2i)的bceloss，i的取值范围为{0,2,3,...,n}；gj为像素j的真实标签，gj＝1表示为建筑物像素，gj＝0表示为非建筑物像素；pj是像素j为建筑物像素的预测概率；n为一张图像中的像素总数。
[0071]
dice loss函数如下:
[0072][0073]
其中，dicelossi为尺度i下(即预测的概率图的分辨率为w/2i×
h/2i)的diceloss，i的取值范围为{0,2,3,...,n}；|g∩p|是真实标签和预测标签的交集，|g|和|p|表示真实标签和预测标签的像素值之和。
[0074]
所述多尺度复合损失函数的表达式如下:
[0075][0076]
其中，bcelossi为尺度i下的bceloss，dicelossi为尺度i下的diceloss，i的取值范围为{0,2,3,...，n},n为所选取的尺度的个数。
[0077]
步骤4：将待提取的遥感影像输入训练好的建筑物提取网络，得到建筑物提取结果。
[0078]
请参阅图5所示，树木干扰情况下的遥感图像建筑物分割对比可以看出所提出的模型受到遥感图像中树木的干扰较小，整体上能够较好提取建筑物的完整边缘信息。
[0079]
请参阅图6所示，fcn网络分割的建筑物误分漏分较多，如图6(c)中所示，第一行小型建筑物被误分为背景，第四行的大型建筑物上方缺失。这种误分割主要是因为fcn网络的上采样直接将融合过的特征图利用上采样还原成输入图像大小，造成特征信息丢失现象，导致fcn网络的表达能力较弱。图6(d)中，segnet网络利用了编解码结构，将最大池化指数转移至解码器中，改善了分割分辨率，尽管能将大多数建筑物从背景中分离出来，但边缘分割效果不好，且有一些细节丢失的现象。图6(e)中，同样使用了aspp结构来改进resnet的deeplab v3网络由于缺乏几何的细节特征，对建筑物边缘分割效果不佳，如第一行小型建筑分割中出现了粘连现象，第三行图中大型建筑物上方边缘平滑性较差。图(f)中，u-net网络对建筑物分割效果相对较好，其通过在上采样过程中，跳跃连接相同尺寸的特征图并进行特征融合。由于其利用的2倍上采样倍数小，特征保留相对比较丰富，对小型建筑分割效果不错，建筑物轮廓也能够基本分割出来，但也存在一些错分现象如图6(f)中第5行大型建筑物右侧集装箱错分为建筑物。图6(g)为所提模型分割结果，从第一行和第二行分割结果图中能够看出，所提模型在树木背景干扰下仍能够进一步分割出的小型建筑物的边缘，具有一定的抗干扰能力，在细节上取得了较好的效果。由于受到道路的干扰，几个经典网络模型在第四行的大型建筑物上均未能完整分割，而所提模型实现了较为准确的分割且边缘完整度更高，使丢失细节信息的现象得到了有效缓解。所有对比模型的分割结果中，所提模型在建筑物边缘分割效果表现最好，预测结果也更为接近ground truth图。因此，所提模型不仅获得了更好的分割准确率，而且在建筑物的边缘获得更好的效果。
[0080]
所提的融合分形先验的resnet网络模型由于增加了fd-aspp模块，因此更有效利用了不同尺度特征和分形特征信息，提升了建筑物边缘信息上分割准确性；提出的模型与其它几种对比模型相比建筑物边缘清晰平滑，明显减少对树木道路等干扰物误分割的情况，对于不规则建筑物也有较好的分割效果，有效减少因建筑物距离较近而导致分割边界模糊的情况，分割结果优于fcn，segnet，deeplab v3，u-net模型。