一种基于密集连接的特征金字塔遥感图像语义分割网络的制作方法

1.本发明属于计算机视觉领域，特别涉及一种基于密集连接的特征金字塔遥感图像语义分割方法。


背景技术：

2.对于标记数据不足的遥感图像，以往的研究主要集中在数据增强或设计相对简单的网络以避免过拟合。然而，最近的研究表明，网络越深网络的性能越好。随着神经网络层数的增加，可能会出现梯度消失的问题。因此，标记数据不足和梯度消失的问题是训练深度卷积神经网络进行远程图像分割的主要障碍。
3.遥感图像包含大量的信息，但每个样本中的数据量极其不均匀，这对分割方法也提出了很高的要求。将高层的特征图和低层的特征图连接起来，可以在增加网络深度的同时减小梯度消失的现象，但是随着网络深度的增加，参数和计算量也在增加，因此合理的利用特征图也称为研究重点。


技术实现要素：

4.为解决上述技术问题，本发明提供了一种基于密集连接的特征金字塔遥感图像语义分割方法，在特征提取部分使用了密集连接的方式，增强了网络的特征提取能力，特征金字塔融合模块中的优化单元充分利用了各层级特征，增强了网络的空间信息恢复能力，提高了分割的精确度。
5.为达到上述目的，本发明的技术方案如下：
6.一种基于密集连接的特征金字塔遥感图像语义分割网络，包括以下步骤，
7.(1)设计多个密集连接块db模块，每个密集连接块db模块之后添加过渡层，作为特征提取模块；
8.(2)每个密集连接块db模块的输出的特征图组成特征金字塔；
9.(3)设计每个优化单元分别接收对应的密集连接块db模块的输出作为输入，所有优化单元和一个拼接单元作为特征金字塔融合模块；
10.(4)将训练集图像输入到网络中训练并保存最佳语义分割网络模型，通过最佳网络模型得到最终分割结果。
11.进一步优选的，步骤(1)中特征提取模块的具体方法如下：
12.(1.4)设计所有密集连接块db模块，每个密集连接块db模块由多个卷积层组成，其卷积层的具体组成结构顺序为：批标准化 激活函数 1
×
1卷积 bn relu 3
×
3卷积；
13.(1.5)在每个密集连接块db模块中，卷积层之间采用密集连接方式：每个卷积层的输入为之前所有卷积层输出的拼接，若一个密集连接块db模块的卷积层数为l，则层之间所有的连接数为l
×
(l 1)/2，每个密集连接块db模块内部的特征图大小相同；
14.(1.6)每个密集连接块db模块之后添加过渡层，过渡层中包含了1
×
1卷积和2
×
2平均池化层。
15.进一步优选的，步骤(2)具体方法如下：
16.(2.1)n个密集连接块db模块经过过渡层后的输出分别为db1、db2、db3、db4
…
，dbn；
17.(2.2)设置db1、db2、db3、db4
…
，dbn的通道数；
18.(2.3)db1、db2、db3、db4
…
，dbn构成特征金字塔，作为特征金字塔融合模块的输入。
19.进一步优选的，步骤(3)中特征金字塔融合模块的具体方法如下：
20.(3.1)每个优化单元输入对应于dbn、
…
db4、db3、db2、db1；
21.(3.2)在优化单元一中，对dbn先做1
×
1的卷积操作，得到输出1，再做3
×
3的卷积操作，得到输出2，其中输出1作为下一个优化单元的输入1；
22.(3.3)除优化单元一，其他优化单元对应的上一个优化单元的输出1经过两倍的上采样，使其与本优化单元的特征图大小相同，便于特征图相加，相加后的特征图经过卷积操作得到本单元的输出2；
23.(3.4)所有优化单元的输出2分别经过不同倍数的上采样作为拼接单元的输入，拼接后得到大小为原图1/2的拼接特征图。
24.进一步优选的，步骤(4)具体方法如下：
25.(4.1)拼接特征图经过卷积和2倍的上采样操作恢复到原图大小，再使用再使用softmax对每个像素点进行分类；
26.(4.2)使用交叉熵损失函数计算真实数据和预测值之间的loss值来量化两者之间的差距，使用基于动量的小批量随机梯度下降法进行优化；
27.(4.3)将测试图像送入网络进行训练，保存最优的网络模型，使用最佳网络模型对测试图像进行预测。
28.有益效果
29.本发明考虑了采用密集连接的方法进行特征提取，利用密集连接的方式增强了网络的特征提取能力，设计了优化单元，在特征金字塔融合模块中使用优化单元充分利用了各层级特征，增强了网络的空间信息恢复能力，提高了分割的精确度，改善了模型的预测能力，可从复杂的背景中精准分割。
附图说明
30.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
31.图1为本发明实施例所公开的一种基于密集连接的特征金字塔遥感图像语义分割方法整体示意图；
32.图2为本发明实施例所公开的一种基于密集连接的特征金字塔遥感图像语义分割方法的模型示意图；
33.图3为本发明实施例所公开的特征金字塔融合模块中优化单元1的示意图；
34.图4为本发明实施例所公开的特征金字塔融合模块中优化单元2、3、4的示意图。
35.图5为本发明实施例所公开的一种基于密集连接的特征金字塔遥感图像语义分割方法的预测效果图。
具体实施方式
36.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
37.本发明提供了一种基于密集连接的特征金字塔遥感图像语义分割方法，如图1所示，具体实施例如下：
38.第一、数据预处理阶段：
39.第一步、原始数据集是isprs遥感图像数据集，图像尺寸为6000
×
6000，标签类别分别为背景、树木、建筑物、草坪以及汽车；
40.第二步、切分遥感图像，将原始rgb遥感图像和标签图切分为224
×
224的小图；
41.第三步、对切分后的数据做旋转、镜像、模糊和添加噪声的操作；
42.第四步、得到遥感图像和标签图各5000张的训练集；
43.第二、构建网络模型阶段：
44.第一步、设计四个优化单元分别接收对应的密集连接块db模块(n＝4)的输出作为输入，充分利用各层级的特征图(因为随着网络层次的加深，会丢失掉网络的浅层特征，低层的密集连接块db模块可以提取图像的浅层特征，高层的密集连接块db模块可以提取图像的高级特征，所以让每个密集连接块db模块的输出都输入到对应的优化单元中，可以保证低层的特征图和高层的特征图都被充分利用到)，每个密集连接块db模块由多个卷积层组成，其卷积层的具体组成结构顺序为批标准化(bn) 激活函数(relu) 1
×
1卷积 bn relu 3
×
3卷积；每个密集连接块的层与层之间采用密集连接方式，每个层的输入为之前所有层输出的拼接，若一个密集连接块db模块的层数为l，则层之间所有的连接数为l
×
(l 1)/2，每个密集连接块db模块内部的特征图大小相同，有利于特征图的直接拼接；每个密集连接块db模块之后添加过渡层，过渡层中包含了1
×
1卷积和2
×
2平均池化层，1
×
1卷积的目的是减少特征图数量，降低计算量；
45.第二步四个密集连接块db模块模块经过过渡层后的输出分别为db1、db2、db3、db4，大小分别为原图的1/4、1/8、1/16、1/32；db1、db2、db3、db4的通道数分别为64、128、256、512；db1、db2、db3、db4构成特征金字塔，作为特征金字塔融合模块的输入；设计四个优化单元，优化单元1、2、3、4的输入对应于db4、db3、db2、db1；在优化单元1中，对db4先做1
×
1的卷积操作，将特征图通道数降为128，得到输出1，再做3
×
3的卷积操作，得到输出2，其中输出1作为下一个优化单元的输入1；
46.第三步、在优化单元2、3、4中(图2中蓝色方框里为优化单元的从输入到输出)，对相应的输入先做1
×
1的卷积操作，将特征图通道数变为128(每个优化单元中都先做了1
×
1的卷积，特征图的的通道数变为相同的数值，方便后面的特征图相加)，再和上一个优化单元的输出1(经过1
×
1卷积后的特征图，通道数同样为128)经过两倍上采样(因为上一个优化单元的特征图是下一个优化单元特征图大小的1/2，所以要先经过两倍的上采样扩大两倍，特征图大小相等了才能相加)得到的特征图相加(对应通道上的像素值相加，相加后通道数不变，仍为128)，得到本单元的输出1，再经过1
×
1卷积，将特征图通道数降为64，再经过3
×
3卷积得到输出2；
47.第四步、优化单元1、2、3、4的输出2(大小分别为原图的1/32，1/16，1/8,，1/4)分别经过16倍、8倍、4倍、2倍的上采样作为拼接单元的输入，拼接后得到大小为原图1/2，通道数
为256(输出2的通道数都为64，四个优化单元拼接64
×
4＝256)的拼接特征图，图2-4所示。
48.第三、训练预测阶段：
49.第一步、拼接特征图经过卷积和2倍的上采样操作恢复到原图大小，再使用再使用softmax对每个像素点进行分类；
50.第二步、使用交叉熵损失函数计算真实数据和预测值之间的loss值来量化两者之间的差距，使用基于动量的小批量随机梯度下降法进行优化；
51.第三步、将数据集分割成训练集和验证集，验证集的大小是训练集的0.25倍，训练集大小为3750张图片，验证集为1250张图片；
52.第四步、将训练图像送入网络进行1000轮的训练，每一轮的训练批次大小为30，保存最优的网络模型，使用最佳网络模型对测试图像进行预测，图5中a)为真实图片，b)为预测图片，对比发现预测结果接近真实图片。
53.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。