一种基于多维多尺度U-net网络的遥感图像道路提取方法

net网络，提高利用遥感图像进行城外道路提取的精确度。
6.首先，该专利中使用特征求和的方式连接残差结构的两个分支，这种融合方式只是为特征分配固定的权重，没有考虑特征内容的变化，效率较低。本发明使用注意力特征融合的方式融合残差结构的两个分支，能够以尺度感知的方式动态的、自适应的融合接收到的特征，弥补了不同分支之间存在的语义差距，增强了网络对遥感图像全局和局部信息的学习能力。其次，由于上下采样的重复应用，在解码网络中连接的高层特征和低层特征之间存在不准确的对应关系，仅通过通道叠加的连接方式连接未对齐的特征可能会对后续的学习产生不利的影响。该专利中没有考虑到这一问题。针对这个问题，本发明在解码网络中加入特征对齐模块，通过特征对齐模块动态地建立不同层次特征之间的位置对应关系，提高了解码器重建精确细节的能力。


技术实现要素：

7.本发明旨在解决以上现有技术的问题。提出了一种基于多维多尺度u-net网络的遥感图像道路提取方法。本发明的技术方案如下：
8.一种基于多维多尺度u-net网络的遥感图像道路提取方法，其包括以下步骤：
9.步骤1、选取公开的遥感道路数据集massachusetts道路数据集作为原始数据，并进行裁剪、数据增强在内的预处理步骤；
10.步骤2、将预处理后的数据输入编码网络，编码网络结合了残差结构和注意力特征融合机制对道路特征信息进行多尺度提取；
11.步骤3、编码网络的输出作为桥接网络的输入，在桥接网络部分添加空洞空间金字塔池化aspp模块，空洞空间金字塔池化aspp模块包括并行的空洞卷积层，aspp模块中并行的空洞卷积层相当于多个不同的接收域，用于在多个尺度上并行采样，实现深层特征上多尺度特征融合；
12.步骤4、解码网络阶段：通过上采样逐步恢复特征图像至输入图像大小。在解码网络加入特征对齐模块fam，该模块将高层特征和编码网络对应层次的低层特征作为输入生成语义流，通过使用语义流来调整两个相邻层级的特征图以生成高分辨率强语义的特征输出；
13.步骤5、最后通过1
×
1卷积层将通道数变为2，通过massachusetts数据集中的测试集对模型进行测试；
14.模型训练期间采用交叉熵损失函数和dice损失函数相结合的复合损失函数对模型进行损失计算。
15.进一步的，所述步骤1具体包括：
16.massachusetts数据集图像大小均为1500
×
1500,设置一个256
×
256区域对该原始数据集所有图像进行剪裁；将256
×
256
×
3波段的高分数据作为输入数据输入到搭建的编码网络中，以提取道路信息。
17.进一步的，所述步骤2将预处理后的数据输入编码网络，编码网络结合了残差结构和注意力特征融合机制对道路特征信息进行多尺度提取，具体包括：
18.编码网络包括卷积序列块csb和注意力残差学习单元arlu，预处理操作后的rgb图像先经过卷积序列块转化为高维度特征，然后通过注意力残差学习单元以生成多尺度多层
次特征；在注意力残差学习单元中，使用残差单元替代普通的神经网络单元，然后通过注意力特征融合模块融合残差单元中的恒等映射分支和残差分支。通过注意力特征融合方式融合残差结构两分支，使得网络可以沿通道维度对特征图进行多个尺度上的信息提取，同时保持了网络的轻量化。
19.进一步的，所述步骤3是在桥接网络的aspp模块包含5个并行分支，分别为：一个1
×
1卷积分支、三个3
×
3扩张卷积分支和一个全局平均池化分支，其中，1
×
1卷积分支和全局平均池化分支相当于分别使用最小和最大的感受野来保持输入的固有特性，另外三个分支分别设置不同扩张率旨在不同尺度上对图像特征进行描述。
20.进一步的，所述步骤4具体包括：在解码网络阶段逐步通过上采样恢复特征图像至输入图像大小。将解码网络的高层特征和编码网络对应层次的低层特征使用特征对齐模块连接。在特征对齐模块内，首先高层特征通过逆卷积改变图像大小和通道数目，然后将变化后的高层特征和低层特征连接，经过卷积操作以产生语义。根据语义流，特征对齐模块调整高层和低层特征之间由于重复上下采样导致的不准确对应关系，使得高层特征中的语义信息更好的流向低层特征中，弥合了高低层特征之间的语义和分辨率差异，指引模型更好的恢复到初始分辨率同时包含丰富的语义信息。
21.进一步的，所述步骤5模型预测阶段具体包括：通过1
×
1卷积层将特征图通道数变化为2，生成最终预测图；将massachusetts数据集中测试图像通过预处理后输入到训练好的模型之中。
22.进一步的，使用交叉熵损失函数和dice损失函数组成的复合损失函数对模型损失进行计算，交叉熵损失函数和dice损失函数定义分别如下：
[0023][0024][0025]
式中，n表示像素总数，gi表示像素i的真实标签值，pi表示像素i预测值；
[0026]
复合损失函数定义如下：
[0027]
l＝l
bce
ld。
[0028]
本发明的优点及有益效果如下：
[0029]
本发明的创新主要是权利要求步骤2、步骤3、步骤4的配合。步骤2引入残差学习，使网络训练更加容易，在很大程度上解决了深度网络存在的退化问题；同时使用注意力特征融合模块来融合残差结构的两个分支，弥补了不同分支之间的语义差距，且增强了网络对遥感图像全局和局部信息的学习能力。步骤3桥接网络使用了aspp，通过并行的扩张卷积层来增大卷积核接收域，进一步的对高层特征进行多个尺度的信息提取和融合，改善道路的连通性。步骤4 在解码网络中加入特征对齐模块，动态地建立不同层次特征之间的位置对应关系，解决了不同层次特征之间存在的错位问题，提高了解码网路重建精确细节的能力。
附图说明
[0030]
图1是本发明提供优选实施例一种基于mms-unet的遥感图像道路提取模型框架图。
[0031]
图2是编码网络中的卷积序列块
[0032]
图3是编码网络中的残差注意力残差学习单元(arlu)
[0033]
图4是注意力融合模块(aff)
[0034]
图5是aspp模块
[0035]
图6是特征对齐模块(fam)
具体实施方式
[0036]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
[0037]
本发明解决上述技术问题的技术方案是：
[0038]
本发明拟解决实际应用中，模型存在的感受野受限，残差结构中恒等映射分支和残差分支融合效率低，高低层特征融合效率低等问题。针对以上问题，我们提出一种基于多维多尺度u-net的遥感图像道路提取方法。该方法通过注意力特征融合方法充分利用来自不同层的信息，使用aspp扩大卷积核的接受域，再加入特征模块对齐融合高低层信息，上采样到输入图像大小，生成预测图。通过在massachusetts公开道路数据集上测试，表明我们的方法预测图像的效果较好。
[0039]
图1所示的是本发明的网络结构具体实施步骤和结构，其中：
[0040]
步骤(1)是本模型输入数据的预处理方法，massachusetts数据集图像大小均为1500
×
1500，我们设置一个256
×
256区域对该原始数据集所有图像进行剪裁。将256
×
256
×
3波段的高分数据作为输入数据输入到我们搭建的mms-unet网络模型中，以提取道路信息。
[0041]
步骤(2)是在编码网络结合残差结构和注意力特征融合模块以进行道路特征提取。编码网络包括卷积序列块csb和注意力残差学习单元arlu。卷积序列块由堆叠的两个卷积序列构成，每个卷积序列包括一个3
×
3卷积层，一个批量归一化层和一个relu层。输入的rgb图像先经过卷积序列块转化为高维度特征，然后通过注意力残差学习单元以生成多尺度多层次特征；在注意力残差学习单元中，使用残差单元替代普通的神经网络单元，然后通过注意力特征融合模块融合残差单元中的恒等映射分支和残差分支；注意力特征融合模块先将恒等映射分支输出和残差分支输出通过特征求和方式融合，然后把融合后的结果a输入到多尺度通道注意力模块ms-cam，其中一个分支 g(a)使用全局平均池化来获取全局通道上下文信息，另一个分支l(a)直接使用点卷积的方式获取局部通道上下文信息。通过求和操作将g(a)和l(a)两分支融合，令ms-cam的输出为m,则：
[0042]
g(a)＝b(pw2(δ(b(pw1(g(a))))))
ꢀꢀꢀ
(1)
[0043]
l(a)＝b(pw2(δ(b(pw1(a)))))
ꢀꢀꢀ
(2)
[0044]
m(a)＝σ(g(a) l(a))
ꢀꢀꢀ
(3)
[0045]
其中，g(
·
)表示全局平均池化操作(gap)。pw1和pw2分别表示卷积核为
和的点卷积操作，r表示通道缩减率。b表示批量归一化操作 (bn)，δ表示relu激活函数，σ表示sigmoid函数。因此，注意力特征融合模块aff的输出f可由式(4)所示：
[0046][0047]
其中，表示元素乘法。该模块通过点卷积将局部信息添加到全局信息中，使得网络可以沿通道维度对特征图进行多个尺度上的信息提取，同时保持了网络的轻量化。注意力残差学习单元通过注意力特征融合模块连接残差分支和恒等映射分支，以一种尺度感知的方式动态的、自适应的融合接收到的特征，弥补了不同分支特征之间存在的语义差距，增强了网络对遥感图像全局和局部信息的学习能力，提高了道路识别的准确度。
[0048]
步骤(3)是在桥接网络包括部分引入aspp模块实现深层特征上多尺度特征提取。aspp模块包含5个分支，一个1
×
1卷积分支、三个3
×
3扩张卷积分支和一个全局平均池化分支。其中，1
×
1卷积分支和全局平均池化分支相当于分别使用最小和最大的感受野来保持输入的固有特性，另外三个分支分别设置6、 12、18的扩张率并行对特征图进行特征采样；最后将这五个分支的输出通过特征拼接融合，并使用一个1
×
1卷积层调整通道数目。
[0049]
步骤(4)是在解码网络阶段逐步通过上采样恢复特征图像至输入图像大小。桥接网络的输出首先通过逆卷积将通道数目和图像尺寸变化为与编码网络对应层次特征一致，而后将fh和f
l
通过拼接方式融合，并输入到3
×
3卷积层以生成语义流s
l
，如公式(1)所示；
[0050]sl
＝conv1(cat(t(fh),f
l
))
ꢀꢀꢀ
(1)
[0051]
式中，conv1(
·
)表示3
×
3卷积操作，cat(
·
)表示拼接操作，t(
·
)表示逆卷积操作。得到的语义流相当于高层特征与低层特征之间存在两个方向上的偏移量。通过加法运算将低层特征图上的每一个像素点p
l
对应到高层特征图上的像素点ph，之后对ph的四个邻近点进行线性插值，可实现高层特征和低层特征的语义对齐，如公式(2)和(3)示：
[0052][0053][0054]
式中，ν(ph)表示高层特征图中像素点ph的邻近点，w
p
表示通过扭曲网格的距离估计的双线性核权重。将f
l
通过1
×
1卷积改变通道数目后与fh(ph)进行求和操作，得到特征对齐模块输出f
out
，即：
[0055]fout
＝conv2(f
l
) fh(ph)
ꢀꢀꢀ
(4)
[0056]
式中，conv2(
·
)表示1
×
1卷操作；通过特征对齐模块弥合了高低层特征之间的语义和分辨率差异，指引模型更好的恢复到初始分辨率同时包含丰富的语义信息。
[0057]
步骤(5)为模型最终预测阶段，通过1
×
1卷积层将特征图通道数变化为2，生成最终预测图。将massachusetts数据集中测试图像通过预处理后输入到训练好的模型之中，实验结果表明，改进u-net的网络模型可以取得更好的道路提取结果。
[0058]
步骤(6)本发明道路提取任务使用了交叉熵损失函数和dice损失函数组成的复合
损失函数。在遥感图像中，道路是一段狭窄的区域，与整幅图像相比，道路所占的比例非常小，道路和背景之间存在样本类别的高度不平衡问题。交叉熵损失函数对分割结果中的每个像素进行评估，如果图像中存在类别不平衡问题，会导致样本较多的类别出现过度拟合。从遥感图像中提取道路时，网络会偏向背景学习，降低了网络提取前景目标的能力。dice系数把一个类别的所有像素作为一个整体，并计算两个类别的交集在整体中的比例，所以不受大量背景像素的影响，在样本不平衡的情况下可以达到更好的效果。因此，交叉熵损失函数和dice损失函数定义分别如下：
[0059][0060][0061]
式中，n表示像素总数，gi表示像素i的真实标签值，pi表示像素i预测值；
[0062]
复合损失函数定义如下：
[0063]
l＝l
bce
ldꢀꢀꢀ
(3)
[0064]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0065]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0066]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0067]
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。