一种遥感影像道路提取方法及系统

1.本发明涉及图像处理领域，特别是涉及一种遥感影像道路提取方法及系统。


背景技术：

2.随着遥感卫星和无人机技术的蓬勃发展和广泛应用，如何从高分辨率遥感影像中提取道路信息成为当前一个重要的研究课题。然而，传统的目视解译道路提取方法不仅费时费力，而且自动化程度较低。因此，研究快速、自动化和高性能的高分辨率遥感影像道路提取方法能够有效地提升道路信息获取效率和提取精度。
3.传统道路提取方法大多利用基于像元和面向对象等思想进行高分辨率遥感影像的道路信息获取。基于像元的方法主要是依靠不同波谱的遥感影像，通过构建道路的几何形状等特征，仅能进行简单背景下的道路提取任务[，但面对背景信息较为复杂的遥感影像时，往往会导致提取结果出现严重的椒盐噪声现象。面向对象的方法将遥感影像划分为大小不一的分类单元，再进行道路信息提取，具有良好的抗噪性和适用性。但这种方法由于建筑物阴影遮挡和相似地物混淆等影响，致使道路提取结果中常常存在断裂或粘连现象。同时，对于光谱信息丰富的遥感影像，传统道路提取方法难以顾及多样性、高复杂的道路特征，无法适应大范围、高精度的道路提取任务，提取效果有待进一步提升。
[0004]
近年来，随着深度学习(deep learning，dl)的不断发展，利用卷积神经网络(convolutional neural network，cnn)对不同地物的分类识别、特征提取工作取得了巨大的进步，具有十分广阔的应用前景。cnn根据所输入的遥感影像，能够自主地学习地物的光谱、几何和形状等特征，克服了传统方法手工构造特征的缺点，被广泛应用在道路提取任务中。特别的，基于端到端的cnn应用不同层级结构的编码器对输入数据进行编码，学习并提取道路的语义特征，具有浅层特征自动获取的显著优势；同时，使用解码器对获取的语义特征逐级解码，恢复深层特征的空间分辨率。为克服解码器中深层特征空间细节信息不易恢复的难题，引入基于跳跃连接的思想，进行不同层级之间的特征融合操作，不仅充分利用了空间细节信息较为丰富的浅层特征，而且生成了语义信息更为细致的深层特征，在道路提取任务中获得了较好的提取效果。因此，基于端到端的cnn道路提取方法成为了新的研究热点之一。
[0005]
虽然基于端到端的cnn道路方法在区别道路和其他地物方面具有突出的优势，但在以往的道路提取工作中依然存在以下问题：(1)由于高分辨率遥感影像中道路的复杂性和多样性，简单的卷积算子无法敏锐地关注每个特征点之间的空间关系，也难以完全地感知道路特征的全局语义信息，使得道路提取效果不佳。(2)基于端到端的cnn通过跳跃连接的思想，加强了对浅层特征空间细节信息的利用程度。但由于浅层特征和深层特征之间存在较大的语义差距，若以传统通道叠加的方式简单地进行浅层和深层特征融合操作，可能会忽视不同层级特征之间的冗余性，进而限制了空间信息和语义信息等有益特征在编码器和解码器之间的有效传播。(3)随着cnn的卷积层数不断增加，尽管一定程度上提高了道路提取模型的识别性能和提取精度，但是过多卷积层的cnn带有大量的网络参数和计算复杂
度，具有较高的时间成本，并严重阻碍了道路提取模型预测的推理速度，不利于开展大幅高分辨率遥感影像的道路提取任务。


技术实现要素：

[0006]
基于此，本发明实施例提供一种遥感影像道路提取方法及系统，以快速准确的从遥感影像中提取道路信息。
[0007]
为实现上述目的，本发明提供了如下方案：
[0008]
一种遥感影像道路提取方法，包括：
[0009]
获取待解译的遥感影像；
[0010]
将所述待解译的遥感影像输入道路提取模型中，提取所述待解译的遥感影像的道路信息；
[0011]
其中，所述道路提取模型的确定方法为：
[0012]
构建sgf-net模型；所述sgf-net模型包括依次连接的编码器、全局信息感知网络和解码器；所述编码器与所述解码器连接；所述编码器是基于空间注意力机制构建的；所述编码器用于提取输入遥感影像的浅层特征，得到第一特征图；所述全局信息感知网络用于提取所述第一特征图的深层特征，得到第二特征图；所述解码器用于将所述第一特征图中的浅层特征与所述第二特征图中的深层特征进行解码并融合，得到输入遥感影像的道路信息；所述浅层特征包括道路光谱信息和道路几何形状信息；所述深层特征包括道路语义信息；
[0013]
采用遥感训练影像和对应的道路信息对所述sgf-net模型进行训练，并将训练好的sgf-net模型确定为初始提取模型；
[0014]
采用知识蒸馏策略对所述道路初始提取模型进行压缩得到所述道路提取模型。
[0015]
本发明还提供了一种遥感影像道路提取系统，包括：
[0016]
数据获取模块，用于获取待解译的遥感影像；
[0017]
道路提取模块，用于将所述待解译的遥感影像输入道路提取模型中，提取所述待解译的遥感影像的道路信息；
[0018]
所述道路提取模块，具体包括：模型确定子模块；
[0019]
所述模型确定子模块用于确定道路提取模型；所述模型确定子模块，具体包括：
[0020]
模型构建单元，用于构建sgf-net模型；所述sgf-net模型包括依次连接的编码器、全局信息感知网络和解码器；所述编码器与所述解码器连接；所述编码器是基于空间注意力机制构建的；所述编码器用于提取输入遥感影像的浅层特征，得到第一特征图；所述全局信息感知网络用于提取所述第一特征图的深层特征，得到第二特征图；所述解码器用于将所述第一特征图中的浅层特征与所述第二特征图中的深层特征进行解码并融合，得到输入遥感影像的道路信息；所述浅层特征包括道路光谱信息和道路几何形状信息；所述深层特征包括道路语义信息；
[0021]
模型训练单元，用于采用遥感训练影像和对应的道路信息对所述sgf-net模型进行训练，并将训练好的sgf-net模型确定为初始提取模型；
[0022]
模型压缩单元，用于采用知识蒸馏策略对所述道路初始提取模型进行压缩得到所述道路提取模型。
[0023]
与现有技术相比，本发明的有益效果是：
[0024]
本发明实施例提出了一种遥感影像道路提取方法及系统，利用空间注意力机制和全局信息感知网络构建sgf-net模型，提高了浅层特征的空间信息表达能力，并获取了包括道路语义信息的深层特征，sgf-net模型中的解码器完成了浅层特征的空间信息和深层特征的语义信息的有效融合，从而对sgf-net模型进行训练得到的初始提取模型能准确的从遥感影像中提取道路信息；采用知识蒸馏策略对道路初始提取模型进行压缩得到道路提取模型，减少了道路初始提取模型的网络参数和计算复杂度，因此，道路提取模型能快速并准确地获取遥感影像中的道路信息。
附图说明
[0025]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0026]
图1为本发明实施例提供的遥感影像道路提取方法的大体构思示意图；
[0027]
图2为本发明实施例提供的遥感影像道路提取方法的流程图；
[0028]
图3为本发明实施例提供的道路提取模型的确定方法流程图；
[0029]
图4为本发明实施例提供的sgf-net模型的结构示意图；
[0030]
图5为本发明实施例提供的编码块的基础结构残差学习单元的结构图；
[0031]
图6为本发明实施例提供的空间注意力机制层的结构图；
[0032]
图7为本发明实施例提供的全局信息感知网络的结构图；
[0033]
图8为本发明实施例提供的解码块的结构图；
[0034]
图9为本发明实施例提供的特征融合模块的结构图；
[0035]
图10为本发明实施例提供的多层次知识蒸馏学习策略压缩示意图；
[0036]
图11为本发明实施例提供的道路数据集示例示意图；
[0037]
图12为本发明实施例提供的五种经典卷积神经网络模型在deep globe道路数据集上的提取结果示意图；
[0038]
图13为本发明实施例提供的五种模型在马萨诸塞州测试集上的道路提取结果示意图；
[0039]
图14为本发明实施例提供的五种道路提取模型在京津新城测试集上的道路提取结果示意图；
[0040]
图15为本发明实施例提供的道路提取结果示意图。
具体实施方式
[0041]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0042]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实
施方式对本发明作进一步详细的说明。
[0043]
本实施例提供的遥感影像道路提取方法的大体构思如图1所示。首先利用大量的遥感影像样本(遥感训练影像)对sgf-net道路提取模型进行训练，并在测试数据集中客观地评价道路提取的精度和效果，然后使用所构建的多层次知识蒸馏学习策略减少训练好的sgf-net模型(初始提取模型)的网络参数，快速准确地完成待解译遥感影像中道路信息的提取。西面对本实施例的遥感影像道路提取方法进行详细说明。
[0044]
参见图2，本实施例的方法，包括：
[0045]
步骤s1：获取待解译的遥感影像。
[0046]
步骤s2：将所述待解译的遥感影像输入道路提取模型中，提取所述待解译的遥感影像的道路信息。
[0047]
参见图3，其中，所述道路提取模型的确定方法为：
[0048]
步骤201：构建sgf-net模型；所述sgf-net模型包括依次连接的编码器、全局信息感知网络和解码器；所述编码器与所述解码器连接；所述编码器是基于空间注意力机制构建的。所述编码器用于提取输入遥感影像的浅层特征，得到第一特征图；所述全局信息感知网络用于提取所述第一特征图的深层特征，得到第二特征图；所述解码器用于将所述第一特征图中的浅层特征与所述第二特征图中的深层特征进行解码并融合，得到输入遥感影像的道路信息；所述浅层特征包括道路光谱信息和道路几何形状信息；所述深层特征包括道路语义信息。
[0049]
步骤202：采用遥感训练影像和对应的道路信息对所述sgf-net模型进行训练，并将训练好的sgf-net模型确定为初始提取模型。
[0050]
步骤203：采用知识蒸馏策略对所述道路初始提取模型进行压缩得到所述道路提取模型。
[0051]
参见图4，下面对步骤201中sgf-net模型中的各个网络结构进行具体介绍。
[0052]
(1)编码器
[0053]
参见图4，所述编码器，具体包括：多个依次连接的编码单元。所述编码单元包括依次连接的编码块和空间注意力机制层。
[0054]
编码器应用多个编码块和空间注意力机制层自主地学习遥感影像中道路的光谱信息和道路几何形状信息等潜在信息，并生成不同层级的浅层特征；全局信息感知网络利用扩张卷积和自注意力单元，分别感知不同范围大小的特征区域以及每个特征点之间的长距离关系，有效地聚集道路特征的上下文信息(语义信息)；解码器一方面使用特征融合模块充分利用浅层特征的空间信息和深层特征的语义信息，另一方面采用解码块逐级恢复道路特征的空间分辨率，最后输出道路提取结果二值图。具体的：
[0055]
编码器采用resnet-34作为道路浅层特征提取的骨干提取网络，并利用空间注意力单元进一步突出浅层特征中道路的光谱、纹理和形状等潜在信息。为避免过度的下采样而导致空间细节信息的大量丢失，移除了resnet-34初始层的步长卷积和池化层，保留余下四个阶段的编码块。因此，本实施例中的编码器包括四个依次连接的编码单元，即具有四个编码块。
[0056]
①
编码块
[0057]
所述编码块是基于resnet-34网络构建的；所述编码块用于对输入的特征进行编
码，得到编码特征。
[0058]
图5展示了编码块的基础结构残差学习单元，采用连续两次的3
×
3卷积来提取道路特征信息，并通过恒等映射机制学习输入和输出之间的差别，既提取了语义信息相对丰富的浅层道路特征，又保护了输入信息的完整性。
[0059]
残差学习单元尽管能够简化模型的训练难度，具有较好的浅层特征学习能力，但由于遥感影像中复杂的道路特征、背景信息的干扰以及标准卷积局部感知的特性，使得浅层特征无法准确地表达道路特征的空间信息。因此，采用如图6所示的空间注意力机制层重点学习特征点之间的空间分布关系，突出道路特征的表达。
[0060]
②
空间注意力机制层
[0061]
参见图6，所述空间注意力机制层包括依次连接的池化层和尺寸为7
×
7的第一卷积层；所述池化层用于对输入的所述编码特征分别进行最大池化和平均池化，得到道路特征在空间维度的分布信息；所述第一卷积层用于根据所述分布信息确定道路特征的空间分布关系，并为每个特征点分配权重，得到空间注意力特征图；所述空间注意力特征图与所述编码特征点乘后，再与所述编码特征相加，得到编码输出特征。具体的，空间注意力机制层首先对输入x∈rc×h×w在通道维度进行平均池化和最大池化，获取道路特征在空间维度的分布信息。然后使用7
×
7卷积和sigmoid激活函数，自主地学习道路特征的空间分布关系，为每个特征点优化分配权重，得到空间注意力特征图，再与输入特征x进行矩阵点乘和特征相加后，最终获得编码输出特征y∈rc×h×w，突出了道路特征在空间层次上的表达，忽视无关信息的影响。
[0062]
其中，所述编码器中第一个编码单元的编码块输入的特征为输入遥感影像；所述编码器的最后一个编码单元的编码输出特征为所述第一特征图。
[0063]
编码器最终获取的第一特征图高度抽象地凝聚了道路的语义信息，但是遥感影像中道路经常呈现尺度变化和连通性强等特点，导致提取尺度不统一以及全局能力感知较弱。因此，本实施例利用全局信息感知网络，尽可能地捕获多尺度的上下文全局语义信息。下面对全局信息感知网络进行介绍。
[0064]
(2)全局信息感知网络
[0065]
参见图7，所述全局信息感知网络，具体包括：扩张卷积单元和自注意力单元。
[0066]
①
扩张卷积单元
[0067]
所述扩张卷积单元包括五个扩张率不同且依次连接的扩张卷积层；所述扩张卷积单元用于提取所述编码器输出的所述第一特征图中不同空间范围的特征区域。具体的：
[0068]
,扩张卷积单元分别采用扩张率为{1,2,3,4,8}的3
×
3扩张卷积层，感知不同空间范围的特征区域，有效地整合道路特征的上下文信息。
[0069]
②
自注意力单元
[0070]
所述自注意力单元包括三个并联的卷积层；所述自注意力单元用于对所述编码器输出的所述第一特征图进行通道维度的压缩，得到特征点之间的长距离关系；不同空间范围的特征区域和特征点之间的长距离关系相加得到第二特征图。具体的：
[0071]
自注意力单元采用三个连续的1
×
1卷积对输入特征进行通道维度的压缩，用于捕获每个特征点之间的长距离依赖性，然后对每个特征进行矩阵点乘，实现不同空间和通道维度的特征点之间的互相关联，提高模型对特征全局信息的关注程度。综上，全局信息感知
网络通过扩张卷积和自注意力生成了语义信息更密集的道路特征，即得到第二特征图。
[0072]
(3)解码器
[0073]
所述解码器，具体包括：多个依次连接的解码单元。所述解码单元与所述编码单元跳跃连接；所述解码单元包括依次连接的解码块和特征融合模块；所述特征融合模块与所述编码器中对应的空间注意力机制层连接。
[0074]
①
解码块
[0075]
解码块的结构如图8所示，解码块用于还原道路特征的空间分辨率。所述解码块包括依次连接的尺寸为1
×
1的第二卷积层、尺寸为3
×
3的转置卷积层和尺寸为1
×
1的第三卷积层；所述第二卷积层用于对输入的特征进行降维，以减少计算量；所述转置卷积层用于扩大降维后的特征的宽度和高度(如宽高同时扩大两倍)，以还原空间细节信息；所述第三卷积层用于对所述扩大后的特征进行升维，得到解码特征，既还原特征通道数，又减少计算量。其中，所述解码器中第一个解码单元的解码块输入的特征为所述第二特征图。
[0076]
尽管基于端到端的cnn通过跳跃连接的方式进行不同层次特征信息的互补利用，提高了道路提取的精度，但这种通道叠加的特征融合方法，没有仔细地考虑每个特征的贡献大小，忽视了浅层特征和深层特征之间的语义差距，同时也未能较好地利用两者之间的互补信息，可能会影响有益特征的传播。因此，本实施例设计了如图9所示的特征融合模块，重新评估每个特征的重要程度，弥补浅层特征和深层特征之间的语义差距，最大限度地完成有益特征的融合和利用。
[0077]
②
特征融合模块
[0078]
参见图9，所述特征融合模块包括依次连接的融合层和宽度为5的一维卷积层；所述融合层用于将所述解码块输出的解码特征与所述编码器输出的第一特征图相加，得到融合特征；所述一维卷积层用于根据所述融合特征学习浅层特征与深层特征之间的互补信息，得到通道注意力图；所述通道注意力图与所述第一特征图进行矩阵点乘，所述通道注意力图与所述解码特征行矩阵点乘，两个矩阵点乘后的特征图相加，得到编码输出特征；所述解码器中最后一个解码单元的特征融合模块的编码输出特征为所述输入遥感影像的道路信息。具体的：
[0079]
特征融合模块通过特征相加的方式对浅层特征x∈rc×h×w和深层特征y∈rc×h×w进行首次特征融合，初步得到两者全部的道路特征信息。然后在空间维度上压缩，并使用宽度为5的一维卷积自主地学习浅层和深度特征之间的互补信息，再应用sigmoid激活函数得到通道注意力图s∈rc×1×1，使得道路特征被突出、背景特征被抑制。最后将学习到的权重参数分别与浅层特征和深层特征进行矩阵点乘，消除两者之间的语义差距，并再次通过特征相加的方式，既完成不同层级特征的有效融合，又减少了计算量。特征融合模块的计算过程如下：
[0080][0081]
式中，σ和convd
1d
分别表示激活函数和一维卷积，fm为矩阵点乘。首次特征相加得到的特征图a∈rc×h×w虽然具有浅层特征的空间信息和深层特征的语义信息，但并非有所的特征都有利于道路信息的提取。为此，本实施例设计该模块通过压缩、卷积和激活步骤，沿
着空间维度使得模型选择性地学习重要的道路特征，压缩不必要的背景特征，生成道路特征高度凝练的通道注意力图s，衡量了每个特征点的贡献程度。将s分别与浅层和深层特征相乘后，弥补了两者之间的语义差距，使得有益信息可被后续的解码器利用。
[0082]
本实施例提出的sgf-net模型尽管获取了空间信息更细节、语义信息更详尽的道路特征，提升了道路提取效果，但编码器中的resnet34带有大量的计算量和网络参数，不利于开展大幅遥感影像的道路信息快速提取任务。基于此，本实施例利用如图10所示的多层次知识蒸馏学习策略压缩sgf-net网络，获取一个参数量较小的紧凑型道路提取模型，从而快速、准确地获取道路信息。多层次知识蒸馏学习策略旨在将教师网络sgf-net(编码器为resnet34)的特征学习能力和类别识别能力迁移至学生网络sgf-net18(编码器为resnet18)，达到减少网络参数和计算量的目的，同时提高后者的道路提取速度和提取精度。
[0083]
基于此，步骤203，采用知识蒸馏策略对所述道路初始提取模型进行压缩得到所述道路提取模型，具体包括：
[0084]
(1)将所述道路初始提取模型作为教师网络。
[0085]
(2)采用所述教师网络建立学生网络。
[0086]
(3)将所述遥感训练影像分别输入所述教师网络和所述学生网络，基于类别知识蒸馏和特征知识蒸馏，以知识蒸馏机制下的损失值最小为目标，采用所述教师网络对所述学生网络进行训练，得到训练好的学生网络；所述知识蒸馏机制下的损失值包括类别知识蒸馏的损失值、特征知识蒸馏的损失值和模型训练损失值。
[0087]
参见图10，下面对本实施例构建的多层次知识蒸馏策略包含的类别知识蒸馏和特征知识蒸馏两部分进行具体说明。
[0088]
类别知识蒸馏作为蒸馏学习的常规项，将sgf-net识别的类别信息知识传递到sgf-net18中，使得两者提取的道路信息尽可能一致。类别知识蒸馏的损失值的计算公式如下：
[0089][0090]
其中，n表示像元个数；f
kl
(
·
)表示kullback-leibler(kl)散度计算；ti表示教师网络对第i个像元的类别识别结果；si表示学生网络对第i个像元的类别识别结果。
[0091]
类别知识蒸馏利用sgf-net的道路提取结果作为“软标签”，使得sgf-net18能够学习更多的类别知识信息。然而，类别知识蒸馏只关注了从深层特征中提取的类别知识信息，忽略了浅层特征中包含丰富的空间细节知识信息。因此，本研究使用特征知识蒸馏，旨在让sgf-net18的编码器能够模仿sgf-net的浅层特征知识学习过程，并迫使前者更好地关注道路的空间细节信息。图10展示了两个网络在不同层级编码块上的特征学习过程，并利用公式(3)作为衡量标准，类别知识蒸馏的损失值的计算公式如下：
[0092][0093]
其中，a∈{1,2,3,4}，表示编码器中编码块的索引(表征不同层级的浅层特征)；j表示特征图的通道索引；t
a,j
表示教师网络中第a个编码块输出的浅层特征中第j通道的特征图；s
i,j
表示学生网络中的第a个编码块输出的浅层特征中第j通道的特征图；||
·
||2表
示l2归一化。
[0094]
综上，本实施例设计的多层次知识蒸馏策略分别通过类别知识蒸馏和特征知识蒸馏，使得sgf-net18一方面学习了sgf-net的道路信息获取能力，另一方面也提升了其浅层特征的提取能力。
[0095]
本实施例采用交叉熵损失函数训练学生模型，训练过程中的所述模型训练损失值的计算公式为：
[0096][0097]
其中，yi表示第i个像元的真实类别；pi表示学生网络第i个像元的类别预测概率。
[0098]
因此，采用多层次知识蒸馏学习策略训练学生模型，所述知识蒸馏机制下的损失值(总损失值)的计算公式为：
[0099]
l
total
＝l
ce
0.1*l
kl
0.05*lf；
[0100]
l
total
表示知识蒸馏机制下的损失值；l
kl
表示类别知识蒸馏的损失值；lf表示特征知识蒸馏的损失值；l
ce
表示模型训练损失值。在蒸馏学习的模式下，sgf-net18模型一方面与真实标签进行差异化比较来优化网络参数，另一方面可以在sgf-net的帮助下提高泛化能力。
[0101]
(4)将所述训练好的sgf-net18(学生网络)确定为所述道路提取模型。
[0102]
在一个示例中，参见图4，所述sgf-net模型还包括：初始块和输出块；所述编码器之前连接所述初始块；所述解码器之后连接所述输出块。
[0103]
所述初始块包括：依次连接的尺寸为1
×
1的第四卷积层、批量归一化层和relu激活函数。所述输出块包括：依次连接的尺寸为3
×
3的第五卷积层、relu激活函数、尺寸为3
×
3的第六卷积层和softmax激活函数。
[0104]
本实施例为提取空间信息更细节、语义信息更全面的道路特征，并加快道路信息提取的推理速度，在端到端的卷积神经网络(convolutional neural network，cnn)基础上，提出一种集成空间注意力、全局信息感知和特征融合模块的初始提取模型(训练好的sgf-net模型)，并设计了多层次知识蒸馏学习策略。该模型利用空间注意力和全局信息感知网络，提高了浅层特征的空间信息表达能力并获取了多尺度的上下文信息。为消除基于端到端的cnn中浅层和深层特征之间的语义差距，构建一种顾及空间和语义信息的特征融合模块，利用一维卷积自主学习特征参数并从通道维度优化分配权重，完成浅层特征空间信息和深层特征语义信息的有效融合。使用多层次的知识蒸馏策略训练模型，减少初始提取模型的网络参数和计算复杂度，快速并准确地获取遥感影像中的道路信息。在公开的deep globe和马萨诸塞州两个卫星遥感影像道路数据集以及自制的京津新城无人机遥感影像道路数据集上，依次进行模型训练、验证和评估。实验结果表明，本实施例的道路提取模型是一种提取精度高、提取效果好的道路提取模型，对卫星和无人机遥感影像的道路信息均具有较好的提取能力。同时，多层次的知识蒸馏学习策略能显著地提升模型的精度和泛化能力，在模型精度和网络参数方面取得了较好的平衡，具有广阔的应用前景。
[0105]
下面给出一个具体实例对上述实施例中的道路提取模型的有效性进行验证。
[0106]
1、道路数据集与预处理
[0107]
本实例共使用了三个道路数据集，评估道路提取模型(训练好的sgf-net模型)在
无人机和卫星遥感影像上道路信息的提取效果和提取精度，测试在高空间分辨率、复杂城市场景、背景信息干扰等情况下道路信息提取的完整性和准确性，并检验经过多层次知识蒸馏学习策略训练的学生模型(sgf-net18)在大幅遥感影像上的道路提取性能。道路数据集示例如图11所示。
[0108]
图11的(a)部分为自制的无人机遥感影像道路数据集，采集地区位于天津市京津新城，空间分辨率为0.05米。由于空间分辨率大以及计算机显存限制，本实例将无人机遥感影像先切割为1024
×
1024像元，后缩放至256
×
256像元，共得到1373对训练图像和345对测试图像。
[0109]
图11的(b)部分为deep globe道路数据集，该数据集提供了6226对空间分辨率为0.5米、像元大小为1024
×
1024的卫星遥感影像。其道路特点表现为狭长、连通性强以及背景物体干扰大等，在基于深度学习的自动化道路提取领域中十分具有挑战性。鉴于数据较多和显存限制，本实例通过以下步骤筛选出符合要求的数据：1)将每对遥感影像和对应标签裁剪为512
×
512像元，并缩放至256
×
256像元；2)设置道路像素值为1，非道路为0，计算标签影像的像素值之和，保留大于5000的图像。通过上述处理步骤，共得到2188张训练图像和1431对测试图像。
[0110]
图11的(c)部分为马萨诸塞州道路数据集，该数据集共有1171对像元大小为1500
×
1500的卫星遥感影像，其空间分辨率为1.2米。由于遥感影像存在大量的空白区域，首先将遥感图像和对应标签裁剪为256
×
256像元，并按照deep globe数据集的处理方式保留合适的样本数据，最终共得到2230张训练图像和161对测试图像。
[0111]
2、实验细节
[0112]
采用python 3.7编程语言和pytorch 1.7深度学习框架构建本实例设计的模型，且在centos 7系统中完成所有实验。在模型100次训练过程中，设置批大小为16，使用学习率为0.0001的adam优化器进行参数迭代优化，并采用两块nvidia rtx 2080 ti gpu加快模型训练速度。
[0113]
3、评估指标
[0114]
为客观地定量分析提取结果，采用总体精度(overall accuracy,oa)、精确率(precision,p)、召回率(recall,r)、f1分数(f1-score,f1)和交并比(intersection over union,iou)，综合评价模型的道路提取精度。
[0115]
4讨论
[0116]
4.1模型对比分析
[0117]
为充分检验本实施例所提出的道路提取模型的性能和精度，使用u-net、linknet、segnet、bisenet和d-linknet等经典图像分割模型对比分析。在三个道路数据集上，应用相同的学习率和优化器对模型参数迭代训练，并采用评估指标综合分析各个模型的提取精度。
[0118]
4.1.1道路提取结果可视化
[0119]
图12展示了五种经典卷积神经网络模型在deep globe道路数据集上的提取结果。由图可知，u-net、linknet、d-linknet和segnet模型尽管能识别出部分道路信息，但依然存在较多的道路遗漏提取、背景物体错误识别的现象。在第1-2行的实线椭圆中，由于道路和背景信息有着相似的光谱特征，使得u-net等模型存在较为严重的漏提取和误分类的情况。
但从提取结果发现，sgf-net较为完整地提取了道路信息，克服了相似光谱特征的背景信息干扰，表明了空间注意力在突出道路特征上的有效性。同时，从第1-2行实线椭圆中还可以发现，sgf-net也能识别标签中未标注的道路信息，这表明所提出的模型具有强大的道路特征提取能力。此外，从第3-4行的实线椭圆可以看出，在道路受到树木遮挡的情况下，经典图像分割模型的道路提取结果依旧不能令人满意，存在严重的粘连、弯曲和断裂现象。然而，sgf-net通过全局信息感知和特征融合模块，捕捉了多尺度的全局上下文语义信息，并获取了丰富的空间细节信息，取得了满意的道路提取视觉效果。
[0120]
图13显示了几种模型在马萨诸塞州测试集上的道路提取结果。其中，图13的(a)部分和(b)部分表示输入的马萨诸塞州测试集中的图像和对应的标签图像，图13的(c)-(g)部分表示u-net、linknet、d-linknet、segnet和segnet在马萨诸塞州测试集上的道路提取结果。由图13可知，相比于经典的道路提取模型，本实例提出的sgf-net表现出更好的道路提取效果。由第1-3行的实线椭圆可以看出，在道路严重受到树木遮挡的情况下，u-net、linknet、d-linknet和segnet的道路提取结果出现了较多的遗漏提取、道路断裂现象，提取效果不佳。然而，sgf-net模型在这种状况下，依然展示出较好的道路提取性能，不仅克服了树木遮挡的困难，而且展示了良好的道路连通效果。此外，从第2-3行的虚线椭圆发现，即使标签未能标注出树木遮挡下的道路，sgf-net模型依然能够通过全局信息感知网络，出色地完成道路提取任务，避免了经典模型存在的道路断裂缺点。在复杂的城市道路场景中，如第4行的实线椭圆，其道路呈现多条并行、弧度弯曲的特点，经典模型均存在提取结果不完整、道路定位不精确的现象。而sgf-net模型通过空间注意力和特征融合模块，突出道路特征并忽视无关特征，较好地提取了复杂场景下的道路信息。
[0121]
图14展示了五种道路提取模型在京津新城测试集上的道路提取结果。其中，图14的(a)部分和(b)部分表示输入的京津新城测试集中的图像和对应的标签图像，图13的(c)-(g)部分表示u-net、linknet、d-linknet、segnet和segnet在京津新城测试集上的道路提取结果。由图14可知，该数据集下的道路主要呈现道路像元占比大、空间分辨率高的特点，在结果提取完整、边界位置精确方面给道路提取任务带来了巨大的挑战和困难。在第1行的虚线椭圆中，尽管经典模型能够提取部分的道路信息，但与sgf-net相比，依然存在道路错误提取、遗漏提取的情况。u-net在第4行测试图像中，较为完整地提取了道路信息，但对道路的边缘信息识别不够准确(如第1-3行实线椭圆)。linknet在第3行的提取效果好于u-net模型，然而在道路提取结果的完整性上存在严重的缺陷。d-linknet作为linknet的改进模型，在道路边缘识别和完整性上似乎好于linknet，但在提取结果中依然存在“孔洞”和误识别的现象。segnet模型虽然第3行的提取结果稍好于u-net模型，但是存在大量的道路断裂、遗漏提取的现象，反映模型提取性能较差。然而，sgf-net综合了空间注意力、全局信息感知和特征融合模块的优点，有效地识别了道路的边缘信息，较为完整地提取了道路信息，表现出较好的道路提取性能。
[0122]
4.1.2精度评估
[0123]
表1定量评估了不同数据集下不同模型之间的道路提取精度结果，其中res-unet模型是将u-net的编码器替换为resnet18。由表可知，与传统模型相比，本实例提出的sgf-net在道路提取领域取得了最佳性能。在deep globe数据集下，所有模型的oa、f1分数和iou分别超过91％、63％和46％，说明基于深度学习的道路提取方法能够有效地提取道路信息。
与linknet模型相比，所提出的sgf-net在f1分数和iou方面分别提高了6.22％和8.13％，表明引入空间注意力、全局信息感知和特征融合模块能够有效地提高模型的精度，在测试集上取得了良好的性能。在经典的马萨诸塞州道路数据集上，也具有相似的结果。与精度第二的res-unet相比，sgf-net的f1分数和iou分别提升了2.01％和2.7％，再一次显示了特征融合模块的有效性。同时，经典的u-net的评估结果优于linknet，其可能原因在于linknet在初始层过度的下采样，使得遥感图像空间细节信息的大量丢失从而导致精度下降，这从侧面也反映了sgf-net初始层设计的合理性。即使在空间分辨率较大、挑战性较强的京津新城无人机遥感道路数据集上，本实例所提出的模型也取得了较好的精度。在oa方面，sgf-net模型达到了97.58％，远高于其它模型，表明在道路和背景区分方面实现了最好的精度。
[0124]
表1不同数据集下各模型道路提取的评估结果
[0125]
[0126][0127]
从上述道路提取结果可视化分析和精度评估中，不难发现，sgf-net通过空间注意力、全局信息感知和特征融合模块，提取了细节丰富的空间信息和多尺度的上下文语义信息，并有效地聚合了不同层次的道路特征。因而，本实例提出的sgf-net对无人机和对卫星遥感影像道路提取任务，均取得了良好的视觉提取效果和提取精度，尤其对树木遮挡、复杂道路和标签遗漏标记的道路区域均有较好的识别性能。
[0128]
4.2消融实验
[0129]
为充分验证sgf-net中每个模块设计的合理性，本实例在三个数据集上进行消融实验，并使用f1分数和iou评估指标定量分析。由表2可知，在不同数据集下，消融实验的精度评估结果呈现一致的趋势：随着模块依次增加，f1分数和iou也逐渐增加，表明每个模块均能提升模型的精度。以deep globe数据集为例，在添加空间注意力后，f1分数和iou比基线模型分别提升了0.48％和0.65％，表明该模块能够重点关注道路特征，忽视其他无关的背景信息。全局信息感知网络通过扩张卷积和自注意力单元，获取了多尺度的上下文语义信息，与基线模型相比，分别带来了0.54％和0.73％的f1分数和iou提升。通过引入特征融合模块，弥补了浅层特征和深层特征之间的语义差距，并充分利用了浅层特征的空间信息和深层特征的语义信息，使得f1分数和iou分别提高了0.6％和0.81％。通过在不同数据集下的消融实验，证明了空间注意力、全局信息感知和特征融合模块均能提升模型的道路提取性能。
[0130]
表2不同数据集下消融实验评估结果
[0131][0132]
4.3知识蒸馏学习效果
[0133]
表3展示了教师网络sgf-net和学生网络sgf-net18之间的参数对比。由表可知，sgf-net18的参数量和每秒10亿次浮点运算数(gflops)远低于sgf-net，分别减少了46.10％和46.46％，计算复杂度大幅降低。经过测试，sgf-net18在256
×
256像元的图像上，每秒吞吐量为37.32(即每秒可完成37.32张图像的道路信息提取)，为sgf-net的1.7倍，极大的提高了模型预测的推理速度。
[0134]
表3模型参数对比
[0135][0136]
sgf-net18的计算量和时间成本远低于教师网络sgf-net，然而在精度方面却表现不佳。因此，本实例通过多层次知识蒸馏学习策略将sgf-net的类别信息和特征知识学习能力迁移至sgf-net18，提高道路提取精度和泛化能力。由表4可知，sgf-net18在教师网络sgf-net的帮助下，其f1分数和iou在三个测试集上均有不同程度的提升。这表明，在没有损失过多精度的情况下，经过多层次知识蒸馏策略训练的道路提取模型在精度和推理速度方面达到了较好的平衡。以deep globe为例，sgf-net18经过蒸馏学习后，f1分数和iou分别提高了0.22％和0.29％。从这一结果发现，一方面可以通过知识蒸馏策略提高小模型的道路
提取精度，另一方面也可以使用蒸馏学习得到一个紧凑型模型，快速准确地提取道路信息，提高时间效率。
[0137]
表4不同数据集下知识蒸馏学习效果评估
[0138][0139]
4.4京津新城道路提取
[0140]
为快速准确地获取道路信息，本实例利用4.3节经过多层次知识蒸馏学习策略得到的sgf-net18开展无人机遥感影像道路提取任务。图13展示了京津新城地区的无人机遥感影像，其栅格尺寸为140139
×
184139，提取流程如下：(1)鉴于不能直接将大幅的遥感影像写入计算机内存，京津新城影像被分为5行6列的影像子集，方便数据读取与写入。(2)利用sgf-net18模型依次提取影像子集的道路信息。由于影像子集依然具有较大尺寸，模型无法直接提取道路信息。因此本实例将每个影像子集按照3.1节的处理方式生成256
×
256小尺寸图像，同时使用滑步预测避免边缘值的影响。(3)应用arcgis10.6软件将影像子集的道路预测结果进行镶嵌，最终的道路提取结果见图15的黑色实线，图15的(a)部分表示全局道路提取结果图；图15的(b)部分表示的一个局部放大图，图15的(c)部分表示的另一个局部放大图。
[0141]
从图15的道路提取结果可以发现，基于多层次知识蒸馏学习策略的sgf-net18能够较准确地提取大部分道路信息，尤其在道路线性特征明显和主干道路区域具有较强的识别能力。从局部放大图可知，sgf-net18不仅完整地获取了城市住宅区域的道路信息，并且较为准确地识别了主干道路区域道及边缘信息，出色地完成了基于无人机遥感影像的道路提取任务。值得注意的是，根据4.3节sgf-net18的吞吐量可知，提取整个影像区域的理论时间约为0.18h，然而实际消耗了约5h。其主要原因是图像分幅、循序读取影像数据、滑步预测和结果保存等步骤，导致时间消耗过大。从这一结果可以看出，若使用sgf-net进行京津新城道路提取任务，会消耗更大的时间成本，同时也侧面反映了sgf-net18具有快速提取、准确识别的能力。
[0142]
从提取结果也可以看出，基于多层次知识蒸馏学习策略的sgf-net18存在部分道路误识别的现象，可能由于以下两个主要原因造成：(1)京津新城道路训练集只包含了部分图像数据，在样本数据欠缺的情况下容易导致cnn不能准确地学习道路的相关特征，造成模型可能出现欠拟合的状态。(2)sgf-net18使用resnet18作为编码器，尽管在蒸馏机制的作用下增强了特征学习能力，但由于卷积层数较少，使得特征学习能力不强，道路提取精度不
高。因而，在未来的实例领域中，一方面可以通过增加训练样本量提升模型泛化性能；另一方面也可以使用性能更强卷积神经网络作为编码器，提高模型特征提取能力。
[0143]
因此，本实施例的遥感影像道路提取方法具有如下优点：
[0144]
本实施例提出了初始提取模型(sgf-net)，并构建了多层次的知识蒸馏学习策略，从而得到道路提取模型。在两个卫星遥感影像道路数据集和一个无人机遥感影像道路数据集上实验后，结果表明：(1)sgf-net是一个精度较高的道路提取模型，能够精确地提取线性特征明显、建筑物阴影和树木遮挡的道路信息，出色地完成了无人机和卫星遥感影像的道路提取任务。通过可视化分析、精度对比和消融实验，表明空间注意力和全局信息感知网络提高了对道路特征的关注程度并感知了更大范围的特征信息；同时，特征融合模块自适应地弥补了浅层特征和深层特征的语义差距，丰富了道路特征的空间信息和语义信息，获得了明显的性能增益。(2)基于多层次的知识蒸馏学习策略，降低了sgf-net的网络参数和计算复杂度，缓解了卷积层数过多而导致的道路提取速度变慢的问题，同时也提升了道路提取精度和泛化能力，较好地适应了大幅遥感影像道路提取任务，对于其它地物信息提取具有借鉴意义。下一步的工作将关注轻量化模型研究和无人机遥感影像的道路数据集构建，以快速精确地获取道路信息，提高模型的泛化能力。
[0145]
本发明还提供了一种遥感影像道路提取系统，包括：
[0146]
数据获取模块，用于获取待解译的遥感影像；
[0147]
道路提取模块，用于将所述待解译的遥感影像输入道路提取模型中，提取所述待解译的遥感影像的道路信息；
[0148]
所述道路提取模块，具体包括：模型确定子模块；
[0149]
所述模型确定子模块用于确定道路提取模型；所述模型确定子模块，具体包括：
[0150]
模型构建单元，用于构建sgf-net模型；所述sgf-net模型包括依次连接的编码器、全局信息感知网络和解码器；所述编码器与所述解码器连接；所述编码器是基于空间注意力机制构建的；所述编码器用于提取输入遥感影像的浅层特征，得到第一特征图；所述全局信息感知网络用于提取所述第一特征图的深层特征，得到第二特征图；所述解码器用于将所述第一特征图中的浅层特征与所述第二特征图中的深层特征进行解码并融合，得到输入遥感影像的道路信息；所述浅层特征包括道路光谱信息和道路几何形状信息；所述深层特征包括道路语义信息；
[0151]
模型训练单元，用于采用遥感训练影像和对应的道路信息对所述sgf-net模型进行训练，并将训练好的sgf-net模型确定为初始提取模型；
[0152]
模型压缩单元，用于采用知识蒸馏策略对所述道路初始提取模型进行压缩得到所述道路提取模型。
[0153]
本实施例的遥感影像道路提取系统，采用基于端到端的cnn、集成空间注意力、全局信息感知和特征融合模块的初始提取模型(训练好的sgf-net模型)，并设计了多层次的知识蒸馏学习策略。该模型利用空间注意力机制和全局信息感知模块，重点关注空间维度的道路特征并聚合多尺度的上下文信息；采用特征融合模块考虑不同层级特征之间的语义差距，从通道维度完成浅层特征空间细节信息和深层特征语义信息之间的有效融合，从而获得更多有益的道路信息；同时，使用多层次知识蒸馏学习策略，降低初始提取模型的网络参数和提取道路的时间成本，快速获取大幅高分辨率遥感影像的道路信息。与经典的道路
提取模型相比，本实施例的道路提取模型出色地完成了卫星和无人机遥感影像道路信息的快速、准确和自动化提取，具有良好的应用与推广前景。
[0154]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0155]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。