一种结合超分辨率和注意力机制的遥感图像道路分割方法与流程

1.本发明涉及机器学习技术领域，具体而言，涉及一种结合超分辨率和注意力机制的遥感图像道路分割方法。


背景技术：

2.近些年来随着遥感卫星发射数量不断增加，高分辨率遥感图像的获取更加方便，已成为数字图像处理重要的数据来源。同时，高分辨率卫星遥感图像中包含丰富的地物特征信息。遥感图像道路提取在城市规划，交通管理，车辆导航，地图更新等领域中发挥了重要作用，已经成为近年来的研究热点。
3.然而，由于高分辨率遥感图像中包含丰富的地物特征信息，受光照，噪声，遮挡，阴影等因素的影响，导致道路特征之间存在差异，同时遥感图像背景中相似非道路目标特征信息对实现道路提取造成干扰，因此如何从高分辨率遥感图像中实现精确的道路提取仍是研究领域的一项挑战。传统算法模型的表达能力有限，无法对高分辨率图像中的丰富信息进行充分利用。图像的超分辨率是对图像的分辨率通过低分辨率的图像去生成对应的高分辨率图像，在实现过程中对图像的底层特征进行了充分的利用，因此可以作为图像的特征提取部分对图像语义分割进行辅助。


技术实现要素：

4.本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种结合超分辨率和注意力机制的遥感图像道路分割方法。
5.本发明解决其技术问题所采用的技术方案是：本发明公开一种结合超分辨率和注意力机制的遥感图像道路分割方法，包括如下步骤：
6.步骤一：将高分辨率遥感图像数据集按照一定的比例划分为训练集和测试集，所述高分辨率遥感图像数据集通过遥感卫星获取，包括原始遥感图像数据和经过人工标记的遥感图像数据；对训练集的遥感图像进行预处理和数据扩增，得到经过数据增强后的遥感图像数据集；
7.步骤二：搭建遥感图像道路分割网络：所述遥感图像道路分割网络中包括编码器网络、超分辨率网络和结合注意力机制的语义分割网络，搭建步骤包括：
8.步骤2.1：编码器网络：以u
‑
net网络模型作为基础网络，将u
‑
net网络模型中的编码器部分替换为resnet
‑
34网络的卷积层部分，并作为道路分割网络的编码器，同时使用在imagenet数据集上预训练的resnet
‑
34网络参数初始化编码器网络；编码器最终输出底层特征图和高层特征图分别作为超分辨率网络和语义分割网络的输入；
9.步骤2.2：超分辨率网络：超分辨率网络通过残差模块来对编码器提取的底层特征图进行特征整合，通过三个反卷积模块逐步恢复图像的分辨率，同时减少网络的通道数，生成低分辨率遥感图像所对应的高分辨率遥感图像；
10.步骤2.3：语义分割网络：将高层特征图通过上下文信息提取模块后，经过预先训
练的作为编码器的resnet
‑
34网络提取的图像特征和超分辨率网络提取的图像特征，通过注意力模块优化网络的跳跃连接部分，实现对遥感图像数据中的道路图像的最终分割；
11.步骤三：将预处理的训练集数据输入至搭建的遥感图像道路分割网络中，对遥感图像道路分割网络的参数进行初始化，采用resnet
‑
34网络在imagenet数据集上训练的参数来初始化编码器网络，对其余网络参数进行随机初始化，对遥感图像道路分割网络进行训练；
12.训练完成后，将训练好的遥感图像道路分割网络模型参数进行保存；
13.步骤四：经过处理的实时的遥感道路数据输入到训练好的遥感图像语义分割网络中，输出遥感图像数据的精确分割结果。
14.其中，对训练集的遥感图像数据进行预处理包括图像裁剪和对训练集中原始图像进行数据增强；
15.所述图像裁剪具体为：将训练集中的遥感图像裁剪为尺寸为512像素*512像素、分辨率为1米每分辨率的图像；对裁剪后的高分辨率遥感图像进行下采样，得到尺寸为256像素*258像素、分辨率为0.5米每分辨率的低分辨率图像；
16.所述数据增强包括：将训练集中的图像和标签一起进行图像旋转、图像垂直翻转、图像水平翻转。图像垂直加水平翻转。
17.其中，编码器网络的结构如下：
18.第一层为卷积层，进行卷积核大小为7
×
7、步长为2的卷积；第二层为步长为2的最大池化层；
19.所述编码器网络的在第二层最大池化层后设置有三个重复的残差块，第一个残差块进行卷积操作，以步长为2的卷积实现下采样，第二个残差块及其之后的卷积操作使用步长为1的卷积操作，残差块中设置有用于加快网络收敛的短路连接；其中第一个残差块所生成的特征图称之为底层特征图，被用于进行图像的超分辨率；输出的图像特征图称之为高层特征图，用于进行图像的语义分割。
20.其中，超分辨率网络的结构如下：
21.所述超分辨率网络将输入的底层特征图经过两个残差模块来整合提取的多尺度特征，得到新的特征图；通过三个反卷积模块逐步恢复图像的分辨率，同时减少网络的通道数，生成低分辨率遥感图像所对应的高分辨率遥感图像。
22.其中，语义分割网络的结构如下：
23.将从编码器网络提取的高层特征图进行送入上下文信息模块，提取并整合网络的上下文信息，使用提取的特征图通过注意力模块对来自编码器网络和超分辨率网络的特征图进行权重调整，将权重调整后的特征图和上采样的特征图进行叠加；依次经过解码器模块，解码器模块包括1
×
1卷积运算，该运算将通道数减半，进行批量归一化和转置卷积以对特征图实现上采样过程；通过最后的反卷积层生成只有道路和非道路两种标签的单通道概率图；
24.为充分利用图像所包含的特征，语义分割网络将来自编码器网络和超分辨率网络传递的特征图通过注意力机制模块进行过滤，送入图像的上采样的过程中，实现超分辨率模块对于语义分割过程的辅助作用。
25.其中，语义分割网络中的注意力模块用于实现对跳跃连接传递的特征进行加权，
对目标区域的特征信息进行强化；所述注意力模块的输入数据为上一层的上采样特征图和输入的编码器及超分辨率模块的特征图，以上一层的上采样特征图作为监督信号，和传递的特征图生成一个逐像素权重图，采用逐像素权重图对跳跃连接传递的特征图进行处理，得到进行加权的传递特征图。
26.其中，所述注意力模块中的权重图的构建步骤为：
27.对输入的特征图进行特征降维，将降维后的两幅特征图相加，对相加后的特征图经过线性修正和sigmoid函数层处理，得到特征像素的权重图。
28.其中，解码器模块由接受特征图传递的多个解码块组成，所述解码器模块结构为：
29.将从编码器网络和超分辨率网络传递特征图进行拼接，经过注意力模块进行权重调整；将权重调整后的特征图与上一层的特征图进行通道叠加；
30.将叠加后的特征图依次送入各个解码器模块，每个解码器模块均包括1
×
1卷积运算，将经过解码器模块的特征图进行批量归一化和转置卷积以对特征图实现上采样过程，通过卷积层生成只有最终的语义分割图。
31.其中，对遥感图像分割网络进行训练中使用的损失函数为超分辨率损失和语义分割损失；其中，语义分割损失由dice系数损失函数和交叉熵损失函数共同组成，其中，所述交叉熵损失函数的计算公式为：
[0032][0033]
上式中：y为真实的像素标签值，y'为预测的标签像素值，n为标签的类别数；
[0034]
所述dice系数损失函数的计算公式为：
[0035][0036]
上式中：x为生成的预测图，y为真实的标签，|xiy|为标签和预测之间的交集，|x|为标签的元素的个数，|y|为预测的元素的个数；最终的语义分割损失函数为交叉熵损失函数和dice系数损失函数的加权系数总和，计算公式为：
[0037]
l
s
＝l
dice
l
cross
；
[0038]
所述超分辨率损失采用均方损失函数作为损失函数，其中，在二分类的情况下，所述均方差损失函数的计算公式如下所示：
[0039][0040]
上式中，x为超分辨率模块生成的高分辨率图像，y为真实的高分辨率图像；n代表图像的像素点数量；
[0041]
对整个网络进行训练，网络的总损失函数如下所示：
[0042]
l
loss
＝αl
s
βl
sr
[0043]
其中，α为语义分割损失的权重，β为超分辨率损失的权重。其中α值取10，β值取1。
[0044]
本发明相对于现有技术具备的有益效果为：
[0045]
1)本发明方法在编码器部分使用resnet
‑
34网络的卷积层，并采用预训练的参数进行参数的初始化。在特征提取过程中，不同的图像任务中所采用的特征具有相似性，通过使用其余任务中训练的参数来初始化网络模型，这样做可以确保模型特征提取的效果，加
快模型收敛的速度。
[0046]
2)本发明方法采用超分辨率网络来提取特征，送入语义分割模块中实现网络的特征提取功能。超分辨率通过低分辨率图像生成高分辨率的图像，在生成过程中，网络提取了精细的底层特征，因此可以作为特征提取模块来实现底层特征的提取，将提取出的底层特征传递到语义分割模块中，可以有效的利用超分辨率网络提取的底层特征，用来辅助语义分割功能的实现。
[0047]
3)本发明方法在搭建道路分割网络时采用了注意力机制来对图像特征进行加权。在图像处理中，图像特征图中存在着大量背景信息，这些无关特征会对分割任务造成干扰。采用注意力机制来对特征信息进行过滤，抑制非道路区域的图像特征，提升目标区域特征的权重。
附图说明
[0048]
下面将结合附图及实施例对本发明作进一步说明，附图中：
[0049]
图1是本发明提供的一种结合超分辨率和注意力机制的遥感图像道路分割方法的流程示意图。
[0050]
图2是本发明提供的一种结合超分辨率和注意力机制的遥感图像道路分割方法中遥感图像道路语义分割网络的结构示意图。
[0051]
图3是本发明提供的一种结合超分辨率和注意力机制的遥感图像道路分割方法中注意力机制模块的构造示意图。
[0052]
图4是本发明提供的一种结合超分辨率和注意力机制的遥感图像道路分割方法中超分辨率网络的构造示意图。
[0053]
图5是本发明提供的一种结合超分辨率和注意力机制的遥感图像道路分割方法中使用的数据集马萨诸塞州道路数据集遥感图像。
[0054]
图6是本发明提供的一种结合超分辨率和注意力机制的遥感图像道路分割方法中使用的数据集马萨诸塞州道路数据集中添加标签的遥感图像。
[0055]
图7是本发明提供的一种结合超分辨率和注意力机制的遥感图像道路分割方法中提取的路网结构示意图。
具体实施方式
[0056]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明做进一步的详细说明。应当理解，此外所描述的具体实施例仅用以解释本发明，但并不用于限定本发明。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都将属于本发明保护的范围。
[0057]
如图1所示，本发明提供一种结合超分辨率和注意力机制的遥感图像道路分割方法，包括如下步骤：
[0058]
步骤一：将高分辨率遥感图像数据集按照一定的比例划分为训练集和测试集，所述高分辨率遥感图像数据集通过遥感卫星获取，包括原始遥感图像数据和经过人工标记的遥感图像数据；对训练集的遥感图像进行预处理和数据扩增，得到经过数据增强后的遥感图像数据集；
[0059]
步骤二：搭建遥感图像道路分割网络：所述遥感图像道路分割网络中包括编码器网络、超分辨率网络和结合注意力机制的语义分割网络，如图2所示，搭建步骤包括：
[0060]
步骤2.1：编码器网络：以u
‑
net网络模型作为基础网络，将u
‑
net网络模型中的编码器部分替换为resnet
‑
34网络的卷积层部分，并作为道路分割网络的编码器，同时使用在imagenet数据集上预训练的resnet
‑
34网络参数初始化编码器网络；编码器最终输出底层特征图和高层特征图分别作为超分辨率网络和语义分割网络的输入；
[0061]
步骤2.2：超分辨率网络：超分辨率网络通过残差模块来对编码器提取的底层特征图进行特征整合，通过三个反卷积模块逐步恢复图像的分辨率，同时减少网络的通道数，生成低分辨率遥感图像所对应的高分辨率遥感图像；
[0062]
步骤2.3：语义分割网络：将高层特征图通过上下文信息提取模块后，经过预先训练的作为编码器的resnet
‑
34网络提取的图像特征和超分辨率网络提取的图像特征，通过注意力模块优化网络的跳跃连接部分，实现对遥感图像数据中的道路图像的最终分割；
[0063]
步骤三：将预处理的训练集数据输入至搭建的遥感图像道路分割网络中，对遥感图像道路分割网络的参数进行初始化，采用resnet
‑
34网络在imagenet数据集上训练的参数来初始化编码器网络，对其余网络参数进行随机初始化，对遥感图像道路分割网络进行训练；
[0064]
训练完成后，将训练好的遥感图像道路分割网络模型参数进行保存；
[0065]
步骤四：经过处理的实时的遥感道路数据输入到训练好的遥感图像语义分割网络中，输出遥感图像数据的精确分割结果。
[0066]
其中，对训练集的遥感图像数据进行预处理包括图像裁剪和对训练集中原始图像进行数据增强；
[0067]
所述图像裁剪具体为：将训练集中的遥感图像裁剪为尺寸为512像素*512像素、分辨率为1米每分辨率的图像；对裁剪后的高分辨率遥感图像进行下采样，得到尺寸为256像素*258像素、分辨率为0.5米每分辨率的低分辨率图像；
[0068]
所述数据增强包括：将训练集中的图像和标签一起进行图像旋转、图像垂直翻转、图像水平翻转。图像垂直加水平翻转。
[0069]
其中，编码器网络的结构如下：
[0070]
第一层为卷积层，进行卷积核大小为7
×
7、步长为2的卷积；第二层为步长为2的最大池化层；
[0071]
所述编码器网络的在第二层最大池化层后设置有三个重复的残差块，第一个残差块进行卷积操作，以步长为2的卷积实现下采样，第二个残差块及其之后的卷积操作使用步长为1的卷积操作，残差块中设置有用于加快网络收敛的短路连接；其中第一个残差块所生成的特征图称之为底层特征图，被用于进行图像的超分辨率；输出的图像特征图称之为高层特征图，用于进行图像的语义分割。
[0072]
如图4所示，超分辨率网络的结构如下：
[0073]
所述超分辨率网络将输入的底层特征图经过两个残差模块来整合提取的多尺度特征，得到新的特征图；通过三个反卷积模块逐步恢复图像的分辨率，同时减少网络的通道数，生成低分辨率遥感图像所对应的高分辨率遥感图像。
[0074]
其中，语义分割网络的结构如下：
[0075]
将从编码器网络提取的高层特征图进行送入上下文信息模块，提取并整合网络的上下文信息，使用提取的特征图通过注意力模块对来自编码器网络和超分辨率网络的特征图进行权重调整，将权重调整后的特征图和上采样的特征图进行叠加；依次经过解码器模块，解码器模块包括1
×
1卷积运算，该运算将通道数减半，进行批量归一化和转置卷积以对特征图实现上采样过程；通过最后的反卷积层生成只有道路和非道路两种标签的单通道概率图；
[0076]
为充分利用图像所包含的特征，语义分割网络将来自编码器网络和超分辨率网络传递的特征图通过注意力机制模块进行过滤，送入图像的上采样的过程中，实现超分辨率模块对于语义分割过程的辅助作用。
[0077]
如图3所示，语义分割网络中的注意力模块用于实现对跳跃连接传递的特征进行加权，对目标区域的特征信息进行强化；所述注意力模块的输入数据为上一层的上采样特征图和输入的编码器及超分辨率模块的特征图，以上一层的上采样特征图作为监督信号，和传递的特征图生成一个逐像素权重图，采用逐像素权重图对跳跃连接传递的特征图进行处理，得到进行加权的传递特征图。
[0078]
其中，所述注意力模块中的权重图的构建步骤为：
[0079]
对输入的特征图进行特征降维，将降维后的两幅特征图相加，对相加后的特征图经过线性修正和sigmoid函数层处理，得到特征像素的权重图。
[0080]
其中，解码器模块由接受特征图传递的多个解码块组成，所述解码器模块结构为：
[0081]
将从编码器网络和超分辨率网络传递特征图进行拼接，经过注意力模块进行权重调整；将权重调整后的特征图与上一层的特征图进行通道叠加；
[0082]
将叠加后的特征图依次送入各个解码器模块，每个解码器模块均包括1
×
1卷积运算，将经过解码器模块的特征图进行批量归一化和转置卷积以对特征图实现上采样过程，通过卷积层生成只有最终的语义分割图。
[0083]
其中，对遥感图像分割网络进行训练中使用的损失函数为超分辨率损失和语义分割损失；其中，语义分割损失由dice系数损失函数和交叉熵损失函数共同组成，其中，所述交叉熵损失函数的计算公式为：
[0084][0085]
上式中：y为真实的像素标签值，y'为预测的标签像素值，n为标签的类别数；
[0086]
所述dice系数损失函数的计算公式为：
[0087][0088]
上式中：x为生成的预测图，y为真实的标签，|xiy|为标签和预测之间的交集，|x|为标签的元素的个数，|y|为预测的元素的个数；最终的语义分割损失函数为交叉熵损失函数和dice系数损失函数的加权系数总和，计算公式为：
[0089]
l
s
＝l
dice
l
cross
；
[0090]
所述超分辨率损失采用均方损失函数作为损失函数，其中，在二分类的情况下，所述均方差损失函数的计算公式如下所示：
[0091][0092]
上式中，x为超分辨率模块生成的高分辨率图像，y为真实的高分辨率图像；n代表图像的像素点数量；
[0093]
对整个网络进行训练，网络的总损失函数如下所示：
[0094]
l
loss
＝αl
s
βl
sr
[0095]
其中，α为语义分割损失的权重，β为超分辨率损失的权重。其中α值取10，β值取1。
[0096]
为了进一步验证本方法的有效性和可行性，本发明根据下面实施例进行实验。
[0097]
使用深度学习框架pytorch1.5.0搭建遥感道路提取网络的架构。实验数据集使用马萨诸塞道路提取数据集，采用了语义分割中常用的三种语义分割评估指标，即精确度，召回率和交并比来评价模型道路分割的性能。图5所示是通过本发明方法进行道路分割前的遥感道路图像，图6是对应的人工标记后的遥感道路分割图像，图7是经过本发明的方法处理后得到的预测道路分割图像。
[0098][0099]
表1马萨诸塞道路提取数据集上的具体指标
[0100]
本发明公开了一种结合超分辨率和注意力机制的遥感图像道路分割方法，首先对rgb三通道的高分辨率遥感图像进行人工标注，制作标签图像。将图像数据集分为测试集和训练集，对训练集图像进行预处理；之后搭建基于深度学习方法的道路分割模型，输入训练集图像和标签对其进行训练，待到网络收敛时保存模型参数；最后将待测试图像输入道路分割模型得到预测标签图像。与现有技术相比较，本发明通过添加超分辨率模块的方式实现高分辨率遥感图像的特征提取效果，最后得到提取的道路标签图像。优点是其分割准确度高，道路分割结果清晰且鲁棒性强。
[0101]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。