一种基于U-net强化道路边缘信息的多尺度道路提取模型的方法与流程

一种基于u-net强化道路边缘信息的多尺度道路提取模型的方法
技术领域
1.本发明涉及一种利用模型提取道路技术领域，具体地说是一种基于u-net强化道路边缘信息的多尺度道路提取模型的方法。


背景技术：

2.随着科技社会的进步，利用遥感图像提取道路已经成为道路提取的重要途径，其中高分遥感影像包含丰富的地物信息，为获取准确细小的道路信息提供了有力的数据支持，但高分影像内容往往十分复杂，使得高质量提取道路信息十分困难。
3.传统的道路提取算法往往基于人工设计的特征，只能小范围内高精度提取道路信息，泛化能力十分有限。随着深度学习的发展极大地推动了道路提取的进展，深度学习中语义分割模型具有自动学习特征并分类的能力，能够实现端到端的道路提取。同时，巨大的网络参数也使其具有强大的泛化能力，可以实现大范围内提取道路目标。
4.但在实际利用深度学习语义分割模型提取遥感影像道路的任务中，道路背景往往十分复杂，如背景地物中的路边树木、高大建筑物等对道路边缘有一定的遮挡作用，使得提取的道路边缘不规则、不完善，且另一方面，利用深度学习提取道路受到尺度的限制，提取的道路也存在拓扑连通性不高的问题。
5.因此，需要设计一种基于u-net强化道路边缘信息的多尺度道路提取模型的方法，解决上述高分遥感影像中道路背景中存在的路边树木和高大建筑物而导致的道路边缘不规则、不完善的问题，能够利用多尺度深层特征提高道路拓扑连通性，提高道路目标的提取精度。


技术实现要素：

6.本发明的目的是克服现有技术的不足，提供了一种基于u-net强化道路边缘信息的多尺度道路提取模型的方法，解决了高分遥感影像中道路背景中存在的路边树木和高大建筑物而导致的道路边缘不规则、不完善的问题，利用多尺度深层特征提高道路拓扑连通性，提高道路目标的提取精度。
7.为了达到上述目的，本发明提供一种基于u-net强化道路边缘信息的多尺度道路提取模型的方法，包括高分遥感影像道路数据集的制作和构建基于u-net并强化道路边缘信息的多尺度道路提取模型，高分遥感影像道路数据集的制作包括以下步骤：
8.s1：对原始高分影像的多光谱rgb波段和全色波段进行图像融合；
9.s2：利用标签制作软件制作道路分割标签，同时进行数据扩充；
10.s3：利用道路分割标签提取边缘标签，并进行数据集划分；
11.构建基于u-net并强化道路边缘信息的多尺度道路提取模型，包括以下步骤：
12.s10：基于u-net道路分割网络增加边缘提取任务分支，强化边缘信息；
13.s20：引入级联的空洞卷积层，实现深层特征上的多尺度特征融合；
14.s30：利用制作的高分遥感道路数据集训练模型，利用模型完成高分遥感道路提取；
15.s1具体为使用envi软件选取高分遥感影像中的红绿蓝波段和全色波段进行brovey图像融合，得到高空间分辨率的彩色影像。
16.s2具体为使用labelme对遥感影像进行目视解译，制作高分遥感道路影像标签，对影像及标签进行旋转、色彩抖动、图像平移、缩放的形式进行数据扩充，得到成倍的道路影像与对应的标签。
17.s3具体为对道路标签中属于道路类别的所有像素进行逐个分析，如果其八邻域至少有一点为背景标签，那么这一点将会被认为是边缘点，据此提取出道路的边缘标签并按照3：1的比例将数据集划分为训练集和测试集。
18.s10和s20具体为基于u-net网络基础架构改进，新增一个并行的边缘提取任务网络分支，使模型具有道路分割与道路边缘两个任务输出，边缘提取网络能够强化模型中道路分割的边缘特征，特征层由道路分割网络中不同深度的特征层构成，利用反卷积上采样技术保证特征层的图尺寸大小一致，将特征层的图在通道维度上进行拼接，融合不同深度的特征信息，使用分类函数得到边缘的分类概率图，在深度特征图使用了级联的空洞卷积层，不同分支提取了不同尺度的特征图，对多尺度特征图进行补零保持尺寸一致，并进行了深层特征上的多尺度特征融合。
19.s30具体为利用制作的高分影像数据集和tensorflow深度学习框架对模型进行训练，同时为模型添加道路分割网络损失和边缘提取网络损失，训练完毕之后即可利用模型实现道路目标的高精度提取。
20.道路分割网络损失使用了二进制交叉熵损失函数与dice soft损失。
21.二进制交叉熵损失函数为其中yi是像素i预测为道路的概率，而是地面真实标签，n是像素总数；dice soft损失为其中yi是像素i的预测为道路的概率，而是地面真实标签，n是像素总数；道路分割网络损失函数为loss
seg
＝l
dice soft
l
bce
。
22.tensorflow深度学习框架进行训练的方式为使用adam优化算法迭代优化，部分参数设置为：指数衰减率β1＝0.9，β2＝0.999，常数设置ε＝10-8
，批次大小设置为4，迭代训练20epoch，adam优化算法的初始学习率为0.001，采用自适应学习率的策略，连续3个epoch验证集的准确率不下降，学习率变为原来的0.5倍。
23.本发明同现有技术相比，通过搭建多任务学习网络，利用道路的边缘标签对道路的边缘信息进行强化学习，利用级联的空洞卷积模块实现了多尺度深度道路特征的提取与融合，最终使得提取出的道路边缘更加完整、道路主体连通性更高。
附图说明
24.图1为制作高分遥感影像道路数据集的技术流程图；
25.图2为基于u-net搭建道路边缘技术示意图；
26.图3为级联多个空洞卷积的展开结构示意图；
27.图4为基于u-net并强化道路边缘信息的多尺度道路提取模型示意图；
28.图5为利用模型提取道路的技术流程图；
29.图6为高分影像道路提取结果示意图(a、b为原始高分辨率影像与道路标签；c、d为常见模型道路提取结果；e为本发明道路的提取结果)；
具体实施方式
30.现结合附图对本发明做进一步描述。
31.如图1～图6，本发明提供一种基于u-net强化道路边缘信息的多尺度道路提取模型的方法，包括高分遥感影像道路数据集的制作和构建基于u-net并强化道路边缘信息的多尺度道路提取模型，高分遥感影像道路数据集的制作包括以下步骤：
32.s1：对原始高分影像的多光谱rgb波段和全色波段进行图像融合；
33.s2：利用标签制作软件制作道路分割标签，同时进行数据扩充；
34.s3：利用道路分割标签提取边缘标签，并进行数据集划分；
35.构建基于u-net并强化道路边缘信息的多尺度道路提取模型，包括以下步骤：
36.s10：基于u-net道路分割网络增加边缘提取任务分支，强化边缘信息；
37.s20：引入级联的空洞卷积层，实现深层特征上的多尺度特征融合；
38.s30：利用制作的高分遥感道路数据集训练模型，利用模型完成高分遥感道路提取；
39.s1具体为使用envi软件选取高分遥感影像中的红绿蓝波段和全色波段进行brovey图像融合，得到高空间分辨率的彩色影像。
40.s2具体为使用labelme对遥感影像进行目视解译，制作高分遥感道路影像标签，对影像及标签进行旋转、色彩抖动、图像平移、缩放的形式进行数据扩充，得到成倍的道路影像与对应的标签。
41.s3具体为对道路标签中属于道路类别的所有像素进行逐个分析，如果其八邻域至少有一点为背景标签，那么这一点将会被认为是边缘点，据此提取出道路的边缘标签并按照3：1的比例将数据集划分为训练集和测试集。
42.s10和s20具体为基于u-net网络基础架构改进，新增一个并行的边缘提取任务网络分支，使模型具有道路分割与道路边缘两个任务输出，边缘提取网络能够强化模型中道路分割的边缘特征，特征层由道路分割网络中不同深度的特征层构成，利用反卷积上采样技术保证特征层的图尺寸大小一致，将特征层的图在通道维度上进行拼接，融合不同深度的特征信息，使用分类函数得到边缘的分类概率图，在深度特征图使用了级联的空洞卷积层，不同分支提取了不同尺度的特征图，对多尺度特征图进行补零保持尺寸一致，并进行了深层特征上的多尺度特征融合。
43.s30具体为利用制作的高分影像数据集和tensorflow深度学习框架对模型进行训练，同时为模型添加道路分割网络损失和边缘提取网络损失，训练完毕之后即可利用模型实现道路目标的高精度提取。
44.道路分割网络损失使用了二进制交叉熵损失函数与dice soft损失。
45.二进制交叉熵损失函数为其中yi是像素i预测为道路的概率，而是地面真实标签，n是像素总数；dice soft损失为其中yi是像素i的预测为道路的概率，而是地面真实标签，n是像素总数；道路分割网络损失函数为loss
seg
＝l
dice soft
l
bce
。
46.tensorflow深度学习框架进行训练的方式为使用adam优化算法迭代优化，部分参数设置为：指数衰减率β1＝0.9，β2＝0.999，常数设置ε＝10-8
，批次大小设置为4，迭代训练20epoch，adam优化算法的初始学习率为0.001，采用自适应学习率的策略，连续3个epoch验证集的准确率不下降，学习率变为原来的0.5倍。
47.实施例：
48.如图1～图6所示，本发明根据道路分割标签提取出道路边缘标签，并用此标签训练并行网络强化边缘信息，同时在深度特征图上采用级联空洞卷积生成并融合多尺度特征，提高了道路提取精度，方法技术流程如图5所示。
49.高空间分辨率遥感影像包含丰富的空间细节，这些空间信息是进行道路提取的基础。本发明基于高分遥感影像制作道路数据集，构建基于u-net并强化道路边缘信息的多尺度道路提取模型，提取影像中的道路目标。
50.高分遥感影像的全色波段具有很高的高空间分辨率，包含丰富的空间信息，却缺乏光谱信息。为了解决这一问题，本实例利用envi软件选取高分遥感影像中的红绿蓝波段和全色波段进行图像融合，在envi中选用brovey图像融合的方式进行图像融合，通过对多光谱数据进行归一化后，与高分辨率影像进行的rgb通道进行乘积来增加影像信息，最终得到了高空间分辨率的彩色影像。
51.在深度学习语义分割任务中，高质量的影像标签是必不可少的，本实例使用labelme对高分遥感影像进行目视解译，再经过简单阈值处理，制作高分遥感道路二值标签。为了保证数据集的可靠性，本实例采用水平翻转、垂直翻转、对角翻转、图像平移来模拟地面各种形态的道路；使用色彩抖动来模拟遥感卫星传感器不同的成像条件，减小大气变化、光照强弱和成像时间的影响；使用缩放来模拟遥感卫星传感器成像时的不同高度，同时减弱道路目标多尺度特性的影响；对影像及标签进行数据扩充，得到成倍道路影像与相应的标签。
52.本发明需要道路分割与道路边缘两种高质量标签，实例中已经获取了高精度的道路分割，所以实例所需的边缘标签来自于道路分割标签，对道路标签中属于道路类别的所有像素进行逐个分析，如果其八邻域至少有一点为背景标签，那么这一点将会被认为是边缘点，对道路标签中属于道路类别的所有像素进行逐个分析，如果其八邻域至少有一点为背景标签，那么这一点将会被认为是边缘点，据此程序自动提取出实例所需的道路边缘标签。最后，按照3：1的合适比例将数据集随机划分为训练集和测试集。
53.基于u-net网络基础架构改进，新增一个并行的边缘提取网络，模型具有道路分割与提取边缘两个训练任务。在实例的模型搭建过程中，抽取道路分割网络中不同深度的特
征层构成边缘提取网络的初始特征，这些特征经过反卷积上采样技术保证特征图尺寸大小一致；将特征图在通道维度上进行拼接，融合不同深度的特征信息；最终使用分类函数得到边缘的分类概率图。
54.在分割任务网络的深度编码特征图上构建加入级联的空洞卷积层，堆叠的空洞卷积层的膨胀系数分别为1、2、4，第一行有最大的感受野为15，扩大了特征图上的感受野，与深层特征图的初始大小16*16相近，可以顾及所有全局信息。同时，其余行的感受野自上到下依次为7、3、1，经过这些空洞卷积之后形成了多尺度的特征图。为了保持空洞卷积之后的多尺度特征图尺寸一致，采用了卷积之后在边缘补0的方式进行填补，将相同大小、相同通道数的多尺度特征图通过对应点逐点相加的方式进行多尺度融合，得到具有较大感受野的多尺度特征图。
55.用制作的高分影像数据集和tensorflow深度学习框架对模型进行训练，同时为实例模型添加道路分割网络损失loss
seg
和边缘提取网络损失loss
edge
。道路分割网络共使用了两种损失函数，分别是二进制交叉熵(binary cross entropy，bce)损失函数与dice soft损失。
56.二进制交叉熵损失定义为：
[0057][0058]
其中yi是像素i预测为道路的概率，而是地面真实标签，n是像素总数。
[0059]
dice soft损失定义为：
[0060][0061]
其中yi是像素i的预测为道路的概率，而是地面真实标签，n是像素总数。
[0062]
最终用于道路分割网络的损失函数：
[0063]
loss
seg
＝l
dice soft
l
bce
[0064]
对于道路边缘提取网络，基本的损失函数是bce损失函数，为了使并行网络的训练更加侧重于道路分割网络，在分割网络损失和边缘提取网络损失之间设置一个比例因子，最终模型的损失函数为：
[0065]
loss＝loss
seg
2loss
edge
[0066]
模型使用adam优化算法迭代优化，部分参数设置为：指数衰减率β1＝0.9，β2＝0.999，常数设置ε＝10-8
，批次大小设置为4，迭代训练20epoch，adam优化算法的初始学习率为0.001，采用自适应学习率的策略，连续3个epoch验证集的准确率不下降，学习率变为原来的0.5倍。完成模型训练后，利用模型推理得到高精度的遥感影像道路提取图。
[0067]
本实施例中得到的道路提取如图6所示。其中，图6a、b原始高分遥感影像与道路标签，图6c、d是常见模型(u-net、segnet)提取结果，图6e是本发明的道路提取结果。可以看出本发明提出的方法有效的改善了道路提取边缘不完整、连通性差的情况。同时，对本实施例提取的道路提取结果进行精度评价，选四个指标准确度(precision)、召回率(recall)、交并比(iou)和f值(f-measure)对结果进行定量评价。将数据集的测试集作为评定标准，通过
统计precision为78.4％，recall为76.1％，iou为62.8％，f-measure为77.2％，为经实验验证，本发明能够得到较理想的提取结果。
[0068]
以上仅是本发明的优选实施方式，只是用于帮助理解本技术的方法及其核心思想，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
[0069]
本发明从整体上解决了现有技术中在实际利用深度学习语义分割模型提取遥感影像道路的任务中，由于道路背景复杂，背景地物中的路边树木、高大建筑物等对道路边缘有一定的遮挡作用，使得提取的道路边缘不规则、不完善，且利用深度学习提取道路受到尺度的限制，提取的道路也存在拓扑连通性不高的技术问题，通过搭建多任务学习网络，利用道路的边缘标签对道路的边缘信息进行强化学习，利用级联的空洞卷积模块实现了多尺度深度道路特征的提取与融合，使得提取出的道路边缘更加完整、道路主体连通性更高。