一种基于语义分割的园林图像量化方法与流程

1.本发明涉及图像处理技术领域，具体地说，特别涉及一种基于语义分割的园林图像量化方法。


背景技术：

2.在众多形式的数据中，图片数据在刻画城市空间中拥有传统文本数据不可比拟的优势，图片是一种从人本视角记录街道空间的有效数据源，信息量大，能有效反映物质空间的形态、尺寸、风貌、品质、构成等客观参数，也能反映社会空间的活力感、安全感、幸福感、富裕感、压抑感等主观感受,内容更加丰富直观。街景图像、遥感影像和地理标记社交媒体图片是当前城市环境评价中使用的主要图片数据源。
3.以往的园林图像量化研究主要使用图像处理软件，地理信息系统分析工具以及人工统计3种方法，随着图像数据的海量增长，这种方式已经难以满足大范围研究的需求。近年来，基于深度学习的卷积神经网络模型在图像分类、物体检测、姿态估计、图像分割和人脸识别等多个计算机视觉应用领域中展现出较好的精度和性能，在图像分类数据集上的识别效果已经超过人眼识别模型。当前，计算机视觉技术在城市环境评价中的应用越来越广泛，包括城市风貌评估、街道绿化评价、城市可步行性评估、城市安全感、建筑特色识别、建成环境与社会经济关系等，形成了拥有巨大潜力的跨学科研究领域。
4.图像分割是计算机视觉中除了分类和检测外的另一项基本任务，它意味着要将图片根据内容分割成不同的块。相比图像分类和检测，分割是一项更精细的工作，因为需要对每个像素点分类。
5.现有的语义分割方法主要分为两种：
6.1.encoder-decoder方法：与经典的fcn中的skip-connection思想类似，encoder为分类网络，用于提取特征，而decoder则是将encoder的先前丢失的空间信息逐渐恢复，decoder的典型结构有u-net/segnet/refinenet，该类方法虽然有一定的效果，能恢复部分信息，但毕竟信息已经丢失了，不可能完全恢复。
7.2.dialed fcn方法：deeplabv1提出的方法，将vgg的最后的两个pool层步长置为1，这样网络的输出分辨率从1/32变为1/8，可以保留更多的细节信息，同时也丢掉了复杂的decoder结构，但这种方法计算量大。


技术实现要素：

8.为了解决现有技术的问题，本发明实施例提供了一种基于语义分割的园林图像量化方法。所述技术方案如下：
9.一方面，提供了一种基于语义分割的园林图像量化方法，包括：
10.1)根据不同园林图像语义分割任务获取不同的园林图像数据集；
11.2)根据具体园林图像语义分割任务修改数据集设置；
12.3)将需要进行语义分割的园林图像数据输入园林语义分割模型，所述园林语义分
割模型对不同语义的园林图像数据进行分类，然后输出一张带有语义标签的图像。
13.进一步地，所述步骤3)具体为：
14.将需要进行语义分割的园林图像数据输入所述园林语义分割模型，使用串行的空洞卷积，设置卷积核大小，根据卷积核大小，得到高级语义特征图和低级语义特征图；
15.高级语义特征图进入到空洞金字塔池化模块aspp，分别与四个空洞卷积层和一个池化层进行卷积和池化，得到五个特征图，然后再合并成第一特征图；所述第一特征图再通地一个1*1的卷积压缩特征运算后得到第二特征图；所述第二特征图再经过上采样得到第三特征图；
16.将所述低级语义特征图，经过1*1卷积改变其通道数，得到第四特征图；所述第四特征图与所述第三特征图所占通道比重一样；
17.将所述第四特征图与第三特征图合并成第五特征图，然后再通过一个3*3细化卷积进行细化；后通过双线性上采样4倍，得到带有语义标签的图像。
18.进一步地，所述高级语义特征图为512
×
32
×
32的特征图；所述五个特征图均为256x32x32的特征图；所述第一特征图为1280x32x32的特征图；所述第二特征图为20x32x32的特征图；所述第三特征图为20x256x256的特征图。
19.进一步地，基于开源编程平台anaconda，使用深度学习框架pytorch，在集成开发环境pycharm上对园林语义分割模型进行构建。
20.进一步地，所述园林语义分割模型为主流深度卷积神经网络。
21.本发明实施例提供的技术方案带来的有益效果是：
22.本发明提供的一种基于语义分割的园林图像量化方法，首先在城市街道绿化评价上，可以把街道图片输入模型，模型对不同语义的像素进行分类，然后输出一张带有语义标签的图像。这样可以快速计算绿视率，节约成本与时间。本技术也可以对遥感影像进行语义分割，快速得到现状用地条件图。除此之外，该申请也能用于天空开阔度闭合度的量化指标研究。总之，本技术可以针对不同的研究目的快速对园林图像进行语义分割。
附图说明
23.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1是本发明实施例的一种基于语义分割的园林图像量化方法的流程图；
25.图2是本发明实施例的一种基于语义分割的园林图像量化方法的流程示意图。
具体实施方式
26.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
27.本发明提供了一种基于语义分割的园林图像量化方法，参见图1和2，包括：
28.1)根据不同园林图像语义分割任务获取不同的园林图像数据集；
29.2)根据具体园林图像语义分割任务修改数据集设置；
30.3)将需要进行语义分割的园林图像数据输入园林语义分割模型，所述园林语义分割模型对不同语义的园林图像数据进行分类，然后输出一张带有语义标签的图像。
31.具体地，根据不同园林图像语义分割任务获取不同的园林图像数据集，并使用lableme标注工具标注数据，然后生成tfrecords文件。根据具体园林图像语义分割任务修改数据集设置传入tfrecords路径，在model/research目录下执行训练命令。
32.进一步地，所述步骤3)具体为：
33.将需要进行语义分割的园林图像数据输入所述园林语义分割模型，使用串行的空洞卷积，设置卷积核大小，根据卷积核大小，得到高级语义特征图和低级语义特征图；
34.高级语义特征图进入到空洞金字塔池化模块aspp，分别与四个空洞卷积层和一个池化层进行卷积和池化，得到五个特征图，然后再合并成第一特征图；所述第一特征图再通地一个1*1的卷积压缩特征运算后得到第二特征图；所述第二特征图再经过上采样得到第三特征图；
35.将所述低级语义特征图，经过1*1卷积改变其通道数，得到第四特征图；所述第四特征图与所述第三特征图所占通道比重一样；
36.将所述第四特征图与第三特征图合并成第五特征图，然后再通过一个3*3细化卷积进行细化；后通过双线性上采样4倍，得到带有语义标签的图像。
37.进一步地，所述高级语义特征图为512
×
32
×
32的特征图；所述五个特征图均为256x32x32的特征图；所述第一特征图为1280x32x32的特征图；所述第二特征图为20x32x32的特征图；所述第三特征图为20x256x256的特征图。
38.进一步地，基于开源编程平台anaconda，使用深度学习框架pytorch，在集成开发环境pycharm上对园林语义分割模型进行构建。
39.进一步地，所述园林语义分割模型为主流深度卷积神经网络。
40.本实施例中，读取需要进行语义分割的园林图像和训练模型。并将图像转换为tensor格式；对图片进行特征提取，可使用各种backdone.，本文选择的是resnet,得到512
×
32
×
32的特征图。
41.本技术有多方面的意义，首先在城市街道绿化评价上，可以把街道图片输入模型，模型对不同语义的像素进行分类，然后输出一张带有语义标签的图像。这样可以快速计算绿视率，节约成本与时间；本技术也可以对遥感影像进行语义分割，快速得到现状用地条件图。除此之外，该申请也能用于天空开阔度闭合度的量化指标研究。总之，本方法可以针对不同的研究目的快速对园林图像进行语义分割。
42.以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。