基于边缘检测的建筑物语义分割后处理方法、系统以及设备与流程

1.本发明涉及光学遥感图像处理与深度学习技术领域，具体涉及基于边缘检测的建筑物语义分割后处理方法、系统以及设备。


背景技术：

2.高分辨率遥感影像中建筑物提取是摄影测量与遥感领域的一个热门研究主题。长期以来，很多学者就相关问题作了大量研究。包括利用光谱特性直接计算建筑物指数，并通过建筑物与阴影间的距离关系来提取建筑物对象的方法。以及传统图像处理方法进行分割，例如分水岭算法、主动轮廓模型、统计区域融合等。而这些方法都需要通过经验建立一个低秩的特征空间，并在此基础上应用数学工具建立一个具有显性代数表达式的分割模型。由于遥感影像中分割目标的特征往往呈现高维非线性的特点，因此难以用简单的代数关系进行描述。因此，神经网络、支持向量机等机器学习方法被用来代替人工建模过程，但由于此类方法有限的计算参数，导致最终的分割精度仍然不足。
3.近几年，由于深度学习能够自动提取所需的有效特征，并通过深层神经网络结构建立高维强非线性模型，使得图像处理的研究及应用发生了巨大飞跃。卷积神经网络(cnn)作为深度学习中图像特征提取的基础框架，可利用其提取的特征实现区域级别的图像分割任务。然而，这些方法均存在一个共性的问题，即分割结果的边缘普遍存毛刺的现象。
4.综上，现有的遥感图像中建筑物的分割结果普遍存在边缘毛刺的现象。


技术实现要素：

5.本发明解决了现有的遥感图像中建筑物的分割结果普遍存在边缘毛刺的现象的问题。
6.本发明所述的基于边缘检测的建筑物语义分割后处理方法，包括以下步骤：
7.步骤s1，通过语义分割方法进行建筑物分割；
8.步骤s2，通过canny算子得到建筑物边缘信息，并将建筑物边缘终节点进行连接；
9.步骤s3，将得到的建筑物边缘信息在长宽维度上各扩大一定倍数；
10.步骤s4，通过双线性插值法将原始图像在长宽维度上各扩大一定倍数；
11.步骤s5，通过canny算子计算出扩大后原始图像的边缘信息，并将图像边缘终节点进行连接；
12.步骤s6，将步骤s3和步骤s5中得到的边缘信息进行叠加；
13.步骤s7，对叠加的边缘信息进行过滤，得到边缘厚度为1个像素的边缘信息；
14.步骤s8，将步骤s7中的边缘信息和步骤s1中的建筑物分割的结果进行融合；
15.步骤s9，融合得到的边缘信息通过图像闭操作合并相邻连通域；
16.步骤s10，删除指定像素的连通域，得到建筑物轮廓的小分叉；
17.步骤s11，通过图像闭操作将得到的建筑物轮廓的小分叉进行填充，得到最终的建筑物分割结果。
18.进一步地，在本发明的一个实施例中，所述步骤s2中，所述的将建筑物边缘终节点进行连接，包括以下步骤：
19.步骤s201，查找出通过canny算子得到建筑物边缘信息的叶子节点；
20.步骤s202，将叶子节点距离最近的，且非本区域的叶子节点进行连接。
21.进一步地，在本发明的一个实施例中，所述步骤s3中，所述的扩大一定倍数为2倍数。
22.进一步地，在本发明的一个实施例中，所述步骤s4中，所述的扩大一定倍数为2倍数。
23.进一步地，在本发明的一个实施例中，所述步骤s5中，所述的将图像边缘终节点进行连接，包括以下步骤：
24.步骤s501，查找出通过canny算子计算出扩大后原始图像的边缘信息的叶子节点；
25.步骤s502，将叶子节点距离最近的，且非本区域的叶子节点进行连接。
26.进一步地，在本发明的一个实施例中，所述步骤s7中，所述的对叠加的边缘信息进行过滤，包括以下步骤：
27.步骤s701，将叠加的边缘信息转成二值图像，并按照连通域进行分割；
28.步骤s702，每个连通域视为对象，通过从对象边界删除像素，将对象收缩为线，并且没有孔洞的对象收缩为具有最小连通性的线，有孔洞的对象收缩为每个孔洞和外边界之间的连通环，从而得到边缘骨架；
29.步骤s703，将边缘骨架中像素点小于5的骨骼线删除。
30.进一步地，在本发明的一个实施例中，所述步骤s8中，所述的将步骤s7中的边缘信息和步骤s1中的建筑物分割的结果进行融合，包括以下步骤：
31.步骤s801，将步骤s7中得到的1个像素的边缘信息进行反置，并按照连通域进行分割；
32.步骤s802，将得到的连通域进行逐一判定，若被步骤s1中得到的建筑物覆盖比超过80％，则判定此连通域均为建筑物，若覆盖比小于30％，则判定此连通域均不为建筑物，若覆盖比超过30％且小于80％，则按照步骤s1的结果判定为建筑物。
33.进一步地，在本发明的一个实施例中，所述步骤s10中，所述的指定像素为小于200像素。
34.本发明所述的基于边缘检测的建筑物语义分割后处理系统，所述系统包括：
35.分割模块，通过有效的语义分割方法进行建筑物分割；
36.连接模块，通过canny算子得到建筑物边缘信息，并将建筑物边缘终节点进行连接；
37.建筑物模块，将得到的建筑物边缘信息在长宽维度上各扩大一定倍数；
38.图像模块，通过双线性插值法将原始图像在长宽维度上各扩大一定倍数；
39.边缘模块，通过canny算子计算出扩大后原始图像的边缘信息，并将图像边缘终节点进行连接；
40.叠加模块，将边缘模块和建筑物模块得到的边缘信息进行叠加；
41.过滤模块，对叠加的边缘信息进行过滤，得到边缘厚度为1个像素的边缘信息；
42.融合模块，将过滤模块中的边缘信息和分割模块中的建筑物分割的结果进行融
合；
43.闭操作模块，融合得到的边缘信息通过图像闭操作合并相邻连通域；
44.连通域模块，删除指定像素的连通域，得到建筑物轮廓的小分叉；
45.结果模块，通过图像闭操作将得到的建筑物轮廓的小分叉进行填充，得到最终的建筑物分割结果。
46.本发明所述的一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
47.存储器，用于存放计算机程序；
48.处理器，用于执行存储器上所存放的程序时，实现上述方法中任一所述的方法步骤。
49.本发明解决了现有的遥感图像中建筑物的分割结果普遍存在边缘毛刺的现象的问题。具体有益效果包括：
50.本发明所述的基于边缘检测的建筑物语义分割后处理方法，基于边缘检测的建筑物语义分割后处理方法，通过经典的边缘检测方法识别出的图像边缘信息与语义分割方法识别出的轮廓进行融合。该方法能够作为任意语义分割结果的后处理过程，有效提高建筑物轮廓识别精度，实现了更精确的建筑物提取，使得最终的建筑物轮廓更加平滑，为城市发展相关的政策制定和研究方向提供数据参考以及方法支撑。
附图说明
51.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
52.图1是具体实施方式所述的基于边缘检测的建筑物语义分割后处理方法流程图。
53.图2是具体实施方式所述的叶子节点示意图。
54.图3是具体实施方式所述的叶子节点连接前图。
55.图4是具体实施方式所述的叶子节点连接后图。
56.图5是具体实施方式所述的覆盖比小于30％图。
57.图6是具体实施方式所述的覆盖比大于30％小于80％图。
58.图7是具体实施方式所述的覆盖比大于80％图。
59.图8是具体实施方式所述的具体实施例图。
60.图9是具体实施方式所述的判定情况示意图。
61.图10是具体实施方式所述的判定情况示意图。
具体实施方式
62.下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
63.本实施方式所述的基于边缘检测的建筑物语义分割后处理方法，包括以下步骤：
64.步骤s1，通过语义分割方法进行建筑物分割；
65.步骤s2，通过canny算子得到建筑物边缘信息，并将建筑物边缘终节点进行连接；
66.步骤s3，将得到的建筑物边缘信息在长宽维度上各扩大一定倍数；
67.步骤s4，通过双线性插值法将原始图像在长宽维度上各扩大一定倍数；
68.步骤s5，通过canny算子计算出扩大后原始图像的边缘信息，并将图像边缘终节点进行连接；
69.步骤s6，将步骤s3和步骤s5中得到的边缘信息进行叠加；
70.步骤s7，对叠加的边缘信息进行过滤，得到边缘厚度为1个像素的边缘信息；
71.步骤s8，将步骤s7中的边缘信息和步骤s1中的建筑物分割的结果进行融合；
72.步骤s9，融合得到的边缘信息通过图像闭操作合并相邻连通域；
73.步骤s10，删除指定像素的连通域，得到建筑物轮廓的小分叉；
74.步骤s11，通过图像闭操作将得到的建筑物轮廓的小分叉进行填充，得到最终的建筑物分割结果。
75.本实施方式中，所述步骤s2中，所述的将建筑物边缘终节点进行连接，包括以下步骤：
76.步骤s201，查找出通过canny算子得到建筑物边缘信息的叶子节点；
77.步骤s202，将叶子节点距离最近的，且非本区域的叶子节点进行连接。
78.本实施方式中，所述步骤s3中，所述的扩大一定倍数为2倍数。
79.本实施方式中，所述步骤s4中，所述的扩大一定倍数为2倍数。
80.本实施方式中，所述步骤s5中，所述的将图像边缘终节点进行连接，包括以下步骤：
81.步骤s501，查找出通过canny算子计算出扩大后原始图像的边缘信息的叶子节点；
82.步骤s502，将叶子节点距离最近的，且非本区域的叶子节点进行连接。
83.本实施方式中，所述步骤s7中，所述的对叠加的边缘信息进行过滤，包括以下步骤：
84.步骤s701，将叠加的边缘信息转成二值图像，并按照连通域进行分割；
85.步骤s702，每个连通域视为对象，通过从对象边界删除像素，将对象收缩为线，并且没有孔洞的对象收缩为具有最小连通性的线，有孔洞的对象收缩为每个孔洞和外边界之间的连通环，从而得到边缘骨架；
86.步骤s703，将边缘骨架中像素点小于5的骨骼线删除。
87.本实施方式中，所述步骤s8中，所述的将步骤s7中的边缘信息和步骤s1中的建筑物分割的结果进行融合，包括以下步骤：
88.步骤s801，将步骤s7中得到的1个像素的边缘信息进行反置，并按照连通域进行分割；
89.步骤s802，将得到的连通域进行逐一判定，若被步骤s1中得到的建筑物覆盖比超过80％，则判定此连通域均为建筑物，若覆盖比小于30％，则判定此连通域均不为建筑物，若覆盖比超过30％且小于80％，则按照步骤s1的结果判定为建筑物。
90.本实施方式中，所述步骤s10中，所述的指定像素为小于200像素。
91.本实施方式所述的基于边缘检测的建筑物语义分割后处理系统，所述系统包括：
92.分割模块，通过有效的语义分割方法进行建筑物分割；
93.连接模块，通过canny算子得到建筑物边缘信息，并将建筑物边缘终节点进行连接；
94.建筑物模块，将得到的建筑物边缘信息在长宽维度上各扩大一定倍数；
95.图像模块，通过双线性插值法将原始图像在长宽维度上各扩大一定倍数；
96.边缘模块，通过canny算子计算出扩大后原始图像的边缘信息，并将图像边缘终节点进行连接；
97.叠加模块，将边缘模块和建筑物模块得到的边缘信息进行叠加；
98.过滤模块，对叠加的边缘信息进行过滤，得到边缘厚度为1个像素的边缘信息；
99.融合模块，将过滤模块中的边缘信息和分割模块中的建筑物分割的结果进行融合；
100.闭操作模块，融合得到的边缘信息通过图像闭操作合并相邻连通域；
101.连通域模块，删除指定像素的连通域，得到建筑物轮廓的小分叉；
102.结果模块，通过图像闭操作将得到的建筑物轮廓的小分叉进行填充，得到最终的建筑物分割结果。
103.本实施方式所述的一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
104.存储器，用于存放计算机程序；
105.处理器，用于执行存储器上所存放的程序时，实现上述实施方式中任一所述的方法步骤。
106.本实施方式基于本发明所述的基于边缘检测的建筑物语义分割后处理方法，结合具体对象提供一种实际的实施方式：
107.基于边缘检测的建筑物语义分割后处理方法，如图1所示，包括以下步骤：
108.步骤s1：通过任意有效的语义分割方法进行建筑物分割；
109.步骤s2：通过canny算子得到基础边缘信息，并将其中的边缘终节点进行连接；
110.步骤s3：将步骤s2中得到的边缘信息在长宽维度上各扩大2倍；
111.步骤s4：将原始图像通过双线性插值法将图像在长宽维度上各扩大2倍；
112.步骤s5：通过canny算子计算出由步骤s4中得到图像的基础边缘信息，并将其中的边缘终节点进行连接；
113.步骤s6：将步骤s3和步骤s5中得到的边缘信息进行叠加；
114.步骤s7：对步骤s6中得到的边缘信息进行过滤，得到边缘厚度为1个像素的边缘信息；
115.步骤s8：将步骤s7中的边缘信息与步骤s1中的建筑物分割结果进行融合；
116.步骤s9：将步骤s8中得到的边缘信息通过图像闭操作合并相邻连通域；
117.步骤s10：删除步骤s9中的面积小于200像素的连通域；
118.步骤s11：通过图像闭操作将步骤s10中得到的建筑物轮廓的小分叉进行填充，得到最终的建筑物分割结果。
119.步骤s2的实现过程包括以下子步骤：
120.步骤s201：通过canny算子得到基础边缘信息；
121.步骤s202：查找出步骤s201中的叶子节点，叶子节点如图2所示；
122.步骤s203：将所有的叶子节点距离最近的非本区域节点并链接，连接过程如图3和图4所示。
123.步骤s5的实现过程包括以下子步骤：
124.步骤s501：通过canny算子得到基础边缘信息；
125.步骤s502：查找出步骤501中的叶子节点；
126.步骤s503：将所有的叶子节点距离最近的非本区域节点并链接。
127.步骤s7的实现过程包括以下子步骤：
128.步骤s701：将步骤s6中得到的边缘信息转成二值图像，并按照连通域进行分割；
129.步骤s702：将步骤s701中的每个连通域视为对象，通过从对象边界删除像素，将对象收缩为线。并保证没有孔洞的对象收缩为具有最小连通性的线，有孔洞的对象收缩为每个孔洞和外边界之间的连通环，得到边缘骨架；
130.步骤s703：将边缘骨架中像素点小于5的骨骼线删除，得到仅包含关键边缘信息的边缘骨架。
131.步骤s8的实现过程包括以下子步骤：
132.步骤s801：将步骤s7中得到的二值边缘骨架图像进行反置，实现0-1互换；
133.步骤s802：将步骤s801中得到的二值图像按照连通域进行分割；
134.步骤s803：将步骤s802中得到的连通域进行逐一判定，若被步骤1中得到的建筑物覆盖比超过80％，则判定此连通域均为建筑物；若覆盖比小于30％，则判定此连通域均不为建筑物；若覆盖比超过30％且小于80％，则按照步骤1的结果判定为建筑物，三种判定情况如图5-7所示。
135.本实施方式基于本发明所述的基于边缘检测的建筑物语义分割后处理方法，结合具体对象提供一种实际的实施方式：
136.如图8所述，以边缘检测的结果作为初选轮廓，以语义分割结果作为投票权重，逐一判定每个闭合区域所属地物类型。
137.定义1：img
en_c
为边缘检测结果，则img
en_c
中的闭合区域集合为其中为集合中的元素，即
138.若的面积被语义分割结果覆盖的比例大于某一阈值(阈值上界)时则判定为目标，若该比例小于某一阈值(阈值下界)时则判定为非目标，其他情况认定为候选目标，即以语义分割结果作为目标认定结果。最后再将所有相邻结果进行融合得到最终的分割目标。经总结大量实验结论后，本文中设定的阈值上界和下界分别为0.8和0.3，以此作为阈值得到的上述三种情况如图9和10所示，其中红色区域为语义分割结果，白线为边缘信息。
139.图9中的存在若干个目标区域、非目标区域和候选目标区域，例如1号区域为目标区域，2号区域为非目标区域，3号区域候选目标区域。经过后处理得到的结果如图10所示。
140.以上对本发明所提出的基于边缘检测的建筑物语义分割后处理方法、系统以及设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技
术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。