一种基于遥感影像分割的狭长条带状要素断裂的连接方法与流程

1.本发明属于计算机视觉图像处理领域，具体的说是涉及一种基于遥感影像分割的狭长条带状要素断裂的连接方法。


背景技术：

2.在遥感影像分割任务中，当下主流的技术都采用了基于卷积神经网络的深度学习算法，而深度学习算法网络模型架构的搭建并没有明确的指导原则，依然是个黑盒子，通常是基于经验法则，普遍的做法是采用目前计算机视觉领域广为人知的主干网络提取特征，然后基于特定的任务自定义输出结果头部网络结构。深度学习神经网络模型通常需要大量的数据进行训练，并且，数据的分布对于模型的性能影响较大，倘若训练数据类别不均衡，通常会导致占比较少的类别预测性能较差。应对这类问题的方案一般有两种，一种是从数据的角度出发，简单粗暴的进行数据增强，即采用将占比较少的类别的物体进行复制粘贴(golnaz ghiasi,yin cui,aravind srinivas,rui qian,tsung-yi lin,ekin d.cubuk,quoc v.le,barret zoph.simple copy-paste is a strong data augmentation method for instance segmentation)，从而提升较少类别的要素占比，进而提升模型预测性能。但这种复制粘贴比较适合于具有特定形状边界的要素比如球体，动物等，而不太适合没有边界的要素比如道路或者河流，自身也很难实现精准的提取复制。另外一种是从损失函数的角度出发，通过某种损失函数，抑制占比大的类别对模型总体损失的贡献，提升占比类别小的类别对总体损失的贡献，比如focalloss“tsung-yi lin,priya goyal,ross girshick,kaiming he,piotr dollar.focal loss for dense object detection”，通过这种方式，减轻数据分布类别不均对模型性能的影像，从而提升模型总体性能。但是，即使采用了上述方案，也只是从一定程度上减轻但不能彻底解决其对模型性能的影响。在遥感影像分割任务中，神经网络模型对于类别占比较少，同时形状又比较狭长的条带状的要素，比如乡间的道路或者小河流，预测会出现断裂的情况。因为这类要素往往在图像上就只占几个像素的宽度，加上乡间道路或者河流两旁的树木遮挡，就会导致预测结果出现断裂的情况，这种断裂问题一直以来也是深度学习遥感影像分割任务中的一大难点。


技术实现要素：

3.针对上述问题，既然在网络模型上无法很好的解决这类问题，那么本发明就考虑在模型输出的结果之上，通过后处理的方式来对断裂要素进行连接。沈川等(沈川，贾渊，杨珂珂，基于高分遥感影像的断裂道路连接方法.2020.28(2))也是从后处理的角度去实现的断裂道路的连接，不过在连接方法上，有所不同。沈川等的搜索方向的判定仅仅使用了端点的八邻域的相邻像素点进行方向判定，方向较为不稳定。本发明的方向采用的是端点与沿着骨骼线回退一定像素数量的回溯点之间的向量确定，使用骨骼线的走向来辅助端点探测方向的确认，方向更为精准合理，鲁棒性更好。
4.本发明是基于遥感影像分割任务，对遥感影像分割结果中出现的狭长细小条带状
要素断裂的情况进行后处理，实现这些断裂要素的连接。本发明通过遥感影像分割，拼接，要素提取，分割结果膨胀，提取要素骨骼，检测骨骼端点，端点延伸扫描，膨胀，叠加等9个步骤较好的实现了狭长条带状断裂要素如道路及河流的连接。
5.本发明的步骤及具体方案如下：
6.步骤1：获取遥感影像分割结果图。这一环节主要利用深度学习算法实现对遥感影像的分割。在本发明中使用的是deeplabv3 (chen,l.c.,zhu,y.k.,papandreou,g.,schroff,f.,adam,h.:encoder-decoder with atrous separable convolution for semantic image segmentation)来从遥感影像中提取图像特征，在deeplabv3 输出的特征图之上，嫁接了两个网络头，用于获得最终的分割结果灰度图。本发明中的两个网络头分别对应不同的分类数目，一个是8大类的分类网络头，一个是25小类的分类网络头，可以根据需要灵活切换。不同的分类代码，在分割结果图上体现为像素值，即像素值就为分类代码数值。具体分类如下：
7.8大类的数值代码及对应类别如下：1:耕地，2:园地，3:林地，4:草地，5:建设用地，6:交通运输用地，7:水域及附属设置，8:其它；
8.25小类的数值代码及对应类别如下：11:水田，12:水浇地，13:旱地，21:果园，22:茶园，23：其他园地，31：有林地，32：灌木林地，33：其他林地，41：天然牧草地，42:人工牧草地，43:其他草地，51:城镇建设用地,52:农村建设用地,53:采矿用地,54:其他建设用地,61:农村道路,62:其他交通用地，71:河湖库塘，72：沼泽地，73：冰川及永久积雪，81：盐碱地，82：沙地，83：裸土地84：裸岩石砾地。
9.上述类别中，水域中的河流及交通运输的道路等都是狭长细小的要素。正如前文所述，由于深度学习算法上的缺陷，这一步输出的结果，对于狭长细小的条带状要素的预测会存在断裂的情况，需要对断裂的要素进行连接。
10.步骤2：灰度图像拼接。由于遥感影像通常为大尺寸图像比如16000x24000等，但受计算机硬件资源比如内存，显存等的限制，无法一次性的对这么大的图像进行处理，实际中处理都是将大尺寸图像裁剪成许多固定大小的小尺寸图像。比如512x512,再送进神经网络进行预测。经过网络分割之后，得到的结果的尺寸与输入相同，比如输入是512x512，则输出仍是512x512。但为了还原大尺度分割结果，需要将这一个个的小尺寸分割结果按照其在原大尺度影像中的位置进行拼接，最终拼接成大尺寸图像的分割结果。
11.步骤3：断裂要素提取。在步骤2拼接的结果之上，将断裂要素根据图像灰度值提取出来，并将要素位置映射到与原始图像同样大小的二值图像上。像素值为1表示要连接的要素，像素值为0表示背景。映射到二值图像上的主要目的是为了能够利用传统图像处理中的形态学技术进行膨胀腐蚀操作。
12.步骤4：形态学膨胀。在步骤3提取的二值图像之上，根据要素断裂的程度，选择合适的膨胀数值，本发明中膨胀操作使用opencv中的dilate函数，函数参数kernel数值设置为(13,13)。经过膨胀之后，会将大部分的距离小于13个像素的断裂细小碎斑连接在一起，这就大大减少了断裂图斑的数量。同时，也减少了骨骼的端点数量。对于部分断裂缺失较长的地方，后续采取端点延伸探测法解决。
13.步骤5：提取膨胀之后的要素的骨骼。这一步会将步骤4结果中的条带状要素细化为只具有一个像素的宽度。细化之后的结果使得相邻的像素要么仅有一条公共边相邻，要
么仅有对角公共顶点这两种相邻的情况，不存在其他相邻的情况。
14.步骤6：端点检测。由于经过步骤4形态学膨胀之后，已经将大部分的断裂处连接起来，因此，步骤5骨骼细化之后的骨骼端点数量骤减，大大减少了需要遍历的端点数量，进一步的提升了处理速度。
15.骨骼提取之后需要定位到骨骼的端点。接下来就是识别骨骼上的端点，我们的端点判定算法如下：
16.找到所有骨骼上的点的坐标。以这些点为中心，在3x3的八邻域范围内，若除了中心点之外仅有一个点的像素值为1，其余像素值均为0，则此3x3区域的中心点为骨骼端点。
17.端点检测之后，得到所有端点的坐标集合。
18.步骤7：端点延伸扫描。在得到端点集合之后，针对每一个端点，沿着骨骼线回退13个像素的距离，取得回溯点的坐标。这个点用来辅助构建延伸方向向量。
19.接下来，以端点为中心，构建一个边长为2l 1的正方形区域，在这个正方形区域内，寻找满足以下条件的骨骼上的点。具体l值的大小可根据断裂情况调整，本发明中l＝30。即在以端点为中心的61x61的正方形区域内搜索满足以下条件的点。
20.1)该点与端点连线构成的向量与端点和回溯点构成向量之间的夹角小于60度，即余弦值大于0.5。
21.2)该点到端点的距离小于设定的端点延长探测距离，本发明中端点延长探测距离设置为45个像素。
22.在满足上述条件的点集合中，选择与端点的距离最近的点进行连接。
23.步骤8：形态学膨胀。在步骤7的结果之上进行形态学膨胀，此处的膨胀kernel参数设置为(4,4)。这一步的膨胀操作主要目的是让步骤7连接的骨骼部分具有一定的像素宽度。
24.步骤9：叠加覆盖。将步骤8的结果，与步骤3的二值结果图像进行逐像素的“逻辑或”操作，获得断裂要素连接完成的二值图像结果。然后，提取这个二值图像结果中所有非0像素的坐标，将步骤2结果图像中的这些坐标位置的像素替换为断裂要素的像素值。
25.经过上述九个步骤操作之后，就实现了对分割结果中的断裂要素的连接。
26.本发明的有益效果为，本发明在遥感影像分割结果之上，利用传统的图像处理手段，采用膨胀，细化提取骨骼，端点延伸扫描，再膨胀，叠加覆盖的方式实现了对断裂条状狭长细小要素的连接。
27.本发明是基于遥感影像分割输出的分类结果之上进行的后处理。同样可以用于连接其他狭长条状要素。将狭长条带状要素连接之后，对于下游任务比如道路及河流中心线提取等有极大的帮助。
附图说明
28.图1/3/5为步骤3提取的遥感影像原始分割结果中断裂要素的二值图像。
29.图2/4/6为步骤9操作完成之后对已完成连接的断裂要素提取的二值图像。
具体实施方式
30.在发明内容部分已经对本发明的最佳实施方式进行了详细说明，下面结合附图，
对本发明在实际应用情形下取得的效果进行展示，以体现本发明所取得的技术进步。
31.图1/3/5为未使用本发明方法，从深度学习算法分割结果中提取的断裂要素(图中白色像素)的情况。
32.图2/4/6为对应的使用了本发明方法对断裂要素连接以后的情况。
33.由上述内容可知，使用本发明处理之后，实现了对断裂道路以及河流等狭长细小或条带状要素的连接，对于遥感影像处理的下游任务比如道路河流中心线的提取效果上有极大的提升。