遥感图像分割方法、装置和电子设备与流程

1.本公开涉及计算机技术领域，尤其涉及一种遥感图像分割方法、装置和电子设备。


背景技术：

2.遥感图像分割是把遥感图像中每一个像素进行分类，具有相同值的像素归为同一类，可用于典型地物分析、道路提取、城市规划等实际应用，对民事和军事具有重大意义。早期，通常使用传统方法对遥感图像进行分割，例如：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法等，但是，这些方法只能提取低层特征。随着遥感技术的发展，高分辨率遥感图像越来越容易获取，同时，遥感图像的细节特征也越来越复杂。采用传统遥感图像分割方法对高分辨率遥感图像进行分割，得到的图像分割结果的准确性较低，已经不能满足高分辨率遥感图像的分割要求。


技术实现要素：

3.鉴于此，本公开提出了一种遥感图像分割方法、装置和电子设备，可以解决遥感图像分割结果准确性较低的问题。
4.为了解决上述技术问题，本公开是这样实现的：
5.根据本公开的一方面，提供了一种遥感图像分割方法，包括：
6.获取待分割的遥感图像；
7.对所述遥感图像进行多次目标要素的提取，得到多个提取结果，并综合多个所述提取结果得到最终目标要素提取结果；
8.基于所述最终目标要素提取结果，在所述遥感图像中分割出所述目标要素。
9.在一种可能的实现方式中，对所述遥感图像进行多次目标要素的提取，得到多个提取结果，并综合多个所述提取结果得到最终目标要素提取结果时，通过预先构建的强分类器进行；
10.其中，所述强分类器采用集成学习算法构建得到。
11.在一种可能的实现方式中，采用集成学习算法构建所述强分类器，包括：
12.获取训练数据集和至少两个基础弱分类器；
13.基于所述训练数据集，对至少两个所述基础弱分类器进行分别训练，得到至少两个弱分类器；
14.对于至少两个所述弱分类器，通过预设的结合策略得到所述强分类器。
15.在一种可能的实现方式中，所述训练数据集中的样本数据通过以下方式进行构建：
16.选取样本遥感图像；
17.根据目标提取任务绘制与所述样本遥感图像同坐标系的目标要素的矢量数据；
18.将所述目标要素的矢量数据转换与所述样本遥感图像大小一致的栅格数据，并将所述栅格数据作为所述样本遥感图像对应的标签数据；
19.根据所述样本遥感图像和所述标签数据，得到所述样本数据。
20.在一种可能的实现方式中，基于所述训练数据集，对所述至少两个基础弱分类器进行训练，包括：
21.通过有放回的抽取方法，在所述训练数据集中抽取出所述基础弱分类器对应的训练子集；
22.通过所述基础弱分类器对应的训练子集对所述基础弱分类器进行训练，得到所述各弱分类器。
23.在一种可能的实现方式中，所述弱分类器采用u-net网络实现。
24.在一种可能的实现方式中，所述u-net网络包括依次级联的六层下采样编码层和依次级联的六层上采样解码层。
25.在一种可能的实现方式中，各所述上采样解码层包括通道空间注意力模块；
26.所述通道空间注意力模块级联在各所述上采样解码层的最末层卷积层后。
27.根据本公开的二方面，提供了一种遥感图像分割装置包括：
28.图像获取模块，用于获取待分割的遥感图像；
29.目标提取模块，用于对所述遥感图像进行多次目标要素的提取，得到多个提取结果，并综合多个所述提取结果得到最终目标要素提取结果；
30.目标分割模块，用于基于所述最终目标要素提取结果，在所述遥感图像中分割出所述目标要素。
31.根据本公开的三方面，提供了一种遥感图像分割电子设备，包括：
32.处理器；
33.用于存储所述处理器可执行指令的存储器；
34.其中，所述处理器被配置为执行所述可执行指令时实现本公开第一方面中任意一项的方法。
35.在本公开中，获取待分割的遥感图像，对遥感图像进行多次目标要素的提取，得到多个提取结果，再综合多个提取结果得到最终目标要素提取结果，这样即便多个提取结果中有一个或者少量的提取结果出现偏差，也可以通过综合多个提取结果的方式将纠正过来，提升了最终目标要素提取结果的准确性，进而基于最终目标要素提取结果，可以在遥感图像中准确地分割出目标要素，实现提升遥感图像分割结果准确性的目的。
36.根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
37.包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
38.图1示出根据本公开一实施例的遥感图像分割方法的示意性流程图；
39.图2示出根据本公开一实施例的u-net网络的结构示意图；
40.图3示出根据本公开一实施例的遥感图像分割方法的示例的示意性流程图；
41.图4示出根据本公开一实施例的遥感图像分割方法与其它网络结构分割结果对比图；
42.图5示出根据本公开一实施例的遥感图像分割装置的示意性框图；
43.图6示出根据本公开一实施例的遥感图像分割电子设备的示意性框图。
具体实施方式
44.以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
45.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
46.另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
47.《方法实施例》
48.图1示出根据本公开一实施例的遥感图像分割方法的示意性流程图。
49.如图1所示，该方法包括步骤s110-步骤s130。
50.s110，获取待分割的遥感图像。
51.在对设定区域的目标要素进行分析时，可以获取设定区域的遥感图像作为待分割的遥感图像，以在该待分割的遥感影像中分割出感兴趣的目标要素。该目标要素可以为遥感图像中的地物要素，如：道路、建筑物，车辆等，还可以是其它感兴趣的分析要素，在此不作具体限定。该设定区域与目标要素可以预先根据应用场景进行选取。例如，在对a区域的建筑物进行规划时，可以选取a区域作为设定区域，选取建筑物作为目标要素。又如，在对b区域的道路进行规划时，可以选取b区域作为设定区域，选取道路作为目标要素。
52.该待分割的遥感图像可以是历史遥感图像，也可以是根据应用场景需求通过遥感卫星实时采集的遥感图像，在此不作具体限定。
53.s120，对遥感图像进行多次目标要素的提取，得到多个提取结果，并综合多个提取结果得到最终目标要素提取结果。
54.在由遥感图像中分割出目标要素前，需要先对待分割的遥感图像中的目标要素进行提取。
55.在本公开中，可以预先设置多个分类器，以通过预先设置的多个分类器对遥感图像进行多次目标要素提取，得到多个目标要素的提取结果。例如，预先设置t个分类器，在对遥感图像进行多次目标提取时，将遥感图像分别输入至t个分类器中，每一分类器针对该遥感图像输出一个目标要素的提取结果，共计得到t个目标要素的提取结果。需要说明的是，该分类器反映了遥感图像与该遥感图像中目标要素的提取结果之间的映射关系。
56.在得到多个目标要素的提取结果后，可以根据预设规则，综合多个目标要素的提取结果得到最终目标要素提取结果。该预设规则可以是少数服从多数，即将数量最多的一类提取结果作为最终目标要素的提取结果。可以理解的是，即便多个目标要素的提取结果中有一个或者少量的提取结果出现了偏差，在综合多个目标要素的提取结果得到最终目标要素提取结果的过程中，也可以将偏差纠正回来，进而提高最终目标要素提取结果的准确性。
57.在一种可能的实现方式中，对遥感图像进行多次目标要素的提取，得到多个提取结果，并综合多个提取结果得到最终目标要素提取结果时，通过预先构建的强分类器进行。其中，强分类器采用集成学习算法构建得到。
58.集成学习算法是把多个弱分类器通过某种策略得到一个强分类器的算法。通过集成学习可以将各个弱分类器的优势发挥出来，形成泛化能力和鲁棒性更强的强分类器。该集成学习算法可以是boosting算法、可以是stacking算法，还可以是bagging算法，在此不作具体限定。
59.在一种可能的实现方式中，采用集成学习算法构建强分类器，包括步骤s121-s123。
60.s121，获取训练数据集和至少两个基础弱分类器。
61.该训练数据集中包括多个样本数据，每个样本数据包括样本遥感图像和该样本遥感图像对应的标签数据。其中，样本遥感图像的标签数据反映了样本遥感图像中目标要素的正确提取结果。
62.在一个可能的实现方式中，该训练数据集中的样本数据通过以下方式进行构建，具体包括步骤s121-1至s121-4。
63.s121-1，选取样本遥感图像。
64.在选取样本遥感图像时，可以考虑遥感图像的覆盖区域、遥感图像中包括的要素以及遥感图像的分辨率中的至少一个因素选取样本遥感图像。
65.例如，强分类器的应用场景是在遥感图像中提取第一设定要素，此时，在选取样本遥感图像时，可以直接选取包括第一设定要素的遥感图像作为样本遥感图像。其中，第一设定要素可以是建筑物，可以是车辆，还可以是其它感兴趣的分析要素，在此不作具体限定。
66.又如，强分类器的应用场景是在a区域的遥感图像中提取出a区域的第二设定要素，此时，在选取样本遥感图像时，可以先在遥感图像中选取包括a区域的遥感图像，再在包括a区域的遥感图像中选取包括第二设定要素的遥感图像作为样本遥感图像。其中，第二设定要素可以是道路、可以是建筑物，可以是车辆，还可以是其它感兴趣的分析要素，在此不作具体限定。
67.为了提高强分类器提取结果的准确性，选取出的样本遥感图像还需要满足设定的分辨率要求，例如，分辨率小于2m，或者分辨率小于0.8米。例如，在包括a区域的遥感图像中选取包括第二设定要素的遥感图像后，可以继续选取出分辨率小于0.8m的遥感图像作为样本遥感图像。
68.在选择样本数据时，还可以考虑遥感图像的背景复杂性等其它因素进行样本遥感图像的选取，在此不作具体限定。
69.选取的样本数据的数量可以预先根据应用场景的需求进行设置。
70.s121-2，绘制与样本遥感图像同坐标系的目标要素的矢量数据。
71.该目标要素根据分割任务选取。例如，分割任务是在遥感图像中分割出建筑物，则该目标要素即为建筑物。又如，分割任务是在遥感图像中分割出道路，则该目标要素即为道路。
72.在绘制样本遥感图像中的目标要素的矢量数据时，选择与样本遥感图像相同的坐标系，导入该样本遥感图像作为底图，基于该样本遥感图像在设定的图层中绘制出与该样
本遥感图像同坐标系的目标要素的矢量数据。
73.s121-3，将目标要素的矢量数据转换与样本遥感图像大小一致的栅格数据，并将栅格数据作为样本遥感图像对应的标签数据。通常样本遥感图像的尺寸相对于转换后的栅格数据较大，因此，需要将目标要素的矢量数据转换为与样本遥感图像大小一致的栅格数据。
74.s121-4，根据样本遥感图像和标签数据，得到样本数据。例如，可以将样本遥感图像和样本遥感图像对应的标签数据作为一个样本数据。
75.在一种可能的实现方式中，在获取的样本数据比较少的情况下，还可以对样本数据进行旋转、增加噪声等数据增强处理，以实现对样本数据的扩充。
76.在根据集成学习算法构建强分类器前，需要预先选取至少两个基础弱分类器。例如，根据具体应用需求可以选取2个基础弱分类器，也可选取5个基础弱分类器，还可以选取7个基础弱分类器，在此对基础弱分类器的具体数据不作具体限定。
77.选取的至少两个基础弱分类器可以是同一类型的，例如，可以都是决策树弱分类器，或者都是神经网络弱分类器。还可以是不同类型的弱分类器，例如，选取2个基础弱分类器的情况下，一个弱分类器可以是支持向量机弱分类器，另一个弱分类器可以是逻辑回归弱分类器。在此对至少两个基础弱分类器的类型不作具体限定。
78.s122，基于训练数据集，对至少两个基础弱分类器进行分别训练，得到至少两个弱分类器。
79.对于不同的集成学习算法，基于训练数据集，对至少两个基础弱分类器进行分别训练的方法也不同，下边以bagging算法为例，对步骤s122进行说明。
80.在一种可能的实现方法中，选取的至少两个弱分类均为神经网络弱分类器，在bagging算法中，基于训练数据集，对至少两个基础弱分类器进行训练，包括步骤s122-1至s122-2。
81.s122-1，通过有放回的抽取方法，在训练数据集中抽取出至少两个基础弱分类器对应的训练子集。
82.下面以一个基础弱分类器对应的训练子集的抽取为例对各基础弱分类器对应的训练子集的抽取过程进行说明。
83.例如，该基础弱分类器对应的训练子集中包括m个样本数据，在训练子集的抽取过程中，每次先随机在训练数据集中抽取一个样本数据放入到该训练子集中，接着把该样本数据放回，也就是说下次抽取时该样本数据仍有可能被抽取到，这样抽取m次，最终可以得到包括m个样本数据的训练子集。
84.每个弱分类器对应的训练子集均是随机抽取出来的，因此，每个弱分类器对应的训练子集与其它弱分类器对应的训练子集均不相同，这样，就可以基于多个不同的训练子集训练得到多个不同的弱分类器。
85.s122-2，通过基础弱分类器对应的训练子集对基础弱分类器进行训练，得到各弱分类器。
86.s123，对于至少两个弱分类器，通过预设的结合策略得到强分类器。
87.将待分割的遥感图像分别输入至少两个弱分类器后，将得到多个目标要素的提取结果。例如，弱分类器数量为2个，将待分割的遥感图像分别输入至两个弱分类器中，将得到
2个目标要素的提取结果。又如，弱分类器数量为9个，将待分割的遥感图像分别输入至9个弱分类器中，将得到9个目标要素的提取结果。
88.该结合策略即综合多个提取结果，得到最终目标要素提取结果的策略。在一种可能的实现方式中，该结合策略可以是投票策略。该投票策略可以是少数服从多数，即将数量最多的提取结果作为最终目标要素提取结果。该结合策略还可以是基于学习法的结合策略，即将多个提取结果输入至权重学习器，通过权重学习器得到最终目标要素提取结果。在此对结合策略不作具体限定。
89.在一种可能的实现方式中，该弱分类器可以采用u-net网络实现。
90.在高分辨率遥感图像，对于同一要素对应的光谱可能不同，即存在同物异谱的现象，导致同一地物的形态差异较大，通过现有的u-net网络很难将同一要素完整的提取出来，降低了目标要素提取的查全率。
91.在一种可能的实现方式中，对现有的u-net网络进行改进，改进后的u-net网络包括依次级联的六层下采样编码层和依次级联的六层上采样解码层。该可实现方式中，通过扩充u-net网络的编码层和解码层数量，使得改进后的u-net网络能够在遥感影像中提取更深层的语义信息，从而提高目标要素提取的查全率，提高最终目标要素提取结果的准确性。这样，基于最终目标要素提取结果，便可以在遥感图像中准确地分割出目标要素，提升目标要素分割的准确性。
92.在高分辨率遥感图像，同时存在同一光谱对应不同地物的情况，即存在同谱异物的现象，导致高分辨率遥感图像的背景十分复杂，改进后的u-net网络也难以在复杂的背景中准确地提取出目标要素，目标要素提取的准确性有待进一步优化。
93.在一种可能的实现方式中，可以对上述改进后的u-net网络进行进一步地优化。优化后的u-net网络的结构如图2所示，包括左侧依次级联的六层下采样编码层和右侧依次级联的六层上采样解码层，且在各上采样解码层的最末层卷积层后级联通道空间注意力模块。
94.在该可实现方式中，通过引入通道空间注意力模块，使得优化后的u-net网络能够对提取的目标要素有更高的权重分配，从而可以降低遥感图像中复杂背景的干扰。
95.采用如图2所示的u-net网络进行目标要素提取时，可以克服高分辨率遥感影像复杂背景的干扰和同一地物形态差异大的问题，提升高分辨率遥感图像中目标要素提取的准确性，这样，基于最终目标要素提取结果，便可以在遥感图像中准确地分割出目标要素，提升目标要素分割的准确性。
96.s130，基于最终目标要素提取结果，在遥感图像中分割出目标要素。
97.该最终目标要素提取结果为栅格数据，先将该栅格数据转换为矢量数据，再将该矢量数据加载到遥感图像上层，这样就可以在遥感图像中分割出该目标要素。
98.《方法示例》
99.图3示出根据本公开一实施例的遥感图像分割方法的示例的示意性流程图。如图3所示，该遥感图像分割方法包括步骤s310-s350。
100.s310，选取样本遥感图像，并绘制样本遥感图像对应的标签数据。绘制样本遥感图像对应的标签数据的步骤参照步骤s121-1至s121-3，在此不再赘述。
101.s320，对样本数据进行旋转、增加噪声等数据增强处理，得到扩充样本数据。
102.s330，选取如图2所示的t个u-net网络，通过有放回抽样的样本数据采集方法，从步骤s320中得到的扩充样本数据中获得t个不同样本数据集，基于t个样本数据集对t个u-net网络进行训练，得到t个弱分类器。
103.s340，根据t个弱分类器和投票策略，得到强分类器。
104.s350，将获取的待分割的遥感图像输入至强分类器，得到最终目标要素提取结果，基于最终目标要素提取结果，在遥感图像中分割出目标要素。
105.本示例中的遥感图像分割方法，根据样本数据形态差异大的特点选取bagging集成学习方法，选取不同样本集训练多个弱分类器，通过投票策略得到最终强分类器，提高了高分辨率遥感图像分割准确率和查全率，增加高分辨率遥感图像分割的泛化能力和鲁棒性。采用本示例中的遥感图像分割方法与其它网络结构分割结果对比图如图4所示，显然，采用本示例中的遥感图像分割方法可以显著提高图像分割的准确性。具体地，图4中的source代表原始遥感图像，groundtruth代表人工绘制的样本真值。
106.《装置实施例》
107.图5示出根据本公开一实施例的遥感图像分割装置的示意性框图。如图5所示，该遥感图像分割装置5000包括：
108.图像获取模块5100，用于获取待分割的遥感图像；
109.目标提取模块5200，用于对遥感图像进行多次目标要素的提取，得到多个提取结果，并综合多个提取结果得到最终目标要素提取结果；
110.目标分割模块5300，用于基于最终目标要素提取结果，在遥感图像中分割出目标要素。
111.在一种可能的实现方式中，对遥感图像进行多次目标要素的提取，得到多个提取结果，并综合多个提取结果得到最终目标要素提取结果时，通过预先构建的强分类器进行；其中，强分类器采用集成学习算法构建得到。
112.在一种可能的实现方式中，该遥感图像分割装置5000还包括强分类器构建模块，该强分类器构建模块在采用集成学习算法构建强分类器时，具体用于获取训练数据集和至少两个基础弱分类器；基于训练数据集，对至少两个基础弱分类器进行分别训练，得到至少两个弱分类器；对于至少两个弱分类器，通过预设的结合策略得到强分类器。
113.在一种可能的实现方式中，训练数据集中的样本数据通过以下方式进行构建：选取样本遥感图像；根据目标提取任务绘制与样本遥感图像同坐标系的目标要素的矢量数据；将目标要素的矢量数据转换与样本遥感图像大小一致的栅格数据，并将栅格数据作为样本遥感图像对应的标签数据；根据样本遥感图像和标签数据，得到样本数据。
114.在一种可能的实现方式中，该强分类器构建模块在基于训练数据集，对基础弱分类器进行训练时，具体用于通过有放回的抽取方法，在训练数据集中抽取出基础弱分类器对应的训练子集；通过基础弱分类器对应的训练子集对基础弱分类器进行训练，得到各弱分类器。
115.在一种可能的实现方式中，弱分类器采用u-net网络实现。
116.在一种可能的实现方式中，u-net网络包括依次级联的六层下采样编码层和依次级联的六层上采样解码层。
117.在一种可能的实现方式中，各上采样解码层包括通道空间注意力模块；该通道空
间注意力模块级联在各上采样解码层的最末层卷积层后。
118.《电子设备实施例》
119.图6示出根据本公开一实施例的遥感图像分割电子设备的示意性框图。
120.如图6所示，该遥感图像分割电子设备6000包括：
121.处理器6100以及用于存储处理器6100可执行指令的存储器6200。其中，处理器6100被配置为执行可执行指令时实现前面任一的遥感图像分割方法。
122.此处，应当指出的是，处理器6100的个数可以为一个或多个。同时，在本公开实施例的遥感图像分割电子设备6000中，还可以包括输入装置6300和输出装置6400。其中，处理器6100、存储器6200、输入装置6300和输出装置6400之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
123.存储器6200作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的遥感图像分割方法所对应的程序或模块。处理器6100通过运行存储在存储器6200中的软件程序或模块，从而执行遥感图像分割电子设备6000的各种功能应用及数据处理。
124.输入装置6300可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置6400可以包括显示屏等显示设备。
125.以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。