遥感影像的镶嵌方法、装置、设备及存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及一种遥感影像的镶嵌方法、装置、设备及存储介质。


背景技术：

2.随着传感器技术和遥感数据处理方法的飞速发展，遥感影像数据逐渐呈现“三多”(多平台、多传感器、多时相)、“四高”(高光谱分辨率、高空间分辨率、高时相分辨率、高辐射分辨率)及全球覆盖等特征，由于遥感影像数据的其本身所蕴含的覆盖范围广、信息量丰富等特点，其被广泛应用于应急、测绘、国土、林业、国防等行业领域，成效显著。遥感影像最突出的应用就是为各行各业提供高精度的区域正射影像镶嵌底图。目前我国已经实现了国家1：50000基础地理数据、2米正射影像数据的全覆盖，局部区域影像分辨率达到0.5米甚至更高。由于数据获取手段的限制数据的现势性(提供的地理空间信息尽量反映当前的最新状态)不能满足国民经济建设的需求，利用以高分辨率遥感影像为代表的地理数据动态更新模式为成为满足实际应用需求影像镶嵌的重要方法。
3.随着对地观测技术的飞速发展，遥感数据获取手段从种类、数量、能力上都得到了大幅提升。然而各类卫星/航空平台成像条件复杂，不同应用场景对镶嵌产品的精度、时效等要求的也不同，因此对镶嵌任务的处理模式也不相同，这些也就导致了影像镶嵌在生产流程上存在差异、无法实现自动化运转。


技术实现要素：

4.有鉴于此，本公开提出了一种遥感影像的镶嵌方法、装置、设备及存储介质，可以实现遥感影像镶嵌的自动化运转。
5.根据本公开的一方面，提供了一种遥感影像的镶嵌方法，包括：
6.基于当前镶嵌任务的应用场景，确定对应的影像镶嵌模式；
7.在所确定的所述影像镶嵌模式下，获取影像数据源，并对所述影像数据源进行筛选，由所述影像数据源中筛选出用于影像镶嵌的影像数据；
8.基于所述影像数据，使用所述影像镶嵌模式下所关联的镶嵌线构建策略构建镶嵌线；
9.根据构建的所述镶嵌线，对所述影像数据进行镶嵌处理。
10.在一种可能的实现方式中，所述影像镶嵌模式包括：区域高精度镶嵌、区域应急镶嵌、高精度更新镶嵌和应急更新镶嵌中的至少一种。
11.在一种可能的实现方式中，对所述影像数据源进行筛选时，不同的影像镶嵌模式下对应设置有不同的筛选方式；
12.所述筛选方式包括基于筛选条件筛选和基于筛选模型筛选中的至少一种筛选方式；
13.其中，基于所述筛选条件进行数据筛选时，筛选条件包括：成像条件、图像条件和
任务约束性中的至少一种；
14.基于所述筛选模型进行数据筛选时，所述筛选模型包括新区域任务筛选模型和相似任务筛选模型中的至少一种；
15.所述新区域筛选模型根据所述筛选条件构建得到。
16.在一种可能的实现方式中，在使用所述影像镶嵌模式下所关联的镶嵌线构建策略构建镶嵌线，包括：
17.在所述影像镶嵌模式为区域高精度镶嵌或高精度更新镶嵌或应急更新镶嵌的情况下，使用基于形态学方法的镶嵌线构建策略构建镶嵌线；
18.在所述影像镶嵌模式为区域应急镶嵌下，使用基于同名点的镶嵌线构建策略构建镶嵌线。
19.在一种可能的实现方式中，在由所述影像数据源中筛选出用于影像镶嵌的影像数据后，还包括：对筛选出来的影像数据进行预处理的操作；
20.其中，不同的所述影像镶嵌模式对应匹配有相应的数据预处理方式。
21.在一种可能的实现方式中，在根据构建的所述镶嵌线，对所述影像数据进行镶嵌处理后，还包括：对镶嵌处理后的影像数据进行色彩处理的步骤。
22.在一种可能的实现方式中，在对镶嵌处理后的影像数据进行色彩处理时包括：
23.在所述影像镶嵌模式为区域高精度镶嵌或区域应急镶嵌的情况下，进行无底图情况下的色彩一致化处理；
24.在所述影像镶嵌模式为高精更新镶嵌或应急更新镶嵌的情况下，进行基于底图情况下的色彩一致化处理。
25.根据本公开的第二方面，提供了一种遥感影像的镶嵌装置，包括：
26.镶嵌模式获取模块，用于基于当前镶嵌任务的应用场景，确定对应的影像镶嵌模式；
27.数据筛选模型，用于在所确定的所述影像镶嵌模式下，获取影像数据源，并对所述影像数据源进行筛选，由所述影像数据源中筛选出用于影像镶嵌的影像数据；
28.镶嵌线构建模块，用于基于所述影像数据，使用所述影像镶嵌模式下所关联的镶嵌线构建策略构建镶嵌线；
29.镶嵌模块，用于根据构建的所述镶嵌线，对所述影像数据进行镶嵌处理。
30.根据本公开的第三方面，提供了一种遥感影像的镶嵌设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令时执行上述方法。
31.根据本公开的第四方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。
32.在本公开中，基于当前镶嵌任务的应用场景，确定对应的影像镶嵌模式；并在所确定的影像镶嵌模式下进行影像数据的筛选和镶嵌线构建，进而完成影像数据的镶嵌处理。由于相同的影像镶嵌模式下，影像镶嵌的方法相同，因此，在确定影像镶嵌模式的情况下，便可以实现遥感影像镶嵌的自动化运转。
33.根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
34.图1示出根据本公开一实施例的遥感影像的镶嵌方法的示意性流程图；
35.图2示出根据本公开一实施例的镶嵌线构建方法的示意性流程图；
36.图3示出根据本公开一实施例的获取有效区域的重叠区域的示意图；
37.图4示出根据本公开一实施例的初始镶嵌参考线的示意图；
38.图5示出根据本公开一实施例的重叠区分段结果的示意图；
39.图6示出根据本公开一实施例的镶嵌线提取结果的示意图；
40.图7示出根据本公开一实施例的完整镶嵌线的示意图；
41.图8示出根据本公开又一实施例的镶嵌线构建方法的示意性流程图；
42.图9示出根据本公开一实施例的重叠区有效区域范围的示意图；
43.图10示出根据本公开一实施例的有效重叠区地理实体要素信息提取的示意图；
44.图11示出根据本公开一实施例的影像更新边缘确定结果示意图；
45.图12示出根据本公开一实施例的感兴趣区域分块示意图；
46.图13示出根据本公开一实施例的更新镶嵌线段生成示意图；
47.图14示出根据本公开一实施例的基于改进graphcut的镶嵌线搜索算法结构的示意图；
48.图15示出根据本公开又一实施例的更新镶嵌线段生成示意图；
49.图16示出根据本公开一实施例的遥感影像的镶嵌装置的示意性框图；
50.图17示出根据本公开一实施例的遥感影像的镶嵌设备的示意性框图。
具体实施方式
51.以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
52.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
53.另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
54.《方法实施例》
55.图1示出根据本公开一实施例的遥感影像的镶嵌方法的示意性流程图。如图1所示，该遥感影像的镶嵌方法包括步骤s110-s140。
56.s110，基于当前镶嵌任务的应用场景，确定对应的影像镶嵌模式。
57.该镶嵌任务是指将两幅或多幅遥感影像拼在一起，构成一幅整体镶嵌影像的任务。该应用场景即需要使用镶嵌任务得到的镶嵌影像的场景。该应用场景可以包括：测绘、国民经济建设、国土资源调查、生态环境监测、区域应用救援、大尺度灾害监测、基础测绘底图更新、局部军事行动、应急救援等应用场景。
58.对于不同的应用场景，对镶嵌影像的需求不同。例如，对于测绘、国民经济建设、国土资源调查、生态环境监测等应用场景，需要通过镶嵌任务得到较大覆盖范围的镶嵌影像，
且得到的镶嵌影像满足以下要求：精度较高，时效性一般，时相要求按需，产品质量较高。又如，对于区域应用救援、大尺度灾害监测等应用场景，需要通过镶嵌任务得到较大覆盖范围的镶嵌影像，且得到的镶嵌影像满足以下要求：精度一般，时效性最高，时相要求较高，产品质量一般。又如，对于基础测绘底图更新、局部军事行动等应用场景，需要通过镶嵌任务对局部区域遥感影像进行更新，得到局部更新的镶嵌影像，且得到的镶嵌影像满足以下要求：精度较高，时效性较高，时相要求最高，产品质量较高。再如，对于应急救援等应用场景，需要通过镶嵌任务对局部区域遥感影像进行更新，得到局部更新的镶嵌影像，且得到的镶嵌影像满足以下要求：精度较高，时效性较高，时相要求一般，产品质量较高。
59.为了满足不同应用场景对镶嵌影像的需求，需要选择与应用场景对应的影像镶嵌模式进行影像镶嵌。
60.在一种可能的实现方式中，该影像镶嵌模式包括：区域高精度镶嵌、区域应急镶嵌、高精度更新镶嵌和应急更新镶嵌中的至少一种。
61.在一种可能的实现方式中，应用场景与影像镶嵌模式之间的映射关系可以如表1所示。在获取到镶嵌任务的应用场景的情况下，可以通过查询该映射关系表的方式，确定对应的影像镶嵌模式。
62.表1
[0063][0064]
s120，在所确定的影像镶嵌模式下，获取影像数据源，并对影像数据源进行筛选，由影像数据源中筛选出用于影像镶嵌的影像数据。
[0065]
在不同的影像镶嵌模式下，选择的影像数据源也不同。在影像镶嵌模式包括区域高精度镶嵌、区域应急镶嵌、高精度更新镶嵌和应急更新镶嵌的实施例中，不同影像镶嵌模式与选择的影像数据源之间的映射关系可以如表1所示。
[0066]
在区域高精度镶嵌模式下，可以选择历史遥感影像数据作为影像数据源，也可以选择实时获取的最新遥感影像数据作为影像数据来源，在此不作具体限定。
[0067]
在区域应急镶嵌模式下，在历史遥感影像数据满足应用场景需求时，选择历史遥感影像数据作为影像数据源，以进行快速地影像镶嵌；在历史遥感影像数据不满足应用场景需求时，选择实时获取的最新遥感影像数据作为影像数据源。
[0068]
在高精度更新镶嵌模式下，以数字正射影像作为镶嵌底图，选取用于进行局部更新的影像数据源。在选取用于局部更新的影像数据源时，若实时遥感影像数据满足应用场景需求时，选择实时遥感影像数作为用于局部更新的影像数据源；实时遥感影像数据不满足应用场景需求时，选择时间最近的历史遥感影像数据作为用于局部更新的影像数据源。
[0069]
在应急更新镶嵌模式下，以数字正射影像作为镶嵌底图，选取用于进行局部更新的影像数据源。在选取用于局部更新的影像数据源时，以时间约束条件为优先参考，按照应急救援等突发时间条件下可获取的最新拍摄遥感影像进行待更新正射影像快速生成，精度次之。
[0070]
在一种可能的实现方式中，对影像数据源进行筛选时，不同的影像镶嵌模式下对应设置有不同的筛选方式。筛选方式包括基于筛选条件筛选和基于筛选模型筛选中的至少一种筛选方式。
[0071]
在基于筛选条件进行数据筛选时，筛选条件包括：成像条件、图像条件和任务约束性中的至少一种。
[0072]
该成像条件可以具体包括：数据成像模式、成像季节及时间、成像角度及分辨率、地形地貌中的至少一种。
[0073]
数据成像模式：该数据成像模式可以包括区域成像模式、异轨条带模式以及异轨单景模式等，在不同的数据成像模式下获取的遥感影像数据之间的几何关系一致性上存在差异，对处理算法、甚至处理精度均会产生一定程度的影响，因此，在对影像数据源进行筛选时应考虑数据成像模式。
[0074]
成像季节及时间：可以按照春、夏、秋、冬四个季节或具体的时间范围进行数据的筛选，也可以按照屏蔽某个季节或某个时间范围的方式进行筛选。不同的镶嵌任务对于影像数据源的时间要求不同，例如，对于测绘应急修测任务，理论上成像时间越新越好，但如果时间点接近冬季，大雪导致地物被覆盖，可能需要避开冬季数据或者避开大雪降临的时间段；而对于应急任务来说，主要以关注目标区域为保障对象，只要目标区域和获取时间满足要求，即使该地区雪覆盖面积大，也不需要约束是否为冬季成像数据。
[0075]
成像角度及分辨率：对于区域高精度镶嵌任务来说，基于测绘卫星/航空平台观测所获取的数据受载荷本身设计约束，一般为垂直摄影，角度为5度以内；而对于区域应急镶嵌任务，由于以获取目标为目的，大俯仰大侧摆成像已成为常态，对数据获取角度的约束会适当放宽。基于任务对数据精度、成图比例尺的要求，对数据的分辨率要求也有不同，例如：1：5000-10000成图比例尺需要的影像分辨率优于1米；1：25000成图比例尺需要的影像分辨率优于2.5米；1：50000成图比例尺需要的影像分辨率优于5米；而对于需要局部快速更新
(修测、补测)时，可以适当放宽对分辨率的要求，例如可以用2.5米分辨率影像局部修测、补测1：10000，用10米分辨率修测1：50000。
[0076]
地形地貌：不同的地形地貌条件带来了对筛选数据、预处理和镶嵌处理要求的不同。例如对于均匀场地物处理后容易偏色，而有的载荷本身就偏色严重，需要避免选择该载荷的数据，同时均匀场地物在选取镶嵌线时由于缺少显著地物，无法基于形态学算法进行处理，需要转而使用基于同名点的镶嵌线生成方法。同时，也可综合考虑不同太阳高度角、山区地形起伏等因素对辐射特性的影响。因此，数据筛选需要考虑地形地貌条件，其中，地形地貌包括均匀场、海、沙漠、高山、平原等。
[0077]
该图像条件可以具体包括：辐射质量、几何内外精度、配准精度、云量及清晰度中的至少一种。传感器运行期间，一方面载荷器件故障、性能衰减、空间环境的变化等因素会带来数据质量的下降，例如陀螺异常、相机输出异常，相机散焦导致清晰度下降，某档位下的条纹明显，影响辐射质量和几何质量；另一方面不同精度的数据对于预处理、镶嵌处理精度的影响也不同。同时，云量大小也是影响数据使用最重要的因素之一，一般筛选条件中会选择云量小于10％的数据；但对于高山或常年因气候原因导致云覆盖率较高地区，该条件可适当放宽。
[0078]
该任务约束性可以具体包括：相邻影像重叠度、区域内分辨率差异和相邻角度差及范围中的至少一种。
[0079]
在区域高精度镶嵌模式下，该筛选条件可以包括图像条件、成像条件中的成像角度、任务约束性中的相邻影像重叠度以及相邻角度差及范围。其中，该成像角度可以小于等于15
°
，该相邻影像重叠度可以大于等于15％，该相邻角度差及范围中的条带间重叠度可以大于等于5％。该图像条件中的云量可以小于等于10％。图像条件中的辐射一致性以多光谱浏览图的目视判读直接筛选；几何配准精度以全色影像为基准，阈值为10个像素内的畸变误差满足影像要求。
[0080]
在区域应急镶嵌模式下，筛选条件与区域高精度镶嵌模式下相同，但由于区域应急镶嵌模式下时效性要求极高，因此，可以相对区域高精度镶嵌模式放宽成像角度、相邻影像重叠度、条带间重叠度以及图像条件中的云量的约束。例如，可以将成像角度放宽至小于等于30
°
，将该相邻影像重叠度放宽至大于等于10％，将该相邻角度差及范围中的条带间重叠度放宽至大于等于10％，将该图像条件中云量放宽至小于等于15％。
[0081]
在高精度更新镶嵌模式下，在对遥感影像数据进行筛选时，该筛选条件可以包括图像条件、任务约束性中的相邻影像重叠度。其中，成像角度均在5
°
以内，该相邻影像重叠度可以大于等于15％，在重叠区较小条件下，如果影像本身定位精度、成像质量比较好，重叠度也可以放宽至大于等于8％。该图像条件中的云量可以小于等于10％。图像条件中的辐射一致性以多光谱浏览图的目视判读直接筛选；几何配准精度以全色影像为基准，阈值为10个像素内的畸变误差满足影像要求。
[0082]
在应急更新镶嵌模式下，在对遥感影像数据进行筛选时，该筛选条件与高精度更新镶嵌模式下筛选条件相同，但由于应急更新镶嵌模式下对时效性要求较高，可以将图像条件中的云量放宽至小于等于10％。
[0083]
在不同的影像镶嵌模式下，还可以包括其它筛选条件，以满足不同应用场景的需求，在此不作具体限定。
[0084]
基于筛选模型进行数据筛选时，筛选模型包括新区域任务筛选模型和相似任务筛选模型中的至少一种。
[0085]
新区域任务即对未进行过影像镶嵌任务的区域执行的镶嵌任务。例如，未对青海海西自治州进行过影像镶嵌任务，则对于生产青海海西自治州2020年夏季全州1米分辨率的镶嵌影像的镶嵌任务即为新区任务。
[0086]
对于新区任务，在基于筛选条件进行影像数据源筛选后，得到的符合筛选条件的初始影像数据集也会存在一些区域、成像时间上的冗余数据，主要包括以下几个方面：一是，多景遥感影像数据的成像时间接近，但分辨率不同；二是，同一点的遥感影像数据分辨率相同，但成像时间不同；三是，同一区域不同遥感影像数据的云量、覆盖率各有优劣，例如数据a的云量较低，但对该地区的覆盖率较低，数据b的云量较高，对该地区的覆盖率较高。
[0087]
为了在初始数据集中进一步筛选出最优的影像数据集，在基于筛选条件筛选后，还基于新区任务筛选模型进行进一步地数据筛选，这样可以提高影像数据源的检索效率，减少人工参与筛选的过程。
[0088]
该新区任务筛选模型是根据筛选条件构建得到。该新区任务筛选模型具体可以入下式所示：γ＝γ1*α1 γ2*α2 γ3*α3
……
γn*αn。其中，α1至αn为n个筛选条件的归一化数据值，γ1至γn为针对n个筛选条件预先设置的权重值系数，γ为影像数据对应的权重值。
[0089]
在不同的镶嵌模式下，对应设置有不同的新区任务筛选模型。例如，在区域高精度镶嵌模式下，该新区任务筛选模型中可以包括：图像条件、成像条件中的成像角度、任务约束性中的相邻影像重叠度以及相邻角度差及范围4个筛选条件；在区域高精度镶嵌模式下，该新区任务筛选模型中可以包括：时相、成像角度、相邻影像重叠度、条带间重叠度以及图像条件中的云量5个筛选条件；在高精度更新模式下，该新区任务筛选模型中可以包括：图像条件、成像条件中的成像角度、任务约束性中的相邻影像重叠度以及相邻角度差及范围4个筛选条件；在应急更新模式下，该新区任务筛选模型中可以包括：时相、成像角度、相邻影像重叠度、条带间重叠度以及图像条件中的云量5个筛选条件。其中，每个筛选条件的权重系数可以根据应用场景需求进行设置。该权重系数值在[0,1]范围内，越接近0权重比重越低，约接近1权重比重越高。
[0090]
在基于新区任务筛选模型进行影像数据源筛选的步骤包括：
[0091]
将影像数据对应各筛选条件的数值进行归一化处理。例如，成像时间：成像时间越新归一化值越大，取当前设定时间与成像时间差(设取值范围：1s，5年(157680000s))的倒数(6.34*10-9,1)，并归一化到(0，100)区间范围，取值为α1；云量：百分比值(0.01，100)，在归一化区间范围(0，100)内，取值为α2；分辨率：(0.01m，1000m)取倒数(0.001，100)，并归一化到(0，100)区间范围，取值为α3。
[0092]
将各筛选条件的归一化数据值输入至新区任务筛选模型，得到影像对应的权重值。
[0093]
重复第二步和第三步，直到得到每个初始影像数据的权重值，并筛选出权重值满足设定要求的影像数据。
[0094]
对第三步输出的结果进行去重处理，将重复数据剔除，最后输出一个最优的数据集，完成筛选响应过程。
[0095]
相似任务是指在整个处理的历史任务中，存在相似的镶嵌任务，在镶嵌任务的任
务区域、影像分辨率、成像时间、精度中的至少一项基本一致的情况下，可以确定为相似任务。例如，北京地区2021年秋季全市0.5米镶嵌影像图生产与在历史任务库里找到2017年北京地区秋季全市0.5米镶嵌影像图生产，在任务区域、时相和精度上基本一致，可以认为是相似任务。
[0096]
在获取镶嵌任务的情况下，相似任务筛选模型，可以根据镶嵌任务的任务区域、影像分辨率、成像时间和精度要求中的至少一个要求进行相似任务的筛选。在历史数据中存在相似任务的情况下，可以使用相似任务使用过的任务筛选模型获取权重值满足设定要求的影像数据源；历史数据中不存在镶嵌任务的情况下，判断当前镶嵌任务为新区任务，采用以上新区任务影像数据源的筛选方式进行影像数据源的筛选。
[0097]
在一种可能的实现方式中，在由影像数据源中筛选出用于影像镶嵌的影像数据后，还包括：对筛选出来的影像数据进行预处理的操作。其中，不同的影像镶嵌模式对应匹配有相应的数据预处理方式。例如，在区域高精度镶嵌模式下，可以对筛选出的影像数据进行区域网平差和正射校正处理，或者对筛选出的影像数据进行正射校正处理。又如，在区域应急镶嵌模式下，可以对筛选出的影像数据进行系统几何校正处理，或者对筛选出的影像数据进行二次校正处理。又如，在高精度更新镶嵌模型下，可以对筛选出的多幅影像数据进行区域网平差和正射校正处理，可以对筛选出的单景数据直接进行正射校正处理。再如，在应急更新镶嵌模式下，可以对筛选出的影像数据进行正射校正处理。
[0098]
s130，基于影像数据，使用影像镶嵌模式下所关联的镶嵌线构建策略构建镶嵌线。
[0099]
在一种可能的实现方式中，在使用影像镶嵌模式下所关联的镶嵌线构建策略构建镶嵌线，包括：在影像镶嵌模式为区域高精度镶嵌或高精度更新镶嵌或应急更新镶嵌的情况下，使用基于形态学方法的镶嵌线构建策略构建镶嵌线。在影像镶嵌模式为区域应急镶嵌下，使用基于同名点的镶嵌线构建策略构建镶嵌线。
[0100]
在一种可能的实现方式中，基于形态学方法的镶嵌线构建策略构建镶嵌线，包括如图2所示的以下步骤。
[0101]
步骤1、获取待镶嵌影像的有效重叠区。该有效重叠区即待镶嵌影像有效区域的重叠区域。获取有效区域的重叠区域的示意图如图3所示，首先获取待镶嵌影像的图像有效区，然后获取相邻图像间的重叠区域，作为有效重叠区。
[0102]
步骤2、生成初始镶嵌参考线。根据步骤1中获取的相邻图像间的重叠区域，采用基于像素差异羽化的镶嵌线自动提取方法，生成初始镶嵌参考线，初始镶嵌参考线如图4所示，初始镶嵌参考线在重叠区内采用坐标序列进行表示。
[0103]
步骤3、基于一级特征库对重叠区进行分段，具体步骤包括：
[0104]
1)特征库选取与分级。
[0105]
对获取的卫星影像中的重叠区进行区域内地物特征分类，建立一级特征库和二级特征库，其中一级特征库用于决定分段界限，二级特征库用于决定镶嵌线的选取。对特征库数据进行一级特征库与二级特征库的选取，其中：一级特征库包括密集边界矢量数据、稀疏边界矢量数据；二级特征库包括道路矢量数据、水系矢量数据、陡坎数据等。特征库主要也是针对影像重叠区内的地物特征进行聚类分析。
[0106]
重叠区分段。判断稀疏、密集、混合地物类别，并一次对地物进行分块。根据地物类型以及各类遥感地理信息资源已建立的特征库数据，按照一级特征库内的密集边界矢量数
据、稀疏边界矢量数据将重叠区分为密集段、稀疏段、混合段。
[0107]
判断分段分界线包含道路矢量点位(此处南北为相对于块)。如块内起始点、块内终点等。
[0108]
经过以上步骤得到的重叠区分段结果如图5所示。
[0109]
步骤4、基于二级特征库对分段后的重叠区进行镶嵌线提取。对于分段后图像，主要有为密集段、稀疏段、混合段三种情况。
[0110]
1)针对密集段。首先判断重叠区内是否有密集边界矢量数据，如果有则按照道路、水域分段，采用基于水系矢量与道路矢量的镶嵌线自动选取方法获取镶嵌线；如果无边界矢量数据则不需分段，直接选取步骤2中初始镶嵌参考线。
[0111]
2)针对稀疏段。首先判断该重叠区是否有稀疏边界矢量数据，如果有稀疏边界矢量数据通过构建最小外接矩形，通过重叠区边界与已知稀疏段边界相交得到下边界交点获取镶嵌线；如果无稀疏边界矢量数据，则不需分段直接选取步骤2中初始镶嵌参考线，将除了密集段与稀疏段之外的其余段统称为混合段。
[0112]
3)针对除了密集段与稀疏段以外的混合段内镶嵌线生成，分别选取步骤2中初始镶嵌参考线与稀疏段交点，初始镶嵌参考线或与密集段分界线交点，作为镶嵌线段起始点与终点，以步骤2中此段初始镶嵌线为镶嵌线。
[0113]
经过以上步骤得到的镶嵌线提取结果的示意图如图6所示。
[0114]
步骤5、各段间镶嵌线的连接。
[0115]
混合段使用初始镶嵌参考线；密集段使用步骤:4中获取的特征矢量最优镶嵌线a2a5、a5a3；稀疏段使用步骤4中获取的最优镶嵌线aa4、a4a1。最后将段与段间镶嵌线在混合段、稀疏段、密集段的分段边界线上端点合并为重叠区内完整的最优镶嵌线矢量，即本实施例中完整镶嵌线如图7中的，aa4a1a2a5a3b。
[0116]
步骤6、生成完整的镶嵌线后，将镶嵌线存储入特征库，在地物变化差异较小情况下，作为下一次该区域镶嵌的镶嵌线；在地物变化差异较大情况下，将获取的完整镶嵌线作为镶嵌参考线，继续进行本实施例中步骤1至步5的镶嵌线优化算法，进而提高区域镶嵌中的镶嵌线生成效率。
[0117]
在一种可能的实现方式中，基于形态学方法的镶嵌线构建策略构建镶嵌线，还可以包括如图8所示的以下步骤。
[0118]
步骤1、基于影像特征的重叠区有效区域范围快速检索。重叠区有效区域范围具体如图9所示。
[0119]
结合影像栅格数据地理要素动态智能更新镶嵌的特点，研究重叠区有效区域范围快速检索的方法，特别是基于底图的单景影像的重叠区有效范围的快速检索，在此基础上获取可生成镶嵌线的遥感影像有效范围，剔除镶嵌线生成过程中的无用信息。
[0120]
步骤2、面向影像镶嵌的地理实体要素信息提取研究。
[0121]
针对典型地理要素(主要是道路、建筑物、水系、植被等)的特点，开展地理实体要素提取规则、地理要素分析研究；在此基础上，研究深度学习方法在针对镶嵌线高效快速生成提取中地物分割方法，构建地理实体要素单元，为后续镶嵌线提取提供技术支撑。有效重叠区地理实体要素信息提取如图10所示。
[0122]
步骤3、地物目标要素边界信息获取。
[0123]
基于地理要素边界信息，根据智能更新镶嵌的特点对分割图像的边界进行影像边界获取、更新边缘确定、感兴趣区分块、分段镶嵌线生成，为镶嵌线生成提供地物的边界信息。
[0124]
更新边缘确定。
[0125]
因遥感影像数据量较大，为减少磁盘io与提高效率，本实施例采用单景遥感影像与底图影像重叠范围外延10％像素的范围得到如图11所示的影像更新边缘确定结果。用x1，x2，
…
，xn来表示多个待更新的单景影像，用r表示镶嵌底图，其中x∈r。确定有效重叠区有利于在明确感兴趣区域的同时，减少更新镶嵌线生成时间。
[0126]
(2)感兴趣区分块
[0127]
针对确定后的影像更新边缘，将待镶嵌影像进行四分块，匀色后确定更新边缘的四个大小相同的子图如图12所示。本实施例中将单景影像设置为s，子图像集设置为{s1，s2，s3，s4}，其中，s＝s1 s2 s3 s4。本次分块策略顾及地物要素，主要包括：沿着水系、道路、绕过建筑物，基于该分块策略生成的更新镶嵌线段如图13所示。
[0128]
(3)分段镶嵌线生成
[0129]
分段镶嵌线针对每一块子图像si，采取本实施例中的改进的graphcut方法实现分段镶嵌线生成，基于改进的graphcut的镶嵌线搜索算法结构如图14所示，步骤包括：一是采用高斯混合模型取代直方图来描述颜色信息的概率分布，从而将图像分割范围从灰度图像推广到彩色图像；二是采用迭代方式取代一次估计高斯混合模型参数，提高了分割精度；三是引入gmm的彩色数据模型后，能量函数五可以改写为：
[0130]
e(α，k，θ，z)＝u(α，k，θ，z) v(α，z)
[0131]
式中，k＝(k1，
…
，kn…
，kn)，kn∈{1，2，
…
，k}作为每个像素的gmm标号。其数据项可定义为：
[0132][0133]
四是根据能量函数进行初始化；五是根据图像中像素进行影像和背景分割，重复步骤一～三，直到满足条件，得顾及水系、道路建筑物的分段镶嵌线结果如图15所示。
[0134]
步骤4、顾及地理实体的镶嵌线生成。
[0135]
基于地理要素边界信息，开展基于目标要素完整性的更新边缘确定，通过深度学习算法搜索生成最优镶嵌线，获取优化后的地物镶嵌边界。
[0136]
对数据进行提取、聚合、分割等处理，实现地理实体要素单元的简化。制定提取规则时，主要分析境界、道路、水系、居民地等要素的图形和属性特征，重点关注地理实体要素的范围和边界信息，分别进行道路中心线和道路边线、水系边线和水系骨架线、房屋住宅区边线、种植土地边线等要素信息的分析与利用，结合成图区的地理特征，选择最优的实体边线作为地理实体要素单元的边界。提取实体边界遵循以下规则：
[0137]
1)选择线状地理要素对象(如道路、河流)构建镶嵌区域骨架，将整个区域分为形态较为规则的小范围地理实体要素单元。
[0138]
2)避免让横跨架空地理要素对象(如立交桥、高架路、管线等)构建地理实体要素单元界。无法避让时，可对镶嵌后成果进行二次编辑处理，保证地理要素影像的连续性且不变形。
[0139]
3)对于大面积或近距离地理要素对象(如林地、道路、河流等)，可利用境界或是影像上明显线状地物(如植被、人工构筑物等)进行分割处理，细化地理实体要素单元结构。
[0140]
4)对于破碎或面积过小地理要素对象(如房屋、单栋人工建筑物等)，参考周边单片影像重叠区域范围，在保证地理要素对象完整性的基础上，进行地理实体要素单元的聚合处理，以提高影像镶嵌的处理效率。
[0141]
通过以上规则约束，可生产出合理有效的地理信息拓扑图斑单元，为后续影像分割和基于正射影像镶嵌的高效处理打下基础。
[0142]
利用基于改进的grabcut优化模型生成镶嵌线段，对分块的图像进行分割，通过拓扑检查镶嵌线段智能绕过建筑物等地物，通过生成的四条镶嵌线段合并生成完整的镶嵌线，实现基于已有区域底图的更新镶嵌。
[0143]
s140，根据构建的镶嵌线，对影像数据进行镶嵌处理。即根据构建的镶嵌线得到镶嵌影像。
[0144]
在一种可能的实现方式中，在根据构建的镶嵌线，对影像数据进行镶嵌处理后，还包括：对镶嵌处理后的影像数据进行色彩处理的步骤。
[0145]
在一种可能的实现方式中，在对镶嵌处理后的影像数据进行色彩处理时包括：在影像镶嵌模式为区域高精度镶嵌或区域应急镶嵌的情况下，进行无底图情况下的色彩一致化处理；在影像镶嵌模式为高精更新镶嵌或应急更新镶嵌的情况下，进行基于底图情况下的色彩一致化处理。
[0146]
在本公开中，基于当前镶嵌任务的应用场景，确定对应的影像镶嵌模式；并在所确定的影像镶嵌模式下进行影像数据的筛选和镶嵌线构建，进而完成影像数据的镶嵌处理。由于相同的影像镶嵌模式下，影像镶嵌的方法相同，因此，在确定影像镶嵌模式的情况下，便可以实现遥感影像镶嵌的自动化运转。
[0147]
《装置实施例》
[0148]
图16示出根据本公开一实施例的遥感影像的镶嵌装置的示意性框图。如图16所示，该遥感影像的镶嵌装置100包括：
[0149]
镶嵌模式获取模块110，用于基于当前镶嵌任务的应用场景，确定对应的影像镶嵌模式；
[0150]
数据筛选模块120，用于在所确定的影像镶嵌模式下，获取影像数据源，并对影像数据源进行筛选，由影像数据源中筛选出用于影像镶嵌的影像数据；
[0151]
镶嵌线构建模块130，用于基于影像数据，使用影像镶嵌模式下所关联的镶嵌线构建策略构建镶嵌线；
[0152]
镶嵌模块140，用于根据构建的镶嵌线，对影像数据进行镶嵌处理。
[0153]
在一种可能的实现方式中，影像镶嵌模式包括：区域高精度镶嵌、区域应急镶嵌、高精度更新镶嵌和应急更新镶嵌中的至少一种。
[0154]
在一种可能的实现方式中，在对影像数据源进行筛选时，不同的影像镶嵌模式下对应设置有不同的筛选方式；筛选方式包括基于筛选条件筛选和基于筛选模型筛选中的至少一种筛选方式；其中，基于筛选条件进行数据筛选时，筛选条件包括：成像条件、图像条件和任务约束性中的至少一种；基于筛选模型进行数据筛选时，筛选模型包括新区域任务筛选模型和相似任务筛选模型中的至少一种；新区域筛选模型根据筛选条件构建得到，相似
任务筛选模型根据镶嵌任务构建。
[0155]
在一种可能的实现方式中，在使用影像镶嵌模式下所关联的镶嵌线构建策略构建镶嵌线，包括：
[0156]
在影像镶嵌模式为区域高精度镶嵌或高精度更新镶嵌或应急更新镶嵌的情况下，使用基于形态学方法的镶嵌线构建策略构建镶嵌线；
[0157]
在影像镶嵌模式为区域应急镶嵌下，使用基于同名点的镶嵌线构建策略构建镶嵌线。
[0158]
在一种可能的实现方式中，在由影像数据源中筛选出用于影像镶嵌的影像数据后，还包括：对筛选出来的影像数据进行预处理的操作；
[0159]
其中，不同的影像镶嵌模式对应匹配有相应的数据预处理方式。
[0160]
在一种可能的实现方式中，在根据构建的镶嵌线，对影像数据进行镶嵌处理后，还包括：对镶嵌处理后的影像数据进行色彩处理的步骤。
[0161]
在一种可能的实现方式中，在对镶嵌处理后的影像数据进行色彩处理时包括：
[0162]
在影像镶嵌模式为区域高精度镶嵌或区域应急镶嵌的情况下，进行无底图情况下的色彩一致化处理；
[0163]
在影像镶嵌模式为高精更新镶嵌或应急更新镶嵌的情况下，进行基于底图情况下的色彩一致化处理。
[0164]
《设备实施例》
[0165]
图17示出根据本公开一实施例的遥感影像的镶嵌设备的示意性框图。如图17所示，该遥感影像的镶嵌设备200包括处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一的遥感影像的镶嵌方法。
[0166]
此处，应当指出的是，处理器210的个数可以为一个或多个。同时，在本公开实施例的遥感影像的镶嵌设备200中，还可以包括输入装置230和输出装置240。其中，处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
[0167]
存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的遥感影像的镶嵌方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行遥感影像的镶嵌设备200的各种功能应用及数据处理。
[0168]
输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。
[0169]
《计算机可读存储介质实施例》
[0170]
根据本公开的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器210执行时实现前面任一的遥感影像的镶嵌方法。
[0171]
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领
域的其它普通技术人员能理解本文披露的各实施例。