一种遥感影像切片处理方法及终端与流程

1.本发明涉及影像数据处理技术领域，尤其涉及一种遥感影像切片处理方法及终端。


背景技术：

2.在实际的应用当中，覆盖全球或者全国范围内的遥感影像的数据量动则几十、上百tb，甚至上pb级别，在遥感影像数据切片加工处理过程中，全量切片一次耗时过长，对服务器性能要求过高；尤其在对遥感影像数据的时效性要求更高的多时态电网地图应用领域，影像切片频率更高，现有方案很难满足海量遥感影像数据的加工需求。


技术实现要素：

3.本发明所要解决的技术问题是：提供一种遥感影像切片处理方法及终端，能够提高遥感影像切片的效率和质量。
4.为了解决上述技术问题，本发明采用的一种技术方案为：
5.一种遥感影像切片处理方法，包括步骤：
6.获取遥感影像切片任务，并读取所述遥感影像切片任务对应的配置文件信息；
7.基于所述配置文件信息对所述遥感影像切片任务进行分幅分块，得到分块切图任务，并将所述分块切图任务分发至各个从节点；
8.监听所述各个从节点的任务进度，并记录与所述任务进度对应的任务进度状态点；
9.判断所述任务进度是否异常，若是，则根据任务进度状态点确定任务断点，并基于所述任务断点进行断点续作。
10.为了解决上述技术问题，本发明采用的另一种技术方案为：
11.一种遥感影像切片处理终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
12.获取遥感影像切片任务，并读取所述遥感影像切片任务对应的配置文件信息；
13.基于所述配置文件信息对所述遥感影像切片任务进行分幅分块，得到分块切图任务，并将所述分块切图任务分发至各个从节点；
14.监听所述各个从节点的任务进度，并记录与所述任务进度对应的任务进度状态点；
15.判断所述任务进度是否异常，若是，则根据任务进度状态点确定任务断点，并基于所述任务断点进行断点续作。
16.本发明的有益效果在于：获取遥感影像切片任务，并读取遥感影像切片任务对应的配置文件信息，基于配置文件信息对遥感影像切片任务进行分幅分块，得到分块切图任务，并将分块切图任务分发至各个从节点，监听各个从节点的任务进度，并记录与任务进度对应的任务进度状态点，当任务进度异常时，根据任务进度状态点确定任务断点，并基于任
务断点进行断点续作，以此利用主从节点模式进行分布式遥感影像切片处理，实现对海量遥感影像的分块化、异步化以及并行化的加工处理，降低切图耗时，且即使处理过程中出现异常，也能够实现断点续作，确保切图任务的质量，从而提高遥感影像切片的效率和质量，进而降低对服务器的性能要求。
附图说明
17.图1为本发明实施例的一种遥感影像切片处理方法的步骤流程图；
18.图2为本发明实施例的一种遥感影像切片处理终端的结构示意图；
19.图3为本发明实施例的遥感影像切片处理方法中的系统结构图；
20.图4为本发明实施例的遥感影像切片处理方法中的主节点的处理流程图；
21.图5为本发明实施例的遥感影像切片处理方法中的从节点的处理流程图。
具体实施方式
22.为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
23.请参照图1，本发明实施例提供了一种遥感影像切片处理方法，包括步骤：
24.获取遥感影像切片任务，并读取所述遥感影像切片任务对应的配置文件信息；
25.基于所述配置文件信息对所述遥感影像切片任务进行分幅分块，得到分块切图任务，并将所述分块切图任务分发至各个从节点；
26.监听所述各个从节点的任务进度，并记录与所述任务进度对应的任务进度状态点；
27.判断所述任务进度是否异常，若是，则根据任务进度状态点确定任务断点，并基于所述任务断点进行断点续作。
28.从上述描述可知，本发明的有益效果在于：获取遥感影像切片任务，并读取遥感影像切片任务对应的配置文件信息，基于配置文件信息对遥感影像切片任务进行分幅分块，得到分块切图任务，并将分块切图任务分发至各个从节点，监听各个从节点的任务进度，并记录与任务进度对应的任务进度状态点，当任务进度异常时，根据任务进度状态点确定任务断点，并基于任务断点进行断点续作，以此利用主从节点模式进行分布式遥感影像切片处理，实现对海量遥感影像的分块化、异步化以及并行化的加工处理，降低切图耗时，且即使处理过程中出现异常，也能够实现断点续作，确保切图任务的质量，从而提高遥感影像切片的效率和质量，进而降低对服务器的性能要求。
29.进一步地，所述配置文件信息包括遥感影像源路径、切图任务范围和从节点信息；
30.所述基于所述配置文件信息对所述遥感影像切片任务进行分幅分块，得到分块切图任务包括：
31.根据所述遥感影像源路径读取遥感影像源文件信息，并加载遥感影像文件；
32.根据所述切图任务范围、所述遥感影像源文件信息以及所述遥感影像文件构建影像金字塔；
33.根据所述从节点信息和所述影像金字塔对所述遥感影像切片任务进行分幅分块，得到各个从节点对应的分块切图任务。
34.由上述描述可知，以此有效地将全量遥感影像切片任务划分为多个子任务，便于后续分发至不同的从节点进行分布式处理，从而降低海量遥感影像的切片耗时。
35.进一步地，所述基于所述配置文件信息对所述遥感影像切片任务进行分幅分块，得到分块切图任务，并将所述分块切图任务分发至各个从节点之前还包括步骤：
36.发送连接建立请求至各个从节点；
37.接收与所述连接建立请求对应的连接成功信息；
38.接收所述各个从节点发送的节点注册请求，并根据所述节点注册请求定时发送心跳包至所述各个从节点。
39.由上述描述可知，在分发任务之前先与从节点建立连接，保证后续可顺利开始执行任务，且定时发送心跳包至各个从节点，使从节点知道主节点在线，以确保连接的有效性。
40.进一步地，所述根据任务进度状态点确定任务断点包括：
41.确定异常的任务进度对应的目标从节点；
42.判断与所述目标从节点的连接是否断开，若是，则将最后记录的目标任务进度状态点确定为任务断点。
43.由上述描述可知，当监听到异常任务进度后，再判断与从节点的连接是否断开，以此确定出进度异常的原因。
44.进一步地，所述基于所述任务断点进行断点续作包括：
45.发送新的连接建立请求至所述目标从节点；
46.接收与所述新的连接建立请求对应的连接成功信息；
47.根据所述连接成功信息重新恢复所述任务断点，并继续执行所述分块切图任务。
48.由上述描述可知，与目标从节点重新建立连接后，重新恢复任务断点，并继续执行分块切图任务，直至所有任务完成，从而实现了任务断点续作，提高了遥感影像切片处理的质量。
49.请参照图2，一种遥感影像切片处理终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
50.获取遥感影像切片任务，并读取所述遥感影像切片任务对应的配置文件信息；
51.基于所述配置文件信息对所述遥感影像切片任务进行分幅分块，得到分块切图任务，并将所述分块切图任务分发至各个从节点；
52.监听所述各个从节点的任务进度，并记录与所述任务进度对应的任务进度状态点；
53.判断所述任务进度是否异常，若是，则根据任务进度状态点确定任务断点，并基于所述任务断点进行断点续作。
54.从上述描述可知，本发明的有益效果在于：获取遥感影像切片任务，并读取遥感影像切片任务对应的配置文件信息，基于配置文件信息对遥感影像切片任务进行分幅分块，得到分块切图任务，并将分块切图任务分发至各个从节点，监听各个从节点的任务进度，并记录与任务进度对应的任务进度状态点，当任务进度异常时，根据任务进度状态点确定任务断点，并基于任务断点进行断点续作，以此利用主从节点模式进行分布式遥感影像切片
处理，实现对海量遥感影像的分块化、异步化以及并行化的加工处理，降低切图耗时，且即使处理过程中出现异常，也能够实现断点续作，确保切图任务的质量，从而提高遥感影像切片的效率和质量，进而降低对服务器的性能要求。
55.进一步地，所述配置文件信息包括遥感影像源路径、切图任务范围和从节点信息；
56.所述基于所述配置文件信息对所述遥感影像切片任务进行分幅分块，得到分块切图任务包括：
57.根据所述遥感影像源路径读取遥感影像源文件信息，并加载遥感影像文件；
58.根据所述切图任务范围、所述遥感影像源文件信息以及所述遥感影像文件构建影像金字塔；
59.根据所述从节点信息和所述影像金字塔对所述遥感影像切片任务进行分幅分块，得到各个从节点对应的分块切图任务。
60.由上述描述可知，以此有效地将全量遥感影像切片任务划分为多个子任务，便于后续分发至不同的从节点进行分布式处理，从而降低海量遥感影像的切片耗时。
61.进一步地，所述基于所述配置文件信息对所述遥感影像切片任务进行分幅分块，得到分块切图任务，并将所述分块切图任务分发至各个从节点之前还包括步骤：
62.发送连接建立请求至各个从节点；
63.接收与所述连接建立请求对应的连接成功信息；
64.接收所述各个从节点发送的节点注册请求，并根据所述节点注册请求定时发送心跳包至所述各个从节点。
65.由上述描述可知，在分发任务之前先与从节点建立连接，保证后续可顺利开始执行任务，且定时发送心跳包至各个从节点，使从节点知道主节点在线，以确保连接的有效性。
66.进一步地，所述根据任务进度状态点确定任务断点包括：
67.确定异常的任务进度对应的目标从节点；
68.判断与所述目标从节点的连接是否断开，若是，则将最后记录的目标任务进度状态点确定为任务断点。
69.由上述描述可知，当监听到异常任务进度后，再判断与从节点的连接是否断开，以此确定出进度异常的原因。
70.进一步地，所述基于所述任务断点进行断点续作包括：
71.发送新的连接建立请求至所述目标从节点；
72.接收与所述新的连接建立请求对应的连接成功信息；
73.根据所述连接成功信息重新恢复所述任务断点，并继续执行所述分块切图任务。
74.由上述描述可知，与目标从节点重新建立连接后，重新恢复任务断点，并继续执行分块切图任务，直至所有任务完成，从而实现了任务断点续作，提高了遥感影像切片处理的质量。
75.本发明上述的一种遥感影像切片处理方法及终端能够适用于需要对遥感影像数据进行处理场景，特别适用于海量遥感影像的处理，以下通过具体实施方式进行说明：
76.实施例一
77.请参照图1、图3-图5，本发明的系统结构如图3所示，为主(master)从(slave)模
式，包括一个主(master)节点和多个从(slave)节点，运行采用c 语言实现，master节点作为整个系统切图任务调度者，给多个slave节点分配切图任务，当所有的slave节点将任务完成之后，保存至nas文件存储系统，最后由master节点汇集结果。
78.如图1所示，本实施例的一种遥感影像切片处理方法，包括步骤：
79.s1、获取遥感影像切片任务，并读取所述遥感影像切片任务对应的配置文件信息；
80.其中，所述配置文件信息包括遥感影像源路径、切图任务范围、从节点信息和nas配置信息；所述从节点信息包括从节点数量。
81.具体的，如图4所示，master节点获取遥感影像切片任务，并读取所述遥感影像切片任务对应的配置文件信息。
82.s2、发送连接建立请求至各个从节点；
83.具体的，master节点启动与各个slave节点的通讯线程，发送连接建立请求至各个从节点。
84.s3、接收与所述连接建立请求对应的连接成功信息；
85.s4、接收所述各个从节点发送的节点注册请求，并根据所述节点注册请求定时发送心跳包至所述各个从节点。
86.s5、基于所述配置文件信息对所述遥感影像切片任务进行分幅分块，得到分块切图任务，并将所述分块切图任务分发至各个从节点，如图4所示，具体包括：
87.s51、根据所述遥感影像源路径读取遥感影像源文件信息，并加载遥感影像文件；
88.其中，所述遥感影像源文件信息包括经纬度、通道和位宽等元数据信息。
89.具体的，master节点根据所述遥感影像源路径读取遥感影像源文件信息，并加载遥感影像文件。
90.s52、根据所述切图任务范围、所述遥感影像源文件信息以及所述遥感影像文件构建影像金字塔；
91.具体的，master节点根据所述切图任务范围、所述元数据信息以及所述遥感影像文件构建影像金字塔。
92.s53、根据所述从节点信息和所述影像金字塔对所述遥感影像切片任务进行分幅分块，得到各个从节点对应的分块切图任务。
93.具体的，master节点根据所述从节点数量和所述影像金字塔对所述遥感影像切片任务进行分幅分块，得到各个slave节点对应的分块切图任务。
94.在一种可选的实施方式中，将所述分块切图任务保存至任务列表。
95.s54、将所述分块切图任务分发至各个从节点。
96.具体的，master节点从任务列表中取出所述分块切图任务分发至各个slave节点；
97.各个slave节点执行所述分块切图任务，如图5所示，具体的：
98.各个slave节点根据所述分块切图任务加载所述切图任务范围内的所述遥感影像文件；
99.读取所述遥感影像文件的图像信息，并将所述图像信息按照像素rgb值形式保存；
100.获取切片行列号及切片大小，并根据所述切片行列号及切片大小计算出像素的墨卡托坐标；
101.将所述切片4个顶点坐标转换成经纬度坐标；
102.使用重采样算法对所述切片任务范围内的所述像素rgb值进行重采样；
103.按照所述切片的最大层级结构和行列号缓存切片对象，并保存至缓存队列；
104.从所述缓存队列中依次取出所述切片对象写入nas文件存储系统中，并向master节点发送任务进度信息，当发生切片异常时，则向master节点发送异常信号；
105.当处理完最大层级结构的所有切片后进入下一层级结构进行处理；
106.根据所述影像金字塔四叉树结构从所述缓存队列中获取上一层级结构对应的4张切片进行重采样合成，得到合成后的切片；
107.将所述合成后的切片对象按照层级结构和行列号缓存至所述缓存队列；
108.从所述缓存队列获取合成后的切片写入到nas文件存储系统中，并向master节点发送任务进度信息，当发生切片异常时，则向master节点发送异常信号；
109.重复上述操作直到所有层级结构的所有行列号的切片处理完成。
110.也就是说，上述切图处理过程利用金字塔原理，低一层级按4叉树原则分解高一层对应范围类的4张切片，直接从最大层级开始切片，然后根据层级、行列号将切片对象缓存起来，等切到递减一层级该坐标范围内的切片时，直接从高一层级缓存的4张切片取出来重采样合成并输出切片，能够省去常规做法中每切一张切片时都要根据层级、行列号去计算坐标范围，然后定位到影像对应范围重采样的过程，本发明直接根据金字塔换算公式从缓存中直接获取对应4张切片进行重采样合成，加快了切片的处理速度。
111.s6、监听所述各个从节点的任务进度，并记录与所述任务进度对应的任务进度状态点；
112.具体的，如图4所示，master节点根据slave节点发送的任务进度信息监听所述各个slave节点的任务进度，并记录与所述任务进度对应的任务进度状态点。
113.在一种可选的实施方式中，所述各个slave节点采用层级结构 行列号作为任务进度状态点。
114.s7、判断所述任务进度是否异常，若是，则根据任务进度状态点确定任务断点，并基于所述任务断点进行断点续作，具体包括：
115.s71、判断所述任务进度是否异常，若是，则执行s72。
116.具体的，master节点判断所述任务进度是否异常，若是，则执行s72。
117.在一种可选的实施方式中，当slave节点发生异常或者长时间不发送任务进度信息时，则master节点认为所述任务进度是否异常。
118.s72、确定异常的任务进度对应的目标从节点；
119.具体的，master节点确定异常的任务进度对应的目标slave节点。
120.s73、判断与所述目标从节点的连接是否断开，若是，则将最后记录的目标任务进度状态点确定为任务断点。
121.具体的，master节点判断与所述目标slave节点的连接是否断开，若是，则将最后记录的目标任务进度状态点确定为任务断点。
122.s74、发送新的连接建立请求至所述目标从节点；
123.具体的，master节点发送新的连接建立请求至所述目标slave节点，所述目标slave节点重新与master节点连接。
124.s75、接收与所述新的连接建立请求对应的连接成功信息；
125.具体的，master节点接收与所述新的连接建立请求对应的连接成功信息。
126.s76、根据所述连接成功信息重新恢复所述任务断点，并继续执行所述分块切图任务。
127.具体的，master节点根据所述连接成功信息重新恢复所述任务断点，并继续执行所述分块切图任务，master节点等待所有slave节点的分块切图任务处理完成。
128.实施例二
129.请参照图2，本实施例的一种遥感影像切片处理终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一中的遥感影像切片处理方法中的各个步骤。
130.综上所述，本发明提供的一种遥感影像切片处理方法及终端，获取遥感影像切片任务，并读取所述遥感影像切片任务对应的配置文件信息；基于所述配置文件信息对所述遥感影像切片任务进行分幅分块，得到分块切图任务，并将所述分块切图任务分发至各个从节点；监听所述各个从节点的任务进度，并记录与所述任务进度对应的任务进度状态点；判断所述任务进度是否异常，若是，则根据任务进度状态点确定任务断点，并基于所述任务断点进行断点续作，以此利用主从节点模式进行分布式遥感影像切片处理，实现对海量遥感影像的分块化、异步化以及并行化的加工处理，降低切图耗时，且即使处理过程中出现异常，也能够实现断点续作，确保切图任务的质量，从而提高遥感影像切片的效率和质量，进而降低对服务器的性能要求。
131.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。