一种基于五层十五级遥感瓦片数据的分层分块组织方法与流程

技术特征：
1.一种基于五层十五级遥感瓦片数据的分层分块组织方法，其特征在于它的步骤如下：s1：针对所有待切片的遥感影像，分布式系统的主节点首先对其影像切片任务进行划分，将不同遥感影像的切片任务分配到切片任务集群的不同节点上，每一个切片节点均独立针对单幅遥感影像的切片任务进行分布式多线程并行切片，待所有遥感影像的切片任务均执行完毕后，得到五层十五级遥感瓦片数据；所述分布式多线程并行切片基于层次归类划分法和排队轮询法实现，首先按照层次归类划分法读取当前切片节点分配到的单幅遥感影像的切片任务，将切片任务中所有需切分的目标瓦片级按照五层十五级的层级划分标准进行分类，将隶属于同一瓦片层的所有瓦片级归为同一类别，然后取出所有类别中各自包含的最高瓦片级分别建立第一优先级的切片任务单元，所有第一优先级的切片任务单元并行通过排队轮询法进行切片任务，当所有第一优先级的切片任务单元均完成切片任务后再将每一类别中的剩余瓦片级各自建立第二优先级的切片任务单元，所有第二优先级的切片任务单元并行通过排队轮询法进行切片任务，最终完成单幅遥感影像中所有目标瓦片级的切片工作；所述排队轮询法执行时，先确定每一个切片任务单元中影像需被切分的瓦片数量，再将这些瓦片的切片任务进行编号和排序以形成任务队列，线程池中的不同线程按照任务队列中的任务排序依次认领瓦片切片任务并执行，每一个线程执行完一个瓦片的切片任务后再按序从任务队列中认领新的任务，直至切片任务单元中所有的瓦片均完成切片；s2：针对s1中得到的五层十五级遥感瓦片数据，对每一张瓦片按照其所处的瓦片级和行列号进行编码；s3：基于s2中获得的每一张瓦片的编码构建两级索引，使用分层分块组织模型实现五层十五级遥感瓦片数据的分层分块组织。2.根据权利要求1所述的分层分块组织方法，其特征在于：所述s1的具体实现步骤如下：s11：主节点接收所有待切片的遥感影像的切片请求后，创建切片任务列表，并向kafka集群提交切片任务列表中的切片任务；s13：kafka集群接收到切片任务后将切片任务缓存，并根据均衡策略存储到不同分区(partition)中，每个切片任务对应于单幅遥感影像的切片；s14：切片任务集群中的各个切片节点(consumer)通过与kafka建立的长连接，不断从不同分区中按次序拉取切片任务进行执行，且不同切片节点分配到的分区不同，相互之间互不干扰，并行执行不同的切片任务；每一个切片节点均独立针对拉取到的单幅遥感影像的切片任务基于层次归类划分法和排队轮询法进行所述分布式多线程并行切片，切片过程中每一张瓦片生成的瓦片数据块输出到空瓦片文件中，并存储至分布式文件系统中；s15：kafka集群中缓存的所有切片任务均完成后，通知主节点已完成待所有遥感影像的切片任务，并在分布式文件系统中得到五层十五级遥感瓦片数据。3.根据权利要求2所述的分层分块组织方法，其特征在于：所述s14中，切片任务集群中的各个切片节点按照消息接收的先后顺序从kafka集群的不同分区中拉取切片任务。4.根据权利要求2所述的分层分块组织方法，其特征在于：所述s14中，每一个切片节点拉取到单幅遥感影像的切片任务后，首先读取影像元数据信息，然后根据元数据信息中的
投影坐标判断其投影坐标系是否为目标坐标系，若不是目标坐标系则将其进行投影转换形成目标坐标系下的遥感影像，然后再加载目标坐标系下的遥感影像数据，读取影像的空间范围、波段以及需切分的目标瓦片级，最后基于层次归类划分法和排队轮询法进行所述分布式多线程并行切片。5.根据权利要求4所述的分层分块组织方法，其特征在于：所述的目标坐标系为wgs84坐标系。6.根据权利要求4所述的分层分块组织方法，其特征在于：所述影像元数据信息包括影像波段数、影像大小和投影坐标。7.根据权利要求3所述的分层分块组织方法，其特征在于：所述切片任务集群中每一个切片节点均通过调用gdal库来实现影像的切片。8.根据权利要求1所述的分层分块组织方法，其特征在于：所述最高瓦片级为f、c、9、6、3这五个瓦片级中的一个。9.根据权利要求1所述的分层分块组织方法，其特征在于：所述s2中，采用64位长整形的编码结构对每一张瓦片对应的瓦片数据块进行唯一编码，每一个瓦片数据块均形成一个64位编码值；所述64位长整形的编码结构中，第0至31位存储瓦片的geohash编码，第32至47位存储瓦片波段号，第48至63位存储瓦片所处的瓦片级号。10.根据权利要求1所述的分层分块组织方法，其特征在于：所述s3中，使用分层分块组织模型实现五层十五级遥感瓦片数据的分层分块组织的方法如下：在分布式文件系统中以瓦片数据集文件来分层级存储不同遥感影像中不同瓦片级的瓦片数据块，其中每一个瓦片数据集文件对应存储一幅遥感影像的一个瓦片级中所有瓦片数据块；分布式文件系统中每个瓦片数据集文件均通过两级索引实现分层分块组织，其中以第一索引键值对构成用于查询不同瓦片数据集文件的第一级索引，以第二索引键值对构成用于在瓦片数据集文件内查询不同瓦片数据块的第二级索引；所述第一索引键值对中的键为瓦片数据集文件的唯一编码，值为指向二级索引存储位置的指针；所述第二索引键值对中的键为瓦片数据块的所述64位编码值，值为指向瓦片数据块的数据块键值对的指针；所述数据块键值中的键为瓦片数据块的所述64位编码值，值为瓦片数据块的二进制数据流。

技术总结
本发明公开了一种基于五层十五级遥感瓦片数据的分层分块组织方法。该方法的步骤如下：1)对原始影像进行分布式多线程并行切片，生成五层十五级遥感瓦片数据；2)针对得到的五层十五级遥感瓦片数据，对每一张瓦片按照其所处的瓦片级和行列号进行编码；3)基于获得的每一张瓦片的编码构建两级索引，使用分层分块组织模型实现五层十五级遥感瓦片数据的分层分块组织。本方法充分结合五层十五级遥感瓦片的切分标准与层级特点，解决在低层级时五层十五级遥感瓦片数据块总数迅速增长时产生海量小文件所带来的存储问题，使五层十五级遥感瓦片数据在分布式文件系统中能够高效存储与访问。数据在分布式文件系统中能够高效存储与访问。数据在分布式文件系统中能够高效存储与访问。


技术研发人员：吴森森 余佳鸣 戚劲 杨典华 曾杉
受保护的技术使用者：中科吉芯（昆山）信息科技有限公司
技术研发日：2021.12.21
技术公布日：2022/5/17