面向空间三维数据的存储优化方法、系统及存储介质与流程

摘要: 本发明涉及三维空间数据处理与存储,具体涉及面向空间三维数据的存储优化方法、系统及存储介质。背景技术:1、随着智慧城市、数字孪生与实景三维建设的发展,海量三维空间...
面向空间三维数据的存储优化方法、系统及存储介质与流程

本发明涉及三维空间数据处理与存储,具体涉及面向空间三维数据的存储优化方法、系统及存储介质。

背景技术:

1、随着智慧城市、数字孪生与实景三维建设的发展,海量三维空间地理数据通过网络进行分发和动态渲染的需求快速增长。主流的三维瓦片分发规范在切片过程中,会将海量空间模型拆分为大量体积较小的离散瓦片文件。传统文件系统松散存储与网络分发模式存在以下缺陷:相邻瓦片在磁盘上存放位置离散无序,客户端并发请求时需高频次随机寻址,易形成磁盘i/o瓶颈;操作系统的顺序预读机制也难以有效发挥作用,影响瓦片按视口动态加载时的响应速度。大量微小瓦片文件松散存储会产生磁盘扇区碎片,造成存储空间浪费;千万级小文件会消耗大量索引节点资源,同时多节点部署或容灾备份需传输海量小文件,文件句柄频繁创建和关闭的上下文切换开销较大,限制了实际网络吞吐表现。

2、此外,现有存储方案通常假设三维瓦片数据为一次性写入的静态数据集,未涉及数据增量更新时存储性能退化的问题。在实际工程中,三维瓦片数据集往往需要更新、追加或局部替换,现有方案难以在增量操作中持续保持存储性能。

技术实现思路

1、本发明提供了面向空间三维数据的存储优化方法、系统及存储介质,用于解决现有三维瓦片松散存储导致磁盘随机i/o寻址延迟高、存储空间和索引节点资源消耗大、增量更新后存储性能下降的技术问题。

2、第一方面,本发明提供了面向空间三维数据的存储优化方法,所述方法包括:

3、获取三维瓦片数据集,自适应确定每一瓦片对应的空间量化精度,并根据所述空间量化精度进行空间坐标投影量化,获取整型网格坐标;

4、对各所述整型网格坐标在位级维度上执行交叉穿插运算,生成各瓦片对应的空间填充曲线编码;

5、构建由多细节层次标识与空间填充曲线编码组合构成的统一排序键,并基于所述统一排序键对全部瓦片执行全局聚集重排,得到一维有序瓦片序列;

6、以所述统一排序键为主键,初始化数据库存储容器的索引结构,并基于所述一维有序瓦片序列,将全部瓦片批量顺序写入所述数据库存储容器。

7、第二方面,本发明提供了面向空间三维数据的存储优化系统,所述系统包括:

8、数据获取与量化模块,用于获取三维瓦片数据集,自适应确定每一瓦片对应的空间量化精度,并根据所述空间量化精度进行空间坐标投影量化,获取整型网格坐标;

9、编码生成模块,用于对各所述整型网格坐标在位级维度上执行交叉穿插运算,生成各瓦片对应的空间填充曲线编码;

10、排序键构建与重排模块,用于构建由多细节层次标识与空间填充曲线编码组合构成的统一排序键,并基于所述统一排序键对全部瓦片执行全局聚集重排,得到一维有序瓦片序列;

11、顺序写入模块,用于以所述统一排序键为主键,初始化数据库存储容器的索引结构,并基于所述一维有序瓦片序列,将全部瓦片批量顺序写入所述数据库存储容器;

12、第三方面,本发明提供了计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的面向空间三维数据的存储优化方法。

13、本发明中提供的一个或多个技术方案,至少具有如下技术效果:

14、第一,本发明根据各瓦片所属多细节层次的瓦片空间分布尺度,自适应确定各细节层次的空间量化精度,使量化精度与瓦片固有空间粒度动态匹配,避免了统一量化在粗层级瓦片丧失空间区分度、在细层级产生不必要位宽开销的问题,提升了空间填充曲线编码对空间邻近关系的保持能力。

15、第二,本发明通过位级交叉穿插运算生成空间填充曲线编码,以多细节层次标识与空间填充曲线编码组合构成统一排序键,对全部瓦片执行全局聚集重排,再以统一排序键为主键将瓦片批量顺序写入数据库存储容器,利用数据库索引顺序插入时的页分配机制,使空间相邻的瓦片在磁盘物理扇区上连续存放,将大量随机i/o转化为顺序i/o,降低了磁盘随机寻址延迟,并提高了操作系统顺序预读机制的内存缓存命中率。

16、第三,本发明通过活跃缓冲区聚合增量写入生成增量段,并在空间区段上覆盖的增量段数量达到合并触发阈值时进行排序归并生成合并存储段,以追加写入和后台空间感知合并替代原地修改,使数据库存储容器在持续增量运行中始终保持段内物理连续性,避免因数据更新导致存储性能随时间退化,提升了方案在实际工程部署中的长期实用性。

1.面向空间三维数据的存储优化方法,其特征在于,包括:

2.如权利要求1所述的面向空间三维数据的存储优化方法,其特征在于,获取三维瓦片数据集,自适应确定每一瓦片对应的空间量化精度,并根据所述空间量化精度进行空间坐标投影量化,获取整型网格坐标,包括:

3.如权利要求2所述的面向空间三维数据的存储优化方法,其特征在于,根据各细节层次所对应瓦片的空间分布尺度,分别确定各细节层次的所述空间量化精度,包括:

4.如权利要求1所述的面向空间三维数据的存储优化方法,其特征在于,对各所述整型网格坐标在位级维度上执行交叉穿插运算,生成各瓦片对应的空间填充曲线编码,包括:

5.如权利要求1所述的面向空间三维数据的存储优化方法,其特征在于,构建由多细节层次标识与空间填充曲线编码组合构成的统一排序键,并基于所述统一排序键对全部瓦片执行全局聚集重排,得到一维有序瓦片序列,包括:

6.如权利要求1所述的面向空间三维数据的存储优化方法,其特征在于,以所述统一排序键为主键,初始化数据库存储容器的索引结构,并基于所述一维有序瓦片序列,将全部瓦片批量顺序写入所述数据库存储容器,包括:

7.如权利要求1所述的面向空间三维数据的存储优化方法,其特征在于,还包括:

8.如权利要求7所述的面向空间三维数据的存储优化方法,其特征在于,还包括:

9.面向空间三维数据的存储优化系统,其特征在于,用于实施权利要求1至8任一项所述的面向空间三维数据的存储优化方法,所述系统包括:

10.计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的面向空间三维数据的存储优化方法。