基于数据集表和数据表驱动的海洋数据高效服务方法、系统及设备

本申请涉及海洋信息服务，尤其涉及一种基于数据集表和数据表驱动的海洋数据高效服务方法、系统及设备。

背景技术：

1、随着全球海洋观测网络的持续完善，卫星遥感、浮标观测、数值预报、现场调查等数据采集手段不断丰富，海洋数据已呈现出异构性、来源广泛、体量庞大、时空维度复杂、要素类型多样的典型特征。

2、传统数据服务技术方案，通常直接将观测或预报产出的原始格式文件（如netcdf、geojson等）存储于文件服务器，用户通过下载等方式获取数据。此类方案的实现逻辑简单、保留了数据原生格式，但存在天然的性能与易用性缺陷，具体的，在用户仅需局部区域、单一时相的数据时，仍需读取或下载完整文件，导致磁盘与网络传输开销极高，其检索依赖文件名与目录结构匹配，无法支持快速检索，极易出现读写瓶颈。

3、为解决文件检索效率低的问题，部分现有技术将海洋格点数据拆解为单格点行记录，存储至传统关系型数据库中，依托数据库索引提升查询能力。亦有部分现有技术针对大容量场景，引入hadoop、hbase等通用大数据组件构建分布式存储系统。

4、然而，上述现有技术在海洋数据场景下仍存在严重的适配性缺陷。具体的，受限于海洋数据结构的典型特征，现有技术存在数据格式整合和共享困难，数据孤岛现象严重，一致性与完整性无法保证。并且海洋数据中通常存在单个文件数据量大、访问频率高，在单节点上的读写性能存在瓶颈。面向信息时代的海洋多源异构数据，如何从数据存取和快速分析数据技术方面着手，实现海洋数据高效服务成为亟需解决的技术问题。

技术实现思路

1、本申请提供了一种基于数据集表驱动的海洋数据高效服务方法、系统及设备，面向信息时代的海洋多源异构数据，主要从数据存取和快速分析数据服务技术方面着手，实现统一并规范的多源海洋数据高效服务技术，以此提高海洋数据复用效率。

2、第一方面，本申请提供了一种基于数据集表驱动的海洋数据高效服务方法，包括：

3、对获取的海洋数据，按照最小化原则进行数据拆分，得到格点数据；

4、基于所述格点数据表征的数据特点，重建模所述格点数据，得到数据集表和数据表，形成海洋数据库；

5、对所述数据表的格点进行转换处理，得到跨平台与快速分析的目标数据，并更新至所述海洋数据库中；

6、基于所述海洋数据库进行数据服务发布，分别执行数据前端可视化和建立后台服务接口，所述数据服务发布包括数据前端可视化发布和后台服务接口发布；

7、基于客户端点击要素，通过数据服务发布从所述海洋数据库中获取元数据信息，并以所述点击要素为基准进行可视化输出。

8、第二方面，本申请提供了一种海洋数据高效服务系统，包括：

9、数据处理模块，用于对获取的海洋数据，按照最小化原则进行数据拆分得到目标格式的格点数据；

10、数据库建立模块，用于基于所述格点数据表征的数据特点，重建模所述格点数据，得到数据集表和数据表，形成海洋数据库；

11、格式转换模块，用于对所述数据表的格点进行转换处理，得到跨平台与快速分析的目标数据，并更新至所述海洋数据库中；

12、数据服务发布模块，用于基于所述海洋数据库进行数据服务发布，可视化数据前端并建立后台服务接口，所述数据服务发布包括数据前端可视化发布和后台服务接口发布；

13、数据分析模块，用于基于客户端点击要素，通过数据服务发布从所述海洋数据库中获取元数据信息，并以所述点击要素为基准进行可视化输出。

14、第三方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

15、存储器，用于存放计算机程序；

16、处理器，用于执行存储器上所存放的程序时，实现如第一方面任一项实施例所述的基于数据集表和数据表驱动的海洋数据高效服务方法的步骤。

17、综上，本申请实施例以最小化原则将海洋数据拆分为符合信息系统的格点数据，基于格点数据表征的数据特点建模数据集表和数据表，据此建立海洋数据库。在海洋数据库中，对数据表的格点进行转换处理，得到可跨平台共享且快速分析的目标数据。在明确目标数据后，对海洋数据库执行数据服务发布，包括执行数据前端可视化和建立后台服务接口。在应用时，基于客户端点击要素，通过数据服务发布从海洋数据库中获取元数据信息，并以点击要素为基准进行可视化输出。可见，本实施例可快速灵活统计分析海洋数据，实现数据的高效文件和索引存储，提供标准化、多元化和准实时/实时术服务，为海洋数据存储、管理、分析和引用提供的海洋信息支持与关键技术支撑。

1.一种基于数据集表和数据表驱动的海洋数据高效服务方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，对获取的海洋数据，按照最小化原则进行数据拆分，得到格点数据，包括：

3.根据权利要求2所述的方法，其特征在于，引入基于访问热度的动态粒度调整机制，对所述拆分数据进行细粒度拆分合并处理，包括：

4.根据权利要求1所述的方法，其特征在于，基于所述格点数据表征的数据特点，重建模所述格点数据，得到数据集表和数据表，形成海洋数据库，包括：

5.根据权利要求4所述的方法，其特征在于，基于所述数据集表、数据表以及数据分片映射，采用postgresql结合redis的架构，构建海洋数据库，包括：

6.根据权利要求1所述的方法，其特征在于，对所述数据表的格点进行转换处理，得到跨平台与快速分析的目标数据，包括：

7.根据权利要求1所述的方法，其特征在于，基于所述海洋数据库进行数据服务发布，分别执行数据前端可视化和建立后台服务接口，包括：

8.根据权利要求1所述的方法，其特征在于，基于客户端点击要素，通过数据服务发布从所述海洋数据库中获取元数据信息，包括：

9.一种海洋数据高效服务系统，其特征在于，包括：

10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；