循环水设备数据的压缩存储方法、装置、设备和存储介质与流程

摘要: 本公开涉及数据处理与存储,尤其涉及一种循环水设备数据的压缩存储方法、装置、设备和存储介质。背景技术:1、在钢厂等工业监控场景中,循环水设备的监测数据具有显著的时...
循环水设备数据的压缩存储方法、装置、设备和存储介质与流程

本公开涉及数据处理与存储,尤其涉及一种循环水设备数据的压缩存储方法、装置、设备和存储介质。

背景技术:

1、在钢厂等工业监控场景中,循环水设备的监测数据具有显著的时序性,相近时间内的数值通常小幅波动或保持恒定。现有通用压缩算法(如gzip、标准哈夫曼编码以及lzw等)未针对该特征进行适配,仍存储完整原始数值或仅采用基础差值编码,无法高效剔除相邻数据间的高位字节冗余与重复信息,导致压缩效率低、计算资源消耗大。

2、即,现有压缩方案存在两方面不足:一是压缩过程未结合数据类型优化编码策略,也未对压缩后的数据进行结构化聚合,导致存储与检索效率低下;二是压缩流程中缺乏嵌入式的完整性校验机制,数据在聚合、存储过程中若发生错误,需解压后才能发现,增加了故障定位难度与数据失真风险。

3、因此,如何针对循环水设备时序数据的特征,设计一种融合自适应压缩、结构化聚合与嵌入式校验的处理方法,在保证数据可靠性的前提下提升压缩与存储性能,是本领域亟待解决的技术问题。

技术实现思路

1、有鉴于此,本公开提出了一种循环水设备数据的压缩存储方法、装置、设备和存储介质,可以有效剔除循环水设备的海量时序数据之间的冗余信息,提高压缩效率。

2、根据本公开的第一方面,提供了一种循环水设备数据的压缩存储方法,包括:

3、获取循环水设备的待压缩数据,依据所述待压缩数据的基础数据类型执行改进逐差编码以及冗余度压缩,生成压缩数据;

4、基于行式存储结构对所述压缩数据进行聚合,得到数据块;

5、对所述数据块执行校验,在确认校验通过后将所述数据块标记为有效数据块;

6、基于各所述有效数据块构建文件结构数据并拼接生成压缩文件。

7、在一种可能的实现方式中,所述基础数据类型包括:时间戳数据,布尔类型数据以及大整数类型数据中的至少一种。

8、在一种可能的实现方式中,针对不同基础数据类型的待压缩数据进行不同的改进逐差编码,具体包括:

9、对于时间戳数据,计算首个所述时间戳数据的毫秒数作为首编码,后续编码记录相邻所述时间戳数据编码之间的毫秒差值;

10、对于布尔类型数据,直接将其转换为比特位进行编码;

11、对于大整数类型数据,首先执行基础编码;随后,将首个所述大整数类型数据的编码作为首编码,后续编码记录相邻的所述大整数类型数据编码之间的差值。

12、在一种可能的实现方式中,所述冗余度压缩,具体包括:

13、对经过逐差编码后的待压缩数据进行数据分块,得到各待压缩数据块;

14、基于相似度算法计算各所述待压缩数据块的数据关联程度,得到各所述待压缩数据块的冗余分数;

15、基于各所述待压缩数据块的冗余分数确定各所述待压缩数据块的校验位;

16、对各所述待压缩数据块进行数据压缩,得到压缩数据块,将各所述压缩数据块和各所述压缩数据块对应的校验位进行组合,作为压缩数据。

17、在一种可能的实现方式中,所述行式存储结构包括存储单元、存储区域与存储表三级层次,所述基于行式存储结构对所述压缩数据进行聚合,得到数据块,具体包括:

18、将属于同一时间片、同一循环水设备且同一基础数据类型的各所述压缩数据,连续存放至同一存储单元中;

19、将属于同一时间片且同一循环水设备的各所述存储单元归集至同一存储区域中;

20、将属于同一时间片的各所述存储区域归集至同一存储表中,以各所述存储表作为所述数据块。

21、在一种可能的实现方式中,所述对各所述数据块执行校验,在确认校验通过后将所述数据块标记为有效数据块,具体包括:

22、基于各所述压缩数据绑定的冗余度校验位,对所述数据块内各压缩数据执行校验;

23、基于校验结果,将满足数据块有效条件的所述数据块标记为有效数据块。

24、在一种可能的实现方式中,所述压缩文件包括位于文件起始位置的文件头、位于文件末尾位置的文件尾以及各所述数据块;

25、其中,所述文件头位于压缩文件起始位置,是用于存储整个文件全局元数据和校验信息的固定结构区域,是解析整个压缩文件的入口;

26、所述文件尾位于压缩文件末尾位置,是用于存储文件索引目录、统计信息及对齐填充的复合结构区域,包含了用于快速定位所需的所有索引信息。

27、根据本公开的第二方面,提供了一种循环水设备数据的压缩存储装置,包括:

28、数据压缩模块,获取循环水设备的待压缩数据,依据所述待压缩数据的基础数据类型执行改进逐差编码以及冗余度压缩,生成压缩数据;

29、数据分块模块,基于行式存储结构对所述压缩数据进行聚合,得到数据块;

30、数据校验模块,对所述数据块执行校验,在确认校验通过后将所述数据块标记为有效数据块;

31、文件生成模块,基于各所述有效数据块构建文件结构数据并拼接生成压缩文件。

32、根据本公开的第三方面,提供了一种循环水设备数据的压缩存储设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行本公开第一方面所述的方法。

33、根据本公开的第四方面,提供了一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其中,所述计算机程序指令被处理器执行时实现本公开第一方面所述的方法。

34、本公开提供了一种循环水设备数据的压缩存储方法、装置、设备和存储介质,该方法包括:获取循环水设备的待压缩数据,依据待压缩数据的基础数据类型执行改进逐差编码以及冗余度压缩,生成压缩数据;基于行式存储结构对压缩数据进行聚合,得到数据块;对数据块执行校验,在确认校验通过后将数据块标记为有效数据块;基于各有效数据块构建文件结构数据并拼接生成压缩文件。本公开通过对数据执行改进的逐差编码与冗余度压缩,可以剔除相邻数据间因数值接近而产生的冗余信息,提高数据压缩效率。

35、根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。

1.一种循环水设备数据的压缩存储方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基础数据类型包括:时间戳数据,布尔类型数据以及大整数类型数据中的至少一种。

3.根据权利要求2所述的方法,其特征在于,针对不同基础数据类型的待压缩数据进行不同的改进逐差编码,具体包括:

4.根据权利要求1所述方法,其特征在于,所述冗余度压缩,具体包括:

5.根据权利要求1所述的方法,其特征在于,所述行式存储结构包括存储单元、存储区域与存储表三级层次,所述基于行式存储结构对所述压缩数据进行聚合,得到数据块,具体包括:

6.根据权利要求4所述的方法,其特征在于,所述对各所述数据块执行校验,在确认校验通过后将所述数据块标记为有效数据块,具体包括:

7.根据权利要求1所述的方法,其特征在于,所述压缩文件包括位于文件起始位置的文件头、位于文件末尾位置的文件尾以及各所述有效数据块;

8.一种循环水设备数据的压缩存储装置,其特征在于,包括:

9.一种循环水设备数据的压缩存储设备,其特征在于,包括:

10.一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。