数据处理方法、装置、电子设备及存储介质与流程

摘要: 本技术涉及数据存储,尤其涉及一种数据处理方法、装置、电子设备及存储介质。背景技术:1、随着云计算和大数据技术的快速发展,日志数据的规模呈指数级增长。为降低存储成...
数据处理方法、装置、电子设备及存储介质与流程

本技术涉及数据存储,尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术:

1、随着云计算和大数据技术的快速发展,日志数据的规模呈指数级增长。为降低存储成本,云服务提供商通常需要对日志文件进行压缩处理后存储至对象存储服务中。在日志处理场景下,日志文件通常以追加写方式写入对象存储,当一个日志文件写入完成后,需要对该文件执行压缩替换操作,以节省存储空间并便于下游系统消费。

2、现有技术中,通常将原始日志从对象存储下载到本地后执行gzip压缩,再用putobject直接覆盖原路径。该方案实现简单,无需额外维护压缩状态。

3、然而,上述现有技术方案中,一旦压缩或上传过程中出现数据损坏,原文件将被不可逆地替换为损坏数据,原始日志永久丢失。

技术实现思路

1、本技术提供了一种数据处理方法、装置、电子设备及存储介质,以解决现有技术中一旦压缩或上传过程中出现数据损坏,原文件将被不可逆地替换为损坏数据,原始日志永久丢失的问题。

2、第一方面,本技术提供了一种数据处理方法,包括:

3、对目标对象的原始数据进行压缩处理,得到压缩数据;

4、将所述压缩数据存储至临时存储路径,所述临时存储路径不同于所述目标对象的原始存储路径;

5、验证存储于所述临时存储路径下的所述压缩数据的完整性;

6、在验证通过后,通过对象存储服务提供的原子复制操作,将所述临时存储路径下的所述压缩数据复制至所述原始存储路径,以覆盖所述目标对象的原始数据。

7、在一个可能的实施方式中,所述对目标对象的原始数据进行压缩处理,得到压缩数据,包括:

8、获取所述原始数据对应的数据流;

9、通过预设大小的缓冲区从所述数据流中循环读取数据块,并将读取的所述数据块写入压缩输出流,所述压缩输出流用于向内存缓冲输出流输出压缩后的数据;

10、在全部原始数据写入完成后,从所述内存缓冲输出流中读取压缩后的完整数据,得到所述压缩数据。

11、在一个可能的实施方式中,所述方法还包括:

12、在全部原始数据写入完成后,获取所述原始数据的数据长度和所述压缩输出流实时计算的循环冗余校验值;

13、调用压缩结束方法,将所述循环冗余校验值和所述数据长度作为压缩格式尾部校验信息,写入至所述内存缓冲输出流。

14、在一个可能的实施方式中,所述验证存储于所述临时存储路径下的所述压缩数据的完整性,包括:

15、获取存储于所述临时存储路径下的数据的第一存储属性;

16、将所述第一存储属性与所述压缩数据的第二存储属性进行比对;

17、当所述第一存储属性与所述第二存储属性一致时,确定验证通过;

18、当所述第一存储属性与所述第二存储属性不一致时,确定验证失败。

19、在一个可能的实施方式中,所述对目标对象的原始数据进行压缩处理之前,还包括:

20、通过对象存储服务提供的元数据获取操作,获取所述目标对象的元数据;

21、读取所述元数据中的内容编码字段;

22、若所述内容编码字段的值为预设的压缩编码标识,则终止流程;

23、若所述内容编码字段的值为空,则执行所述对目标对象的原始数据进行压缩处理的步骤。

24、在一个可能的实施方式中,所述方法还包括:

25、在所述原子复制操作中,将所述目标对象的元数据中的内容编码字段设置为预设的压缩编码标识;

26、在将所述临时存储路径下的所述压缩数据复制至所述原始存储路径后,删除所述临时存储路径下的所述压缩数据。

27、在一个可能的实施方式中,所述方法还包括:

28、获取预设标识信息;

29、将所述预设标识信息添加至所述原始存储路径,得到所述临时存储路径。

30、第二方面,本技术提供了一种数据处理装置,包括:

31、压缩模块,用于对目标对象的原始数据进行压缩处理,得到压缩数据;

32、存储模块,用于将所述压缩数据存储至临时存储路径,所述临时存储路径不同于所述目标对象的原始存储路径;

33、验证模块,用于验证存储于所述临时存储路径下的所述压缩数据的完整性;

34、复制模块,用于在验证通过后,通过对象存储服务提供的原子复制操作,将所述临时存储路径下的所述压缩数据复制至所述原始存储路径,以覆盖所述目标对象的原始数据。

35、在一个可能的实施方式中,所述压缩模块,具体用于:

36、获取所述原始数据对应的数据流;

37、通过预设大小的缓冲区从所述数据流中循环读取数据块,并将读取的所述数据块写入压缩输出流,所述压缩输出流用于向内存缓冲输出流输出压缩后的数据;

38、在全部原始数据写入完成后,从所述内存缓冲输出流中读取压缩后的完整数据,得到所述压缩数据。

39、在一个可能的实施方式中,所述装置还包括写入模块,用于:

40、在全部原始数据写入完成后,获取所述原始数据的数据长度和所述压缩输出流实时计算的循环冗余校验值;

41、调用压缩结束方法,将所述循环冗余校验值和所述数据长度作为压缩格式尾部校验信息,写入至所述内存缓冲输出流。

42、在一个可能的实施方式中,所述验证模块,具体用于:

43、获取存储于所述临时存储路径下的数据的第一存储属性;

44、将所述第一存储属性与所述压缩数据的第二存储属性进行比对;

45、当所述第一存储属性与所述第二存储属性一致时,确定验证通过;

46、当所述第一存储属性与所述第二存储属性不一致时,确定验证失败。

47、在一个可能的实施方式中,所述装置还包括执行模块,用于:

48、通过对象存储服务提供的元数据获取操作,获取所述目标对象的元数据;

49、读取所述元数据中的内容编码字段;

50、若所述内容编码字段的值为预设的压缩编码标识,则终止流程;

51、若所述内容编码字段的值为空,则执行所述对目标对象的原始数据进行压缩处理的步骤。

52、在一个可能的实施方式中,所述装置还包括删除模块,用于:

53、在所述原子复制操作中,将所述目标对象的元数据中的内容编码字段设置为预设的压缩编码标识;

54、在将所述临时存储路径下的所述压缩数据复制至所述原始存储路径后,删除所述临时存储路径下的所述压缩数据。

55、在一个可能的实施方式中,所述装置还包括添加模块,用于:

56、获取预设标识信息;

57、将所述预设标识信息添加至所述原始存储路径,得到所述临时存储路径。

58、第三方面,本技术提供了一种电子设备,包括:处理器和存储器,所述处理器用于执行所述存储器中存储的数据处理程序,以实现第一方面中任一项所述的数据处理方法。

59、第四方面,本技术提供了一种存储介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现第一方面中任一项所述的数据处理方法。

60、第五方面,本技术提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的数据处理方法。

61、本技术实施例提供的上述技术方案与现有技术相比具有如下优点:本技术实施例提供的该方法,通过对目标对象的原始数据进行压缩处理得到压缩数据,将压缩数据存储至与原始存储路径不同的临时存储路径,验证存储于临时存储路径下的压缩数据的完整性,并在验证通过后通过对象存储服务提供的原子复制操作将临时存储路径下的压缩数据复制至原始存储路径以覆盖目标对象的原始数据。该方案中,压缩数据先落入临时存储路径,与原始存储路径物理隔离,使完整性验证能够在压缩数据写入原始存储路径之前执行,在验证通过后触发原子复制操作,确保最终写入原始存储路径的压缩数据是完整的;同时,原子复制操作由对象存储服务端保证原子执行,压缩数据的替换过程不存在中间状态,下游系统始终只能读取到替换前或替换后的完整数据。由此,本技术解决了现有技术中直接覆盖方式下原始数据一旦被损坏数据覆盖即永久丢失的技术问题,实现了在保证数据完整性的前提下安全替换原始数据,且替换过程对外呈现原子一致性。