一种数据压缩性能加速方法及系统与流程

摘要: 本发明涉及数据处理技术的领域,尤其是涉及一种数据压缩性能加速方法及系统。背景技术:1、在大数据实时同步、数据库增量数据流转、海量业务数据归档存储等数据处理场景中...
一种数据压缩性能加速方法及系统与流程

本发明涉及数据处理技术的领域,尤其是涉及一种数据压缩性能加速方法及系统。

背景技术:

1、在大数据实时同步、数据库增量数据流转、海量业务数据归档存储等数据处理场景中,海量增量数据的实时解析、规整压缩、落地存储及快速查询调用,是保障数据同步准确性、存储利用率及数据服务效率的核心基础。

2、目前,行业内常规数据同步方案仅单纯完成日志解析与逐条入库,缺乏有效的数据合并、脏数据剔除与结构化压缩规整机制,导致入库数据冗余量大、存储压缩效率低下,同时,传统数据处理流程缺乏批量优化、分组规整能力,单批次写入数据量小、数据库交互频次高,容易造成同步链路阻塞、数据压缩落地延迟等问题。

3、针对上述的相关技术,在当今数据传输处理的过程中,通常在接收到对应的信号后采用指定工具采集数据,或定时采集数据后进行处理并存储与更新,导致数据依赖原有设定,不能很好地选择对应的处理方式,因此数据存储更新的实时性与效率尚有改善空间。

技术实现思路

1、为了提高数据存储更新的实时性与效率,本发明提供一种数据压缩性能加速方法及系统。

2、第一方面,本发明提供一种数据压缩性能加速方法,采用如下的技术方案:

3、一种数据压缩性能加速方法,包括:

4、步骤1:响应于预设的启动信号,获取配置信息与需求数据采集位置;

5、步骤2:在需求数据采集位置实时采集binlog信息并分析以得到binlog数据;

6、步骤3:按照配置信息中的数据处理规则对binlog数据执行数据处理操作以得到待存储数据;

7、步骤4:获取原始数据表与历史数据采集位置;

8、步骤5:将待存储数据作为检索词在原始数据表中查找对应的数据存储位置;

9、步骤6:按照数据存储位置对待存储数据执行压缩写入操作以得到更新数据表;

10、步骤7:基于需求数据采集位置对历史数据采集位置进行更新以得到数据更新位置。

11、通过采用上述技术方案,通过需求数据采集位置监听binlog信息以得到binlog数据,然后结合配置信息中的数据处理规则得到待存储数据,以此在数据表中得到对应的位置,将数据写入该位置的同时,将需求数据采集位置替换历史的位置,使得数据压缩更新的更加全面,提高了数据的压缩效率与实时性。

12、可选的,按照配置信息中的数据处理规则对binlog数据执行数据处理操作以得到待存储数据的方法包括:

13、步骤30:提取binlog数据中的字段信息;

14、步骤31:将字段信息作为检索词查找对应的数据转换类型,并将binlog数据按照数据转换类型执行数据转换操作得到标准类型数据;

15、步骤32:对标准类型数据执行数据过滤操作以得到标准数据;

16、步骤33:分析字段信息以得到标准数据对应的分组标识;

17、步骤34:按照预设的连续规则选取同一分组标识的标准数据并整合得到同组数据;

18、步骤35:将同组数据按照连续规则整合以得到待存储数据。

19、通过采用上述技术方案,通过字段信息查找对应的数据转换类型以得到标准类型数据,然后进行过滤得到标准数据,最后根据字段信息确定标准数据的分组标识并整合标准数据以得到待存储数据,减少数据压缩的冗余计算量,提高数据的压缩效率。

20、可选的,得到更新数据表的方法包括:

21、步骤60:获取存储需求信息;

22、步骤61:根据存储需求信息分析待存储数据以得到数据哈希值;

23、步骤62:提取存储需求信息中的存储方式;

24、步骤63:基于数据哈希值与数据存储位置在原始数据表中查找对应的历史数据;

25、步骤64:按照存储方式将待存储数据与历史数据整合以得到综合数据表;

26、步骤65:按照预设的除零规则将综合数据表中的零值数据剔除以得到更新数据表。

27、通过采用上述技术方案,通过存储需求信息得到数据哈希值并提取存储方式,结合哈希值和存储位置检索原始数据表内的历史数据,按照存储规则整合新旧数据得到综合数据表后剔除零值冗余数据得到更新数据表,减少数据表无效数据占用空间,提高数据的压缩效率与数据更新的实时性。

28、可选的,按照存储方式将待存储数据与历史数据整合以得到综合数据表的方法包括:

29、步骤640:对比数据哈希值以得到相同哈希值;

30、步骤6410:当相同哈希值不存在时,按照存储方式将待存储数据与历史数据整合以得到综合数据表;

31、步骤6411:当相同哈希值存在时,基于相同哈希值对应的待存储数据确定对应的数据类型;

32、步骤6412:将数据类型作为检索词查找对应的数据修正范围;

33、步骤6413:提取相同哈希值对应的数据哈希值中的数据信息并对比以得到信息差异数据;

34、步骤64140:若信息差异数据未落入数据修正范围时,将该相同哈希值对应的所有待存储数据按照存储方式与历史数据整合以得到综合数据表;

35、步骤64141:若信息差异数据落入数据修正范围时,基于预设的时间规则选取最新数据并按照存储方式与历史数据整合以得到综合数据表。

36、通过采用上述技术方案,通过比对数据哈希值得到相同哈希值,存在时结合数据类型匹配数据修正范围,对比数据信息得到信息差异数据后,接着和修正范围对比决定如何得到综合数据表,避免盲目剔除或累加同哈希值的数据导致后续数据存在误差的问题,提高数据压缩的可靠性。

37、可选的,将该相同哈希值对应的所有待存储数据按照存储方式与历史数据整合以得到综合数据表的方法包括:

38、步骤641400:将相同哈希值的待存储数据作为检索词查找对应的历史综合数据;

39、步骤641401:分析历史综合数据以得到历史差异数据组;

40、步骤641402:若历史差异数据组存在时,直接将该相同哈希值对应的所有待存储数据按照存储方式与历史数据整合以得到综合数据表;

41、步骤641403:若历史差异数据组不存在时,将相同哈希值对应的所有待存储数据分别按照存储方式存储至数据存储位置以得到综合数据表。

42、通过采用上述技术方案,通过相同哈希值的待存储数据检索历史综合数据并分析得到历史差异数据组,根据历史差异数据组的存在与否采用不同的数据整合方式,同样避免盲目累加导致的数据错误的问题,提高数据更新的实时性与可靠性。

43、可选的,还包括当数据存储位置不存在时,得到更新数据表的方法,该方法包括:

44、步骤66:获取历史哈希值组;

45、步骤67:选取历史哈希值组中的任一历史哈希值与数据哈希值对比以分析数据存在状态,所述数据存在状态包括历史存在状态与新存在状态;

46、步骤680:当数据存在状态为历史存在状态时,将该历史哈希值作为检索词查找对应的历史数据位置;

47、步骤681:将数据哈希值对应的待存储数据按照存储方式与历史数据位置执行压缩写入操作以得到更新数据表;

48、步骤682:当数据存在状态为新存在状态时,重新选取一个历史哈希值并执行步骤67至步骤681直至数据哈希值与所有的历史哈希值对比得到数据最终状态,或者直至数据存在状态为历史存在状态;

49、步骤683:当数据最终状态仍然为新存在状态时,将该待存储数据定义为新存储数据并按照存储方式执行压缩写入操作以得到更新数据表。

50、通过采用上述技术方案,通过历史哈希值组与数据哈希值比对判定数据存在状态,分别对历史存在状态与新存在状态执行对应的压缩写入方式,解决存储位置缺失导致的数据写入失效问题,提高数据压缩的高效性。

51、可选的,将该待存储数据定义为新存储数据并按照存储方式执行压缩写入操作以得到更新数据表的方法包括:

52、步骤6830:获取数据采集时间;

53、步骤6831:将数据类型作为检索词查找对应的位置保存时间;

54、步骤6832:将数据哈希值作为检索词查找对应的数据删除时间并结合位置保存时间计算保存时间范围;

55、步骤6833:若数据采集时间落入保存时间范围时,将数据哈希值对应的待存储数据按照存储方式与历史数据位置执行压缩写入操作以得到更新数据表;

56、步骤6834:若数据采集时间未落入保存时间范围时,将该待存储数据定义为新存储数据并按照存储方式执行压缩写入操作以得到更新数据表。

57、通过采用上述技术方案,通过位置保存时间结合数据删除时间计算保存时间范围,接着分析数据采集时间是否落在保存时间范围执行差异化压缩写入,使得数据为0时也能在短时间内保存原有位置,避免每次作为新数据均需重新得到一个位置,提高数据压缩的高效性。

58、可选的,按照存储方式将待存储数据与历史数据整合以得到综合数据表的方法还包括:

59、步骤642:获取待存储数据对应的历史相邻数据并与待存储数据对比;

60、步骤643:若待存储数据与历史相邻数据一致,且接收到预设的异常信号时,将待存储数据剔除;

61、步骤644:若待存储数据与历史相邻数据一致,但未接收到异常信号时,按照存储方式将待存储数据与历史数据整合以得到综合数据表。

62、通过采用上述技术方案,通过比对待存储数据与历史相邻数据,结合异常信号区分重复数据成因,对故障的重复数据进行剔除,对正常的重复数据进行整合,避免系统异常时产生的冗余重复数据,减少无效数据参与压缩运算的情况,提高数据压缩更新的准确性与高效性。

63、可选的,还包括:

64、步骤8:获取标准报表信息;

65、步骤9:获取报表需求信息并以此在标准报表信息中确定对应的待补充报表信息,所述待补充报表信息包括报表模板信息与报表字段信息;

66、步骤10:提取报表需求信息中的数据查看信息;

67、步骤11:按照数据查看信息在更新数据表中筛选压缩数据;

68、步骤12:将压缩数据按照报表模板信息与报表字段信息整合形成数据报表并输出。

69、通过采用上述技术方案,通过标准报表信息与报表需求信息结合确定待补充报表信息,提取数据查看信息并以此筛选更新数据表中的压缩数据,结合报表模板信息与报表字段信息整合生成数据报表并输出,实现压缩数据的可视化输出,提高数据更新的实时性与实用性。

70、第二方面,本发明提供一种数据压缩性能加速系统,采用如下的技术方案:

71、一种数据压缩性能加速系统,包括:

72、获取模块,用于获取配置信息、需求数据采集位置、存储需求信息与报表需求信息;

73、存储器,用于存储如上所述的一种数据压缩性能加速方法的程序;

74、处理器,加载执行存储器中的程序。

75、通过采用上述技术方案,通过获取模块统一采集配置信息等数据,配合存储器存储对应方法程序,并由处理器加载运行程序,实现数据压缩加速方法的系统化、自动化执行,提高整体数据压缩处理的实时性与稳定性,以及系统整体数据处理的高效性。

76、综上所述,本发明包括以下至少一种有益技术效果:

77、1.通过需求数据采集位置监听binlog信息以得到binlog数据,然后结合配置信息中的数据处理规则得到待存储数据,以此在数据表中得到对应的位置,将数据写入该位置的同时,将需求数据采集位置替换历史的位置,使得数据压缩更新的更加全面,提高了数据的压缩效率与实时性;

78、2.将同一批次相同哈希值的数据进行差异对比,判断其可能是更新还是累加,从而决定生成压缩表的方式,提高了数据压缩效率与数据更新的灵活性;

79、3.通过分析数据的存在状态,确定是直接在对应位置上进行累加压缩存储还是需要新建行来压缩存储,提高数据的压缩效率与实时性。