一种Hbase数据库中数据压缩的方法、装置、设备及介质与流程

技术特征：
1.一种hbase数据库中数据压缩的方法，其特征在于，包括以下步骤：响应于hbase数据库的写缓存中的数据flush，将数据存储到存储器中的第一区域中；响应于第一区域中的数据超过第一阈值，将第一区域中的数据合并成一个大数据；响应于第一区域中的数据超过第二阈值，将第一区域中的数据进行合并，并计算合并后的数据的key值，并将第一区域中合并后的数据存储到第二区域中所述key值对应的key值区间对应的存储空间中；每经过第二区域的阈值时间后，将第二区域中各个key值区间中的数据各自合并后存储到第三区域中对应的key值区间对应的存储空间中，每经过第三区域的阈值时间后，将第三区域中各个key值区间中的数据各自合并后存储到第四区域中对应的key值区间对应的存储空间中，依次类推，直到将数据存储到第六区域中。2.根据权利要求1所述的方法，其特征在于，还包括：将存储器划分成六个区域，所述六个区域分别为第一区域、第二区域、第三区域、第四区域、第五区域和第六区域；将所述第二区域、第三区域、第四区域、第五区域和第六区域的存储空间按照key值的区间划分成若干个小的存储空间。3.根据权利要求1所述的方法，其特征在于，响应于第一区域中的数据超过第一阈值，将第一区域中的数据合并成一个大数据包括：使用第一区域中数据的总大小除于文件数得到计算值；判断计算值是否超过设定的第一阈值；响应于计算值超过第一阈值，将第一区域中的数据合并成一个大数据。4.根据权利要求1所述的方法，其特征在于，响应于第一区域中的数据超过第二阈值，将第一区域中的数据进行合并，并计算合并后的数据的key值，并将第一区域中合并后的数据存储到第二区域中所述key值对应的key值区间对应的存储空间中包括：响应于第一区域中的数据总量达到第一区域的存储空间的80％，将第一区域中的数据进行合并；通过计算合并后的数据的hash值以得到合并后的数据的key值；将第一区域中合并后的数据存储到第二区域中计算的key值对应的key值区间对应的存储空间中。5.一种hbase数据库中数据压缩的装置，其特征在于，所述装置包括：存储模块，所述存储模块配置为响应于hbase数据库的写缓存中的数据flush，将数据存储到存储器中的第一区域中；合并模块，所述合并模块配置为响应于第一区域中的数据超过第一阈值，将第一区域中的数据合并成一个大数据；计算模块，所述计算模块配置为响应于第一区域中的数据超过第二阈值，将第一区域中的数据进行合并，并计算合并后的数据的key值，并将第一区域中合并后的数据存储到第二区域中所述key值对应的key值区间对应的存储空间中；处理模块，所述处理模块配置为每经过第二区域的阈值时间后，将第二区域中各个key值区间中的数据各自合并后存储到第三区域中对应的key值区间对应的存储空间中，每经过第三区域的阈值时间后，将第三区域中各个key值区间中的数据各自合并后存储到第四
区域中对应的key值区间对应的存储空间中，依次类推，直到将数据存储到第六区域中。6.根据权利要求5所述的装置，其特征在于，还包括划分模块，所述划分模块配置为：将存储器划分成六个区域，所述六个区域分别为第一区域、第二区域、第三区域、第四区域、第五区域和第六区域；将所述第二区域、第三区域、第四区域、第五区域和第六区域的存储空间按照key值的区间划分成若干个小的存储空间。7.根据权利要求5所述的装置，其特征在于，所述合并模块还配置为：使用第一区域中数据的总大小除于文件数得到计算值；判断计算值是否超过设定的第一阈值；响应于计算值超过第一阈值，将第一区域中的数据合并成一个大数据。8.根据权利要求5所述的装置，其特征在于，所述计算模块还配置为：响应于第一区域中的数据总量达到第一区域的存储空间的80％，将第一区域中的数据进行合并；通过计算合并后的数据的hash值以得到合并后的数据的key值；将第一区域中合并后的数据存储到第二区域中计算的key值对应的key值区间对应的存储空间中。9.一种计算机设备，其特征在于，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-4任意一项所述方法的步骤。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任意一项所述方法的步骤。

技术总结
本发明提供了一种Hbase数据库中数据压缩的方法、装置、设备及可读介质，该方法包括：响应于Hbase数据库的写缓存中的数据flush，将数据存储到存储器中的第一区域中；响应于第一区域中的数据超过第一阈值，将第一区域中的数据合并成一个大数据；响应于第一区域中的数据超过第二阈值，将第一区域中的数据进行合并，并计算合并后的数据的key值，并将第一区域中合并后的数据存储到第二区域中key值对应的key值区间对应的存储空间中；每经过第二区域的阈值时间后，将第二区域中各个key值区间中的数据各自合并后存储到第三区域中对应的key值区间对应的存储空间中，依次类推，直到将数据存储到第六区域中。通过使用本发明的方案，能够可以增加I/O的使用率。可以增加I/O的使用率。可以增加I/O的使用率。


技术研发人员：李勇
受保护的技术使用者：苏州浪潮智能科技有限公司
技术研发日：2022.02.27
技术公布日：2022/5/31