数据合并方法及电子设备与流程

摘要: 本申请涉及数据存储,尤其涉及一种数据合并方法及电子设备。背景技术:1、在数据存储系统中,为了提高数据写入效率,通常采用分层存储架构。数据首先被写入排列最前的存储...
数据合并方法及电子设备与流程

本申请涉及数据存储,尤其涉及一种数据合并方法及电子设备。

背景技术:

1、在数据存储系统中,为了提高数据写入效率,通常采用分层存储架构。数据首先被写入排列最前的存储层级,随着写入操作不断进行,最前存储层级内会积累大量数据文件。当文件数量过多时,读取数据需要检索多个文件,导致读取延迟增加,同时在后续合并过程中会产生较大开销,最前存储层级内文件碎片化严重,影响系统整体性能。

2、针对上述问题,相关技术中提出了当最前存储层级内的文件数量达到一定阈值时,将该层级内的多个数据文件进行归并,生成新的数据文件并写入下一层级。通过这种方式减少最前存储层级内的文件数量,从而缓解文件碎片化问题。

3、然而,上述方案中,最前存储层级是作为一个整体进行归并管理的,归并粒度较粗,无法对该最前存储层级内的文件进行细粒度的分层处理,导致数据读取性能降低。

技术实现思路

1、本申请提供了一种数据合并方法及电子设备,以至少解决相关技术中无法对该最前存储层级内的文件进行细粒度的分层处理,导致数据读取性能降低的问题。

2、本申请提供了一种数据合并方法,应用于具有多个存储层级的分层存储系统,分层存储系统至少包括:写入层,写入层被划分为多个子层,多个子层至少包括:初始子层和底层子层;该方法包括:将数据文件写入初始子层;若多个子层中任一子层满足预设合并条件,则将任一子层内的多个数据文件进行归并,以生成至少一个新的数据文件,预设合并条件基于任一子层内数据文件数量和/或数据文件总大小确定;若任一子层不为底层子层,则将至少一个新的数据文件写入任一子层的相邻子层;若任一子层为底层子层,则将至少一个新的数据文件保留在底层子层。

3、本申请还提供了一种数据合并装置,应用于具有多个存储层级的分层存储系统,分层存储系统至少包括:写入层,写入层被划分为多个子层,多个子层至少包括:初始子层和底层子层;该装置包括:第一写入模块,用于将数据文件写入初始子层;归并模块,用于若多个子层中任一子层满足预设合并条件,则将任一子层内的多个数据文件进行归并,以生成至少一个新的数据文件,预设合并条件基于任一子层内数据文件数量和/或数据文件总大小确定;第二写入模块,用于若任一子层不为底层子层,则将至少一个新的数据文件写入任一子层的相邻子层;若任一子层为底层子层,则将至少一个新的数据文件保留在底层子层。

4、本申请还提供了一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行计算机程序时实现上述第一种数据合并方法的步骤。

5、本申请还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,其中,计算机程序被处理器执行时实现上述第一种数据合并方法的步骤。

6、本申请还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述第一种数据合并方法的步骤。

7、通过本申请提供的数据合并方法及电子设备,其中,该数据合并方法通过写入层内部子层化的渐进式归并方式,即存储有多条按键顺序排列键值对的数据文件,首先写入写入层中初始子层,保留日志结构合并树架构的高速写入优势;当写入层内的任一子层满足预设合并条件时,仅对该子层内的多个数据文件执行归并处理并生成至少一个新的数据文件,将原本整层统一的粗粒度归并拆解为子层级的细粒度操作,避免整层归并引发的突发io开销峰值;若该任一子层并非写入层中底层子层,则将归并生成的新数据文件写入其相邻的下一号子层,推动数据在写入层内部逐层递进整理,逐步扩大文件尺寸、缓解文件碎片化问题;若该任一子层为底层子层,则将新数据文件保留在该层。通过这种子层间递进式归并的架构,可在平滑合并开销的同时,使编号越大的子层内单文件尺寸越大、文件总数越少,查询时需遍历的文件数量相应降低,有效提升数据读取性能。

1.一种数据合并方法,其特征在于,应用于具有多个存储层级的分层存储系统,所述分层存储系统至少包括:写入层,所述写入层被划分为多个子层,所述多个子层至少包括:初始子层和底层子层;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述至少一个新的数据文件保留在所述底层子层之后,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述若所述多个子层中任一子层满足预设合并条件,则将所述任一子层内的多个数据文件进行归并,包括:

4.根据权利要求3所述的方法,其特征在于,所述对所述任一子层内的多个数据文件进行归并,包括:

5.根据权利要求4所述的方法,其特征在于,所述对锁定的多个数据文件中的多条键值对进行排序处理,得到排序后数据,包括:

6.根据权利要求4所述的方法,其特征在于,所述对所述排序后数据按所述预设大小阈值进行分割,生成至少一个新的数据文件,包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

8.根据权利要求7所述的方法,其特征在于,所述方法还包括:

9.根据权利要求2所述的方法,其特征在于,所述将所述底层子层中的数据文件与所述写入层的相邻下层中的数据文件进行归并,包括:

10.一种电子设备,其特征在于,包括: