一种分层存储系统的目录解分层方法及系统与流程

摘要: 本说明书涉及存储,尤其涉及一种分层存储系统的目录解分层方法及系统。背景技术:1、分布式文件存储系统为满足海量数据存储的容量与成本需求通常采用分层存储(hiera...
一种分层存储系统的目录解分层方法及系统与流程

本说明书涉及存储,尤其涉及一种分层存储系统的目录解分层方法及系统。

背景技术:

1、分布式文件存储系统为满足海量数据存储的容量与成本需求通常采用分层存储(hierarchical storage management, hsm)架构。在该架构中,系统将高频访问的热数据存储于高性能本地存储介质中,而将低频访问的冷数据迁移至低成本的外部对象存储中,从而实现存储成本与访问性能的最优平衡。用户通过文件系统接口(posix、nfs、smb等)访问数据,系统根据数据冷热程度自动或由用户手动触发数据在本地存储与对象存储之间的流动,实现加载操作、下刷操作以及预热操作。

2、为实现上述分层管理能力,系统在分布式文件系统的元数据记录中增加分层标识,用于标记目录或文件与哪个s3存储桶(bucket)相关联。目录被标记为分层目录后,其下文件的分层行为由目录属性继承控制。但是在实际的应用场景中,可能存在需要更换已对接的s3存储系统的情形,在更换s3存储后端后,将会面临数据孤岛风险、分层关联属性的非原子性切换、数据迁移期间的任务冲突、递归目录处理的复杂性以及缺乏灵活的逐文件处理粒度等一系列的问题。

3、基于此,需要一种分层存储系统的目录解分层方法及系统。

技术实现思路

1、本说明书实施例提供一种分层存储系统的目录解分层方法及系统,用于解决以上技术问题。

2、为解决上述技术问题,本说明书实施例是这样实现的:

3、本说明书实施例提供一种分层存储系统的目录解分层方法,包括:

4、获取目录解分层请求;

5、基于所述目录解分层请求,进行预处理,生成待处理目录树清单;

6、对所述待处理目录树清单进行任务冲突检测与拦截,在所述待处理目录树清单中设置拦截标记;

7、遍历所述待处理目录树清单,执行预热生成预热清单,对所述预热清单中的文件进行状态转换,更新所述预热清单中的文件状态并清除分层标记;

8、判断所述待处理目录树清单是否全部完成解分层,若所述待处理目录树清单全部完成解分层,则清除所述待处理目录树清单中设置的拦截标记,恢复任务调度;

9、若所述待处理目录树清单未全部完成解分层,则对失败文件清单重新发起目录解分层请求,直至所述待处理目录树清单全部完成解分层。

10、本说明书实施例还提供一种分层存储系统的目录解分层系统,包括:

11、获取模块,获取目录解分层请求;

12、预处理模块,基于所述目录解分层请求,进行预处理,生成待处理目录树清单;

13、拦截模块,对所述待处理目录树清单进行任务冲突检测与拦截,在所述待处理目录树清单中设置拦截标记;

14、状态转换模块,遍历所述待处理目录树清单,执行预热生成预热清单,对所述预热清单中的文件进行状态转换,更新所述预热清单中的文件状态并清除分层标记;

15、目录属性处理模块,判断所述待处理目录树清单是否全部完成解分层,若所述待处理目录树清单全部完成解分层,则清除所述待处理目录树清单中设置的拦截标记,恢复任务调度;

16、重请求模块,若所述待处理目录树清单未全部完成解分层,则对失败文件清单重新发起目录解分层请求,直至所述待处理目录树清单全部完成解分层。

17、本说明书实施例提供的分层存储系统的目录解分层方法,通过强制全量预热后再解除分层属性,确保所有数据在目录恢复为普通目录前完整存在于本地存储中,消除了因断开s3对接导致数据不可访问的风险,从而提高了数据安全性;预热期间,用户访问未完成文件时按需实时拉取,新写入文件直接存为local状态,解分层操作对正常业务读写无感知,保障了存储后端迁移期间的业务连续性;通过自动拦截下刷/导出任务,避免了预热过程中文件状态被并发任务改变导致的数据损坏或状态不一致问题,从而保障任务一致性;自动处理所有嵌套子目录,确保整个目录树的分层属性被彻底解除,不存在父子目录分层属性不一致的遗留问题;支持可配置多线程/多进程并发预热,用户可根据网络带宽和系统资源动态调整并发度,加速大规模数据迁移。

1.一种分层存储系统的目录解分层方法,其特征在于,所述目录解分层方法包括:

2.如权利要求1所述的目录解分层方法,其特征在于,所述基于所述目录解分层请求,进行预处理,生成待处理目录树清单,具体包括:

3.如权利要求2所述的目录解分层方法,其特征在于,所述对所述目标分层目录及所述目标分层目录的嵌套子目录进行遍历,生成待处理目录树清单,具体包括:

4.如权利要求1所述的目录解分层方法,其特征在于,所述对所述待处理目录树清单进行任务冲突检测与拦截,在所述待处理目录树清单中设置拦截标记,具体包括:

5.如权利要求1所述的目录解分层方法,其特征在于,所述遍历所述待处理目录树清单,执行预热生成预热清单,对所述预热清单中的文件进行状态转换,更新所述预热清单中的文件状态并清除分层标记,具体包括:

6.如权利要求5所述的目录解分层方法,其特征在于,所述将处于远端存储状态的目标文件的数据回拉至本地存储,并在数据完整性校验通过后,原子性地将所述目标文件的存储状态标识更新为本地存储状态,并清除分层标记,具体包括:

7.如权利要求6所述的目录解分层方法,其特征在于,所述将处于远端存储状态的目标文件的数据回拉至本地存储,对拉回至所述本地存储的数据执行数据完整性校验,具体包括:

8.如权利要求5所述的目录解分层方法,其特征在于,所述方法进一步包括:

9.如权利要求1所述的目录解分层方法,其特征在于,所述方法进一步包括:

10.一种分层存储系统的目录解分层系统,其特征在于,所述目录解分层系统包括: