基于计算存储设备的合作式文件系统垃圾回收方法及系统

摘要: 本发明涉及计算机系统结构,具体地,涉及一种基于计算存储设备的合作式文件系统垃圾回收方法及系统。背景技术:1、随着闪存存储技术的发展,日志结构文件系统(log-s...
基于计算存储设备的合作式文件系统垃圾回收方法及系统

本发明涉及计算机系统结构,具体地,涉及一种基于计算存储设备的合作式文件系统垃圾回收方法及系统。

背景技术:

1、随着闪存存储技术的发展,日志结构文件系统(log-structured file system,lfs)成为了广泛应用于闪存设备的存储管理方式。lfs将随机写入操作转化为顺序写入,从而提升性能。然而,lfs需要定期执行垃圾回收(garbage collection,gc)以释放无效数据所占用的空间。gc过程通过迁移有效数据来回收空间,但此过程会导致写放大,并对i/o性能产生负面影响。

2、f2fs(flash-friendly file system)是一种为闪存优化的lfs,它将数据分为“数据段”和“节点段”两类,并根据数据的热度将数据块分配到不同的段中。

3、热度分组策略通过将热度相似的数据块存储在同一段中,减少了垃圾回收时迁移的数据量,从而降低了写放大。然而,由于闪存转换层(ftl)无法识别文件系统层面的热度分组,数据在存储设备上的分布可能会打乱,从而影响优化效果。

4、存储端内迁移(in-storage migration)技术通过将数据迁移任务直接交给存储设备处理,避免了主机与存储设备之间不必要的数据传输,减轻了主机的i/o负担。尽管如此,当数据块分散时,存储端内迁移仍然可能带来较高的通信成本。

5、现有技术要么依赖主机中心的热度分组,但带来额外的数据传输开销;要么是存储端内迁移,忽视了文件系统的热度感知,导致性能下降。因此,缺乏一种主机与存储设备协同工作的gc方法,既能减少数据迁移,又能充分利用文件系统的热度信息。

6、本领域相关技术术语如下:

7、日志结构文件系统(lfs):一种将数据写入顺序日志的文件系统,用于提升闪存设备的写入性能。

8、垃圾回收(gc):在文件系统中,gc是回收无效数据所占用空间的过程,通常需要迁移有效数据。

9、写放大(write amplification,wa):文件系统中,由于垃圾回收带来的数据迁移等原因,实际写入的数据量超过了原始数据量的现象。

10、闪存转换层(ftl):管理闪存存储设备与文件系统之间数据映射的层,通常隐藏闪存的物理特性。

技术实现思路

1、针对现有技术中的缺陷,本发明提供一种基于计算存储设备的合作式文件系统垃圾回收方法及系统。

2、根据本发明提供的一种基于计算存储设备的合作式文件系统垃圾回收方法及系统,所述方案如下:

3、第一方面,提供了一种基于计算存储设备的合作式文件系统垃圾回收方法,所述方法包括:

4、步骤s1:通过合作式文件系统的垃圾回收卸载模块准备gc请求,构建数据迁移请求,并将其卸载至计算存储设备csd执行器;

5、步骤s2:基于合作式文件系统中的分离式闪存转换层sftl在计算存储设备csd中执行数据迁移操作,同时完成文件系统层和闪存转换层ftl层的垃圾回收;

6、步骤s3:垃圾回收卸载模块接收计算存储设备csd传回的脏元数据并与内存中文件系统元数据同步。

7、优选地,所述步骤s1包括:

8、步骤s1.1:识别待迁移的数据段,并初始化gc请求;

9、步骤s1.2:确定有效数据块并为其预分配目的地址;

10、步骤s1.3:将预分配地址、受害段标识符和有效位图等打包成请求,并将其卸载至计算存储设备csd。

11、优选地,所述步骤s2包括:

12、步骤s2.1:计算存储设备csd中的执行器接收gc请求,并将传入的请求解包,获取预分配地址、受害段标识符和有效位图;

13、步骤s2.2:执行器通过提供的地址迁移有效数据块,基于分离式闪存转换层sftl的直接在存储块的逻辑地址至物理地址l2p映射对物理闪存页进行迁移,同时完成文件系统层和闪存转换层ftl层的垃圾回收;

14、步骤s2.2.1:执行器通过数据段标识符和有效位图识别出有效块源地址;

15、步骤s2.2.2:执行器从预分配地址中取得有效块目标地址;

16、步骤s2.2.3:执行器异步提交数据迁移请求,并继续处理下一有效块源地址;

17、步骤s2.2.4:调度器通过延迟提交策略将连续的迁移请求合并,迁移的地址通过分离式闪存转换层sftl的直接在存储块的逻辑地址至物理地址l2p映射转换为物理闪存页地址,并被提交至数据传输引擎中,数据传输完成后,调度器通知执行器;

18、步骤s2.2.5:执行器提交所有迁移请求后,等待迁移请求执行完毕;

19、步骤s2.3:执行器在数据迁移的同时对数据块对应的元数据进行懒更新,即对这些元数据的修改被暂时存储至csd内存中的指定区域,待数据迁移完成后再一并回传至主机;

20、步骤s2.4:执行器完成数据迁移后,将执行状态和内存中存储的执行过程中修改的元数据打包,然后发送回主机中的垃圾回收卸载模块。

21、优选地,所述步骤s3包括:

22、步骤s3.1:垃圾回收卸载模块接收csd传回的gc完成信息包,将其解包获得gc过程中修改的元数据;

23、步骤s3.2:垃圾回收卸载模块将脏元数据与文件系统元数据进行批量同步,如果元数据缓存在内存中,则直接修改内存,否则先从存储读取至内存再进行修改;

24、步骤s3.2.1:修改日志头段的元数据,记录新分配的数据块对应的文件索引块号以及在索引块中的偏移;

25、步骤s3.2.3:更新连续文件逻辑块到连续文件系统逻辑块的映射的缓存,删除基于旧地址的extent缓存;

26、步骤s3.2.2:修改文件索引块中逻辑块对应的块号,将其从原地址修改为数据迁移后的新地址。

27、第二方面,提供了一种基于计算存储设备的合作式文件系统垃圾回收系统,所述系统包括:垃圾回收卸载模块、垃圾回收执行模块和分离式闪存转换层;

28、其中,垃圾回收卸载模块:用于准备垃圾回收请求、卸载垃圾回收请求,并执行请求完成后的元数据同步;

29、垃圾回收执行模块:用于计算存储设备上垃圾回收的具体执行;

30、分离式闪存转换层:用于管理数据块的逻辑地址和物理地址的转换和设备级别的垃圾回收。

31、优选地,所述垃圾回收卸载模块包括:请求准备模块;

32、所述请求准备模块,用于准备垃圾回收请求,并将其卸载到垃圾回收执行模块,该模块包括有效块识别单元、元数据获取单元、地址预分配单元与数据打包单元;

33、当文件系统发出垃圾回收请求时,该请求将交由请求准备模块,在请求准备模块中,有效块识别单元根据待回收数据段的标识符从内存中的文件系统元数据中获取数据段有效性位图,通过该位图识别出数据段中有效块的偏移,确认有效块的逻辑地址;

34、元数据获取单元根据逻辑地址,在内存的元数据缓存中查找逻辑块地址到索引块地址的反向映射表,获取逻辑地址对应的索引块的标识符,若缓存中不含需要的元数据,则会先将其从存储中读取至内存;

35、地址预分配单元根据有效块的数量,通过修改数据段有效性位图,为其从数据头数据段中批量分配可供迁移的目的块地址,同时将有效块的旧逻辑地址预先置为无效;

36、数据打包单元将前三个单元收集的数据打包为请求,包括迁移段标识符、有效块位图、索引块标识符以及预分配地址向量,该请求通过内核的i/o栈被传输至计算存储设备的垃圾回收执行模块中。

37、优选地,所述垃圾回收卸载模块还包括:元数据同步模块;

38、所述元数据同步模块,用于将脏元数据同步至主机内存的元数据缓存中,该模块包括数据解包单元、元数据更新单元和资源释放单元;

39、当垃圾回收执行模块完成垃圾回收请求后,向主机端回传元数据同步请求,该请求通过i/o栈中的一系列中断处理函数和回调函数唤醒元数据同步模块;

40、在元数据同步模块中,数据解包单元从接收到的数据中解包需要进行同步的元数据,包括迁移目标段的块地址至索引块地址的反向映射表,以及需要修改的索引项;

41、元数据更新单元,将反向映射表更新至日志头数据段的元数据中,再将脏的索引项更新至元数据中的索引页中,并将涉及到的区段缓存置为无效;

42、资源释放单元释放此前持有的资源,包括设计到的索引页和数据页的锁,以及阻断文件系统操作的信号量,从而使文件系统回复正常运行。

43、优选地,所述垃圾回收执行模块包括:请求收发模块、数据迁移模块和迁移调度模块;

44、所述请求收发模块,负责接收卸载模块传来的请求,并在请求执行完毕后向卸载模块发送元数据同步请求;

45、所述请求收发模块先处理垃圾回收请求的接收,在其接收到nvme指令后,其通过识别其中是否含有特殊标识以识别该指令是否为垃圾回收请求,若是,则会设置dma控制器以使请求携带的元数据被传输至控制器内存的特定区域,并将请求放入数据迁移模块的处理队列;

46、所述数据迁移模块,从处理队列中取出请求并开始执行,数据迁移模块首先查找请求元数据中的迁移段标识符,有效块位图和与分配地址向量,据此快速计算出待迁移有效块的源地址和目标地址;其次向迁移调度模块发出迁移请求,该请求被异步执行;随后数据迁移模块更新迁移目标数据段的索引反向映射表,并根据源数据段的索引反向映射表得到需要修改的索引项,然后记录其修改后的值;

47、待处理完所有需要迁移的有效数据块后,数据迁移模块等待所有已提交的迁移请求被异步执行完毕,请求执行完毕后,数据迁移模块在其完成队列中放入一个元数据同步请求,请求收发模块会读取完成队列,并在收到该请求时构造一个元数据同步请求,其中包含需要更新的元数据,该请求将发送给垃圾回收卸载模块中的元数据同步模块;

48、迁移调度模块,负责跟存储媒介交互,并执行特定数据块从源地址到目的地址的迁移,该模块维护一个时间窗口以合并连续的迁移请求并提高迁移效率,迁移调度模块定期从时间窗口中合并连续的迁移请求并执行,然后将窗口前移至下一个未执行请求处。

49、优选地,所述分离式闪存转换层,将物理存储空间分为就地更新ipu区域和异地更新opu区域,包括ipu管理模块、opu管理模块和闪存gc模块;

50、其中,ipu管理模块,负责管理ipu区域;ipu区域中,存储块的逻辑地址至物理地址l2p映射为非直接的页级别映射,该映射采取轮转策略为新的逻辑写地址分配物理写地址,允许文件系统对元数据区域进行就地更新;

51、opu管理模块,负责管理opu区域;opu区域中,存储块的逻辑地址至物理地址l2p映射为直接映射,且不存在额外的设备级别垃圾回收模块,opu区域的设备端无需额外的日志存储结构;

52、闪存gc模块,负责ipu区域的设备级垃圾回收;需要通过设备垃圾回收维护设备层的日志结构,以实现对就地更新的支持。

53、优选地,当分离式闪存转换层收到读写请求时,首先根据读写地址判断其是否位于opu区域;

54、若读写位于opu区域,则通过直接l2p映射由逻辑块地址获取物理地址,然后对该物理地址进行指定的数据传输操作;

55、若位于ipu区域,则首先查找ipu区域的l2p映射表,通过逻辑块地址获取对应的物理地址;其次分离式闪存转换层会判断当前剩余可用物理空间是否低于一个预设的阈值;若是,则读写请求的执行被阻塞,闪存gc被触发,闪存gc模块从ipu的闪存块中选取需要清理的块,执行有效数据迁移并更新l2p映射表;若否,则继续执行读写请求,对指定物理地址进行指定数据传输操作。

56、与现有技术相比,本发明具有如下的有益效果:

57、1、本发明针对日志型文件系统的垃圾回收问题,能够有效提升垃圾回收的性能并降低存储系统尾延迟;

58、2、本发明使文件系统利用主机和存储设备各自的硬件优势实现高效的数据迁移,减少主机的数据处理压力,降低了垃圾回收带来的写放大,提高了闪存设备的使用寿命,优化了数据迁移效率,减少了文件读写的尾延迟,提高了存储系统的读写效率,具有广泛的应用价值。

59、本发明的其他有益效果,将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述,本领域技术人员通过这些技术特征和技术方案的介绍,应能理解所述技术特征和技术方案带来的有益技术效果。