一种基于block管理的异常掉电恢复方法及系统与流程

1.本发明涉及固态硬盘存储技术领域，尤其涉及一种基于block管理的异常掉电恢复方法及系统。


背景技术：

2.固态硬盘使用操作系统通过一组lba(logical block address，逻辑区块地址)来读写固态硬盘内部的数据，在普通的硬盘上，由于数据是可以直接覆盖的，所以lba和pba(physical block address，物理区块地址)的关系是一一对应的，不会变更，但是由于固态硬盘使用的存储介质nand闪存有需要先擦除才能写入的特性，导致lba和pba的关系不再是固定不变的，因此固态硬盘专门有一个层来负责上层到底层的转换，这个层叫ftl(flash translation layer，闪存转换层)层，它的主要任务是将ftl层之上的lba转化为底层需要的pba。就其转换任务而言，ftl层需要一张从lba到pba的映射表，称之为ftl表，它存放在内存中，在整个固态硬盘的读写过程中都需要实时查找、更新这张表，从而能正确读取或写入数据，所以这张表不但要保证能够正确地更新读取，还要保证设备掉电时能正确地保存以及在下一次上电时能正确恢复。
3.ftl的设计对ssd的性能和寿命会产生很大影响，在小容量的ssd中，ftl一般以大的pagesize作为映射，正常下电时，会自动保存最新的ftl，上电重新加载时，直接读取保存的ftl恢复数据。发生异常掉电时，最新的ftl没有来得及写入ssd，之前保存的ftl已经不是最新的，需要扫描所有的nand来重建最新的ftl。由于使用较大的pagesize，扫描全盘的时间有限，不需要使用额外的机制。
4.在大容量的企业级ssd中，动则10tb以上，这类ssd一般通过多个通道并发访问来提高闪存的访问效率，每个通道读写一部分nand芯片。即使如此，受限于nand本身的读写速度和外部接口的速度，扫描ssd全盘的时间还是很长，例如，某企业级ssd提供24t物理容量，即使采用较大的pagesize，扫描全盘的时间也需要1
‑
2个小时，这种机制就不能满足要求。同时为了提高ssd的寿命和性能，企业级的ssd设计一般会采用4k的pagesize，扫描的粒度更小，需要的时间会更久。
5.为了提高掉电恢复的速度，一般会采用block固定分组的形式，如图1所示。几个nand芯片分为一组，按block的序号分成多个group，例如图1中共2x个nand，每x个nand分成一组，每个nand有n个block，每组nand会有n个group，整个ssd中包含了2n个group。
6.写数据时，按照group写数据，在一个group没有写满之前，不会写下一个group。进行垃圾回收时，根据group的有效数据占比进行排序，选择有效数据占比最少的group进行垃圾回收，回收时需要迁移所有的有效数据后再擦除。
7.写数据详细步骤
8.a.查找下一个空闲的group a写入管理信息，管理信息中包含写入序列号，用来标明每个group的写入先后顺序；
9.b.新写入的数据都写入group a，直到group a写满；
10.c.持续写入时，重复执行a，b过程，每次获取空闲group时，写入的序列号依次递增；
11.d.写满特定数量的group后更新ftl到ssd中，更新ftl时同时写入最新的group序列号，并标明本次写入的ftl为临时备份；
12.e.设备正常关机或者卸载驱动时，更新ftl到ssd中，标明本次写入的为关机备份。
13.发生异常断电时，可能在a、b、c、d中的任何时刻。
14.垃圾回收详细步骤
15.a.当预留group不够时，在所有的group中找到平均有效数据占比最低的group f；
16.b.把有效数据迁移到一个空闲的group k中；
17.c.group f迁移完成后，擦除原group f内的所有block；
18.d.擦除完的group f加入到空闲group列表中。
19.设备重新上电过程
20.a.读取最新的ftl，如果ftl标识为关机备份，则加载ftl，读取序列号作为本次设备启用的起始序列号；
21.b.如果ftl表示为临时备份，则说明上一次下电为异常断电，需要进行异常掉电恢复，恢复时先读取最后一次ftl备份，并获取记录的序列号y，并开始扫描group；
22.c.扫描盘上的每个group，读取group的序列号，记录所有序列号在y之后的group并按照序列号进行排序，依序读取group中的所有有效数据的信息，并更新到ftl中；
23.d.扫描完成后，完成掉电恢复过程。
24.使用这种方式进行异常掉电恢复，可以避免扫描全盘，大大加速了异常掉电的恢复过程，但是存在着以下不足：
25.(1)group的设计会提高整个ssd的写放大。在group中包含多个block，随着应用的使用，每个block中的有效数据占比并不是一致的。比如一个group的平均有效数据占比为20％，有可能是每个block比较平均，都是20％，更大的可能是group内部的block有效数据占比并不均衡，有的只有5％或者更低，甚至没有有效数据，有的则超过50％。group作为一个整体，在回收时只能进行整个group的擦除，导致部分block的写放大增加，提高了ssd的整体写放大。如果有更小粒度比如到block级别的管理，则可以只回收有效数据最少的block，有效降低写放大。
26.(2)不能兼顾写放大系数和恢复时间。设计时group的大小会影响写放大和恢复的时间，如果group大，发生有效数据占比不均的可能性越大，则写放大相对较大，但是group总数少，异常掉电恢复的时间较短；group较小，越接近block级别的管理，则写放大相对较小，但是由于group总数多，异常掉电恢复的时间较长。
27.(3)异常掉电恢复时间随着容量增大。在group大小一定的情况下，容量越大，group越多，这样会造成异常掉电恢复时间随着容量而变长。


技术实现要素：

28.本发明的目的在于提供一种基于block管理的异常掉电恢复方法及系统，以解决大容量ssd的异常掉电恢复时间过长的问题，同时兼顾ssd的写放大。
29.为实现上述目的，本发明采用以下技术方案：
30.本技术第一个方面提供了一种基于block管理的异常掉电恢复方法，包括：写数据阶段：
31.a，在ssd空闲的block列表中选择预设数量的block作为预写block；
32.b，将预写block的信息，以及ftl的增量变化表一起写入ssd，完成后清空增量变化表，该步骤为增量备份过程；
33.c，将新数据写入预写block中，同时将ftl的更新项同步记录到增量变化表中，直到预写block被用完，所述增量变化表中还包括用于标识时序的序列号；
34.d，重复步骤a至c，当增量变化表的记录数据总量达到了整个ftl的数据量，则在步骤b中进行一次完整的ftl备份替换增量备份过程，新的ftl记录中会记录增量变化表的最新序列号；
35.e，设备正常关机或者卸载驱动时，更新ftl到ssd中，标明本次写入数据为关机备份；
36.异常掉电恢复阶段：
37.f，若在上述步骤a，b，c，d中的任何时刻发生异常掉电，再次上电后，读取最新的ftl；
38.g，判断读取的ftl中是否有关机备份标记，如果ftl中没有关机备份标记，则读取增量变化表，根据序列号查找其中有效的部分；
39.h，读取有效的增量变化表，将记录更新到ftl中；
40.i，读取最后一份有效的增量变化表中预写block的信息，并遍历每一个预写block，查找其中的有效数据；
41.j，遍历完预写block的信息后，更新ftl，并将最新的ftl更新至ssd中，完成异常掉电恢复过程。
42.优选地，步骤a中，预写block所包括block的预设数量能够满足未来几秒内的全速写的数据量要求。
43.优选地，步骤b中，预写block为block的寻址信息，包括block所在的通道号、nand芯片在该通道的序号和block在该nand芯片的序号。
44.优选地，步骤c中，ftl的更新项，每一项内容为一对物理地址和lba的映射关系。
45.优选地，步骤g中，判断读取的ftl中是否有关机备份标记，如果ftl中有关机备份标记，则完成ftl加载过程。
46.优选地，所述方法还包括：ftl发生更新后，所述ftl的新增数据为增量数据，将所述增量数据写入内存上预设的增量存储空间中，即增量变化表；所述ftl保存ssd的逻辑区块地址与物理区块地址的对应关系。
47.优选地，步骤a中，若ssd预留的空闲的block低于设定的阈值时，所述方法还包括垃圾回收阶段，包括如下步骤：
48.从ssd的所有block列表中选择有效数据占比最低的block，如果还需要更多的block，则继续选择有效数据占比次低的block，直至满足对block的数量需求；
49.将选取的block中的有效数据迁移到其它空闲的block中，并擦除该选取的block；
50.将擦除后的block加入到空闲的block列表中。
51.本技术第二个方面提供了一种基于block管理的异常掉电恢复系统，包括：写数据
单元和异常掉电恢复单元；其中，
52.所述写数据单元包括：
53.预写block分配模块，用于在ssd空闲的block列表中选择预设数量的block作为预写block；
54.增量备份模块，用于将预写block的信息，以及ftl的增量变化表一起写入ssd，完成后清空增量变化表；
55.新数据写入模块，用于将新数据写入预写block中，同时将ftl的更新项同步记录到增量变化表中，直到预写block被用完，所述增量变化表中还包括用于标识时序的序列号；
56.第一判断模块，用于判断增量变化表的记录数据总量是否达到了整个ftl的数据量；
57.替换模块，用于当增量变化表的记录数据总量达到了整个ftl的数据量时，进行一次完整的ftl备份替换增量备份过程，新的ftl记录中会记录增量变化表的最新序列号；
58.关机备份标记模块，用于当设备正常关机或者卸载驱动时，更新ftl到ssd中，并标明本次写入数据为关机备份；
59.所述异常掉电恢复单元包括：
60.最新ftl读取模块，用于在ssd发生异常掉电时，当再次上电后，读取最新的ftl；
61.第二判断模块，用于判断读取的ftl中是否有关机备份标记；
62.增量变化表读取模块，用于当ftl中没有关机备份标记时，读取增量变化表，根据序列号查找其中有效的部分；
63.有效增量变化表读取模块，用于读取有效的增量变化表，并将记录更新到ftl中；
64.有效数据获取模块，用于读取最后一份有效的增量变化表中预写block的信息，并遍历每一个预写block，查找其中的有效数据；
65.ftl更新模块，用于在遍历完预写block的信息后，更新ftl，并将最新的ftl更新至ssd中。
66.优选地，所述预写block的信息为block的寻址信息，包括block所在的通道号、nand芯片在该通道的序号和block在该nand芯片的序号。
67.优选地，所述ftl的更新项，每一项内容为一对物理地址和lba的映射关系。
68.优选地，所述系统还包括垃圾回收单元，所述垃圾回收单元包括：
69.失效目标块选择模块，用于选择待回收的block，其中，所述待回收的block是从ssd的所有block列表中选择有效数据占比最低的block，如果还需要更多的block，则继续选择有效数据占比次低的block，直至满足对block的数量需求；
70.迁移模块，用于将选取的待回收的block中的有效数据迁移到其它空闲的block中，所述的其它空闲的block是指ssd内除所述待回收的block之外的空闲的block；
71.擦除模块，用于擦除待回收的block，并将擦除后的block加入到空闲的block列表中。
72.本技术第三个方面提供了一种基于block管理的异常掉电恢复设备，包括：
73.存储器，用于存储计算机程序；
74.处理器，用于执行所述计算机程序以实现上述任一项所述的基于block管理的异
常掉电恢复方法的步骤。
75.本技术第四个方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于block管理的异常掉电恢复方法的步骤。
76.与现有技术相比，本发明的技术方案具有以下有益效果：
77.1)本发明提供了一种基于block管理的异常掉电恢复方法，通过在写数据之前先记录未来数据将会写到什么位置，有效限制了数据的查找范围；通过使用block粒度的ftl管理，使ssd的写放大达到最小；通过增量变化表记录实际的ftl变化情况，不需要通过重读原始数据来进行恢复，提高了未记录ftl表项的更新速度。本技术解决了大容量ssd的异常掉电恢复时间过长的问题，同时兼顾了ssd的写放大。
78.2)本发明提供了一种基于block管理的异常掉电恢复系统，能够支持上述的基于block管理的异常掉电恢复方法。
附图说明
79.构成本技术的一部分附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
80.图1是现有技术中采用block固定分组形式的分组示意图；
81.图2是本技术优选实施例的写数据过程的流程图；
82.图3是本技术优选实施例的异常掉电恢复过程的流程图；
83.图4是本技术优选实施例的垃圾回收过程的流程图；
84.图5是本技术优选实施例的ssd中以block为粒度的block列表的示意图(实际一个nand芯片里面有上千个block)；
85.图6是本技术优选实施例的基于block管理的异常掉电恢复系统的结构框图。
具体实施方式
86.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
87.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，应该理解这样使用的数据在适当情况下可以互换。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
88.实施例一：
89.图2是本技术基于block管理的异常掉电恢复方法中的写数据过程的流程图；图3是异常掉电恢复过程的流程图；图4是垃圾回收过程的流程图；图5是ssd中以block为粒度的block列表示意图。
90.参阅图2～图5，本技术公开的一种基于block管理的异常掉电恢复方法，包括以下
阶段：
91.(一)写数据过程
92.步骤a1，从空闲的block列表中选择一批block作为预写block，block的数量一般能够满足未来几秒内的全速写的数据量要求。
93.步骤a2，将这些预写block的信息连同ftl的增量变化表一起写入ssd，完成后清空增量变化表。这个步骤为增量备份过程。增量备份过程将这个时间点之前的变化和未来的可能变化都进行了相应的记录。其中，预写block的信息为block的寻址信息，包括block所在的通道号、nand芯片在该通道的序号和block在该nand芯片的序号。
94.步骤a3，开始写入数据，新数据都将写入这些预写block中，同时将ftl的更新项同步记录到增量变化表，直到这些block被用完。增量变化表中包含序列号，标识其时序。其中，ftl的更新项，每一项内容为一对物理地址和lba的映射关系。
95.步骤a4，重复步骤a1～a3的过程，如果几次增量变化表的记录数据总量达到了整个ftl的数据量，则在步骤a2时进行一次完整的ftl备份替换增量备份过程。新的ftl记录中会记录增量变化表的最新序列号。
96.步骤a5，设备正常关机或者卸载驱动时，更新ftl到ssd中，标明本次写入的为关机备份。
97.发生异常断电时，可能在a1，a2，a3，a4中的任何时刻。
98.(二)异常掉电恢复过程
99.步骤b1，上电后，读取最新的ftl，如果ftl中有关机保存备份标记，则完成ftl加载过程。
100.步骤b2，如果ftl中没有关机备份标记，则读取增量变化表，根据序列号查找其中有效的部分。
101.步骤b3，读取有效的增量变化表，将记录更新到ftl中。
102.步骤b4，读取最后一份有效的增量变化表中预写block的信息，并遍历每一个预写block，查找其中的有效数据。
103.步骤b5，遍历完block信息后，更新ftl，并将最新的ftl更新到ssd中，完成异常掉电恢复过程。
104.(三)垃圾回收过程
105.步骤c1，预留的空block不足时，会从ssd的所有block列表中选择有效数据占比最低的block，例如图5中，block(0,4)，(1,3)，(2,2)
……
等是没有有效数据的block，block(0,1)，(1,2)
……
等次之，block(0,3),(1,0)
……
等则是全是有效数据的block。在这里会选取block(0,4)，(1,3)，(2,2)
……
等block，如果还需要更多的block，则继续选择block(0,1)，(1,2)
……
等block。其中，block(x，y)的编码规则为：x对应nand的编号，y对应nand内block序号。
106.步骤c2，将选取的block中的有效数据进行迁移，并擦除该block。
107.步骤c3，擦除后的block加入到空闲的block列表中。
108.实施例二：
109.相应于上面的方法实施例，本技术实施例还提供了一种基于block管理的异常掉电恢复系统，参阅图6，所述系统包括写数据单元100、异常掉电恢复单元200和垃圾回收单
元300。
110.其中，所述写数据单元100包括：
111.预写block分配模块101，用于在ssd空闲的block列表中选择预设数量的block作为预写block；
112.增量备份模块102，用于将预写block的信息，以及ftl的增量变化表一起写入ssd，完成后清空增量变化表；
113.新数据写入模块103，用于将新数据写入预写block中，同时将ftl的更新项同步记录到增量变化表中，直到预写block被用完，所述增量变化表中还包括用于标识时序的序列号；
114.第一判断模块104，用于判断增量变化表的记录数据总量是否达到了整个ftl的数据量；
115.替换模块105，用于当增量变化表的记录数据总量达到了整个ftl的数据量时，进行一次完整的ftl备份替换增量备份过程，新的ftl记录中会记录增量变化表的最新序列号；
116.关机备份标记模块106，用于当设备正常关机或者卸载驱动时，更新ftl到ssd中，并标明本次写入数据为关机备份。
117.其中，所述异常掉电恢复单元200包括：
118.最新ftl读取模块201，用于在ssd发生异常掉电时，当再次上电后，读取最新的ftl；
119.第二判断模块202，用于判断读取的ftl中是否有关机备份标记；
120.增量变化表读取模块203，用于当ftl中没有关机备份标记时，读取增量变化表，根据序列号查找其中有效的部分；
121.有效增量变化表读取模块204，用于读取有效的增量变化表，并将记录更新到ftl中；
122.有效数据获取模块205，用于读取最后一份有效的增量变化表中预写block的信息，并遍历每一个预写block，查找其中的有效数据；
123.ftl更新模块206，用于在遍历完预写block的信息后，更新ftl，并将最新的ftl更新至ssd中。
124.其中，所述垃圾回收单元300包括：
125.失效目标块选择模块301，用于选择待回收的block，其中，所述待回收的block是从ssd的所有block列表中选择有效数据占比最低的block，如果还需要更多的block，则继续选择有效数据占比次低的block，直至满足对block的数量需求；
126.迁移模块302，用于将选取的待回收的block中的有效数据迁移到其他空闲的block中，所述的其他空闲的block是指ssd内除所述待回收的block之外的空闲的block；
127.擦除模块303，用于擦除待回收的block，并将擦除后的block加入到空闲的block列表中。
128.实施例三：
129.相应于上面的方法实施例，本技术实施例还提供了一种基于block管理的异常掉电恢复设备，包括：
130.存储器，用于存储计算机程序；
131.处理器，用于执行计算机程序以实现上述实施例1中的基于block管理的异常掉电恢复方法的步骤。
132.实施例四：
133.另一方面，本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述实施例1中的基于block管理的异常掉电恢复方法的步骤。这里所说的计算机可读存储介质包括随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质。
134.综上所述，本技术的技术方案具有以下特点：
135.(1)写之前需要先记录未来数据将会写到什么位置，这样能够有效限制数据的查找范围。预写block的分配频率和数量与ssd的写入速度相关，由于ssd的速率不会随着容量大幅变化，不同容量的ssd的预写block数量基本都一致，不会造成读取数据量的大幅变化，ssd的恢复时间不会随容量增加。
136.(2)使用block粒度的ftl管理，使ssd的写放大达到最小。由于垃圾回收时，每次都是选择所有block中有效数据最低的block，能最大限度降低搬移的数据量，降低写放大系数。
137.(3)增量变化表记录了实际的ftl变化情况，不需要通过重读原始数据来进行恢复，提高了未记录ftl表项的更新速度。增量变化表每一项对应一个4k页的映射，一般8个字节代表一项，如果没有这个表，则需要读取原始数据中的管理信息进行恢复。例如16k大小的增量变化表可以记录2k个映射项，只需要一次读操作就能完成，如果要读取原始数据中的管理信息，则需要读取2k次，两者的时间花费相差巨大。
138.以上对本发明的具体实施例进行了详细描述，但其只是作为范例，本发明并不限制于以上描述的具体实施例。对于本领域技术人员而言，任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范围下所作的均等变换和修改，都应涵盖在本发明的范围内。