一种连续数据保护的快照索引方法、装置、设备及存储介质与流程

摘要: 本技术涉及连续数据保护,更具体的说,是涉及一种连续数据保护的快照索引方法、装置、设备及存储介质。背景技术:1、连续数据保护(continuousdataprot...
一种连续数据保护的快照索引方法、装置、设备及存储介质与流程

本技术涉及连续数据保护,更具体的说,是涉及一种连续数据保护的快照索引方法、装置、设备及存储介质。

背景技术:

1、连续数据保护(continuous data protection,cdp)通过时序快照持续留存数据变更,每份快照绑定秒级自增快照id(snapid)与时间戳,而快照的保留窗口期有限,通常为14天,产生14×86400=1209600条快照数据。cdp系统需支持快照id查时间戳、时间戳反向检索快照id两类查询。行业普遍采用b+树存储快照元数据,以时间戳为检索键实现有序遍历与范围查询,适配数据时间点恢复需求;哈希索引则用于快照id快速匹配,但二者单独使用均存在性能或功能短板,混合索引方案也未针对cdp时序快照单调自增的专属特性做深度优化。

2、纯b+树查询复杂度为o (logn),无法利用snapid单调递增特性实现极速定位;哈希索引缺失时间范围检索能力;双索引方案存储开销翻倍;传统混合索引未配套适配cdp14天快照保留窗口的数组容量规划与循环覆盖机制,索引空间与过期快照清理逻辑无法自动匹配。

3、如何在单份快照元数据基础上,降低兼顾快照id正向查询与b+树时间戳反向检索的复杂度,同时使索引容量、覆盖逻辑适配cdp快照滑动过期窗口,是需要关注的问题。

技术实现思路

1、鉴于上述问题,本技术提供了一种连续数据保护的快照索引方法、装置、设备及存储介质,以在单份快照元数据基础上,降低兼顾快照id正向查询与b+树时间戳反向检索的复杂度,同时使索引容量、覆盖逻辑适配cdp快照滑动过期窗口。

2、为了实现上述目的,现提出具体方案如下:

3、一种连续数据保护的快照索引方法,包括:

4、当获取到目标数据的快照id时,计算所述快照id所在b+树的叶子节点的目标序列号以及偏移量,所述b+树的叶子节点内缓存有存储有效期内的快照数据;

5、根据所述目标序列号计算定长数组的目标元素,所述定长数组中的各个元素按所述b+树的叶子节点顺序记录序列号,每个元素指向对应叶子节点;

6、基于所述目标元素和所述偏移量,确定所述目标数据在所述b+树中的定位位置;

7、获取所述定位位置中的数据记录。

8、可选的,计算所述快照id所在b+树的叶子节点的目标序列号以及偏移量,包括:

9、将所述快照id除以b+树的叶子节点的节点容量,所得商值的整数部分为目标序列号;

10、将所述快照id对所述节点容量做模运算,得到偏移量。

11、可选的,根据所述目标序列号计算定长数组的目标元素,包括:

12、将所述目标序列号对所述定长数组的数组容量做模运算,得到所述定长数组的数组下标,并通过所述数组下标确定所述定长数组的目标元素。

13、可选的,基于所述目标元素和所述偏移量,确定所述目标数据在所述b+树中的定位位置,包括:

14、通过所述目标元素定位所述b+树中的目标叶子节点;

15、在所述目标叶子节点中,以所述偏移量为递进量,确定所述目标数据的定位位置。

16、可选的,该方法还包括:

17、响应于删除所述目标数据的指令,在所述定位位置中删除所述数据记录;

18、将所述目标叶子节点的快照记录数递减1;

19、若所述目标叶子节点的快照记录数是否为0,则回收所述目标叶子节点,确定所述目标叶子节点的父节点为待判定父节点;

20、判断所述待判定父节点的快照记录数是否为0;

21、若是,则回收所述待判定父节点,并以所述待判定父节点的父节点为新的待判定父节点,返回执行判断所述待判定父节点的快照记录数是否为0;

22、若否,则结束。

23、可选的,该方法还包括:

24、删除所述快照id的持久化文件,并释放被回收的各个节点的内存。

25、可选的,该方法还包括:

26、当获取到目标数据的快照时间记录时,在所述b+树中进行二分搜索,得到所述数据记录。

27、一种连续数据保护的快照索引装置,包括:

28、序列号偏移量计算单元,用于当获取到目标数据的快照id时,计算所述快照id所在b+树的叶子节点的目标序列号以及偏移量,所述b+树的叶子节点内缓存有存储有效期内的快照数据;

29、目标元素计算单元,用于根据所述目标序列号计算定长数组的目标元素,所述定长数组中的各个元素按所述b+树的叶子节点顺序记录序列号,每个元素指向对应叶子节点;

30、定位位置确定单元,用于基于所述目标元素和所述偏移量,确定所述目标数据在所述b+树中的定位位置;

31、数据记录获取单元,用于获取所述定位位置中的数据记录。

32、可选的,所述序列号偏移量计算单元,包括:

33、目标序列号计算单元,用于于当获取到目标数据的快照id时,将所述快照id除以b+树的叶子节点的节点容量,所得商值的整数部分为目标序列号;

34、偏移量计算单元,用于将所述快照id对所述节点容量做模运算,得到偏移量。

35、可选的,所述目标元素计算单元,包括:

36、目标元素计算子单元,用于将所述目标序列号对所述定长数组的数组容量做模运算,得到所述定长数组的数组下标,并通过所述数组下标确定所述定长数组的目标元素。

37、可选的,所述定位位置确定单元,包括:

38、目标叶子节点定位子单元,用于通过所述目标元素定位所述b+树中的目标叶子节点;

39、目标数据位置确定单元,用于在所述目标叶子节点中,以所述偏移量为递进量,确定所述目标数据的定位位置。

40、可选的,该装置还包括:

41、数据记录删除单元,用于响应于删除所述目标数据的指令,在所述定位位置中删除所述数据记录;

42、记录数递减单元,用于将所述目标叶子节点的快照记录数递减1;

43、目标叶子节点回收单元,用于若所述目标叶子节点的快照记录数是否为0,则回收所述目标叶子节点,确定所述目标叶子节点的父节点为待判定父节点;

44、待判定父节点检查单元,用于判断所述待判定父节点的快照记录数是否为0,若是,则执行递归检查单元,否则结束;

45、所述递归检查单元,用于回收所述待判定父节点,并以所述待判定父节点的父节点为新的待判定父节点,返回执行判断所述待判定父节点检查单元;

46、可选的,该装置还包括:

47、持久化文件删除单元,用于删除所述快照id的持久化文件;

48、内存释放单元,用于释放被回收的各个节点的内存。

49、可选的,该装置还包括:

50、时间二分搜索定位单元,用于当获取到目标数据的快照时间记录时,在所述b+树中进行二分搜索,得到所述数据记录。

51、一种连续数据保护的快照索引设备,包括存储器和处理器;

52、所述存储器,用于存储程序;

53、所述处理器,用于执行所述程序,实现如上所述的连续数据保护的快照索引方法的各个步骤。

54、一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上所述的连续数据保护的快照索引方法的各个步骤。

55、借由上述技术方案,本技术通过当获取到目标数据的快照id时,计算快照id所在b+树的叶子节点的目标序列号以及偏移量,b+树的叶子节点内缓存有存储有效期内的快照数据,根据目标序列号计算定长数组的目标元素,定长数组中的各个元素按b+树的叶子节点顺序记录序列号,每个元素指向对应叶子节点,基于目标元素和偏移量,确定目标数据在b+树中的定位位置,获取定位位置中的数据记录。由此可见,利用snapid递增的几何特性,通过定长数组进行两次计算即可定位目标数据快照id在b+树中的位置,不涉及b+树遍历,从而将定位复杂度从o(lgn)降为o(1),定位计算过程中的索引容量、覆盖逻辑均适配cdp快照滑动过期窗口。