分布式系统快照方法、装置、设备及介质与流程

摘要: 本发明涉及分布式系统快照,特别是涉及分布式系统快照方法、装置、设备及介质。背景技术:1、分布式系统通过将计算任务分散到多个节点上,获得了高扩展性和处理能力。然而...
分布式系统快照方法、装置、设备及介质与流程

本发明涉及分布式系统快照,特别是涉及分布式系统快照方法、装置、设备及介质。

背景技术:

1、分布式系统通过将计算任务分散到多个节点上,获得了高扩展性和处理能力。然而,节点故障、网络延迟等问题使得系统状态的一致性和可靠性保障面临挑战。为此,定期为整个系统创建全局一致的快照成为一项关键技术,用于故障恢复、状态回溯等场景。

2、传统的分布式快照技术,例如chandy-lamport算法,通过向所有节点发送标记消息来协调全局状态,但其同步协调过程会引入明显停顿和延迟,导致系统性能严重下降。此外,全量快照方式会占用大量存储空间和网络带宽,难以支持高频快照需求。

3、增量快照技术虽能减少每次快照的数据量,但目前中快照之间的依赖关系管理复杂,恢复时需遍历长链路的增量数据,效率较低。基于日志的快照技术虽能提供细粒度的变更记录,但恢复时需重放大量历史日志,耗时长。

技术实现思路

1、本发明实施例的目的是提供分布式系统快照方法、装置、设备及介质,可以解决全量快照占用内存和带宽,难以支持高频快照,增量快照恢复需遍历长链路的增量数据,效率低的问题。

2、为解决上述技术问题,本发明实施例提供一种分布式系统快照方法,包括:

3、基于分布式系统中各节点的状态变更操作,生成对应的事件对象;

4、响应于快照触发条件,各节点分别创建本地增量检查点,并记录节点创建本地增量检查点时的当前逻辑时间戳;本地增量检查点包含从上一快照后通过事件对象记录的发生状态变更的数据块;

5、收集各节点的本地增量检查点及当前逻辑时间戳,以根据当前逻辑时间戳确定全局一致性时间点,并生成快照元数据,以基于快照元数据中指向上一快照的依赖指针,确定当前快照与上一快照之间的依赖关系。

6、可选的,基于分布式系统中各节点的状态变更操作,生成对应的事件对象,包括:

7、响应于分布式系统中任一节点上发生的状态变更操作,生成与状态变更操作对应的事件对象;

8、将事件对象异步发布至事件总线,并持久化存储于事件日志中;

9、其中,事件对象携带事件标识、事件类型、当前节点标识以及当前节点的逻辑时间戳,逻辑时间戳用于维护分布式系统中事件对象的因果顺序的向量时钟。

10、可选的,响应于快照触发条件,各节点分别创建本地增量检查点,包括:

11、通过快照协调器根据预设时间间隔或事件数量阈值,启动快照操作,并广播开始快照消息至各节点;

12、当各节点接收开始快照消息后,获取各节点的当前逻辑时间戳,并创建本地增量检查点。

13、可选的,全局一致性时间点为所有节点报告的当前逻辑时间戳中的最小值。

14、可选的,快照元数据包括快照标识、全局一致性时间点、各节点的本地增量检查点的存储位置以及依赖指针。

15、可选的,分布式系统快照方法,还包括:

16、获取全量快照,并将全量快照作为基准快照;

17、按照快照创建的时间顺序从基准快照开始依次应用各本地增量检查点,以及重新执行事件日志中记录的且未体现在最后的本地增量检查点对应的状态中的事件对象,以恢复分布式系统状态。

18、可选的,分布式系统快照方法,还包括:

19、若在快照周期内任一节点创建本地增量检查点失败或超时,则通过快照协调器标记本轮快照为失败并放弃本轮快照,并启动下一轮快照。

20、第二方面,本发明提供了一种分布式系统快照装置,包括:

21、对象生成模块,用于基于分布式系统中各节点的状态变更操作,生成对应的事件对象;

22、增量检查点创建模块,用于响应于快照触发条件,各节点分别创建本地增量检查点,并记录节点创建本地增量检查点时的当前逻辑时间戳;本地增量检查点包含从上一快照后通过事件对象记录的发生状态变更的数据块;

23、依赖确定模块,用于快照收集各节点的本地增量检查点及当前逻辑时间戳,以根据当前逻辑时间戳确定全局一致性时间点,并生成快照元数据,以基于快照元数据中指向上一快照的依赖指针,确定当前快照与上一快照之间的依赖关系。

24、第三方面,本发明提供了一种电子设备,包括:

25、存储器,用于存储计算机程序;

26、处理器,用于执行计算机程序以实现如前述公开的分布式系统快照方法的步骤。

27、第四方面,本发明提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现前述公开的分布式系统快照方法的步骤。

28、本发明提供了基于分布式系统中各节点的状态变更操作,生成对应的事件对象;响应于快照触发条件,各节点分别创建本地增量检查点,并记录节点创建本地增量检查点时的当前逻辑时间戳;本地增量检查点包含从上一快照后通过事件对象记录的发生状态变更的数据块;收集各节点的本地增量检查点及当前逻辑时间戳,以根据当前逻辑时间戳确定全局一致性时间点,并生成快照元数据,以基于快照元数据中指向上一快照的依赖指针,确定当前快照与上一快照之间的依赖关系。

29、由上述技术方案可以看出,通过生成节点的状态变更操作所对应的事件对象,为本地增量检查点提供的变更追踪依据,避免盲目扫描全量状态,进一步创建本地增量检查点,解决了全量快照存储开销大的问题,同时通过事件对象识别变更,避免全量扫描,这样一来,每次快照仅保存变化的数据块,存储空间和网络带宽消耗大幅降低,支持高频快照,接下来记录当前逻辑时间戳为后续异步协调提供因果顺序依据,避免全局同步屏障,无需暂停业务即可确定快照的相对顺序,降低对系统性能的影响。

1.一种分布式系统快照方法,其特征在于,包括:

2.根据权利要求1所述的分布式系统快照方法,其特征在于,所述基于分布式系统中各节点的状态变更操作,生成对应的事件对象,包括:

3.根据权利要求1所述的分布式系统快照方法,其特征在于,所述响应于快照触发条件,各节点分别创建本地增量检查点,包括:

4.根据权利要求1所述的分布式系统快照方法,其特征在于,所述全局一致性时间点为所有节点报告的当前逻辑时间戳中的最小值。

5.根据权利要求1所述的分布式系统快照方法,其特征在于,所述快照元数据包括快照标识、全局一致性时间点、各节点的本地增量检查点的存储位置以及依赖指针。

6.根据权利要求1所述的分布式系统快照方法,其特征在于,还包括:

7.根据权利要求1至6任一项所述的分布式系统快照方法,其特征在于,还包括:

8.一种分布式系统快照装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述分布式系统快照方法的步骤。