一种算力服务器数据的冗余备份管理方法及系统与流程

摘要: 本发明涉及数据备份,具体而言,涉及一种算力服务器数据的冗余备份管理方法及系统。背景技术:1、算力服务器是提供通用计算能力的核心基础设施,广泛应用于ai模型训练、...
一种算力服务器数据的冗余备份管理方法及系统与流程

本发明涉及数据备份,具体而言,涉及一种算力服务器数据的冗余备份管理方法及系统。

背景技术:

1、算力服务器是提供通用计算能力的核心基础设施,广泛应用于ai模型训练、大数据处理、科学计算、工程仿真等计算密集型场景。在计算任务执行过程中,服务器会产生海量的任务配置文件、中间计算结果文件和最终输出文件,这些数据在任务执行过程中被高频并发地写入和修改。以ai模型训练任务为例,单个训练任务可产生数千至数百万个检查点文件、日志文件和模型参数文件,且文件修改频度随训练阶段的变化而显著不同。

2、传统的数据备份方法主要采用定时全量备份策略或固定周期的增量备份策略,这些方法在算力服务器场景下存在以下技术问题:算力服务器的数据变更呈现突发性和高并发性特征,特别是在核心计算阶段,中间结果文件以极高的频率持续写入,传统备份策略因无法感知数据变更的实际风险,往往在数据最活跃的时刻启动全量备份,导致备份窗口远超可用调度间隙,备份任务与计算任务争抢存储输入输出资源和网络带宽,严重影响计算任务性能。算力服务器中的数据文件具有差异化的保护价值,任务配置文件一旦损坏将导致整个计算任务无法重现,而中间计算文件虽然重要但可以通过重新计算生成,日志文件对最终结果影响极小。传统备份策略对所有数据对象一视同仁地采用相同的备份策略,导致关键数据的保护力度不足同时非关键数据占用大量备份存储空间。算力服务器在计算过程中一旦发生数据损坏或节点故障,需要将数据恢复至尽可能接近故障时刻的状态。传统定时备份策略因无法预判数据状态恶化趋势,往往在数据已经处于高危状态时才触发备份,导致恢复点目标超出计算任务的可接受范围。计算任务执行过程具有明显的阶段特征——任务初始化阶段数据变更集中在配置文件和输入数据、核心计算阶段集中在中间结果文件、结果输出阶段集中在输出文件。不同阶段对备份操作的敏感度不同,现有技术缺乏对计算任务执行阶段的感知能力,无法根据执行阶段动态调整备份策略。

技术实现思路

1、本发明在于提供一种算力服务器数据的冗余备份管理方法及系统,旨在解决现有技术存在的备份窗口严重不足、存储资源浪费严重、数据恢复点目标难以保障和/或备份策略与计算任务业务逻辑脱节的问题。

2、本发明第一方面提供一种算力服务器数据的冗余备份管理方法,包括:

3、实时捕获算力服务器的数据变更事件流,解析数据变更事件的事件类型、时间戳、变更数据量和操作进程标识,构建数据变更事件记录;所述数据变更事件是指对数据对象进行变更所产生的事件;

4、在预设的滑动时间窗口内,对数据对象统计聚合,提取变更频度特征、数据量权重特征、数据对象类型风险系数和时间衰减因子,结合该数据对象的当前完整大小,构建多维时空特征簇;

5、基于所述多维时空特征簇,将数据对象的可恢复性状态空间划分为完全可恢复态、条件可恢复态、准不可直接恢复态和不可直接恢复态,根据所述时空特征簇确定数据对象当前所处的可恢复性状态;

6、基于一阶时齐马尔可夫链,构建并动态更新每一数据对象的可恢复性状态转移概率矩阵,计算从当前状态出发经指定步长数后转移至不可直接恢复态的累积概率以及当前状态下期望驻留于非不可直接恢复态的期望驻留时间;

7、根据所述累积概率和期望驻留时间,生成数据对象的备份紧迫度量化指标;感知算力服务器当前所处的算力任务阶段;所述算力任务阶段包括任务初始化阶段、核心计算阶段和结果输出阶段;

8、根据所述备份紧迫度量化指标和当前算力任务阶段,结合系统实时资源状态,通过多目标优化算法从预设备份策略候选集中为数据对象选择最优备份策略;

9、根据所述最优备份策略生成备份任务队列,基于可用带宽和输入输出负载系数对备份任务进行并发控制调度执行,并对执行完成的备份任务进行校验和验证,确认备份完整性;

10、根据备份执行结果反馈指标,采用贝叶斯优化方法动态调整后续评估与决策参数;所述备份执行结果反馈指标是指备份完整性。

11、进一步地,基于所述多维时空特征簇,将数据对象的可恢复性状态空间划分为完全可恢复态、条件可恢复态、准不可直接恢复态和不可直接恢复态,根据所述时空特征簇确定数据对象当前所处的可恢复性状态,包括:

12、当变更频度特征低于第一频度阈值且不存在删除事件或重命名移动事件时,判定为完全可恢复态;所述完全可恢复态表征数据对象的全部数据内容在本地存储中至少存有一份完整的一致副本;

13、当变更频度特征介于第一频度阈值与第二频度阈值之间,或者变更频度特征低于第一频度阈值但存在删除事件或重命名移动事件时,判定为条件可恢复态;所述条件可恢复态表征数据对象的部分数据内容仅能通过变更日志重放的方式恢复;

14、当变更频度特征大于或等于第二频度阈值,不存在删除事件或重命名移动事件,且数据量权重特征小于预设权重阈值时,判定为准不可直接恢复态;所述准不可直接恢复态表征数据对象的变更频度已达到极高水平,虽尚未发生删除操作但其可恢复性已受到实质性威胁;

15、当变更频度特征大于或等于第二频度阈值且存在删除事件或重命名移动事件,和/或数据量权重特征大于或等于预设权重阈值时,判定为不可直接恢复态;所述不可直接恢复表征数据对象不存在任何可直接读取的一致副本。

16、进一步地,根据所述累积概率和期望驻留时间,生成数据对象的备份紧迫度量化指标为:

17、;

18、其中,表示数据对象i在时刻t的备份紧迫度量化指标,表示(0,1)之间的权重系数,表示数据对象i从当前状态m出发经k步后转移至不可直接恢复态的累积概率;表示数据对象i从当前状态m出发的期望驻留时间;为期望时间参考常数;。

19、进一步地,感知算力服务器当前所处的算力任务阶段,包括:

20、获取算力任务进程的运行时长、计算资源利用率及系统调用类型分布特征;

21、当运行时长小于预设初始化阶段时长阈值,且系统调用中文件输入输出相关调用和内存管理相关调用的总频次占比大于预设第一比例阈值,且文件输入输出相关调用中写入操作频次占比小于预设第二比例阈值时,判定为任务初始化阶段;

22、当运行时长大于或等于预设初始化阶段时长阈值,且计算资源利用率大于或等于预设核心计算利用率阈值,且文件输入输出相关调用频次占比小于预设第三比例阈值时,判定为核心计算阶段;

23、当计算资源利用率下降至预设核心计算利用率阈值的指定比例以下,且文件输入输出相关调用频次占比大于或等于预设第四比例阈值,且文件输入输出相关调用中写入操作和关闭操作的频次占比大于预设第五比例阈值时,判定为结果输出阶段;

24、当上述判定条件均不满足时,判定为阶段转换过渡态,在所述阶段转换过渡态下,仅允许执行元数据与差异日志备份策略。

25、进一步地,所述预设备份策略候选集包括:

26、全量镜像备份策略:将数据对象的完整内容复制至备份存储节点,并保留至少两个独立冗余副本;该策略的适用条件为备份紧迫度大于或等于第一紧迫度阈值、存储资源满足双副本存储需求、且当前算力任务阶段不为核心计算阶段;

27、差分块级增量备份策略:仅备份自上一次备份以来发生变更的数据块,通过结构化变更追踪识别实际变更块;该策略的适用条件为变更数据量不超过当前可用带宽在预设执行时长内的传输容量;

28、元数据与差异日志备份策略:仅备份数据对象的元数据及自上次备份以来的操作日志序列;该策略的适用条件为备份紧迫度小于第二紧迫度阈值、存储资源可用度小于存储阈值、或者当前算力任务阶段为核心计算阶段且数据对象不属于任务配置文件类型。

29、进一步地,通过结构化变更追踪识别实际变更块,包括:

30、根据算力服务器中数据对象的存储块分配表,确定每一数据对象所占据的逻辑块地址范围;

31、基于捕获的变更事件的时间戳,识别在时间上连续发生的一系列写入操作所对应的逻辑块地址区间,将该地址区间内的所有数据块标记为疑似变更块;

32、对所述疑似变更块中的每一个数据块,计算其哈希值,并与上一次备份时记录的哈希值进行比较,当哈希值发生变更时确认为实际变更块。

33、进一步地,根据所述备份紧迫度量化指标和当前算力任务阶段,结合系统实时资源状态,通过多目标优化算法从预设备份策略候选集中为数据对象选择最优备份策略,包括:

34、定义数据保护效能目标函数;所述数据保护效能目标函数取值为备份紧迫度乘以策略覆盖率权重;定义资源消耗代价目标函数;所述资源消耗代价目标函数取值为预估备份耗时乘以输入输出负载系数加上备份副本占用存储空间乘以一减去存储资源可用度的差;

35、基于所述数据保护效能目标函数以及所述资源消耗代价目标函数,以数据保护效能最大化、资源消耗代价最小化为目标,采用加权求和法将双目标优化转化为单目标优化,得到综合目标函数;

36、在当前算力任务阶段为核心计算阶段时,在所述综合目标函数中增加阶段惩罚项,降低对性能影响较大的备份策略被选择的概率;

37、以所述综合目标函数为基础,通过多目标优化算法从预设备份策略候选集中为数据对象选择最优备份策略。

38、进一步地,所述策略覆盖率权重设置为:全量镜像备份策略的策略覆盖率权重设置为1.0,差分块级增量备份策略的策略覆盖率权重设置为0.7,元数据与差异日志备份策略的策略覆盖率权重设置为0.25。

39、进一步地,根据备份执行结果反馈指标,采用贝叶斯优化方法动态调整后续评估与决策参数,包括:

40、根据所述备份执行结果反馈指标构建历史备份执行结果;

41、以历史备份执行结果为观测样本,构建从参数配置空间到备份任务成功率的映射函数的高斯过程代理模型;

42、在每次参数调整时,通过采集函数在参数空间中选取使预期改进量最大的候选参数组合进行下一周期的参数更新;所述参数配置空间至少包括期望时间参考常数、数据保护效能权重、资源消耗代价权重及各策略的覆盖率权重。

43、本发明第二方面提供一种算力服务器数据的冗余备份管理系统,包括:

44、事件捕获模块,用于实时捕获算力服务器的数据变更事件流,解析数据变更事件的事件类型、时间戳、变更数据量和操作进程标识,构建数据变更事件记录;所述数据变更事件是指对数据对象进行变更所产生的事件;

45、特征提取模块,用于在预设的滑动时间窗口内,对数据对象统计聚合,提取变更频度特征、数据量权重特征、数据对象类型风险系数和时间衰减因子,结合该数据对象的当前完整大小,构建多维时空特征簇;

46、状态评估模块,用于基于所述多维时空特征簇,将数据对象的可恢复性状态空间划分为完全可恢复态、条件可恢复态、准不可直接恢复态和不可直接恢复态,根据所述时空特征簇确定数据对象当前所处的可恢复性状态;

47、数据处理模块,用于基于一阶时齐马尔可夫链,构建并动态更新每一数据对象的可恢复性状态转移概率矩阵,计算从当前状态出发经指定步长数后转移至不可直接恢复态的累积概率以及当前状态下期望驻留于非不可直接恢复态的期望驻留时间;

48、阶段判断模块,用于根据所述累积概率和期望驻留时间,生成数据对象的备份紧迫度量化指标;感知算力服务器当前所处的算力任务阶段;所述算力任务阶段包括任务初始化阶段、核心计算阶段和结果输出阶段;

49、策略选择模块,用于根据所述备份紧迫度量化指标和当前算力任务阶段,结合系统实时资源状态,通过多目标优化算法从预设备份策略候选集中为数据对象选择最优备份策略;

50、备份校验模块,用于根据所述最优备份策略生成备份任务队列,基于可用带宽和输入输出负载系数对备份任务进行并发控制调度执行,并对执行完成的备份任务进行校验和验证,确认备份完整性;

51、动态调整模块,用于根据备份执行结果反馈指标,采用贝叶斯优化方法动态调整后续评估与决策参数;所述备份执行结果反馈指标是指备份完整性。

52、有益效果:

53、本发明提供一种算力服务器数据的冗余备份管理方法及系统,该方法包括:实时捕获数据变更事件流,提取变更频度特征、数据量权重特征、类型风险系数和时间衰减因子构建多维时空特征簇;根据多维时空特征簇将数据对象可恢复性状态划分为完全可恢复态、条件可恢复态、准不可直接恢复态和不可直接恢复态,基于马尔可夫链计算状态转移概率和期望驻留时间,生成备份紧迫度;感知算力任务阶段;依据紧迫度和任务阶段,结合系统资源状态,通过多目标优化从全量镜像备份、差分块级增量备份和元数据日志备份中选取最优策略;调度执行备份任务并进行校验验证,采用贝叶斯优化闭环调整参数,具有前瞻性、自适应性和轻量化的优点。