对象存储跨区域复制方法、装置、设备和计算机程序产品与流程

摘要: 本发明实施例涉及大数据,特别涉及一种对象存储跨区域复制方法、装置、设备和计算机程序产品。背景技术:1、随着全球化业务、跨地域容灾以及多云架构的普及,对象存储已成...
对象存储跨区域复制方法、装置、设备和计算机程序产品与流程

本发明实施例涉及大数据,特别涉及一种对象存储跨区域复制方法、装置、设备和计算机程序产品。

背景技术:

1、随着全球化业务、跨地域容灾以及多云架构的普及,对象存储已成为企业核心资产的无结构数据(如海量日志、音视频媒体文件、ai训练数据集、医学影像等)的首选底座。跨区域复制(cross-region replication, crr)作为对象存储的关键功能,是指通过自动化、异步化的机制,将源数据中心特定存储桶中的对象数据,实时或准实时地复制到数千公里之外的目的端数据中心。

2、目前主流云厂商(如 aws、阿里云、谷歌云、华为云等)均在对象存储产品功能中为客户提供了跨区域复制能力,支持将源存储桶中的数据自动、异步地同步到不同地域的目标存储桶中。

3、然而,目前主流云服务商在处理对象存储跨区域复制时,普遍采用的是静态资源配置与被动式调度机制,难以应对广域网链路状态的实时波动与业务负载的动态变化。

技术实现思路

1、本发明的目的在于至少提供一种对象存储跨区域复制方法、装置、设备和计算机程序产品,至少可以解决现有方法难以应对广域网链路状态的实时波动与业务负载的动态变化的技术问题,至少可以达到依据传输通道的堆积指标与网络状态进行自适应并发调节复制策略,提高跨区域复制效率。

2、为解决上述技术问题,本申请的至少一个实施例提供了一种对象存储跨区域复制方法,包括:

3、获取当前运行的各复制任务在历史时段内产生的多维状态数据,从所述多维状态数据中提取与传输性能相关的目标特征;

4、以复制任务为粒度,按预设时间窗口对所述目标特征进行时序聚合,基于聚合得到的多维时序特征序列计算得到未来窗口内各复制任务的最大可用带宽和业务负载量的预测值;

5、将所述预测值与当前链路状态共同作为决策依据,以全局最优为目标进行决策,输出包含传输速率和/或并发数的调整策略;

6、按照所述预设时间窗口周期性执行所述调整策略,对当前各复制任务的传输参数进行动态调节。

7、在一些可选的实施例中,所述多维时序特征序列包括网络往返时间、瞬时丢包率、可用带宽和存储队列积压深度中至少一种,所述基于聚合得到的多维时序特征序列计算得到未来窗口内各复制任务的最大可用带宽和业务负载量的预测值,具体包括:

8、将所述多维时序特征序列输入预训练好的预测模型,得到未来预设数量个时间步长内的各复制任务的最大可用带宽和业务负载量的预测值。

9、在一些可选的实施例中,所述将所述预测值与当前链路状态共同作为决策依据,以全局最优为目标进行决策,包括:

10、基于所述预测值与所述当前链路状态特征拼接构建增强状态张量,输入预训练好的多目标强化学习模型进行决策,其中,所述强化学习模型采用近端策略优化算法进行策略寻优,根据预设的多目标奖励函数输出所述调整策略。

11、在一些可选的实施例中,采用近端策略优化算法进行策略寻优,包括:

12、在当前调度周期内,将所述增强状态张量输入策略网络,输出当前调度周期的候选调整策略;

13、执行所述候选调整策略后,采集实际运行反馈数据,基于所述反馈数据计算综合奖励值;

14、根据所述综合奖励值,评估所述候选调整策略相对于历史平均策略表现的优势程度,若所述候选调整策略优于历史平均表现,则在后续策略更新中增大策略网络在相似状态下产生同类调整策略的倾向;若所述候选调整策略劣于历史平均表现,则在后续策略更新中抑制策略网络产生同类调整策略的倾向。

15、在一些可选的实施例中,所述方法还包括:

16、在执行所述调整策略之前,对所述调整策略中的控制参数进行安全边界校验;

17、若所述控制参数超出预设的安全边界范围,则对所述控制参数进行限幅修正。

18、在一些可选的实施例中,所述方法还包括:

19、在执行所述调整策略的过程中,实时采集当前周期的网络实测数据;

20、将所述网络实测数据与对应时间窗口的所述预测值进行比对,若偏差超过预设阈值,则触发即时反馈机制:以当前采集的实测数据更新所述决策依据,并滚动进入下一调度周期。

21、本申请的至少一个实施例还提供了一种对象存储跨区域复制装置,包括:

22、获取模块,用于获取当前运行的各复制任务在历史时段内产生的多维状态数据,从所述多维状态数据中提取与传输性能相关的目标特征;

23、预测模块,用于以复制任务为粒度,按预设时间窗口对所述目标特征进行时序聚合,基于聚合得到的多维时序特征序列计算得到未来窗口内各复制任务的最大可用带宽和业务负载量的预测值;

24、决策模块,用于将所述预测值与当前链路状态共同作为决策依据,以全局最优为目标进行决策,输出包含传输速率和/或并发数的调整策略;

25、执行模块,用于按照所述预设时间窗口周期性执行所述调整策略,对当前各复制任务的传输参数进行动态调节。

26、本申请的至少一个实施例还提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的对象存储跨区域复制方法。

27、本申请的至少一个实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述的对象存储跨区域复制方法。

28、本申请的至少一个实施例还提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述的对象存储跨区域复制方法。

29、本申请的实施例提供的对象存储跨区域复制方法、装置、设备和计算机程序产品,通过获取复制任务的历史多维状态数据并提取传输性能特征,系统能够准确掌握各任务的实际运行规律。在此基础上进行时序聚合与预测,可提前获知未来窗口内的最大可用带宽和业务负载量,从而避免因盲目分配导致带宽闲置或过载,使网络资源得到更充分的利用。以复制任务为粒度进行细粒度分析,并引入当前链路状态和任务堆积量作为实时决策依据,使得调整策略不仅基于历史趋势,还兼顾当下实际状况。预测与实时反馈相结合,保证输出策略具有针对性和时效性,避免了被动响应式的滞后调整;进一步将多个决策依据统一纳入优化框架,以全局最优为目标输出传输速率和/或并发数的调整方案,而非对各任务孤立调节,有助于平衡不同复制任务间的资源竞争关系,减少局部优化带来的整体性能下降风险;按照预设时间窗口周期性执行调整策略,使系统能够持续跟踪状态变化并及时修正传输参数。本申请的调节机制能应对网络波动和业务负载变化,有助于提升资源调度精准性和自适应能力。

1.一种对象存储跨区域复制方法,其特征在于,包括:

2.根据权利要求1所述的对象存储跨区域复制方法,其特征在于,所述多维时序特征序列包括网络往返时间、瞬时丢包率、可用带宽和存储队列积压深度中至少一种,所述基于聚合得到的多维时序特征序列计算得到未来窗口内各复制任务的最大可用带宽和业务负载量的预测值,具体包括:

3.根据权利要求1所述的对象存储跨区域复制方法,其特征在于,所述将所述预测值与当前链路状态共同作为决策依据,以全局最优为目标进行决策,包括:

4.根据权利要求3所述的对象存储跨区域复制方法,其特征在于,采用近端策略优化算法进行策略寻优,包括:

5.根据权利要求1所述的对象存储跨区域复制方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的对象存储跨区域复制方法,其特征在于,所述方法还包括:

7.一种对象存储跨区域复制装置,其特征在于,包括:

8.一种电子设备,其特征在于,包括:

9.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的对象存储跨区域复制方法。

10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的对象存储跨区域复制方法。