一种基于任务中断敏感度的数据中心算力检修调度方法与流程

摘要: 本发明涉及数据中心算力运维领域,特别涉及一种基于任务中断敏感度的数据中心算力检修调度方法。背景技术:1、随着云计算、人工智能训练及高性能计算业务的发展,数据中心...
一种基于任务中断敏感度的数据中心算力检修调度方法与流程

本发明涉及数据中心算力运维领域,特别涉及一种基于任务中断敏感度的数据中心算力检修调度方法。

背景技术:

1、随着云计算、人工智能训练及高性能计算业务的发展,数据中心内通常部署有大量服务器、cpu计算节点、gpu计算节点及其他算力资源,并通过集群管理系统对多个计算任务进行并行调度。为保证计算节点长期稳定运行,需要根据设备运行状态、维护周期或者故障处理需求,对部分计算节点实施停机检修、重启维护或者部件更换等检修操作。

2、在数据中心持续提供计算服务的情况下,待检修计算节点往往承载有正在运行的计算任务。计算节点进入检修状态后,其对应计算资源将暂时不可用,可能导致相关任务发生计算回退、运行状态恢复、可用计算资源下降或者任务执行延迟。对于分布式计算、并行训练或者具有副本及通信同步关系的任务,一个运行任务还可能同时占用多个计算节点,因此不同计算节点的检修操作之间可能存在相互影响。

3、现有的数据中心检修调度方式通常根据计算节点自身的资源负载、任务数量、任务优先级或者单个节点退出运行后产生的影响,分别确定各计算节点的检修时机或者检修顺序。然而,对于共同承载同一任务或者存在计算协同、通信同步、副本及执行依赖关系的多个计算节点,一个节点进入检修状态后,相关任务可能处于资源降级、状态恢复或者重新同步过程中;若在该影响尚未消除时另一关联计算节点再次进入检修状态,其产生的联合中断影响可能显著高于两个计算节点分别检修时产生的影响之和,甚至导致运行任务不满足最低可运行条件。

4、因此,仅依据各计算节点的独立检修影响进行排序,难以准确反映不同计算节点按照不同先后顺序及不同时间间隔进入检修状态时产生的方向性联合影响,也难以合理确定关联计算节点之间所需的恢复等待时间。当数据中心运行任务、资源占用关系或者计算节点状态发生变化时,预先确定的检修计划还可能与实际运行状态不匹配,从而造成非必要的算力中断、任务恢复开销增加以及计算服务连续性下降。

5、为此,提出一种基于任务中断敏感度的数据中心算力检修调度方法。

技术实现思路

1、本发明的主要目的在于提供一种基于任务中断敏感度的数据中心算力检修调度方法,可以有效解决背景技术中的问题。

2、为实现上述目的,本发明采取的技术方案为,

3、一种基于任务中断敏感度的数据中心算力检修调度方法,包括以下步骤:

4、s1、获取数据中心内多个待检修计算节点的检修信息、计算资源状态以及当前运行任务的任务运行信息;其中,所述检修信息至少包括检修持续时长和检修时限,所述任务运行信息至少包括任务与计算节点之间的节点占用关系、任务执行状态以及任务的最低可运行条件;

5、s2、根据所述节点占用关系确定各待检修计算节点对应的受影响任务集合;针对各待检修计算节点,将该待检修计算节点对应的计算资源置为不可用状态,根据各受影响任务由此产生的计算回退、状态恢复、可用计算资源下降以及任务执行延迟中的至少一种技术状态变化确定对应的任务中断敏感度,并根据各受影响任务的任务中断敏感度确定该待检修计算节点的单节点中断影响值;

6、s3、针对存在共同受影响任务或者任务依赖关联的两个待检修计算节点,将其中一个待检修计算节点作为前序检修节点、另一个作为后序检修节点;针对不同候选时间间隔τ,在前序检修节点产生的任务影响尚未恢复的状态下,将后序检修节点对应的计算资源置为不可用状态,获得对应的方向联合中断影响值;

7、s4、根据所述方向联合中断影响值、前序检修节点的单节点中断影响值以及在相同时间间隔下后序检修节点单独进入检修状态对应的参考中断影响值,计算方向性中断耦合量:

8、

9、其中,表示待检修计算节点先进入检修状态且经过时间间隔后待检修计算节点进入检修状态时的方向性中断耦合量,表示对应的方向联合中断影响值,表示待检修计算节点的单节点中断影响值,表示在待检修计算节点未进入检修状态的参考条件下、经过时间间隔后待检修计算节点单独进入检修状态对应的参考中断影响值;

10、s5、当所述方向性中断耦合量超过预设耦合阈值,或者两个待检修计算节点依次进入检修状态后存在受影响任务不满足最低可运行条件时,确定对应两个待检修计算节点之间存在方向性检修耦合关系;以待检修计算节点为节点、以所述方向性检修耦合关系为有向连接边构建检修耦合图;

11、s6、针对所述检修耦合图中的各方向性检修耦合关系,根据前序检修节点进入检修状态后受影响任务的运行状态恢复情况,确定允许后序检修节点进入检修状态的最小恢复间隔;

12、s7、根据所述检修耦合图、各待检修计算节点的检修持续时长和检修时限以及所述最小恢复间隔,确定各待检修计算节点的检修顺序和检修开始时刻,并根据确定的检修顺序和检修开始时刻向对应待检修计算节点的节点管理接口发送检修控制指令,使对应待检修计算节点进入检修状态。

13、进一步的,所述节点占用关系用于表征运行任务实际占用的一个或多个计算节点;所述任务依赖关联至少包括同一运行任务对应计算节点之间的计算协同关系、通信同步关系、副本关系或者任务执行依赖关系中的一种。

14、进一步的,所述任务中断敏感度的确定包括:

15、确定待检修计算节点进入不可用状态后受影响任务对应的计算回退量、状态恢复数据量、可用计算资源下降量以及任务执行延迟量中的至少一种中断影响指标;

16、对所述中断影响指标进行量纲统一处理,并根据处理后的中断影响指标确定对应受影响任务的任务中断敏感度;

17、根据所述待检修计算节点对应的各受影响任务的任务中断敏感度确定该待检修计算节点的单节点中断影响值。

18、进一步的,所述获得方向联合中断影响值,包括:

19、将前序检修节点的计算资源置为不可用状态,根据剩余可用计算资源确定对应受影响任务随时间变化的任务运行状态;

20、针对候选时间间隔,进一步将后序检修节点的计算资源置为不可用状态,确定同时受到两个待检修计算节点影响的运行任务以及通过任务依赖关联受到间接影响的运行任务;

21、根据所述运行任务的剩余可用计算资源、通信连接状态、副本可用状态以及任务执行状态中的至少一种,判断对应运行任务是否满足最低可运行条件,并确定所述方向联合中断影响值。

22、进一步的,当方向性中断耦合量大于所述预设耦合阈值,或者前序检修节点和后序检修节点依次进入检修状态后存在至少一个受影响任务不满足最低可运行条件时,将对应的有向连接边确定为强耦合边,并对所述强耦合边对应的两个待检修计算节点设置检修间隔约束。

23、进一步的,针对由待检修计算节点指向待检修计算节点的强耦合边,在候选时间间隔集合中按照下式确定最小恢复间隔:

24、

25、其中,表示待检修计算节点进入检修状态至允许待检修计算节点进入检修状态的最小恢复间隔,表示所述预设耦合阈值,表示经过候选时间间隔后受影响任务的运行状态向量,表示由所述受影响任务的最低可运行条件确定的稳定运行状态域。

26、进一步的,根据所述检修耦合图生成包括检修顺序以及各待检修计算节点检修开始时刻的候选检修计划,并根据下式确定候选检修计划的检修影响值:

27、

28、其中,表示候选检修计划对应的检修影响值,表示各待检修计算节点的检修开始时刻集合,表示根据待检修计算节点在检修开始时刻对应的任务运行状态确定的单节点中断影响值,表示候选检修计划中检修影响周期相邻或者发生重叠的待检修计算节点对集合,表示预设耦合影响系数;

29、在满足各待检修计算节点的检修时限以及强耦合边对应的时间间隔不小于相应最小恢复间隔的条件下,根据所述检修影响值确定目标检修计划。

30、进一步的,在检修执行过程中,当运行任务的节点占用关系、任务执行状态、计算资源状态或者待检修计算节点的检修状态发生变化时,确定所述检修耦合图中受所述变化影响的节点和有向连接边,重新计算对应的方向性中断耦合量及最小恢复间隔,并根据更新后的检修耦合图调整尚未执行的待检修计算节点的检修顺序或者检修开始时刻。

31、一种基于任务中断敏感度的数据中心算力检修调度系统,包括集群管理控制器、任务状态采集接口以及分别与多个计算节点连接的节点管理接口,所述集群管理控制器分别与所述任务状态采集接口和节点管理接口通信连接;

32、所述任务状态采集接口用于获取当前运行任务的任务运行信息以及各计算节点的计算资源状态;

33、所述集群管理控制器用于根据任务与计算节点之间的节点占用关系确定各待检修计算节点对应的任务中断敏感度和单节点中断影响值,针对存在共同受影响任务或者任务依赖关联的待检修计算节点确定不同检修先后关系和时间间隔下的方向联合中断影响值,根据所述方向联合中断影响值确定方向性中断耦合量并构建检修耦合图,根据所述检修耦合图确定待检修计算节点之间的最小恢复间隔、检修顺序和检修开始时刻;

34、所述节点管理接口用于接收所述集群管理控制器发送的检修控制指令,并控制对应待检修计算节点进入检修状态。

35、一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现所述的方法步骤。

36、与现有技术相比,本发明具有如下有益效果,

37、1、本发明根据计算节点进入不可用状态后受影响任务产生的计算回退、状态恢复、可用计算资源下降及任务执行延迟等技术状态变化确定任务中断敏感度,使检修影响评价能够反映计算节点退出运行对实际算力任务执行过程造成的技术影响,相较于仅依据节点负载或者任务优先级进行检修调度,能够提高检修影响评价的准确性。

38、2、本发明针对存在共同受影响任务或者任务依赖关联的计算节点,结合不同检修先后关系及时间间隔确定方向联合中断影响,并进一步确定方向性中断耦合关系,能够识别单独检修影响较小但连续检修后可能造成任务资源不足、通信中断或者运行状态失稳的计算节点组合,从而降低多计算节点检修过程中产生的非线性任务中断影响。

39、3、本发明根据方向性中断耦合关系以及受影响任务的运行状态恢复情况确定关联计算节点之间的最小恢复间隔,并据此确定计算节点的检修顺序和检修开始时刻,使后序计算节点在前序检修影响降低至允许范围且相关任务恢复至满足最低可运行条件后再进入检修状态,有利于减少任务重复恢复和计算回退,维持数据中心可用算力及计算服务的连续性。

40、4、本发明在检修执行过程中能够根据任务节点占用关系、任务执行状态、计算资源状态及节点检修状态的变化更新检修耦合关系和最小恢复间隔,并对尚未执行的检修计划进行调整,使检修调度结果能够适应数据中心动态运行状态,提高多计算节点连续检修过程的可靠性和资源利用效率。