一种基于负载预测的数据中心任务迁移方法与流程

摘要: 本发明涉及计算机资源调度,更具体地说,它涉及一种基于负载预测的数据中心任务迁移方法。背景技术:1、数据中心中的计算任务通常由具有前置关系和数据依赖关系的多个阶段...
一种基于负载预测的数据中心任务迁移方法与流程

本发明涉及计算机资源调度,更具体地说,它涉及一种基于负载预测的数据中心任务迁移方法。

背景技术:

1、数据中心中的计算任务通常由具有前置关系和数据依赖关系的多个阶段组成,各阶段的资源需求、执行节点和输入数据位置共同影响任务执行。本发明涉及根据任务阶段和节点负载的未来变化确定任务迁移安排的技术。

2、现有任务调度或迁移方式通常采集节点当前的资源占用情况,在资源占用达到设定条件时,将任务或尚未执行的处理过程调整至其他节点。此类方式主要依据当前负载或单一时点的可用资源作出判断,对于节点上运行阶段完成后的资源释放、后续阶段启动以及迁移引起的数据位置变化考虑不足,难以反映保持原节点执行与迁移至其他节点执行时,节点资源占用在预测时间窗口内的不同变化。对于具有多个前置阶段、输入数据位于不同位置或运行环境需要准备的任务,如果未结合前置阶段完成时间、输入数据获取时间和运行环境准备时间递推后续阶段,迁移安排可能与阶段实际可启动时间不一致。此外,单纯比较迁移前后的负载数值,未将负载风险变化与稳定运行期间的正常采样波动区分,可能将采样造成的微小变化作为迁移依据;仅依据目标节点当前可用资源进行匹配,也难以反映运行阶段陆续完成后的资源释放及候选未来阶段在预计执行窗口内的资源匹配程度。

3、因此,有必要提出一种基于负载预测的数据中心任务迁移方法,以阶段依赖关系为基础推演保持安排和迁移安排下的未来资源占用,并结合负载走势、目标节点未来资源、数据访问条件和任务完成时间确定未来阶段的执行安排。

技术实现思路

1、针对现有技术存在的不足,本发明的目的在于提供一种基于负载预测的数据中心任务迁移方法。

2、为实现上述目的,本发明提供了如下技术方案:

3、一种基于负载预测的数据中心任务迁移方法,具体包括以下步骤:

4、解析任务阶段状态,从未启动阶段选取前置阶段已完成或能在预测窗口内完成、且输入数据版本确定的候选未来阶段,获取资源需求和输入数据存储位置;

5、依据前置关系、输入数据获取及环境准备时间,生成原节点保持安排和目标节点迁移安排;

6、沿阶段依赖关系递推各安排中候选未来阶段及后续阶段的启动时间、完成时间和输出数据位置,形成节点资源占用序列;

7、根据资源占用比例和安全占用阈值确定各安排的未来负载风险,以保持安排风险分别减去各迁移安排风险得到改善程度,并与稳定期相邻周期风险差值确定的波动范围比较;

8、依据目标节点运行阶段预计完成时间形成未来资源序列,在所述阶段预计执行窗口内,根据可用资源与需求的匹配程度确定负载吸收能力;

9、筛选启动前可获得输入数据、负载吸收能力表明执行窗口内目标节点可用资源覆盖阶段资源需求、改善程度超过波动范围且任务完成时间不超业务截止时间的迁移安排,确定目标节点;

10、在当前阶段完成、目标节点运行环境准备完成且输入数据版本一致时,启动候选未来阶段。

11、进一步的,所述启动时间的确定包括:将各前置阶段预计完成时间中的最晚时间作为前置完成时间,将所述前置完成时间、输入数据获取时间和运行环境准备时间之和确定为预计启动时间;无前置阶段时,以当前调度时刻作为前置完成时间;所述输入数据获取时间根据需读取或传输的数据量、扣除已预约传输资源后的可用传输速率、共享存储访问时间和版本校验时间确定,所述运行环境准备时间根据执行节点尚未具备的运行镜像、依赖文件和配置文件的获取时间以及加载、解析和初始化时间确定。

12、进一步的,按照候选未来阶段执行期间对应资源需求的累计值确定需求工作量,按照执行节点扣除已有阶段和已预约阶段占用后能够持续提供的对应资源能力确定有效服务能力;分别计算各参与资源类型的需求工作量与有效服务能力的比值,以最大比值作为预计执行时长,并根据预计启动时间与预计执行时长之和确定预计完成时间。

13、进一步的,所述原节点保持安排的节点资源占用序列通过以下方式形成:按照调度采样周期划分预测时间窗口,并将各阶段在预计启动时间至预计完成时间内的资源需求写入对应执行节点的各采样时间点。

14、进一步的,所述目标节点迁移安排的节点资源占用序列通过以下方式形成:保持已完成阶段和当前执行阶段的实际状态不变,将候选未来阶段的执行节点替换为候选目标节点,从候选未来阶段开始沿阶段依赖关系向后,重新计算输入数据获取时间、预计完成时间、输出数据位置及后续阶段启动时间;按照目标节点已有阶段的预计完成时间从资源占用序列中扣除其占用,并按照其他阶段的预定启动时间写入新增资源占用。

15、进一步的,安排的未来负载风险按照下式确定:

16、

17、其中,为采样时间点集合,为计算节点集合,为资源类型集合,为资源类型的归一化权重且各资源类型的权重之和为1,为安排下节点在时间点的资源占用比例,为节点对应资源类型的安全占用阈值,且。

18、进一步的,所述安全占用阈值为根据节点稳定运行期间的资源占用采样值预先设定的且小于1的数值,所述稳定运行期间不包括节点维护、故障、扩缩容和异常任务期间。

19、进一步的,所述波动范围通过计算稳定运行期间相邻采样周期的负载风险差值,对所述差值取绝对值并排序,选取中间位置的绝对偏差确定。

20、进一步的,所述未来资源序列通过以下方式形成:以候选目标节点的总可分配资源扣除当前运行阶段、已确定执行阶段、已预约但尚未启动阶段及资源预留后的资源作为初始可用资源;读取各运行阶段的预计完成时间及其完成后释放的资源类型和资源量,按时间顺序写入资源释放事件,并自资源释放或新增占用事件发生后的采样时间点更新可用资源比例。

21、进一步的,所述负载吸收能力通过以下方式确定:在候选未来阶段的预计执行窗口内,对各采样时间点上具有非零资源需求的资源类型进行匹配;当可用资源比例不低于对应资源需求比例时,将资源匹配程度确定为1,否则将可用资源比例与对应资源需求比例的比值确定为资源匹配程度;根据业务对各资源类型超载的敏感程度确定资源类型权重并进行归一化;在候选未来阶段的预计执行窗口内,对各采样时间点,将具有非零资源需求的各资源类型的资源匹配程度按所述资源类型权重加权求和,并除以该采样时间点具有非零资源需求的资源类型权重之和;对预计执行窗口内各采样时间点所得结果取平均,将所得结果确定为负载吸收能力。

22、与现有技术相比,本发明具备以下有益效果:

23、1、针对仅依据节点当前负载难以反映后续负载变化的问题,本发明针对候选未来阶段分别生成保持安排和迁移安排,沿阶段依赖关系递推阶段启动时间、完成时间、输出数据位置及节点资源占用序列,据此计算预测时间窗口内的未来负载风险。通过以保持安排与迁移安排的风险差确定改善程度,并与稳定运行期间相邻采样周期形成的风险波动范围比较,能够使迁移判断同时考虑阶段依赖及未来资源占用变化,并对迁移引起的负载变化与正常采样波动进行区分,有助于减少短时资源波动造成的不必要调整,提高负载迁移判断的稳定性;

24、2、针对目标节点当前可用资源难以表示未来阶段承接能力的问题,本发明根据目标节点运行阶段的预计完成时间和资源释放量形成未来资源序列,在候选未来阶段的预计执行窗口内匹配可用资源与阶段资源需求,确定负载吸收能力;结合输入数据能否在启动前获得、改善程度和任务完成时间筛选迁移安排,并在当前阶段完成、目标节点运行环境准备完成且输入数据版本一致时启动候选未来阶段。由此可使目标节点选择与阶段资源需求、数据访问条件和执行时序相适配,有助于提高迁移安排的可执行性和阶段交接的可靠性。