一种定时任务动态调度方法、系统及智算中心运维平台与流程

摘要: 本发明涉及智算中心运维定时任务的动态调度和执行一致性控制,具体涉及一种定时任务动态调度方法、系统及智算中心运维平台。背景技术:1、智算中心的巡检、备份、模型同步...
一种定时任务动态调度方法、系统及智算中心运维平台与流程

本发明涉及智算中心运维定时任务的动态调度和执行一致性控制,具体涉及一种定时任务动态调度方法、系统及智算中心运维平台。

背景技术:

1、智算中心的巡检、备份、模型同步、日志归档和固件检查通常按照固定时刻触发。固定时刻不能反映训练作业的阶段性资源占用,多个任务在整点集中启动时会同时争用管理网络、存储带宽和cpu,进而影响在线算力任务。

2、现有调度器多以任务优先级和空闲资源决定是否启动,未把结果允许陈旧时间、可分段执行性、资源峰值包络和上一次延期形成的欠账共同约束;控制节点切换时还可能产生重复执行或漏执行。

3、常见定时任务调度方案主要按照优先级、空闲资源或固定延期窗口选择执行时刻,未同时约束运维结果有效期、任务副作用唯一性、已完成阶段复用及控制器切换后的租约有效性。

4、任务定义、资源遥测、作业阶段预测和执行代理状态来自不同接口。名义触发时刻并不等同于可安全执行的时刻;如果只按当前利用率延期,结果可能超过有效期,而控制器切换期间还可能由两个任务实例重复提交同一外部登记或备份结果。

5、本技术把任务拆为具有资源包络、检查点和副作用提交点的阶段图,以有效结果年龄形成新鲜度欠账,再与资源低冲突区间共同求解窗口和节点。执行租约同时携带控制器时期和任务时期;反馈越界时只迁移未提交阶段,已经完成且摘要一致的阶段继续作为新时期输入。

6、定时任务的名义触发时刻不直接等同于执行时刻。任务调度契约同时限定结果有效期、最迟完成边界、阶段副作用和检查点,调度器以新鲜度欠账约束可移动范围,再与资源低冲突区间联合求解;双时期租约则阻止旧控制器或旧任务实例提交结果。

技术实现思路

1、固定cron时刻不能反映智算作业的训练、推理、数据装载和检查点写入阶段差异。定时任务若在存储检查点或管理网络峰值期间启动,会与在线作业争用硬件队列;简单延迟又可能使结果过期或导致低优先任务长期饥饿。控制器主备切换、执行租约过期和任务部分提交还会产生重复登记、重复上传等副作用。本发明要解决的是在结果新鲜度、物理资源容量、完成截止时间和副作用唯一性之间形成可执行的动态调度闭环。

2、本技术的第一个方面,提供一种定时任务动态调度方法,其特征在于,包括:解析定时任务的触发周期、结果有效期、最迟完成时刻、阶段资源需求、读写对象、可中断点、检查点接口和副作用提交点,生成任务调度契约,所述阶段资源需求以计算、管理网络和存储队列占用的上下界表示;根据最近有效结果的年龄、目标更新间隔和连续延期次数计算新鲜度欠账,并结合预测执行时长上界与最迟完成时刻确定可移动执行窗口;取得在线算力作业各阶段在计算、管理网络和存储维度的占用上下界,将在线占用上界与定时任务对应阶段资源需求上界之和不超过资源容量下界的连续时间区间确定为资源低冲突区间;从所述可移动执行窗口与资源低冲突区间形成的候选方案中,剔除预计完成时间上界晚于最迟完成时刻、执行节点不具备检查点恢复条件或副作用阶段不在允许窗口的候选方案,再根据资源峰值重叠代价、检查点及数据迁移代价和候选完成时的新鲜度欠账选择执行窗口、执行节点和可分段边界;为选定方案签发包含控制器时期、任务时期、到期时刻、阶段检查点摘要、阶段幂等键和输入摘要的执行租约,执行代理仅在租约校验通过且两个时期均不低于本地已见有效值时执行或提交对应阶段;根据实际阶段进度和资源占用更新阶段资源包络及完成时间预测,在完成时间预测或资源占用达到重调度条件时生成新的任务时期,仅对尚未提交副作用的阶段进行滚动重调度,并复用输出摘要与新时期输入摘要一致的已完成阶段。

3、进一步地,所述任务调度契约至少包括任务稳定标识、名义触发时刻、目标更新间隔、结果有效期、最迟完成时刻、阶段图、各阶段资源包络、读集、写集、可中断点、检查点位置、补偿动作和副作用提交点;任务完成后以实际完成时刻更新最近有效结果年龄,不以名义触发时刻将新鲜度欠账清零。

4、进一步地,设最近有效结果年龄为a、目标更新间隔为t、连续延期次数为n,当前新鲜度欠账dcurrent=max(0,a-t)+λnt;对于候选方案x,候选完成时的新鲜度欠账dfinish(x)=max(0,a+tfinish(x)-t)+λnt,目标函数j(x)=αcconflict(x)+βcmigrate(x)+γdfinish(x),在满足硬约束的候选方案中选择j(x)最小者。

5、进一步地,对每一资源维度,资源容量下界cavailable_low=cphysical_low-rcommitted-emeasure-ssafety,其中cphysical_low为可测物理容量下界,rcommitted为已提交预留,emeasure为测量误差上界,ssafety为安全余量;在线作业阶段预测的区间宽度超过预测偏差边界时,根据实时资源容量下界形成短时资源低冲突区间并缩短执行租约期限。

6、进一步地,控制器时期由持久化时期存储的原子递增操作生成;控制器对控制器标识、控制器时期、任务时期、输入摘要、阶段检查点摘要和到期时刻生成完整性认证码;执行代理在认证码验证通过后持久化已见最大控制器时期和已提交最大任务时期,低控制器时期的执行租约即使尚未到期也不得提交结果。

7、进一步地,租约到期或者发生网络分区时,执行代理对无副作用且可中断的阶段形成检查点后停止,对已经进入副作用提交点的阶段仅完成确认或执行预定义补偿而不重新分配;连通恢复后按照控制器时期和任务时期选择有效结果,低时期结果仅作为审计记录。

8、本技术的第二个方面,提供一种定时任务动态调度系统,其特征在于,包括契约生成模块、新鲜度计算模块、资源区间预测模块、联合选择模块、时期租约执行模块和滚动重调度模块;所述契约生成模块用于生成具有分阶段资源包络和副作用提交点的任务调度契约;所述新鲜度计算模块用于计算新鲜度欠账及可移动执行窗口;所述资源区间预测模块用于根据在线算力作业占用上下界和资源容量下界生成资源低冲突区间;所述联合选择模块用于执行最迟完成、资源容量和检查点恢复约束筛选,并依据资源峰值重叠、迁移代价和候选完成时的新鲜度欠账选择执行方案;所述时期租约执行模块用于签发并校验包含控制器时期和任务时期的执行租约;所述滚动重调度模块用于在完成预测或资源占用达到重调度条件时仅重排未提交阶段并复用摘要一致的已完成阶段。

9、本技术的第三个方面,提供一种电子设备,其特征在于,包括处理器、存储器、通信接口以及存储在所述存储器中并能够在所述处理器上运行的计算机程序,所述通信接口用于连接调度控制器、任务执行代理和资源监测器,所述计算机程序被所述处理器执行时实现权利要求1至6任一项所述的方法。

10、本技术的第四个方面,提供一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6任一项所述的方法。

11、本技术的第五个方面,提供一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6任一项所述的方法。

12、阶段资源包络使调度依据计算、管理网络和存储队列的可测容量边界,新鲜度欠账限制连续延期;双时期租约隔离主备控制器和同一任务的多次执行,阶段幂等键避免重复副作用。滚动重调度保留已经完成的技术输出,只移动尚未提交的阶段,从而降低资源峰值重叠而不破坏结果唯一性。