一种异构算力调度系统的管理节点任务编排方法及系统与流程

本技术属于分布式计算与集群资源调度，尤其涉及一种异构算力调度系统的管理节点任务编排方法及系统。

背景技术：

1、异构算力调度中管理节点的任务编排，是指在由多类加速卡构成的计算集群中，由管理节点统一接收任务请求、感知全局资源状态，并根据资源供给与任务需求的匹配关系将任务分派至合适计算节点执行的过程。随着大规模模型训练、在线推理服务和科学计算等场景对算力需求的持续增长，管理节点任务编排的精准性与实时性已成为决定整体算力平台效率的关键因素。

2、现有的管理节点任务编排方法通常将加速卡抽象为单一数量维度的整数型资源，按固定周期触发调度决策，将任务分配至资源余量满足条件的节点。部分方法引入了基于深度强化学习的任务与设备匹配机制，通过建模任务特征与设备能力的对应关系提升整体吞吐，但仍依赖离线训练策略，调度过程对实时资源状态变化的响应能力有限。上述方法在大规模训练与在线推理混合部署的场景下均以批处理作业为主要设计对象，缺乏对负载波动的预判能力。

3、然而，现有方法对加速卡仅以数量抽象，无法区分不同架构与代际加速卡在算力、存储带宽等方面的实际差异，导致高价值算力资源被低价值任务占用，整体资源利用效率低下；同时现有方法缺乏对集群物理网络连通性的建模，任务编排结果常出现跨网络域通信，使通信密集型任务的执行效率明显下降。

4、此外，现有方法无法基于负载趋势预判高峰时段并提前介入资源回收，在流量高峰期在线推理任务与训练任务之间的资源争抢无法得到有效协调，导致在线推理服务的响应延迟显著升高。因此，现有技术中存在因异构算力资源利用率低、大规模训练通信开销大且在线推理服务延迟难以保障而导致管理节点任务编排不足的技术问题。

技术实现思路

1、本技术目的是提供一种异构算力调度系统的管理节点任务编排方法、装置及存储介质，以解决现有技术中管理节点任务编排不足的问题。

2、为解决上述技术问题，第一方面，本技术提供一种异构算力调度系统的管理节点任务编排方法，包括：

3、同步获取异构节点的算力性能数据、拓扑位置和运行状态数据，当前任务的历史负载数据以及目标任务的属性数据；

4、基于算力性能数据、拓扑位置和运行状态数据，构建一组多元的资源描述符；

5、基于资源描述符，以异构节点为节点、以节点间的通信链路为边、以通信开销为边的权重构建拓扑图，基于拓扑图利用预设的多维打分函数计算每个异构节点的分值；

6、将根据属性数据通过哈希运算确定的任务指纹数据输入到训练好的决策树模型中得到预测运行时长；

7、在根据历史负载数据确定的峰值时段前基于预测运行时长和当前任务的检查点数据计算抢占代价，根据抢占代价与预设阈值区间在当前任务中确定被抢占任务和对应的资源回收指令；

8、在被抢占任务对应的异构节点响应资源回收指令释放资源后，获取更新后的资源描述符并提取可用资源容量；

9、基于属性数据、可用资源容量和分值在异构节点中确定执行节点，并向执行节点发送用于执行目标任务的启动指令。

10、可选地，算力性能数据包括每个异构节点的原始算力值、精度权重系数、显存容量、显存带宽、互联带宽及指令兼容标识，运行状态数据包括每个异构节点的实时利用率、设备温度和错误计数；

11、基于算力性能数据、拓扑位置和运行状态数据，构建一组多元的资源描述符，包括：

12、计算设备温度与预设温度折损系数的乘积得到第一折损量，计算错误计数与预设计数折损系数的乘积得到第二折损量，计算预设基准值与第一折损量、第二折损量的差值得到健康度系数；

13、计算预设滑动时间窗口内实时利用率的均值得到利用率系数，根据原始算力值、精度权重系数、利用率系数和健康度系数的乘积，得到目标算力值；

14、基于目标算力值、显存容量、显存带宽、互联带宽、指令兼容标识、拓扑位置、实时利用率、设备温度和错误计数，构建每个异构节点的资源描述符。

15、可选地，基于资源描述符，以异构节点为节点、以节点间的通信链路为边、以通信开销为边的权重构建拓扑图，基于拓扑图利用预设的多维打分函数计算每个异构节点的分值，包括：

16、通过对资源描述符中互联带宽的倒数与对应通信链路的传输跳数和传输延迟进行加权求和，得到每个通信链路的通信开销，以异构节点为节点、以节点间的通信链路为边、以通信开销为边权重构建拓扑图；

17、对拓扑图中每个异构节点连接的所有通信链路的通信开销进行求和得到通信开销分量，根据每个异构节点的已分配资源与总分配资源的比值得到资源均衡分量，计算每个异构节点执行目标任务后的剩余资源与总剩余资源的比值得到资源惩罚分量；

18、将通信开销分量、资源均衡分量和资源惩罚分量代入多维打分函数中进行加权求和，得到每个异构节点的分值。

19、可选地，属性数据包括目标任务的容器镜像标识、命令参数、数据集标识和设备类型标识，训练好的决策树模型基于梯度提升机制根据包括历史任务指纹数据和对应的真实历史运行时长的训练样本训练得到；

20、将根据属性数据通过哈希运算确定的任务指纹数据输入到训练好的决策树模型中得到预测运行时长，包括：

21、通过对容器镜像标识、命令参数、数据集标识和设备类型标识分别进行散列编码后组合，得到任务指纹数据；

22、将任务指纹数据输入到决策树模型包括的多个决策树中，从每个决策树的根节点开始对任务指纹数据中每个维度的特征值与对应遍历节点的分裂阈值进行比对并逐层选择分支，直至遍历至叶节点后提取叶节点的预测增量值，对所有预测增量值进行累加，得到预测运行时长。

23、可选地，在根据历史负载数据确定的峰值时段前基于预测运行时长和当前任务的检查点数据计算抢占代价，根据抢占代价与预设阈值区间在当前任务中确定被抢占任务和对应的资源回收指令，包括：

24、计算历史负载数据在预设时间窗口内每个时间段的平均负载量，根据平均负载量的增长率推算未来时间段的预测负载量，确定预测负载量大于预设负载阈值的未来时间段为峰值时段；

25、在当前时间早于峰值时段的起始时间时，根据预测运行时长与当前任务从启动至当前时间的累计运行时长的差值得到剩余运行时长，计算当前时间与检查点数据中最新检查点的生成时间的时间间隔的倒数得到检查点时效度；

26、对剩余运行时长和检查点时效度进行加权求和，得到当前任务的抢占代价，从所有当前任务中确定抢占代价位于预设阈值区间内的当前任务为被抢占任务，并生成资源回收指令。

27、可选地，在被抢占任务对应的异构节点响应资源回收指令释放资源后，获取更新后的资源描述符并提取可用资源容量，包括：

28、在被抢占任务对应的异构节点响应资源回收指令释放资源后重新获取每个异构节点的实时利用率、设备温度和错误计数；

29、根据实时利用率、设备温度和错误计数更新资源描述符中对应字段的数值，得到每个异构节点的更新后的资源描述符；

30、从更新后的资源描述符中提取目标算力值和显存容量，根据目标算力值与当前的已分配算力的差值得到可用算力，根据显存容量与当前的已分配显存的差值得到可用显存，将可用算力和可用显存汇总为每个异构节点的可用资源容量。

31、可选地，属性数据还包括目标任务的需求算力和需求显存，可用资源容量包括每个异构节点的可用算力和可用显存；

32、基于属性数据、可用资源容量和分值在异构节点中确定执行节点，并向执行节点发送用于执行目标任务的启动指令，包括：

33、确定可用资源容量中的可用算力大于或等于需求算力且可用资源容量中的可用显存大于或等于需求显存的异构节点为候选节点；

34、从所有候选节点中确定分值最大的候选节点为执行节点，将容器镜像标识、命令参数、数据集标识、需求算力和需求显存封装为启动指令并向执行节点发送用于执行目标任务的启动指令。

35、第二方面，本技术提供了一种异构算力调度系统的管理节点任务编排系统，包括：

36、获取模块，用于同步获取异构节点的算力性能数据、拓扑位置和运行状态数据，当前任务的历史负载数据以及目标任务的属性数据；

37、构建模块，用于基于算力性能数据、拓扑位置和运行状态数据，构建一组多元的资源描述符；

38、构建模块，还用于基于资源描述符，以异构节点为节点、以节点间的通信链路为边、以通信开销为边的权重构建拓扑图，基于拓扑图利用预设的多维打分函数计算每个异构节点的分值；

39、生成模块，用于将根据属性数据通过哈希运算确定的任务指纹数据输入到训练好的决策树模型中得到预测运行时长；

40、生成模块，还用于在根据历史负载数据确定的峰值时段前基于预测运行时长和当前任务的检查点数据计算抢占代价，根据抢占代价与预设阈值区间在当前任务中确定被抢占任务和对应的资源回收指令；

41、生成模块，还用于在被抢占任务对应的异构节点响应资源回收指令释放资源后，获取更新后的资源描述符并提取可用资源容量；

42、发送模块，用于基于属性数据、可用资源容量和分值在异构节点中确定执行节点，并向执行节点发送用于执行目标任务的启动指令。

43、第三方面，本技术提供了一种电子设备，包括：

44、存储器，用于存储计算机程序；

45、处理器，用于执行所述计算机程序时实现如上述第一方面所述的异构算力调度系统的管理节点任务编排方法的步骤。

46、第四方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时能够实现如上述第一方面所述的异构算力调度系统的管理节点任务编排方法的步骤。

47、本技术所提供的异构算力调度系统的管理节点任务编排方法，首先通过同步获取异构节点的算力性能数据、拓扑位置与运行状态数据，构建多元资源描述符，使管理节点能够感知不同架构与代际加速卡在算力、存储带宽等维度的实际差异，从而在任务分配时实现与硬件能力的精准匹配，避免高价值算力资源被低价值任务占用，提升整体资源利用效率。

48、随后，以通信开销为权重构建拓扑图并利用多维打分函数为各异构节点评分，将通信密集型任务优先编排至通信代价最低的节点组合，降低跨网络域通信开销，提升大规模训练任务的执行效率。

49、接着，通过基于历史负载数据预判峰值时段，在峰值到来前根据预测运行时长与检查点数据完成资源回收与容量更新，使在线推理任务与训练任务之间的资源分配得到提前协调，保障在线推理服务在流量高峰期的响应延迟不受训练任务的挤占影响。综上，本技术实现了从资源精准感知、拓扑感知编排到峰值预判与抢占介入的全流程闭环，有效解决了现有技术中管理节点任务编排不足的技术问题。

50、进一步地，本技术通过计算历史负载数据在预设时间窗口内的平均负载量及其增长率，推算出未来时间段的预测负载量并识别峰值时段，使管理节点具备对业务流量走势的前瞻感知能力，改变了现有方法在流量高峰到来后才被动响应的局面。

51、在确认当前时间早于峰值时段起始时间的前提下，结合任务的剩余运行时长与检查点时效度计算抢占代价，确保被优先回收的是中断损失最小的任务，避免因盲目抢占造成训练任务进度的大幅损失。

52、通过筛选抢占代价位于预设阈值区间内的任务作为被抢占任务，在峰值时段来临前完成资源释放，为在线推理任务预留出充足的算力与存储资源。综上，本技术通过对峰值时段的提前识别与最小代价抢占决策的协同，有效保障了在线推理服务在流量高峰期的资源供给与响应延迟稳定性。