智算集群任务动态调度方法及电子设备与流程

本技术涉及计算机，尤其涉及一种智算集群任务动态调度方法及电子设备。

背景技术：

1、随着人工智能技术的快速迭代，大模型训练、在线推理等多元化ai任务的算力需求持续增长，智算集群作为承载ai计算业务的核心基础设施，通常需要同时承载大模型训练任务与在线推理任务。两类任务在计算资源、显存资源、网络通信以及时延要求上存在显著差异：大模型训练任务的资源需求随训练阶段的推进而变化，在线推理任务的资源需求则随外部请求的并发量与到达速率变化。

2、现有调度方案多采用静态节点分配模式，在任务提交时依据节点当前的资源占用状态完成分配，缺少对任务全周期资源需求的预判能力。而任务在实际运行过程中，其gpu、显存和网络资源需求会随任务类型、运行阶段以及业务负载的变化而变化，仅依据任务提交时刻的资源状态进行匹配，容易造成任务运行过程中的资源不足以及节点之间的负载不均衡。同时，现有方案的节点负载评价多依赖固定权重或人工配置的评价方式，评价结果不随任务的实际资源需求特征变化，在异构任务混合部署的场景下难以给出与任务需求相对应的节点评价结果。

技术实现思路

1、本技术实施例提供一种智算集群任务动态调度方法及电子设备，以至少部分地解决上述技术问题。

2、为了实现上述目的，根据本技术的第一方面，提供一种智算集群任务动态调度方法，包括：

3、获取目标任务的任务特征，并根据所述任务特征确定所述目标任务的任务类型；

4、根据所述任务类型对应的同类型任务的历史运行数据以及所述任务特征，预测所述目标任务在后续多个时间窗口的资源需求；

5、从智算集群的计算节点中确定满足所述目标任务的资源约束条件的候选节点，并获取所述候选节点的运行状态指标；

6、根据所述资源需求确定各所述运行状态指标的评价权重，并根据所述评价权重和所述运行状态指标确定所述候选节点的节点负载状态值；

7、获取所述候选节点的通信拓扑信息，并根据所述节点负载状态值、所述通信拓扑信息和所述资源需求，确定所述候选节点的综合调度评分；

8、根据各所述候选节点的综合调度评分，确定执行所述目标任务的目标节点或目标节点组。

9、在一些实施例中，所述预测所述目标任务在后续多个时间窗口的资源需求，包括：

10、根据所述同类型任务的历史运行数据构建资源变化序列，其中，所述资源变化序列包括按预设采样周期划分的时间窗口内的任务资源状态；

11、从所述资源变化序列中滑动选取连续多个时间窗口的任务资源状态；

12、根据滑动选取的所述任务资源状态和所述任务特征，预测所述目标任务在后续多个时间窗口的所述资源需求。

13、在一些实施例中，所述根据所述资源需求确定各所述运行状态指标的评价权重，并根据所述评价权重和所述运行状态指标确定所述候选节点的节点负载状态值，包括：

14、根据所述资源需求中各类资源需求所占的比例，确定各所述运行状态指标对应的评价权重，其中，各类所述资源需求所占的比例越高，该类资源需求对应的运行状态指标的评价权重越大；

15、根据各所述评价权重对归一化后的各所述运行状态指标进行加权，确定所述候选节点的节点负载状态值。

16、在一些实施例中，所述根据所述节点负载状态值、所述通信拓扑信息和所述资源需求，确定所述候选节点的综合调度评分包括：

17、根据所述资源需求与所述候选节点的可用资源确定所述资源匹配度；

18、根据所述通信拓扑信息中的节点之间的通信带宽和通信时延确定所述通信适配度；

19、根据所述节点负载状态值确定负载适配度，其中，所述负载适配度随所述节点负载状态值的增大而减小；

20、对所述资源匹配度、所述通信适配度、所述负载适配度和所述候选节点的历史运行稳定度进行加权，确定所述候选节点的综合调度评分。

21、在一些实施例中，所述根据各所述候选节点的综合调度评分，确定执行所述目标任务的目标节点或目标节点组，包括：

22、将gpu之间具备高速互联关系的多个所述候选节点组合为候选节点组；

23、根据各所述候选节点组中候选节点的综合调度评分、所述候选节点组内各gpu之间的高速互联关系以及所述候选节点组内节点之间的所述通信带宽和所述通信时延，确定各所述候选节点组的节点组调度评分；

24、将所述节点组调度评分最高的所述候选节点组确定为所述目标节点组。

25、在一些实施例中，所述智算集群任务动态调度方法还包括：

26、在所述目标任务运行过程中，持续采集所述目标节点或所述目标节点组中各节点的运行状态指标，并根据所述持续采集的运行状态指标和所述目标任务当前的运行阶段，预测所述目标节点或所述目标节点组在未来时间窗口的预测负载；

27、当所述预测负载达到预设过载预警阈值时，确定所述目标节点或所述目标节点组进入过载状态的预计过载时刻，并根据所述目标任务的预计运行时长与已运行时长确定所述目标任务的预计剩余运行时长；

28、当所述预计过载时刻早于所述预计剩余运行时长对应的任务结束时刻时，筛选满足所述资源约束条件的迁移目标节点；

29、在筛选得到所述迁移目标节点的情况下，生成针对所述目标任务的迁移指令，并根据所述迁移指令将所述目标任务由所述目标节点或所述目标节点组迁移至所述迁移目标节点。

30、在一些实施例中，所述智算集群任务动态调度方法还包括：

31、响应于所述迁移指令，根据所述目标任务的任务类型确定待保存的任务状态数据，其中，针对大模型训练任务，所述任务状态数据包括模型参数、优化器状态、训练轮次、当前训练步、梯度同步状态和数据读取位置；针对在线推理任务，所述任务状态数据包括模型加载状态、请求上下文、键值缓存和请求队列。

32、在一些实施例中，所述任务状态数据采用增量快照方式保存，所述智算集群任务动态调度方法还包括：

33、将当前任务状态与上一次保存的任务状态之间发生变化的数据确定为增量状态，并写入共享存储；

34、由所述迁移目标节点根据所述共享存储中的基础状态和所述增量状态恢复所述目标任务；

35、将恢复的任务状态校验通过后将所述目标任务的业务请求切换至所述迁移目标节点。

36、在一些实施例中，所述智算集群任务动态调度方法还包括：

37、记录所述目标任务在各所述时间窗口内实际消耗的gpu资源、显存资源和网络资源；

38、根据所述时间窗口内的实际资源消耗与所述资源需求之间的相对差异确定所述时间窗口的预测误差；

39、当所述预测误差超出预设误差范围时，将所述目标任务的实际运行数据写入所述同类型任务的历史运行数据。

40、第二方面，提供一种电子设备，包括：至少一个处理装置；以及，与所述至少一个处理装置通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理装置执行的指令，所述指令被所述至少一个处理装置执行，以使所述至少一个处理装置能够实现如上所述的方法。

41、本技术实施例中的智算集群任务动态调度方法，依据同类型任务的历史运行数据预测目标任务在后续多个时间窗口的资源需求，据此确定各运行状态指标的评价权重与节点负载状态值，再结合该负载状态值、通信拓扑信息与资源需求确定综合调度评分，为目标任务选定执行的节点或节点组，其中，节点评价与节点选择均以任务后续运行阶段的资源需求为依据，而非任务接入时刻的静态资源状态，负载评价随任务需求特征变化，以此降低任务运行中资源不足的概率，综合调度评分结合有通信拓扑信息，使所选执行位置在计算资源与通信条件上同时匹配任务需求，提高了集群资源利用率。

42、本技术的其他特征和优点将在随后的具体实施方式部分予以详细说明。