面向AI模型分布式训练任务的算力资源弹性调度方法与流程

本发明涉及人工智能算力调度，特别是涉及面向ai模型分布式训练任务的算力资源弹性调度方法。

背景技术：

1、在人工智能大模型时代，分布式训练已成为支撑模型规模扩展与训练效率提升的核心技术范式。然而，随着模型参数量激增和训练集群规模扩大，算力资源的调度管理面临着日益严峻的挑战。传统的分布式训练资源调度方法通常将图形处理器等加速器资源视为静态配额进行分配，调度决策主要依赖任务提交顺序、资源空闲状态以及用户预设的资源申请量等粗粒度信息。这种静态或半静态的调度模式难以适应分布式训练任务在运行过程中呈现出的复杂动态特性，导致集群资源利用率低下和训练性能受损；因此存在以下不足：

2、1、负载表征手段单一，仅采用平均或峰值利用率，无法识别周期性反复出现的资源高峰，导致对同步阻塞风险的评估偏离实际；

3、2、通信拓扑信息利用不充分，未将通信量与计算负载融合编码为可参与连续寻优的约束形式，难以避免通信密集任务因资源份额差异或节点距离过大而产生同步等待；

4、3、调度寻优算法缺乏领域先验知识引导，采用固定参数和通用适应度函数，无法感知集群负载周期规律，也不具备主动修正通信失配的能力，易陷入局部最优；

5、4、缺乏闭环自适应更新能力，调度模型参数在执行后不随实际运行反馈进行修正，导致模型随时间失准，且无法自动感知环境变化触发重调度；

6、综上，当前亟需一种能够融合动态负载风险量化、通信拓扑亲和编码、场景化改进寻优算法与在线闭环自适应更新的分布式训练算力调度方案，解决传统静态调度模式适配性差、通信同步时延高、资源利用不均衡、调度模型易失准等一系列技术问题。

技术实现思路

1、为解决上述技术问题，本发明提供的面向ai模型分布式训练任务的算力资源弹性调度方法，具体步骤包括：

2、s1、采集待调度训练任务的历史资源使用序列、梯度同步通信记录、单步计算负载和集群资源约束，形成当前调度周期的待调度训练任务集合；

3、s2、基于综合资源使用序列计算训练负载脉冲风险度，并基于任务间通信矩阵和计算负载向量生成通信亲和度分布向量；

4、s3、训练负载风险向量和对称通信亲和矩阵引入弹性调度粒子群寻优过程，构建风险加权多目标适应度函数，并采用负载潮汐惯性权重和通信约束梯度共同调制粒子速度；

5、s4、根据对称通信亲和矩阵和节点网络距离矩阵执行通信拓扑感知部署，并根据在线监测结果更新单步计算时间系数、基础通信时间和历史资源使用序列。

6、进一步的，所述s1具体步骤包括：

7、s101、从分布式训练集群的任务队列中读取当前调度周期内等待分配或等待调整资源的训练任务，得到待调度训练任务集合；

8、s102、从分布式训练集群的监控系统中获取每个待调度训练任务的历史资源使用序列；

9、s103、从训练框架通信日志、梯度同步记录或网络流量统计中获取待调度训练任务之间的梯度同步通信量，构建任务间通信矩阵

10、s104、根据历史运行剖析或离线性能标定获取每个待调度训练任务的单步计算负载，构建计算负载向量；

11、s105、读取当前调度周期内的集群可分配弹性资源单元总数和每个待调度训练任务的资源上下限。

12、进一步的，所述s2的具体步骤包括：

13、s201、通过平滑后的综合资源使用序列、自适应脉冲判断阈值、脉冲超额能量和独立脉冲段数量共同计算训练负载脉冲风险度；

14、s202、根据任务间通信矩阵和计算负载向量生成通信亲和度分布向量，并进一步形成对称通信亲和系数。

15、进一步的，所述s201具体步骤包括：

16、s20101、对任意一个待调度训练任务的综合资源使用序列执行平滑处理，得到平滑综合资源使用序列；

17、s20102、根据平滑综合资源使用序列计算平均资源使用率和资源波动强度，并构造自适应脉冲判断阈值；

18、s20103、遍历任意一个待调度训练任务的平滑综合资源使用序列，将大于自适应脉冲判断阈值的采样点标记为脉冲采样点，并由连续脉冲采样点形成独立脉冲段；

19、s20104、计算脉冲超额能量占比，得到训练负载脉冲风险度；

20、s20105、按照待调度训练任务索引顺序，将全部训练负载脉冲风险度组成训练负载风险向量。

21、进一步的，所述s202具体步骤包括：

22、s20201、对计算负载向量执行归一化处理，得到归一化计算负载向量；

23、s20202、根据任务间通信矩阵确定任意一个待调度训练任务的通信邻接集合；

24、s20203、对任意一个待调度训练任务与通信邻接集合内每个待调度训练任务进行通信计算耦合处理，得到通信计算耦合强度；

25、s20204、对任意一个待调度训练任务对应的通信计算耦合强度执行归一化指数映射，得到该待调度训练任务的通信亲和度分布向量；

26、s20205、根据双向通信亲和度构造对称通信亲和系数；

27、s20206、将全部对称通信亲和系数组成对称通信亲和矩阵。

28、进一步的，所述s3具体步骤包括

29、s301、在候选弹性资源分配方案评价中同时引入最大同步步长时间、资源容量惩罚和通信亲和失配惩罚；

30、s302、将每个粒子的位置向量作为候选资源分配向量，并在速度更新过程中引入负载潮汐惯性权重和通信约束梯度；

31、s303、在每轮粒子位置更新后执行可行域投影，将粒子位置修正为满足调度约束的候选资源分配向量，并最终选择总代价最低的候选资源分配向量作为弹性资源分配方案。

32、进一步的，所述s301具体步骤包括：

33、s30101、将一个候选弹性资源分配方案表示为资源分配向量；

34、s30102、根据历史运行剖析或离线性能标定，获取待调度训练任务的单步计算时间系数和基础通信时间；

35、s30103、根据训练负载脉冲风险度对基础通信时间进行风险放大，得到风险加权通信时间估计；

36、s30104、根据资源分配向量计算每个待调度训练任务的估计步长时间，并由所有估计步长时间中的最大值得到最大同步步长时间；

37、s30105、根据资源分配向量与集群可分配弹性资源单元总数之间的关系计算资源容量惩罚；

38、s30106、根据对称通信亲和矩阵和资源分配向量计算通信亲和失配惩罚；

39、s30107、将最大同步步长时间、资源容量惩罚和通信亲和失配惩罚合并，得到候选弹性资源分配方案的总代价函数。

40、进一步的，所述s302包括：

41、s30201、初始化粒子群，定义粒子位置向量为候选资源分配向量、速度向量代表资源调整幅度；

42、s30202、根据历史集群总资源使用序列计算负载潮汐惯性权重；

43、s30203、根据对称通信亲和矩阵和当前粒子位置计算通信约束梯度；

44、s30204、结合负载潮汐惯性权重、个体历史最优位置、粒子群全局最优位置和通信约束梯度更新粒子速度；

45、s30205、对更新后的粒子速度执行限幅处理，得到限幅后速度。

46、进一步的，所述s303包括：

47、s30301、根据更新后的粒子速度计算连续候选位置；

48、s30302、将连续候选位置按资源上下限进行截断；

49、s30303、根据弹性资源单元类型执行整数化或连续配额修正；

50、s30304、检查候选资源分配向量的弹性资源单元总数是否超过集群可分配弹性资源单元总数；若所有维度之和不超过，则候选资源分配向量满足资源总量约束；若所有维度之和超过，则执行资源削减；

51、s30305、资源总量低于预留阈值时按代价降幅贪心补充资源，减少集群资源闲置；

52、s30306、将经过资源上下限约束、资源总量约束和资源取值类型约束修正后的候选资源分配向量作为投影后粒子位置；

53、s30307、对投影后粒子位置计算风险加权多目标适应度，并更新每个粒子的个体历史最优位置和粒子群全局最优位置；

54、s30308、将最终粒子群全局最优位置作为弹性资源分配方案输出。

55、进一步的，所述s4包括：

56、s401、根据弹性资源分配方案和计算节点集合确定待部署资源需求；

57、s402、根据对称通信亲和矩阵和节点网络距离矩阵构造部署代价函数；

58、s403、将弹性资源分配方案和部署位置向量下发至分布式训练集群资源管理系统；

59、s404、在弹性调度方案执行后，持续监测每个待调度训练任务的实际计算阶段耗时、实际梯度同步通信耗时和实际综合资源使用序列；

60、s405、根据在线监测结果更新单步计算时间系数和基础通信时间；

61、s406、根据在线监测结果判断是否触发下一轮弹性调度，满足预设条件时重新执行s1至s4闭环调度。

62、本发明的有益效果如下：（1）本发明提出训练负载脉冲风险量化方法，通过自适应阈值区分偶发尖峰与周期性脉冲，综合超额能量和频次构建统一风险标量，解决单一均值或峰值指标无法表征突发负载危害的问题；（2）本发明提出通信拓扑亲和度分布编码方法，将通信量与对端计算负载融合后经归一化指数映射生成连续亲和度向量，使调度器在寻优中可感知同步等待敏感性，优先协调与重负载任务的资源份额；（3）本发明采用负载潮汐惯性权重与通信约束梯度联合调制的粒子群速度更新机制，利用集群负载周期动态调节探索与开发强度，并将拓扑亲和关系直接注入搜索方向，避免通信失配方案的生成；（4）本发明建立包含在线性能监测、指数滑动平均参数校正与多条件触发重调度的闭环反馈机制，使调度模型随集群状态变化持续自适应，防止静态剖析数据失准导致方案劣化。