一种面向多GPU训练任务的AI算力服务器功耗预算动态分配方法与流程

摘要: 本发明属于人工智能,特别是一种面向多gpu训练任务的ai算力服务器功耗预算动态分配方法。背景技术:1、ai算力服务器通常在同一机箱内配置多张高功耗gpu,并通过...
一种面向多GPU训练任务的AI算力服务器功耗预算动态分配方法与流程

本发明属于人工智能,特别是一种面向多gpu训练任务的ai算力服务器功耗预算动态分配方法。

背景技术:

1、ai算力服务器通常在同一机箱内配置多张高功耗gpu,并通过pcie、nvlink、infiniband或其他互连方式共同执行深度学习训练;由于服务器电源容量、机柜功率配额、散热能力或上级能源管理策略的限制,多张gpu可使用的总功率往往不等于各gpu额定功率之和,现有服务器可利用gpu管理接口设置单卡功率上限,也可通过bmc、pdu或板载传感器监测整机功耗,这为在软件层面对gpu功耗进行动态调节提供了基础。

2、在采用数据并行、张量并行、流水线并行或其组合的分布式训练中,多个gpu之间通常存在明确的同步依赖关系;以同步数据并行为例,每次训练步需要各gpu完成本地梯度计算后执行梯度全归约,只有同一通信域内的所有gpu均完成全归约后,各gpu才能获得全局梯度并进入优化器更新阶段;流水线并行和张量并行中同样存在微批次依赖、集合通信依赖等同步关系;因此,一次训练步的实际完成时刻取决于同步组内最晚到达同步点的gpu,而并非所有gpu的简单平均完成时刻。

3、在整机功耗受限的场景下,如何将有限的可分配功耗预算分配给多个gpu,直接决定了训练任务的完成效率;已有功率管理方法通常根据gpu利用率、当前功耗或任务优先级进行功率分配;然而,gpu利用率只能反映设备是否处于忙碌状态,无法反映增大该gpu的功率上限是否能够缩短整个同步组的同步完成时刻;例如,某张gpu由于等待集合通信而呈现较高占用状态时,单纯提高其功率上限并不能使训练步更早完成,反而会占用宝贵的功耗预算,甚至导致其他对同步完成时刻具有实际贡献的gpu因供电不足而无法发挥应有的性能;统一提高所有gpu功率上限的做法,也容易在整机功率预算紧张时引发过载或触发硬件级降频。

技术实现思路

1、本发明的目的是针对现有的技术存在上述问题,提出了一种面向多gpu训练任务的ai算力服务器功耗预算动态分配方法。

2、本发明的目的可通过下列技术方案来实现:

3、为了解决上述技术问题,本发明提供了一种面向多gpu训练任务的ai算力服务器功耗预算动态分配方法,包括:

4、获取服务器功耗约束、多个gpu的运行状态和训练执行事件;

5、根据所述服务器功耗约束确定可分配gpu功耗预算;

6、根据所述训练执行事件和所述运行状态,将需要到达同一同步点的gpu确定为同步组,并确定所述同步组内各gpu在多个候选功率上限下到达所述同步点的预测剩余时长;

7、根据所述预测剩余时长确定所述同步组的预计同步完成时刻;在保持所述同步组内其他gpu的候选功率上限不变的条件下,将目标gpu的候选功率上限提高一个功率增量,将所述预计同步完成时刻的缩短量除以所述功率增量,得到所述目标gpu的边际有效加速收益;

8、在所述可分配gpu功耗预算约束下,根据所述同步组内各gpu的边际有效加速收益确定各gpu的目标功率上限;

9、按所述目标功率上限设置各gpu的功率上限;

10、获取实际服务器功耗和实际同步完成时刻,根据所述实际服务器功耗与所述服务器功耗约束的偏差以及所述实际同步完成时刻与所述预计同步完成时刻的偏差,更新所述可分配gpu功耗预算和所述预测剩余时长。

11、与现有技术相比,本申请具有以下优点:

12、第一,将功率增量与多gpu训练同步完成时刻直接关联。通过保持其他gpu候选功率上限不变、仅提高目标gpu候选功率上限并计算同步组预计同步完成时刻的缩短量,能够准确判断特定功率增量是否真正有助于完成当前训练步。即使某张gpu利用率较高,如果其提高功率后仍需要等待其他gpu,则其边际有效加速收益为零或接近零,不会被分配额外功率,从而避免了同步等待型无效功率消耗。

13、第二,通过可分配gpu功耗预算对gpu总功率进行约束。该预算从服务器功耗约束中扣除了非gpu部件预测功耗和不确定性安全裕量,使得gpu功率分配不仅考虑训练性能,还同时考虑整机供电安全和功率波动的统计特征。在cpu、内存、风扇、网卡等部件的功耗发生波动时,可分配gpu功耗预算能够相应调整,降低整机超限风险。

14、第三,采用离散迭代的贪心分配方式,能够动态适应同步组内瓶颈gpu的变化。每当一个gpu获得功率步长后,系统会重新计算所有gpu的预测剩余时长和边际有效加速收益,因此当原最慢gpu被加速到与其他gpu接近时,后续功率步长会自动转向新的关键gpu或共同瓶颈集合,无需预先静态指定关键gpu。

15、第四,在训练相位切换窗口执行功率设置,减少功率调整对训练内核执行的干扰,同时通过功率变化过程中的瞬态控制和安全裕量设计,降低功率切换带来的系统风险。

16、第五,利用实际服务器功耗和实际同步完成时刻的双偏差反馈,持续更新可分配gpu功耗预算和预测剩余时长,使系统能够适应训练模型变化、批次长度波动、负载不均以及环境温度等外部条件变化,形成功耗安全与训练性能双重闭环的稳定控制机制。

1.一种面向多gpu训练任务的ai算力服务器功耗预算动态分配方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据所述服务器功耗约束确定可分配gpu功耗预算,包括:

3.根据权利要求2所述的方法,其特征在于,所述不确定性安全裕量的确定方式包括:

4.根据权利要求1所述的方法,其特征在于,所述训练执行事件包括集合通信结束事件,并携带通信域标识;所述同步点为所述集合通信结束事件对应的集合通信完成点;将携带相同通信域标识的gpu确定为所述同步组。

5.根据权利要求4所述的方法,其特征在于,多个gpu执行数据并行训练任务;所述集合通信结束事件为所述数据并行训练任务中梯度全归约的完成事件。

6.根据权利要求4所述的方法,其特征在于,

7.根据权利要求1所述的方法,其特征在于,所述同步组内各gpu对应有最小允许功率上限、预设的离散功率步长和预设收益阈值;在所述可分配gpu功耗预算约束下,根据所述同步组内各gpu的边际有效加速收益确定各gpu的目标功率上限,包括:

8.根据权利要求7所述的方法,其特征在于,所述同步组内各gpu对应有最大允许功率上限;各gpu的目标功率上限不大于对应的最大允许功率上限;根据所述运行状态中的gpu温度和所述目标功率上限确定预测温度,所述预测温度不大于预设温度阈值。

9.根据权利要求4所述的方法,其特征在于,所述训练执行事件还包括相邻训练内核之间的内核切换事件;根据所述内核切换事件确定训练相位切换窗口;在所述训练相位切换窗口,按所述目标功率上限设置各gpu的功率上限。

10.根据权利要求2所述的方法,其特征在于,获取实际服务器功耗;当所述实际服务器功耗大于预设预警阈值时,根据所述同步组内各gpu的预测剩余时长与所述同步组内最大预测剩余时长的差值确定各gpu的同步富余时间;按照所述同步富余时间由大到小的顺序降低对应gpu的功率上限,直至所述实际服务器功耗不大于所述预设预警阈值。