一种面向异构GPU集群的流水线空闲感知与通信协同调度方法

摘要: 本申请涉及资源分配,具体涉及一种面向异构gpu集群的流水线空闲感知与通信协同调度方法。背景技术:1、随着深度学习模型的参数量迈入千亿乃至万亿级别,以及训练数据规...
一种面向异构GPU集群的流水线空闲感知与通信协同调度方法

本申请涉及资源分配,具体涉及一种面向异构gpu集群的流水线空闲感知与通信协同调度方法。

背景技术:

1、随着深度学习模型的参数量迈入千亿乃至万亿级别,以及训练数据规模的爆发式增长,基于gpu集群的分布式并行计算架构中,单gpu节点的算力与物理显存上限已难以承载完整模型的参数存储、梯度更新与激活值暂存。为此,行业普遍采用流水线并行(pipeline parallelism,pp)技术,将单个训练任务的模型计算图(model computationalgraph)纵向切分并部署于多个gpu节点,通过跨节点网络通信实现数据与梯度的同步。然而当该技术部署于真实的复杂集群环境时,异构硬件与多任务并发的叠加效应带来了两大严峻挑战:一是节点算力失配导致单任务内部产生严重的算力空闲,即流水线气泡(pipelinebubble);二是多任务在共享网络链路上的通信窗口发生时域重叠,引发严重的带宽争抢与网络拥塞。

2、为解决上述性能瓶颈,现有改进方案主要分为以下两类:

3、(1)基于微批次(micro-batch)重叠的单任务静态流水线调度方案。此类方案尝试通过固定微批次发射时序来掩盖通信开销。然而,此类方案受限于硬件同构与网络无冲突的理想假设,缺乏对异构节点计算偏差与余量的细粒度感知与自适应重叠能力,导致非瓶颈节点产生大量气泡,限制了集群算力利用率。

4、(2)基于粗粒度配给的多任务集群资源调度方案。此类方案尝试在任务提交阶段通过gpu节点配额与显存容量的静态划分来实现多任务的隔离与资源配给。然而,该类方法大多将物理网络抽象为无冲突的理想介质,既缺乏对共享链路冲突的时域感知与错峰协同能力,又忽视了流水线预热机制对激活显存的动态占用,易诱发节点显存超限(out ofmemory,oom)崩溃。

技术实现思路

1、有鉴于此,本申请公开一种面向异构gpu集群的流水线空闲感知与通信协同调度方法,以解决现有异构集群深度学习调度方法算力利用率低、多任务通信冲突、难以适配动态负载的问题,包括:

2、步骤1、采集单任务细粒度特征,建立归一化无量纲的流水线气泡损耗;

3、步骤2、采集集群网络状态并计算链路网络拥塞损耗,建立归一化无量纲的网络竞争损耗;

4、步骤3、对流水线气泡损耗与网络竞争损耗进行联合建模,构建用于衡量任务组合在特定共享链路上综合代价的联合评分函数;

5、步骤4、基于联合评分函数与闭环冲突过滤机制,构建候选gpu资源布局集合;

6、步骤5、从候选gpu资源布局集合中筛选出最优资源布局,计算最优资源布局的全局通信偏移量;

7、步骤6、基于全局最优资源布局及全体任务通信偏移量,对调度策略进行双层下发与闭环自适应调整。

8、本申请提供了一种面向异构gpu集群的流水线空闲感知与通信协同调度方法,通过集群级宏观网络错峰与任务级微观流水线重叠的双层自适应协同机制设计,在保障gpu物理显存安全的前提下消除异构节点间的流水线气泡损耗,能够降低共享链路的传输时延与拥塞率,实现多任务动态负载下高吞吐、低空闲与高稳定的协同并行训练。

1.一种面向异构gpu集群的流水线空闲感知与通信协同调度方法,其特征在于,包括:

2.根据权利要求1所述的面向异构gpu集群的流水线空闲感知与通信协同调度方法,其特征在于,所述归一化无量纲的流水线气泡损耗,计算公式为:

3.根据权利要求1所述的面向异构gpu集群的流水线空闲感知与通信协同调度方法,其特征在于,所述建立归一化无量纲的网络竞争损耗,包括:

4.根据权利要求3所述的面向异构gpu集群的流水线空闲感知与通信协同调度方法,其特征在于,所述量化链路网络拥塞损耗并进行归一化,公式为:

5.根据权利要求1所述的面向异构gpu集群的流水线空闲感知与通信协同调度方法,其特征在于,所述构建用于衡量任务组合在特定共享链路上综合代价的联合评分函数,公式为:

6.根据权利要求5所述的面向异构gpu集群的流水线空闲感知与通信协同调度方法,其特征在于,采用自适应反馈机制对网络通信争抢损耗权重与流水线空闲损耗权重进行跨周期调整,包括:设第个调度周期内网络的拥塞观测量为,gpu算力空闲与流水线气泡观测量为,将第个调度周期的权重更新为:

7.根据权利要求1所述的面向异构gpu集群的流水线空闲感知与通信协同调度方法,其特征在于,所述构建候选gpu资源布局集合,包括:

8.根据权利要求1所述的面向异构gpu集群的流水线空闲感知与通信协同调度方法,其特征在于,所述计算最优资源布局的全局通信偏移量,包括:

9.根据权利要求1所述的面向异构gpu集群的流水线空闲感知与通信协同调度方法,其特征在于,所述对调度策略进行双层下发与闭环自适应调整,上层将错峰通信窗口下发至各任务;下层在任务内部自适应调整h-1f1b流水线预热微批次数量与微批次执行顺序,实现计算与通信的最大化重叠,并通过运行时监控形成闭环迭代优化。

10.根据权利要求9所述的面向异构gpu集群的流水线空闲感知与通信协同调度方法,其特征在于,自适应调整h-1f1b流水线预热微批次数量包括: