一种面向大模型训练的关键路径算网调度方法与流程

摘要: 本公开涉及大模型分布式训练与算网资源调度,尤其是涉及一种面向大模型训练的关键路径算网调度方法。背景技术:1、在大模型分布式训练中,多gpu服务器集群需要协同完成...
一种面向大模型训练的关键路径算网调度方法与流程

本公开涉及大模型分布式训练与算网资源调度,尤其是涉及一种面向大模型训练的关键路径算网调度方法。

背景技术:

1、在大模型分布式训练中,多gpu服务器集群需要协同完成训练任务。训练损失反映预测结果与目标答案之间的差距,梯度作为损失对模型参数的导数,决定了参数调整的方向和幅度。目前,梯度通信通常采用固定容量分组方式,即将不同层的梯度合并为一个通信分组,但分组传输必须等组内所有梯度全部就绪后才能开始。举例来说,若从梯度计算开始计时,第12层参数p12的梯度在10毫秒完成,第11层参数p11的梯度在30毫秒完成,两层合并后,p12的梯度将等待20毫秒。这种固定分组边界未能适配各层梯度实际就绪时刻,导致已完成的梯度只能滞留显存,跨gpu同步被迫延后。一旦该组同步阻塞了参数更新,单次训练迭代时间就会增加,gpu计算资源与链路带宽也会出现空闲等待。此外,现有技术中gpu计算资源与链路带宽的资源优先级通常是固定不变的,无法根据训练阶段的实际瓶颈动态切换计算优先或通信优先的硬件执行容器,进一步加剧了资源空闲等待。

2、因此,亟需一种面向大模型训练的关键路径算网调度方法,以解决固定容量分组以及资源优先级固定导致的梯度分组与计算、通信时序失配引起的gpu计算资源与链路带宽空闲等待问题,缩短大模型分布式训练的单次迭代时间。

技术实现思路

1、有鉴于此,为了解决现有技术带来的问题,本公开提供了一种面向大模型训练的关键路径算网调度方法。

2、第一方面,本公开提供一种面向大模型训练的关键路径算网调度方法,所述方法包括:

3、s1:采集训练任务依赖、现行分组、梯度数据量、任务起止时刻、调度重配置耗时及算网资源容量与占用情况,按迭代编号和参数标识对齐,形成调度状态集;

4、s2:依据所述调度状态集构建训练执行图,并利用任务规模、资源占用及历史耗时拟合耗时预测模型,所述耗时预测模型用于预测不同硬件执行容器下的训练耗时;

5、s3:将所述训练执行图和所述耗时预测模型输入关键路径模型预测控制框架,得到迭代结束时间预测值,并识别决定所述迭代结束时间预测值的关键路径;

6、s4:以所述关键路径上尚未进入任何设备执行队列的通信分组为调整对象,形成候选分组方案,每个候选分组方案对应一种硬件执行容器,在满足任务依赖、gpu显存容量、设备并发容量及链路带宽容量约束下,根据所述耗时预测模型预测的训练耗时,为所述候选分组方案选择适配的硬件执行容器,选取参数更新完成时刻最小的方案形成控制序列;

7、s5:全体参与设备确认所述控制序列后,在任务边界执行所述控制序列的首项动作,并按照所述控制序列所指示的硬件执行容器进行gpu计算资源与链路带宽资源的切换,所述任务边界为旧通信结束、新分组待提交的位置;

8、s6:以根据任务起止时刻得到的实测耗时和资源占用刷新所述调度状态集,修正耗时预测模型,重新预测关键路径并生成下一控制序列,持续滚动执行至参数更新完成。

9、可选地,所述s1包括:

10、通过训练框架提供的自动求导图接口读取计算图,提取前向计算节点、反向梯度计算节点以及参数更新节点之间的数据依赖关系,形成任务依赖记录;读取现行分组表,确定每个通信分组所包含的梯度参数标识、参与设备以及归约方式,形成现行分组记录,并按照模型参数名称统一参数标识;

11、按照设备号、迭代号、参数标识和任务编号匹配任务起止事件,并将gpu事件时间映射到所在服务器的主机时钟后换算为本轮相对时间,得到任务起止时刻;登记各梯度数据量,形成梯度数据量记录;获取调度重配置耗时及算网资源容量与占用情况;

12、将所述任务依赖记录、所述现行分组记录、所述梯度数据量记录、所述任务起止时刻、所述调度重配置耗时以及所述算网资源容量与占用情况按迭代编号和参数标识对齐,形成所述调度状态集,所述算网资源包括gpu计算单元、显存和链路带宽。

13、可选地,所述s2包括:

14、根据所述调度状态集中的任务依赖记录、现行分组记录和算网资源容量与占用情况,从所述任务依赖记录中提取计算任务、梯度同步任务和参数更新任务以及数据依赖关系,从所述算网资源容量与占用情况中得到资源执行顺序,以计算任务、梯度同步任务及参数更新任务分别作为梯度计算节点、通信分组同步节点及参数更新节点,以所述数据依赖关系和所述资源执行顺序作为图边,构建训练执行图;

15、按照所述数据依赖关系连线,根据所述现行分组记录使同一通信分组的各梯度计算节点均指向该通信分组的同步节点,该同步节点指向对应的参数更新节点;将串行队列内的任务按提交顺序连线,并依据所述资源执行顺序添加资源执行顺序边;

16、选取所述调度状态集中起止事件完整的已完成任务作为历史样本,对梯度同步任务按参与设备、通信算法及精度分类,采用非负最小二乘法拟合通信耗时预测模型;对计算及参数更新任务,在固定输入形状下按设备、参数和任务类型,根据gpu占用率与实测耗时拟合耗时预测模型;

17、其中,所述硬件执行容器包括计算优先容器和通信优先容器,所述计算优先容器为gpu计算单元分配较高的资源优先级,所述通信优先容器为链路带宽分配较高的资源优先级,所述耗时预测模型分别预测所述计算优先容器和所述通信优先容器下的训练耗时。

18、可选地,所述s3包括:

19、将所述训练执行图和所述耗时预测模型输入关键路径模型预测控制框架,预测区间覆盖当前时刻至本次参数更新完成;

20、沿所述训练执行图的图边递推各节点完成时刻,得到迭代结束时间预测值;从达到所述迭代结束时间预测值的参数更新节点开始反向追溯,将决定该预测值的最长依赖链确定为关键路径;

21、在反向追溯时,若遇到已完成节点,则以该节点的实测完成时刻作为回溯边界,若遇到尚未进入任何设备执行队列的节点,则将该节点及其后续边记入关键路径作为可调整对象。

22、可选地,所述沿所述训练执行图的图边递推各节点完成时刻包括:

23、对于通信分组,分组就绪时刻取组内各梯度计算任务完成时刻中的最大值,其中已完成任务取实测完成时刻,其余任务取预测完成时刻;

24、对于尚未启动的节点,启动时刻取当前时刻、数据前置节点的最晚完成时刻、资源释放时刻,以及该节点为通信节点时其所属通信分组的分组就绪时刻中的最大值;所述预测完成时刻取所述启动时刻与所述节点的执行耗时之和;所述资源释放时刻为该节点所需资源额度首次同时可用的预测时刻。

25、可选地,所述s4包括:

26、筛选所述关键路径上尚未进入任何设备执行队列的通信分组作为调整对象,保持已提交通信分组按原计划执行并约束新组起点;对于筛出的通信分组,若组内各梯度预测完成时刻相同,则保持原分组;若组内各梯度预测完成时刻不同,则按预测完成时刻的先后确定候选边界的优先顺序,使较早完成的梯度优先组成新组;

27、在组内梯度之间插入边界和/或删除相邻分组边界,形成候选分组方案,每个候选分组方案对应一种硬件执行容器,根据所述耗时预测模型预测的训练耗时,为所述候选分组方案选择适配的硬件执行容器,当预测到gpu计算资源成为瓶颈时选择计算优先容器,当预测到链路带宽成为瓶颈时选择通信优先容器;联合调整未提交计算任务的启动时刻、通信顺序和gpu链路带宽份额,并满足任务依赖、gpu显存容量、设备并发容量及链路带宽容量约束,其中删除相邻分组边界时两个分组均尚未进入任何设备执行队列且参与设备、归约方式及数据类型一致;对每个候选分组方案,按参与gpu逐一统计待同步参数的归属次数,剔除存在遗漏或重复的方案,并更新同步节点及图边,重新预测全部路径的完成时刻;

28、在重新预测时计入通信启动、分组重建及方案切换开销,并将原执行方案同时参加比较;选取参数更新完成时刻最小的方案,按动作执行时刻组织选中方案,形成控制序列。

29、可选地,所述s5包括:

30、为所述控制序列分配配置代号和递增版本号,各参与设备根据版本号确定是否接受所述控制序列,若本地仍有旧版本任务尚未执行至任务边界,则待旧版本任务到达任务边界后再核对并回报;

31、对所述控制序列的配置确认包括准备阶段和提交阶段,在所述准备阶段,各参与设备在保护旧通信入口的条件下核对所述控制序列并预留资源配置,返回准备确认;在所述提交阶段,调度器汇齐准备确认及旧通信实际完成确认后,取计划起点、全体准备确认收齐时刻和各gpu边界确认到达时刻中的最晚者作为首项切换的最早允许起点;

32、在所述任务边界执行所述首项动作中的重建切换,并按照所述控制序列所指示的硬件执行容器,进行gpu计算资源与链路带宽资源的切换,各参与设备完成切换后回报生效,调度器收齐生效回执后开放新通信入口,使梯度同步满足组内实际就绪条件及统一通信顺序。

33、可选地,所述s6包括:

34、接收各参与设备回送的实测耗时和资源占用,按迭代号、任务标识和版本号刷新所述调度状态集;

35、按计算、梯度同步和参数更新区分任务类型,梯度同步任务进一步按数据量、参与设备及带宽配置区分,计算同一任务类型的实测耗时与未修正预测耗时的差值,并按指数加权移动平均更新该任务类型的类型偏差;

36、将所述类型偏差叠加至耗时预测模型的未修正输出,得到修正耗时,并依据所述修正耗时和刷新后的调度状态集重新预测关键路径;

37、生成下一控制序列时,仅将仍位于关键路径且尚未进入任何设备执行队列的通信分组作为候选调整对象,若前一次控制序列的首项动作已执行且对应通信分组已提交,则该通信分组及其前置计算任务不再参与分组边界调整;持续滚动执行至本次参数更新完成。

38、第二方面,本公开提供一种电子设备,所述电子设备包括存储器和至少一个处理器,所述存储器存储有计算机程序,所述处理器用于执行所述计算机程序以实现上述第一方面的方法。

39、第三方面,本公开提供一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被执行时实现上述第一方面的方法。

40、本公开的有益效果在于,与现有技术相比,本公开具有以下优点:

41、通过采集训练任务依赖、现行分组、梯度数据量、任务起止时刻、调度重配置耗时及算网资源容量与占用情况,按迭代编号和参数标识对齐形成调度状态集,并据此构建训练执行图、拟合耗时预测模型;进而将训练执行图和耗时预测模型输入关键路径模型预测控制框架,预测迭代结束时间预测值并识别关键路径;以关键路径上尚未进入任何设备执行队列的通信分组为调整对象,形成候选分组方案,在满足任务依赖、gpu显存容量、设备并发容量及链路带宽容量约束下,选取参数更新完成时刻最小的方案形成控制序列;经全体参与设备确认后在任务边界执行首项动作,并利用实测耗时和资源占用刷新调度状态集、修正耗时预测模型,重新预测关键路径并生成下一控制序列,持续滚动执行至参数更新完成。由此解决了固定容量分组导致已就绪梯度滞留显存、跨gpu同步延后以及梯度分组与计算、通信时序失配的问题,通过根据训练耗时动态选择并切换计算优先容器与通信优先容器,使gpu计算单元与链路带宽的资源分配与当前训练阶段适配,提升了训练过程中硬件的执行效果,减少了gpu计算资源与链路带宽的空闲等待,缩短了大模型分布式训练的单次迭代时间。