一种异构大语言模型微调的自适应GPU编排方法及系统

摘要: 本发明属于大语言模型训练与gpu资源管理,特别涉及一种异构大语言模型微调的自适应gpu编排方法及系统。背景技术:1、随着大语言模型和参数高效微调技术的发展,gp...
一种异构大语言模型微调的自适应GPU编排方法及系统

本发明属于大语言模型训练与gpu资源管理,特别涉及一种异构大语言模型微调的自适应gpu编排方法及系统。

背景技术:

1、随着大语言模型和参数高效微调技术的发展,gpu集群中的微调任务呈现模型规模、微调方式和数值精度多样化的特点,不同任务对gpu显存及计算资源的需求存在较大差异。传统调度方法通常以整张gpu作为最小资源分配单位,容易造成轻量微调任务的gpu资源闲置;同时,多gpu大模型微调任务又需要满足模型并行和gpu拓扑约束。

2、现有方法还存在运行时间难以稳定预测、不同类型任务直接共享gpu容易产生资源干扰以及直接采用形式化求解处理大规模任务时搜索空间快速增长等问题,从而难以同时兼顾复杂任务的隔离性、简单任务的细粒度共享和在线调度效率。此外,人工编写gpu绑定、显存配额及分布式环境配置容易产生配置错误,难以适应动态变化的gpu集群环境。

3、综上,现有技术难以同时解决异构微调任务的gpu显存需求预测、任务分类、混合资源分配以及舵手(kubernetes)配置自动生成问题。因此,需要一种能够根据任务显存需求对复杂任务和简单任务采用差异化资源分配方式,并结合任务预选、gpu拓扑感知和细粒度gpu共享实现混合资源编排的自适应gpu编排方法。

4、需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、为了解决或至少缓解以上问题中的一个或多个,提供了一种异构大语言模型微调的自适应gpu编排方法及系统,能够根据任务显存需求将复杂任务和简单任务采用不同的gpu资源分配方式,并结合任务预选、gpu拓扑感知和细粒度gpu共享实现混合资源编排,自动生成kubernetes部署配置,从而提高gpu资源利用效率、降低异构任务间的资源干扰和调度配置开销。

2、为实现上述目的,按照本发明的第一方面,提供一种异构大语言模型微调的自适应gpu编排方法,包括以下步骤:

3、s1、获取待调度的大语言模型微调任务的任务配置参数以及gpu集群的实时资源状态;

4、s2、利用gpu显存需求预测模型,根据所述任务配置参数预测各待调度任务的gpu显存需求,并依据预测得到的gpu显存需求与单张gpu显存容量的比较结果,将待调度任务划分为复杂任务和简单任务;

5、s3、对所述复杂任务进行预选以缩小形式化求解的任务集合,并基于gpu之间的拓扑关系对预选出的复杂任务执行多gpu资源分配,使同一复杂任务所使用的gpu优先分配于同一服务器内;

6、s4、根据复杂任务资源分配后的剩余资源状态,对所述简单任务进行预选,并在剩余gpu显存空间内基于细粒度gpu共享执行资源分配,使多个简单任务在同一物理gpu上隔离运行;

7、s5、将资源分配结果转换为kubernetes部署配置,并按照所述kubernetes部署配置启动对应的微调任务;

8、s6、在任务部署或完成后更新gpu集群资源状态,并进入下一调度周期。

9、进一步地,s1中,所述任务配置参数至少包括微调方式、模型规模和数值精度;所述gpu集群的实时资源状态至少包括节点cpu与内存资源、gpu物理标识、gpu显存总容量、gpu显存使用量和gpu计算利用率;将所述实时资源状态按照节点标识与gpu物理标识进行关联,形成统一的gpu资源状态表,并在每个调度周期开始时读取所述gpu资源状态表,以读取时刻的资源状态作为当前调度周期任务预选和资源分配的依据。

10、进一步地,s2中,采用随机森林回归模型作为所述gpu显存需求预测模型,以微调方式、模型规模和数值精度作为输入特征,以任务运行过程中的gpu显存占用作为监督信息离线训练得到;当第j个任务的gpu显存需求预测值大于单张gpu显存容量时,将第j个任务划分至复杂任务集合,当第j个任务的gpu显存需求预测值小于或等于单张gpu显存容量时,将第j个任务划分至简单任务集合。

11、进一步地,s3中,对所述复杂任务进行预选,包括:

12、按照gpu显存需求预测值对复杂任务进行降序排列;

13、对每个复杂任务的gpu显存需求预测值与单张gpu显存容量的比值向上取整,得到该复杂任务所需的gpu数量;

14、按照降序排列的顺序,在当前可用gpu数量满足当前复杂任务所需的gpu数量时,将该复杂任务加入复杂任务候选集合,在当前可用gpu数量不满足当前复杂任务所需的gpu数量时,该复杂任务不进入当前调度周期的资源求解集合。

15、进一步地,基于gpu之间的拓扑关系对预选出的复杂任务执行多gpu资源分配,包括:

16、根据任意两张gpu是否位于同一服务器建立gpu拓扑矩阵;采用第一二值变量表示gpu是否被分配给复杂任务;

17、在每张gpu在当前分配阶段至多被一个复杂任务使用、且每个复杂任务获得其所需数量gpu的约束下,以同一复杂任务使用不同服务器gpu所产生的拓扑通信代价最小为优化目标进行求解;

18、将求解得到的gpu分配给对应的复杂任务后执行资源锁定,并将所述gpu从后续简单任务资源分配的候选资源中排除。

19、进一步地,s4中,对所述简单任务进行预选并在剩余gpu显存空间内执行资源分配,包括:

20、将已被复杂任务独占使用的gpu的可用显存设置为零,未被复杂任务使用的gpu保留其当前可用显存,得到复杂任务资源锁定后的剩余资源状态;

21、采用第二二值变量表示简单任务是否进入当前调度周期,在预选任务的总gpu显存需求不超过集群剩余gpu显存容量的约束下,以当前调度周期内同时部署的简单任务数量最大为优化目标执行0-1背包预选;

22、采用第三二值变量表示简单任务是否部署于物理gpu,在每个简单任务至多使用一张物理gpu、且每张gpu上所有简单任务的总显存需求不超过该gpu可用显存的约束下,联合优化已部署任务数量与启用gpu数量,使多个简单任务集中部署于较少的物理gpu。

23、进一步地,s4中,基于细粒度gpu共享执行资源分配,包括:

24、对简单任务采用细粒度虚拟gpu进行资源隔离和共享,为每个简单任务设置与其gpu显存需求预测值相对应的gpu显存配额,使同一物理gpu同时承载多个简单任务;对于任一简单任务,不跨多个物理gpu聚合分散的显存资源以完成单个任务。

25、进一步地,s5中,将资源分配结果转换为kubernetes部署配置,包括:

26、利用参数化kubernetes配置模板,将资源分配结果对应的gpu物理标识、gpu显存配额以及cpu和内存资源写入pod配置,生成微调任务部署清单;

27、针对复杂任务,将被分配gpu的物理标识写入gpu绑定字段并将完整gpu显存容量作为资源上限,生成多gpu模型并行参数,并在该复杂任务的多个工作pod均满足启动条件后初始化分布式训练环境;

28、针对简单任务,将目标gpu物理标识写入gpu绑定字段并将该简单任务的gpu显存需求预测值写入细粒度显存配额字段,使该简单任务对应的pod进入运行状态后执行微调训练。

29、进一步地,s6中,更新gpu集群资源状态,包括:

30、在任务启动或任务完成事件发生后重新同步gpu集群的全局资源状态,扣除已启动任务占用的gpu显存、cpu和内存资源,并释放已完成任务占用的gpu资源;对于同一物理gpu上承载的多个简单任务,在任意一个简单任务启动或完成后,重新统计该gpu上的任务数量及各任务对应的显存配额并更新该gpu的剩余资源状态;

31、对于复杂任务,待其全部工作pod退出并释放资源后,将对应的多张gpu重新加入可用gpu资源集合;当监测到任务因显存预测不足而执行失败时,终止该任务对应的pod,为该任务重新分配增加的显存资源后重新提交该任务,并记录该任务的执行数据,用于更新所述gpu显存需求预测模型。

32、为实现上述目的,按照本发明的第二方面,提供一种异构大语言模型微调的自适应gpu编排系统,所述系统包括:

33、任务与资源获取模块,用于获取待调度的大语言模型微调任务的任务配置参数以及gpu集群的实时资源状态;

34、显存需求预测与任务分类模块,用于利用gpu显存需求预测模型,根据所述任务配置参数预测各待调度任务的gpu显存需求,并依据预测得到的gpu显存需求与单张gpu显存容量的比较结果,将待调度任务划分为复杂任务和简单任务;

35、复杂任务编排模块,用于对所述复杂任务进行预选以缩小形式化求解的任务集合,并基于gpu之间的拓扑关系对预选出的复杂任务执行多gpu资源分配,使同一复杂任务所使用的gpu优先分配于同一服务器内;

36、简单任务编排模块,用于根据复杂任务资源分配后的剩余资源状态,对所述简单任务进行预选,并在剩余gpu显存空间内基于细粒度gpu共享执行资源分配,使多个简单任务在同一物理gpu上隔离运行;

37、部署配置生成模块,用于将资源分配结果转换为kubernetes部署配置,并按照所述kubernetes部署配置启动对应的微调任务;

38、资源状态更新模块,用于在任务部署或完成后更新gpu集群资源状态,并进入下一调度周期。

39、采用上述技术方案后,本发明与现有技术相比具有以下有益效果。

40、本发明通过对gpu显存需求进行预测并据此将异构微调任务划分为复杂任务和简单任务,使资源需求差异较大的任务分别采用不同的资源分配机制,避免了以整张gpu作为最小分配单位对所有任务统一分配所造成的gpu资源闲置。

41、本发明通过对复杂任务执行预选并基于gpu拓扑关系执行多gpu资源分配,在满足复杂任务gpu数量需求的前提下优先将同一复杂任务的gpu部署于同一服务器内部,减少了跨服务器分布式训练产生的网络通信开销,同时通过预选缩小了形式化求解的问题规模,提高了在线调度效率。

42、本发明通过对简单任务执行预选并基于细粒度gpu共享执行资源分配,使多个显存需求较小的简单任务能够在同一物理gpu上隔离运行,并将简单任务集中部署于较少的物理gpu,保留了更多连续空闲的整卡资源,从而降低异构任务之间的资源干扰并提高gpu资源的整体利用效率。

43、本发明通过参数化kubernetes配置模板自动生成gpu绑定、显存配额以及分布式运行参数,减少了人工编写gpu资源配置和分布式环境配置产生的错误;并通过在任务部署或完成后更新gpu集群资源状态形成事件驱动的循环调度,使调度器能够根据gpu集群实时资源变化持续进行资源编排。

44、下面结合附图对本发明的具体实施方式作进一步详细的描述。