训推混部资源调度方法及电子设备与流程
本技术涉及图形处理器资源调度领域,尤其涉及一种训推混部资源调度方法及电子设备。
背景技术:
1、大语言模型服务通常同时承载在线推理任务和离线训练任务。在线推理任务具有首词生成时间敏感、请求到达突发、上下文长度变化大等特点,其键值缓存会随输入词元和输出词元的增长持续扩张,并以块为单位占用显存;离线训练任务则运行时间长、按迭代执行,且常在一个微批或一个微阶段内形成较高的瞬时显存峰值,还会在梯度归并和参数同步阶段占用大量互连带宽。二者共用图形处理器集群时,不仅竞争计算单元,还竞争显存容量、显存带宽以及处理器间互连带宽。
2、现有混部调度方案通常按固定比例或固定配额为推理和训练分别预留显存,或者依据当前显存余量、当前处理器利用率决定是否允许训练任务进入,并在推理压力升高时以整作业、整进程或整个训练轮次为粒度暂停训练。上述方式共同的局限在于:仅凭某一时刻的剩余显存或平均利用率,难以准确反映未来短时间内的资源冲突风险,容易在长上下文请求或突发请求到达后出现显存分配失败;同时,以作业级或进程级粒度进行抢占,无法区分前向、反向、梯度归并、参数更新和通信等不同训练阶段的恢复成本,一旦抢占就需要重建大量中间状态,恢复耗时长,且训练任务缺乏可验证完成的短时安全窗口约束,容易出现启动即被打断的抖动现象,造成无效加载和推理时延劣化。
技术实现思路
1、本技术实施例提供一种训推混部资源调度方法及电子设备,以至少部分的解决上述技术问题。
2、为了实现上述目的,根据本技术的第一方面,提供一种训推混部资源调度方法,包括:
3、获取在线推理任务与离线训练任务共享的图形处理器的资源状态;
4、基于所述资源状态,预测所述在线推理任务在未来多个调度时间片内的显存占用,得到推理显存预测上界;
5、基于所述推理显存预测上界,确定推理保留额度,并基于所述推理保留额度确定训练可借用显存上限;
6、基于所述训练可借用显存上限,对所述离线训练任务中的训练微阶段进行准入判定;其中,根据由连续的未来多个调度时间片构成的安全窗口对训练微阶段的预计完成时长的覆盖情况,判断所述训练微阶段是否通过所述准入判定;
7、针对通过所述准入判定并已进入运行状态的所述训练微阶段,当所述在线推理任务的资源需求上升时,使正在运行的所述训练微阶段运行至安全点后暂停,释放所述训练微阶段占用的显存,并使所述在线推理任务已占用的显存维持占用状态,以及在满足恢复条件时从所述安全点恢复运行。
8、在一些实施例中,所述预测所述在线推理任务在未来多个调度时间片内的显存占用,得到推理显存预测上界,包括:
9、针对每个活动推理请求,确定其词元增长率;
10、根据当前词元数、所述词元增长率、时间片长度和预计释放量,计算所述图形处理器在未来各调度时间片的点预测显存;
11、基于历史预测残差,对所述点预测显存叠加预测误差保护量,得到所述推理显存预测上界。
12、在一些实施例中,所述确定词元增长率,包括:
13、根据最近w个调度周期的实际词元增量,采用加权中位数计算稳健增长率,其中,越接近当前调度周期的样本的权重越高;
14、当历史数据不足时,从相同模型、相同上下文长度分桶和相同优先级分桶中取得保守分位增长率;
15、将所述稳健增长率或所述保守分位增长率作为所述词元增长率。
16、在一些实施例中,所述基于历史预测残差,对所述点预测显存叠加预测误差保护量,包括:
17、根据最近p次相同预测提前量的残差,计算高分位绝对误差或标准差保护值;
18、计算所述高分位绝对误差或标准差保护值与预设置信系数的乘积,得到所述预测误差保护量。
19、在一些实施例中,所述对所述离线训练任务中的训练微阶段进行准入判定,包括:
20、将训练迭代预先拆分为前向、反向、梯度归并、参数更新和通信微阶段,并为每一所述训练微阶段记录峰值显存、预计完成时长和带宽需求;
21、获取所述图形处理器的服务等级目标剩余裕量和可用互连带宽;
22、由满足预设条件的所述未来连续调度时间片构成所述安全窗口,其中,所述预设条件包括:所述训练可借用显存上限大于或等于所述峰值显存、所述服务等级目标剩余裕量大于或等于设定阈值,且所述可用互连带宽大于或等于所述带宽需求;
23、当所述安全窗口的长度大于或等于所述预计完成时长时,所述训练微阶段通过所述准入判定;当所述安全窗口的长度小于所述预计完成时长时,所述训练微阶段维持等待状态。
24、在一些实施例中,所述基于所述推理显存预测上界,确定推理保留额度,并基于所述推理保留额度确定训练可借用显存上限,包括:
25、根据所述推理显存预测上界、碎片保护量和服务等级目标保护量生成推理保留额度;
26、计算所述图形处理器的总显存与预设锁定显存和所述推理保留额度的差值,得到所述训练可借用显存上限。
27、在一些实施例中,所述碎片保护量的确定方式包括:
28、根据预测窗口内最大单次键值缓存申请,确定最小连续块数;
29、由连续空闲块直方图计算满足所述最小连续块数连续性的可用块数量;
30、当所述可用块数量低于目标分配成功概率对应的阈值时,计算块数缺口与块大小的乘积,得到所述碎片保护量。
31、在一些实施例中,所述当所述在线推理任务的资源需求上升时,使正在运行的所述训练微阶段运行至安全点后暂停,释放所述训练微阶段占用的显存,包括:
32、当所述推理保留额度大于或等于预设高阈值、或预测误差连续n个调度周期超限、或服务等级目标剩余裕量小于或等于下限时,判定所述在线推理任务的资源需求上升;
33、按恢复代价从低到高,依次释放临时工作区、可重建缓存及通信缓冲区,将激活值迁移至主存,将梯度分片和优化器分片写入高速本地存储,并原子持久化恢复描述符;
34、其中,所述在线推理任务已占用的显存中的键值缓存块在所述释放过程中维持占用状态。
35、在一些实施例中,所述满足恢复条件,包括:
36、所述推理保留额度小于或等于预设低阈值;
37、连续k个调度周期内,所述训练微阶段均通过所述准入判定;且
38、所述预测误差小于或等于恢复误差阈值。
39、第二方面,提供一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够实现如上所述的方法。
40、本技术实施例的训推混部资源调度方法,通过以未来多个调度时间片上的推理显存预测上界代替当前瞬时占用进行资源决策,将训练微阶段限制在可验证完成的连续安全窗口内,并在安全点完成训练资源的暂停与恢复,能够在冲突发生前约束训练资源借用,减少训练启动即中断的无效执行,在保持推理显存占用稳定的前提下完成训练状态的释放与恢复,从而提升训推混部场景下推理时延的稳定性和训练吞吐。
41、本技术的其他特征和优点将在随后的具体实施方式部分予以详细说明。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com