一种基于机器学习的GPU资源智能调度系统的制作方法
本发明属于gpu集群资源调度与机器学习,尤其涉及一种基于机器学习的gpu资源智能调度系统。
背景技术:
1、随着人工智能模型规模和在线服务请求量不断增加,gpu集群通常需要同时承载具有严格响应时延要求的在线推理任务和持续占用多张gpu的训练任务,不同gpu之间通过nvlink、nvswitch、pcie及节点间网络形成多层互联结构,任务调度结果不仅受到gpu空闲数量和显存容量影响,还受到gpu通信距离、互联链路带宽、显存碎片、服务器功率余量、训练检查点状态和在线推理请求变化的共同影响,因此需要能够结合gpu拓扑结构、任务时延约束和运行状态变化进行资源分配的智能调度系统。
2、现有技术中待改进的问题之一在于:现有gpu资源调度方法通常根据单张gpu的空闲率、计算利用率和剩余显存逐张选择gpu,虽然能够满足任务申请的gpu数量,但未将多张gpu之间的nvlink连接关系、nvswitch通信域、pcie根节点关系、节点间网络剩余带宽及gpu服务器功率余量作为资源组合约束,容易将高通信训练任务分配至跨服务器gpu或者将多个高通信任务集中至同一互联链路,导致gpu数量满足要求但任务通信效率下降,同时以平均任务完成时间和平均gpu利用率作为调度目标,难以保护接近sla边界的在线推理任务。
3、现有技术中待改进的问题之二在于:基于固定规则、离线机器学习模型和离线调度方案库的调度方法依赖历史运行状态,而gpu故障、显存碎片、推理请求突发和训练检查点位置能够形成大量动态组合,离线阶段难以预先枚举全部gpu任务资源映射,遇到历史未覆盖状态时容易出现无可执行调度方案的情况;持续在线强化学习虽然能够重新搜索调度方案,但每个调度周期均从当前资源状态开始探索,存在调度决策耗时较长、相似状态重复搜索以及大规模任务迁移代价未被有效约束的问题。
技术实现思路
1、本发明旨在解决现有gpu资源调度方法以单张gpu空闲状态作为分配依据,未综合考虑nvlink、nvswitch、pcie及节点间网络的拓扑关系,容易将多gpu任务分配至通信距离较远或者互联带宽竞争严重的gpu资源,且统一调度目标难以兼顾在线推理任务的尾部时延和训练任务的运行效率的问题。
2、本发明还旨在解决离线调度模型无法预先覆盖gpu故障、显存碎片、推理请求突发和训练检查点状态形成的全部运行组合,固定调度方案在遇到未覆盖状态时缺少可执行资源映射,持续在线强化学习又存在搜索耗时较长及重复探索的问题。
3、为解决上述技术问题,本发明提供一种基于机器学习的gpu资源智能调度系统,包括gpu拓扑运行数据采集模块、gpu拓扑复用组构建模块、强化学习资源组调度模块、gpu调度可达图管理模块、未覆盖状态在线扩展模块和调度执行反馈模块。
4、gpu拓扑运行数据采集模块采集gpu计算资源占用状态、显存占用状态、最大连续可分配显存、gpu健康状态、gpu服务器功率余量、nvlink带宽利用状态、nvswitch带宽利用状态、pcie链路利用状态、节点间网络带宽、任务资源申请量、任务等待时间、在线推理请求量、训练任务检查点数据量和训练任务当前迭代状态,按照gpu、gpu服务器、互联链路和运行任务之间的对应关系生成gpu拓扑运行数据集。
5、gpu拓扑复用组构建模块根据等待任务的gpu数量需求、显存需求、并行计算模式和通信模式,从gpu拓扑运行数据集中生成多个候选gpu资源组合,根据候选gpu资源组合涉及的互联链路剩余带宽、gpu服务器功率余量和共同运行任务的预测资源需求计算gpu拓扑复用冲突量,剔除不满足资源约束的候选gpu资源组合,生成可调度gpu拓扑复用组集合。
6、强化学习资源组调度模块根据在线推理队列状态、训练任务队列状态、gpu拓扑复用冲突量、候选gpu拓扑复用组状态和预测任务执行时间生成强化学习状态,通过近端策略优化网络从可调度gpu拓扑复用组集合中选取目标gpu拓扑复用组,并根据在线推理任务的最大允许完成时延、当前等待时间和预测执行时间计算推理任务最小剩余时延裕量。
7、gpu调度可达图管理模块将经过运行验证的gpu任务资源映射记录为gpu调度节点,将推理副本增减、训练任务暂停、训练任务迁移、训练任务恢复、gpu资源重新绑定和故障gpu摘除形成的资源映射转换关系记录为映射转换边,根据任务迁移数据量、训练迭代损失和gpu资源重新配置时间计算不同gpu调度节点之间的调度重构代价。
8、未覆盖状态在线扩展模块根据gpu调度可达图中各候选gpu调度节点对应的预测推理p99时延、调度重构代价和gpu拓扑复用冲突量计算调度图覆盖缺口,当gpu调度可达图中不存在满足当前运行约束的gpu调度节点时,以当前gpu任务资源映射为起点,通过在线强化学习搜索推理副本增减、训练任务暂停、训练任务迁移、训练任务恢复、gpu资源重新绑定和故障gpu摘除动作,生成新增gpu调度节点和新增映射转换边。
9、调度执行反馈模块执行目标gpu调度节点对应的gpu任务资源映射,采集执行后的推理p99时延、训练任务完成进度、互联链路负荷、任务迁移耗时和gpu资源利用状态,根据实际运行结果更新任务资源需求预测参数、强化学习资源组调度参数和gpu调度节点有效状态。
10、本发明有益效果如下:
11、(1)根据gpu互联拓扑、互联链路剩余带宽、连续显存和gpu服务器功率余量构建gpu拓扑复用组,并以gpu拓扑复用组作为强化学习调度的基本动作单位,能够避免仅按照单卡空闲率分配多gpu任务产生的跨拓扑通信和共享资源竞争,提高多gpu任务的通信效率及gpu资源利用率。
12、(2)通过近端策略优化网络联合评价gpu拓扑复用冲突量、在线推理队列状态和训练任务等待状态,并利用推理任务最小剩余时延裕量表征在线推理任务距离时延边界的剩余空间,使gpu资源调度优先保护接近sla边界的在线推理任务,降低推理p99时延及sla违反率。
13、(3)将经过运行验证的gpu任务资源映射构建为gpu调度可达图,利用调度重构代价限制大规模任务状态迁移和训练迭代损失,在gpu调度可达图无法覆盖当前运行状态时启动在线强化学习局部扩图,并将新增gpu调度节点写入gpu调度可达图,实现未知运行状态的在线适应和相似运行状态的直接复用,解决固定离线调度模型覆盖不足及持续在线强化学习重复搜索的问题。
1.一种基于机器学习的gpu资源智能调度系统,其特征在于,包括gpu拓扑运行数据采集模块、gpu拓扑复用组构建模块、强化学习资源组调度模块、gpu调度可达图管理模块、未覆盖状态在线扩展模块和调度执行反馈模块;
2.根据权利要求1所述的基于机器学习的gpu资源智能调度系统,其特征在于,所述gpu拓扑运行数据集包括gpu计算利用率、显存占用量、最大连续可分配显存、gpu健康状态、gpu服务器功率余量、nvlink链路利用率、nvswitch交换负荷、pcie链路利用率、节点间网络带宽、任务资源申请量、任务等待时间、在线推理请求量、训练任务检查点数据量和训练任务当前迭代状态;
3.根据权利要求2所述的基于机器学习的gpu资源智能调度系统,其特征在于,所述gpu拓扑复用组构建模块按照同一nvswitch通信域、同一pcie根节点通信域、同一gpu服务器通信域和跨gpu服务器通信域的顺序搜索满足gpu数量、最大连续可分配显存和gpu健康状态约束的候选gpu资源组合;
4.根据权利要求3所述的基于机器学习的gpu资源智能调度系统,其特征在于,所述强化学习状态包括在线推理请求到达速率、在线推理队列等待时间、训练任务等待时间、任务gpu数量需求、候选gpu拓扑复用组的空闲显存、最大连续可分配显存、gpu拓扑复用冲突量、预测任务执行时间和当前gpu调度节点标识;
5.根据权利要求1所述的基于机器学习的gpu资源智能调度系统,其特征在于,所述gpu调度节点记录gpu与任务的绑定关系、推理副本数量、训练任务运行状态、故障gpu隔离状态、适用请求量区间、适用显存区间、适用互联带宽区间、预测推理高分位时延和最近一次成功执行时间;
6.根据权利要求5所述的基于机器学习的gpu资源智能调度系统,其特征在于,所述调度重构代价根据gpu调度节点转换过程中需要迁移的模型参数量、kv缓存量、优化器状态量和检查点数据量、训练任务从最近一次有效检查点至当前训练迭代位置之间的迭代损失量以及gpu资源完成容器启动、gpu重新绑定和cuda上下文恢复所需的时间生成;
7.根据权利要求6所述的基于机器学习的gpu资源智能调度系统,其特征在于,所述调度图覆盖缺口根据采用候选gpu调度节点后的预测推理高分位时延与允许高分位时延之间的比值、当前gpu调度节点转换至候选gpu调度节点的调度重构代价以及候选gpu调度节点对应的gpu拓扑复用冲突量生成;
8.一种基于权利要求1至7任一项所述的基于机器学习的gpu资源智能调度系统实施的gpu资源智能调度方法,其特征在于,包括以下步骤:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com