一种基于K8S的slurm资源调度优化方法与流程
本发明涉及高性能计算领域,特别是slurm计算集群和云原生k8s集群共存的场景,结合实时slurm和k8s集群负载监测,通过统计slurm请求作业量,设置多级规则,控制作业的等待时间,选择自适应计算资源的方法及系统,减缓slurm请求作业的长期等待问题。
背景技术:
1、在slurm和k8s集群系统共同使用的场景下,使用slurm处理训练模型,k8s用于部署推理模型,充分利用节点资源,在效率、成本和稳定性之间取得良好平衡。
2、传统的方法主要存在以下问题:
3、1.slurm集群在最大化“单次大规模计算任务”的性能和稳定性时,具有很大的性能优势,当slurm集群资源不足,slurm等待任务过多,很久得不到执行,slurm 请求训练任务等待时间过长,而k8s集群节点空闲的时候,形成资源分配不均衡问题。
4、2.完全基于k8s集群部署slurm,虽然解决了资源弹性使用,但计算性能损耗率也大问题,现有k8s方案仅关注充分利用资源,忽略了高效、稳定的使用资源问题,难以充分利用计算资源。
5、slurm和k8s集群混合架构是更务实的选择,亟需一种针对slurm和k8s集群共同部署的场景下,根据实际需求,更高效的利用计算资源的方法。
技术实现思路
1、发明目的
2、本发明旨在提供一种基于slurm集群的负载感知,根据配额、综合评价、分层处理、允许调用时间等规则,自适应调用k8s运行slurm任务的方法,通过融合云原生标准化转换与智能调度,解决slurm集群,在负载压力大的场景下,提升计算效率的难题。
3、该发明根据实时负载指标与配额特征,实现自适应分层调用k8s执行作业,显著提高作业运行效率。
4、技术方案
5、为实现上述目的,本发明提供如下技术方案:
6、一种基于k8s管理slurm负载调度的优化方法,包括以下步骤:
7、步骤s1:实时负载指标采集
8、在k8s集群节点上,部署监控代理,在slurm controller节点上,周期性采集k8s节点的实时负载指标;所述实时负载指标包括:
9、基础资源指标:cpu使用率、内存使用率、磁盘io等待时间、网络带宽占用率
10、k8s可用配额
11、slurm等待任务列表数和等待时间阈值
12、可调用k8s运行slurm任务时间区间
13、步骤s2:对k8s可分配任务估计
14、统计当前slurm等待任务请求的资源数,如等待前一批任务的总请求资源超过slurm集群的资源数量一半的时候,对后续的slurm任务,申请k8s集群运行该任务;查询评估k8s可以资源,依据k8s集群资源的当前状况,调用k8s接口,执行slurm任务。
15、k8s负载资源进行评价,计算可用资源以及已用资源是否超过配额,计算k8s负载感知评分:
16、score(i) = w(i) × value(i) + w(i-1) × value(i-1) + … + w(i-9) ×value(i-9)
17、其中:
18、l w(i) 为当前时间的权重,value(i)为当前时间的实际资源压力值
19、l w(i-1) 为当前一次时间的权重,value (i-1) 为前一次时间的实际资源压力值
20、l 以此类推,越往后的权值越小,对结果的影响越小。
21、也可以根据时间控制,如:9:00~23:00是k8s集群的使用高峰,这一段时间,slurm不会调用k8s资源。
22、步骤s3:调用k8s执行任务
23、查询评估k8s资源充足,可以调用k8s接口,创建pod执行计算任务,并标记该slurm任务已经运行在k8s,不会继续调度到slurm集群执行该任务。
24、步骤s4: k8s执行任务同步状态到slurm
25、k8s创建pod执行slurm计算任务,将任务状态同步到slurm任务状态,将结果放置约定目录,供slurm后续任务读取。
26、有益效果
27、与现有技术对比,本发明具有以下有益效果:
28、针对slurm任务等待分配深度优化:引入了分层调用、实时检查备用资源的可用性等特有指标,使slurm任务调度更加高效,减少slurm任务等待时间。
29、提升资源利用率:在k8s运行推理任务等高峰期间,禁止被slurm调用,在k8s业务低峰期充分利用空闲节点资源,提高slurm任务计算效率。
30、自适应能力强:slurm调用k8s,判断可调用的权重系数可根据可用时间、配额、实时k8s资源剩余状态动态调整。
1.一种基于k8s的slurm资源调度优化方法,其特征在于:
2.根据权利要求1所述的方法,其特征在于,所述实时采集k8s负载指标统计方法、允许时间、还包括slurm等待任务数阈值综合判断指标。
3.根据权利要求1所述的方法,其特征在于,通过要求2综合判断指标,执行slurm调用k8s,检测调用k8s状态。
4.根据权利要求3所述的方法,其特征在于,当k8s pod执行任务、完该slurm任务阶段,更新slurm任务列表状态。
5.一种基于k8s的slurm资源调度优化系统,用于执行权利要求1至4中任一项所述的方法,其特征在于,包括:监控slurm任务列表模块,用于采集k8s的实时负载数据,包括加权评价历史k8s负载分析模块,允许时间,slurm等待任务列表数和等待时间阈值,用于判断是否满足调用k8s执行slurm任务。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com