一种多租户场景下的异构算力调度方法与流程
本发明涉及算法调度,尤其涉及一种多租户场景下的异构算力调度方法。
背景技术:
1、随着人工智能、科学计算与大数据分析的深度融合,智算中心、企业研发平台及高校计算中心普遍面临异构算力,如gpu、npu、fpga、cpu等的统一调度挑战,现有方案通常将gpu、fpga等视为独立、不可分的物理设备进行分配,任务必须明确声明所需设备的类型和数量,调度器按整卡粒度将设备逐一绑定给租户,难以感知设备内部的拓扑结构,无法为分布式训练等任务自动匹配高速互联的卡组,多数系统采用静态配额方式对租户进行隔离,导致一个租户空闲时,其占用的加速卡也无法被其他租户临时借用,造成资源浪费,租户提交任务时,通常被要求精确指定所需硬件型号、数量和运行时间,对于非专业租户,构成了很高的使用门槛。
2、中国专利申请公开号:cn114356543a,公开了一种基于kubernetes的多租户机器学习任务资源调度方法,对不同租户可使用的算力资源进行配额管理,同时监测kubernetes平台中各node节点资源状态信息,考虑节点所在宿主机的资源利用率的问题,避免出现调度结果不准确的问题,同时通过监测实时调度和预调度request需求信息,根据调度任务需求信息对各node节点进行优先级排序,获取最优节点的主机标签,根据标签对各类机器学习模型训练与预测任务的资源需求进行合理分配。
3、但是,现有技术中还存在以下问题:未考虑到在面向多租户的异构算力集群中,对租户的需求进行精细化拆分匹配而产生供需错配,导致算力利用率差。
技术实现思路
1、为此,本发明提供一种多租户场景下的异构算力调度方法,用以克服现有技术中未考虑到在面向多租户的异构算力集群中,对租户的需求进行精细化拆分匹配而产生供需错配,导致算力利用率差的问题。
2、为实现上述目的,本发明提供一种多租户场景下的异构算力调度方法,包括:
3、获取租户输入的文本信息,基于领域知识库和文本信息对租户需求进行解析以确定租户所需异构集群中的需求微元数量,基于历史需求库对需求微元数量进行修正以得到修改微元数量;
4、获取租户的当前占用微元数量结合所述修改微元数量以确定对应租户的预期使用数量;
5、结合租户在微元上的最大配额数量与所述预期使用数量的比对关系确定算力调度方式,确定算力调度方式为弹性借用时,基于预设时间内待借用租户的活跃度参数确定待借用租户类型,其中,待借用租户类型包括低活跃度租户和高活跃度租户;
6、基于若干所述低活跃度租户的剩余微元数量确定是否对若干所述高活跃度租户进行运行任务分析;
7、基于分析结果确定对应的所述高活跃度租户的任务紧迫度,基于任务紧迫度对若干高活跃度租户进行供给排序以确定待匹配微元;
8、采集异构集群中各微元对应的物理节点之间的拓扑信息以对所述待匹配微元进行位置匹配;
9、基于匹配结果判定是否触发任务拆分,触发任务拆分后,根据各所述待匹配微元的数据交换频率划分需求微元类型以进行重新匹配。
10、进一步地,确定租户所需异构集群中的需求微元数量的过程包括:
11、将所述文本信息与所述领域知识库中预存的计算范式进行匹配以确定任务本质,获取与任务本质对应的微元类型及单位规模需求量;
12、根据任务规模与所述单位规模需求量,计算各微元类型的需求数量以得到所述需求微元数量。
13、进一步地,得到修改微元数量的过程包括:
14、获取所述历史需求库中当前租户历史若干次任务的需求微元数量与实际使用微元数量;
15、对若干所述实际使用微元数量与对应的历史若干次任务的需求微元数量的比值进行均值计算以确定历史偏差系数;
16、根据所述历史偏差系数对当前任务的所述需求微元数量进行修正以得到所述修改微元数量。
17、进一步地,确定算力调度方式的过程包括:
18、若所述最大配额数量大于或等于所述预期使用数量,则判定所述算力调度方式为直接借用;
19、若所述最大配额数量小于所述预期使用数量,则判定所述算力调度方式为弹性借用。
20、进一步地,确定待借用租户类型的过程包括:
21、获取所述待借用租户在预设时间内的所述活跃度参数,其中,活跃度参数包括任务提交频率以及相邻任务之间的空闲间隔时长;
22、从所述待借用租户的历史任务记录中,提取预设时间内若干任务的提交时间戳和各任务的实际运行结束时间戳;
23、根据若干相邻任务的提交时间戳之差的均值的倒数确定所述任务提交频率;
24、根据所述若干相邻任务中前一任务的实际运行结束时间戳与后一任务的提交时间戳之差的均值确定所述空闲间隔时长;
25、基于所述空闲间隔时长与基准空闲间隔时长的大小关系确定待借用租户类型,基于所述任务提交频率确定从若干低活跃度租户处借用微元的优先级。
26、进一步地,确定是否对若干所述高活跃度租户进行运行任务分析的过程包括:
27、对若干所述低活跃度租户的剩余微元数量进行加和以确定总剩余微元数量;
28、在所述总剩余微元数量小于所述修改微元数量时,确定对若干所述高活跃度租户进行运行任务分析。
29、进一步地,确定待匹配微元的过程包括:
30、基于所述任务紧迫度由低到高的顺序,对若干所述高活跃度租户进行供给排序;
31、根据租户当前运行任务所处的运行阶段确定所述任务紧迫度,其中,处于启动初期阶段的任务对应的任务紧迫度为第一紧迫度,处于运行中期阶段的任务对应的任务紧迫度为第二紧迫度,处于运行末期阶段的任务对应的任务紧迫度为第三紧迫度;
32、其中,所述第二紧迫度大于所述第一紧迫度且小于所述第三紧迫度,对于任务紧迫度相同的租户,根据已占用微元比例越小供给排序越优先的排序关系进行二次供给排序。
33、进一步地,对所述待匹配微元进行位置匹配的过程包括:
34、从所述拓扑信息中获取各物理节点所属的高速互联域;
35、将属于同一高速互联域内的非占用微元与所述待匹配微元进行匹配。
36、进一步地,判定是否触发任务拆分的过程包括:
37、若同一个高速互联域内任一所述待匹配微元不满足匹配,则判定匹配结果不合格,触发任务拆分。
38、进一步地,划分需求微元类型以进行重新匹配的过程包括:
39、基于所述数据交换频率与基准数据交换频率的大小关系确定所述需求微元类型为低关联需求微元或高关联需求微元;
40、对所述高关联需求微元,保持在同一个高速互联域内进行匹配;
41、对所述低关联需求微元,选取跨域且通信延迟最低的物理节点以进行匹配;
42、其中,将与所述高关联需求微元已匹配的物理节点所属的高速互联域,确定为本域;
43、将所述拓扑信息中不属于本域的其他高速互联域,确定为跨域;
44、从所述拓扑信息中获取各跨域的物理节点与本域内已匹配的物理节点之间的通信延迟数据;
45、根据若干所述通信延迟数据,对所述跨域的物理节点进行升序排序,将通信延迟数据中的最小值对应的物理节点确定为所述通信延迟最低的物理节点。
46、与现有技术相比,本发明的有益效果在于,通过领域知识库将租户输入的任务本质与预存计算范式进行匹配,获取微元类型及单位规模需求量,再结合任务规模计算得到需求微元数量,使得租户无需指定硬件型号与数量,降低了异构集群的使用门槛,通过历史需求库中租户历史若干次任务的需求微元数量与实际使用微元数量的比值均值,对当前需求微元数量进行修正,使最终确定的修改微元数量更贴近租户实际使用习惯,减少了因租户预估偏差导致的资源浪费,从而进一步提高多租户场景下的异构算力调度方法的可靠性。
47、进一步地,本发明通过将租户的预期使用数量与最大配额数量进行比对,区分直接借用与弹性借用两种调度方式,使得配额内的任务能够立即获得资源保障,超出配额的任务可通过弹性借用机制获取额外资源,避免了刚性配额下资源闲置与任务等待并存的问题,在弹性借用过程中,基于任务提交频率和空闲间隔时长两个维度综合判定待借用租户类型,将租户区分为低活跃度租户和高活跃度租户,优先从低活跃度租户处获取空闲微元,仅在低活跃度租户的剩余微元总量不足时才触发对高活跃度租户的运行任务分析,减少了弹性借用对高活跃度租户的干扰,从而进一步提高多租户场景下的异构算力调度方法的可靠性。
48、进一步地,本发明通过在需要从高活跃度租户处借用微元时,根据任务所处的运行阶段确定任务紧迫度,在供给排序时,任务紧迫度越低,越优先被选为微元供给方,即,启动初期阶段的租户排序最靠前,优先作为供给方;运行中期阶段的租户次之;运行末期阶段的租户排序最靠后;对于任务紧迫度相同的租户,根据已占用微元比例进行二次排序,占用比例越小者排序越优先,使得排序结果唯一且公平,在位置匹配时,从拓扑信息中获取各物理节点所属的高速互联域,优先将属于同一高速互联域内的非占用微元与待匹配微元进行匹配,保障了核心计算单元之间的通信性能,从而进一步提高多租户场景下的异构算力调度方法的可靠性。
49、进一步地,本发明通过在同一个高速互联域内无法完全满足匹配需求时,触发任务拆分,根据各微元之间的数据交换频率将需求微元划分为高关联需求微元和低关联需求微元;对高关联需求微元保持在同域内匹配,对低关联需求微元从各跨域物理节点中选取通信延迟最低者进行匹配;按数据交换频率进行差异化分配的方式,使得任务在资源紧张时能够以部分降级的方式完成分配,而非整体等待或失败,提高了异构集群在资源受限条件下的任务调度成功率,从而进一步提高多租户场景下的异构算力调度方法的可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com