一种AI算力模组的动态资源调度方法及系统与流程
本发明涉及人工智能计算资源管理,更具体地说,本发明涉及一种ai算力模组的动态资源调度方法及系统。
背景技术:
1、随着人工智能模型规模、输入数据量以及实时推理需求不断增加,单一处理器或固定配置的算力板卡难以同时兼顾任务时延、能耗、成本和扩展性。为提高算力密度,现有计算设备通常将图形处理器、神经网络处理器、现场可编程门阵列、专用推理芯片或其他ai加速器封装为多个算力模组,并通过高速互联接口构成共享算力平台。
2、现有资源调度方式通常根据当前利用率、空闲显存或预设优先级将ai任务分配至某一算力模组,部分方案能够进行简单的负载均衡或任务迁移。然而,ai任务具有算子类型差异大、模型参数规模大、中间特征数据传输频繁、并行方式多样以及执行时延对温度和功耗状态敏感等特点。仅依据瞬时利用率进行分配,容易出现计算资源满足而本地存储或互联带宽不足的情况,导致任务在执行阶段发生阻塞。
3、此外,不同ai算力模组之间可能在指令集、支持精度、核组规模、存储层级、互联带宽和散热能力方面存在差异。任务迁移还会引入模型加载、缓存重建、检查点恢复和跨模组数据传输开销。若调度器在负载变化时直接执行全局重排,容易造成大量无效迁移和资源抖动;若不进行重调度,又可能因热点温升、互联拥塞或高优先级任务到达而不能满足服务等级要求。
4、因此,需要一种能够综合感知计算、存储、互联、功耗、温度和健康状态,能够结合ai任务依赖关系及历史执行特征预测候选方案效果,并在状态偏差出现时实施局部、稳定重调度的动态资源调度技术。
技术实现思路
1、为了克服现有技术的上述缺陷,本发明的实施例提供一种ai算力模组的动态资源调度方法,以解决上述背景技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:
3、获取各ai算力模组的运行状态数据和模组间拓扑状态数据,形成对应的资源状态向量;
4、获取待调度的ai任务,通过提取任务模型计算图中的算子属性,将显存需求量大于单模组本地存储可用容量阈值的算子进行张量切分,或将存在跨模组大量数据传输的层级作为边界,从而将所述ai任务解析为执行依赖图和资源需求向量,其中,所述执行依赖图的节点对应切分后的算子、模型分段、数据批次或训练阶段,所述执行依赖图的边对应执行依赖关系或数据传输关系;
5、依据所述资源需求向量以及预设的硬约束条件,从所述多个ai算力模组的可分配资源中生成与各节点对应的候选资源集合;
6、基于所述资源状态向量、所述拓扑状态数据和历史执行画像,分别预测各候选资源分配方案的任务完成时延、能耗、热余量、模组间通信开销以及重配置或迁移开销,并根据预测结果确定各候选资源分配方案的调度优先级;
7、依据所述执行依赖图和所述调度优先级,为所述节点分配ai加速器核组、本地存储区域和互联带宽资源,生成并下发资源调度方案;
8、在执行所述ai任务的过程中持续获取实际运行状态,将所述实际运行状态与所述资源调度方案对应的预测运行状态进行比较,并在满足重调度触发条件时确定受影响的节点及其关联节点,对由所述受影响的节点及其关联节点构成的任务子图实施增量重调度,同时保持所述任务子图之外的资源分配关系不变。
9、优选的,所述资源状态向量至少包括加速器计算单元利用率、可用本地存储容量、存储访问带宽、互联带宽占用率、待执行队列长度、运行温度、功耗、故障健康度、当前已加载模型或配置状态以及与其他ai算力模组之间的通信距离中的至少两项;所述运行状态数据采用不同采样周期进行采集,并经时间对齐、异常值过滤和滑动窗口聚合后形成所述资源状态向量。
10、优选的,所述资源需求向量至少包括目标计算类型、计算量、权重数据量、中间特征数据量、显存或片上存储需求、输入输出带宽需求、精度模式、最大允许时延、任务优先级、数据隔离等级以及可并行方式中的至少两项;所述执行依赖图还记录各节点的最早可执行时刻、关键路径属性以及允许拆分粒度。
11、优选的,所述硬约束条件包括指令集或算子兼容约束、模型精度兼容约束、本地存储容量约束、数据隔离约束、最大功耗约束、最高运行温度约束以及服务等级约束中的至少一项;生成所述候选资源集合时,先剔除不满足所述硬约束条件的资源,再按照模组间通信距离、可用连续资源规模和当前模型驻留状态对剩余资源进行拓扑剪枝。
12、优选的,所述历史执行画像按照模型标识、算子类型、输入尺度、精度模式、资源切片规模及运行温度区间建立索引;预测各候选资源分配方案时,调用与当前任务特征相匹配的历史执行画像获得初始预测值;在所述当前执行窗口内的任务执行完毕并采集到实测数据后,采用指数加权移动平均算法对所述历史执行画像中的对应记录进行异步更新;例如时延的历史画像更新公式为:,以此作为后续同类任务调度时的初始预测值,其中,为介于0到1之间的平滑权重系数(如优选0.2),实测功耗和温升的在线校正采用相同的加权平滑逻辑,以动态平滑瞬态噪声。
13、优选的,确定所述调度优先级时,对任务完成时延、能耗、热余量、模组间通信开销、重配置或迁移开销、资源碎片度以及任务公平性进行归一化处理,并根据任务类别选取对应的权重组合;对于实时任务,优先满足最大允许时延和热安全约束,对于吞吐型任务,在满足所述硬约束条件的前提下优先提高单位能耗吞吐量和资源连续利用率。
14、优选的,当单一ai算力模组不能满足所述资源需求向量时,根据所述执行依赖图将所述ai任务划分为多个可并行或可流水执行的任务分段,并从数据并行、张量并行、流水并行和算子并行中选择至少一种并行方式,将所述任务分段分配至多个ai算力模组,同时为相邻任务分段预留互联带宽和数据缓冲区域。
15、优选的,所述重调度触发条件包括预测完成时延偏差超过时延偏差阈值、运行温度超过温度预警阈值、功耗超过功耗预算、故障健康度低于健康阈值、互联拥塞持续超过预设窗口以及高优先级任务到达中的至少一项;实施增量重调度时,优先采用同一ai算力模组内的资源扩缩容或核组置换,在不能满足调度目标时再进行跨模组迁移,并通过检查点、模型参数复用、缓存预热和双阈值滞回机制降低迁移损失及调度抖动。
16、本发明还提供一种ai算力模组的动态资源调度系统,包括:
17、状态感知与预测模块、任务解析与需求建模模块、候选生成与调度评价模块、资源编排与反馈校正模块以及分别部署于多个ai算力模组的本地执行代理;
18、所述状态感知与预测模块用于获取各ai算力模组的运行状态数据和模组间拓扑状态数据,形成资源状态向量,并基于历史执行画像预测候选资源分配方案的运行结果;
19、所述任务解析与需求建模模块用于将待调度ai任务解析为执行依赖图和资源需求向量;
20、所述候选生成与调度评价模块用于依据硬约束条件生成候选资源集合,预测并评价各候选资源分配方案的任务完成时延、能耗、热余量、模组间通信开销以及重配置或迁移开销,确定调度优先级;
21、所述资源编排与反馈校正模块用于依据所述执行依赖图和所述调度优先级生成资源调度方案,并在满足重调度触发条件时对受影响的任务子图实施增量重调度;
22、所述本地执行代理用于根据所述资源调度方案配置对应ai算力模组的ai加速器核组、本地存储区域和互联带宽资源,执行ai任务并反馈实际运行状态。
23、优选的,所述资源编排与反馈校正模块为分层式结构,包括全局调度控制器和与各ai算力模组对应的本地调度控制器;所述全局调度控制器维护具有版本号和有效期的资源调度方案,所述本地调度控制器依据资源租约执行资源占用、释放及迁移操作,并在检测到版本冲突、通信中断或ai算力模组故障时,按照预设回退策略保留最近一次可执行资源调度方案或将未完成任务切换至备用ai算力模组。
24、本发明的技术效果和优点:
25、本发明通过将计算能力、本地存储、互联带宽、队列状态、功耗、温度、健康度和模型驻留状态共同纳入资源状态向量,可避免单一利用率指标造成的资源误判,提升候选资源的实际可执行性;在此基础上,通过建立ai任务执行依赖图和资源需求向量,在算子、模型分段、数据批次或训练阶段等粒度上进行调度,并识别关键路径与跨模组数据传输关系,使调度结果更贴合ai任务的真实执行特征。为提升预测准确性,采用历史执行画像与在线校正相结合的方式,适应不同模型、输入尺度、精度模式及温度区间下的性能差异,从而更准确地预估时延、能耗和温升。在优化目标上,同时评价任务完成时延、能耗、热余量、通信开销、迁移开销、资源碎片度和公平性,并能够根据实时任务、吞吐任务或节能任务的需求选取不同优化侧重,增强调度策略的适应性。当系统发生变化时,通过识别受影响任务子图并执行增量重调度,保持未受影响节点的原有资源分配,降低全局重排带来的模型重复加载、缓存失效和跨模组迁移开销。最后,借助同模组内扩缩容优先、跨模组迁移后置、双阈值滞回、资源租约和版本控制等机制,有效抑制调度抖动,并在故障情况下保障执行连续性与调度方案的一致性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com