一种算力调度方法、装置、电子设备和存储介质与流程

摘要: 本发明涉及计算机应用,尤其涉及一种算力调度方法、装置、电子设备和存储介质。背景技术:1、随着边缘人工智能技术的快速普及,单板计算机(sbc)等轻量化边缘ai设备...
一种算力调度方法、装置、电子设备和存储介质与流程

本发明涉及计算机应用,尤其涉及一种算力调度方法、装置、电子设备和存储介质。

背景技术:

1、随着边缘人工智能技术的快速普及,单板计算机(sbc)等轻量化边缘ai设备已广泛应用于智能家居感知、边缘视觉检测、本地智能问答等终端场景。相较于云端设备,边缘终端具备数据本地化处理、低传输时延、隐私性强、部署灵活等优势,成为端侧智能感知与交互的核心载体。在边缘轻量化部署架构中,设备通常集成单路神经网络处理器(npu),统一承载ai模型实时推理与模型微调两类核心算力任务,实现硬件资源的高度复用,降低边缘设备的硬件成本与功耗开销。

2、目前主流边缘ai部署方案中,实时推理任务为设备核心业务,需保障低时延、高实时性与高稳定性,以响应用户即时交互与场景感知需求;而模型微调多为基于本地场景数据的后台自适应优化任务,用于持续适配居家场景特征、提升模型本地化推理精度,属于低优先级后台算力任务。现有技术在单npu共享算力调度场景下,普遍存在调度机制粗放、任务优先级隔离缺失的问题,大多采用串行执行、固定资源分配或批量执行的调度方式,无法适配实时推理与后台微调的并发算力需求。

技术实现思路

1、本发明提供了一种算力调度方法、装置、电子设备和存储介质,可解决无法实现高优先级推理业务与低优先级微调业务的高效协同运行的问题,实现推理任务到微调任务的切换,可在保障实时推理业务优先响应的前提下,最大化利用设备空闲算力完成模型微调,实现边缘ai系统实时服务能力与本地化迭代优化能力的协同提升。

2、根据本发明的一方面,提供了一种算力调度方法,其中,该方法包括:

3、获取系统负载状态,并确定所述系统负载状态满足指定条件时启动模型微调任务;

4、确定所述模型微调任务的微调任务执行参数,并基于所述微调任务执行参数按照训练单步粒度对应的所述模型微调任务;

5、完成所述训练单步粒度的模型训练,且获取到模型推理任务的抢占信号,保存所述模型微调任务的训练状态快照,并执行所述模型推理任务;

6、确定所述模型推理任务完成,基于所述训练状态快照继续执行所述模型微调任务。

7、根据本发明的另一方面,提供了一种算力调度装置,其中,该装置包括:

8、微调触发模块,用于获取系统负载状态,并确定所述系统负载状态满足指定条件时启动模型微调任务;

9、任务执行模块,用于确定所述模型微调任务的微调任务执行参数,并基于所述微调任务执行参数按照训练单步粒度对应的所述模型微调任务;

10、任务中断模块,用于完成所述训练单步粒度的模型训练,且获取到模型推理任务的抢占信号,保存所述模型微调任务的训练状态快照,并执行所述模型推理任务;

11、任务恢复模块,用于确定所述模型推理任务完成,基于所述训练状态快照继续执行所述模型微调任务。

12、根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:

13、至少一个处理器;以及

14、与所述至少一个处理器通信连接的存储器;其中,

15、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的算力调度方法。

16、根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的算力调度方法。

17、本发明实施例的技术方案,获取到系统负载状态,并在系统负载状态满足指定状态时启动模型微调任务,获取到模型微调任务的微调任务执行参数,按照微调任务执行参数对模型微调任务执行训练单步粒度的微调训练,完成训练单步粒度的模型训练时,若获取到模型推理任务的抢占信号,则对模型微调任务的训练状态快照进行保存,执行模型推理任务;待模型推理任务完成后,按照保存的训练状态快照继续对模型微调任务进行执行。本发明实施例可基于系统负载状态对模型微调任务进行启动,尽量减少对模型推理任务的影响,执行最小的训练单步粒度的模型微调训练,可便于模型推理任务进行算力抢占,减少推理等待时延,基于训练状态快照对模型微调任务的训练状态进行保存,便于实时进行微调训练的中断,可在保障推理任务执行的前提下,实现模型的合理微调,从而实现边缘ai系统实时服务能力与本地化迭代优化能力的协同提升。

18、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种算力调度方法,其特征在于,所述方法包括:

2.根据权利要求1所述方法,其特征在于,所述获取系统负载状态,并确定所述系统负载状态满足指定条件时启动模型微调任务,包括:

3.根据权利要求2所述方法,其特征在于,还包括:

4.根据权利要求1所述方法,其特征在于,所述确定所述模型微调任务的微调任务执行参数,并基于所述微调任务执行参数按照训练单步粒度对应的所述模型微调任务,包括:

5.根据权利要求1所述方法,其特征在于,所述完成所述训练单步粒度的模型训练,且获取到模型推理任务的抢占信号,保存所述模型微调任务的训练状态快照,并执行所述模型推理任务,包括:

6.根据权利要求1或5所述方法,其特征在于,所述确定所述模型推理任务完成,基于所述训练状态快照继续执行所述模型微调任务,包括:

7.根据权利要求1所述方法,其特征在于,还包括:

8.一种算力调度装置,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质有计算机指令,所述计算机指令用于使处理器执行时实现如权利要求1-7中任一项所述的算力调度方法。