一种多租户AI平台的GPU算力主动调度方法及系统与流程

摘要: 本发明涉及智能算力,具体涉及一种gpu算力主动调度方法及系统。背景技术:1、随着大语言模型(llm)技术的快速发展,aiagent(智能体)系统已广泛应用于各类...
一种多租户AI平台的GPU算力主动调度方法及系统与流程

本发明涉及智能算力,具体涉及一种gpu算力主动调度方法及系统。

背景技术:

1、随着大语言模型(llm)技术的快速发展,ai agent(智能体)系统已广泛应用于各类多租户云服务平台。ai agent在执行复杂任务时,通常需要多次调用外部工具(如数据库查询、搜索引擎、api调用等),形成“推理-工具调用-推理”的循环执行模式。在此模式下,aiagent发出工具调用指令后,gpu进入等待状态,直至工具响应返回后方可继续生成。该等待窗口通常持续200毫秒至5秒,期间gpu算力完全空置,造成显著的计算资源浪费。

2、在多租户环境下,为提升gpu资源利用效率,业界普遍采用mig(multi-instancegpu, 多实例gpu)技术,将物理gpu划分为多个独立分区,分配给不同租户使用。现有技术中,mig分区的动态调整主要依赖于基于延迟指标的被动调度方法。例如,2025年8月发表于arxiv的论文《predictable llm serving on gpu clusters》(arxiv编号:2508.20274,作者:erfan darzi等)提出了一种面向多租户gpu集群的延迟感知控制器。该控制器以1-5秒为周期持续采集每个租户的p99/p999尾延迟及gpu利用率等系统指标,当某租户的p99延迟持续超过预设阈值达连续多个采样窗口后,触发mig分区规格调整(如从1g.10gb升至2g.20gb)、租户迁移(如将该租户迁移至pcie拓扑更优的gpu位置)或干扰邻居限速(如对干扰邻居租户施加mps配额或io限速)等动作,并在动作执行后控制器进入冷却期(dwell_time),期间不再触发新的重配操作,以防止频繁抖动。

3、然而,上述现有技术存在以下技术问题:

4、第一,调度信号来源于外部延迟指标,存在结构性滞后。 现有技术以延迟观测值作为唯一触发信号,这意味着gpu算力必须已经开始浪费、延迟已经升高,控制器才能获得输入数据。对于ai agent工具调用场景,从agent发出工具调用指令到gpu进入完全空闲状态,再到延迟指标升高并被采样检测到,之间存在1–5秒的不可消除的信号滞后。在此期间,算力浪费已经发生且无法挽回。

5、第二,需连续多个采样窗口持续超标才触发,进一步放大滞后损失。 现有技术为防止误判设置了“连续多次(如y次)超标”的持久性条件。这在普通推理场景下是合理的抗抖动设计,但对ai agent工具调用场景而言,等待时间本身具有明确的时间边界(工具响应返回后自动结束),不存在“持续超标”的必要。该条件使得整个触发延迟进一步叠加为多个采样周期,造成本可避免的算力损失窗口被人为延长。

6、第三,不具备预判式扩容归还机制,ai agent恢复生成阶段需额外等待。 现有技术无法预知工具调用何时结束,因此没有“提前扩容”的设计。当工具调用响应返回、aiagent需要立即进入生成阶段时,mig扩容操作尚未启动,ai agent须等待gpu就位后才能继续执行。该等待延迟直接叠加在用户感知的端到端响应时间上,且现有技术框架内无法消除。

技术实现思路

1、针对上述问题,本发明的目的在于,提供一种多租户ai平台的gpu算力主动调度方法。

2、本发明的目的还在于,提供一种多租户ai平台的gpu算力主动调度系统。

3、一种多租户ai平台的gpu算力主动调度方法,包括:

4、 步骤s1,执行引擎在ai agent发出工具调用指令时,生成结构化事件,实时发送给调度器;

5、步骤s2,所述调度器根据所述结构化事件包含的工具类型查询历史延迟分布,预估工具调用的等待窗口时长t,基于所述等待窗口时长t得到有效释放窗口t_release;

6、步骤s3,在所述有效释放窗口t_release内,所述调度器向gpu驱动层发出指令,将租户的mig分区从当前规格缩减至最小维持规格,并将释放出的算力注入弹性共享池;

7、步骤s4,将所述弹性共享池中的算力按其他租户的实时优先级队列进行再分配;

8、步骤s5,判断工具调用响应是否在预估窗口结束前到达,若未提前到达,在工具调用响应到达前,所述调度器主动触发mig扩容,将所述租户的算力恢复至原规格。

9、本发明所述的多租户ai平台的gpu算力主动调度方法,所述结构化事件包含租户id、agent实例id、工具类型和/或预估等待时长,所述工具类型包括数据库查询或外部api或搜索引擎。

10、本发明所述的多租户ai平台的gpu算力主动调度方法,所述有效释放窗口t_release为所述等待窗口时长t的80%。

11、本发明所述的多租户ai平台的gpu算力主动调度方法,所述最小维持规格为仅保留上下文状态、不执行计算的最小mig分区规格。

12、本发明所述的多租户ai平台的gpu算力主动调度方法,所述步骤s4中所述再分配采用加权公平调度算法,并将分配记录写入租户服务账本。

13、本发明所述的多租户ai平台的gpu算力主动调度方法,步骤s5中在工具调用响应到达前,提前一个时间量δt所述调度器触发mig扩容,所述时间量δt根据预估网络传输延迟与mig扩容耗时之和确定;

14、所述步骤s5中,若工具调用响应提前到达,系统检测到响应信号后立即中断借出,优先归还本租户算力,借出期间使用的其他租户任务进入暂停队列。

15、本发明所述的多租户ai平台的gpu算力主动调度方法,还包括一基于延迟指标的被动调度路径,当未能捕获事件或出现异常时,切换至所述被动调度路径进行算力调度。

16、一种多租户ai平台的gpu算力主动调度系统,用于所述的多租户ai平台的gpu算力主动调度方法,包括:

17、事件捕获模块,用于执行引擎在ai agent发出工具调用指令时,生成结构化事件,实时发送给调度器;

18、窗口预估模块,所述调度器根据所述结构化事件包含的工具类型查询历史延迟分布,预估工具调用的等待窗口时长t,基于所述等待窗口时长t得到有效释放窗口t_release;

19、主动缩减模块,用于在所述有效释放窗口t_release内,所述调度器向gpu驱动层发出指令,将租户的mig分区从当前规格缩减至最小维持规格;

20、算力再分配模块,用于将释放出的算力注入弹性共享池,将所述弹性共享池中的算力按其他租户的实时优先级队列进行再分配;

21、提前归还模块,用于在工具调用响应到达前,所述调度器主动触发mig扩容,将所述租户的算力恢复至原规格。

22、本发明所述的多租户ai平台的gpu算力主动调度系统,还包括异常兜底模块,用于在工具调用响应提前到达时,系统检测到响应信号后立即中断借出,优先归还本租户算力,借出期间使用的其他租户任务进入暂停队列。

23、一种计算机可读存储介质,存储有计算机程序,执行所述的多租户ai平台的gpu算力主动调度方法。

24、有益效果:本发明通过构建“事件捕获→窗口预估→主动缩减→弹性复用→提前归还”的完整主动调度链路,在不增加硬件资源的前提下,消除多租户ai平台中ai agent工具调用等待期的算力空置损失,提升gpu整体利用率,并保障ai agent生成阶段的零等待启动。