一种AGI共享式超算力集群大模型动态调度系统的制作方法

摘要: 本发明涉及人工智能算力基础设施与分布式集群调度,具体涉及一种面向通用人工智能(agi)大模型的共享式超算集群动态调度系统。背景技术:1、随着agi技术快速发展,...
一种AGI共享式超算力集群大模型动态调度系统的制作方法

本发明涉及人工智能算力基础设施与分布式集群调度,具体涉及一种面向通用人工智能(agi)大模型的共享式超算集群动态调度系统。

背景技术:

1、随着agi技术快速发展,大语言模型、多模态大模型的参数规模已达万亿级,模型训练与推理任务对算力资源的需求持续增长。现有超算算力集群普遍采用静态资源分配模式,按固定配额为用户分配gpu、cpu等算力资源,在实际运行中存在以下四项核心缺陷:

2、第一,集群资源整体利用率偏低。静态分配模式无法实现训练任务算力波峰与推理任务算力波谷错峰复用,多数商用集群平均算力利用率偏低,算力硬件长期闲置,硬件投入成本无法充分摊薄;

3、第二,异构算力协同调度难度大。不同厂商、不同架构的加速卡(gpu、npu、fpga)无统一调度抽象层,混合部署时任务适配流程繁琐、调度粒度粗糙,无法充分发挥不同架构加速卡的计算互补优势;

4、第三,动态负载响应存在明显滞后。面对推理流量突发波动,现有调度方案依赖人工扩容或固定阈值触发伸缩,调度延迟普遍为分钟级,难以匹配agi多模态推理业务低延迟运行需求,易造成服务等级协议sla不达标;

5、第四,多租户共享场景安全与调度灵活性无法兼顾。多租户共用集群时,仅依靠虚拟机、容器实现软件隔离,存在算力争抢、业务数据泄露风险;若采用独立物理隔离方案,各租户算力完全割裂,闲置算力无法跨租户复用,资源浪费进一步加剧。

6、现有公开算力调度方案多面向通用计算场景设计,未针对agi大模型“训推混合运行、显存资源高度敏感、推理过程存在会话状态依赖”的独有负载特性做针对性优化,无法满足共享式超算集群规模化运行agi大模型的调度需求。

技术实现思路

1、本发明目的在于解决针对现有静态算力调度方案存在的缺陷,本发明提供一种agi共享式超算力集群大模型动态调度系统,依次解决四项核心技术问题:异构算力统一纳管适配难度高、多租户共享场景安全隔离与资源复用无法兼顾、突发负载下资源伸缩响应滞后、训练与推理任务算力无法错峰协同复用;最终提升超算集群整体算力利用率,稳定保障agi大模型线上服务运行质量。

2、技术方案

3、为实现上述发明目的,本发明提供如下完整技术方案:一种agi共享式超算力集群大模型动态调度系统,自下而上依次设置算力资源层、集群调度层、模型服务层、租户接入层四层独立架构,四层架构之间通过高速通信链路建立双向数据交互通道。

4、所述算力资源层为整套系统的硬件承载基础,由若干异构算力节点、高速存储阵列、远程直接内存访问(remote direct memory access,简称rdma)互联交换机构成。单个异构算力节点内部集成多块异构加速卡、多核中央处理器、高速内存、本地固态硬盘存储;全部异构算力节点通过rdma互联交换机搭建全互联网络拓扑,提供低延迟节点间数据传输;高速存储阵列采用分布式全闪架构,通过非易失性内存主机控制器接口规范扩展nvme-of协议挂载至全部异构算力节点,统一存储大模型权重文件、训练数据集、推理会话数据。

5、所述集群调度层为系统全局控制核心,核心硬件功能单元为动态调度引擎;动态调度引擎通过独立带外管理总线与算力资源层所有异构算力节点建立通信,所述带外管理总线为架构图中独立布设的专属通信链路,与业务数据高速通信链路相互隔离,统一完成全集群硬件状态采集、算力资源分配、任务编排与故障处置。动态调度引擎内部集成五大功能模块:负载感知模块、拓扑感知模块、弹性伸缩模块、资源隔离模块、故障自愈模块。

6、所述负载感知模块固定以500ms为数据采集周期,实时采集各节点显存占用率、计算单元利用率、网络带宽占用、硬件功耗、芯片温度五类运行数据,生成全集群实时负载热力图,为调度决策提供量化数据支撑。

7、所述拓扑感知模块每30秒扫描一次集群完整网络拓扑,结合pcie、rdma两层传输链路的实测延迟,生成节点通信延迟矩阵与节点亲和性权重矩阵,调度时优先将通信密集型子任务分配至同机框、同交换机的低延迟节点组,降低跨节点数据传输开销。

8、所述弹性伸缩模块设置三级负载触发调度机制:一级触发基于推理qps阈值,流量达到预热阈值时提前加载模型副本;二级触发基于节点显存占用拐点,显存占用超标时执行单节点垂直扩容;三级触发基于集群平均跨节点通信延迟,延迟超标则重构任务拓扑、迁移关联任务至近邻节点;弹性伸缩模块搭载模型权重热加载机制,整套扩容流程响应延迟不大于2秒。

9、所述资源隔离模块采用sr-iov硬件虚拟化隔离与cgroup软件资源配额双重隔离机制,为每一条租户任务分配独立算力切片、内存配额、网络带宽;同时周期性回收各节点零散空闲算力碎片,动态聚合形成全局共享算力池,供高优先级突发任务临时调用,业务峰值结束后自动归还算力至原租户切片。

10、所述故障自愈模块实时监控各算力节点硬件健康状态,检测到硬件故障、算力离线时,自动将节点上全部运行任务迁移至正常空闲节点,无需人工介入。

11、所述模型服务层部署于算力资源层硬件之上,与集群调度层双向通信,包含模型分片管理单元、键值(key-value,简称kv)缓存池单元、训推协同调度单元;模型服务层接收调度引擎下发的资源指令,统一完成大模型分布式部署与运行状态管理。模型分片管理单元兼容张量并行、流水线并行、专家并行三种大模型分布式部署模式,可根据集群拓扑、任务显存需求自动拆分模型权重分片并分配至对应算力节点;kv缓存池单元统一维护推理过程中注意力机制产生的中间缓存数据,支持同一用户多轮对话会话缓存复用,减少重复计算开销;训推协同调度单元负责错峰调度训练、推理两类任务:业务访问低谷时段,调度共享空闲算力执行模型训练、微调任务;业务访问高峰时段,自动暂停低优先级训练任务,优先保障推理服务算力供给。

12、所述租户接入层为系统对外交互入口,与模型服务层建立通信连接,由租户网关、身份认证单元、配额管理单元组成;租户接入层对外提供标准化https/grpc api接口,支持多租户并发提交训练、推理、模型微调任务。身份认证单元完成租户身份校验、权限鉴权;配额管理单元根据租户签约等级分配固定算力配额、任务调度优先级;内置计费计量组件,实时统计算力使用时长,支持按需付费、包年包月两种计费模式。

13、相较于现有静态算力分配集群方案,本发明具备如下可由技术特征直接推导的技术优势:

14、1.提升集群算力资源利用率:依靠训推错峰调度、算力碎片自动聚合机制,充分盘活节点闲置算力,减少硬件资源长期闲置,降低agi大模型单位算力使用成本;

15、2.缩短负载扩容响应时长:三级弹性伸缩机制搭配模型权重热加载,将流量突增时的资源扩容响应从分钟级压缩至2秒以内,提升agi推理服务稳定运行能力,降低sla不达标的风险;

16、3.兼容多类型异构算力硬件:统一硬件抽象层屏蔽gpu、npu、fpga底层架构差异,不同厂商加速卡可混合部署、统一调度,延长现有硬件设备使用周期,降低集群扩容采购成本;

17、4.平衡多租户场景安全与资源复用:硬件sr-iov隔离+软件cgroup配额双重管控,租户间计算、数据完全隔离;闲置算力碎片可临时聚合共享,兼顾数据安全与资源利用率;

18、5.提升集群连续运行可用性:故障自愈模块自动识别故障节点并迁移业务任务,故障处置全程自动化,减少人工运维介入,提升集群全年无故障运行时长。