一种面向大模型推理的GPU/NPU异构资源池化调度方法与流程

摘要: 本发明涉及资源调度相关,尤其涉及一种面向大模型推理的gpu/npu异构资源池化调度方法。背景技术:1、当前主流的大模型推理通常采用transformer架构,其...
一种面向大模型推理的GPU/NPU异构资源池化调度方法与流程

本发明涉及资源调度相关,尤其涉及一种面向大模型推理的gpu/npu异构资源池化调度方法。

背景技术:

1、当前主流的大模型推理通常采用transformer架构,其计算过程可分解为两个关键阶段,预填充(prefill)阶段和解码(decode)阶段,prefill阶段以计算密集型任务为主,需要并行处理输入序列中的所有token,生成键值缓存(kv cache);而decode阶段则逐token生成输出,属于内存密集型任务,对显存带宽和访存延迟极为敏感。在现有ai服务器中,gpu(图形处理器)和npu(神经处理器)通常以静态硬件绑定的方式与cpu固定配比部署,例如,服务器可能固定配置若干块gpu和若干块npu,二者在硬件层面相互独立且与特定计算任务绑定,静态绑定架构难以适应不同模型对算力类型的差异化需求,例如,有的模型prefill阶段计算压力大,有的模型decode阶段内存访问密集,而固定配比无法实现算力资源的动态按需分配。此外,gpu和npu在指令集和编程模型上存在显著差异,传统推理框架无法透明地调度异构算力资源,开发效率低且难以保证性能。并且大模型推理对通信延迟极为敏感,在采用张量并行等混合并行策略时,跨设备的中间结果交换频繁,pcie拓扑结构影响跨设备通信的带宽与延迟,降低推理吞吐量。

2、现阶段相关技术中,存在静态绑定无法动态适配大模型推理不同阶段对算力类型的差异化需求以及异构设备间指令不兼容、跨设备通信与并行调度效率低的技术问题。

技术实现思路

1、本技术通过提供一种面向大模型推理的gpu/npu异构资源池化调度方法,解决了现有技术中存在的静态绑定无法动态适配大模型推理不同阶段对算力类型的差异化需求以及异构设备间指令不兼容、跨设备通信与并行调度效率低的技术问题,达到了提升异构算力资源利用率、大模型推理吞吐量及执行效率的技术效果。

2、本技术提供一种面向大模型推理的gpu/npu异构资源池化调度方法,所述方法包括:构建算力池抽象层,对服务器节点内的图形处理器gpu和神经处理器npu进行统一编址并注册至同一异构算力资源池,由所述算力池抽象层向上层推理框架提供统一的设备无关接口;在所述算力池抽象层的驱动级拦截并动态转译计算指令,并维护gpu与npu各自设备内存与统一虚拟地址空间之间的地址映射关系;响应于大语言模型推理请求,将推理过程解耦为预填充prefill阶段和解码decode阶段,其中,所述prefill阶段调度所述异构算力资源池中的npu执行各transformer层的前向计算以生成键值kv cache,所述decode阶段调度所述异构算力资源池中显存带宽占优的gpu执行自回归token生成,且所述decode阶段采用层间并行与层内张量并行相结合的混合并行策略;查询服务器主板的pcie拓扑信息,识别各gpu及npu所属的pcie switch域,将参与同一decode阶段层内张量并行的gpu分配至同一pcie switch域以降低跨域通信延迟,将相邻transformer层的gpu与npu分别按层间并行关系分配;所述prefill阶段npu完成各层计算生成kv cache后,通过gpu与npu之间使能的pcie p2p直接内存访问dma,将所述kv cache从npu设备内存传输至承担所述decode阶段的gpu显存。

3、在可能的实现方式中,在所述算力池抽象层的驱动级拦截并动态转译计算指令,包括:对来源于上层应用的cuda算子调用映射为适配npu的cann算子指令,并对所述cann算子指令根据目标设备类型查询预置的算子映射表翻译为npu可执行的等价算子;对来源于上层应用的cann算子调用映射为适配gpu的cuda算子指令,并对所述cuda算子指令根据目标设备类型查询预置的算子映射表翻译为gpu可执行的等价算子;对所述算子映射表中不存在对应映射关系的算子标记为回退算子,并将所述回退算子改派至另一类型设备执行。

4、在可能的实现方式中,所述prefill阶段调度所述异构算力资源池中的npu执行各transformer层的前向计算以生成键值kv cache,包括:将大语言模型的全部transformer层按顺序分配给所述异构算力资源池中的一个或多个npu作为prefill执行设备;每个所述prefill执行设备依次执行所分配的transformer层的前向计算,逐层生成每一层对应的键值kv cache,并将所述键值kv cache暂存于所述prefill执行设备的npu设备内存中等待后续传输。

5、在可能的实现方式中,所述decode阶段调度所述异构算力资源池中显存带宽占优的gpu执行自回归token生成,包括:将大语言模型的全部transformer层按顺序分配给所述异构算力资源池中的一个或多个gpu作为decode执行设备;每个所述decode执行设备基于从所述prefill执行设备接收到的所述键值kv cache,逐层执行多头注意力计算和前馈神经网络计算,逐token生成解码输出序列。

6、在可能的实现方式中,所述decode阶段采用层间并行与层内张量并行相结合的混合并行策略,包括:对同一transformer层权重按隐藏维度切分得到多个权重切片,并将所述多个权重切片分配至同一pcie switch域内的多张gpu进行层内张量并行计算,使得每张gpu持有所述权重切片之一并协同完成所述transformer层的前向计算;对连续多个transformer层按层间流水线方式分配至不同prefill执行设备或不同decode执行设备,使得prefill阶段所述prefill执行设备按层顺序流水执行,decode阶段所述decode执行设备按层顺序流水执行,其中,所述prefill阶段与所述decode阶段之间通过所述kv cache传输衔接形成异构流水线。

7、在可能的实现方式中,查询服务器主板的pcie拓扑信息,识别各gpu及npu所属的pcie switch域,包括:通过操作系统总线枚举接口获取各gpu及npu的pci总线号与numa节点信息,解析pcie桥接器件归属关系以确定各加速设备的上行pcie switch物理端口;根据所述上行pcie switch物理端口构建设备与pcie switch域之间的映射表供调度器查询,并将参与同一decode阶段层内张量并行的gpu依据所述映射表分配至同一pcie switch域。

8、在可能的实现方式中,通过gpu与npu之间使能的pcie p2p直接内存访问dma,将所述kv cache从npu设备内存传输至承担所述decode阶段的gpu显存,包括:在所述算力池抽象层建立gpu与npu之间的对等内存映射,使npu端所述kv cache的物理地址对gpu端可见,触发pcie p2p dma传输操作,不经过主机端cpu内存拷贝,将所述kv cache从npu设备内存直接写入gpu显存。

9、在可能的实现方式中,所述方法还包括动态负载感知重调度过程:周期性采集所述prefill阶段对应的npu prefill队列长度和所述decode阶段对应的gpu decode队列长度;当所述npu prefill队列长度超过第一预设阈值且所述gpu decode队列对应的gpu空闲率高于第二预设阈值时,将部分prefill阶段执行的transformer层标记为待迁移prefill层,并将所述待迁移prefill层临时调度至空闲gpu执行。

10、在可能的实现方式中,所述动态负载感知重调度过程还包括:当所述gpu decode队列长度超过第三预设阈值且所述npu prefill队列对应的npu空闲率高于第四预设阈值时,将部分所述decode阶段执行的transformer层标记为待迁移decode层,并将所述待迁移decode层临时调度至空闲npu执行;在重调度完成后恢复所述prefill阶段调度npu执行与所述decode阶段调度gpu执行的初始分配关系。

11、在可能的实现方式中,将所述待迁移prefill层临时调度至空闲gpu执行,或将所述待迁移decode层临时调度至空闲npu执行,包括:在所述算力池抽象层中记录当前各设备的实时负载状态,当触发重调度条件时,由所述算力池抽象层将所述待迁移prefill层或所述待迁移decode层对应的计算任务及权重参数从原设备迁移至目标设备,并在所述目标设备上恢复计算执行,迁移完成后更新所述算力池抽象层中的设备任务映射表。

12、拟通过本技术提出的一种面向大模型推理的gpu/npu异构资源池化调度方法,构建算力池抽象层,统一编址gpu与npu,提供设备无关接口,并动态转译指令、维护统一地址映射;针对大模型推理,预填充由npu执行,解码由显存带宽占优的gpu执行,采用层间并行与层内张量混合并行策略;调度时分配gpu降低跨域通信延迟,相邻层按层间并行分配;完成后从npu传输至gpu显存。解决了现有技术中存在的静态绑定无法动态适配大模型推理不同阶段对算力类型的差异化需求以及异构设备间指令不兼容、跨设备通信与并行调度效率低的技术问题,达到了提升异构算力资源利用率、大模型推理吞吐量及执行效率的技术效果。