面向GPU集群的大语言模型键值缓存无感调度方法与流程
本发明涉及人工智能与深度学习应用领域,尤其涉及面向gpu集群的大语言模型键值缓存无感调度方法。
背景技术:
1、随着深度神经网络(dnn)和大规模语言模型(llm)的快速发展,相关技术已被广泛应用于实时对话系统、代码生成辅助以及机器翻译等智能应用中,并在语言理解与文本生成方面展现出卓越的性能。llm的成功主要依赖于其庞大的参数规模与深层网络结构,使其能够有效捕获复杂语义关系并生成连贯的上下文文本。但是与此同时,其参数规模呈指数级增长,推理阶段的计算开销和内存需求显著增加。
2、在实际推理中,为避免重复计算,主流模型普遍采用键值缓存(key-value, kv)技术对注意力机制中间结果进行缓存。该策略虽可降低计算量,但会使显存占用随序列长度和批量大小线性增长。尤其在长序列和多批次并发场景下,kv缓存常成为瓶颈,甚至出现缓存占用超过模型权重占用的情况。例如,在llama-13b模型推理中,当批量大小为64时,kv缓存消耗可达32gb,而模型权重仅占用13gb,总体内存使用量远超nvidia a100 gpu的40gb显存容量。另一方面,尽管新一代gpu在算力与带宽方面持续提升,但单卡显存容量增长相对有限,难以匹配超大模型与长上下文需求,而将缓存卸载至cpu或者磁盘又受限于pcie带宽与时延,容易引入新的性能瓶颈。
3、为缓解显存瓶颈,现有技术主要采用多gpu并行推理或将kv缓存卸载至cpu内存的方式。多gpu并行方法能够在一定程度上分摊显存压力,但需要在任务执行前准确获知所有推理负载,这在高度动态的集群环境中往往难以实现。同时,专门为单个任务绑定多块gpu也缺乏资源利用效率。特别是在海上油气生产这一特定场景下,智能集成控制系统的部署环境与陆地数据中心存在显著差异。海上作业平台严格受限于物理空间、供电预算及散热条件,边缘侧的硬件设备不仅物理扩容极具挑战,且维护成本高昂。在此类资源极度受限的边缘计算环境中,既有的gpu集群往往需要同时支撑油气数据分析、实时视频监控及注采控制等多类并发任务,若将整个gpu集群资源独占用于单一的大模型推理任务,显然是不合理与不现实的。相比之下,单gpu推理在共享集群环境中更为普遍,因此在该场景下如何有效缓解内存瓶颈,并充分发挥集群资源优势,具有重要的研究与应用价值。
技术实现思路
1、本发明的目的在于在gpu集群环境下提出的面向gpu集群的大语言模型键值缓存无感调度方法,所述方法是一种面向nvlink互联gpu集群的缓存统分式动态管理方法,来解决以上背景技术中提到的问题。本发明探索gpu集群内通过高速互联(如nvlink)实现显存资源共享与协同调度的机制,涉及缓存数据管理、异步预取、动态迁移等核心算法,以提升大模型在长序列、大批次场景下的吞吐量与资源利用率。为了实现在不改变模型结构与推理精度、不中断现有服务、且不干扰集群内其他任务并控制跨gpu通信开销的前提下,实现高吞吐量的目的,本发明的技术方案是这样实现的:面向芯群架构的大语言模型键值缓存无感调度方法,应用于通过nvlink连接的gpu集群,包括:
2、将大语言模型推理任务加载至租户gpu节点,并将集群中除租户gpu节点以外的其余节点作为宿主gpu节点,以生成分布式推理环境;
3、实时监控各宿主gpu节点的显存状态,并根据所述显存状态和所述推理任务的配置参数生成最优卸载策略;
4、基于最优卸载策略构建全局层表,并按照全局层表将所述推理任务产生的kvcache数据卸载至各宿主gpu节点;
5、在执行当前层推理计算时,利用全局层表定位并回取处理下一层推理计算所需的目标kv cache数据,提前回取所需数据;
6、持续监测宿主gpu节点的显存波动趋势,当预测到显存冲突风险时,触发动态迁移机制,同时触发动态迁移机制重新调整集群中各个宿主gpu节点上的kv cache分布,以维持所述推理任务的连续运行;
7、基于各层的处理结果完成自回归生成,获取所述大语言模型推理任务的最终生成文本。
8、进一步的,所述步骤2中,根据所述显存状态和所述推理任务的配置参数生成最优卸载策略,包括:
9、确定各宿主gpu节点的实时可用显存余量,并获取所述推理任务的模型层数、批处理大小及单层kv cache显存占用;
10、以最大化单次推理可支持的序列生成长度为目标函数,以各宿主gpu节点的可用显存余量为约束条件,构建整数线性规划模型;
11、利用二分搜索算法在预设的序列长度搜索区间内进行迭代求解,确定满足所述约束条件的最大序列生成长度及对应的各节点分层卸载方案。
12、进一步的,所述步骤3中,基于最优卸载策略构建全局层表,包括:
13、建立以模型逻辑层号为主键的索引结构,并为每一个被卸载的逻辑层分配对应的元数据三元组;其中,所述三元组包含宿主设备标识、显存物理指针以及实时占用大小;将所述逻辑层号映射至物理存储地址,以实现计算逻辑与物理存储位置的分离。
14、进一步的,所述步骤4中,利用全局层表定位并回取处理下一层推理计算所需的目标kv cache数据,包括:
15、在所述租户gpu节点的本地显存中存在双缓冲区结构,并使用异步预取流水线机制;在利用第一缓冲区的数据执行当前层注意力计算的同时,通过后台传输线程查询所述全局层表,将下一层的kv cache数据从所对应宿主gpu节点异步传输至第二缓冲区;相应的,得到当前层的处理结果之后,还包括:将所述第一缓冲区标记为空闲状态,并切换至处于就绪状态的所述第二缓冲区以进行下一层的计算,实现计算时间与通信时间的重叠。
16、进一步的,所述持续监测宿主gpu节点的显存波动趋势,当预测到显存冲突风险时,触发动态迁移机制,包括:
17、利用滑动窗口线性回归模型拟合所述宿主gpu节点的显存增长速率,并结合残差标准差过滤异常抖动;
18、根据当前集群的节点数量估算并发拥塞下的有效传输带宽,并据此计算完成数据迁移所需的预估时间;
19、基于所述显存增长速率和所述预估时间计算显存增量上界;
20、将所述显存增量上界与当前节点的安全余量进行比对;如果所述显存增量上界超过所述安全余量,则判定存在显存耗尽风险,立即触发动态迁移机制。
21、进一步的,所述步骤5中,触发动态迁移机制重新调整集群中各个宿主gpu节点上的kv cache分布,包括:
22、基于当前的显存状态重新计算目标卸载策略,并计算原卸载策略与重新计算的目标卸载策略之间的层数差分量;
23、根据所述层数差分量确定需要迁出数据的源设备集合和需要迁入数据的目标设备集合;
24、基于推理感知的链路仲裁机制,从所述源设备集合和所述目标设备集合中匹配当前时刻无冲突的迁移链路;其中,无冲突是指避开当前正在执行推理卸载或预取操作的热点节点。
25、进一步的,基于推理感知的链路仲裁机制,从所述源设备集合和所述目标设备集合中匹配当前时刻无冲突的迁移链路之后,还包括:
26、将所述源设备集合中待迁移的缓存层划分为已完成层、待定层和阻塞层;其中,已完成层为推理进度已越过的历史层,待定层为距离当前推理进度超过预设安全间隔的未来层,阻塞层为临近当前推理进度的层;
27、按照已完成层优于待定层、待定层优于阻塞层的优先级顺序,选择目标缓存层执行物理迁移,以最小化对主推理流程的干扰。
28、相对于现有技术,本发明所述的面向芯群架构的大语言模型键值缓存无感调度方法具有以下优势:
29、(1)适用于海上油田智能集成控制系统的专用gpu集群环境;
30、(2)基于nvlink或nvswitch的跨gpu按需卸载与异步预取,避免将kv缓存一次性驻留到单卡或回落到cpu,显著降低了通信开销与等待时延,提升了长序列、大批次下的吞吐率;
31、(3)通过监控可用显存并进行分层(或分块)最优分配与动态迁移,能够充分复用集群中他任务的稳定空闲显存,在不干扰出借方本地任务的前提下,最大化可支持的生成长度与批量;
32、(4)在注意力层以最小侵入方式集成兼容kv接口,无需改动模型结构与权重,便于与主流推理框架快速对接;
33、(5)算法考虑nvswitch并发分区带宽的保守估计与容错回退(如短暂cpu兜底),在复杂集群环境中保持稳定收益。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com