一种模型推理服务的参数自动优化方法及装置与流程

摘要: 本发明涉及大语言模型推理和资源分配管理,特别涉及一种模型推理服务的参数自动优化方法及装置。背景技术:1、随着大语言模型规模化部署,基于vllm、tgi等推理引擎...
一种模型推理服务的参数自动优化方法及装置与流程

本发明涉及大语言模型推理和资源分配管理,特别涉及一种模型推理服务的参数自动优化方法及装置。

背景技术:

1、随着大语言模型规模化部署,基于vllm、tgi等推理引擎的推理服务被广泛用于在线推理场景。这类推理引擎涉及大量相互耦合的性能参数,如最大上下文长度、最大并发序列数、最大批处理token数、gpu显存利用率、张量并行度、是否禁用cuda图、cpu交换空间、前缀缓存等。上述参数的取值直接决定推理服务的吞吐量与延迟性能,且与gpu显存容量、模型结构、真实负载强相关。

2、然而,现有推理服务的参数配置方法存在以下显著不足:

3、第一,静态经验配置方式通常按经验设置一组固定参数后即固化,不随负载分布与硬件环境自适应,例如将最大上下文长度盲设为模型支持的最大值,造成kv缓存显存浪费、并发数被压缩;或反之将并发数设得过高,在长输入负载下触发显存溢出。

4、第二,人工黑盒搜索成本高、不可复现,调参高度依赖工程师经验,常以网格搜索或随机搜索在少量配置间试错,耗时长、不可解释、难以在不同模型与硬件间复用。

5、第三,现有方法不测量真实输入的token长度分布与共享前缀长度,导致最大上下文长度与并发数的设定与实际负载脱节。

6、第四,在采用gpu虚拟化技术的共享集群中,容器可见显存为虚拟化分配上限而非物理卡显存,现有调参方法按物理显存计算kv预算,易导致推理进程在虚拟化上限处发生进程内cuda显存溢出。

7、第五,缺乏自动验证闭环,参数调整后依赖人工发起压测与人工对比指标。

8、因此,亟需一种能够自适应负载与硬件环境、感知gpu虚拟化显存上限、建立自动化验证闭环的推理服务参数自动优化方法,以消除人工经验依赖、避免进程内显存溢出并保证优化结果的可复现性。

技术实现思路

1、鉴于现有技术中的上述缺陷或不足,本发明提供了一种模型推理服务的参数自动优化方法及装置,以解决背景技术提及的上述技术问题。

2、本发明的一个方面,提供了一种模型推理服务的参数自动优化方法,包括以下步骤:

3、采集推理服务运行环境的gpu虚拟化显存上限、模型架构参数信息、输入请求特征信息和模型权重显存占用量;

4、基于所述模型架构参数信息计算单位token的kv缓存显存占用量;基于所述gpu虚拟化显存上限和所述模型权重显存占用量,确定kv缓存可用显存容量;基于所述单位token的kv缓存显存占用量和所述kv缓存可用显存容量,得到kv缓存可容纳token总量;

5、基于所述kv缓存可用显存容量、所述kv缓存可容纳token总量以及所述输入请求特征信息,得到推理服务的性能参数组合;

6、用所述性能参数组合更新推理服务的运行配置,并等待推理服务恢复可服务状态;

7、以统一的并发请求数量,分别对所述推理服务更新前的运行配置和更新后的运行配置进行性能测试,获取运行性能数据,并生成对比报告。

8、本发明的另一方面,还提供了一种模型推理服务的参数自动优化装置,包括:

9、采集模块,被配置为采集推理服务运行环境的gpu虚拟化显存上限、模型架构参数信息、输入请求特征信息和模型权重显存占用量;

10、kv缓存建模模块,被配置为基于所述模型架构参数信息计算单位token的kv缓存显存占用量;基于所述gpu虚拟化显存上限和所述模型权重显存占用量,确定kv缓存可用显存容量;基于所述单位token的kv缓存显存占用量和所述kv缓存可用显存容量,得到kv缓存可容纳token总量;

11、性能参数推荐模块,被配置为基于所述kv缓存可用显存容量、所述kv缓存可容纳token总量以及所述输入请求特征信息,得到推理服务的性能参数组合;

12、部署更新模块,被配置为用所述性能参数组合更新推理服务的运行配置,并等待推理服务恢复可服务状态;

13、基准验证模块,被配置为以统一的并发请求数量,分别对所述推理服务更新前的运行配置和更新后的运行配置进行性能测试,获取运行性能数据,并生成对比报告。

14、本发明提供的模型推理服务的参数自动优化方法及装置,具有如下有益效果:

15、(1)实现了推理服务参数的全自动化优化

16、本发明通过采集gpu虚拟化显存上限、模型架构参数信息、输入请求特征信息和模型权重显存占用量四路信息,基于显存建模自动推导kv缓存可用显存容量与可容纳token总量,进而自动确定性能参数组合并完成部署与验证,形成了采集信息→显存建模→参数推荐→滚动部署→基准验证→对比报告的自动化闭环,无需人工干预即可完成一次完整优化迭代,显著降低了调参的人力成本与时间成本。

17、(2)实现负载自适应的参数配置

18、本发明通过采集输入请求特征信息中的token长度分位分布,使最大上下文长度按负载的99分位值适配而非按模型最大值设定,避免了为极少数超长请求过度预留kv缓存显存;同时使最大并发请求数按kv缓存可容纳token总量与负载的50分位值反推,使并发能力与实际负载分布精确匹配,实现了参数配置与真实工作负载的自适应。

19、(3)实现硬件自适应的参数配置

20、本发明通过采集gpu虚拟化显存上限和模型权重显存占用量,基于精确的显存建模公式确定kv缓存可用显存容量,使参数配置与具体gpu显存容量精确匹配;同时通过条件触发机制自动判定张量并行度、cuda图启用状态、cpu交换空间和前缀缓存的启用与否,实现参数配置与gpu数量、显存容量等硬件环境的自适应。

21、(4)有效避免了gpu虚拟化环境下的进程内cuda显存溢出

22、本发明以容器可见的gpu虚拟化显存上限而非物理显存作为显存预算基准,使kv预算计算与实际可用显存一致;通过设置gpu显存利用率上限、最大批处理token数安全上限和最大并发请求数安全上限构成三重安全阀,从机理上避免了推理进程在gpu虚拟化环境下因超额分配而发生进程内cuda显存溢出。

23、(5)保证了基准验证的公平性与可复现性

24、本发明以统一的并发请求数量和相同的测试请求集分别对更新前后的运行配置进行性能测试,并将测试请求集长度控制在两种配置均能完整处理的范围内,消除了因基线配置最大上下文长度过小拒绝长请求而导致吞吐量虚高的对比偏差;通过就绪探针确保压测在服务真正就绪后进行,所有性能指标可由保存的原始测试数据文件复算,保证了对比结果的公平性与可复现性。

25、(6)实现多维性能参数的自适应确定

26、本发明通过精确的数学公式分别确定最大上下文长度、最大并发请求数和最大批处理token数,各参数间基于统一的显存建模结果相互关联、相互约束,避免了传统方法中各参数独立设定导致的相互冲突;同时支持张量并行度、cuda图启用状态、cpu交换空间和前缀缓存等多维度扩展参数的条件触发推荐,适配从单卡小模型到多卡大模型、从吞吐优先到延迟优先的多种应用场景。

27、(7)实现推理参数优化的可解释性

28、本发明所有参数推导均基于显存建模的物理公式和负载特征的统计分布,每一步推导均有明确的数学依据和物理含义,消除了传统黑盒搜索方法的不可解释性;生成的对比报告包含配置对比表、显存建模推导依据和性能对比表,为运维人员提供了透明的决策依据。