基于性能劣化斜率的大语言模型并发临界点探测方法及系统与流程

摘要: 本发明涉及人工智能,更具体地说,它涉及基于性能劣化斜率的大语言模型并发临界点探测方法及系统。背景技术:1、近年来,大语言模型推理服务在自然语言处理领域得到广泛应...
基于性能劣化斜率的大语言模型并发临界点探测方法及系统与流程

本发明涉及人工智能,更具体地说,它涉及基于性能劣化斜率的大语言模型并发临界点探测方法及系统。

背景技术:

1、近年来,大语言模型推理服务在自然语言处理领域得到广泛应用,其部署规模与并发请求数量持续增长。并发请求数量直接决定推理服务的吞吐量和资源消耗,过低的并发数量无法充分利用算力资源,过高的并发数量则可能导致响应时延超限、显存溢出乃至服务崩溃。因此,准确探测大语言模型推理服务能够安全承载的最大并发等级,对于保障服务等级协议和资源调度至关重要。

2、现有技术中,并发临界点的探测通常采用固定步长逐级加压的方式,即从初始并发等级开始,每轮以固定增量增加并发请求数量,采集该并发等级下的性能指标,将性能指标首次超出服务等级协议限制的前一并发等级作为最大安全并发等级。然而,该方法存在明显不足。一方面,固定步长难以适应性能劣化的非线性特征,步长过大时容易直接越过临界点,导致服务瞬时过载甚至显存溢出;步长过小时则探测轮次过多,耗时过长。另一方面,该方法仅依赖性能指标的事后判断,没有感知显存压力、算力压力等底层硬件资源余量,无法在性能指标尚未越界时提前预判风险,也无法根据残余资源动态调整探测步长。此外,整个探测过程缺少状态管理机制,探测流程的推进、回退和终止行为无法依据当前服务状态自适应切换,容易在探测过程中出现越界后无法恢复、或者安全边界定位不准确的问题。

3、因此,研究设计一种能够克服上述缺陷的基于性能劣化斜率的大语言模型并发临界点探测方法及系统是目前急需解决的问题。

技术实现思路

1、为解决现有技术中的不足,本发明的目的是提供基于性能劣化斜率的大语言模型并发临界点探测方法及系统,通过采集多个连续并发等级下的性能指标,计算相邻并发等级之间的性能劣化斜率并构建性能劣化斜率序列,结合硬件反馈信息对预测结果进行修正,并利用有限状态机控制探测流程的推进、回退或终止,在满足服务等级协议要求的前提下高效、准确地确定大语言模型推理服务最大安全并发等级,从而避免固定步长探测导致的越界风险和资源浪费,为算力调度与容量规划提供可靠依据。

2、本发明的上述技术目的是通过以下技术方案得以实现的:

3、第一方面,提供了基于性能劣化斜率的大语言模型并发临界点探测方法,包括以下步骤:

4、在多个连续并发等级下,分别按照每个并发等级对应的请求数量向大语言模型推理服务发送请求,并采集所述大语言模型推理服务在每个并发等级下的性能指标;

5、根据所述性能指标计算相邻并发等级之间的性能劣化斜率,并按照并发等级由低到高的顺序将所述性能劣化斜率排列为性能劣化斜率序列;

6、根据所述性能劣化斜率序列预测所述大语言模型推理服务的临界并发等级或下一并发等级;

7、获取所述大语言模型推理服务在所述多个连续并发等级下的硬件反馈信息;

8、根据所述硬件反馈信息对预测结果进行修正;

9、根据修正后的预测结果,通过有限状态机控制并发等级探测流程的推进、回退或终止。

10、进一步的,所述性能指标包括首词元时间、词元间时延、显存占用率、键值缓存占用率以及每秒输出词元数中的至少一种,每个并发等级下的各所述性能指标按照统计窗口内多次请求的平均值进行记录。

11、进一步的,所述性能劣化斜率根据相邻两个并发等级之间的性能指标差值与并发等级差值的比值计算得到;

12、所述性能劣化斜率序列中的每一个性能劣化斜率分别对应一个当前并发等级,所述当前并发等级为参与计算的两个相邻并发等级中相对高的并发等级。

13、进一步的,所述根据所述性能劣化斜率序列预测所述大语言模型推理服务的临界并发等级或下一并发等级,包括:

14、将所述性能劣化斜率序列中排列在末尾的两个性能劣化斜率进行差分运算,得到斜率变化量;

15、若所述斜率变化量超过预设斜率变化阈值,则判定所述大语言模型推理服务接近所述临界并发等级,并将所述当前并发等级作为临界并发等级预测值;

16、若所述斜率变化量未超过所述预设斜率变化阈值,则根据所述性能劣化斜率序列中排列在末尾的m个性能劣化斜率的平均值预测所述下一并发等级,其中m为大于或等于2的正整数。

17、进一步的,所述硬件反馈信息包括显存压力参数;

18、所述显存压力参数根据当前显存占用率、键值缓存当前占用率、键值缓存增长速率以及预估最大上下文长度对应的键值缓存膨胀量计算得到;

19、其中,所述显存压力参数分别与所述当前显存占用率、所述键值缓存当前占用率、所述键值缓存增长速率以及所述键值缓存膨胀量呈单调递增关系。

20、进一步的,所述硬件反馈信息还包括算力压力参数;

21、所述算力压力参数根据算力利用率、每秒请求处理数以及平均排队时延计算得到;

22、其中,所述算力压力参数分别与所述算力利用率、所述每秒请求处理数、所述平均排队时延呈单调递增关系。

23、进一步的,所述预测结果包括所述下一并发等级,将所述下一并发等级与当前已采集性能指标的并发等级中的最高并发等级的差值作为并发等级增量;

24、根据所述硬件反馈信息对预测结果进行修正时,将所述显存压力参数和所述算力压力参数进行加权求和,得到综合资源压力参数;

25、根据所述综合资源压力参数计算动态阻尼系数,所述动态阻尼系数与所述综合资源压力参数呈单调递增关系;

26、利用所述动态阻尼系数对所述并发等级增量进行缩减,所述并发等级增量缩减后的值不小于1。

27、进一步的,所述有限状态机包括安全加压状态、风险修正状态、越界收敛状态和探测终止状态;

28、在所述安全加压状态下,按照修正后的所述并发等级增量增加并发等级;

29、在所述风险修正状态下,减小所述并发等级增量,并重新执行根据所述性能劣化斜率序列预测所述下一并发等级的步骤;

30、当所述大语言模型推理服务在探测过程中所处并发等级下的性能指标超出预设范围时,将探测过程所处并发等级作为越界并发等级;将已探测并发等级中性能指标未超出所述预设范围的最高并发等级作为最近安全并发等级;并进入所述越界收敛状态;

31、在所述越界收敛状态下,在所述越界并发等级与所述最近安全并发等级之间进行局部收敛;

32、在满足终止条件时进入所述探测终止状态,并输出最大安全并发等级。

33、进一步的,所述在所述越界并发等级与所述最近安全并发等级之间进行局部收敛,包括:

34、将所述越界并发等级与所述最近安全并发等级的平均值作为中间并发等级;

35、按照所述中间并发等级对应的请求数量向所述大语言模型推理服务发送请求,并采集对应的性能指标;

36、若所述中间并发等级下的性能指标满足服务等级协议要求,则将所述中间并发等级更新为所述最近安全并发等级,否则将所述中间并发等级更新为所述越界并发等级;

37、重复执行,直至所述越界并发等级与所述最近安全并发等级的差值小于预设收敛精度,将所述最近安全并发等级确定为所述最大安全并发等级。

38、第二方面,提供了基于性能劣化斜率的大语言模型并发临界点探测系统,包括:

39、发送请求采集模块,用于在多个连续并发等级下,分别按照每个并发等级对应的请求数量向大语言模型推理服务发送请求,并采集所述大语言模型推理服务在每个并发等级下的性能指标;

40、斜率计算排列模块,用于根据所述性能指标计算相邻并发等级之间的性能劣化斜率,并按照并发等级由低到高的顺序将所述性能劣化斜率排列为性能劣化斜率序列;

41、并发等级预测模块,用于根据所述性能劣化斜率序列预测所述大语言模型推理服务的临界并发等级或下一并发等级;

42、硬件反馈获取模块,用于获取所述大语言模型推理服务在所述多个连续并发等级下的硬件反馈信息;

43、预测结果修正模块,用于根据所述硬件反馈信息对预测结果进行修正;

44、探测流程控制模块,用于根据修正后的预测结果,通过有限状态机控制并发等级探测流程的推进、回退或终止。

45、与现有技术相比,本发明具有以下有益效果:

46、1、本发明提供的基于性能劣化斜率的大语言模型并发临界点探测方法,通过采集大语言模型推理服务在多个连续并发等级下的性能指标,计算相邻并发等级之间的性能劣化斜率并排列为性能劣化斜率序列,根据该序列预测临界并发等级或下一并发等级,同时获取硬件反馈信息对预测结果进行修正,并利用有限状态机控制探测流程的推进、回退或终止。性能指标从服务质量层面反映当前负载状态,性能劣化斜率序列从趋势层面揭示性能随并发增长的退化规律,硬件反馈信息从资源层面感知显存和算力的实时压力,有限状态机从流程层面统一调度探测行为。预测模块提供前进方向,修正模块约束前进步长,状态机决定何时前进、回退或终止,三者形成前馈预测、反馈修正与状态控制的闭环联动机制,在保证探测过程安全可控的前提下快速逼近临界并发等级,解决了现有固定步长探测方法难以兼顾探测效率与安全性、容易越过临界点导致服务异常的问题。

47、2、本发明在采集阶段通过基线采样建立低负载下的性能基准,并在统计窗口内取多次请求的平均值作为各并发等级下的性能指标记录值,同时采集首词元时间、词元间时延、显存占用率、键值缓存占用率以及每秒输出词元数等多个维度的性能指标。基线采样能够排除系统冷启动和缓存预热造成的冷启动断层干扰,统计窗口平均能够消除单次请求因网络抖动或系统波动引入的随机误差,多维度性能指标能够从时延、显存、吞吐等不同角度全面反映服务状态。本发明从源头提高了输入数据的稳定性和完整性,为后续斜率计算和趋势预测提供可靠的数据基础,有效降低因数据噪声导致的临界点误判风险。

48、3、本发明通过相邻并发等级之间的性能指标差值与并发等级差值的比值计算性能劣化斜率,并将各斜率按照并发等级由低到高的顺序排列为性能劣化斜率序列,同时利用序列末尾两个斜率的差分运算得到斜率变化量,根据斜率变化量是否超过预设阈值判断大语言模型推理服务是否接近临界并发等级。在未接近临界时,基于末尾多个斜率的平均值预测下一并发等级,在接近临界时直接将当前并发等级作为临界并发等级预测值。性能劣化斜率序列将原始性能指标转换为趋势特征,能够放大性能退化的变化幅度,斜率变化量进一步刻画退化趋势的加速程度,形成从一阶趋势到二阶趋势的递进式判断逻辑。由于临界点附近的性能退化通常呈现加速特征,该判断方式能够更早捕捉临界信号,在保证预测精度的同时减少不必要的细粒度探测,提高探测效率。

49、4、本发明通过显存压力参数和算力压力参数全面刻画底层硬件资源的紧张程度。显存压力参数综合当前显存占用率、键值缓存当前占用率、键值缓存增长速率以及预估最大上下文长度对应的键值缓存膨胀量,既反映显存当前占用水平,也反映上下文继续增长带来的显存膨胀压力;算力压力参数综合算力利用率、每秒请求处理数和平均排队时延,既反映计算资源的饱和程度,也反映请求处理能力和排队状况。显存压力参数与各项显存相关指标呈单调递增关系,算力压力参数与各项算力相关指标呈单调递增关系,因此当任一底层资源逼近瓶颈时,对应的压力参数会提前增大,在性能指标尚未明显恶化或尚未超出服务等级协议限制之前就向预测模块发出资源紧张信号。该机制将硬件资源状态量化为可参与计算的反馈信号,为后续预测结果的修正提供了提前量,有效避免显存溢出或算力过载导致的服务中断。

50、5、本发明将显存压力参数和算力压力参数进行加权求和得到综合资源压力参数,并根据综合资源压力参数计算动态阻尼系数,动态阻尼系数与综合资源压力参数呈单调递增关系,再利用动态阻尼系数对并发等级增量进行缩减,且缩减后的并发等级增量不小于1。综合资源压力参数将显存与算力两类异构资源统一为一维压力指标,使资源状态可以被单一阈值和单一系数控制;动态阻尼系数在综合资源压力参数升高时增大,对并发等级增量形成指数式压缩效果,使探测步长在资源紧张时迅速减小,在资源充裕时保持较大值,实现探测步长随硬件资源余量自适应调节;同时限定缩减后的增量不小于1,保证探测流程因过度保守而停滞。该机制让预测步长与实际资源余量形成联动,既能在低负载区域快速推进,又能在高负载区域平滑减速,从机制上防止并发等级一次跨度过大导致越界。

51、6、本发明通过有限状态机将探测流程划分为安全加压状态、风险修正状态、越界收敛状态和探测终止状态。在安全加压状态下按照修正后的并发等级增量增加并发等级,实现低负载区域的快速推进;在风险修正状态下减小并发等级增量并重新执行预测,实现接近资源边界时的防御性减速;当性能指标超出预设范围时,将当前并发等级作为越界并发等级,将已探测并发等级中性能指标未超出预设范围的最高并发等级作为最近安全并发等级,进入越界收敛状态;在越界收敛状态下,反复计算越界并发等级与最近安全并发等级的平均值作为中间并发等级,根据中间并发等级下的性能指标是否满足服务等级协议要求更新最近安全并发等级或越界并发等级,直至二者差值小于预设收敛精度,最终将最近安全并发等级确定为最大安全并发等级。有限状态机将探测、预测、修正、越界处理整合为规范化的状态迁移过程,使系统能够在不同负载阶段自主选择合适的探测策略;越界后的二分搜索以对数级探测次数逐步缩小安全边界区间,避免穷举式探测带来的大量请求开销,最终输出的最大安全并发等级同时满足服务等级协议要求和资源安全约束,为大规模语言模型推理服务的部署提供可靠的容量规划依据。