大语言模型服务容量边界自适应探测方法及系统与流程

摘要: 本公开涉及人工智能,尤其涉及一种大语言模型服务容量边界自适应探测方法及系统。背景技术:1、随着大语言模型在智能对话、代码生成、内容审核等各类产业场景中规模化落地...
大语言模型服务容量边界自适应探测方法及系统与流程

本公开涉及人工智能,尤其涉及一种大语言模型服务容量边界自适应探测方法及系统。

背景技术:

1、随着大语言模型在智能对话、代码生成、内容审核等各类产业场景中规模化落地,大模型在线推理服务的容量规划与服务质量保障已成为核心工程难题。与传统web服务基于请求、响应的完整交互模式不同,大语言模型服务普遍采用sse流式传输协议,以token为最小单元逐一生成并推送回复内容,用户体验不再由单一请求响应指标定义,而是由首token延迟、token输出流畅度、流式传输完整度三大核心维度共同决定。在不同并发负载工况下,大模型推理服务会呈现差异化的质量退化特征,精准捕捉该退化规律、明确服务合理容量边界,是保障线上大模型服务稳定运行、贴合真实用户体验的核心前提。

2、当前业界主流沿用jmeter、locust、wrk2等传统web服务压力测试框架开展大模型服务容量评估,但其技术架构与大模型流式推理场景存在本质适配缺陷,无法满足精细化容量测评需求。传统压测工具依托http状态码的二元判定逻辑,仅能识别请求成功或失败的极端状态,无法刻画大模型服务随并发提升产生的渐进式、多维质量退化过程,极易忽略服务连通正常但体验恶化的过渡状态,导致容量评估结果偏乐观;同时,其固定步长的并发探测策略无法适配不同模型、不同硬件配置下的服务退化速率差异,始终存在探测效率与评估精度的矛盾。

技术实现思路

1、有鉴于此,本公开实施例提供了一种大语言模型服务容量边界自适应探测方法及系统,能够解决现有技术中存在的容量评估精度不足、结果与真实用户体验偏差显著等问题。

2、第一方面,本公开实施例提供了一种大语言模型服务容量边界自适应探测方法,包括:

3、基于大语言模型服务的当前探测参数,向待测大语言模型服务发起预设持续时长的多路并发请求,并采集当前并发档位对应的流式响应数据;

4、对所有所述流式响应数据进行多维服务质量分析,获得多维的质量向量;

5、根据相邻档位间的所述质量向量对应的质量退化梯度,动态调整下一档的探测步长;

6、基于调整后的所述探测步长迭代执行并发探测,基于满足阈值约束的所述质量向量对应的并发档位构建与多维所述质量向量对应的多条退化轨迹,将多条所述退化轨迹与对应阈值线的交点的最小值作为模型服务容量边界。

7、第二方面,本公开实施例还提供了一种大语言模型服务容量边界自适应探测系统,包括:

8、并发执行与采集模块,用于基于大语言模型服务的当前探测参数,向待测大语言模型服务发起预设持续时长的多路并发请求,并采集当前并发档位对应的流式响应数据;

9、多维质量分析模块,用于对所有所述流式响应数据进行多维服务质量分析,获得多维的质量向量;

10、退化梯度分析与步长调节模块,用于根据相邻档位间的所述质量向量对应的质量退化梯度,动态调整下一档的探测步长;

11、边界分析模块,用于基于调整后的所述探测步长迭代执行并发探测,基于满足阈值约束的所述质量向量对应的并发档位构建与多维所述质量向量对应的多条退化轨迹,将多条所述退化轨迹与对应阈值线的交点的最小值作为模型服务容量边界。

12、第三方面,本公开实施例还提供了一种大模型智能调控方法,包括:

13、基于单个大语言模型服务的当前探测参数,向待测大语言模型服务发起预设持续时长的多路并发请求,并采集当前并发档位对应的流式响应数据;

14、对所有所述流式响应数据进行多维服务质量分析,获得多维的质量向量;

15、根据相邻档位间的所述质量向量对应的质量退化梯度,动态调整下一档的探测步长;

16、基于调整后的所述探测步长迭代执行并发探测,基于满足阈值约束的所述质量向量对应的并发档位构建与多维所述质量向量对应的多条退化轨迹,将多条所述退化轨迹与对应阈值线的交点的最小值作为模型服务容量边界;

17、识别当前业务场景的差异化业务需求,基于所有目标模型的所述模型动态服务容量边界确定业务需求对应的目标模型并调用执行。

18、第四方面,本公开实施例还提供了一种计算机装置,采用如下技术方案:

19、所述计算机装置包括:

20、至少一个处理器;以及,

21、与所述至少一个处理器通信连接的存储器;其中,

22、所述存储器存储有可被所述至少一个处理器执行的指令;所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行以上任一所述的大语言模型服务容量边界自适应探测方法或者所述的大语言模型推理服务管控方法。

23、第五方面,本公开实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储计算机指令;该计算机指令用于使计算机执行以上任一所述的大语言模型服务容量边界自适应探测方法或者所述的大语言模型推理服务管控方法。

24、第六方面,本公开实施例还提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现以上任一项所述方法的步骤。

25、本公开实施例提供的大语言模型服务容量边界自适应探测方法,基于大语言模型服务的当前探测参数,向待测大语言模型服务发起预设持续时长的多路并发请求,并采集当前并发档位对应的流式响应数据;对所有流式响应数据进行多维服务质量分析,获得多维的质量向量;根据相邻档位间的质量向量对应的质量退化梯度,动态调整下一档的探测步长;基于调整后的探测步长迭代执行并发探测,基于满足阈值约束的质量向量对应的并发档位构建与多维质量向量对应的多条退化轨迹,将多条退化轨迹与对应阈值线的交点的最小值作为模型服务容量边界,本申请面向大模型流式推理场景,通过构建多维质量向量刻画渐进式服务退化并依据质量退化梯度自适应调整并发探测步长,能够精准识别体验恶化过渡状态、兼顾探测效率与评估精度,得到贴合真实用户多维体验约束的准确服务容量边界。

26、上述说明仅是本公开技术方案的概述,为了能更清楚了解本公开的技术手段,而可依照说明书的内容予以实施,并且为让本公开的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。

1.一种大语言模型服务容量边界自适应探测方法,其特征在于,包括:

2.根据权利要求1所述的大语言模型服务容量边界自适应探测方法,其特征在于,所述基于大语言模型服务的当前探测参数,向待测大语言模型服务发起预设持续时长的多路并发请求,并采集当前并发档位下对应的流式响应数据,包括:

3.根据权利要求2所述的大语言模型服务容量边界自适应探测方法,其特征在于,所述根据大语言模型服务对应的档位次序确定当前探测参数,包括:

4.根据权利要求3所述的大语言模型服务容量边界自适应探测方法,其特征在于,所述对所有所述流式响应数据进行多维服务质量分析,获得当前并发档位对应的质量向量,包括:

5.根据权利要求4所述的大语言模型服务容量边界自适应探测方法,其特征在于,所述根据相邻档位间的所述质量向量对应的质量退化梯度,动态调整下一档的探测步长,包括:

6.根据权利要求5所述的大语言模型服务容量边界自适应探测方法,其特征在于,所述根据相邻档位间的所述质量向量、探测步长,确定质量退化梯度,包括:

7.根据权利要求1所述的大语言模型服务容量边界自适应探测方法,其特征在于,基于调整后的所述探测步长迭代执行并发探测时,若任一维度的所述质量向量不满足对应阈值约束,确定当前并发档位为不合格并发档位并执行二分回退精确定位机制。

8.根据权利要求1所述的大语言模型服务容量边界自适应探测方法,其特征在于,所述基于满足阈值约束的所述质量向量对应的并发档位构建与多维所述质量向量对应的多条退化轨迹,将多条所述退化轨迹与对应阈值线的交点的最小值作为模型服务容量边界,包括:

9.一种大语言模型服务容量边界自适应探测系统,其特征在于,包括:

10.一种大模型智能调控方法,其特征在于,包括:

11.一种计算机装置,其特征在于,所述计算机装置包括:

12.一种计算机可读存储介质,其特征在于,该计算机可读存储介质存储计算机指令;该计算机指令用于使计算机执行权利要求1-8任一所述的大语言模型服务容量边界自适应探测方法或者权利要求10所述的大语言模型推理服务管控方法。

13.一种计算机程序产品,包括计算机指令,其特征在于,该计算机指令被处理器执行时实现权利要求1-8任一所述的大语言模型服务容量边界自适应探测方法或者权利要求10所述的大语言模型推理服务管控方法的步骤。