大语言模型推理请求阶段耗时的零侵入式采集分析方法及系统与流程

摘要: 本发明涉及人工智能推理性能分析,具体是大语言模型推理请求阶段耗时的零侵入式采集分析方法及系统。背景技术:1、大语言模型推理请求通常不是一个单一函数耗时。一次请求...
大语言模型推理请求阶段耗时的零侵入式采集分析方法及系统与流程

本发明涉及人工智能推理性能分析,具体是大语言模型推理请求阶段耗时的零侵入式采集分析方法及系统。

背景技术:

1、大语言模型推理请求通常不是一个单一函数耗时。一次请求从进入服务端到返回结果,可能经过请求调度、输入处理、模型计算、执行单元调度、设备驱动等待、内存访问和结果输出等多个环节。对于本地部署或边缘侧设备,模型规模、量化方式、内存带宽、异构加速单元和设备驱动状态都可能影响端到端延迟。

2、现有常见性能分析方式主要包括以下几类。

3、第一类是业务埋点方式。开发人员在推理服务代码中手动记录请求开始、请求结束、模型执行等时间点。这类方式能够与业务请求关联,但需要修改代码、重新发布服务,并且很难覆盖第三方推理库、执行提供器、设备驱动和硬件资源等待等底层环节。

4、第二类是推理引擎自带分析方式。部分推理引擎可以输出节点耗时、线程信息或运行日志。这类方式对单个推理引擎内部分析有帮助,但通常需要显式开启,且输出结果偏向某一层内部事件,不一定能与在线请求、系统调用、设备交互和硬件采样自动对齐。

5、第三类是系统级追踪方式。操作系统提供的函数追踪、系统调用追踪和硬件计数器采样可以在不改业务代码的情况下观察进程行为,但这些工具本身通常不理解大语言模型请求语义。它们能看到函数、线程或系统调用,却难以自动说明一次请求慢在输入处理、模型运行、执行单元、设备等待还是未采集的空白阶段。

6、此外,不同证据的时间语义并不相同。请求总耗时、子阶段耗时、累计执行时间、静态图信息、设备等待和硬件计数器采样不能简单相加或直接比较。如果缺少证据质量标注,工程人员可能把采集不到的数据误认为无耗时,或者把某个包装层耗时误认为真正的优化目标。

7、因此,需要一种面向大语言模型推理请求阶段耗时的零侵入式采集与分析方法:既能在已有运行进程上采集请求阶段信息,又能将多层证据统一到同一请求范围内,并通过缺口分析和证据质量标注降低性能误诊风险。

技术实现思路

1、有鉴于此,本发明的目的是提供大语言模型推理请求阶段耗时的零侵入式采集分析方法及系统,以解决背景技术中的问题。

2、为了实现上述目的,本发明采用了如下技术方案:

3、本发明的大语言模型推理请求阶段耗时的零侵入式采集分析方法,包括步骤:

4、获取大语言模型的运行环境中的推理进程及其加载组件,并从所述推理进程中提取运行对象、预期采集点列表及其采集点状态;

5、筛选出符合预设采集条件的目标采集点,以及在不修改推理服务源码、请求接口、模型文件和请求处理逻辑的情况下采集所述目标采集点的原始事件记录;

6、基于所述原始事件记录和所述运行对象,将原始事件转换为阶段时间片,生成执行单元摘要并采集辅助证据;以及将所述阶段时间片、所述单元摘要和所述辅助证据分别标注时间语义后统一写入证据库,得到统一证据库;

7、从所述统一证据库中筛选父时间片,并基于父时间片的关联键、进程标识、线程标识、槽位标识、调用嵌套关系或受控时间窗口中的至少一种,在所述统一证据库中进行匹配,得到父时间片的匹配证据集合,其中,所述匹配证据集合包括子阶段时间片、执行单元摘要及辅助证据;

8、基于所述匹配证据集合,执行阶段归因与缺口分析处理,得到热点耗时项、未解释耗时缺口及归因置信度标记;

9、基于所述预期采集点列表、更新后的采集点状态以及所述热点耗时项和未解释耗时缺口,执行采集覆盖质量评估,并输出包含阶段耗时排序、热点执行单元排序、未解释耗时缺口区间、辅助证据相关性结果、采集点状态、采集覆盖质量及归因置信度的分析结果。

10、在本技术一实施例中,从所述推理进程中提取运行对象、预期采集点列表及其采集点状态,包括:

11、对所述推理进程进行解析,得到加载的运行组件、模型运行参数以及可访问的设备资源,并将所述加载的运行组件、模型运行参数以及可访问的设备资源聚合为运行对象;

12、读取所述推理进程的进程信息、命令行参数、可执行文件路径和内存映射,并解析目标文件的符号信息或调试信息,以判断采集点是否可用;

13、基于所述运行对象,将推理请求全链路中可能被观察的位置中的一个或者多个作为候选采集点,形成预期采集点列表;

14、对所述预期采集列表中每个候选采集点进行逐项可用性检查,得到采集点状态。

15、在本技术一实施例中,筛选出符合预设采集条件的目标采集点,以及在不修改推理服务源码和请求接口的情况下采集所述目标采集点的原始事件记录,包括:

16、将状态为可采集的采集点作为目标采集点;

17、基于目标采集点构建目标采集点列表,由独立于推理进程的外部采集控制器根据各目标采集点的属性生成动态采集规则;

18、通过操作系统动态附着能力将所述动态采集规则挂载至对应的用户态入口/返回点、系统事件或资源采样点;以只读方式记录目标采样点的原始事件记录,其中,所述原始事件记录包括:

19、在入口事件处记录开始时间、进程标识、线程标识及关联键;

20、在返回事件处记录结束时间和返回状态;

21、在设备交互事件处记录设备标识、调用方向和发生时间;

22、在采样点处记录采样值和采样时间;

23、在采集完成时,由外部采集控制器卸载所述动态采集规则;基于采集过程中的实际附着结果,根据预先定义的采集点状态枚举更新各采集点的状态值,输出更新后的采集点状态,其中,所述状态值包括已附着、权限不足和不可用。

24、在本技术一实施例中,基于所述原始事件记录和所述运行对象,将原始事件转换为阶段时间片,生成执行单元摘要并采集辅助证据;以及将所述阶段时间片、所述单元摘要和所述辅助证据分别标注时间语义后统一写入证据库,得到统一证据库,包括:

25、以所述原始事件记录和所述运行对象为输入,将原始事件按来源类型分类处理,得到阶段时间片集合;

26、对所述阶段时间片集合中的执行单元相关时间片,按执行单元名称进行汇总统计,得到执行单元摘要;

27、以所述运行对象中的设备资源和采样点为输入,在采集过程中或分析范围附近采集进程资源占用、设备状态、内存带宽或硬件性能计数变化,得到辅助证据;

28、以所述阶段时间片集合、所述执行单元摘要集合和所述辅助证据集合为输入,根据证据来源和时间语义将证据划分为三类:确定阶段耗时、候选阶段耗时和辅助相关证据,得到带分类标记的证据集合;

29、为所述证据集合中的每条证据标注时间语义,并以所述运行对象、所述更新后的采集点状态、已标注时间语义的阶段时间片集合、所述执行单元摘要集合和所述辅助证据集合为输入,将所有证据统一到同一时间基准后,连同预期采集点列表和实际采集结果一并写入统一证据库。

30、在本技术一实施例中,所述时间语义包括:阶段真实经过时长,用于请求或阶段链路分析;线程累计处理时长,用于执行单元热点排序;采样计数值,用于范围级相关判断;上述三类数据分别标注时间语义,在计算父时间片覆盖率和未解释耗时缺口时不直接相加。

31、在本技术一实施例中,以所述原始事件记录和所述运行对象为输入,将原始事件按来源类型分类处理,得到阶段时间片集合,包括:

32、根据可获得的事件类型,执行以下至少一种:生成请求父时间片、令牌生成窗口、模型运行父时间片、子阶段时间片或辅助证据;

33、对于能够识别分步生成过程的场景,生成令牌生成窗口;

34、对于只能观察到模型运行入口和返回事件的场景,生成模型运行父时间片;

35、对于执行单元、设备交互或资源采样事件,生成子阶段时间片或辅助证据;

36、若缺少请求标识,依据线程、槽位、调用嵌套关系或受控时间窗口进行弱关联,并在时间片中标注关联置信度;

37、输出阶段时间片集合,包含各时间片和令牌生成窗口的开始时间、结束时间、来源类型、所属运行对象及关联置信度。

38、在本技术一实施例中,从所述统一证据库中筛选父时间片,并基于父时间片的关联键在所述统一证据库中进行匹配,得到父时间片的匹配证据集合,包括:

39、当所述统一证据库中存在所述请求父时间片、所述令牌生成窗口或者所述模型运行父时间片时,根据分析目标、时间范围、采集可用性和置信度,从请求父时间片、令牌生成窗口、模型运行父时间片或受控时间窗口中选择父时间片;

40、当所述统一证据库中不存在所述请求父时间片、所述令牌生成窗口或者所述模型运行父时间片时,将人工指定或者系统生成受控时间窗口作为父时间片并标注最低的置信度等级;

41、选取与所述父时间片匹配的阶段时间片、执行单元摘要和辅助证据,得到父时间片的匹配证据集合。

42、在本技术一实施例中,基于所述匹配证据集合,执行阶段归因与缺口分析处理,得到热点耗时项、未解释耗时缺口及归因置信度标记,包括:

43、基于所述匹配证据集合中的父时间片和子阶段时间片集合,在所述父时间片内筛选所有子阶段时间片,并对所述子阶段时间片按照阶段类型、运行组件、执行单元名称或设备交互对象进行归类,计算各类子阶段时间片的累计耗时、覆盖时长、调用次数、平均耗时和峰值耗时,得到按阶段类型归类的耗时统计结果;

44、基于所述按阶段类型归类的耗时统计结果,对各归类的累计耗时进行排序,得到阶段耗时排序,并基于排序结果将耗时集中的位置定位到已观测到的请求阶段、运行阶段、执行单元或设备交互范围;以及对执行单元摘要按累计耗时排序,生成热点执行单元排序,其中所述热点执行单元排序排除运行包装层、静态结构节点、元数据节点、缺失证据行和合成缺口行,仅保留具有可确定耗时来源和调用次数的执行单元,得到阶段耗时排序和热点执行单元排序;

45、基于所述父时间片和位于所述父时间片内的子阶段时间片区间,将所有子阶段区间按开始时间排序,对于发生重叠或嵌套的子阶段区间,合并重叠部分并求并集,输出区间并集及其总长度;

46、基于所述父时间片的总耗时和所述区间并集的总长度,以父时间片总耗时减去区间并集总长度,得到未解释耗时缺口,输出未解释耗时缺口及其在父时间片中的位置区间,其中,所述未解释耗时缺口表示当前采集证据尚未覆盖或尚不能解释的时间区间,而非直接等同于某个执行单元的真实耗时;

47、基于所述未解释耗时缺口和所述匹配证据集合中的辅助证据子集,在所述未解释耗时缺口所在时间范围前后扩展查询窗口,读取该范围内的资源占用、设备状态、内存带宽或硬件计数器采样,根据采样覆盖比例、峰值出现时间与缺口区间的重合程度,生成辅助证据与推理阶段耗时的相关置信度,输出辅助证据相关性结果;

48、基于所述父时间片的来源类型、关联键完整性和事件配对情况,结合确定阶段耗时与候选阶段耗时的比例,生成归因置信度标记,其中,若请求入口和模型运行入口均可用且关联键完整,标记为高置信;若只能获得模型运行入口或采用弱关联方式,标记为中置信;若只能获得受控时间窗口和辅助采样,标记为低置信,输出归因置信度标记;

49、基于所述阶段耗时排序、所述热点执行单元排序、所述未解释耗时缺口、所述辅助证据相关性结果和所述归因置信度标记,合并为阶段归因与缺口分析结果,输出已解释的热点耗时集中项、未解释耗时缺口区间、辅助证据相关性结果及归因置信度标记。

50、在本技术一实施例中,基于所述预期采集点列表、更新后的采集点状态以及所述热点耗时项和未解释耗时缺口,执行采集覆盖质量评估,并基于评估结果构建包含阶段耗时、热点、缺口、置信度及补采建议的分析结果,包括:

51、基于所述预期采集点列表和所述更新后的采集点状态,对比预期采集点与实际采集到的阶段时间片或采样点,计算覆盖比例、罗列缺失项及缺失原因,生成采集覆盖质量,输出采集覆盖质量评估结果,其中,所述缺失原因至少包括缺少符号、权限不足、组件不存在、设备不可用或采样覆盖不足中的一种;

52、基于所述阶段耗时排序、所述热点执行单元排序、所述未解释耗时缺口、所述辅助证据相关性结果、所述归因置信度标记和所述采集覆盖质量评估结果,组装包含请求阶段树、时间轴、热点执行单元排序、未解释耗时缺口区间、辅助证据相关性、采集点状态、采集覆盖质量及归因置信度的分析结果,输出初步分析结果;

53、当所述采集覆盖质量评估结果表征采集覆盖充分时,将所述初步分析结果作为分析结果输出;当所述采集覆盖质量评估结果表征采集覆盖不足时,在所述初步分析结果中附加缺失项提示及针对低置信部分的补充采集建议,得到分析结果。

54、在本技术一实施例中,还包括:将所分析结果进行输出与反馈。

55、本技术还提供大语言模型推理请求阶段耗时的零侵入式采集分析系统,包括:

56、获取模块,用于获取大语言模型的运行环境中的推理进程及其加载组件,并从所述推理进程中提取运行对象、预期采集点列表及其采集点状态;

57、采集点判定模块,用于筛选出符合预设采集条件的目标采集点,以及在不修改推理服务源码、请求接口、模型文件和请求处理逻辑的情况下采集所述目标采集点的原始事件记录;

58、证据库构建模块,用于基于所述原始事件记录和所述运行对象,将原始事件转换为阶段时间片,生成执行单元摘要并采集辅助证据;以及将所述阶段时间片、所述单元摘要和所述辅助证据分别标注时间语义后统一写入证据库,得到统一证据库;

59、证据匹配模块,用于从所述统一证据库中筛选父时间片,并基于父时间片的关联键、进程标识、线程标识、槽位标识、调用嵌套关系或受控时间窗口中的至少一种,在所述统一证据库中进行匹配,得到父时间片的匹配证据集合,其中,所述匹配证据集合包括子阶段时间片、执行单元摘要及辅助证据;

60、分析模块,用于基于所述匹配证据集合,执行阶段归因与缺口分析处理,得到热点耗时项、未解释耗时缺口及归因置信度标记;

61、报告生成模块,用于基于所述预期采集点列表、更新后的采集点状态以及所述热点耗时项和未解释耗时缺口,执行采集覆盖质量评估,并输出包含阶段耗时排序、热点执行单元排序、未解释耗时缺口区间、辅助证据相关性结果、采集点状态、采集覆盖质量及归因置信度的分析结果。

62、本发明的有益效果是:本发明的大语言模型推理请求阶段耗时的零侵入式采集分析方法及系统,无需修改推理服务源码或接口即可实现请求阶段耗时的零侵入采集,通过采集点判定和状态记录明确各阶段证据的有无,避免误判。基于统一证据库与分析窗口构造,将不同来源的证据限定在同一次请求或令牌生成范围内,确保归因准确;结合阶段时间片和执行单元摘要,既可观察端到端耗时,也能定位模型运行及设备交互等内部阶段的具体耗时分布。通过区间并集计算未解释耗时缺口,避免将重叠子阶段耗时简单相加,并引入辅助证据帮助解释缺口来源。本发明严格区分阶段真实经过时长、累计处理时长与采样计数值等不同统计口径,杜绝数据混用;统一证据库支持实时诊断与离线复盘共享同一来源,采集覆盖质量评估能在证据不足时给出缺失项和补采建议,全面提升性能分析的准确性与可用性。