一种模型性能优化方法及计算装置与流程

本技术涉及计算机，尤其涉及一种模型性能优化方法及计算装置。

背景技术：

1、近年来，由于大语言模型(large language models，llms)在各种语言生成任务上的出色表现，推动了各种人工智能应用的发展，使得llms受到广泛关注。

2、然而，随着模型参数规模的指数级增长(如由1750亿参数增长到1.8万亿参数)，推理阶段的计算复杂度呈现超线性增长趋势。在实际业务场景中，单次推理请求需协调图形处理器(graphics processing unit，gpu)计算、显存管理、并行通信等多个子系统，导致端到端延迟难以满足实时交互需求。

3、因此如何快速定位到模型推理性能瓶颈点，并针对性的实现快速优化，是业界面临的挑战。

技术实现思路

1、本技术提供一种模型性能优化方法及计算装置，以快速定位到模型推理的性能瓶颈点，并针对性的快速优化。

2、第一方面，本技术提供一种模型性能优化方法，该方法可以应用于计算装置。例如计算装置为计算装置本身、计算装置中的组件(例如，处理器、电路、芯片、或芯片系统等)，或者能实现全部或部分计算装置功能的逻辑模块或软件。计算装置可以是电子设备或服务器，本技术对计算装置的具体形式不做限定。执行如下：

3、根据第一模型的优化目标、第一模型的类别信息以及第一对应关系，确定第一模型的层级指标树，第一对应关系指示第一模型中各处理节点的层级关联，层级指标树指示第一模型中各处理节点所处的层级以及各处理节点之间的层级关联；对层级指标树进行数据分析，获取第一链路以及性能优化建议，第一链路包括层级指标树中存在层级关联的多个第一处理节点，多个第一处理节点的性能参数不满足第一性能要求，性能优化建议指示对多个第一处理节点的性能参数的调整方式；输出第一链路以及性能优化建议。

4、基于上述方式，可以辅助第一模型的开发或维护人员确定第一模型推理过程中造成性能瓶颈的处理节点，并提供可行的性能优化建议，进一步降低第一模型的开发或维护人员的工作复杂度，提高处理效率。

5、在一种可能的实现方式中，计算装置对层级指标树的各处理节点的性能参数逐层采集，获取第一数据分析结果，第一数据分析结果指示第一处理节点的性能参数不满足第一性能要求；根据第一数据分析结果，获取第一链路和性能优化建议。

6、基于上述方式，计算装置对层级指标树的各处理节点逐层采集，可以更精确地筛选出不满足第一性能要求的第一处理节点，以便快速确定第一模型推理过程中造成性能瓶颈的处理节点。

7、在一种可能的实现方式中，多个第一处理节点包括层级指标树的第一层中不满足第一性能要求中的第一要求的第二处理节点，以及与第二处理节点存在层级关联且不满足第一性能要求中的其他要求的其他层级的第三处理节点。

8、基于上述方式，第一处理节点除了包括第一层中的第二处理节点以外，还包括其他层中的第三处理节点，基于此可以定位第一链路，便于计算装置分析存在第一模型性能根因是什么，确定合理的性能优化建议。

9、在一种可能的实现方式中，层级指标树的各处理节点的性能参数的采集比例逐层减少20％。

10、基于上述方式，计算装置可以自适应的动态采集处理节点的性能参数，极大降低了采集开销，从而减少采集所带来的性能损耗。

11、在一种可能的实现方式中，层级指标树的每层的处理节点对应的性能参数的采集比例不低于20％。

12、基于上述方式，层级指标树的每层的处理节点对应的性能参数的采集比例不低于20％，可以保证处理节点的性能参数的采集量，避免处理节点的性能参数采集量过少，无法确定不满足第一性能要求的第一处理节点的情况出现。

13、在一种可能的实现方式中，第一链路还包括多个第一处理节点关联的多个第一计算节点，多个第一计算节点的性能参数不满足第二性能要求。

14、示例性地，计算节点可以包括实例和/或计算卡等。

15、基于上述方式，第一链路除了包括第一处理节点以外还包括第一计算节点，以便对存在第一模型性能问题的根因进行下钻分析，对造成第一模型性能问题进行更细粒度分析。

16、在一种可能的实现方式中，计算装置还对多个第一处理节点关联的计算节点逐层采集，获取第二数据分析结果，第二数据分析结果指示多个第一计算节点的性能参数不满足第二性能要求；根据第一数据分析结果和第二数据分析结果，获取第一链路和性能优化建议。

17、基于上述方式，计算装置对层级指标树的各处理节点逐层采集，还对多个第一处理节点关联的计算节点逐层采集，可以更精确地筛选出不满足第一性能要求的第一处理节点以及不满足第二性能要求的第一计算节点，以便快速确定第一模型推理过程中造成性能瓶颈的处理节点。

18、在一种可能的实现方式中，多个第一计算节点包括第二处理节点关联的第二计算节点以及第三处理节点关联的第三计算节点。

19、基于上述方式，第一计算节点包括第一层中的第二处理节点关联的第二计算节点以及第三处理节点关联的第三计算节点，基于此可以定位第一链路，便于计算装置分析存在第一模型性能根因是什么，确定更加细化地性能优化建议。

20、在一种可能的实现方式中，层级指标树的每层的处理节点对应的计算节点的性能参数的采集比例，与同一层的处理节点的性能参数的采集比例相同。

21、基于上述方式，相同层的处理节点和计算节点的性能参数的采集比例相同，可以降低了采集开销，从而减少采集所带来的性能损耗，且避免处理节点的性能参数采集量过少，无法确定不满足第一性能要求的第一处理节点的情况出现。

22、在一种可能的实现方式中，层级指标树的存储形式为队列。

23、基于上述方式，由于队列的特点是先进先出，计算装置按照队列存储层级指标树，可以优先采集层级指标树第一层的处理节点的性能参数，以便逐层采集层级指标树的处理节点的性能参数。

24、在一种可能的实现方式中，第一模型的类别信息包括第一模型的结构信息，和/或，第一模型对应的集群信息。

25、基于上述方式，在第一模型的类型信息包括第一模型的结构信息，和/或，第一模型对应的集群信息时，便于计算装置匹配适配的层级指标树，进一步提高确定第一模型性能根因问题的处理效率。

26、在一种可能的实现方式中，第一模型的优化目标包括时延需求。

27、第二方面，本技术还提供了一种计算装置，该装置具有实现上述第一方面的方法实例中行为的功能，有益效果可以参见第一方面及第一方面任一种可能的实现方式的描述，此处不再赘述。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，该计算装置的结构中包括层级指标树确定模块、根因分析模块以及数据输出模块。

28、其中，层级指标树确定模块，用于根据第一模型的优化目标、第一模型的类别信息以及第一对应关系，确定第一模型的层级指标树，第一对应关系指示第一模型中各处理节点的层级关联，层级指标树指示第一模型中各处理节点所处的层级以及各处理节点之间的层级关联；根因分析模块，用于对层级指标树进行数据分析，获取第一链路以及性能优化建议，第一链路包括层级指标树中存在层级关联的多个第一处理节点，多个第一处理节点的性能参数不满足第一性能要求，性能优化建议指示对多个第一处理节点的性能参数的调整方式；数据输出模块，用于输出第一链路以及性能优化建议。

29、在一种可能的实现方式中，根因分析模块，还用于对层级指标树的各处理节点的性能参数逐层采集，获取第一数据分析结果，第一数据分析结果指示第一处理节点的性能参数不满足第一性能要求；根据第一数据分析结果，获取第一链路和性能优化建议。

30、在一种可能的实现方式中，多个第一处理节点包括层级指标树的第一层中不满足第一性能要求中的第一要求的第二处理节点，以及与第二处理节点存在层级关联且不满足第一性能要求中的其他要求的其他层级的第三处理节点。

31、在一种可能的实现方式中，层级指标树的各处理节点的性能参数的采集比例逐层减少20％。

32、在一种可能的实现方式中，层级指标树的每层的处理节点对应的性能参数的采集比例不低于20％。

33、在一种可能的实现方式中，第一链路还包括多个第一处理节点关联的多个第一计算节点，多个第一计算节点的性能参数不满足第二性能要求。

34、在一种可能的实现方式中，根因分析模块，还用于对多个第一处理节点关联的计算节点逐层采集，获取第二数据分析结果，第二数据分析结果指示多个第一计算节点的性能参数不满足第二性能要求；根据第一数据分析结果和第二数据分析结果，获取第一链路和性能优化建议。

35、在一种可能的实现方式中，多个第一计算节点包括第二处理节点关联的第二计算节点以及第三处理节点关联的第三计算节点。

36、在一种可能的实现方式中，层级指标树的每层的处理节点对应的计算节点的性能参数的采集比例，与同一层的处理节点的性能参数的采集比例相同。

37、在一种可能的实现方式中，层级指标树的存储形式为队列。

38、在一种可能的实现方式中，第一模型的类别信息包括第一模型的结构信息，和/或，第一模型对应的集群信息。

39、第三方面，本技术还提供一种计算装置，该计算装置包括至少一个处理器；以及与至少一个处理器通信连接的通信接口；至少一个处理器通过执行存储器存储的指令，使得上述第一方面或者第一方面的任意一种可能的设计的方法被执行。

40、第四方面，本技术还提供了一种计算装置集群，该计算装置集群包括至少一个计算装置，该至少一个计算装置具有实现上述第一方面的方法实例中行为的功能，有益效果可以参见第一方面的描述此处不再赘述。每个计算装置的结构中包括处理器和存储器，处理器被配置为支持计算装置执行上述第一方面或者第一方面的任意一种可能的设计的方法。存储器与处理器耦合，其保存计算装置必要的程序指令和数据。计算装置的结构中还包括通信接口，用于与其他装置进行通信，例如获取目标系统的待检测数据。

41、第五方面，本技术还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算装置执行上述第一方面或者第一方面的任意一种可能的设计的方法。

42、第六方面，本技术还提供一种包含指令的计算机程序产品，当其在计算装置上运行时，使得计算装置执行上述第一方面或者第一方面的任意一种可能的设计的方法。

43、第七方面，本技术还提供一种计算机芯片，芯片与存储器相连，芯片用于读取并执行存储器中存储的软件程序，执行上述第一方面或者第一方面的任意一种可能的设计的方法。

44、其中，第二方面至第七方面的有益效果，请参见第一方面的有益效果，不重复赘述。