一种多模型并行性能评估与成本优化方法及系统与流程

本技术涉及分布式推理资源调度，具体而言，具体而言，涉及一种多模型并行性能评估与成本优化方法及系统。

背景技术：

1、随着人工智能技术的快速发展，多个深度学习模型在同一物理节点上并行部署进行推理服务的需求日益增长。在多模型共置场景下，模型之间共享cpu、gpu显存、内存带宽等资源，导致相互之间存在性能干扰，使得各模型的实际处理耗时显著增加。现有技术中，多模型部署方案通常基于经验规则或静态配置，缺乏对模型共置时性能衰减的精细化量化手段，也无法根据实时业务负载动态调整资源分配策略，导致资源利用率低下或服务质量不达标。

2、针对上述问题，现有技术亟需改进。

技术实现思路

1、本技术的目的在于提供一种多模型并行性能评估与成本优化方法及系统，具有能够实现多模型并行场景下性能衰减的精细化量化与动态资源调度，提高了资源利用效率和服务质量的优点。

2、本技术提供了一种多模型并行性能评估与成本优化方法，包括：

3、获取多个模型在历史时段内的请求处理记录；根据所述请求处理记录，统计各模型在独占资源条件下的基准性能数据；

4、将多个模型按不同组合部署于同一物理节点，采集各模型在组合部署下的实际性能数据，计算相对于所述基准性能数据的性能衰减比例，建立性能衰减记录；

5、预测下一时段各模型的请求到达速率；基于所述性能衰减记录以及预测的请求到达速率，以满足各模型预设处理耗时要求且总资源成本最小为目标，生成多个候选部署策略，并筛选出帕累托前沿方案集；

6、根据当前业务优先级从所述帕累托前沿方案集中确定目标部署策略，所述目标部署策略包括各模型在下一时段的目标资源配额以及模型部署组合；

7、按照所述目标部署策略，调整各模型的资源分配和部署位置；以及在调整后的运行过程中，监测各模型的实际处理耗时，当实际处理耗时与预设处理耗时要求的偏差超过预设阈值时，执行自修复动作。

8、进一步，所述获取多个模型在历史时段内的请求处理记录，包括：

9、记录每个请求在模型处理前端的排队等待时长、预处理阶段耗时以及推理计算阶段耗时；

10、将所述排队等待时长、预处理阶段耗时、推理计算阶段耗时分别与对应请求关联存储，其中所述请求处理记录还包括各资源类型的争用强度指标，所述争用强度指标包括共享内存带宽争用系数、共享缓存争用系数和i/o带宽争用系数中的至少一种。

11、进一步，所述根据请求处理记录，统计各模型在独占资源条件下的基准性能数据，包括：

12、根据各请求关联存储的输入数据长度和输出数据长度，将请求划分为短输入长输出类、长输入短输出类以及均衡类三种请求类型；

13、根据各请求关联存储的预处理阶段耗时、推理计算阶段耗时，分别计算各模型处理上述三种类型请求时各阶段的平均耗时；

14、根据所述各阶段的平均耗时，生成所述基准性能数据。

15、进一步，所述建立性能衰减记录，包括：

16、将请求处理过程划分为预处理阶段和推理计算阶段，采集各模型在组合部署下处理不同类型请求时的实际阶段耗时；

17、计算各实际阶段耗时相对于基准性能数据中对应阶段的阶段耗时变化比例；

18、当同一模型组合中，任一模型的预处理阶段阶段耗时变化比例大于推理计算阶段阶段耗时变化比例时，将该组合下的耗时增加来源标记为预处理阶段耗时增加；当推理计算阶段阶段耗时变化比例大于预处理阶段阶段耗时变化比例时，将该组合下的耗时增加来源标记为推理计算阶段耗时增加；将耗时增加来源与阶段耗时变化比例关联存储于性能衰减记录中。

19、进一步，生成多个候选部署策略，包括：

20、根据输入数据长度和输出数据长度，将请求划分为短输入长输出类、长输入短输出类以及均衡类三种请求类型；

21、预测下一时段各模型的请求类型分布比例，确定各模型在下一时段请求数量最多的类型；

22、从性能衰减记录中，查找各模型组合在该类型下对应的耗时增加来源和阶段耗时变化比例；

23、将各模型在该类型下阶段耗时变化比例最小的模型组合，确定为候选部署组合；

24、根据各模型预测的请求到达速率以及候选部署组合下的阶段耗时变化比例，计算满足预设处理耗时要求所需的资源配额，得到候选部署策略。

25、进一步，所述根据当前业务优先级从帕累托前沿方案集中确定目标部署策略，包括：

26、当当前业务优先级为性能优先时，从帕累托前沿方案集中选择处理耗时最接近预设处理耗时要求且总资源成本相对较高的候选部署策略作为目标部署策略；

27、当当前业务优先级为成本优先时，从帕累托前沿方案集中选择总资源成本最低且处理耗时未超出预设处理耗时要求的候选部署策略作为目标部署策略；

28、当当前业务优先级为均衡模式时，从帕累托前沿方案集中选择处理耗时与总资源成本的加权综合评分最优的候选部署策略作为目标部署策略。

29、进一步，所述按照目标部署策略，调整各模型的资源分配和部署位置，包括：

30、当任一模型的目标资源配额大于当前资源配额时，若该模型所在物理节点剩余资源满足目标资源配额，则直接扩容该模型；若剩余资源不足，则优先选择已部署有该模型副本且副本所在物理节点上共置模型对该模型阶段耗时变化比例小于预设变化阈值的物理节点，将新到达的请求路由至该副本并同步将待扩容的实例调度至该物理节点；

31、当任一模型的目标资源配额小于当前资源配额时，释放该模型在当前物理节点上的多余资源，并将释放的资源分配给同一物理节点上目标资源配额大于当前资源配额且阶段耗时变化比例小于预设变化阈值的其它模型。

32、进一步，所述执行自修复动作，包括：

33、记录各模型在当前物理节点上的前端排队时长，所述前端排队时长为请求到达至开始预处理之间的时间间隔；

34、当任一模型的前端排队时长超过预设排队阈值时，获取该模型所在物理节点上的共置模型列表；

35、从性能衰减记录中，查询该模型与共置模型列表中各模型组合对应的阶段耗时变化比例；

36、若存在共置模型使该模型的阶段耗时变化比例大于预设变化阈值，则将该共置模型从当前物理节点迁出，并迁移至阶段耗时变化比例小于预设变化阈值的物理节点，同时保持该模型当前资源配额不变。

37、进一步，所述总资源成本根据以下至少一种技术指标计算：

38、cpu核数与对应单价系数的乘积、gpu显存容量与对应单价系数的乘积、网络带宽与对应单价系数的乘积、内存容量与对应单价系数的乘积，其中各单价系数由当前云计算平台实时报价接口动态获取。

39、第二方面，本技术还提出一种多模型并行性能评估与成本优化系统，包括：

40、获取与统计模块，用于获取多个模型在历史时段内的请求处理记录；根据所述请求处理记录，统计各模型在独占资源条件下的基准性能数据；

41、部署与采集模块，用于将多个模型按不同组合部署于同一物理节点，采集各模型在组合部署下的实际性能数据，计算相对于所述基准性能数据的性能衰减比例，建立性能衰减记录；

42、预测与生成模块，用于预测下一时段各模型的请求到达速率；基于所述性能衰减记录以及预测的请求到达速率，以满足各模型预设处理耗时要求且总资源成本最小为目标，生成多个候选部署策略，并筛选出帕累托前沿方案集；

43、确定模块，用于根据当前业务优先级从所述帕累托前沿方案集中确定目标部署策略，所述目标部署策略包括各模型在下一时段的目标资源配额以及模型部署组合；

44、调整优化模块，用于按照所述目标部署策略，调整各模型的资源分配和部署位置；以及在调整后的运行过程中，监测各模型的实际处理耗时，当实际处理耗时与预设处理耗时要求的偏差超过预设阈值时，执行自修复动作。

45、由上可知，本技术提供的一种多模型并行性能评估与成本优化方法及系统，通过将请求处理过程拆解为预处理阶段和推理计算阶段分别测量，建立由阶段耗时变化比例与耗时增加来源构成的性能衰减记录，并基于请求类型分布预测与帕累托前沿筛选生成候选部署策略，结合业务优先级动态确定目标部署策略，解决了多模型共置部署时性能衰减难以量化、资源调度缺乏动态优化机制的问题，具有能够实现多模型并行场景下性能保障与资源效率平衡，提高了部署决策灵活性和运行稳定性的优点。