面向大模型推理的算力资源动态分配方法与系统与流程

本发明涉及显存资源管理，具体涉及面向大模型推理的算力资源动态分配方法与系统。

背景技术：

1、随着大规模深度学习模型在自然语言处理等领域的广泛应用，单张图形处理器的显存容量已成为制约推理吞吐量的主要瓶颈。在模型推理过程中，每一层注意力计算都需要临时存储键值缓存，这些缓存占据大量显存空间。为提升显存利用率，现有技术借鉴操作系统内存管理中的分页思想，将每个请求的键值缓存拆分为固定大小的内存页进行离散存储。然而，实际部署中存在以下问题：

2、现有固定页大小的分页显存管理无法根据不同模型各层对键值缓存连续性的差异化需求动态分配页尺寸，且缺乏租户优先级感知的抢占与碎片反馈调整机制，导致显存利用率低、多租户场景下高优先级请求的服务质量无法保障的问题。

技术实现思路

1、本发明的目的在于提供面向大模型推理的算力资源动态分配方法与系统，以解决上述背景中问题。

2、本发明的目的可以通过以下技术方案实现：

3、面向大模型推理的算力资源动态分配方法，包括以下步骤：

4、s1，采集各模型每层注意力对缓存连续性的敏感度数据，依据敏感度数据将每层划分为大块敏感层或小块容忍层，并为每个模型生成页尺寸候选集；

5、s2，根据页尺寸候选集，并采集当前待处理请求的生成长度、所属租户优先级及全局显存碎片率，构造由页尺寸选择变量和租户隔离约束构成的分配决策描述；

6、s3，将分配决策描述输入至优先级贪婪剪枝过程，优先级贪婪剪枝过程依据各租户的优先级权重及请求剩余长度，求解满足显存容量上限的页尺寸组合，输出每个请求分配的页尺寸标签及对应页池分区；

7、s4，按照页尺寸标签，为每个请求分配物理显存页，其中大块敏感层对应的请求采用大页并连续存放，小块容忍层对应的请求采用小页并允许离散存放，同时依据租户优先级对页池进行分区隔离；

8、s5，监测分配后的显存碎片率变化，当碎片率超过阈值时，触发页尺寸组合重选择并将更新后的敏感度反馈至s1的候选集调整。

9、作为本发明进一步的方案：所述s1，具体包括：

10、对每层注意力，将键值缓存按至少两种不同尺寸切分，计算切分后输出与连续存储时的误差，并提取对应层反向传播梯度幅值，将误差与幅值加权求和得到连续性依赖指数；

11、将连续性依赖指数与预设阈值比较，若连续性依赖指数大于预设阈值则归为大块敏感层，否则归为小块容忍层；

12、依据划分结果，为大块敏感层仅分配不小于第一尺寸的页尺寸，为小块容忍层仅分配不大于第二尺寸的页尺寸，汇集同模型所有层的分配结果形成页尺寸候选集。

13、作为本发明进一步的方案：所述s2，具体包括：

14、根据页尺寸候选集，为每个待处理请求枚举其允许的页尺寸取值，生成页尺寸选择变量，并将每个变量的取值域限定于对应的候选集内；

15、依据采集的生成长度与所属租户优先级，为每个租户建立显存占用上限约束，并将各租户下所有请求的选择变量累加值限定在上限内；

16、将采集的全局显存碎片率转换为碎片惩罚系数，并将碎片惩罚系数与各请求的剩余长度相乘后叠加至选择变量的代价项，以碎片惩罚后的代价向量作为分配决策描述的约束边界。

17、作为本发明进一步的方案：所述将采集的全局显存碎片率转换为碎片惩罚系数，具体包括：

18、遍历全局显存中各连续空闲块的长度，计算长度分布的归一化熵值，并将熵值与全局显存碎片率相乘得到碎片复杂度；

19、将碎片复杂度与多个预设阈值区间比较，每个区间对应一个基准惩罚值，复杂度每跨越一个阈值区间则基准惩罚值翻倍；

20、将基准惩罚值与历史三次碎片复杂度滑动平均值的比值作为碎片惩罚系数输出。

21、作为本发明进一步的方案：所述s3，具体包括：

22、依据各租户的优先级权重从高到低对所有请求排序，同一租户内按请求剩余长度从大到小排序，形成有序请求队列；

23、依次从有序请求队列中取一个请求，枚举请求对应候选集中的每个页尺寸，分别计算各尺寸下的显存占用值，并累加至当前已分配请求的总占用值，取累加后未超过显存容量上限的尺寸作为可行尺寸组；

24、从可行尺寸组中选取占用值最小的尺寸作为请求的页尺寸标签，将请求加入对应租户的页池分区，并将显存容量上限减去占用值后更新，重复上述过程直至队列处理完毕。

25、作为本发明进一步的方案：所述依次从有序请求队列中取一个请求，枚举请求对应候选集中的每个页尺寸，分别计算各尺寸下的显存占用值，具体包括：

26、根据请求所属模型在第一步输出的层类型标记，统计模型内大块敏感层的层数和小块容忍层的层数；

27、将枚举的当前页尺寸与大块敏感层的层数相乘得到第一占用基数，并将候选集中最小页尺寸与小块容忍层的层数相乘得到第二占用基数；

28、获取请求剩余长度与预设基准长度的比值后向上取整得到页数量，将页数量乘以第一占用基数与第二占用基数之和，再乘以租户的历史页内填充余量系数，输出页尺寸下的显存占用值。

29、作为本发明进一步的方案：所述s4，具体包括：

30、根据页尺寸标签及页池分区，将物理显存地址空间按租户优先级划分为连续隔离区，每个隔离区内预置大页空闲栈和小页空闲栈；

31、对于大块敏感层对应的请求，从其所在隔离区的大页空闲栈顶部弹出一块连续物理地址块，按请求所需页数量截取连续段，并将段首地址写入请求的页表项；

32、对于小块容忍层对应的请求，从其所在隔离区的小页空闲栈中逐个弹出离散页，将每个离散页的物理地址存入请求的离散地址链表，不要求地址连续；

33、将分配后剩余的大页空闲栈顶部块推回栈内，并将小页空闲栈中未被弹出的页按栈顺序压缩后重新压栈。

34、作为本发明进一步的方案：所述将每个离散页的物理地址存入请求的离散地址链表，具体包括：

35、获取请求所需页数量，从小页空闲栈中一次性弹出与所需页数量等量的离散页，记录每个离散页的物理地址；

36、将弹出的离散页按物理地址由低到高排序，依次将排序后的物理地址写入请求专属的离散地址链表的相邻节点；

37、为该请求附加一个偏移指针，偏移指针指向离散地址链表的当前访问位置，每完成一次注意力计算则偏移指针后移一位，当指针到达链表末尾时回绕至头部。

38、作为本发明进一步的方案：所述s5，具体包括：

39、每隔固定时间步采集一次显存碎片率，计算当前碎片率与历史最低碎片率的差值，当差值超过预设阈值时生成重选择触发信号；

40、响应于重选择触发信号，清空当前所有未完成请求的页尺寸标签，保留各请求的原始长度信息，并重新获得新的页尺寸组合；

41、在新的页尺寸组合分配完成后，比较新组合下各模型的大块敏感层实际页尺寸与候选集的最大页尺寸，若实际页尺寸偏大则将对应的层敏感度指数调高一个步长后反馈至s1重新划分层类型。

42、面向大模型推理的算力资源动态分配系统，包括：

43、敏感度分析与候选集生成模块，采集各模型每层注意力对缓存连续性的敏感度数据，依据敏感度数据将每层划分为大块敏感层或小块容忍层，并为每个模型生成页尺寸候选集；

44、分配决策描述构造模块，根据页尺寸候选集，并采集当前待处理请求的生成长度、所属租户优先级及全局显存碎片率，构造由页尺寸选择变量和租户隔离约束构成的分配决策描述；

45、优先级贪婪剪枝求解模块，将分配决策描述输入至优先级贪婪剪枝过程，优先级贪婪剪枝过程依据各租户的优先级权重及请求剩余长度，求解满足显存容量上限的页尺寸组合，输出每个请求分配的页尺寸标签及对应页池分区；

46、物理显存页分配模块，按照页尺寸标签，为每个请求分配物理显存页，其中大块敏感层对应的请求采用大页并连续存放，小块容忍层对应的请求采用小页并允许离散存放，同时依据租户优先级对页池进行分区隔离；

47、碎片率监测与反馈调整模块，监测分配后的显存碎片率变化，当碎片率超过阈值时，触发页尺寸组合重选择并将更新后的敏感度反馈至敏感度分析与候选集生成模块的候选集调整。

48、本发明的有益效果：

49、（1）通过为不同模型及其各层注意力结构动态生成包含多种尺寸的页尺寸候选集，并结合大块敏感层与小页容忍层的区分分配策略，使得在混合部署参数量差异悬殊的模型时，能够避免因统一固定页大小导致的小模型内部碎片浪费以及大模型页表项过多的问题，从而在无需增加物理显存容量的情况下，提升实际可并行处理的请求数量，降低因显存不足导致的请求排队或失败概率。

50、（2）通过引入租户级页池分区隔离、基于优先级权重的贪婪剪枝分配以及碎片率触发的重选择反馈机制，使得高优先级租户的请求能够优先获得连续大页资源，并在显存碎片恶化时自动触发页尺寸组合的重新分配与层敏感度调整，从而避免低优先级请求长时间占用大页资源造成的高优先级请求等待超时，有效保障多租户场景下各租户服务等级协议的履约稳定性，减少因资源竞争导致的推理延迟抖动。