一种面向异构算力的视觉大模型推理KVCache管理方法与系统

本发明属于人工智能，具体涉及一种面向异构算力的视觉大模型推理kvcache管理方法与系统。

背景技术：

1、随着人工智能技术的快速发展，基于transformer架构的大规模预训练视觉模型在计算机视觉领域展现出卓越能力，广泛应用于图像生成、视频理解、多模态任务等场景。然而，视觉大模型在推理阶段面临着显存需求大、计算资源消耗高的严峻挑战，尤其在高分辨率图像处理、长视频序列理解等任务中，这一问题更为突出。

2、在视觉大模型的推理过程中，无论是图像生成模型（如stable diffusion、dall-e）的迭代式去噪过程，还是视频理解模型（如videomae、vivit）对长时序特征的处理，都需要缓存每一transformer层先前生成的特征图的key和value中间结果，即kv cache，用于后续位置的attention计算。kv cache的规模与图像分辨率、视频帧数呈线性增长，在高分辨率图像生成或长视频理解场景下，其显存占用甚至超过模型参数本身，成为制约推理效率的主要瓶颈。

3、为解决kv cache带来的显存压力，现有技术提出了多种优化方案：（1）模型压缩与量化，虽能降低参数存储，但无法有效控制kv cache规模；（2）kv cache量化，虽能降低显存占用，但全局统一量化策略会引入明显精度损失，在视觉任务中表现为图像细节模糊或视频时序一致性下降；（3）基于重要性的kv cache驱逐，根据attention分数等指标评估重要性并驱逐低价值缓存，但评估标准单一，忽略了视觉特征在时序上的长期影响；（4）异构计算与显存卸载，将kv cache部分卸载至cpu内存，但现有策略多基于静态或简单启发式规则，缺乏动态适应性，导致频繁且非必要的数据迁移，在实时视频处理等场景中引入明显延迟。

4、综上所述，现有技术在应对视觉大模型kv cache显存瓶颈时存在以下不足：缺乏能准确、动态反映视觉特征kv cache长期价值的评估机制；调度策略粒度粗放，未能根据显存压力自适应调整；在迁移与压缩等手段之间缺乏协同优化。因此，迫切需要一种能够动态评估kv cache重要性，并在显存约束下自适应进行分层调度的技术方案，以在保证视觉生成质量或理解精度的同时提升高分辨率图像、长视频序列的推理效率。

5、本发明正是在此背景下提出，提供一种面向异构算力环境的视觉大模型推理kvcache管理方法与系统，通过时间衰减加权的重要性评分机制和分层动态调度策略，实现对kv cache的智能存储、迁移与压缩，有效提升视觉大模型推理性能并控制精度损失。

技术实现思路

1、为克服现有大模型推理中，针对kv cache的管理方法在异构算力环境下适应性不足、缺乏基于注意力机制重要性的动态、细粒度调度机制的问题，本发明提供一种面向异构算力的视觉大模型推理kv cache管理方法与系统，以在gpu显存受限的长序列推理场景下，通过动态评估各层kv cache的重要性并据此进行分层、分级的存储与精度管理，有效降低gpu显存压力，减少gpu与cpu之间的数据迁移开销，从而在不显著影响推理精度的情况下提升推理效率。

2、为实现上述目的，本发明的技术方案包括以下内容。

3、一种面向异构算力的视觉大模型推理kv cache管理方法，所述方法包括：

4、在视觉大模型的每一轮推理迭代中，获取transformer层中每一kv cache的注意力分数，并记录各kv cache的历史注意力分数累积和；

5、基于kv cache的历史注意力分数累积和与该kv cache在当前迭代新获取的注意力分数，按时间衰减加权更新该kv cache的历史注意力分数累积和；

6、获取当前迭代中所有kv cache的显存占用量之和，并结合当前gpu可用显存与更新后的历史注意力分数累积和，决策当前迭代中每一kv cache的存储位置与精度状态。

7、进一步地，所述历史注意力分数累积和；其中，表示推理迭代轮次，为第层第个kv cache在第轮迭代的历史累积重要性评分，为第层第个kv cache在当前迭代新获取的注意力分数，为时间衰减因子。

8、进一步地，结合当前gpu可用显存与更新后的历史注意力分数累积和，决策当前迭代中每一kv cache的存储位置与精度状态，包括：

9、在当前gpu可用显存不小于所有kv cache的显存占用量之和的情况下，所有kvcache保持原始精度并全部驻留在gpu中；

10、在当前gpu可用显存小于所有kv cache的显存占用量之和的情况下，根据更新后的历史注意力分数累积和及第一累积重要性评分比例阈值将每一transformer层中kvcache划分为高重要性kv cache与低重要性kv cache，并将高重要性kv cache驻留在gpu中且保持原始精度，将低重要性kv cache迁移至cpu且保持原始精度。

11、进一步地，所述第一累积重要性评分比例阈值根据当前gpu可用容量和序列长度动态调整；其中，该序列长度基于预填充至视觉大模型的原始输入序列和视觉大模型解码阶段的输出序列获取。

12、进一步地，将高重要性kv cache驻留在gpu中且保持原始精度之后，所述方法还包括：

13、计算高重要性kv cache的显存占用量之和；

14、在当前gpu可用显存不小于高重要性kv cache的显存占用量之和的情况下，所有高重要性kv cache保持原始精度并全部驻留在gpu中；

15、在当前gpu可用显存小于高重要性kv cache的显存占用量之和的情况下，依据更新后的历史注意力分数累积和及第一累积重要性评分比例阈值、第二累积重要性评分比例阈值将高重要性kv cache划分为第一高重要性kv cache、第二高重要性kv cache与第三高重要性kv cache，并将第一高重要性kv cache驻留在gpu中且保持原始精度，将第二高重要性kv cache经量化压缩后驻留在gpu中，将第二高重要性kv cache迁移至cpu且保持原始精度；其中，第一高重要性kv cache的历史注意力分数累积和大于第二高重要性kv cache的历史注意力分数累积和，且第二高重要性kv cache的历史注意力分数累积和大于第三高重要性kv cache的历史注意力分数累积和。

16、进一步地，在当前gpu可用显存小于高重要性kv cache的显存占用量之和的情况下，所述方法还包括：

17、在当前gpu可用显存小于设定阈值的情况下，基于更新后的历史注意力分数累积和，对cpu与gpu之间进行已驻留kv cache的置换；其中，所述设定阈值为第一高重要性kvcache与第二高重要性kv cache的显存占用量之和。

18、一种面向异构算力的视觉大模型推理kv cache管理系统，所述系统包括：

19、注意力监测模块，用于在视觉大模型的每一轮推理迭代中，获取transformer层中每一kv cache的注意力分数，并记录各kv cache的历史注意力分数累积和；

20、重要性评估模块，用于基于kv cache的历史注意力分数累积和与该kv cache在当前迭代新获取的注意力分数，按时间衰减加权更新该kv cache的历史注意力分数累积和；

21、分层调度模块，用于获取当前迭代中所有kv cache的显存占用量之和，并结合当前gpu可用显存与更新后的历史注意力分数累积和，决策当前迭代中每一kv cache的存储位置与精度状态。

22、一种计算机设备，其特征在于，所述计算机设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现上述任一项所述的面向异构算力的视觉大模型推理kv cache管理方法。

23、一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述任一项所述的面向异构算力的视觉大模型推理kv cache管理方法。

24、一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机设备上运行时，使得计算机设备执行上述任一项所述的面向异构算力的视觉大模型推理kv cache管理方法。

25、与现有技术相比，本发明至少具有以下有益效果。

26、（1）本发明提出了一种基于注意力分数的时间衰减加权重要性评分机制，通过引入历史attention分数累积信息，综合反映kv cache在连续推理过程中的长期贡献，避免仅依据单次attention分数造成的重要性判断波动；同时利用时间衰减因子增强近期attention信息的影响，使重要性评分能够随推理过程动态变化。由此可提高kv cache重要性评估的稳定性和准确性，减少因重要性频繁变化导致的gpu与cpu之间反复迁移，降低数据迁移开销。

27、（2）本发明将kv cache的管理粒度细化到“层”，并引入了“累积重要性评分比例”作为调度阈值，实现了对kv cache的细粒度、动态调度。相较于传统的全局lru等粗粒度驱逐策略，本方法能够更精确地保留对后续生成最关键的kv cache。

28、（3）本发明构建了一个多级、自适应的kv cache调度体系。该体系能够根据gpu显存压力的变化，在仅迁移、迁移+量化等多种手段中平滑切换，协同优化显存占用和数据迁移开销，最大程度上保障了长文本推理场景下的推理效率与精度。