一种基于泰勒展开引导的流式视频大模型缓存压缩方法及系统与流程

本发明属于人工智能、计算机视觉与大模型推理优化领域，涉及多模态大语言模型（mllm，multimodal large language model）在流式视频理解场景下的kv cache内存压缩技术，具体为一种基于泰勒展开引导的流式视频大模型缓存压缩方法及系统。

背景技术：

1、transformer架构中的注意力机制是现代大语言模型的核心计算单元。在自回归生成或流式预填充prefill过程中，模型需要维护历史上下文的键值缓存kv cache(key-value cache)，其内存占用随序列长度线性增长，增长趋势表示为o(t)。旋转位置编码rope(rotary positional embedding)是当前主流大模型，如qwen2-vl、llava等普遍采用的位置编码方式，通过将位置信息以旋转矩阵形式融入key/query向量实现位置感知。

2、在视频理解任务中，单次推理可能涉及数百帧图像，视觉token数量可达数万乃至数十万，kv cache内存需求极为庞大，在资源受限的边缘设备，如消费级gpu、ar/vr眼镜、具身智能设备上，极易触发内存溢出（oom）故障，严重制约了多模态大模型的实际部署。

3、为缓解上述内存压力，现有技术主要探索了两类记忆压缩方法：token合并（tokenmerging）与kv缓存剪枝（kv pruning）。一些代表性技术方案介绍如下。

4、《基于transformer神经网络的高效token剪枝方法》（公开号：us20250124105a1），该方法提出“kvcrush”启发式剪枝策略，通过利用注意力头生成二进制编码并基于汉明距离进行token分桶聚类，从而选取代表性token以压缩kv缓存。尽管该方法在降低聚类计算开销方面取得一定进展，但其缺乏对大模型误差传播机制的系统性认知，难以应对长视频推理中的误差级联放大问题。具体而言，该方法仅依赖单层局部注意力统计量，如注意力权重进行决策，忽略了不同网络层对最终输出的结构敏感度差异。在实际推理过程中，浅层产生的微小近似误差可能在深层被指数级放大，而该方法采用统一的局部剪枝策略，易误删对全局精度至关重要的高敏感特征，从而导致长视频推理中的逻辑退化。

5、《用于服务大语言模型的键值缓存动态量化与内存管理方法》（公开号：us20250061316a1）：该方法提出了一种kv缓存分页机制与动态量化策略，根据运行时的重要性分数和系统负载动态调整kv页的量化位宽，为提高系统吞吐量提供了有效方案，但在多模态视频压缩场景的适配性上存在明显缺陷：一是特征空间几何失真，该方法直接在已计算出的kv缓存空间（key-value space）内进行操作，完全忽视了旋转位置编码rope在prefill阶段已将绝对/相对位置信息与语义特征深度纠缠，在受rope干扰的空间进行压缩或量化会破坏特征原本的几何方向，导致相似度匹配失效；二是注意力质量严重流失，该方法在降级或丢弃非关键kv页时，未设计任何注意力补偿机制，导致被压缩的视觉背景token的注意力权重被直接抹除，引发“注意力稀释（attention dilution）”现象，使得模型丧失对视频细粒度背景环境的感知能力。

6、《面向多模态大语言模型的分层视觉token压缩方法》（公开号：cn121350590a）：该方法通过将模型划分为浅层、中层和深层，提出“浅层延迟注入、中层凹金字塔剪枝、深层提前退出”的固定分层规则，为视觉token压缩提供了抗冗余方案，但与流式视频的动态持续学习场景严重不适配：其高度依赖静态僵化的分层规则，主观假设“浅层视觉特征不参与信息交互”，这在处理复杂动态的流式视频时极易失效；真实场景中，不同视频帧的信息密度剧烈波动，这种静态硬编码的“凹金字塔”比例分配无法自适应输入的动态复杂性，缺乏严谨的数学误差边界保证，在极端的常数级 o(1) 显存约束下极易产生“一刀切”的性能坍塌。o(1) 指无论序列长度 t如何变化，算法的执行时间或占用的内存空间都是一个常数，保持不变。

7、根据现有技术，当前主流的kv cache压缩方法可归纳为以下几类：

8、启发式kv剪枝（heuristic kv pruning）：代表方法包括h2o、snapkv、fastv等。这类方法根据累计注意力分数、静态稀疏规律等启发式指标，直接移除重要性较低的kv对。其层间预算分配通常采用均匀方式，忽略了不同层对最终输出的差异化影响。

9、token合并方法（token merging）：代表方法包括tome、streammem等。这类方法在视觉编码器或语言模型内部对相似token进行合并，以减少序列长度。streammem采用query-agnostic方式在kv空间直接合并，但其在rope之后进行操作，导致位置旋转破坏相似性度量；同时，简单均值合并会造成注意力稀释（attention dilution），缺乏理论补偿。

10、流式内存管理（streaming memory management）：代表方法包括infinipot-v、livevlm、rekv等。这类方法尝试在有限内存预算内维持流式视频推理，但其内存分配策略多为启发式，缺乏理论保证；部分方法依赖cpu offloading（如rekv），引入额外系统开销。

11、非均匀层间预算分配（non-uniform layer budget）：代表方法如adakv、lava等，基于注意力熵或特征范数为不同层分配差异化预算。但这类方法仅考虑层内局部统计量，忽略了模型深层结构带来的误差传播放大效应。

技术实现思路

1、本发明要解决的技术问题是：现有键值缓存压缩方案存在以下不足：

2、1）缺乏对层间误差传播机制的理论建模

3、现有方法，包括h2o、snapkv、adakv、infinipot-v等在进行层间预算分配时，仅依赖层内局部统计量，如注意力分布熵、特征向量范数等，未对transformer深层非线性结构中的误差传播效应进行建模。这导致在浅层引入的微小近似误差可能被后续层逐级放大（误差雪崩效应），最终对模型输出产生不成比例的严重影响，而现有方法对此无从感知和主动规避。

4、2）rope之后的token合并存在几何失真

5、现有token合并方法（如streammem）在kv cache空间，即rope编码之后进行相似度计算和合并操作。由于rope旋转矩阵将位置信息以非线性方式融入key向量，不同位置的token即使语义完全相同，其key向量在欧氏空间中也会因位置差异而产生显著偏转，导致相似度度量失准，合并错误率高，局部近似误差大。

6、3）token合并后缺乏注意力能量守恒补偿

7、现有方法在合并n个相似token为1个时，通常采用简单均值或加权平均，但未对softmax分母的变化进行补偿。合并后，该组token在softmax归一化中的总注意力权重从n份减少为1份，导致注意力稀释（attention dilution），背景语义权重被严重低估，引发模型幻觉。

8、4）无法在严格o(1)内存约束下实现高质量流式视频理解

9、现有o(1)内存方法，如livevlm，由于缺乏理论指导，在极端压缩比，如90%以上下性能下降显著，无法在保持内存恒定的同时维持足够的视频理解精度。

10、本发明研究如何在严格o(1)恒定内存约束下，通过理论有保证的误差分解框架，同时最小化层内局部近似误差和管理层间结构敏感性，实现在极端kv cache压缩比下的高质量流式视频理解，性能达到甚至超越使用完整kv cache的基线模型。

11、本发明的技术方案为：一种基于泰勒展开引导的流式视频大模型缓存压缩方法，将流式视频输入多模态大模型，通过以下步骤实现键值缓存kv cache 的结构感知压缩与恒定内存推理：

12、步骤1：对多模态大模型的压缩误差进行数学建模，当对多模态大模型层注意力的第层施加压缩扰动，基于一阶泰勒展开对全局输出误差解耦，分解为2个正交分量：，为第层相对于输出的梯度雅可比范数，用于量化该层局部误差向最终输出传播时的级联放大系数，表征层间结构敏感性， 为第层因压缩导致的信息偏差范数，用于表征局部近似误差；

13、步骤2：设定全局 kv cache 物理上限为内存固定总预算，为第层动态计算token留存预算的分配比例：

14、

15、为均匀正则化分量，设为；

16、为第层静态结构敏感性先验，利用离线校准数据集执行反向传播，计算并缓存每一层的期望梯度范数，即，作为静态结构敏感性先验；

17、为第层动态在线信息密度，基于在线对数范数加权熵指标，根据当前输入的注意力分布熵和激活强度自适应调整当前层的预算；其中，  表示第  层基于当前输入或代理查询得到的注意力分布； 表示该注意力分布的信息熵，用于衡量注意力分布的信息弥散程度； 表示第  层值向量特征；表示该值向量特征的二范数，用于衡量该层激活强度；

18、分别为权重系数；

19、步骤3：在各层分配的留存预算限制下，配置两阶段混合策略用于缓存压缩：

20、步骤3.1：在token被转换为本层的键/值向量之前，对token进行帧间时序过滤和帧内迭代合并，利用余弦相似度判定帧间静态冗余，丢弃相似度高于设定阈值的静态冗余部分，在当前帧的存活token间执行多轮二分图匹配与合并，实现语义层面的 token 合并，得到融合token；记录每个融合token所包含的原始token数量作为融合计数，根据融合计数，在融合token的注意力logit中添加对数偏置补偿；

21、步骤3.2：在融合token被转成键值缓存后，通过kv cache 剪枝完成第二阶段压缩；

22、步骤4：多模态大模型对流式视频的每一帧，执行步骤3.1，当kv cache总长度超过时，根据步骤2计算每一层的留存预算，通过步骤3.2将各层缓存压缩至对应层级预算，使kv cache 总量始终维持在物理上限内，实现常数级内存复杂度推理。

23、进一步的，设多模态大模型的最终输出为全部层注意力输出集合的多元函数：，当对第层施加压缩扰动后，利用一阶多元泰勒展开对全局输出误差进行线性化近似，得到误差上界函数：

24、

25、解耦分解为和，在步骤2显式管理的分配策略下，通过步骤3的帧间时序过滤、帧内迭代合并及注意力补偿最小化，从而通过非均匀资源调度压制全局误差。

26、进一步的，步骤3.1中，

27、帧间时序过滤具体为：在每个时间步，计算当前帧与上一帧在对应位置的余弦相似度：，将相似度高于阈值的token标记为静态集s，将其余token保留为动态集d，丢弃静态集，动态集d中即为存活token；

28、帧内迭代合并具体为：将当前帧存活token集合分为源集a和目标集b，计算a与b之间的相似度矩阵，若最大相似度超过阈值，则将对应的a中token合并至b中最相似的token，得到融合token。

29、帧内迭代合并后，使用门控相似度注意力机制计算每个存活token对所有原始token的软分配权重，并按权重加权重建融合token特征：

30、帧内迭代合并完成后，得到存活 token 集合，并将当前帧合并前的原始token 集合记为，首先计算存活 token 与原始 token  之间的门控相似度矩阵 g：

31、

32、为相似度门控阈值，然后对 g 按原始 token 维度进行 softmax 归一化，得到软分配权重矩阵 m：

33、

34、其中，τ为温度系数，表示第个原始token对第个融合token的贡献权重,对原始 token 特征进行加权重建，得到融合token：

35、

36、其中，为防止除零的极小正常数，后续在融合 token 的注意力 logit 中加入 偏置补偿，用于保持合并前后注意力权重的近似守恒。

37、进一步的，步骤3.2中，利用通用对话模板构建代理查询，估计键值对的重要性得分，依据得分 top-k 准则进行剪枝，具体为：

38、1）利用通用对话模板构造代理查询，模拟未来真实用户查询；

39、2）对第层计算代理查询与所有融合token转换得到的kv对的注意力得分，其中对该 kv 对的注意力 logit 加入  偏置，并通过meanpool得到每个kv对的重要性得分，使融合token在剪枝评分中也能获得正确权重；

40、3）根据步骤2的层间预算分配策略确定的层级预算，根据预算保留重要性得分最高的kv对，丢弃其余低贡献kv，完成剪枝。

41、进一步的，步骤4中，将各层缓存压缩至对应层级预算具体为：

42、4.1）在线计算每层的代理查询注意力得分和在线对数范数加权熵指标；

43、4.2）计算各层预算比例，通过归一化确保总和为1；

44、4.3）将按比例分配至各层，取整处理并通过尾数调整确保总预算精确满足约束：

45、将全局固定总预算  按照各层预算比例分配至各层，得到连续预算：，对连续预算取整数部分：，计算取整后的剩余预算：；并按照各层小数尾数：，从大到小将剩余预算依次补给对应层，使最终整数预算满足：；

46、4.4）按各层分配的预算，执行kv cache 剪枝，完成压缩。

47、进一步的，对多模态大模型预先使用通用单图像数据集随机抽取样本作为离线校准数据集，通过一次性的反向传播计算，得到每一层注意力输出对全局输出的期望梯度范数，即。

48、本发明还提供一种基于泰勒展开引导的流式视频大模型缓存压缩系统，根据上述方法构建即插即用系统，对多模态大模型的键值缓存实现压缩，包括：

49、层级结构敏感性量化模块，用于利用离线校准数据集通过对多模态大模型的反向传播得到期望梯度范数；

50、三元预算分配模块，用于根据留存预算的分配比例公式，在内存固定总预算下计算各层的缓存预算；

51、位置编码前聚合模块，用于在token转换为键值向量前进行帧间时序过滤和帧内迭代合并，实现一阶段压缩；

52、层内键值缓存压缩模块，用于在token转换为键值向量后进行kv cache 剪枝，实现二阶段压缩。

53、本发明首次将一阶多元泰勒展开系统性地应用于多模态大语言模型（mllm）的 kvcache 压缩领域。突破传统启发式剪枝的盲目性，将模型压缩导致的全局输出误差 严格解耦为两个正交的数学维度：，即表征层间结构敏感性的和表征局部近似误差的，该误差分解模型构成了本发明设计的理论底座，将大模型缓存压缩从“经验工程”转化为“数学可证的受限优化问题”，精准指导了后续的跨层资源分配（管理）与单层压缩策略（最小化）。

54、对于跨层资源分配，本发明提出了基于结构敏感度的三元混合调度策略（tri-hybrid），建立的预算分配公式从均匀正则项、静态结构先验、动态信息密度三方面自适应计算每一层注意力的内存预算分配，该三元混合策略无需人工调参，即可自动形成“前重后轻（front-heavy）”的科学预算分布，在极限压缩率下完美保护了高敏感层与高熵层，有效阻断了局部误差向全局蔓延的“误差雪崩（error avalanche）”现象。

55、对于单层压缩策略，本发明通过帧间滤波、帧内聚合与代理引导剪枝实现时空协同局部误差最小化框架，针对流式视频中存在的时空冗余与注意力稀疏性，通过帧间隐式时间高通滤波解决时间冗余，通过帧内迭代合并解决空间冗余，通过对话感知代理查询的稀疏剪枝解决重要性冗余。实现三位一体的局部近似误差最小化方案，并在受限预算下最大限度保留关键语义。

56、本发明具有以下有益效果：

57、1）实现常数级内存复杂度：本发明将 kv cache 内存占用大幅降低 90% 以上，单层仅需约 6000 tokens，使得消费级显卡如 nvidia rtx a6000即可流畅处理无限时长的视频流任务。本发明方法下的系统具有更低内存、更低延迟、防止内存溢出（oom-free）的效率优势，相比rekv（retrieve in-context video kv-cache）等依赖cpu卸载（cpuoffloading）的现有方法：本发明在llava-onevision-7b上的峰值内存仅16.74gb，rekv为22.95gb，首token延迟仅0.0302秒，rekv为0.0846秒，且无需cpu-gpu数据传输开销，可在消费级gpu上实现真正的oom-free流式推理。

58、2）实现越压越好的反直觉性能提升，实现精度增益的“少即是多”效应：通过精准的冗余过滤，排除了视频中的时空噪声。实验证明，在多个主流基准测试中精度超越了全量缓存基线。本发明方法在qwen2.5-vl-3b上将综合视频理解准确率从62.3%提升至64.1%，超越了使用完整kv cache（100%内存）的基线模型，在 qwen2-vl-7b 上最高达到 69.43%。这是因为本发明通过数学严格的冗余过滤，去除了噪声token对注意力机制的干扰，使模型得以更专注于关键语义信息，实现了信息密度的有效提升。

59、3）优异的流式处理性能：在 rvs-ego/movie 等严苛的流式问答基准上，本发明在所有受限内存方法中均取得最高平均准确率56.6%，显著优于 streamingtom、streammem等现有前沿方法。

60、4）物理机制级的语义保留：本发明独创的 pre-rope 聚合策略，即对token转换前的一阶段压缩规避了位置编码带来的几何干扰，对数偏置补偿机制从数学上保证了“注意力守恒”，有效解决了传统方法中背景信息被稀释的痛点。在后向追溯任务中表现优于全量缓存，证明了记忆提取的高效性。相比streammem等现有token合并方法，本发明通过log(fi)的logit偏置在数学上严格保证了注意力能量守恒，使合并后的token在注意力计算中保持其代表的原始token集合的总语义权重，从根本上解决了attention dilution问题，在长视频理解任务中显著降低了模型幻觉率。

61、5）通过层间误差传播建模，实现资源的精准差异化分配，相比现有技术的均匀层间预算方案，本发明通过离线梯度范数量化各层拓扑重要性，浅层获得更多预算，抑制误差雪崩，深层可更激进压缩，稀疏冗余区，整体压缩质量大幅优于等预算的均匀分配方案，在同等内存约束下获得更高精度。

62、6）高普适性与低部署延迟：作为一种无需重训练（training-free）的即插即用框架，本发明可广泛适配 qwen、llava、internvl 等多种骨干网络。推理延迟（ttft）仅为0.03 秒，显存占用与交互体验均大幅优于 rekv 等对比方案。本发明具有极高的通用性和可迁移性，大幅降低了工业部署门槛。