自回归视频扩散模型键值缓存压缩方法和系统与流程

本技术涉及视频生成，特别是涉及一种自回归视频扩散模型键值缓存压缩方法和系统。

背景技术：

1、自回归视频扩散模型通过划分连续的视频片段，流式生成完整视频，因此能够支持长时长、可交互的视频生成任务。为维持跨视频片段的时间一致性与视觉连续性，该类模型在推理过程中，需要持续保存历史视频片段对应的键值缓存，并通过注意力机制使新生成的视频片段访问历史视频片段的上下文。这使得随着生成视频时长、分辨率和注意力窗口的扩大，键值缓存的显存占用和注意力计算开销急剧增长，从严重制约该类模型的实时部署和实际应用。因此，在采用自回归视频扩散模型时，如何在保持视频生成质量的前提下对键值缓存进行高效压缩，是该领域亟待解决的问题。

2、现有相关技术通常在推理阶段对自回归视频扩散模型中所有注意力头采用统一的键值缓存压缩策略，例如使用滑动窗口注意力仅保留最近若干帧的键值缓存，或基于全局重要性评分对所有历史帧进行统一剪枝。上述现有方案的共性在于，对所有注意力头不加区分地执行相同键值缓存压缩操作，能在一定程度上减少键值缓存规模。但在自回归视频扩散模型中，不同注意力头在视觉功能上存在差异，因此，在对所有注意力头执行无差别的键值缓存压缩时，难以兼顾不同注意力头对历史上下文的差异化需求，会导致生成视频质量下降。

3、针对相关技术对自回归视频扩散模型采用统一键值缓存压缩策略，无法兼顾不同注意力头对历史上下文的差异化需求，导致生成视频质量下降的问题，目前还没有提出有效的解决方案。

技术实现思路

1、在本技术实施例中提供了一种自回归视频扩散模型键值缓存压缩方法和系统，以解决相关技术对自回归视频扩散模型采用统一键值缓存压缩策略，无法兼顾不同注意力头对历史上下文的差异化需求，导致生成视频质量下降的技术问题。

2、第一个方面，在本技术实施例中提供了一种自回归视频扩散模型键值缓存压缩方法，包括：

3、对自回归视频扩散模型中的注意力头进行划分，至少确定静态注意力头和动态注意力头；

4、对所述静态注意力头对应的第一键值缓存执行结构化剪枝，以得到静态头压缩缓存；

5、将所述动态注意力头对应的第二键值缓存中历史视频片段的各帧均划分为若干图像块；根据同一所述图像块在相邻的所述帧之间的信息变化程度，保留满足预设条件的所述图像块对应的键值缓存，以得到动态头压缩缓存；

6、根据所述静态头压缩缓存和所述动态头压缩缓存，生成当前视频片段。

7、在其中的一些实施例中，所述对自回归视频扩散模型中的注意力头进行划分，至少确定静态注意力头和动态注意力头，包括：

8、在利用所述自回归视频扩散模型执行推理之前，获取所述自回归视频扩散模型中各所述注意力头的注意力分布；

9、根据所述注意力分布，将对应的所述注意力头划分为所述静态注意力头或所述动态注意力头。

10、在进一步的一些实施例中，所述获取所述自回归视频扩散模型中各所述注意力头的注意力分布，包括：

11、统计各所述注意力头沿键维度分配到不同帧区域的注意力质量；

12、计算各所述注意力头在各所述帧区域对应的注意力分布比例，作为所述注意力分布。

13、在更进一步的一些实施例中，所述帧区域至少包括：当前视频片段、过渡锚点帧和完整注意力窗口；

14、所述根据所述注意力分布，将对应的所述注意力头划分为所述静态注意力头或所述动态注意力头，包括：

15、在所述注意力分布比例指示对应的所述注意力头集中在所述当前视频片段和所述过渡锚点帧的注意力超过预设百分比时，确定所述注意力头为所述静态注意力头；

16、在所述注意力分布比例指示所述注意力头的注意力均匀分布在所述完整注意力窗口上时，确定所述注意力头为所述动态注意力头。

17、在其中的一些实施例中，所述对所述静态注意力头对应的第一键值缓存执行结构化剪枝，以得到静态头压缩缓存，包括：

18、在所述第一键值缓存中，获取当前视频片段对应的键值缓存；

19、将sink帧对应的所述键值缓存，以及与所述当前视频片段相邻的历史视频片段中过渡锚点帧对应的所述键值缓存，确定为第一历史键值缓存；

20、在所有历史视频片段对应的所述键值缓存中，对除所述第一历史键值缓存之外的所述键值缓存执行剪除。

21、在其中的一些实施例中，所述根据同一所述图像块在相邻的所述帧之间的信息变化程度，保留满足预设条件的所述图像块对应的键值缓存，以得到动态头压缩缓存，包括：

22、计算同一所述图像块在相邻的所述帧之间的键状态相似度；

23、根据所述键状态相似度确定所述信息变化程度，在所述信息变化程度满足预设条件时，将对应的所述图像块确定为待保留图像块，保留所述待保留图像块对应的所述键值缓存。

24、在进一步的一些实施例中，所述计算同一所述图像块在相邻的所述帧之间的键状态相似度，包括：

25、获取所述自回归视频扩散模型中第一层扩散transformer的键状态；

26、基于所述第一层扩散transformer的所述键状态，计算同一所述图像块在相邻的所述帧之间的余弦相似度，作为所述键状态相似度。

27、在进一步的一些实施例中，所述根据所述键状态相似度确定所述信息变化程度，包括：

28、所述键状态相似度，与对应的所述图像块的所述信息变化程度，呈现负相关变化。

29、在进一步的一些实施例中，所述在所述信息变化程度满足预设条件时，将对应的所述图像块确定为待保留图像块，包括：

30、将所述键状态相似度低于预设阈值的所述图像块确定为所述待保留图像块；

31、或，将各所述图像块按所述键状态相似度由低至高排序，从低至高选取预设数量的所述图像块，确定为所述待保留图像块。

32、在其中的一些实施例中，所述根据所述静态头压缩缓存和所述动态头压缩缓存，生成当前视频片段，包括：

33、将所有所述静态头压缩缓存与所有所述动态头压缩缓存进行合并，得到压缩键值缓存；

34、在所述自回归视频扩散模型执行推理时，通过所述当前视频片段的查询向量对所述压缩键值缓存执行注意力计算，以生成所述当前视频片段。

35、第二个方面，在本技术实施例中提供了一种自回归视频扩散模型键值缓存压缩系统，包括：

36、划分模块，用于对自回归视频扩散模型中的注意力头进行划分，至少确定静态注意力头和动态注意力头；

37、第一压缩模块，用于对所述静态注意力头对应的第一键值缓存执行结构化剪枝，以得到静态头压缩缓存；

38、第二压缩模块，用于将所述动态注意力头对应的第二键值缓存中历史视频片段的各帧均划分为若干图像块，根据同一所述图像块在相邻的所述帧之间的信息变化程度，保留满足预设条件的所述图像块对应的键值缓存，以得到动态头压缩缓存；

39、生成模块，用于根据所述静态头压缩缓存和所述动态头压缩缓存，生成当前视频片段。

40、第三个方面，在本技术实施例中提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的自回归视频扩散模型键值缓存压缩方法。

41、第四个方面，在本技术实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的自回归视频扩散模型键值缓存压缩方法。

42、与现有相关技术相比，本技术实施例具有如下有益效果：

43、本技术通过将自回归视频扩散模型中的注意力头划分为静态注意力头和动态注意力头，并对两类注意力头分别采用不同的键值缓存压缩策略。对于静态注意力头，通过结构化剪枝保留与片段边界连续性相关的键值缓存；对于动态注意力头，通过将历史视频片段划分为图像块，根据同一图像块在相邻帧之间的信息变化程度选择性保留键值缓存。由此，在减少键值缓存规模、降低显存占用和注意力计算开销的同时，本技术能够兼顾不同注意力头对历史上下文的差异化需求，避免统一压缩策略导致片段边界过渡不连续和动态质量下降。由此，本技术能够在保持视频生成质量前提下，对键值缓存进行高效压缩。

44、本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。