基于历史支持规划的视频世界模型推理加速方法及介质

摘要: 本发明涉及视频生成,具体是涉及到一种基于历史支持规划的视频世界模型推理加速方法及介质。背景技术:1、随着生成式视频模型以及视频世界模型的发展,自回归视频世界模型...
基于历史支持规划的视频世界模型推理加速方法及介质

本发明涉及视频生成,具体是涉及到一种基于历史支持规划的视频世界模型推理加速方法及介质。

背景技术:

1、随着生成式视频模型以及视频世界模型的发展,自回归视频世界模型能够根据已有观测内容以及用户动作,按照视频块逐步生成后续视频内容,并能够支持较长时间范围的视频推演。在该类模型的推理过程中,每生成一个新的视频块,通常需要重新访问先前已经生成的历史视觉状态,并对包含多个transformer层的去噪网络进行多次评估。因此,随着视频推演时长增加,历史状态访问以及transformer重复计算所带来的计算开销和存储开销也随之增加。

2、针对历史状态访问开销,现有技术提出了多种历史记忆压缩方案。例如,可以从历史键值状态中检索与当前视频块相关的历史信息,并对冗余历史状态进行压缩;还可以限制时序缓存的增长,或者利用不同注意力头的特性对历史键值状态进行筛选。部分方案还尝试利用位置变换前的查询特征估计后续可能相关的历史状态。通过上述方式,可以在一定程度上减少需要保存或参与注意力计算的历史键值状态数量。

3、另一方面,为降低视频模型在连续去噪评估过程中重复执行transformer计算所产生的计算开销,现有技术还提出了多种计算复用方案。例如,可以利用相邻去噪评估之间特征变化相对有限的特点,对中间特征、transformer块输出或者对应残差进行缓存,并在后续去噪评估中复用已缓存的计算结果,从而减少部分transformer层或transformer块的重复执行次数。现有的视频模型计算复用方案还可以根据历史状态、特征变化程度或者其他模型状态确定是否对缓存结果进行复用。

4、然而,现有的历史状态压缩方案和计算复用方案通常作为彼此独立的两类优化机制进行设计。历史状态压缩主要关注在当前计算过程中选择哪些历史状态参与注意力计算,而计算复用主要关注是否能够跳过当前去噪评估中的部分transformer计算。当两种机制独立工作时,用于计算某一缓存结果的历史状态与后续复用该缓存结果时实际采用的历史状态可能发生变化。缓存的块残差是在特定历史支撑条件下由相应组算子产生的,当所采用的历史支撑发生变化时,对应的组算子本身也随之发生变化,因此直接复用先前得到的残差可能产生算子失配。

5、具体而言,在基于注意力机制的视频模型中,transformer层的计算不仅取决于当前视频块的模型状态,还取决于该transformer层当前实际使用的历史键值状态。当历史状态筛选策略发生变化时,即使当前隐藏状态本身仍具有一定相似性,transformer层实际参与计算的历史信息也可能已经改变。此时,仅基于隐藏状态之间的相似度、特征变化程度或者时间间隔确定是否复用先前缓存的残差,难以反映历史支撑变化所引起的计算算子变化,从而可能导致缓存结果与当前实际计算过程不一致。

6、此外,在视频模型的不同去噪评估以及不同transformer层之间,历史状态的物理表示也可能发生变化。例如,同一历史候选身份在不同层或不同评估中可以对应不同的原生键值状态,不同模型还可能分别采用持久化的逐层键值缓存、潜在状态及位置缓冲,或者在各次评估过程中重新构建键值状态。因此,仅以具体的键值张量作为跨层或者跨评估的复用依据,也较难适应具有不同历史状态管理机制的视频模型。

7、由此可见,现有技术中历史状态稀疏化与transformer计算复用之间缺乏统一的关联机制。当历史支撑发生变化时,先前基于另一历史支撑获得的缓存残差可能不再对应当前待执行的transformer变换;而若为了保证计算一致性而频繁重新执行完整历史选择和transformer计算,又会降低历史压缩及计算复用所能够获得的加速效果。因此,如何在降低视频模型历史状态访问开销的同时,使计算结果的复用与实际采用的历史支撑保持一致,并对跨去噪评估的计算复用进行合理限制,是长时域视频模型推理过程中需要解决的技术问题。

技术实现思路

1、本发明提供了一种基于历史支持规划的视频世界模型推理加速方法及介质,其目的是解决现有视频模型中历史支撑选择与残差复用相互独立,导致历史支撑变化时缓存残差与当前transformer变换不一致、进而影响长时域推理效率和结果可靠性的问题。

2、为实现上述目的,本发明第一方面提供了一种基于历史支持规划的视频世界模型推理加速方法,包括如下步骤:

3、获取视频模型针对当前视频块进行第一去噪评估时的当前模型状态和历史状态,得到当前模型状态和待处理历史状态;

4、从所述当前模型状态中提取位置变换前查询,得到第一规范查询;

5、基于所述第一规范查询从所述待处理历史状态对应的历史候选身份中确定目标历史候选身份,得到第一逻辑支撑计划;

6、按照所述第一逻辑支撑计划从所述待处理历史状态中实例化历史键值状态,得到第一历史支撑;

7、基于所述第一历史支撑计算目标transformer组的组残差,得到第一组残差;

8、按照所述第一逻辑支撑计划缓存所述第一组残差,得到计划残差缓存;

9、基于所述视频模型针对所述当前视频块进行第二去噪评估时的位置变换前查询确定第二逻辑支撑计划;

10、对所述第二逻辑支撑计划与所述计划残差缓存对应的第一逻辑支撑计划进行匹配,得到计划匹配结果;

11、在所述计划匹配结果表示匹配时,基于所述计划残差缓存中的第一组残差确定所述目标transformer组在所述第二去噪评估中的组输出。

12、进一步的,从所述当前模型状态中提取位置变换前查询,得到第一规范查询,包括:

13、从所述当前模型状态对应的当前视频块词元中确定预先标定的查询词元子集,得到目标查询词元;

14、从所述目标查询词元对应的查询投影特征中确定预先标定的注意力头子集对应的查询投影特征,得到目标查询特征;

15、从所述目标查询特征中提取执行位置变换之前的查询特征,得到所述第一规范查询。

16、进一步的,基于所述第一规范查询从所述待处理历史状态对应的历史候选身份中确定目标历史候选身份,得到第一逻辑支撑计划,包括:

17、从所述待处理历史状态中确定参与历史支撑选择的历史候选身份,得到历史候选身份集合;

18、获取所述历史候选身份集合中各历史候选身份对应的历史键特征,得到候选历史键特征;

19、采用所述视频模型的原生位置算子分别对所述第一规范查询和所述候选历史键特征执行位置变换,得到位置查询特征和位置历史键特征;

20、基于所述位置查询特征和所述位置历史键特征计算各所述历史候选身份对应的匹配值,得到候选匹配值;

21、基于各查询词元对应的所述候选匹配值确定各注意力头对应的头匹配值,得到头匹配值集合;

22、对所述头匹配值集合进行聚合,得到各所述历史候选身份对应的候选得分;

23、按照所述候选得分从所述历史候选身份集合中选取预设数量的历史候选身份,得到所述第一逻辑支撑计划。

24、进一步的,按照所述第一逻辑支撑计划从所述待处理历史状态中实例化历史键值状态,得到第一历史支撑的方法包括:

25、获取所述视频模型对应的始终保留历史身份,得到稠密历史身份集合;

26、根据所述目标transformer组的组起始transformer层和预设规划层跨度确定连续transformer层,得到计划共享层集合;

27、将所述第一逻辑支撑计划中的目标历史候选身份共享至所述计划共享层集合中的各transformer层,得到各transformer层对应的计划历史身份;

28、将各所述计划历史身份与所述稠密历史身份集合合并,得到各transformer层对应的支撑身份集合;

29、按照各所述支撑身份集合从对应transformer层的原生历史状态中实例化键值状态,得到各transformer层对应的层历史支撑;

30、汇集各所述层历史支撑,得到所述第一历史支撑。

31、进一步的,基于所述第一历史支撑计算目标transformer组的组残差,并按照所述第一逻辑支撑计划缓存所述第一组残差的方法包括:

32、获取所述目标transformer组在所述第一去噪评估中的组输入,得到第一组输入;

33、基于所述第一历史支撑对所述第一组输入执行所述目标transformer组对应的有序变换,得到第一组输出;

34、计算所述第一组输出与所述第一组输入之间的差值,得到所述第一组残差;

35、建立所述第一逻辑支撑计划与所述第一组残差之间的对应关系,得到计划索引残差;

36、缓存所述计划索引残差,得到所述计划残差缓存。

37、进一步的,基于所述视频模型针对所述当前视频块进行第二去噪评估时的位置变换前查询确定第二逻辑支撑计划,并对所述第二逻辑支撑计划与所述第一逻辑支撑计划进行匹配的方法包括:

38、按照与所述第一规范查询相同的查询词元子集和注意力头子集,从所述第二去噪评估对应的当前模型状态中提取位置变换前查询,得到第二规范查询;

39、按照所述第一逻辑支撑计划的确定方式,基于所述第二规范查询确定目标历史候选身份,得到所述第二逻辑支撑计划;

40、按照所述第二逻辑支撑计划从所述第二去噪评估对应的原生历史状态中实例化历史键值状态,得到第二历史支撑;

41、获取所述第一逻辑支撑计划和所述第二逻辑支撑计划各自包含的目标历史候选身份,得到第一计划身份集合和第二计划身份集合;

42、对所述第一计划身份集合与所述第二计划身份集合进行比较,得到所述计划匹配结果。

43、进一步的,在所述计划匹配结果表示匹配时,所述方法还包括:

44、获取所述计划残差缓存中的第一组残差所对应的最近一次全计算评估和所述第二去噪评估中相同查询词元和相同注意力头对应的位置变换前查询,得到成对规范查询;

45、计算各所述成对规范查询之间的余弦距离,得到查询漂移值集合;

46、从所述查询漂移值集合中确定预设分位数对应的查询漂移值,得到规范漂移量;

47、将所述规范漂移量与预设漂移阈值进行比较,得到漂移比较结果。

48、进一步的,基于所述计划残差缓存中的第一组残差确定所述目标transformer组在所述第二去噪评估中的组输出的方法包括:

49、获取所述第一组残差对应的连续重放次数,得到当前重放次数;

50、将所述当前重放次数与预设最大重放次数进行比较,得到次数比较结果;

51、确定所述第二去噪评估是否属于预设锚点评估,得到锚点判断结果;

52、基于所述计划匹配结果、所述漂移比较结果、所述次数比较结果和所述锚点判断结果确定残差重放状态,得到重放判断结果;

53、获取所述目标transformer组在所述第二去噪评估中的组输入,得到第二组输入;

54、在所述重放判断结果表示执行残差重放时,将所述计划残差缓存中的第一组残差与所述第二组输入进行叠加,得到所述目标transformer组在所述第二去噪评估中的组输出。

55、进一步的,所述方法还包括:

56、在所述重放判断结果表示不执行残差重放时,基于所述第二历史支撑对所述第二组输入执行所述目标transformer组对应的有序变换,得到第二全计算组输出;

57、计算所述第二全计算组输出与所述第二组输入之间的差值,得到第二组残差;

58、建立所述第二逻辑支撑计划与所述第二组残差之间的对应关系,得到更新计划索引残差;

59、采用所述更新计划索引残差更新所述计划残差缓存,得到更新计划残差缓存;

60、将所述第二去噪评估确定为最近一次全计算评估,得到更新全计算评估状态。

61、为实现上述目的,本发明第二方面提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行所述基于历史支持规划的视频世界模型推理加速方法的步骤。

62、本发明的有益效果:

63、与现有技术相比,本发明提供的一种基于历史支持规划的视频世界模型推理加速方法及介质,通过利用位置变换前查询确定逻辑支撑计划,并基于所述逻辑支撑计划实例化历史键值状态及建立组残差的缓存对应关系,使历史支撑选择与残差复用采用统一的逻辑支撑计划进行约束;在后续去噪评估过程中,通过对当前逻辑支撑计划与缓存残差对应的逻辑支撑计划进行匹配,并结合规范查询漂移、连续重放次数及锚点评估对残差重放进行控制,使组残差仅在历史支撑保持一致且满足重放条件时被复用,从而减少因历史支撑变化导致的算子失配;同时,通过历史支撑稀疏化减少参与注意力计算的历史状态,并通过残差重放减少目标transformer组的重复计算,在兼顾历史状态访问开销和transformer计算开销的同时,提高长时域视频模型的推理效率及计算结果的可靠性。