经由transformer的可扩缩的潜在视频扩散的制作方法

背景技术：

1、本说明书涉及模型系统，并且具体涉及潜在视频扩散模型。

2、transformer是一种高度可扩缩的并且可并行化的神经网络架构。transformer在语言、音频、语音、视觉和机器人领域越来越比特定领域架构更受到青睐。然而，该趋势的例外是视频的生成式建模。

3、扩散模型已成为图像和视频的生成式建模的主要范式。由一系列卷积层和自注意力层组成的u-net架构已经是视频扩散方法的主要主要主干网络(back bone)。这种偏好源于这样的事实，transformer中完全注意力机制的存储器需求随输入序列长度呈二次方扩缩。当处理视频等高维信号时，此类扩缩会导致过高的成本。

4、潜在扩散模型(ldm)通过在从自编码器导出的低维潜在空间中操作来减少计算要求。在这一背景下，关键的设计选择是所采用的潜在空间的类型：空间压缩(每帧潜在)相较于时空压缩。空间压缩通常是优选的，因为它使得能够利用经预训练的图像自编码器和ldm，这些图像自编码器和ldm是在大型配对图像-文本数据集上被训练的。然而，该选择增加了网络复杂性，并且限制了transformer作为主干网络(backbone)的使用，尤其是在生成高分辨率视频时，由于存储器约束。在另一方面，虽然时空压缩可以缓解这些问题，但它排除了配对图像-文本数据集的使用，这些数据集比它们的视频等同数据集大得多并且更多样化。

技术实现思路

1、本说明书描述了将transformer集成到潜在视频扩散模型中的系统和方法。

2、本书面说明书描述了用于将transformer作为核心主干网络集成到潜在视频扩散模型中的系统和方法。这是通过两个特征的设计实现的。第一特征是被设计为在单一、统一潜在空间内压缩3d视频体积和2d图像的编码器。第二特征是专为扩散框架内的时空生成式建模而定制的参数高效的transformer架构。

3、在实现方式中，一种计算机实现的方法包括：使用编码器从相应的视频和图像集合生成潜在张量，每个潜在张量表示视频中的相应的一个视频或相应的一个图像集合，其中每个潜在张量被包括在相同的潜在空间中；以及使用该潜在张量来训练transformer主干网络，该transformer主干网络包括：一个或多个第一自注意力层，每个第一自注意力层执行对每个潜在张量中的空间关系建模的空间自注意力操作；以及一个或多个第二自注意力层，每个第二自注意力层执行对从视频生成的潜在张量中的时空动态建模的时空自注意力操作。

4、以此方式，transformer主干网络可以被配置以供在例如诸如视觉生成任务(例如，图像或视频生成)的机器学习任务的一个或多个机器学习任务中使用。该机器学习任务可以是类条件图像或视频生成。该机器学习任务可以是文本条件化图像或视频生成，例如文本到图像生成或文本到视频生成。该机器学习任务可以是视频帧预测。该机器学习任务可以是超分辨率图像或视频细化。

5、在附加方面中，transformer主干网络的一个或多个层被配置为执行包括以下的操作：应用交叉注意力以进行输出的文本条件生成，包括将潜在张量与查询和条件化信号(conditioning signal)的潜在表示进行交叉注意力。

6、在附加方面中，生成潜在张量包括：对于每个相应的视频，独立于视频的后续帧来对视频的第一帧进行编码。

7、在附加方面中，编码器是因果自编码器。

8、在附加方面中，时空层包括针对从相应的图像集合生成的每个潜在张量的恒等注意力掩码(identity attention mask)。

9、在附加方面中，transformer主干网络包括自适应归一化层。

10、在附加方面中，训练transformer主干网络包括沿通道维度将transformer主干网络的模型估计与输入连结以进行自条件化。

11、在附加方面中，一种系统包括一个或多个计算机和一个或多个存储装置，该一个或多个存储装置存储指令，该指令在由该一个或多个计算机执行时可操作以致使该一个或多个计算机执行如上文所描述的方法的操作。

12、在附加方面中，一种计算机存储介质，该计算机存储介质编码有指令，该指令在由一个或多个计算机执行时致使该一个或多个计算机执行如上文所描述的方法的操作。

13、本文所描述主题的一些实现方式可以在某些情况下实现以下优点中的一个或多个优点。

14、当前所描述系统和方法的示例实现了计算效率(例如，由于使用局部窗口注意力显著降低了计算需求)，并且使得能够在图像和视频数据集上进行联合训练，其中空间层独立处理图像和视频帧，而时空层专用于对视频中的时间关系建模。此外，与基于帧级自编码器的方法相比，当前所描述系统和方法的示例不会受到闪烁伪影的影响，该闪烁伪影通常由对视频帧进行独立编码和解码导致。

15、在将当前所描述的系统和方法应用于图像预测时，当前所描述的系统和方法在不需要专门的调度、卷积感应偏置、改进的扩散损失和无分类器引导的情况下胜过现有工作。虽然一些现有工作具有稍好的fréchet初始距离分数，但他们的模型也有显著更多的参数(2b)。

16、在将当前所描述的系统和方法应用于视频生成中时，当前所描述的系统和方法利用更少的模型参数(与现有技术相比)和仅50个去噪扩散隐式模型(ddim)推理步来达到最先进的技术的性能。

17、本说明书中描述的主题的一个或多个实施例的细节在附图和以下描述中进行阐述。根据说明书、附图和权利要求书，本主题的其他潜在特征、方面和优点将变得显而易见。

1.一种计算机实现的方法，包括：

2.如权利要求1所述的计算机实现的方法，其中所述transformer主干网络的一个或多个层被配置为执行包括以下的操作：

3.如权利要求1所述的计算机实现的方法，其中生成所述潜在张量包括：对于每个相应的视频，独立于所述视频的后续帧来对所述视频的第一帧进行编码。

4.如权利要求2所述的计算机实现的方法，其中所述编码器是因果自编码器。

5.如权利要求1所述的计算机实现的方法，其中所述时空层包括针对从相应的图像集合生成的每个潜在张量的恒等注意力掩码。

6.如权利要求1所述的计算机实现的方法，其中所述transformer主干网络包括自适应归一化层。

7.如权利要求1所述的计算机实现的方法，其中训练所述transformer主干网络包括沿通道维度将所述transformer主干网络的模型估计与输入连结以进行自条件化。

8.一种系统，包括一个或多个计算机和一个或多个存储装置，所述一个或多个存储装置存储可操作的指令，所述指令在由所述一个或多个计算机执行时致使所述一个或多个计算机执行操作，所述操作包括：

9.如权利要求8所述的系统，其中所述transformer主干网络的一个或多个层被配置为执行包括以下的操作：

10.如权利要求8所述的系统，其中生成所述潜在张量包括：对于每个相应的视频，独立于所述视频的后续帧来对所述视频的第一帧进行编码。

11.如权利要求8所述的系统，其中所述编码器是因果自编码器。

12.如权利要求8所述的系统，其中所述时空层包括针对从相应的图像集合生成的每个潜在张量的恒等注意力掩码。

13.如权利要求8所述的系统，其中所述transformer主干网络包括自适应归一化层。

14.如权利要求8所述的系统，其中训练所述transformer主干网络包括沿通道维度将所述transformer主干网络的模型估计与输入连结以进行自条件化。

15.一种计算机存储介质，所述计算机存储介质编码有指令，所述指令在由一个或多个计算机执行时致使所述一个或多个计算机执行操作，所述操作包括：

16.如权利要求15所述的计算机存储介质，其中所述transformer主干网络的一个或多个层被配置为执行包括以下的操作：

17.如权利要求15所述的计算机存储介质，其中生成所述潜在张量包括：对于每个相应的视频，独立于所述视频的后续帧来对所述视频的第一帧进行编码。

18.如权利要求15所述的计算机存储介质，其中所述时空层包括针对从相应的图像集合生成的每个潜在张量的恒等注意力掩码。

19.如权利要求15所述的计算机存储介质，其中所述transformer主干网络包括自适应归一化层。

20.如权利要求15所述的计算机存储介质，其中训练所述transformer主干网络包括沿通道维度将所述transformer主干网络的模型估计与输入连结以进行自条件化。