视频生成方法、视频模型训练方法及视频生成装置与流程

本发明涉计算机，尤其涉及视频生成方法、视频模型训练方法及视频生成装置。

背景技术：

1、近年来，视频生成模型在影视制作、虚拟现实、智能创作等领域得到广泛应用。现有的高分辨率视频生成方法主要分为两类：一类是直接利用大型基础模型端到端生成高分辨率视频，另一类是采用级联生成方式，先由基础模型生成低分辨率视频，再通过单独的超分辨率模型将低分辨率视频提升至高分辨率。

2、然而，端到端生成方式中，自注意力机制的计算量与词元数量呈平方关系增长，直接生成高分辨率视频会大幅增加显存占用和推理时间，计算开销过高。级联生成方式虽然降低了计算量，但需要分别训练基础模型和超分辨率模型，训练能力无法复用，训练时间和成本增加，且部署调度复杂度提升；同时，超分辨率模型参数量较小，生成的高分辨率视频在细节丰富度和画面质量方面往往难以令人满意。

技术实现思路

1、本发明提供了一种视频生成方法、视频模型训练方法及视频生成装置，在保证高分辨率视频生成质量的同时，降低计算开销、减少训练和部署成本。

2、第一方面，本发明实施例提供了一种视频生成方法，包括：

3、获取视频生成请求，所述视频生成请求包括目标分辨率以及文本提示词、参考图片、参考音频、参考视频中的至少一种；

4、基于所述视频生成请求中的所述目标分辨率确定至少一个中间分辨率；

5、基于所述视频生成请求，通过目标视频模型生成中间分辨率的第一视频隐向量；

6、将所述第一视频隐向量作为条件约束，通过所述目标视频模型，生成目标分辨率的第二视频隐向量，所述目标分辨率高于所述中间分辨率；

7、对所述第二视频隐向量进行解码，得到目标视频。

8、第二方面，本发明实施例提供了一种视频模型训练方法，包括：

9、获取视频生成训练数据，所述视频生成训练数据包括目标分辨率、训练目标视频以及文本提示词、参考图片、参考音频、参考视频中的至少一种；

10、基于所述视频生成训练数据中的所述目标分辨率确定至少一个中间分辨率；

11、基于所述视频生成训练数据，通过目标视频模型生成所述中间分辨率的第一视频隐向量；

12、将所述第一视频隐向量作为条件约束，通过所述目标视频模型，生成目标分辨率的第二视频隐向量，所述目标分辨率高于所述中间分辨率；

13、对所述第二视频隐向量进行解码，得到目标视频；

14、基于目标视频和训练目标视频，确定第二损失值；

15、基于第一损失值和/或第二损失值确定目标视频模型，所述第一损失值用于训练所述目标视频模型生成不同中间分辨率的第一视频隐向量的能力。

16、第三方面，本发明实施例提供了一种视频生成装置，包括：

17、请求获取模块，用于获取视频生成请求，所述视频生成请求包括目标分辨率以及文本提示词、参考图片、参考音频、参考视频中的至少一种；

18、第一分辨率确定模块，用于基于所述视频生成请求中的所述目标分辨率确定至少一个中间分辨率；

19、第一生成模块，用于基于所述视频生成请求，通过目标视频模型生成中间分辨率的第一视频隐向量；

20、第二生成模块，用于将所述第一视频隐向量作为条件约束，通过所述目标视频模型，生成目标分辨率的第二视频隐向量，所述目标分辨率高于所述中间分辨率；

21、第一解码模块，对所述第二视频隐向量进行解码，得到目标视频。

22、第四方面，本发明实施例提供了一种视频模型训练装置，包括：

23、数据获取模块，用于获取视频生成训练数据，所述视频生成训练数据包括目标分辨率、训练目标视频以及文本提示词、参考图片、参考音频、参考视频中的至少一种；

24、第二分辨率确定模块，用于基于所述视频生成训练数据中的所述目标分辨率确定至少一个中间分辨率；

25、第三生成模块，用于基于所述视频生成训练数据，通过目标视频模型生成所述中间分辨率的第一视频隐向量；

26、第四生成模块，用于将所述第一视频隐向量作为条件约束，通过所述目标视频模型，生成目标分辨率的第二视频隐向量，所述目标分辨率高于所述中间分辨率；

27、第二解码模块，用于对所述第二视频隐向量进行解码，得到目标视频；

28、损失值确定模块，用于基于目标视频和训练目标视频，确定第二损失值；

29、模型训练模块，用于基于第一损失值和/或第二损失值确定目标视频模型，所述第一损失值用于训练所述目标视频模型生成不同中间分辨率的第一视频隐向量的能力。

30、第五方面，本发明实施例提供了一种电子设备，包括：

31、至少一个处理器；以及

32、与至少一个处理器通信连接的存储器；其中，

33、存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行上述第一方面实施例提供的一种视频生成方法或第二方面实施例提供的一种视频模型训练方法。

34、第六方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现上述第一方面实施例提供的一种视频生成方法或第二方面实施例提供的一种视频模型训练方法。

35、第七方面，本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现上述第一方面实施例提供的一种视频生成方法或第二方面实施例提供的一种视频模型训练方法。

36、本发明实施例的技术方案，包括获取视频生成请求，所述视频生成请求包括目标分辨率以及文本提示词、参考图片、参考音频、参考视频中的至少一种；基于所述视频生成请求中的所述目标分辨率确定至少一个中间分辨率；基于所述视频生成请求，通过目标视频模型生成中间分辨率的第一视频隐向量；将所述第一视频隐向量作为条件约束，通过所述目标视频模型，生成目标分辨率的第二视频隐向量，所述目标分辨率高于所述中间分辨率；对所述第二视频隐向量进行解码，得到目标视频。上述技术特征，通过同一目标视频模型执行至少两次生成，先基于视频生成请求生成低分辨率的第一视频隐向量，再将第一视频隐向量作为条件约束，通过同一目标视频模型生成高分辨率的第二视频隐向量。两次生成共用同一模型，无需额外训练超分辨率模型，降低了训练和部署成本；第一次生成较低分辨率视频隐向量，第二次生成在低分隐向量约束下进行减少了生成步数，避免了端到端直接生成高分辨率视频带来的因生成步数增加而造成的平方级计算增长，降低了计算开销；同时，第一视频隐向量作为条件约束保证了两次生成在语义上的一致性，确保了高分辨率视频的生成质量。

37、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种视频生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述视频生成请求，通过目标视频模型生成所述中间分辨率的第一视频隐向量，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述视频生成请求，通过目标视频模型生成所述中间分辨率的第一视频隐向量，包括：

4.根据权利要求1所述的方法，其特征在于，所述将所述第一视频隐向量作为条件约束，通过所述目标视频模型，生成目标分辨率的第二视频隐向量，包括：

5.根据权利要求1所述的方法，其特征在于，所述目标视频模型采用分块编码训练方式，在生成所述第一视频隐向量和/或所述第二视频隐向量的过程中，对所述目标视频模型的注意力计算进行稀疏化处理。

6.根据权利要求1所述的方法，其特征在于，还包括：

7.一种视频模型训练方法，其特征在于，包括：

8.根据权利要求7所述的方法，其特征在于，还包括：

9.根据权利要求8所述的方法，其特征在于，还包括：

10.一种视频生成装置，其特征在于，包括：