视频生成方法、装置、设备、存储介质及程序产品与流程

摘要: 本技术涉及计算机,特别涉及一种视频生成方法、装置、设备、存储介质及程序产品。背景技术:1、视频生成技术作为计算机视觉领域的重要研究方向,旨在根据用户输入的文本描...
视频生成方法、装置、设备、存储介质及程序产品与流程

本技术涉及计算机,特别涉及一种视频生成方法、装置、设备、存储介质及程序产品。

背景技术:

1、视频生成技术作为计算机视觉领域的重要研究方向,旨在根据用户输入的文本描述或参考图像自动生成连贯的视频内容。

2、相关技术中,视频生成系统在面对多模态输入时,通常采用特征级融合策略,即将参考图像和文本描述编码为统一特征空间后进行联合处理,以生成符合参考图像和文本描述的视频。

3、然而,参考图像的具体视觉特征容易在特征融合过程中被文本的抽象语义特征覆盖或扭曲,导致生成的视频中主体与参考图像之间的相似度较低,视频生成效率较低。

技术实现思路

1、本技术实施例提供了一种视频生成方法、装置、设备、存储介质及程序产品。所述技术方案如下。

2、一方面,提供了一种视频生成方法,所述方法包括:

3、获取提示信息,所述提示信息中包括关联的参考图像和参考文本,所述参考文本用于描述生成视频的视频内容,所述参考图像用于提供图像元素作为所述视频内容中的内容组成部分;

4、获取至少两帧噪声视频帧分别对应的噪声特征表示,所述至少两帧噪声视频帧用于去噪后作为视频帧组成符合所述参考文本的视频;

5、拼接所述参考图像对应的第一图像特征表示和所述至少两帧噪声视频帧分别对应的噪声特征表示,得到帧序列特征表示;

6、基于所述参考文本预测所述帧序列特征表示,得到包含所述图像元素且符合所述参考文本的视频。

7、另一方面,提供了一种视频生成装置,所述装置包括:

8、获取模块,用于获取提示信息,所述提示信息中包括关联的参考图像和参考文本,所述参考文本用于描述生成视频的视频内容,所述参考图像用于提供图像元素作为所述视频内容中的内容组成部分;

9、所述获取模块,还用于获取至少两帧噪声视频帧分别对应的噪声特征表示,所述至少两帧噪声视频帧用于去噪后作为视频帧组成符合所述参考文本的视频;

10、处理模块,用于拼接所述参考图像对应的第一图像特征表示和所述至少两帧噪声视频帧分别对应的噪声特征表示,得到帧序列特征表示;

11、所述处理模块,还用于基于所述参考文本预测所述帧序列特征表示,得到包含所述图像元素且符合所述参考文本的视频。

12、在一些实施例中,所述获取模块,还用于基于所述至少两帧噪声视频帧的排序,获取所述至少两帧噪声视频帧分别对应的噪声特征表示的噪声序列;

13、所述处理模块,还用于从时序维度将所述参考图像对应的所述第一图像特征表示拼接至所述噪声序列的预设序列位置,得到所述帧序列特征表示。

14、在一些实施例中,所述处理模块,还用于以第0帧噪声视频帧对应的噪声特征表示作为所述噪声序列的第0序列位置,将所述参考图像对应的所述第一图像特征表示拼接至所述噪声序列的第-1帧,得到所述帧序列特征表示。

15、在一些实施例中,所述参考文本对应至少两个参考图像;

16、所述处理模块,还用于以第0帧噪声视频帧对应的噪声特征表示作为所述噪声序列的第0序列位置,将第i个参考图像对应的所述第一图像特征表示拼接至所述噪声序列的第-i帧,得到所述帧序列特征表示,i为正整数。

17、在一些实施例中,所述处理模块,还用于基于所述参考文本对所述帧序列特征表示执行旋转位置编码,得到编码特征表示;解码所述编码特征表示,得到包含所述图像元素且符合所述参考文本的视频。

18、在一些实施例中,所述处理模块,还用于:

19、针对所述帧序列特征表示中的第-i帧,基于预设空间位移执行所述旋转位置编码,得到所述编码特征表示,i为正整数,其中,所述预设空间位移用于阻止所述第-i帧对应的所述编码特征表示与第k帧对应的所述编码特征表示在空间维度上对齐,k为自然数;

20、针对所述帧序列特征表示中的所述第k帧,执行所述旋转位置编码,得到所述编码特征表示;

21、其中,所述第-i帧对应的所述编码特征表示与所述第k帧对应的所述编码特征表示在空间维度上错位。

22、在一些实施例中,所述处理模块,还用于:

23、针对所述帧序列特征表示中的第j帧构建帧索引,j为整数,所述帧索引用于指示所述第j帧在执行所述旋转位置编码的旋转角度与第j-1帧的旋转角度关联;

24、基于所述参考文本和所述帧索引对所述第j帧执行所述旋转位置编码,得到所述编码特征表示。

25、在一些实施例中,所述获取模块,还用于获取所述参考文本;以及,获取所述参考图像;

26、所述处理模块,还用于识别所述参考文本和所述参考图像,建立所述参考文本和所述参考图像之间的关联关系,得到所述提示信息,其中,所述关联关系用于指示在所述参考文本中的文本主体与所述参考图像中的所述图像元素之间的匹配关系。

27、在一些实施例中,所述获取模块,还用于获取所述参考文本对应的文本特征表示;以及,获取所述参考图像对应的第二图像特征表示;

28、所述处理模块,还用于融合所述文本特征表示和所述第二图像特征表示,得到融合特征表示;

29、所述处理模块,还用于预测所述融合特征表示,得到所述参考文本和所述参考图像之间的所述关联关系;

30、所述处理模块,还用于生成包含所述关联关系的所述提示信息。

31、在一些实施例中,所述处理模块,还用于通过视频生成模型基于所述参考文本预测所述帧序列特征表示,得到包含所述图像元素且符合所述参考文本的视频,所述视频生成模型是预先训练得到的用于基于所述提示信息生成视频的机器学习模型。

32、在一些实施例中,所述获取模块,还用于获取样本提示信息,所述样本提示信息中包括关联的样本参考图像和样本参考文本,所述样本参考文本用于描述生成视频的视频内容,所述样本参考图像用于提供样本图像元素作为所述视频内容中的内容组成部分,所述样本提示信息对应有参考视频;

33、所述获取模块,还用于获取至少两帧样本噪声视频帧分别对应的样本噪声特征表示;

34、所述处理模块,还用于拼接所述样本参考图像对应的样本图像特征表示和所述至少两帧样本噪声视频帧分别对应的样本噪声特征表示,得到样本帧序列特征表示;

35、所述处理模块,还用于通过候选视频生成模型基于所述样本参考文本预测所述样本帧序列特征表示,得到包含所述样本图像元素且符合所述样本参考文本的样本视频;

36、所述处理模块,还用于基于所述样本视频与所述参考视频中的视频帧差异训练所述候选视频生成模型,得到所述视频生成模型。

37、在一些实施例中,所述获取模块,还用于获取长样本视频;

38、所述处理模块,还用于切分所述长样本视频,得到至少两个参考视频;

39、所述处理模块,还用于识别所述至少两个参考视频,得到所述至少两个参考视频分别对应的所述样本参考文本和所述样本参考图像,作为所述提示信息,所述样本参考图像是从所述参考视频中抽取的包含所述样本图像元素的视频图像。

40、在一些实施例中,所述处理模块,还用于:

41、针对所述至少两个参考视频中包含第一样本图像元素的第一参考视频,从所述至少两个参考视频中识别包含所述第一样本图像元素的第二参考视频;

42、从所述第二参考视频中抽取包含所述第一样本图像元素的视频图像作为所述第一参考视频对应的所述样本参考图像。

43、另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本技术实施例中任一所述的视频生成方法。

44、另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本技术实施例中任一所述的视频生成方法。

45、另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中任一所述的视频生成方法。

46、本技术实施例提供的技术方案带来的有益效果至少包括:

47、通过将参考图像的图像特征(即第一图像特征表示)与噪声视频帧特征分开提取和保存,在拼接前保持两者的特征空间独立性,避免直接混合,在此基础上,采用特征序列拼接而非特征值融合,物理上隔离图像元素特征和动态生成空间,充分保留参考图像的图像特征,将参考文本仅作为预测过程的约束条件,不直接修改图像特征表示,而是指导噪声特征的演化方向,从而能够使得生成的视频既符合参考文本的描述,又能够充分学习参考图像的特征,提高视频中内容元素与参考图像中图像元素的一致性,提高生成的视频质量,提高视频生成效率。