创意视频生成方法、系统、电子装置和存储介质与流程

摘要: 本技术涉及视觉生成,特别是涉及创意视频生成方法、系统、电子装置和存储介质。背景技术:1、在开放域创意视频生成领域,故事关键帧的高质量生成对叙事连贯性与视觉体验起...
创意视频生成方法、系统、电子装置和存储介质与流程

本技术涉及视觉生成,特别是涉及创意视频生成方法、系统、电子装置和存储介质。

背景技术:

1、在开放域创意视频生成领域,故事关键帧的高质量生成对叙事连贯性与视觉体验起着决定性作用。随着多媒体技术的发展,对故事关键帧生成的准确性、一致性和语义连贯性提出了更高要求。

2、现有技术基于扩散模型进行图像生成,但往往以文本或图像单一模态进行引导,难以高效融合文本描述与图像特征的跨模态信息,导致生成的关键帧在跨帧叙事过渡时控制力不足、语义逻辑断裂,无法维持稳定的叙事线索。因此,现有技术存在生成的故事视频的质量较低的问题。

3、针对相关技术中存在生成的故事视频的质量较低的问题,目前没有提出有效的解决方案。

技术实现思路

1、在本实施例中提供了一种创意视频生成方法、系统、电子装置和存储介质,以解决相关技术中存在生成的故事视频的质量较低的问题。

2、第一个方面,在本实施例中提供了一种创意视频生成方法,包括:

3、获取真实参考图像和故事文本;并利用大语言模型对所述故事文本按照时间顺序进行划分,得到多个故事帧文本;

4、利用第一扩散模型,根据所述真实参考图像和所述多个故事帧文本,生成与所述多个故事帧文本对应的故事关键帧序列;所述第一扩散模型中包含并行交叉注意力层和主体一致性模块,以使所述故事关键帧序列满足预设的主体一致性与情节连贯性要求;

5、利用第二扩散模型,根据所述故事关键帧序列中的两个相邻帧和所述两个相邻帧对应的故事帧文本,生成所述两个相邻帧之间的中间帧;

6、将所述故事关键帧序列和多个所述中间帧进行拼接,得到创意视频。

7、在其中的一些实施例中,所述利用第一扩散模型,根据所述真实参考图像和所述多个故事帧文本,生成与所述多个故事帧文本对应的故事关键帧序列,包括:

8、利用所述第一扩散模型和自回归策略,根据所述真实参考图像和所述多个故事帧文本中的多个前序故事帧文本,生成与所述多个前序故事帧文本对应的前序故事关键帧序列;

9、利用所述第一扩散模型和所述自回归策略,根据所述前序故事关键帧序列和所述多个故事帧文本中的当前故事帧文本,生成与所述多个故事帧文本对应的所述故事关键帧序列。

10、在其中的一些实施例中,所述利用所述第一扩散模型和所述自回归策略,根据所述前序故事关键帧序列和所述多个故事帧文本中的当前故事帧文本,生成与所述多个故事帧文本对应的所述故事关键帧序列,包括:

11、利用所述第一扩散模型中的所述并行交叉注意力层和所述主体一致性模块,根据所述前序故事关键帧序列和所述当前故事帧文本,生成与所述当前故事帧文本对应的当前故事关键帧;

12、利用所述第一扩散模型和所述自回归策略,根据所述前序故事关键帧序列、所述当前故事关键帧、以及所述多个故事帧文本,生成与所述多个故事帧文本对应的所述故事关键帧序列。

13、在其中的一些实施例中,所述利用所述第一扩散模型中的所述并行交叉注意力层和所述主体一致性模块,根据所述前序故事关键帧序列和所述当前故事帧文本,生成与所述当前故事帧文本对应的当前故事关键帧,包括:

14、利用所述第一扩散模型,根据所述前序故事关键帧序列和所述前序故事关键帧序列对应的故事帧文本序列,得到所述前序故事关键帧序列的视觉上下文特征;

15、利用所述第一扩散模型中的所述并行交叉注意力层,根据所述当前故事关键帧的第一潜在特征、所述当前故事帧文本、以及所述视觉上下文特征,得到所述当前故事关键帧的多模态融合特征;

16、提取所述当前故事关键帧的前序帧的主体特征;

17、利用所述第一扩散模型中的所述主体一致性模块,根据所述主体特征和所述多模态融合特征,得到所述当前故事关键帧的自注意力特征;

18、利用所述第一扩散模型和变分自编码器,根据所述自注意力特征,生成所述当前故事关键帧。

19、在其中的一些实施例中,所述利用所述第一扩散模型,根据所述前序故事关键帧序列和所述前序故事关键帧序列对应的故事帧文本序列,得到所述前序故事关键帧序列的视觉上下文特征,包括:

20、利用第一文本编码器,提取所述前序故事关键帧序列对应的故事帧文本序列的第一文本语义特征;

21、利用所述第一扩散模型,根据所述前序故事关键帧序列和所述第一文本语义特征,得到所述前序故事关键帧序列的视觉上下文特征。

22、在其中的一些实施例中,所述利用所述第一扩散模型中的所述并行交叉注意力层,根据所述当前故事关键帧的第一潜在特征、所述当前故事帧文本、以及所述视觉上下文特征,得到所述当前故事关键帧的多模态融合特征,包括:

23、利用第二文本编码器,提取所述当前故事帧文本的第二文本语义特征;

24、利用所述第一扩散模型中的所述并行交叉注意力层,根据所述当前故事关键帧的第一潜在特征和所述第二文本语义特征,得到所述当前故事关键帧的文本交叉注意力值;

25、利用所述第一扩散模型中的所述并行交叉注意力层,根据所述当前故事关键帧的第一潜在特征和所述视觉上下文特征,得到所述当前故事关键帧的图像交叉注意力值;

26、根据所述当前故事关键帧的文本交叉注意力值和所述当前故事关键帧的图像交叉注意力值,得到所述当前故事关键帧的多模态融合特征。

27、在其中的一些实施例中,所述利用第二扩散模型,根据所述故事关键帧序列中的两个相邻帧和所述两个相邻帧对应的故事帧文本,生成所述两个相邻帧之间的中间帧,包括:

28、提取所述两个相邻帧的第二潜在特征和所述两个相邻帧对应的故事帧文本的文本嵌入向量;

29、利用所述第二扩散模型,根据所述第二潜在特征和所述文本嵌入向量,生成所述两个相邻帧之间的中间帧。

30、第二个方面,在本实施例中提供了一种创意视频生成系统,包括原始数据获取模块、关键帧序列生成模块、中间帧生成模块、以及创意视频生成模块,其中:

31、所述原始数据获取模块,用于获取真实参考图像和故事文本;并利用大语言模型对所述故事文本按照时间顺序进行划分,得到多个故事帧文本;

32、所述关键帧序列生成模块,用于利用第一扩散模型,根据所述真实参考图像和所述多个故事帧文本,生成与所述多个故事帧文本对应的故事关键帧序列;所述第一扩散模型中包含并行交叉注意力层和主体一致性模块,以使所述故事关键帧序列满足预设的主体一致性与情节连贯性要求;

33、所述中间帧生成模块,用于利用第二扩散模型,根据所述故事关键帧序列中的两个相邻帧和所述两个相邻帧对应的故事帧文本,生成所述两个相邻帧之间的中间帧;

34、所述创意视频生成模块,用于将所述故事关键帧序列和多个所述中间帧进行拼接,得到创意视频。

35、第三个方面,在本实施例中提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述第一个方面所述的创意视频生成方法。

36、第四个方面,在本实施例中提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述第一个方面所述的创意视频生成方法的步骤。

37、与相关技术相比,在本实施例中提供的创意视频生成方法,通过获取真实参考图像和故事文本;并利用大语言模型对故事文本按照时间顺序进行划分,得到多个故事帧文本;利用第一扩散模型,根据真实参考图像和多个故事帧文本,生成与多个故事帧文本对应的故事关键帧序列;第一扩散模型中包含并行交叉注意力层和主体一致性模块,以使故事关键帧序列满足预设的主体一致性与情节连贯性要求;利用第二扩散模型,根据故事关键帧序列中的两个相邻帧和两个相邻帧对应的故事帧文本,生成两个相邻帧之间的中间帧;将故事关键帧序列和多个中间帧进行拼接,得到创意视频。其能够利用第一扩散模型中的并行交叉注意力层和主体一致性模块,使生成的故事关键帧序列主体一致、情节连贯,进而提高了生成的故事视频的质量。

38、本技术的一个或多个实施例的细节在以下附图和描述中提出,以使本技术的其他特征、目的和优点更加简明易懂。