视频生成方法、装置、电子设备、存储介质及产品与流程

摘要: 本公开涉及视频生成,尤其涉及一种视频生成方法、装置、电子设备、存储介质及产品。背景技术:1、相关视频生成方案中,视频生成通常采用文生视频或图生视频的方法,由于视...
视频生成方法、装置、电子设备、存储介质及产品与流程

本公开涉及视频生成,尤其涉及一种视频生成方法、装置、电子设备、存储介质及产品。

背景技术:

1、相关视频生成方案中,视频生成通常采用文生视频或图生视频的方法,由于视频生成过程包含静态画面生成、动态帧序列排布等多个环节,容易出现视频画面和音频情感不匹配的问题。

技术实现思路

1、本公开提供一种视频生成方法、装置、电子设备、存储介质及产品,以解决相关技术中的问题。

2、本公开的第一方面实施例提出了一种视频生成方法,该方法包括:

3、获取用户输入信息;

4、提取用户输入信息对应的文本特征、原始图像特征和音频情感特征;

5、对文本特征、原始图像特征和音频情感特征进行特征融合处理,得到用户输入信息的第一融合特征;

6、基于第一融合特征生成与音频情感风格匹配的目标图像;

7、提取目标图像对应的目标图像特征及用户输入信息中的音频信息对应的音频拼接特征;

8、基于文本特征、目标图像特征和音频拼接特征,生成用户输入信息对应的目标视频。

9、在一实施例中,对文本特征、原始图像特征和音频情感特征进行特征融合处理,得到用户输入信息的第一融合特征,包括:

10、以文本特征为查询向量,分别构建音频情感关联文本特征与图像关联文本特征;

11、根据音频情感特征确定融合权重;

12、基于融合权重对音频情感关联文本特征与图像视觉关联文本特征进行加权融合,得到用户输入信息的第一融合特征。

13、在一实施例中,基于第一融合特征生成与音频情感风格匹配的目标图像,包括:

14、将第一融合特征输入包含情感调制缩放层的图像生成网络;

15、基于音频情感特征确定情感调制缩放层对应的特征通道缩放系数,并基于音频频谱能量确定用户输入信息中的音频信息对应的情感偏移系数;

16、利用特征通道缩放系数和情感偏移系数对图像生成网络的特征图进行处理,生成与音频情感风格匹配的目标图像。

17、在一实施例中,基于第一融合特征生成与音频情感风格匹配的目标图像之后,本公开提供的方法还包括:

18、对目标图像进行校验处理,得到校验结果;

19、响应于校验结果不满足校验通过条件,基于第一融合特征重新生成与音频情感风格匹配的目标图像。

20、在一实施例中,提取用户输入信息中的音频信息对应的音频拼接特征,包括:

21、提取用户输入信息中的音频信息对应的音频频谱维度特征和音频时域维度特征;

22、拼接音频频谱维度特征与音频时域维度特征,得到用户输入信息中的音频信息对应的音频拼接特征。

23、在一实施例中,基于文本特征、目标图像特征和音频拼接特征,生成用户输入信息对应的目标视频,包括:

24、基于文本特征、目标图像特征和音频拼接特征,确定第一注意力特征和第二注意力特征;

25、基于第一注意力特征和第二注意力特征,确定第二融合特征;

26、根据第二融合特征生成用户输入信息对应的目标视频。

27、本公开的第二方面实施例提出了一种视频生成装置,该装置包括:

28、获取单元,用于获取用户输入信息;

29、第一提取单元,用于提取用户输入信息对应的文本特征、原始图像特征和音频情感特征;

30、融合单元,用于对文本特征、原始图像特征和音频情感特征进行特征融合处理,得到用户输入信息的第一融合特征;

31、第一生成单元,用于基于第一融合特征生成与音频情感风格匹配的目标图像;

32、第二提取单元,用于提取目标图像对应的目标图像特征及用户输入信息中的音频信息对应的音频拼接特征;

33、第二生成单元,用于基于文本特征、目标图像特征和音频拼接特征,生成用户输入信息对应的目标视频。

34、本公开的第三方面实施例提出了一种电子设备,包括:

35、至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本公开第一方面实施例中描述的方法。

36、本公开的第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行本公开第一方面实施例中描述的方法。

37、本公开的第五方面实施例提出了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本公开第一方面实施例中描述的方法。

38、综上,本公开提出了一种视频生成方法,该方法包括:获取用户输入信息;提取用户输入信息对应的文本特征、原始图像特征和音频情感特征;对文本特征、原始图像特征和音频情感特征进行特征融合处理,得到用户输入信息的第一融合特征;基于第一融合特征生成与音频情感风格匹配的目标图像;提取目标图像对应的目标图像特征及用户输入信息中的音频信息对应的音频拼接特征;基于文本特征、目标图像特征和音频拼接特征,生成用户输入信息对应的目标视频。

39、根据本公开提供的方案,通过获取用户输入信息,提取其中的文本特征、原始图像特征和音频情感特征并进行融合得到第一融合特征,根据第一融合特征生成与音频情感风格匹配的目标图像,再提取目标图像特征与音频拼接特征,根据文本特征、目标图像特征和音频拼接特征生成目标视频,可以提高视频画面和音频情感的匹配程度。

40、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

1.一种视频生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述文本特征、所述原始图像特征和所述音频情感特征进行特征融合处理,得到所述用户输入信息的第一融合特征,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于所述第一融合特征生成与音频情感风格匹配的目标图像,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于所述第一融合特征生成与音频情感风格匹配的目标图像之后,所述的方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述提取所述用户输入信息中的音频信息对应的音频拼接特征,包括:

6.根据权利要求1所述的方法,其特征在于,所述基于所述文本特征、所述目标图像特征和所述音频拼接特征,生成所述用户输入信息对应的目标视频,包括:

7.一种视频生成装置,其特征在于,包括:

8.一种电子设备,其特征在于,包括:

9.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1至6中任一项所述的方法。

10.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1至6中任一项所述的方法。