视频生成方法、装置、计算机设备及存储介质与流程
本技术实施例涉及计算机,特别涉及一种视频生成方法、装置、计算机设备及存储介质。
背景技术:
1、随着计算机技术的发展,对视频的处理方式也越来越多样,目前可以基于人工智能技术智能生成视频。例如通过指定参考图像,可以智能生成与参考图像中的内容相符的视频。
2、相关技术中,可以利用性能强大的文生视频模型执行图像生成视频的任务,由于文生视频模型不具备对图像模态的数据进行处理的能力,因此在去噪阶段采用垫图技术将参考图像直接以线性方式融入噪声图像中,以确保生成的视频与参考图像相符。
3、但是,上述方法会导致参考图像对去噪过程的影响过大,进而导致最终生成的视频中内容的动态性不足,因此视频生成效果较差。
技术实现思路
1、本技术实施例提供了一种视频生成方法、装置、计算机设备及存储介质,能够生成更加自然、动态性更高且与参考语音相适配的视频,提高了视频生成的效果。所述技术方案如下:
2、一方面,提供了一种视频生成方法,所述方法包括:
3、获取第一视频生成模型,所述第一视频生成模型包括依次连接的图像注入网络、语音适配网络和视频生成网络;
4、通过所述图像注入网络,提取参考图像的第一图像特征和噪声图像的噪声特征,融合所述第一图像特征和所述噪声特征,得到第二图像特征,所述参考图像中包括参考对象;
5、通过所述语音适配网络,提取参考语音的语音特征,融合所述第二图像特征和所述语音特征,得到融合特征,所述参考语音为所述参考对象的语音;
6、通过所述视频生成网络,基于所述融合特征,生成视频,所述视频中包括所述参考对象,且所述参考对象的口型与所述参考语音适配。
7、另一方面,提供了一种视频生成模型的训练方法,所述方法包括:
8、基于图像注入网络、语音适配网络和视频生成网络,构建第一视频生成模型,所述图像注入网络、所述语音适配网络和所述视频生成网络依次连接;
9、获取样本参考图像、样本噪声图像、样本参考语音和标签视频,所述样本参考图像中包括样本参考对象,所述标签视频中包括所述样本参考对象,且所述样本参考对象的口型与所述样本参考语音适配;
10、通过所述图像注入网络,提取所述样本参考图像的第一样本图像特征和样本噪声图像的样本噪声特征,融合所述第一样本图像特征和所述样本噪声特征,得到第二样本图像特征;
11、通过所述语音适配网络,提取所述样本参考语音的样本语音特征,融合所述第二样本图像特征和所述样本语音特征,得到样本融合特征;
12、通过所述视频生成网络,基于所述样本融合特征,生成样本视频;
13、基于所述样本视频和所述标签视频,训练所述第一视频生成模型。
14、另一方面,提供了一种视频生成装置,所述装置包括:
15、模型获取模块,用于获取第一视频生成模型,所述第一视频生成模型包括依次连接的图像注入网络、语音适配网络和视频生成网络;
16、图像处理模块,用于通过所述图像注入网络,提取参考图像的第一图像特征和噪声图像的噪声特征,融合所述第一图像特征和所述噪声特征,得到第二图像特征,所述参考图像中包括参考对象;
17、语音处理模块,用于通过所述语音适配网络,提取参考语音的语音特征,融合所述第二图像特征和所述语音特征,得到融合特征,所述参考语音为所述参考对象的语音;
18、视频生成模块,用于通过所述视频生成网络,基于所述融合特征,生成视频,所述视频中包括所述参考对象,且所述参考对象的口型与所述参考语音适配。
19、可选地,所述参考图像的帧数为m帧,所述噪声图像的帧数为m帧,m为大于1的整数,所述图像注入网络包括第一特征提取层、第二特征提取层和特征融合层;所述图像处理模块,用于:
20、通过所述第一特征提取层,对m帧参考图像进行三维卷积,得到n帧第一图像特征,n为小于m的正整数;
21、通过所述第二特征提取层,对m帧噪声图像进行三维卷积,得到n帧噪声特征;
22、通过所述特征融合层,将所述n帧第一图像特征与所述n帧噪声特征融合,得到所述第二图像特征。
23、可选地,所述图像注入网络包括第一特征融合层和第二特征融合层,所述图像处理模块,用于:
24、通过所述第一特征融合层,将所述n帧第一图像特征与所述n帧噪声特征相加,得到中间图像特征,所述中间图像特征的帧数为n帧;
25、通过所述第二特征融合层,将所述n帧第一图像特征中的首帧第一图像特征与所述中间图像特征拼接,得到所述第二图像特征,所述第二图像特征的帧数为n+1帧。
26、可选地,所述装置还包括掩码特征获取模块,用于获取面部掩码特征,所述面部掩码特征用于表示所述参考图像中所述参考对象的面部区域;
27、所述语音处理模块,用于:
28、对所述第二图像特征和所述语音特征进行交叉注意力处理,得到交叉特征;
29、将所述交叉特征与所述面部掩码特征相乘,得到中间特征;
30、将所述第二图像特征和所述中间特征相加,得到所述融合特征。
31、可选地,所述参考图像中包括多个参考对象,所述参考语音包括第一参考语音和第二参考语音,所述面部掩码特征包括第一面部掩码特征和第二面部掩码特征,所述第一面部掩码特征用于表示所述参考图像中第一参考对象的面部区域,所述第二面部掩码特征用于表示所述参考图像中第二参考对象的面部区域,所述融合特征包括第一融合特征和第二融合特征,所述第一融合特征是基于所述第二图像特征、所述第一参考语音的语音特征和所述第一掩码特征得到,所述第二融合特征是基于所述第二图像特征、所述第二参考语音的语音特征和所述第二掩码特征得到;所述视频生成模块,用于:
32、通过所述视频生成网络,基于所述第一融合特征,生成第一视频,所述第一视频中包括所述多个参考对象,且所述第一参考对象的口型与所述第一参考语音适配;
33、通过所述视频生成网络,基于所述第二融合特征,生成第二视频,所述第二视频中包括所述多个参考对象,且所述第二参考对象的口型与所述第二参考语音适配。
34、可选地,所述语音适配网络包括k个第三特征融合层,所述视频生成网络包括k个扩散转换层,k为大于1的整数;所述语音处理模块,用于:
35、通过第1个第三特征融合层,融合所述第二图像特征和所述语音特征,得到第1个第三融合特征;
36、通过第i个第三特征融合层,融合第i-1个第三融合特征和第i-1个第四融合特征,得到第i个第三融合特征;其中,i为不大于k的正整数,所述第i个第四融合特征是通过第i个扩散转换层得到。
37、可选地,所述语音处理模块,用于:
38、对所述第二图像特征和所述语音特征进行交叉注意力处理,得到第1个交叉特征;
39、将所述第1个交叉特征与面部掩码特征相乘,得到中间特征,所述面部掩码特征用于表示所述参考图像中所述参考对象的面部区域;
40、将所述第二图像特征和所述中间特征相加,得到所述第1个第三融合特征。
41、可选地,所述语音处理模块,用于:
42、对所述第i-1个第三融合特征和第i-1个第四融合特征进行交叉注意力处理,得到第i个交叉特征;
43、将所述第i个交叉特征和所述第i-1个第四融合特征相加,得到所述第i个第三融合特征。
44、可选地,所述视频生成网络还包括解码层;所述视频生成模块,用于:
45、通过第1个扩散转换层,对第1个第三融合特征进行去噪,得到第1个第四融合特征;
46、通过第i个扩散转换层,对第i个第三融合特征进行去噪,得到第i个第四融合特征;
47、通过所述解码层,对第k个第四融合特征进行解码,得到所述视频。
48、可选地,所述第一视频生成模型还包括文本处理网络,所述文本处理网络与所述视频生成网络连接;
49、所述装置还包括文本处理模块,用于通过所述文本处理网络,提取参考文本的文本特征,所述参考文本用于描述所述参考对象执行的动作;
50、所述视频生成模块,用于通过所述视频生成网络,基于所述融合特征和所述文本特征,生成所述视频,所述视频中包括参考对象,且所述参考对象的口型与所述参考语音适配,所述参考对象的动作为所述参考文本描述的动作。
51、另一方面,提供了一种视频生成模型的训练装置,所述装置包括:
52、模型构建模块,用于基于图像注入网络、语音适配网络和视频生成网络,构建第一视频生成模型,所述图像注入网络、所述语音适配网络和所述视频生成网络依次连接;
53、样本数据获取模块,用于获取样本参考图像、样本噪声图像、样本参考语音和标签视频,所述样本参考图像中包括样本参考对象,所述标签视频中包括所述样本参考对象,且所述样本参考对象的口型与所述样本参考语音适配;
54、图像处理模块,用于通过所述图像注入网络,提取所述样本参考图像的第一样本图像特征和样本噪声图像的样本噪声特征,融合所述第一样本图像特征和所述样本噪声特征,得到第二样本图像特征;
55、语音处理模块,用于通过所述语音适配网络,提取所述样本参考语音的样本语音特征,融合所述第二样本图像特征和所述样本语音特征,得到样本融合特征;
56、视频生成模块,用于通过所述视频生成网络,基于所述样本融合特征,生成样本视频;
57、模型训练模块,用于基于所述样本视频和所述标签视频,训练所述第一视频生成模型。
58、可选地,所述模型构建模块,还用于:
59、将已训练的特征提取层复制为第一特征提取层和第二特征提取层;
60、基于所述第一特征提取层、所述第二特征提取层和特征融合层,构建所述图像注入网络;
61、其中,所述第一特征提取层用于提取所述样本参考图像的第一样本图像特征,所述第二特征提取层用于提取所述样本噪声图像的样本噪声特征。
62、可选地,所述第一视频生成模型还包括所述文本处理网络,所述文本处理网络与所述视频生成网络连接;所述装置还包括文本处理模块,用于通过所述文本处理网络,提取样本参考文本的样本文本特征,所述样本参考文本用于描述所述标签视频中的所述参考对象执行的动作;
63、所述视频生成模块,用于通过所述视频生成网络,基于所述样本融合特征和所述样本文本特征,生成所述样本视频。
64、另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以实现如上述方面所述的视频生成方法所执行的操作,或者实现如上述方面所述的视频生成模型的训练方法所执行的操作。
65、另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以实现如上述方面所述的视频生成方法所执行的操作,或者实现如上述方面所述的视频生成模型的训练方法所执行的操作。
66、另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序由处理器加载并执行,以实现如上述方面所述的视频生成方法所执行的操作,或者实现如上述方面所述的视频生成模型的训练方法所执行的操作。
67、本技术实施例提供的方法、装置、计算机设备及存储介质,第一视频生成模型包括图像注入网络、语音适配网络用和视频生成网络,提供了对图像模态和语音模态的数据进行处理的能力以及视频生成能力,那么便可以通过图像注入网络和语音适配网络,将图像和语音转化为视频生成网络容易理解的特征,由图像注入网络基于图像获取图像特征,由语音适配网络基于语音获取语音特征并将图像特征和语音特征进行融合,得到融合特征,进而通过视频生成网络基于融合特征生成视频,可以避免在去噪阶段使用垫图技术来引入图像,从而能够生成更加自然、动态性更高且与参考语音相适配的视频,提高了视频生成的效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com