肖像动画视频生成方法及装置、系统、设备、介质和产品
本申请涉及视频生成领域,更具体地,涉及用于从静态参考肖像图像生成文本驱动的肖像动画视频的方法、装置和系统以及相应的计算机设备、计算机可读存储介质和计算机产品。
背景技术:
1、将肖像图像制作成视频对于电影、虚拟角色、视频游戏和数字艺术等领域中以人为中心的内容创作至关重要。深度生成模型(包括扩散模型和gan)的最新发展极大地改进了肖像动画技术。然而,许多现有方法依赖音频或驱动视频作为条件(参见文献[5]、文献[17]、文献[21]-[23]、文献[25]、文献[30]、文献[31]、文献[35]、文献[38]、文献[42]-[44]),这限制了生成的视频的灵活性和多样性。相比之下,文本条件更易于获取,并且可以轻松修改,而无需录制设备。本文专注于仅使用文本控制的肖像动画。
2、仅使用文本条件的肖像动画面临多个挑战,包括接下来描述的三个主要挑战。首先,包含详细动态提示(prompt)的高质量肖像视频数据集至关重要;然而,现有数据集(参见文献[47]、文献[49])在提示质量、视频多样性和整体视频质量方面常有欠缺。其次,模型必须能根据用户提供的提示有效地将真实世界图像制作成动画,这对模型的泛化(generalization)能力提出了考验。第三,在同时以肖像图像和文本为条件时,存在模态不平衡(modality imbalance)问题。
技术实现思路
1、本申请的目的在于提供一种用于生成文本驱动的肖像动画视频的方案,以解决或至少缓解现有技术中的一个或多个问题。
2、在第一方面,本申请提供用于基于获取的参考肖像图像以及与所述参考肖像图像相关联的文本提示生成肖像动画视频的方法,所述参考肖像图像包括主体在环境中的静态肖像图像,所述肖像动画视频包括多个帧,所述方法包括:
3、由所述参考肖像图像得到关于所述主体和所述环境的语义信息作为视觉条件信息,以及得到与所述主体的身份相关的身份特征作为身份条件信息;
4、基于由所述参考肖像图像得到的参考潜向量得到一个输入潜向量序列,其中,对于所述多个帧中的每个帧,所述输入潜向量序列包括一个相应的输入潜向量;
5、对所述输入潜向量序列执行由所述文本提示、所述视觉条件信息和所述身份条件信息引导的去噪过程,以生成去噪后的潜向量序列;以及
6、解码所述去噪后的潜向量序列,以生成所述肖像动画视频。
7、在第二方面,本申请提供用于基于获取的参考肖像图像以及与所述参考肖像图像相关联的文本提示生成肖像动画视频的装置,所述参考肖像图像包括主体在环境中的静态肖像图像,所述肖像动画视频包括多个帧,所述装置包括:
8、条件信息获取模块,被配置为:由所述参考肖像图像得到关于所述主体和所述环境的语义信息作为视觉条件信息,以及得到与所述主体的身份相关的身份特征作为身份条件信息;
9、潜向量序列获取模块,被配置为:基于由所述参考肖像图像得到的参考潜向量得到一个输入潜向量序列,其中,对于所述多个帧中的每个帧,所述输入潜向量序列包括一个相应的输入潜向量;
10、去噪模块,被配置为:对所述输入潜向量序列执行由所述文本提示、所述视觉条件信息和所述身份条件信息引导的去噪过程,以生成去噪后的潜向量序列;以及
11、解码模块,被配置为:解码所述去噪后的潜向量序列,以生成所述肖像动画视频。
12、在第三方面,本申请提供用于基于获取的参考肖像图像以及与所述参考肖像图像相关联的文本提示生成肖像动画视频的系统,所述参考肖像图像包括主体在环境中的静态肖像图像,所述肖像动画视频包括多个帧,所述系统包括处理器,所述处理器被配置为执行计算机指令以导致上述第一方面的方法被执行。
13、在第四方面,本申请提供一种计算机设备,包括存储器和处理器,所述存储器上存储有计算机指令,所述计算机指令在由所述处理器执行时,导致上述第一方面的方法被执行。
14、在第五方面,本申请提供一种非暂时性计算机可读存储介质,其上存储有计算机指令,所述计算机指令在由处理器执行时,导致上述第一方面的方法被执行。
15、在第六方面,本申请提供一种计算机程序产品,包括计算机指令,所述计算机指令在由处理器执行时,导致上述第一方面的方法被执行。
16、利用本申请的方案,在实现文本驱动的肖像动画视频生成的情况下,通过同时考虑整体图像的语义信息和身份相关的特征,可以确保在生成视频中保留身份的能力,以及确保与图像整体场景的一致性。另外,本申请的方案为根据需要控制肖像动画视频的生成提供了灵活性。
1.用于基于获取的参考肖像图像以及与所述参考肖像图像相关联的文本提示生成肖像动画视频的方法,所述参考肖像图像包括主体在环境中的静态肖像图像,所述肖像动画视频包括多个帧,所述方法包括:
2.根据权利要求1所述的方法,其中,
3.根据权利要求2所述的方法,其中,
4.根据权利要求1所述的方法,其中,所述参考潜向量通过对所述参考肖像图像编码得到,并且通过加噪过程基于所述参考潜向量得到所述输入潜向量序列,所述多个帧包括作为所述肖像动画视频的起始帧的第一帧和在所述第一帧之后的后续帧,其中,对于所述后续帧中的每个帧,在所述加噪过程的每个时间步,通过向所述参考潜向量注入噪声为该帧生成扰动后的潜向量,并且基于为该帧生成的扰动后的潜向量得到用于该帧的受控潜向量。
5.根据权利要求4所述的方法,其中,在所述加噪过程的每个时间步,对于所述后续帧中的每个帧,用于该帧的受控潜向量通过将该帧的带噪潜向量和为该帧生成的扰动后的潜向量进行拼接得到。
6.根据权利要求5所述的方法,其中,对于所述后续帧中的每个帧i,根据以下公式为该帧生成扰动后的潜向量:
7.根据权利要求1所述的方法,其中,由去噪网络执行所述去噪过程,所述方法还包括:
8.根据权利要求7所述的方法,其中,通过以下公式得到所述融合输出特征:
9.根据权利要求8所述的方法,其中,由所述去噪网络通过多条件无分类器引导机制执行所述去噪过程,所述多条件无分类器引导机制为多个条件中的每一个分配可调整的引导尺度权重,以调整所述多个条件在生成所述肖像动画视频的过程中的影响,所述多个条件包括分别对应于所述文本条件信息、所述视觉条件信息和所述身份条件信息的文本条件、视觉条件和身份条件。
10.根据权利要求9所述的方法,其中,所述去噪过程通过多个时间步完成,对于所述去噪过程的给定时间步t,所述去噪网络通过基于以下公式计算去噪预测实现所述多条件无分类器引导机制:
11.根据权利要求1所述的方法,其中,所述文本提示采用分层标题的形式,所述分层标题包括:以自然语言描述的标题部分;包括描述动作和情感的关键词的标题部分。
12.根据权利要求11所述的方法,其中,所述分层标题还包括:描述头部运动的标题部分,所述头部运动选自预定的头部姿态列表。
13.根据前述权利要求中任一项所述的方法,其中,由去噪网络执行所述去噪过程,所述去噪网络是用训练数据集训练的,所述训练数据集包括celebv-text数据集、celebv-hq数据集和补充数据集,所述补充数据集对所述celebv-text数据集和所述celebv-hq数据集进行补充。
14.根据权利要求13所述的方法,通过经训练的模型实现,所述经训练的模型包括所述去噪网络,对所述去噪网络的训练是在所述经训练的模型的其它部分冻结的情况下进行的。
15.根据权利要求13所述的方法,所述训练数据集还包括vfhq数据集。
16.用于基于获取的参考肖像图像以及与所述参考肖像图像相关联的文本提示生成肖像动画视频的装置,所述参考肖像图像包括主体在环境中的静态肖像图像,所述肖像动画视频包括多个帧,所述装置包括:
17.用于基于获取的参考肖像图像以及与所述参考肖像图像相关联的文本提示生成肖像动画视频的系统,所述参考肖像图像包括主体在环境中的静态肖像图像,所述肖像动画视频包括多个帧,所述系统包括处理器,所述处理器被配置为执行计算机指令以导致根据权利要求1-15中任一项所述的方法被执行。
18.一种计算机设备,包括存储器和处理器,所述存储器上存储有计算机指令,所述计算机指令在由所述处理器执行时,导致根据权利要求1-15中任一项所述的方法被执行。
19.一种非暂时性计算机可读存储介质,其上存储有计算机指令,所述计算机指令在由处理器执行时,导致根据权利要求1-15中任一项所述的方法被执行。
20.一种计算机程序产品,包括计算机指令,所述计算机指令在由处理器执行时,导致根据权利要求1-15中任一项所述的方法被执行。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com