基于音频全局感知的动画生成方法、装置、设备及介质与流程

摘要: 本发明涉及人工智能,尤其涉及一种基于音频全局感知的动画生成方法、装置、设备及介质。背景技术:1、音频驱动的肖像动画生成技术旨在通过输入音频信号驱动虚拟人像的面部...
基于音频全局感知的动画生成方法、装置、设备及介质与流程

本发明涉及人工智能,尤其涉及一种基于音频全局感知的动画生成方法、装置、设备及介质。

背景技术:

1、音频驱动的肖像动画生成技术旨在通过输入音频信号驱动虚拟人像的面部表情与头部运动,实现音画同步的逼真动画效果。该领域的技术难点在于如何从音频中提取足够丰富的运动控制信息,以支撑长时间、高自然度的动画生成。

2、现有技术中,一类方法将音频信号按时间窗口分割为短时片段,并将每个片段与对应的视频帧进行局部特征匹配,从而逐帧生成面部动作。然而,这种局部匹配策略使得每一帧只能感知相邻的有限音频上下文,无法捕捉音频中蕴含的语调、节奏、语速等长时变化规律,导致生成的面部表情与头部运动模式单一,缺乏自然的动态起伏。进一步地,另一类方法为了解决帧间抖动和过渡不连续问题,引入了运动帧、重叠窗口等视觉辅助条件,通过额外的视觉信息约束时序一致性。但这类方法不仅引入了非音频信息的干扰,破坏了音画同步的纯粹性,还显著增加了模型训练与推理的计算负担。

3、在长视频生成任务中,上述局限性进一步放大,表现为片段间抖动加剧、身份特征漂移等质量问题。在金融科技领域的远程视频银行、在线客服等场景,以及医疗健康领域的远程问诊、心理健康疏导等场景中,肖像动画的长时间稳定生成与自然表情表达对交互体验具有关键影响,现有技术的上述缺陷在这些高要求场景下尤为突出。

技术实现思路

1、本发明提供一种基于音频全局感知的动画生成方法、装置、设备及介质,以解决如何实现音频对肖像动画的精确驱动与自然同步的技术问题。

2、第一方面,提供了一种基于音频全局感知的动画生成方法,包括:

3、响应于获取到驱动音频和参考肖像图像,对所述驱动音频进行编码,得到多尺度音频特征,并对所述参考肖像图像进行编码,得到图像特征;

4、基于所述多尺度音频特征和所述图像特征,通过全局音频上下文建模,增强所述图像特征中与音频时序相关的运动信息,得到增强图像特征;

5、基于所述多尺度音频特征,预测得到头部运动参数和表情运动参数,其中,所述头部运动参数和所述表情运动参数用于将待生成的面部运动解耦为头部运动与表情运动;

6、基于获取到的调节因子,同步调节所述头部运动参数和所述表情运动参数的幅度,得到调节头部参数和调节表情参数;

7、基于所述增强图像特征、所述调节头部参数和所述调节表情参数,生成肖像动画视频。

8、第二方面,提供了一种基于音频全局感知的动画生成装置,包括:

9、编码单元,用于响应于获取到驱动音频和参考肖像图像,对所述驱动音频进行编码,得到多尺度音频特征,并对所述参考肖像图像进行编码,得到图像特征;

10、增强单元,用于基于所述多尺度音频特征和所述图像特征,通过全局音频上下文建模,增强所述图像特征中与音频时序相关的运动信息,得到增强图像特征;

11、解耦单元,用于基于所述多尺度音频特征,预测得到头部运动参数和表情运动参数,其中,所述头部运动参数和所述表情运动参数用于将待生成的面部运动解耦为头部运动与表情运动;

12、调节单元,用于基于获取到的调节因子,同步调节所述头部运动参数和所述表情运动参数的幅度,得到调节头部参数和调节表情参数;

13、生成单元,用于基于所述增强图像特征、所述调节头部参数和所述调节表情参数,生成肖像动画视频。

14、第三方面,提供了一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述一种基于音频全局感知的动画生成方法的步骤。

15、第四方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述一种基于音频全局感知的动画生成方法的步骤。

16、上述一种基于音频全局感知的动画生成方法、装置、计算机设备及存储介质所实现的方案中,通过全局音频上下文建模,将多尺度音频特征与图像特征深度融合,使模型能够感知驱动音频中蕴含的语调、节奏、语速等长时变化信息,从而生成与音频内容高度匹配的面部运动。在此过程中,头部运动参数和表情运动参数独立预测,使得头部动作与表情变化能够分别被精确控制,避免了传统方法中二者耦合导致的运动单一问题。进一步地,基于增强后的图像特征与调节后的运动参数,能够生成音画高度同步、运动自然连贯的肖像动画视频。上述技术手段共同作用,实现了音频对肖像动画的精确驱动与自然同步。

1.一种基于音频全局感知的动画生成方法,其特征在于,包括:

2.根据权利要求1所述的基于音频全局感知的动画生成方法,其特征在于,所述对所述驱动音频进行编码,得到多尺度音频特征,包括:

3.根据权利要求1所述的基于音频全局感知的动画生成方法,其特征在于,所述对所述参考肖像图像进行编码,得到图像特征,包括:

4.根据权利要求1所述的基于音频全局感知的动画生成方法,其特征在于,所述基于所述多尺度音频特征和所述图像特征,通过全局音频上下文建模,增强所述图像特征中与音频时序相关的运动信息,得到增强图像特征,包括:

5.根据权利要求1所述的基于音频全局感知的动画生成方法,其特征在于,所述基于所述多尺度音频特征,预测得到头部运动参数和表情运动参数,包括:

6.根据权利要求1所述的基于音频全局感知的动画生成方法,其特征在于,所述基于获取到的调节因子,同步调节所述头部运动参数和所述表情运动参数的幅度,得到调节头部参数和调节表情参数,包括:

7.根据权利要求1所述的基于音频全局感知的动画生成方法,其特征在于,所述基于所述增强图像特征、所述调节头部参数和所述调节表情参数,生成肖像动画视频,包括:

8.一种基于音频全局感知的动画生成装置,其特征在于,包括:

9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法的步骤。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法的步骤。