一种数字人唇形生成方法和系统与流程
本发明涉及数字人驱动,特别涉及一种数字人唇形生成方法和系统。
背景技术:
1、随着虚拟数字人在直播、在线教育、影视制作等领域的广泛应用,唇形与语音的同步度已经成为衡量数字人真实感的核心指标之一。现有主流的数字人唇形生成方案主要分为两类:一类是基于规则的音素映射方法,通过预先建立每个音素对应的标准唇形参数表,根据输入音频的音素识别结果直接调取对应唇形;另一类是基于深度学习的端到端生成方法,通过大量音频-唇形配对数据训练神经网络,直接从音频特征预测唇形序列。
2、现有技术存在两个普遍的小缺陷:第一,基于规则的方法生成的唇形过渡生硬,在连续发音场景下容易出现唇形跳变,且无法适配不同音色、不同语速的个性化发音习惯;第二,端到端深度学习方法虽然过渡平滑,但在遇到生僻发音、带口音的语音时,容易出现唇形滞后于音频的“不同步”问题,通常同步误差在80ms以上,远高于人眼可感知的40ms误差阈值。此外,现有方案大多没有考虑数字人面部模型的拓扑结构差异,同一套生成算法在不同面数、不同唇区权重的数字人模型上适配效果差异极大,需要大量人工调参才能使用。
3、因此,亟需一种同步误差更低、模型适配性更强的轻量化数字人唇形生成方法和系统,成为本领域亟待解决的技术问题。
技术实现思路
1、本发明旨在解决现有技术中存在的至少之一的技术问题,提出了一种数字人唇形生成方法和系统。
2、第一方面,本发明实施例提供了一种数字人唇形生成方法,包括:
3、s100.获取输入音频信号,对音频信号进行分帧处理,提取每帧音频的梅尔频率倒谱系数mfcc特征,通过预训练的音素识别模型输出每帧音频对应的初始音素标签;
4、s200.调取预构建的标准音素-唇形映射库,所述映射库存储有各音素对应的基础唇形参数向量;
5、s300.计算当前输入音频的语速特征与音色特征,根据所述语速特征与音色特征生成动态偏移校正系数,利用所述动态偏移校正系数对所述基础唇形参数向量进行偏移校正,得到校正后唇形参数;
6、s400.获取目标数字人模型的唇区拓扑信息,自动计算唇形参数到模型顶点位移的映射权重,通过所述映射权重将校正后唇形参数转换为数字人模型可直接驱动的唇区顶点动画序列;
7、s500.对相邻帧的唇区顶点动画序列进行平滑插值处理,输出连续的最终唇形动画。
8、进一步地,s200中,所述唇形参数向量至少包含上唇高度、下唇高度、嘴部宽度、唇尖凸起度4个维度的归一化数值。
9、进一步地,s300中,根据所述语速特征与音色特征生成动态偏移校正系数,具体方法包括:统计连续预设帧数音频的音素切换频率,计算得到当前语速值v;设定标准语速值v0对应的唇形开合幅度校正系数为1;当v>v0时,语速每提升第一预设比例,将唇形开合幅度参数对应降低第二预设比例;当v≤v0时,语速每降低第三预设比例,将唇形开合幅度参数对应提升第四预设比例。
10、进一步地,s300中,根据音色特征生成动态偏移校正系数,具体方法包括:提取音频的基频均值作为音色特征;
11、当基频均值低于第一阈值时,将唇尖凸起度参数提升第五预设比例;当基频均值高于第二阈值时,将嘴部宽度参数提升第六预设比例。
12、进一步地,s400中,自动计算顶点位移映射权重,具体方法包括:
13、识别数字人模型唇区所有顶点的空间坐标与uv信息,将唇区分割为上唇左区、上唇中区、上唇右区、下唇左区、下唇中区、下唇右区共6个独立区域;根据各区域内顶点到嘴部中心点的欧氏距离,自动生成各顶点对应各维度唇形参数的位移权重,完成不同拓扑模型的自动适配。
14、进一步地,s500中,所述平滑插值处理采用三阶贝塞尔曲线插值,同时引入前向1帧、后向1帧的运动预测约束,使唇形变化的速度与加速度连续。
15、第二方面,本发明还公开了一种数字人唇形生成系统,包括:音频处理模块、存储模块、动态校正模块、模型适配模块和动画输出模块;其中:
16、音频处理模块,用于对输入音频信号进行分帧处理,提取每帧的mfcc特征,并通过预训练音素识别模型输出每帧对应的初始音素标签;
17、存储模块,用于存储预构建的标准音素-唇形映射库,所述映射库包含各音素对应的多维度基础唇形参数向量;
18、动态校正模块,用于计算输入音频的语速特征与音色特征,生成动态偏移校正系数,对基础唇形参数向量进行偏移校正,得到校正后唇形参数;
19、模型适配模块,用于获取目标数字人模型的唇区拓扑信息,自动计算唇形参数到模型顶点位移的映射权重,将校正后唇形参数转换为唇区顶点动画序列;
20、动画输出模块,用于对唇区顶点动画序列进行平滑插值处理,输出最终连续唇形动画。
21、进一步地,所述动画输出模块支持离线唇形动画文件输出,同时支持通过udp协议实时输出唇形驱动参数,端到端延迟低于预设值。
22、第三方面,本发明公开了一种电子设备,包括:
23、一个或多个处理器;
24、存储器,用于存储一个或多个程序;
25、当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现所述方法。
26、一种计算机可读介质,所述计算机可读介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述方法中的步骤。
27、本发明提供的一种数字人唇形生成方法和系统,所述方法包括:获取输入音频信号,对音频信号进行分帧处理,提取每帧音频的梅尔频率倒谱系数mfcc特征,通过预训练的音素识别模型输出每帧音频对应的初始音素标签;调取预构建的标准音素-唇形映射库,所述映射库存储有各音素对应的基础唇形参数向量;计算当前输入音频的语速特征与音色特征,根据所述语速特征与音色特征生成动态偏移校正系数,利用所述动态偏移校正系数对所述基础唇形参数向量进行偏移校正,得到校正后唇形参数;获取目标数字人模型的唇区拓扑信息,自动计算唇形参数到模型顶点位移的映射权重,通过所述映射权重将校正后唇形参数转换为数字人模型可直接驱动的唇区顶点动画序列;对相邻帧的唇区顶点动画序列进行平滑插值处理,输出连续的最终唇形动画。本发明将唇音同步误差控制在35ms以内,无需人工调参即可适配主流拓扑结构的数字人模型,单帧处理耗时低于2ms,可在消费级gpu上实现实时唇形生成,适用于直播、在线教育、影视制作等场景。
28、与现有技术相比,本发明具有以下有益效果:
29、1.首次引入了语速-音色双维度的动态偏移校正机制,相比传统固定映射的唇形生成方法,唇音同步误差从80ms降低至35ms以内,完全低于人眼可感知的同步误差阈值,大幅提升了数字人视频的真实感;
30、2.新增了唇区拓扑自动适配功能,无需针对不同数字人模型进行人工权重调试,模型适配效率提升90%以上,普通操作人员无需专业动画经验即可快速部署使用;
31、3.整体算法轻量化,单帧处理耗时低于2ms,在普通消费级gpu上即可实现实时唇形生成,完全满足直播等低延迟场景的使用需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com