语音动画的实时生成的制作方法

技术特征：
1.一种用于以动画方式显示社交话语的方法，所述方法包括：接收：字符串，所述字符串要以动画方式显示，所述字符串包括多个社交话语原子，多个集合，每个集合包括多个项，所述多个项包括独特原子字符串，每个集合存储不同长度的项；并且每个项包括所述项的至少一个动画片段；在所述集合中以分级方式搜索与所述字符串的子字符串相匹配的项；检索所匹配的项的动画片段以覆盖社交话语原子；以及组合所检索的动画片段以动画方式显示所述字符串。2.根据权利要求1所述的方法，其中所述社交话语是语音。3.根据权利要求1或权利要求2所述的方法，其中所述分级顺序有利于更长的项。4.根据权利要求1至3中任一项所述的方法，其中至少一个项包括多个动画片段，并且动画片段被随机检索。5.根据权利要求1至3中任一项所述的方法，其中至少一个项包括多个动画片段，并且动画片段基于其持续时间来检索。6.根据权利要求1至3中任一项所述的方法，其中至少一个项包括多个动画片段，并且动画片段基于对应语音特征来检索。7.根据任一前述权利要求所述的方法，其中动画片段与声音相关联，所述声音与所述动画相对应。8.根据权利要求7所述的方法，所述方法包括以下步骤：压缩和/或拉伸动画片段以与所述声音相匹配，所述声音与所述动画相对应。9.根据任一前述权利要求所述的方法，其中所述多个集合中的每个集合中的所述项为一个项类型，所述项类型选自由以下各项组成的组：左半音、右半音、双音、句子边界双音、以元音为中心的三音、以辅音为中心的三音、句子边界三音、音节字词或单音节字词，以及多音节字词。10.根据任一前述权利要求所述的方法，其中所述项包括部分音素字符串。11.根据权利要求1至10中任一项所述的方法，其中动画片段存储基于骨骼的动画绑定器的变形参数。12.根据权利要求1至10中任一项所述的方法，其中动画片段存储基于肌肉的描述符权重。13.根据权利要求1至10中任一项所述的方法，其中动画片段存储调和形状权重。14.一种用于以动画方式显示语音的方法，所述方法包括：接收：要以动画方式显示的音素字符串，和多个动画片段，所述多个动画片段包括多音字符串和部分音素字符串，所述字符串被配置为在音素的最稳定部分处或附近级联；搜索并检索与所述音素字符串的子字符串相匹配的动画片段以覆盖所述音素字符串；以及组合所检索的动画片段以动画方式显示所述字符串。15.根据权利要求14所述的方法，其中部分音素为半音素。16.一种用于在上下文中以动画方式显示音素的方法，所述方法包括：
接收：模型视素，和动画片段，所述动画片段与在上下文中发音的所述音素的动画权重的时间序列相对应；在所述模型视素的所述动画权重和所述动画片段的所述动画权重之间进行调和，以在上下中以动画方式显示所述音素。17.根据权利要求16所述的方法，其中所述模型视素为可唇读视素，所述可唇读视素以可唇读方式描绘所述音素。18.根据权利要求16所述的方法，其中所述模型视素为不同的嘴部形状，所述嘴部形状选自由以下各项组成的组：p、b、m、f、w。19.根据权利要求16所述的方法，其中所述模型视素被表示为基于肌肉的语音描述符。20.根据权利要求16所述的方法，其中所述模型视素被表示为动画序列。21.根据权利要求16至20中任一项所述的方法，其中通过高斯函数对所述模型视素随时间推移的调和程度进行建模，其中所述高斯函数的峰值在所述音素发音的峰值处或附近。22.根据权利要求21所述的方法，其中所述高斯函数为平顶函数。23.根据权利要求21或权利要求22所述的方法，其中所述高斯函数是左偏斜的。24.一种用于表达性语音动画的方法，所述方法包括：接收：第一动画输入，所述第一动画输入与基于肌肉的描述符信息相关联，和第二动画输入，所述第二动画输入与基于肌肉的描述符信息相关联；使用所述第一动画输入和所述第二动画输入作为输出加权函数中的自变量，所述输出加权函数被配置为将所述动画输入映射到基于肌肉的描述符加权，以用于以动画方式显示所述表达性语音动画，其中所述输出加权函数被配置为协调来自所述第一动画输入和所述第二动画输入的基于肌肉的描述符信息，以及；使用所映射的基于肌肉的描述符加权以动画方式显示。25.根据权利要求24所述的方法，所述方法包括以下步骤：为每个基于肌肉的描述符定义至少一个基于肌肉的描述符类别加权，其中所述输出加权函数是所述基于肌肉的描述符类别加权的函数。26.根据权利要求24或25所述的方法，所述方法包括以下步骤：接收每个动画输入的优先级加权，其中所述输出加权函数是所述优先级加权的函数。27.根据权利要求24至26中任一项所述的方法，其中所述第一动画输入用于以动画方式显示语音。28.根据权利要求24至27中任一项所述的方法，其中所述第二动画输入用于以动画方式显示表情。29.一种非暂态计算机可读介质，所述非暂态计算机可读介质存储程序，所述程序使得计算机实现根据权利要求1至28中任一项所述的方法。

技术总结
为了以动画方式真实地显示字符串(诸如句子)，提供了一种分级搜索算法以按子字符串长度的递减顺序搜索该字符串的子字符串的存储示例(动画片段)，并且级联所检索的子字符串以完成语音动画的字符串。在一个实施方案中，实时生成语音动画使用模型视素来预测视素开始时的动画序列，并且使用基于查找表(数据驱动)的算法来预测视素转换处的动力学。具体摆出的模型视素可与使用另一种方法在要表达视素时的动画中的对应时间点处生成的语音动画调和。输出加权函数用于将语音输入和表情输入映射到基于肌肉的描述符加权中。到基于肌肉的描述符加权中。到基于肌肉的描述符加权中。


技术研发人员：M
受保护的技术使用者：索美智能有限公司
技术研发日：2020.01.27
技术公布日：2021/9/9