实时驱动虚拟人的方法、装置、电子设备及介质与流程

技术特征：
1.一种实时驱动虚拟人的方法，其特征在于，包括：获取用于驱动虚拟人的待处理数据，所述待处理数据包括文本数据和语音数据中的至少一种；使用端到端模型对所述待处理数据进行处理，确定出所述待处理数据对应的手势特征序列；将所述手势特征序列输入到已训练的肌肉模型中，通过所述肌肉模型驱动虚拟人；其中，所述使用端到端模型对所述待处理数据进行处理，包括：获取所述待处理数据的文本特征和时长特征；根据所述文本特征和所述时长特征，确定出所述手势特征序列。2.如权利要求1所述的方法，其特征在于，所述获取所述待处理数据的文本特征和时长特征，包括：通过fastspeech模型获取所述文本特征；通过时长模型获取所述时长特征，其中，所述时长模型为深度学习模型。3.如权利要求2所述的方法，其特征在于，若所述fastspeech模型输出面部特征序列和手势特征序列，所述根据所述文本特征和所述时长特征，确定出所述声学特征序列，包括：将所述文本特征和所述时长特征输入到所述fastspeech模型中，得到所述面部特征序列和所述手势特征序列。4.如权利要求3所述的方法，其特征在于，所述将所述手势特征序列输入到已训练的肌肉模型中，包括：将所述面部特征序列和所述手势特征序列进行融合，得到融合特征序列；将所述融合特征序列输入到所述肌肉模型中。5.如权利要求4所述的方法，其特征在于，所述将所述面部特征序列和所述手势特征序列进行融合，得到融合特征序列，包括：基于所述时长特征，将所述面部特征序列和所述手势特征序列进行融合，得到所述融合特征序列。6.如权利要求5所述的方法，其特征在于，所述面部特征序列对应的面部特征包括表情特征和唇部特征。7.一种实时驱动虚拟人的装置，其特征在于，包括：数据获取模块，用于获取用于驱动虚拟人的待处理数据，所述待处理数据包括文本数据和语音数据中的至少一种；数据处理模块，用于使用端到端模型对所述待处理数据进行处理，确定出所述待处理数据对应的手势特征序列；虚拟人驱动模块，用于将所述手势特征序列输入到已训练的肌肉模型中，通过所述肌肉模型驱动虚拟人；其中，所述数据处理模块，用于获取所述待处理数据的文本特征和时长特征；根根据所述文本特征和所述时长特征，确定出所述手势特征序列。8.如权利要求7所述的装置，其特征在于，所述数据处理模块，用于通过fastspeech模型获取所述文本特征；通过时长模型获取所述时长特征，其中，所述时长模型为深度学习模型。
9.一种用于数据处理的装置，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含如权利要求1-6任一权项所述的方法步骤。10.一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1至6中一个或多个所述的实时驱动虚拟人的方法。

技术总结
本说明书实施例公开了一种实时驱动虚拟人的方法，获取用于驱动虚拟人的待处理数据，所述待处理数据包括文本数据和语音数据中的至少一种；使用端到端模型对所述待处理数据进行处理，确定出所述待处理数据对应的手势特征序列；将所述手势特征序列输入到已训练的肌肉模型中，通过所述肌肉模型驱动虚拟人；由于端到端模型能够在更短时间内获取手势特征序列；再将手势特征序列输入到肌肉模型中，直接驱动虚拟人，极大的降低了其计算量和数据传输量，且还提高了计算效率，使得驱动虚拟人的实时性得到极大的提高，从而能够实现实时驱动虚拟人进行手语输出。进行手语输出。进行手语输出。


技术研发人员：陈伟 樊博 孟凡博
受保护的技术使用者：北京搜狗科技发展有限公司
技术研发日：2020.05.18
技术公布日：2021/11/23