样本生成、模型训练、口型驱动方法、装置、设备及介质与流程

技术特征：

1.一种训练样本的生成方法，其特征在于，包括：

捕捉得到真实人物在讲话过程中形成的语音片段和口型驱动参数序列；

使用口型驱动参数序列对虚拟人物进行连续口型驱动，并根据驱动结果，将所述口型驱动参数序列与所述语音片段进行时间对齐；

识别语音片段中的各有效语音段的起止时间，并根据起止时间，在口型驱动参数序列中分别确定与各有效语音段分别对应的口型驱动参数子序列；

根据与有效语音段对应的内容表征向量，以及与有效语音段对应的口型驱动参数子序列，形成用于训练得到口型驱动参数识别模型的训练样本对。

2.根据权利要求1所述的方法，其特征在于，所述捕捉得到真实人物在讲话过程中形成的语音片段和口型驱动参数序列，包括：

通过语音采集设备捕捉得到真实人物在讲话过程中形成的所述语音片段；

以及通过视频采集设备捕捉得到真实人物在讲话过程中形成的口型驱动参数序列。

3.根据权利要求1所述的方法，其特征在于，在识别语音片段中的各有效语音段的起止时间之前，还包括：

对所述语音片段进行语义理解，根据语义理解结果对所述语音片段进行分段；

剔除不包含语义信息的各无效语音片段，得到各所述有效语音段。

4.根据权利要求3所述的方法，其特征在于，所述识别语音片段中的各有效语音段的起止时间，并根据起止时间，在口型驱动参数序列中分别确定与各有效语音段分别对应的口型驱动参数子序列，包括：

根据目标有效语音段的属性信息确定所述目标有效语音段的目标起止时间；

在口型驱动参数序列中确定与所述目标起止时间对应的目标口型驱动参数子序列。

5.根据权利要求1所述的方法，其特征在于，在口型驱动参数序列中分别确定与各有效语音段分别对应的口型驱动参数子序列，还包括：

提取所述有效语音段的梅尔频率倒谱系数mfcc，生成与所述有效语音段对应的内容表征向量；

根据所述内容表征向量对所述口型驱动参数序列进行重采样，并根据重采样后的口型驱动参数序列确定与有效语音段对应的口型驱动参数子序列。

6.根据权利要求5所述的方法，其特征在于，所述根据与有效语音段对应的内容表征向量，以及与有效语音段对应的口型驱动参数子序列，形成用于训练得到口型驱动参数识别模型的训练样本对，包括：

将与所述有效语音段对应的内容表征向量，以及与所述有效语音段对应的口型驱动参数子序列进行配对，形成用于训练得到口型驱动参数识别模型的训练样本对。

7.一种口型驱动参数识别模型训练方法，其特征在于，包括：

将预先生成的多个训练样本对输入至神经网络模型中进行迭代训练；

生成口型驱动参数识别模型；

其中，各所述训练样本对由权利要求1-6中任一项所述的训练样本的生成方法生成。

8.一种口型驱动方法，其特征在于，包括：

获取待播报的非静音语音片段，并确定与所述非静音语音片段对应的内容表征向量；

将所述内容表征向量输入至预先训练的口型驱动参数识别模型中，得到与所述非静音语音片段对应的目标口型序列；其中，所述口型驱动参数识别模型由权利要求7所述的口型驱动参数识别模型训练方法训练得到；

响应于非静音语音片段的播放指令，使用所述目标口型序列对虚拟人物进行连续口型驱动。

9.一种训练样本的生成装置，其特征在于，包括：

捕捉模块，用于捕捉得到真实人物在讲话过程中形成的语音片段和口型驱动参数序列；

对齐模块，用于使用口型驱动参数序列对虚拟人物进行连续口型驱动，并根据驱动结果，将所述口型驱动参数序列与所述语音片段进行时间对齐；

识别模块，用于识别语音片段中的各有效语音段的起止时间，并根据起止时间，在口型驱动参数序列中分别确定与各有效语音段分别对应的口型驱动参数子序列；

生成模块，用于根据与有效语音段对应的内容表征向量，以及与有效语音段对应的口型驱动参数子序列，形成用于训练得到口型驱动参数识别模型的训练样本对。

10.一种口型驱动参数识别模型训练装置，其特征在于，包括：

训练模块，用于将预先生成的多个训练样本对输入至神经网络模型中进行迭代训练；

生成模块，用于生成口型驱动参数识别模型；

其中，各所述训练样本对由权利要求1-6中任一项所述的训练样本的生成方法生成。

11.一种口型驱动装置，其特征在于，包括：

获取模块，用于获取待播报的非静音语音片段，并确定与所述非静音语音片段对应的内容表征向量；

输入模块，用于将所述内容表征向量输入至预先训练的口型驱动参数识别模型中，得到与所述非静音语音片段对应的目标口型序列；其中，所述口型驱动参数识别模型由权利要求7所述的口型驱动参数识别模型训练方法训练得到；

驱动模块，用于响应于非静音语音片段的播放指令，使用所述目标口型序列对虚拟人物进行连续口型驱动。

12.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的训练样本的生成方法、权利要求7所述的口型驱动参数识别模型训练方法，或者权利要求8所述的口型驱动方法。

13.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6中任一所述的训练样本的生成方法、权利要求7所述的口型驱动参数识别模型训练方法，或者权利要求8所述的口型驱动方法。

技术总结
本发明实施例公开了一种样本生成、模型训练、口型驱动方法、装置、设备及介质。其中，方法包括：捕捉得到真实人物在讲话过程中形成的语音片段和口型驱动参数序列；根据驱动结果，将口型驱动参数序列与语音片段进行时间对齐；识别语音片段中的各有效语音段的起止时间，并根据起止时间，在口型驱动参数序列中分别确定与各有效语音段分别对应的口型驱动参数子序列；根据与有效语音段对应的内容表征向量，以及与有效语音段对应的口型驱动参数子序列，形成用于训练得到口型驱动参数识别模型的训练样本对。本发明实施例的方案，生成了用于训练口型驱动参数识别模型的高质量样本，为训练得到高精度的口型驱动参数识别模型提供依据。

技术研发人员：陀得意;林哲;司季雨;韩欣彤;康世胤;刘峰;游于人;许佳
受保护的技术使用者：广州虎牙信息科技有限公司
技术研发日：2021.06.09
技术公布日：2021.08.27