三维数字人口型生成方法、装置、电子设备及存储介质与流程

技术特征：
1.一种三维数字人口型生成方法，其特征在于，包括：获取语音输入信号；将所述语音输入信号转换为数字输入信号；分割所述数字输入信号，得到语音数字信号矩阵；建立所述语音数字信号矩阵的情绪模型，得到情绪表征向量；建立所述语音数字信号矩阵的语义模型，得到语义表征向量；对所述情绪表征向量和所述语义表征向量进行卷积操作，提取语音特征；根据所述语音特征生成口型驱动系数；采用所述口型驱动系数生成三维数字人口型。2.根据权利要求1所述的方法，其特征在于，所述将所述语音输入信号转换为数字输入信号的步骤，包括：通过线性预测编码将语音输入信号转换为数字输入信号。3.根据权利要求1所述的方法，其特征在于，所述分割所述数字输入信号，得到语音数字信号矩阵的步骤，包括：通过滑动窗口对所述数字输入信号进行分割，得到多个语音数字信号；采用多个所述语音数字信号生成语音数字信号矩阵。4.根据权利要求1所述的方法，其特征在于，所述对所述情绪表征向量和所述语义表征向量进行卷积操作，提取语音特征的步骤，包括：将所述情绪表征向量与所述语义表征向量进行拼接，得到第一拼接向量；采用预设残差卷积神经网络对所述第一拼接向量进行卷积计算，得到第一卷积向量；将所述第一卷积向量和所述情绪表征向量进行拼接，得到第二拼接向量；采用预设残差卷积神经网络对所述第二拼接向量进行卷积计算，得到第二卷积向量；将所述第二卷积向量和所述情绪表征向量进行拼接，得到第三拼接向量；采用预设残差卷积神经网络对所述第三拼接向量进行卷积计算，得到第三卷积向量；将所述第三卷积向量和所述情绪表征向量进行拼接，得到第四拼接向量；采用预设残差卷积神经网络对所述第四拼接向量进行卷积计算，得到第四卷积向量；将所述第四卷积向量和所述情绪表征向量进行拼接，得到第五拼接向量；采用预设残差卷积神经网络对所述第五拼接向量进行卷积计算，得到语音特征。5.根据权利要求1所述的方法，其特征在于，所述根据所述语音特征生成口型驱动系数的步骤，包括：获取预设第一线性运算的第一权重和第一偏移量；获取预设第二线性运算的第二权重和第二偏移量；采用所述语音特征、所述第一权重、所述第一偏移量、所述第二权重和所述第二偏移量生成口型驱动系数。6.一种三维数字人口型生成装置，其特征在于，包括：语音输入信号获取模块，用于获取语音输入信号；数字输入信号转换模块，用于将所述语音输入信号转换为数字输入信号；分割模块，用于分割所述数字输入信号，得到语音数字信号矩阵；情绪表征向量获取模块，用于建立所述语音数字信号矩阵的情绪模型，得到情绪表征
向量；语义表征向量获取模块，用于建立所述语音数字信号矩阵的语义模型，得到语义表征向量；语音特征提取模块，用于对所述情绪表征向量和所述语义表征向量进行卷积操作，提取语音特征；口型驱动系数生成模块，用于根据所述语音特征生成口型驱动系数；三维数字人口型生成模块，用于采用所述口型驱动系数生成三维数字人口型。7.根据权利要求6所述的装置，其特征在于，所述数字输入信号转换模块，包括：数字输入信号转换子模块，用于通过线性预测编码将语音输入信号转换为数字输入信号。8.根据权利要求6所述的装置，其特征在于，所述分割模块，包括：分割子模块，用于通过滑动窗口对所述数字输入信号进行分割，得到多个语音数字信号；语音数字信号矩阵生成子模块，用于采用多个所述语音数字信号生成语音数字信号矩阵。9.一种电子设备，其特征在于，所述设备包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行权利要求1-5任一项所述的三维数字人口型生成方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-5任一项所述的三维数字人口型生成方法。

技术总结
本发明公开了一种三维数字人口型生成方法、装置、电子设备及存储介质，用于解决现有技术的口型驱动效果不理想，并且脸部表情和口型之间相互依赖，导致算法模型无法区分说话人的语气、情绪和真正的说话内容之间的真实口型表达的技术问题。本发明包括：获取语音输入信号；将所述语音输入信号转换为数字输入信号；分割所述数字输入信号，得到语音数字信号矩阵；建立所述语音数字信号矩阵的情绪模型，得到情绪表征向量；建立所述语音数字信号矩阵的语义模型，得到语义表征向量；对所述情绪表征向量和所述语义表征向量进行卷积操作，提取语音特征；根据所述语音特征生成口型驱动系数；采用所述口型驱动系数生成三维数字人口型。所述口型驱动系数生成三维数字人口型。所述口型驱动系数生成三维数字人口型。


技术研发人员：张顺四 徐家健 张强
受保护的技术使用者：广州趣丸网络科技有限公司
技术研发日：2022.10.17
技术公布日：2022/11/11