虚拟形象生成方法、装置、设备、存储介质以及程序产品与流程

技术特征：
1.一种虚拟形象生成方法，包括：对初始语音数据中包括的噪声音频进行过滤处理，得到过滤后的第一语音数据，其中，所述初始语音数据包括噪声音频；确定所述第一语音数据包括的各语音单元的语音单元时长和所述第一语音数据对应的语音文本，所述语音单元时长用于表征语音单元对应的发音时长；将所述语音文本进行语音转换，得到第二语音数据；基于所述第一语音数据中所述各语音单元的语音单元时长，调整所述第二语音数据中相应语音单元的语音单元时长，得到目标语音数据；以及根据所述目标语音数据，生成虚拟形象。2.根据要求1所述的方法，其中，根据所述目标语音数据，生成虚拟形象包括：根据所述目标语音数据的语音特征，获得面部姿态特征；对所述面部姿态特征进行特征拆分，得到拆分后的多个姿态拆分特征；基于所述多个姿态拆分特征，确定面部参数；以及根据所述面部参数，生成所述虚拟形象。3.根据权利要求2所述的方法，其中，所述基于所述多个姿态拆分特征，确定面部参数，包括：基于所述多个姿态拆分特征，确定拆分特征相关性参数，其中，所述拆分特征相关性参数用于表征所述多个姿态拆分特征之间的相关性；以及根据所述拆分特征相关性参数和所述面部姿态特征，确定所述面部参数。4.根据权利要求2所述的方法，其中，所述根据所述目标语音数据的语音特征，获得面部姿态特征包括：获取所述目标语音数据的梅尔倒谱系数；根据所述梅尔倒谱系数，获得音素特征；以及根据所述音素特征，获得所述面部姿态特征。5.根据权利要求2所述的方法，其中，所述根据所述面部参数，生成所述虚拟形象包括：获取初始面部模型，其中，所述初始面部模型根据初始面部参数生成；根据所述面部参数对所述初始面部模型的初始面部参数进行更新，生成目标面部模型；以及根据所述目标面部模型，获得所述虚拟形象。6.根据权利要求1所述的方法，所述根据所述目标语音数据，生成虚拟形象还包括：确定目标节奏参数；基于所述目标节奏参数，对所述目标语音数据进行节奏调整，得到节奏调整后的目标语音数据；根据所述节奏调整后的目标语音数据，生成所述虚拟形象。7.根据权利要求6所述的方法，其中，所述确定目标节奏参数包括：获取所述初始语音数据中的节奏参数，作为所述目标节奏参数。8.一种虚拟形象生成装置，包括：第一语音数据确定模块，用于对初始语音数据中包括的噪声音频进行过滤处理，得到过滤后的第一语音数据，其中，所述初始语音数据包括噪声音频；
语音单元时长和语音文本确定模块，用于确定所述第一语音数据包括的各语音单元的语音单元时长和所述第一语音数据对应的语音文本，所述语音单元时长用于表征语音单元对应的发音时长；第二语音数据确定模块，用于将所述语音文本进行语音转换，得到第二语音数据；目标语音数据确定模块，用于基于所述第一语音数据中所述各语音单元的语音单元时长，调整所述第二语音数据中相应语音单元的语音单元时长，得到目标语音数据；以及虚拟形象生成模块，用于根据所述目标语音数据，生成虚拟形象。9.根据要求8所述的装置，其中，所述虚拟形象生成模块包括：面部姿态特征确定子模块，用于根据所述目标语音数据的语音特征，获得面部姿态特征；姿态拆分特征确定子模块，用于对所述面部姿态特征进行特征拆分，得到拆分后的多个姿态拆分特征；面部参数确定子模块，用于基于所述多个姿态拆分特征，确定面部参数；以及虚拟形象第一生成子模块，用于根据所述面部参数，生成所述虚拟形象。10.根据权利要求9所述的装置，其中，所述面部参数确定子模块包括：拆分特征相关性参数确定单元，用于基于所述多个姿态拆分特征，确定拆分特征相关性参数，其中，所述拆分特征相关性参数用于表征所述多个姿态拆分特征之间的相关性；以及面部参数确定单元，用于根据所述拆分特征相关性参数和所述面部姿态特征，确定所述面部参数。11.根据权利要求9所述的装置，其中，所述面部姿态特征确定子模块包括：梅尔倒谱系数确定单元，用于获取所述目标语音数据的梅尔倒谱系数；音素特征确定单元，用于根据所述梅尔倒谱系数，获得音素特征，其中，所述音素特征用于表征发音动作单元；以及面部姿态特征确定单元，用于根据所述音素特征，获得所述面部姿态特征。12.根据权利要求9所述的装置，其中，所述虚拟形象第一生成子模块包括：初始面部模型确定单元，用于获取初始面部模型，其中，所述初始面部模型根据初始面部参数生成；目标面部模块确定单元，用于根据所述面部参数对所述初始面部模型的初始面部参数进行更新，生成目标面部模型；以及虚拟形象确定单元，用于根据所述目标面部模型，获得所述虚拟形象。13.根据权利要求8所述的装置，所述虚拟形象确定模块还包括：目标节奏参数确定子模块，用于确定目标节奏参数；节奏调整子模块，用于基于所述目标节奏参数，对所述目标语音数据进行节奏调整，得到节奏调整后的目标语音数据；虚拟形象第二生成子模块，用于根据所述节奏调整后的目标语音数据，生成所述虚拟形象。14.根据权利要求13所述的装置，其中，所述目标节奏参数确定子模块包括：目标节奏参数确定单元，用于获取所述初始语音数据中的节奏参数，作为所述目标节
奏参数。15.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。

技术总结
本公开提供了一种虚拟形象生成方法、装置、设备、存储介质以及程序产品，涉及人工智能技术领域，尤其涉及深度学习、图像处理、计算机视觉技术领域。具体实现方案为：对初始语音数据中包括的噪声音频进行过滤处理，得到过滤后的第一语音数据，其中，初始语音数据包括噪声音频；确定第一语音数据包括的各语音单元的语音单元时长和第一语音数据对应的语音文本，语音单元时长用于表征语音单元对应的发音时长；将语音文本进行语音转换，得到第二语音数据；基于第一语音数据中各语音单元的语音单元时长，调整第二语音数据中相应语音单元的语音单元时长，得到目标语音数据；以及根据目标语音数据，生成虚拟形象。生成虚拟形象。生成虚拟形象。


技术研发人员：郭紫垣
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2022.05.24
技术公布日：2022/9/2