基于梅尔谱对齐的音频合成方法、系统、设备及存储介质与流程

技术特征：
1.一种基于梅尔谱对齐的音频合成方法，其特征在于，包括以下步骤：s100、预训练一音频合成神经网络，用于建立基于包含多个中文分词的文本中每个音素对应的向量与声学特征帧段落的对应关系，所述声学特征帧段落包括至少一个声学特征帧；s110、将一文本进行正则化处理；s120、将文本内容基于分词网络进行分词操作获得的每个分词转化为拼音，并获得对应的声学模型向量；s130、将声学模型向量输入所述音频合成神经网络，获得整个文本对应的声学特征帧段落；以及s140、基于所述整个文本对应的声学特征帧段落合成可播放音频波形。2.根据权利要求1所述的基于梅尔谱对齐的音频合成方法，其特征在于，所述步骤s100中包括以下步骤：s101、采集音频文件；s102、获得所述音频文件的文本和音频文件的声学特征；s103、对所述文本内容基于分词网络进行分词操作获得的每个分词转化为拼音；以及s104、建立一音频合成神经网络，将所述音频文件的文本和音频文件的声学特征输入所述音频合成神经网络，使得所述分词的拼音中的音素对应的向量与声学特征在帧时序上进行对齐，获得每个分词的拼音中的所述音素的向量对应的声学特征帧。3.根据权利要求2所述的基于梅尔谱对齐的音频合成方法，其特征在于，所述步骤s103中的分词网络与所述步骤s120中的分词网络相同。4.根据权利要求1所述的基于梅尔谱对齐的音频合成方法，其特征在于，所述步骤s110中包括以下步骤：s111、去除文本中的乱码、非标准符号字符；以及s112、将文本中的数字、时间转换为中文汉字。5.根据权利要求1所述的基于梅尔谱对齐的音频合成方法，其特征在于，所述步骤s120中包括以下步骤：s121、将文本中的内容转化为中文汉字；s122、将文本进行中文分词操作；s123、获得每个分词对应的中文汉字的拼音；s124、基于所述拼音获得每个分词对应音素序列；以及s125、将文本对应的音素序列转化为对应的索引值，并获得对应的声学模型向量。6.根据权利要求5所述的基于梅尔谱对齐的音频合成方法，其特征在于，所述步骤s130中，通过所述音频合成神经网络，将所述声学模型向量按照的所述汉字在所述文本的循序转化为文本对应的声学特征帧段落。7.根据权利要求1所述的基于梅尔谱对齐的音频合成方法，其特征在于，所述步骤s140中，使用基于生成对抗网络的melgan声码器模型，将所述声学特征帧段落转成一段可播放的梅尔频谱。8.一种基于梅尔谱对齐的音频合成系统，用于实现权利要求1所述的基于梅尔谱对齐的音频合成方法，其特征在于，包括：
预训练模块，预训练一音频合成神经网络，用于建立基于包含多个中文分词的文本中每个音素对应的向量与声学特征帧段落的对应关系，所述声学特征帧段落包括至少一个声学特征帧；预处理模块，将一文本进行正则化处理；分词向量模块，将文本内容基于分词网络进行分词操作获得的每个分词转化为拼音，并获得对应的声学模型向量；声学特征模块，将声学模型向量输入所述音频合成神经网络，获得整个文本对应的声学特征帧段落；以及音频合成模块，基于所述整个文本对应的声学特征帧段落合成可播放音频波形。9.一种基于梅尔谱对齐的音频合成设备，其特征在于，包括：处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任意一项所述基于梅尔谱对齐的音频合成方法的步骤。10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至7任意一项所述基于梅尔谱对齐的音频合成方法的步骤。

技术总结
本发明提供了基于梅尔谱对齐的音频合成方法、系统、设备及存储介质，该方法包括：预训练一音频合成神经网络，用于建立基于包含多个中文分词的文本中每个音素对应的向量与声学特征帧段落的对应关系，声学特征帧段落包括至少一个声学特征帧；将一文本进行正则化处理；将文本内容基于分词网络进行分词操作获得的每个分词转化为拼音，并获得对应的声学模型向量；将声学模型向量输入音频合成神经网络，获得整个文本对应的声学特征帧段落；基于整个文本对应的声学特征帧段落合成可播放音频波形。本发明能够并行生成声学特征，耗时不会随着文本的长度的增加线性增长，大大减少了长文本话术的合成耗时。术的合成耗时。术的合成耗时。


技术研发人员：周明康 罗超 陈子浩 邹宇 李巍 严丽
受保护的技术使用者：携程旅游信息技术（上海）有限公司
技术研发日：2021.06.10
技术公布日：2021/9/6