语音合成方法、声学模型训练方法以及装置与流程

本说明书实施例涉及计算机，特别涉及一种语音合成方法、声学模型训练方法以及装置。

背景技术：

1、随着深度学习技术的快速发展，语音合成已广泛应用于智能客服、有声读物、人机交互等场景，用户对合成语音的自然度、表现力和个性化定制能力提出了越来越高的要求。

2、现有语音合成方案通常采用端到端的框架，将输入文本直接映射为输出语音波形或声学特征。模型内部通过编码器-解码器结构对文本和语音之间的映射关系进行整体建模，以黑盒方式完成从文本到语音的转换。

3、然而，语音中包含多种相互关联的表现因素，现有端到端方式缺乏对语音内部结构的显式建模能力，难以准确捕捉和协调影响语音表现力的各类因素，导致合成语音在听感上机械生硬，自然度和流畅性不足。因此，亟需一种能够提升合成语音整体表现力的语音合成方法。

技术实现思路

1、有鉴于此，本说明书实施例提供了一种语音合成方法。本说明书一个或者多个实施例同时涉及一种声学模型训练方法，一种语音合成装置，一种声学模型训练装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决上述技术问题。

2、根据本说明书实施例的第一方面，提供了一种语音合成方法，包括：

3、获取目标合成文本和目标参考音频，将目标合成文本转换为目标音素序列，并通过声学模型编码器确定目标音素序列的目标内容表征；

4、基于目标参考音频，生成目标音频条件向量；

5、基于目标内容表征和目标音频条件向量，通过目标声学模型，获得目标音素序列中各目标音素的目标音素韵律和目标音素时长，其中，目标音频条件向量用于指示目标声学模型以目标音频条件向量作为预测条件、生成目标内容表征对应的目标音素韵律和目标音素时长；

6、基于目标音素序列中各目标音素的目标音素韵律和目标音素时长合成目标语音。

7、根据本说明书实施例的第二方面，提供了一种声学模型训练方法，包括：

8、获取样本合成文本和样本参考音频，将样本合成文本转换为样本音素序列，获取样本音素序列中各样本音素的音素韵律标签和音素时长标签；

9、通过声学模型编码器确定样本音素序列的样本内容表征；

10、基于样本参考音频，生成样本音频条件向量；

11、基于样本内容表征和样本音频条件向量，结合音素韵律标签和音素时长标签，对初始声学模型进行训练，直至达到训练停止条件，获得目标声学模型，其中，目标声学模型应用于上述语音合成方法中。

12、根据本说明书实施例的第三方面，提供了一种语音合成装置，包括：

13、获取模块，被配置为获取目标合成文本和目标参考音频，将目标合成文本转换为目标音素序列，并通过声学模型编码器确定目标音素序列的目标内容表征；

14、条件生成模块，被配置为基于目标参考音频，生成目标音频条件向量；

15、预测模块，被配置为基于目标内容表征和目标音频条件向量，通过目标声学模型，获得目标音素序列中各目标音素的目标音素韵律和目标音素时长，其中，目标音频条件向量用于指示目标声学模型以目标音频条件向量作为预测条件、生成目标内容表征对应的目标音素韵律和目标音素时长；

16、合成模块，被配置为基于目标音素序列中各目标音素的目标音素韵律和目标音素时长合成目标语音。

17、根据本说明书实施例的第四方面，提供了一种声学模型训练装置，包括：

18、样本获取模块，被配置为获取样本合成文本和样本参考音频，将样本合成文本转换为样本音素序列，获取样本音素序列中各样本音素的音素韵律标签和音素时长标签；

19、内容编码模块，被配置为通过声学模型编码器确定样本音素序列的样本内容表征；

20、样本条件模块，被配置为基于样本参考音频，生成样本音频条件向量；

21、训练模块，被配置为基于样本内容表征和样本音频条件向量，结合音素韵律标签和音素时长标签，对初始声学模型进行训练，直至达到训练停止条件，获得目标声学模型，其中，目标声学模型应用于上述语音合成方法中。

22、根据本说明书实施例的第五方面，提供了一种计算设备，包括：

23、存储器和处理器；

24、存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，该计算机可执行指令被处理器执行时实现上述语音合成方法或声学模型训练方法的步骤。

25、根据本说明书实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述语音合成方法或声学模型训练方法的步骤。

26、根据本说明书实施例的第七方面，提供了一种计算机程序产品，包括计算机可执行指令，该计算机可执行指令被处理器执行时实现上述语音合成方法或声学模型训练方法的步骤。

27、本说明书提供的语音合成方法，通过将目标合成文本转换为音素序列，使后续处理能够在音素这一精细粒度上进行，为更准确地刻画语音特征奠定了基础；通过声学模型编码器提取目标内容表征，使目标音素序列的发音内容和上下文信息得以被目标声学模型感知；通过基于目标参考音频生成目标音频条件向量，使后续处理能够以目标说话人的音色身份为参考，提升合成语音与目标说话人的相似度；通过将上述条件输入目标声学模型，由该模型在同一音素序列内同时预测各音素的目标音素韵律和目标音素时长，使韵律和时长在音素级别上相互约束、彼此协调；通过基于预测的音素级韵律和时长合成目标语音，使合成语音在音色、韵律和时长上保持一致。由此，本方案基于音素级统一建模并结合参考音频提供说话人条件的方式，使合成语音更加精细、自然、流畅和拟人，显著提升了合成语音的整体表现力。

1.一种语音合成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标参考音频，生成目标音频条件向量，包括：

3.根据权利要求2所述的方法，其特征在于，所述目标参考音频为多个；所述基于所述目标参考音频提取目标人声向量，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述目标内容表征和所述目标音频条件向量，通过目标声学模型，获得所述目标音素序列中各目标音素的目标音素韵律和目标音素时长，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于所述目标音素序列中各目标音素的目标音素韵律和目标音素时长合成目标语音，包括：

6.根据权利要求5所述的方法，其特征在于，所述基于所述音素帧序列和所述音色表征，合成所述目标语音，包括：

7.根据权利要求1-6任一项所述的方法，其特征在于，所述目标声学模型通过如下方式训练获得：

8.根据权利要求7所述的方法，其特征在于，所述基于所述样本内容表征和所述样本音频条件向量，结合所述音素韵律标签和所述音素时长标签，对初始声学模型进行训练，直至达到训练停止条件，获得所述目标声学模型，包括：

9.根据权利要求7所述的方法，其特征在于，所述样本参考音频为多个；所述基于所述样本参考音频，生成样本音频条件向量，包括：

10.一种声学模型训练方法，其特征在于，包括：

11.一种语音合成装置，其特征在于，包括：

12.一种声学模型训练装置，其特征在于，包括：

13.一种计算设备，其特征在于，包括：

14.一种计算机可读存储介质，其特征在于，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至9任意一项所述语音合成方法或权利要求10所述声学模型训练方法的步骤。

15.一种计算机程序产品，其特征在于，包括计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至9任意一项所述语音合成方法或权利要求10所述声学模型训练方法的步骤。