语音合成模型训练方法以及语音合成方法与流程

本说明书实施例涉及人工智能，特别涉及语音合成模型训练方法以及语音合成方法。

背景技术：

1、近年来，基于大语言模型与声学解码器的二阶段语音合成技术逐渐成为研究热点。在该类技术中，大语言模型负责将文本映射为离散声学标记序列，再由声学解码器将该序列还原为音频波形。

2、在该类技术的训练过程中，通常采用重建损失对大语言模型进行监督训练，即使用真实的目标语音序列作为监督信号，引导大语言模型学习从文本和参考音频到声学标记序列的映射关系。

3、然而，该类训练方式缺乏对大语言模型是否有效利用参考音频的约束机制，大语言模型可能仅依赖文本信息生成声学标记序列，而忽略参考音频中的风格特征，导致合成语音的风格与参考音频不一致。此外，现有的训练方式依赖单一的真实目标序列进行监督，使得大语言模型对参考音频的遵循能力有限。因此，如何提高语音合成模型对参考音频的遵循能力，成为亟待解决的技术问题。

技术实现思路

1、有鉴于此，本说明书实施例提供了一种语音合成模型训练方法。本说明书一个或者多个实施例同时涉及一种语音合成方法，一种语音合成训练样本构造方法，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面，提供了一种语音合成模型训练方法，包括：

3、获取样本语音，其中，所述样本语音包括参考语音段和目标语音段；

4、对所述参考语音段进行编码，获得参考语音特征，并对所述目标语音段进行编码，获得正样本语音特征；

5、对所述目标语音段对应的目标语音文本进行编码，获得目标文本特征，并调用参考语音合成模型，根据所述目标文本特征，生成负样本语音特征；

6、基于所述参考语音特征、所述目标文本特征、所述正样本语音特征以及所述负样本语音特征，对初始语音合成模型进行参数调整，获得训练完成的语音合成模型。

7、根据本说明书实施例的第二方面，提供了一种语音合成方法，包括：

8、获取目标参考音频和待合成文本；

9、对所述目标参考音频进行编码，获得参考语音特征，并对所述待合成文本进行编码，获得待合成文本特征；

10、调用语音合成模型，基于所述参考语音特征和所述待合成文本特征，生成目标合成语音，其中，所述语音合成模型基于如第一方面所述的方法训练得到。

11、根据本说明书实施例的第三方面，提供了一种语音合成训练样本构造方法，包括：

12、获取样本语音，其中，所述样本语音包括参考语音段和目标语音段；

13、对所述参考语音段进行编码，获得参考语音特征，并对所述目标语音段进行编码，获得正样本语音特征；

14、对所述目标语音段对应的目标语音文本进行编码，获得目标文本特征，并调用参考语音合成模型，根据所述目标文本特征，生成负样本语音特征；

15、基于所述参考语音特征、所述目标文本特征、所述正样本语音特征以及所述负样本语音特征，构造语音合成训练样本。

16、根据本说明书实施例的第四方面，提供了一种计算设备，包括：

17、存储器和处理器；

18、所述存储器用于存储计算机程序/指令，所述处理器用于执行所述计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一方面、第二方面或者第三方面所提供方法的步骤。

19、根据本说明书实施例的第五方面，提供了一种计算机可读存储介质，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一方面、第二方面或者第三方面所提供方法的步骤。

20、根据本说明书实施例的第六方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一方面、第二方面或者第三方面所提供方法的步骤。

21、本说明书一个实施例提供的一种语音合成模型训练方法，通过获取包含参考语音段和目标语音段的样本语音，保证两者在说话人身份和风格背景上的一致性。分别对参考语音段和目标语音段进行编码获得参考语音特征和正样本语音特征，保证模型能够建立从参考条件到目标输出的有效映射。对目标语音文本进行编码获得目标文本特征，并调用参考语音合成模型根据目标文本特征生成负样本语音特征，为正负样本对比提供了基准。基于参考语音特征、目标文本特征、正样本语音特征以及负样本语音特征对初始语音合成模型进行参数调整，构建正负样本对比的偏好约束机制，使模型在参数更新时同时获得向正样本靠拢和远离负样本两个方向的优化信号，从而强化模型对参考音频条件的遵循能力，突破单一真实目标序列监督的局限，提升合成语音与参考音频之间的风格一致性。

1.一种语音合成模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述参考语音特征、所述目标文本特征、所述正样本语音特征以及所述负样本语音特征，对所述初始语音合成模型进行参数调整，获得训练完成的语音合成模型，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一正概率信息、所述第一负概率信息、所述第二正概率信息以及所述第二负概率信息，确定偏好优化损失，包括：

4.根据权利要求2所述的方法，其特征在于，所述负样本语音特征的数量为多个；

5.根据权利要求2所述的方法，其特征在于，所述正样本语音特征包括依次排列的多个正样本语音子特征，所述负样本语音特征包括依次排列的多个负样本语音子特征；

6.根据权利要求2所述的方法，其特征在于，所述初始语音合成模型包括声学合成单元和声学解码单元；

7.根据权利要求1所述的方法，其特征在于，所述对所述参考语音段进行编码，获得参考语音特征，并对所述目标语音段进行编码，获得正样本语音特征，包括：

8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：

9.一种语音合成方法，其特征在于，包括：

10.一种语音合成训练样本构造方法，其特征在于，包括：

11.一种计算设备，其特征在于，包括：

12.一种计算机可读存储介质，其特征在于，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至10任一项所述方法的步骤。

13.一种计算机程序产品，其特征在于，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至10任一项所述方法的步骤。