目标语音合成模型训练方法以及语音合成方法与流程

本说明书实施例涉及人工智能，特别涉及目标语音合成模型训练方法以及语音合成方法。

背景技术：

1、随着深度学习和大语言模型技术的发展，文本转语音合成技术逐渐由传统声学模型向基于大语言模型的语音合成架构演进。相关技术中，通常可以在输入文本中设置重音标记，并通过监督微调的方法，使语音合成模型学习在指定文本位置生成具有相应韵律强调的语音。

2、然而，监督微调通常基于文本与对应语音之间的正向监督关系调整模型参数，主要以提高训练语音的生成概率为目标，未充分利用同一样本文本对应的不同重音表现语音之间的差异，影响语音合成模型在指定文本位置生成重音的准确性和稳定性。

技术实现思路

1、有鉴于此，本说明书实施例提供了一种目标语音合成模型训练方法。本说明书一个或者多个实施例同时涉及一种语音合成方法，一种目标语音合成模型训练装置，一种语音合成装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面，提供了一种目标语音合成模型训练方法，包括：

3、获取模型训练数据，其中，模型训练数据包括样本文本和样本文本对应的多个候选语音，其中，样本文本携带样本重音字符信息，样本重音字符信息用于指示样本重音字符在样本文本中的位置；

4、分别对多个候选语音进行重音字符检测，获得各候选语音对应的候选重音字符信息；

5、根据样本文本对应的样本重音字符信息和候选重音字符信息，对多个候选语音进行划分，获得正样本语音和负样本语音；

6、根据样本文本、正样本语音以及负样本语音，对初始语音合成模型进行强化学习，获得训练完成的目标语音合成模型。

7、根据本说明书实施例的第二方面，提供了一种语音合成方法，包括：

8、获取待合成文本，其中，待合成文本携带目标重音字符信息，目标重音字符信息用于指示目标重音字符在待合成文本中的位置；

9、调用目标语音合成模型，基于待合成文本进行语音合成，获得目标合成语音，其中，目标语音合成模型基于上述第一方面所提供的方法训练得到。

10、根据本说明书实施例的第三方面，提供了一种目标语音合成模型训练装置，包括：

11、获取模块，被配置为获取模型训练数据，其中，模型训练数据包括样本文本和样本文本对应的多个候选语音，其中，样本文本携带样本重音字符信息，样本重音字符信息用于指示样本重音字符在样本文本中的位置；

12、检测模块，被配置为分别对多个候选语音进行重音字符检测，获得各候选语音对应的候选重音字符信息；

13、划分模块，被配置为根据样本文本对应的样本重音字符信息和候选重音字符信息，对多个候选语音进行划分，获得正样本语音和负样本语音；

14、训练模块，被配置为根据样本文本、正样本语音以及负样本语音，对初始语音合成模型进行强化学习，获得训练完成的目标语音合成模型。

15、根据本说明书实施例的第四方面，提供了一种语音合成装置，包括：

16、第二获取模块，被配置为获取待合成文本，其中，待合成文本携带目标重音字符信息，目标重音字符信息用于指示目标重音字符在待合成文本中的位置；

17、合成模块，被配置为调用目标语音合成模型，基于待合成文本进行语音合成，获得目标合成语音，其中，目标语音合成模型基于上述第一方面所提供的方法训练得到。

18、根据本说明书实施例的第五方面，提供了一种计算设备，包括：

19、存储器和处理器；

20、所述存储器用于存储计算机程序/指令，所述处理器用于执行所述计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一方面或第二方面所提供方法的步骤。

21、根据本说明书实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一方面或第二方面所提供方法的步骤。

22、根据本说明书实施例的第七方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一方面或第二方面所提供方法的步骤。

23、本说明书一个实施例提供的目标语音合成模型训练方法，通过获取包括样本文本以及同一样本文本对应的多个候选语音的模型训练数据，并利用样本重音字符信息指示期望产生重音的文本位置，可以在统一文本内容和统一重音目标的基础上获得具有不同重音表现的候选语音，为候选语音之间的比较提供一致的数据基础。通过分别对多个候选语音进行重音字符检测，可以获得各候选语音中实际体现重音的字符信息，从而将候选语音的重音表现转换为可用于后续处理的信息，减少对人工听感评价的依赖。通过比较样本重音字符信息和候选重音字符信息，并据此将多个候选语音划分为正样本语音和负样本语音，可以使正负样本的划分结果与预期重音位置相对应，提高偏好训练数据的针对性和一致性。通过利用样本文本、正样本语音和负样本语音对初始语音合成模型进行强化学习，可以提高模型对符合预期重音要求的语音的生成偏好，并降低对重音表现不符合要求的语音的生成偏好。由此，可以实现重音训练样本的自动构建和利用，提高目标语音合成模型在指定字符位置生成重音的准确性及稳定性。

1.一种目标语音合成模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述样本文本对应的样本重音字符信息和所述候选重音字符信息，对所述多个候选语音进行划分，获得正样本语音和负样本语音，包括：

3.根据权利要求1所述的方法，其特征在于，所述分别对所述多个候选语音进行重音字符检测，获得各所述候选语音对应的候选重音字符信息，包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述样本文本、所述正样本语音以及所述负样本语音，对初始语音合成模型进行强化学习，获得训练完成的目标语音合成模型，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述样本文本、所述正样本语音以及所述负样本语音，对所述中间语音合成模型进行强化学习，获得训练完成的所述目标语音合成模型，包括：

6.根据权利要求5所述的方法，其特征在于，所述基于所述偏好优化损失，对所述中间语音合成模型进行参数调整，获得训练完成的所述目标语音合成模型之前，还包括：

7.根据权利要求1至6任一项所述的方法，其特征在于，所述根据所述样本文本对应的样本重音字符信息和所述候选重音字符信息，对所述多个候选语音进行划分，获得正样本语音和负样本语音之前，还包括：

8.根据权利要求1至6任一项所述的方法，其特征在于，所述获取模型训练数据，包括：

9.根据权利要求8所述的方法，其特征在于，所述调用辅助语音合成模型，基于所述样本重音字符信息和所述样本文本进行多次采样，获得所述样本文本对应的所述多个候选语音，包括：

10.一种语音合成方法，其特征在于，包括：

11.一种计算设备，其特征在于，包括：

12.一种计算机可读存储介质，其特征在于，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至10任一项所述方法的步骤。

13.一种计算机程序产品，其特征在于，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至10任一项所述方法的步骤。