模型训练方法、语音合成方法、装置、设备、介质及产品与流程

本公开涉及计算机，特别涉及一种模型训练方法、语音合成方法、模型训练装置、语音合成装置、电子设备、计算机可读存储介质以及计算机程序产品。

背景技术：

1、情感语音合成（emotional text-to-speech，e-tts）属于可控式语音合成技术，其目标是在输入文本的基础上，让合成语音体现出“情感类别、强度、变化趋势”等表达差异。在相关技术中，通常只能以较粗粒度的情感去驱动语音合成，导致句内情感缺乏变化，与真实语音之间存在较大差距。

技术实现思路

1、本公开提供一种模型训练方法、语音合成方法、模型训练装置、语音合成装置、电子设备、计算机可读存储介质以及计算机程序产品。

2、第一方面，本公开提供了一种模型训练方法，该模型训练方法包括：基于第一训练集数据对初始语音合成模型进行基座训练，得到中间语音合成模型；其中，所述第一训练集数据包括多个第一文本数据以及与每个所述第一文本数据对应的句子粒度的第一情感标注数据，所述初始语音合成模型用于将所述第一情感标注数据按照词粒度展开为对应的第一文本数据的第一情感标注序列，并基于所述第一情感标注序列执行对应的第一文本数据的语音合成；基于第二训练集数据对所述中间语音合成模型进行微调训练，获得目标语音合成模型；其中，所述第二训练集数据包括多个第二文本数据以及与每个所述第二文本数据对应的片段粒度的第一情感脚本数据，所述中间语音合成模型用于将所述第一情感脚本数据按照词粒度展开为对应的第二文本数据的第二情感标注序列，并基于所述第二情感标注序列执行对应的第二文本数据的语音合成。

3、第二方面，本公开提供了一种语音合成方法，该语音合成方法包括：将目标文本数据和与所述目标文本数据对应的目标情感标注数据输入目标语音合成模型，得到对应的目标合成语音数据，所述目标情感标注数据包括词粒度的第一目标情感标注序列、句子粒度的情感标注数据和片段粒度的情感脚本数据中的至少一种；其中，所述目标语音合成模型通过上述的模型训练方法获得。

4、第三方面，本公开提供了一种模型训练装置，该模型训练装置包括：基座训练模块，用于基于第一训练集数据对初始语音合成模型进行基座训练，得到中间语音合成模型；其中，所述第一训练集数据包括多个第一文本数据以及与每个所述第一文本数据对应的句子粒度的第一情感标注数据，所述初始语音合成模型用于将所述第一情感标注数据按照词粒度展开为对应的第一文本数据的第一情感标注序列，并基于所述第一情感标注序列执行对应的第一文本数据的语音合成；微调训练模块，用于基于第二训练集数据对所述中间语音合成模型进行微调训练，获得目标语音合成模型；其中，所述第二训练集数据包括多个第二文本数据以及与每个所述第二文本数据对应的片段粒度的第一情感脚本数据，所述中间语音合成模型用于将所述第一情感脚本数据按照词粒度展开为对应的第二文本数据的第二情感标注序列，并基于所述第二情感标注序列执行对应的第二文本数据的语音合成。

5、第四方面，本公开提供了一种语音合成装置，该语音合成装置包括：合成模块，用于将目标文本数据和与所述目标文本数据对应的目标情感标注数据输入目标语音合成模型，得到对应的目标合成语音数据，所述目标情感标注数据包括词粒度的第一目标情感标注序列、句子粒度的情感标注数据和片段粒度的情感脚本数据中的至少一种；其中，所述目标语音合成模型通过上述的模型训练方法获得。

6、第五方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的模型训练方法或语音合成方法。

7、第六方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现上述的模型训练方法或语音合成方法。

8、第七方面，本公开提供了一种计算机程序产品，其包括计算机可读代码，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述的模型训练方法或语音合成方法。

9、本公开实施例所提供的模型训练方法，基于第一训练集数据对初始语音合成模型进行基座训练，得到中间语音合成模型；其中，所述第一训练集数据包括多个第一文本数据以及与每个所述第一文本数据对应的句子粒度的第一情感标注数据，所述初始语音合成模型用于将所述第一情感标注数据按照词粒度展开为对应的第一文本数据的第一情感标注序列，并基于所述第一情感标注序列执行对应的第一文本数据的语音合成；基于第二训练集数据对所述中间语音合成模型进行微调训练，获得目标语音合成模型；其中，所述第二训练集数据包括多个第二文本数据以及与每个所述第二文本数据对应的片段粒度的第一情感脚本数据，所述中间语音合成模型用于将所述第一情感脚本数据按照词粒度展开为对应的第二文本数据的第二情感标注序列，并基于所述第二情感标注序列执行对应的第二文本数据的语音合成。

10、由此可知，通过在基座训练过程中将全局情感标注数据展开为词粒度形式的情感标注序列（即第一情感标注数据）的方式，使得获得的中间语音合成模型中预留有词粒度形式的情感注入接口，为实现基于词粒度的情感数据细腻精准地控制和驱动语音合成提供了重要基础；在微调训练中，引入相较于全局情感标注数据而言，情感标注粒度更小的片段粒度的情感脚本数据，将其也按照词粒度展开，从而可以得到准确性相对更高的情感标注序列（即第一情感标注数据），并基于该情感标注序列利用基座训练阶段预留的情感注入接口驱动语音合成，通过迭代参数更新即可获得能够以词粒度精度精准驱动语音合成的目标语音合成模型。

11、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述第一训练集数据还包括与每个所述第一文本数据对应的第一参考语音数据，所述基于第一训练集数据对初始语音合成模型进行基座训练，得到中间语音合成模型，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述第一文本数据对应的第一情感标注数据按照词粒度进行展开，得到与所述第一词序列对应的初始情感标注序列，包括：

4.根据权利要求2所述的方法，其特征在于，所述将所述第一文本数据对应的第一情感标注数据按照词粒度进行展开，得到与所述第一词序列对应的初始情感标注序列之后，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述第二训练集数据还包括与每个所述第二文本数据对应的第二参考语音数据，所述第一情感脚本数据包括至少一个第一片段标注数据；

6.根据权利要求5所述的方法，其特征在于，所述第一片段标注数据用于表征对应第一词元片段的情感标注数据，所述第一词元片段包括多个连续的第二词元；

7.根据权利要求5所述的方法，其特征在于，所述根据至少一个第二合成语音数据和对应的第二参考语音数据确定第二音频损失数据之前，所述方法还包括：

8.根据权利要求5-7任一项所述的方法，其特征在于，所述根据至少一个所述第一片段标注数据和对应的片段情感预测数据确定情感损失数据，包括：

9.根据权利要求1至4任一项所述的方法，其特征在于，所述基于第二训练集数据对所述中间语音合成模型进行微调训练，获得目标语音合成模型之前，所述方法还包括：

10.根据权利要求9所述的方法，其特征在于，所述生成每个所述第三文本数据对应的片段粒度的第二情感脚本数据，包括：

11.根据权利要求9所述的方法，其特征在于，所述将多个所述第三文本数据和多个所述第二情感脚本数据输入所述中间语音合成模型进行语音合成，得到与所述第三文本数据对应的第三合成语音数据，包括：

12.根据权利要求11所述的方法，其特征在于，所述第二情感脚本数据包括至少一个第二片段标注数据，所述第二片段标注数据用于表征对应第二词元片段的情感标注数据，所述第二词元片段包括多个连续的第三词元；

13.根据权利要求9所述的方法，其特征在于，所述将多个所述第三文本数据和多个所述第二情感脚本数据输入所述中间语音合成模型进行语音合成，得到与所述第三文本数据对应的第三合成语音数据之前，所述方法还包括：

14.根据权利要求13所述的方法，其特征在于，所述根据预设质量指标，删除部分所述第三文本数据和对应的第二情感脚本数据，和/或，修正部分所述第三文本数据的第二情感脚本数据，包括：

15.一种语音合成方法，其特征在于，包括：

16.根据权利要求15所述的方法，其特征在于，在所述目标情感标注数据包括所述第一目标情感标注序列的情况下，基于所述第一目标情感标注序列执行语音合成；

17.根据权利要求16所述的方法，其特征在于，所述目标语音合成模型的输出数据还包括：目标对齐信息，所述目标对齐信息用于指示目标情感标注序列中的情感标注数据与所述目标合成语音数据中的语音片段之间的映射关系，所述目标情感标注序列包括所述第一目标情感标注序列、所述第二目标情感标注序列和所述第三目标情感标注序列中的任意一种。

18.一种模型训练装置，其特征在于，包括：

19.一种语音合成装置，其特征在于，包括：

20.一种电子设备，其特征在于，包括：

21.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-14中任一项所述的模型训练方法，或者，如权利要求15-17中任一项所述的语音合成方法。

22.一种计算机程序产品，其特征在于，包括计算机可读代码，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行如权利要求1-14中任一项所述的模型训练方法，或者，如权利要求15-17中任一项所述的语音合成方法。