模型训练方法、装置、设备、介质和程序产品与流程

本公开的示例涉及计算机领域，并且涉及模型训练方法、装置、设备、介质和程序产品。

背景技术：

1、随着语音合成和语音生成技术的发展，基于参考音频生成目标发声对象语音的语音克隆技术得到广泛应用。在跨语言语音生成场景中，可以基于一种语言的参考音频获取发声对象的声纹信息，并结合另一种语言的文本生成具有相应发声对象音色特征的语音。

技术实现思路

1、在本文的第一方面，提供了一种模型训练方法。该方法包括：获取多个训练样本，多个训练样本包括第一训练样本和至少一个第二训练样本，第一训练样本包括第一音频和第一文本，至少一个第二训练样本包括至少一个第二音频，第一音频和至少一个第二音频对应于第一发声对象，第一音频对应于第一语言，至少一个第二音频对应于至少一个第二语言，第一语言不同于第二语言；基于多个训练样本，确定第一声纹特征和至少一个第二声纹特征，第一声纹特征对应于第一音频，至少一个第二声纹特征对应于至少一个第二音频；基于预定采样策略，从第一声纹特征或至少一个第二声纹特征中选择目标声纹特征；以及基于第一文本和目标声纹特征训练模型，模型被配置为基于第一文本和目标声纹特征生成第一发声对象的第三音频，第三音频对应于第一语言。

2、在本文的第二方面，提供了一种用于模型训练的装置。该装置包括：获取模块，被配置为获取多个训练样本，多个训练样本包括第一训练样本和至少一个第二训练样本，第一训练样本包括第一音频和第一文本，至少一个第二训练样本包括至少一个第二音频，第一音频和至少一个第二音频对应于第一发声对象，第一音频对应于第一语言，至少一个第二音频对应于至少一个第二语言，第一语言不同于至少一个第二语言；特征确定模块，被配置为基于多个训练样本，确定第一声纹特征和至少一个第二声纹特征，第一声纹特征对应于第一音频，至少一个第二声纹特征对应于至少一个第二音频；特征选择模块，被配置为基于预定采样策略，从第一声纹特征或至少一个第二声纹特征中选择目标声纹特征；以及模型训练模块，被配置为基于第一文本和目标声纹特征训练模型，模型被配置为基于第一文本和目标声纹特征生成第一发声对象的第三音频，第三音频对应于第一语言。

3、在本文的第三方面，提供了一种电子设备。该电子设备包括至少一个处理器；以及至少一个存储器，至少一个存储器被耦合到至少一个处理器并且存储用于由至少一个处理器执行的指令，指令在由至少一个处理器执行时使电子设备执行第一方面的方法。

4、在本文的第四方面，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，计算机程序可由处理器执行以实现第一方面的方法。

5、在本文的第五方面，提供了一种计算机程序产品。该计算机程序产品被有形地存储在计算机存储介质中并且包括计算机可执行指令，计算机可执行指令在由设备执行时使设备执行第一方面的方法。

6、以此方式，模型可以在训练中使用同一发声对象对应不同语言的声纹特征，减弱声纹特征中的语言属性对目标语言音频生成的影响，并保持声纹特征对发声对象音色的条件控制。

7、应当理解，本内容部分中所描述的内容并非旨在限定本公开中的示例的关键特征或重要特征，也不用于限制方案的范围。其它特征将通过以下的描述而变得容易理解。

1.一种模型训练方法，包括：

2. 根据权利要求1所述的方法，其中所述预定采样策略指示第一概率和第二概率，并且选择所述目标声纹特征，包括：

3.根据权利要求2所述的方法，其中所述第一概率位于预定概率范围内，并且所述第二概率随所述第一概率增大而减小。

4. 根据权利要求2所述的方法，其中所述至少一个第二语言包括多个第二语言，所述至少一个第二声纹特征包括分别对应于所述多个第二语言的多个第二声纹特征，并且从所述至少一个第二声纹特征中选择所述目标声纹特征包括：

5.根据权利要求2所述的方法，还包括：

6. 根据权利要求1所述的方法，其中所述至少一个第二音频是通过以下步骤生成的：

7. 根据权利要求6所述的方法，其中通过所述第一模型生成所述至少一个第二音频包括：

8.根据权利要求6所述的方法，其中所述第一模型是通过以下步骤训练得到的：

9.根据权利要求8所述的方法，其中确定所述全局声纹特征包括：

10.根据权利要求9所述的方法，其中聚合所述多个第三声纹特征，包括：

11. 根据权利要求9所述的方法，其中训练所述基础模型，包括：

12.根据权利要求1所述的方法，其中训练所述模型，包括：

13.根据权利要求12所述的方法，其中所述模型的输入序列包括与所述第一文本对应的文本部分和与所述第一音频对应的语音部分，所述差异基于所述语音部分确定。

14. 根据权利要求12所述的方法，还包括：

15.根据权利要求1所述的方法，还包括：

16.根据权利要求15所述的方法，其中所述声纹条件特征包括以下至少一项：

17.一种用于模型训练的装置，包括：

18. 一种电子设备，包括：

19.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可由处理器执行以实现根据权利要求1至16中任一项所述的方法。

20.一种计算机程序产品，所述计算机程序产品被有形地存储在计算机存储介质中并且包括计算机可执行指令，所述计算机可执行指令在由设备执行时使所述设备执行根据权利要求1至16中任一项所述的方法。