生成演唱音频的方法、计算机设备、存储介质和程序产品与流程

本技术涉及人工智能，特别涉及一种生成演唱音频的方法、计算机设备、存储介质和程序产品。

背景技术：

1、歌声转换（singing voice conversion，svc）人工智能的语音转换技术，其可以将一个人唱歌的音色转换为另一个人的音色。例如，可以将专业歌手演唱歌曲的音色转换为普通用户的音色，进而为用户提高播放歌曲的灵活性和趣味性。

2、在目前的歌声转换技术中，用户的录音音频仅是提供了用户的音色信息，这样在生成的目标歌曲中仅能体现出用户的音色特点。而对于用户的咬字习惯、口音等特点无法在生成的演唱音频中体现，如此导致生成的演唱音频的质量较低。

技术实现思路

1、本技术实施例提供了一种生成演唱音频的方法、计算机设备、存储介质和程序产品,能够提高生成演唱音频的质量，相应的技术方案如下：

2、第一方面，提供了一种生成演唱音频的方法，该方法包括：

3、获取用户演唱目标歌曲的第一演唱音频、歌手演唱所述目标歌曲的第二演唱音频；

4、提取所述第一演唱音频对应的语义特征和音色特征，以及提取所述第二演唱音频对应的旋律特征；

5、在对所述第一演唱音频和所述第二演唱音频进行发音单元级对齐后，确定所述第一演唱音频中各发音单元对应的第一时间信息，以及所述第二演唱音频中对应各发音单元的第二时间信息；

6、根据所述第一时间信息和所述第二时间信息，确定各发音单元对应的时序缩放参数；

7、根据各发音单元对应的所述时序缩放参数，对各发音单元对应的旋律特征分别进行时序调整，得到目标旋律特征；

8、根据所述目标旋律特征、所述语义特征以及所述音色特征，生成用户演唱所述目标歌曲的第三演唱音频。

9、可选地，所述根据所述第一时间信息和所述第二时间信息，确定各发音单元对应的时序缩放参数，包括：

10、根据所述第一时间信息和所述第二时间信息，确定每个发音单元在所述第一演唱音频中的第一发音时长以及在第二演唱音频中的第二发音时长；

11、将所述每个发音单元分别对应的第一发音时长和第二发音时长的比值，确定为所述每个发音单元时序缩放参数。

12、可选地，每个发音单元对应的所述第一发音时长和所述第二发音时长分别包括起始时段、持续时段和结束时段对应的发音时长，所述第一发音时长和所述第二发音时长的比值包括，所述起始时段对应的第一比值、所述持续时段对应的第二比值以及所述结束时段对应的第三比值；

13、所述根据各发音单元对应的所述时序缩放参数，对各发音单元对应的旋律特征分别进行时序调整，包括：对于每个发音单元，根据所述第一比值对所述起始时段对应的旋律特征进行缩放处理，根据所述第二比值对所述持续时段对应的旋律特征进行缩放处理，根据所述第三比值对所述结束时段对应的旋律特征进行缩放处理。

14、可选地，所述发音单元对应的旋律特征包括所述发音单元在所述第二演唱音频中对应的第一数量个音频帧分别对应的旋律子特征；

15、所述根据各发音单元对应的所述时序缩放参数，对各发音单元对应的旋律特征分别进行时序调整，得到目标旋律特征，包括：对于每个发音单元，确定所述发音单元在所述第二演唱音频中对应音频帧的第一数量与所述比值的乘积，得到第二数量；

16、对于每个发音单元，将所述发音单元对应的所述第一数量的旋律子特征进行插值处理或删值处理，得到所述第二数量个旋律子特征组成的所述目标旋律特征。

17、可选地，所述发音单元包括音素、音节或字。

18、可选地，所述根据所述目标旋律特征、所述语义特征以及所述音色特征，生成用户演唱所述目标歌曲的第三演唱音频，包括：

19、在音色库中确定与所述音色特征匹配的参考音色特征，其中，所述音色库中包括多个歌手对应的音色特征；根据所述目标旋律特征、所述语义特征以及所述参考音色特征，生成用户演唱所述目标歌曲的第三演唱音频。

20、可选地，所述根据所述目标旋律特征、所述语义特征以及所述参考音色特征，生成用户演唱所述目标歌曲的第三演唱音频，包括：

21、对所述音色特征与匹配的参考音色特征进行音色融合处理，得到融合音色特征；根据所述目标旋律特征、所述语义特征以及所述融合音色特征，生成用户演唱所述目标歌曲的第三演唱音频。

22、第二方面，提供了一种生成演唱音频的装置，该装置包括：

23、获取模块，用于获取用户演唱目标歌曲的第一演唱音频、歌手演唱所述目标歌曲的第二演唱音频；

24、提取模块，用于提取所述第一演唱音频对应的语义特征和音色特征，以及提取所述第二演唱音频对应的旋律特征；

25、确定模块，用于在对所述第一演唱音频和所述第二演唱音频进行发音单元级对齐后，确定所述第一演唱音频中各发音单元对应的第一时间信息，以及所述第二演唱音频中对应各发音单元的第二时间信息；根据所述第一时间信息和所述第二时间信息，确定各发音单元对应的时序缩放参数；

26、调整模块，用于根据各发音单元对应的所述时序缩放参数，对各发音单元对应的旋律特征分别进行时序调整，得到目标旋律特征；

27、生成模块，用于根据所述目标旋律特征、所述语义特征以及所述音色特征，生成用户演唱所述目标歌曲的第三演唱音频。

28、可选地，所述确定模块，用于：

29、根据所述第一时间信息和所述第二时间信息，确定每个发音单元在所述第一演唱音频中的第一发音时长以及在第二演唱音频中的第二发音时长；

30、将所述每个发音单元分别对应的第一发音时长和第二发音时长的比值，确定为所述每个发音单元时序缩放参数。

31、可选地，每个发音单元对应的所述第一发音时长和所述第二发音时长分别包括起始时段、持续时段和结束时段对应的发音时长，所述第一发音时长和所述第二发音时长的比值包括，所述起始时段对应的第一比值、所述持续时段对应的第二比值以及所述结束时段对应的第三比值；

32、所述调整模块，用于：对于每个发音单元，根据所述第一比值对所述起始时段对应的旋律特征进行缩放处理，根据所述第二比值对所述持续时段对应的旋律特征进行缩放处理，根据所述第三比值对所述结束时段对应的旋律特征进行缩放处理。

33、可选地，所述发音单元对应的旋律特征包括所述发音单元在所述第二演唱音频中对应的第一数量个音频帧分别对应的旋律子特征；

34、所述调整模块，用于：对于每个发音单元，确定所述发音单元在所述第二演唱音频中对应音频帧的第一数量与所述比值的乘积，得到第二数量；对于每个发音单元，将所述发音单元对应的所述第一数量的旋律子特征进行插值处理或删值处理，得到所述第二数量个旋律子特征组成的所述目标旋律特征。

35、可选地，所述发音单元包括音素、音节或字。

36、可选地，生成模块，用于在音色库中确定与所述音色特征匹配的参考音色特征，其中，所述音色库中包括多个歌手对应的音色特征；根据所述目标旋律特征、所述语义特征以及所述参考音色特征，生成用户演唱所述目标歌曲的第三演唱音频。

37、可选地，生成模块，用于对所述音色特征与匹配的参考音色特征进行音色融合处理，得到融合音色特征；根据所述目标旋律特征、所述语义特征以及所述融合音色特征，生成用户演唱所述目标歌曲的第三演唱音频。

38、第三方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上述第一方面所述的生成演唱音频的所执行的操作。

39、第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上述第一方面所述的生成演唱音频的所执行的操作。

40、第五方面，提供了一种计算机程序产品，其特征在于，所述存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如上述第一方面所述的生成演唱音频的所执行的操作。

41、本技术提供的技术方案带来的有益效果是：

42、在本技术提供的技术方案中，可以在用户实际演唱的目标歌曲的第一演唱音频中，提取蕴含咬字习惯、口音等特点的语义特征，以及用户的对应的音色特征。在歌手演唱目标歌曲的第二演唱音频中提取旋律特征，并根据发音单元分别在第一演唱音频和第二演唱音频中的时间信息，对旋律特征进行调整得到适配用户的目标旋律特征。这样基于专业歌手的目标旋律特征与用户的语义特征和音色特征生成的演唱音频中，即满足了对旋律准确性的要求，还可以体现用户的音色、咬字习惯、口音等特点，能够提高为用户生成的演唱音频的效果。