一种歌声合成方法、装置、设备及存储介质与流程

技术特征：
1.一种歌声合成方法，其特征在于，包括：获取目标歌曲的音乐数据；将所述音乐数据输入内容信息生成模型进行处理，输出与所述音乐数据对应的目标内容信息，其中，所述内容信息生成模型是通过预设的歌声文本信息对初始神经网络进行训练得到的；将所述音乐数据输入融合模型进行音色融合处理，输出目标音色信息，其中，所述融合模型用于将所述音乐数据对应的音色信息互相融合；根据所述目标内容信息和所述目标音色信息，生成与所述目标歌曲对应的频谱信息；利用预设的音频合成策略，对所述频谱信息进行音频合成处理，生成目标歌曲音频。2.根据权利要求1所述的一种歌声合成方法，其特征在于，所述将所述音乐数据输入内容信息生成模型进行处理，输出与所述音乐数据对应的目标内容信息，包括：获取所述音乐数据的音节信息和电子乐谱信息；将所述音节信息和所述电子乐谱信息输入所述内容信息生成模型，输出所述目标内容信息。3.根据权利要求1所述的一种歌声合成方法，其特征在于，所述将所述音乐数据输入融合模型进行音色融合处理，输出目标音色信息，包括：将所述音乐数据输入声纹提取模型进行提取处理，提取出在每个所述音乐数据中每个演唱者分别对应的初始音色信息；将预设比例的演唱者对应的所述初始音色信息分别输入音色融合模型进行音色融合处理，根据预设融合策略生成所述目标音色信息。4.根据权利要求3所述的一种歌声合成方法，其特征在于，所述根据所述目标内容信息和所述目标音色信息，生成与所述目标歌曲对应的频谱信息，包括：利用多头注意力块和残差块，将位于每一层的所述目标内容信息和所述目标音色信息分别进行归一化处理，得到每一层对应的归一化数据；按预设顺序将多层所述归一化数据拼接处理成初始频谱数据；将所述初始频谱数据输入注意力模型中，生成所述频谱信息。5.根据权利要求1所述的一种歌声合成方法，其特征在于，所述利用预设的音频合成策略，对所述频谱信息进行音频合成处理，生成目标歌曲音频，包括：利用所述音频合成策略调用预设的声码器；利用所述声码器对所述频谱信息进行音频合成处理，生成所述目标歌曲音频。6.根据权利要求3所述的一种歌声合成方法，其特征在于，所述声纹提取模型的训练步骤，包括：获取音频训练样本；将所述音频训练样本输入卷积神经网络中进行训练，输出与所述音频训练样本对应的音色信息样本；计算所述音色信息样本和预设标准音色信息的信息差数据，根据所述信息差数据优化
所述卷积神经网络，以得到所述声纹提取模型。7.一种歌声合成装置，其特征在于，包括：获取模块，用于获取目标歌曲的音乐数据；内容信息生成模块，用于将所述音乐数据输入内容信息生成模型进行处理，输出与所述音乐数据对应的目标内容信息，其中，所述内容信息生成模型是通过利用预设的歌声文本信息对初始神经网络进行训练得到的；音色信息生成模块，用于将所述音乐数据输入融合模型进行音色融合处理，输出目标音色信息，其中，所述融合模型用于将所述音乐数据对应的音色信息互相融合；频谱信息生成模块，用于根据所述目标内容信息和所述目标音色信息，生成与所述目标歌曲对应的频谱信息；音频合成模块，用于利用预设的音频合成策略，对所述频谱信息进行音频合成处理，生成目标歌曲音频。8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述歌声合成方法的步骤。9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述歌声合成方法的步骤。10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述歌声合成方法的步骤。

技术总结
本发明提供一种歌声合成方法、装置、设备及存储介质，涉及计算机技术领域。该方法包括：获取目标歌曲的音乐数据；将音乐数据输入内容信息生成模型进行处理，输出与音乐数据对应的目标内容信息，其中，内容信息生成模型是通过预设的歌声文本信息对初始神经网络进行训练得到的；将音乐数据输入融合模型进行音色融合处理，输出目标音色信息；根据目标内容信息和目标音色信息，生成与目标歌曲对应的频谱信息；利用预设的音频合成策略，对频谱信息进行音频合成处理，生成目标歌曲音频。通过对解耦后的音色信息进行多音色融合，按任意比例融合生成新的目标音色信息，从而生成表现力强的目标歌曲音频。标歌曲音频。标歌曲音频。


技术研发人员：王春惠 何星
受保护的技术使用者：北京红棉小冰科技有限公司
技术研发日：2022.10.26
技术公布日：2022/12/9