基于转音音符处理方法的歌唱合成方法及系统与流程

技术特征：

1.一种转音音符处理方法，其特征在于，包括如下步骤：

s1.采集曲谱特征离散数据，并将曲谱特征离散数据转化为对应的数值数据，构建音符的音素id值对应表；其中，曲谱特征离散数据包括音符音素、音符音高以及音符持续时间；

s2.对转音音符进行处理，将转音音符与上一个普通音符的音素进行处理得到新转音音符的音素，再根据音素id值对应表查表得出相应的数值数据。

2.根据权利要求1所述的转音音符处理方法，其特征在于，所述s2具体为：将转音音符邻近的上一个第一普通音符进行音素拆分，根据转音音符的波形特征，将第一普通音符的音素进行扩展，得到第一普通音符与转音音符融合的新转音音符音素，根据音素id值对应表，查表得出新转音音符音素数值、新转音音符持续时间数值以及新转音音符音高数值。

3.根据权利要求1所述的转音音符处理方法，其特征在于，所述s2具体为：将转印音符邻近的上一个第一普通音符进行音素拆分，将转音音符作为一种额外信息加入至第一普通音符拆分后的音素末尾，得到新转音音符音素，将额外信息的持续时间置为0，根据音素id值对应表，查表得出新转音音符音素数值、新转音音符持续时间数值以及新转音音符音高数值。

4.根据权利要求1所述的转音音符处理方法，其特征在于，所述s2具体为：选取转音音符的上个一个普通音符为第一个普通音符，同时进行任务一以及任务二，其中：

任务一：将第一普通音符进行音素拆分，根据音素id值对应表查表得到第一普通音符音素数值、第一普通音符持续时间数值以及第一普通音符音高数值；

任务二：将转音音符当做独立的第二普通音符，并为第二普通音符附上单音素，将第一普通音符的音素进行拆分，将单音素与第一普通音符音素进行合并得到新转音音符音素，根据音素id值对应表，查表得到新音符音素数值、新音符持续时间数值以及新音符音高数值。

5.一种支持转音的歌唱合成方法，其特征在于，采用如权利要求1-4任意一项转音音符处理方法，其包括如下步骤：

s1.数据采集以及数据处理：收集歌曲曲谱并根据收集的曲谱特征录制干声音频，分别提取歌曲曲谱的曲谱特征离散数据以及干声音频的音频特征数据；

s2.模型搭建：构建歌唱合成模型，该模型包括用于转换曲谱特征离散数据以及对转音音符处理的数据转换模块、接收数据转换模块转换数据的声学模型以及接收声学模型输出的声学特征的声码器；其中，数据转换模块应用所述转音音符处理方法；

s3.模型训练：分别训练声学模型以及声码器；

s4.模型推理：将需要合成歌曲曲谱经过数据转换模块转换为曲谱数值数据，再将曲谱数值数据输入到声学模型得到曲谱声学特征，最后将曲谱声学特征以及音频声学特征输入至声码器，得到最终的歌声波形，并保存。

6.根据权利要求5所述的支持转音的歌唱合成方法，其特征在于，所述音频特征数据提取包括如下步骤：

第一步，音量归一化处理；

第二步，提取干声音频的音频声学特征；

第三步：对音频声学特征进行归一化处理，作为声码器的输入。

7.根据权利要求5所述的支持转音的歌唱合成方法，其特征在于，所述声码器的训练方法为：将曲谱数值数据作为输入，以曲谱声学特征作为输出，分割训练数据集和测试数据集来训练声学模型，训练直到声学模型loss收敛，中间每隔一定时间保存模型文件，选取测试数据集上与预设结果最接近的文件作为声学模型的训练结果。

8.根据权利要求5所述的支持转音的歌唱合成方法，其特征在于，所述声码器的训练方法为：调整声码器的参数，以曲谱声学特征以及音频声学特征为输入，以单声道干声波形为输出，进行训练直到声码器收敛，选取测试数据上与预设结果最接近的文件作为声码器的训练结果。

9.一种支持转音的歌唱合成系统，其特征在于，包括：

数据提取模块：用于采集歌曲曲谱以及干声音频，分别提取歌曲曲谱的曲谱特征离散数据以及干声音频的音频特征数据；

数据处理模块：将普通音符与转音音符的曲谱特征离散数据转换为对应的数值数据，输入声学模型中得出对应的曲谱声学特征；

歌曲合成模块：通过向声码器输入曲谱声学特征以及音频声学特征以合成歌唱波形。

10.一种支持转音的歌唱合成电子设备，其特征在于，包括处理器、存储器以及储存在所述存储器上并可被所述处理器执行的歌唱合成程序，所述歌唱合成程序被所述处理器执行时实现如权利要求5-8中任一项所述的歌唱合成方法的步骤。

技术总结
本发明提供了一种基于转音音符处理方法的歌唱合成方法及系统，其包括转音音符处理方法以及支持转音的歌唱合成方法与系统，其中转音音符处理方法先收集曲谱特征离散数据，构建曲谱特征音素I D值表，将转音音符与上一个普通音符的音素进行处理得到新转音音符的音素，再根据音素I D值对应表查表得出相应的数值数据，歌唱合成方法包括如下步骤：S1.数据采集以及数据处理，S2.模型搭建，S4.模型训练，S5.模型推理，其中模型搭建包括该模型包括应用转音音符处理方法的数据转换模块、接收数据转换模块转换数据的声学模型以及接收声学模型输出的声学特征的声码器；本发明设计转音音符的处理方法，使得合成的歌曲更生动。

技术研发人员：尹学渊;马星宇;江天宇;陈洪宇
受保护的技术使用者：成都潜在人工智能科技有限公司
技术研发日：2021.05.06
技术公布日：2021.07.27