技术特征:
1.一种音频处理方法,其特征在于,包括:
从用户演唱歌曲的音频数据中提取用户音频特征,所述用户音频特征包括用户音高序列;
确定所述用户音高序列与第一标准音高序列的音域区间是否一致;
若不一致,则生成与所述用户音高序列的音域区间一致的第二标准音高序列;
基于所述第二标准音高序列对所述用户音高序列进行修正。
2.根据权利要求1所述的方法,其特征在于,所述确定所述用户音高序列与第一标准音高序列的音域区间是否一致,包括:
确定第一标准音高序列的平均值与所述用户音高序列的平均值之间的音高差;
若所述音高差大于预定阈值,则确定所述用户音高序列与所述第一标准音高序列的音域区间不一致;
若所述音高差小于或等于所述预定阈值,则确定所述用户音高序列与所述第一标准音高序列的音域区间一致。
3.根据权利要求2所述的方法,其特征在于,所述生成与所述用户音高序列的音域区间一致的第二标准音高序列,包括:
将所述第一标准音高序列中各个音高值减去所述音高差,生成所述第二标准音高序列,所述第二标准音高序列与所述用户音高序列的音域区间一致。
4.根据权利要求1所述的方法,其特征在于,所述基于所述第二标准音高序列对所述用户音高序列进行修正,包括:
确定所述第二标准音高序列与所述用户音高序列中对应音高的差值;
基于所述差值对所述用户音高序列中的对应音高进行修正。
5.根据权利要求1所述的方法,其特征在于,所述用户音频特征还包括用户节奏序列,所述方法还包括:
确定标准节奏序列与所述用户节奏序列中对应节奏时长的比值;
基于所述比值对所述用户节奏序列中对应节奏时长进行修正。
6.根据权利要求2所述的方法,其特征在于,所述用户音频特征还包括伴奏序列,所述方法还包括:
若所述音高差大于所述预定阈值,则基于所述音高差确定所述歌曲的伴奏的升降调系数;
基于所述升降调系数对所述伴奏序列进行升降调操作。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述从用户演唱歌曲的音频数据中提取用户音频特征,包括:
从用户演唱歌曲的音频数据中提取各个歌词的时间戳信息;
基于所述时间戳信息与标准歌曲歌词进行逐字时长对齐,生成所述用户音高序列。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于用户的修音触发操作,确定与所述修音触发操作对应的修音模式;
基于所述修音模式,从修音模板库中获取与所述歌曲以及所述修音模式对应的修音模板,所述修音模板包括所述第一标准音高序列,所述修音模板库中包含与所述歌曲对应的多种修音模式下的修音模板。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
基于旋律改编模型对所述歌曲进行改编,生成与所述歌曲对应的多种修音模式的修音模板。
10.一种音频处理装置,其特征在于,包括:
特征提取模块,用于从用户演唱歌曲的音频数据中提取用户音频特征,所述用户音频特征包括用户音高序列;
判断模块,用于确定所述用户音高序列与第一标准音高序列的音域区间是否一致;
模板生成模块,用于若不一致,则生成与所述用户音高序列的音域区间一致的第二标准音高序列;
修正模块,用于基于所述第二标准音高序列对所述用户音高序列进行修正。
11.根据权利要求10所述的装置,其特征在于,所述判断模块具体用于:
确定第一标准音高序列的平均值与所述用户音高序列的平均值之间的音高差;
若所述音高差大于预定阈值,则确定所述用户音高序列与所述第一标准音高序列的音域区间不一致;
若所述音高差小于或等于所述预定阈值,则确定所述用户音高序列与所述第一标准音高序列的音域区间一致。
12.根据权利要求11所述的装置,其特征在于,所述模板生成模块具体用于:
将所述第一标准音高序列中各个音高值减去所述音高差,生成所述第二标准音高序列,所述第二标准音高序列与所述用户音高序列的音域区间一致。
13.根据权利要求10所述的装置,其特征在于,所述修正模块具体用于:
确定所述第二标准音高序列与所述用户音高序列中对应音高的差值;
基于所述差值对所述用户音高序列中的对应音高进行修正。
14.根据权利要求10所述的装置,其特征在于,所述用户音频特征还包括用户节奏序列,所述装置还包括:
节奏修正系数确定模块,用于确定标准节奏序列与所述用户节奏序列中对应节奏时长的比值;
节奏修正模块,用于基于所述比值对所述用户节奏序列中对应节奏时长进行修正。
15.根据权利要求11所述的装置,其特征在于,所述用户音频特征还包括伴奏序列,所述装置还包括:
升降调系数确定模块,用于若所述音高差大于所述预定阈值,则基于所述音高差确定所述歌曲的伴奏的升降调系数;
伴奏修正模块,用于基于所述升降调系数对所述伴奏序列进行升降调操作。
16.根据权利要求10至15中任一项所述的装置,其特征在于,所述特征提取模块具体用于:
从用户演唱歌曲的音频数据中提取各个歌词的时间戳信息;
基于所述时间戳信息与标准歌曲歌词进行逐字时长对齐,生成所述用户音高序列。
17.根据权利要求10所述的装置,其特征在于,所述装置还包括:
修音模式确定模块,用于响应于用户的修音触发操作,确定与所述修音触发操作对应的修音模式;
模板确定模块,用于基于所述修音模式,从修音模板库中获取与所述歌曲以及所述修音模式对应的修音模板,所述修音模板包括所述第一标准音高序列,所述修音模板库中包含与所述歌曲对应的多种修音模式下的修音模板。
18.根据权利要求17所述的装置,其特征在于,所述装置还包括:
模板生成模块,用于基于旋律改编模型对所述歌曲进行改编,生成与所述歌曲对应的多种修音模式的修音模板。
19.一种计算设备,包括:处理器和存储器,所述存储器存储有可执行指令,所述处理器用于调用所述存储器存储的可执行指令执行如权利要求1至9中任一项所述的方法。
20.一种介质,其上存储有程序,所述程序被处理器执行时实现如权利要求1至9中任一项所述的方法。
技术总结
本公开实施例提供了一种音频处理方法、装置、计算设备以及介质。该方法包括:从用户演唱歌曲的音频数据中提取用户音频特征,用户音频特征包括用户音高序列;确定用户音高序列与第一标准音高序列的音域区间是否一致;若不一致,则生成与用户音高序列的音域区间一致的第二标准音高序列;基于第二标准音高序列对所述用户音高序列进行修正。根据本公开实施例的技术方案,能够避免脱离用户实际音域的音高调节导致修音调整范围过大的问题。
技术研发人员:陈梦;曹偲;朱一闻;郑博;李鹏;白杨;刘华平
受保护的技术使用者:杭州网易云音乐科技有限公司
技术研发日:2021.05.13
技术公布日:2021.06.18
本文用于企业家、创业者技术爱好者查询,结果仅供参考。