基于时频结合的音乐人声分离方法、装置、设备及介质与流程

技术特征：
1.一种基于时频结合的音乐人声分离方法，其特征在于，包括：获取目标音频的音频时域信号；对所述音频时域信号进行频域转换处理，得到对应的音频频域信号；将所述音频时域信号以及所述音频频域信号输入训练后的双塔网络模型进行初步人声分离处理，得到初步人声清唱时频信号；基于预设的音频事件精细分类器确定所述初步人声清唱时频信号中的非人声清唱信号；在所述初步人声清唱时频信号中对所述非人声清唱信号进行响度优化处理，得到所述目标音频中的目标人声清唱时频信号。2.根据权利要求1所述的方法，其特征在于，所述基于预设的音频事件精细分类器确定所述初步人声清唱时频信号中的非人声清唱信号，包括：将所述初步人声清唱时频信号输入所述音频事件精细分类器得到多个非人声清唱碎片信号；将相邻预设时间间隔内的所述非人声清唱碎片信号进行合并处理，并将合并处理后的所述非人声清唱碎片信号以及未进行合并处理的所述非人声清唱碎片信号确定为所述非人声清唱信号。3.根据权利要求2所述的方法，其特征在于，所述将所述初步人声清唱时频信号输入所述音频事件精细分类器得到多个非人声清唱碎片信号，包括：根据预设的多个打分机制对所述初步人声清唱时频信号中的每一帧信号进行音频事件打分，得到各帧信号分别针对各打分机制的打分结果；根据所述打分结果确定所述初步人声清唱时频信号中的非人声清唱碎片信号。4.根据权利要求3所述的方法，其特征在于，所述打分结果包括人声清唱信号打分结果以及非人声清唱信号打分结果，所述根据所述打分结果确定所述初步人声清唱时频信号中的非人声清唱碎片信号，包括：计算各帧信号分别对应的所述人声清唱信号打分结果的人声清唱打分均值，以及计算各帧信号分别对应的所述非人声清唱信号打分结果的非人声清唱打分均值；将非人声清唱打分均值大于人声清唱打分均值的帧信号确定为所述非人声清唱碎片信号。5.根据权利要求1所述的方法，其特征在于，所述对所述音频时域信号进行频域转换处理，得到对应的音频频域信号，包括：对所述音频时域信号进行预加重处理，得到第一音频信号；对所述第一音频信号进行分帧加窗处理，得到第二音频信号；对所述第二音频信号进行快速傅里叶变换处理，得到第三音频信号；对所述第三音频信号进行梅尔滤波处理并计算所述第三音频信号中每一帧信号的功率谱，得到第四音频信号；对所述第四音频信号进行离散余弦变换处理，得到所述音频频域信号。6.根据权利要求1所述的方法，其特征在于，所述在所述初步人声清唱时频信号中对所述非人声清唱信号进行响度优化处理，得到所述目标音频中的目标人声清唱时频信号，包括：
将所述非人声清唱信号转换为响度信号；将所述响度信号中响度小于响度阈值的信号进行响度压缩处理；若压缩后的响度信号中存在异常响度信号，则根据预设的指数淡化公式对所述异常响度信号进行时延优化处理，得到所述目标音频中的目标人声清唱时频信号，所述异常响度信号为在预设时间内响度落差大于预设落差值的信号。7.根据权利要求1至7中任一项所述的方法，其特征在于，所述将所述音频时域信号以及所述音频频域信号输入训练后的双塔网络模型进行初步人声分离处理之前，所述方法还包括：构建双塔网络模型，所述双塔网络模型的损失函数由清唱音频损失函数、伴奏音频损失函数以及伴唱音频损失函数构成；根据预设的音乐分轨训练集对所述双塔网络模型进行训练，得到所述训练后的双塔网络模型。8.一种基于时频结合的音乐人声分离装置，其特征在于，包括：获取单元，用于获取目标音频的音频时域信号；处理单元，用于对所述音频时域信号进行频域转换处理，得到对应的音频频域信号；将所述音频时域信号以及所述音频频域信号输入训练后的双塔网络模型进行初步人声分离处理，得到初步人声清唱时频信号；基于预设的音频事件精细分类器确定所述初步人声清唱时频信号中的非人声清唱信号；在所述初步人声清唱时频信号中对所述非人声清唱信号进行响度优化处理，得到所述目标音频中的目标人声清唱时频信号。9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-7中任一项所述的方法。

技术总结
本申请实施例公开了一种基于时频结合的音乐人声分离方法、装置、计算机设备及存储介质。方法包括：获取目标音频的音频时域信号；对音频时域信号进行频域转换处理，得到对应的音频频域信号；再将音频时域信号以及音频频域信号输入训练后的双塔网络模型进行初步人声分离处理，得到初步人声清唱时频信号；确定初步人声清唱时频信号中的非人声清唱信号；最后在初步人声清唱时频信号中对非人声清唱信号进行响度优化处理，得到目标音频中的目标人声清唱时频信号。本申请实施例获取到初步人声清唱时频信号之后，还会进一步识别初步人声清唱时频信号中的非人声清唱信号，并对识别出的非人声清唱信号进行响度优化处理，提高了音乐人声分离的分离效果。分离的分离效果。分离的分离效果。


技术研发人员：戚成杰
受保护的技术使用者：深圳万兴软件有限公司
技术研发日：2022.07.19
技术公布日：2022/10/18