音频数据分离方法、装置、电子设备及存储介质与流程

技术特征：
1.一种音频数据分离方法，其特征在于，包括：对待处理音频数据进行变换处理，得到所述待处理音频数据对应的频谱特征，其中，所述待处理音频数据包括多种音频类型的目标音频信息；通过音频分离网络对所述频谱特征进行分离处理，得到所述待处理音频数据中各所述目标音频信息对应的预测频谱特征，其中，所述音频分离网络为基于编解码结构的卷积自注意力机制模型；对各所述目标音频信息对应的预测频谱特征进行反变换处理，得到所述待处理音频数据中的各所述目标音频信息。2.根据权利要求1所述的方法，其特征在于，所述音频分离网络包括编码器、注意力模块及与所述多种音频类型一一对应的多个解码器，所述通过音频分离网络对所述频谱特征进行分离处理，得到所述待处理音频数据中各所述目标音频信息对应的预测频谱特征，包括：通过所述编码器对所述频谱特征进行编码处理，得到所述待处理音频数据的音频特征；通过所述注意力模块对所述音频特征进行特征提取，得到各所述目标音频信息对应的注意力特征；分别通过各所述音频类型对应的解码器对各所述音频类型的所述目标音频信息对应的所述注意力特征进行解码处理，得到各所述目标音频信息对应的预测频谱特征。3.根据权利要求2所述的方法，其特征在于，所述编码器及所述解码器均通过卷积自注意力机制模型构建得到，所述卷积自注意力机制模型中包括特征激励层，所述特征激励层用于从空间维度和卷积通道维度进行特征学习。4.根据权利要求2或3所述的方法，其特征在于，所述注意力模块包括与所述多种音频类型一一对应的多个注意力机制，所述注意力机制包括卷积模块和第一特征归一化模块，所述通过所述注意力模块对所述音频特征进行特征提取，得到各所述目标音频信息对应的注意力特征，包括：针对任一所述注意力机制，通过所述注意力机制中的卷积模块对所述音频特征进行特征提取，得到所述注意力机制对应的目标音频信息的初始注意力特征；通过所述注意力机制中的第一特征归一化模块对所述初始注意力特征进行归一化处理，得到归一化的初始注意力特征，将所述归一化的初始注意力特征与所述音频特征进行融合，得到所述注意力机制对应的目标音频信息的注意力特征。5.根据权利要求1至3中任一项所述的方法，其特征在于，在所述通过音频分离网络对所述频谱特征进行分离处理，得到所述待处理音频数据中各所述目标音频信息对应的预测频谱特征之前，所述方法还包括：获取样本组，所述样本组包括所述样本音频数据和所述样本音频数据的标注信息，所述样本音频数据的标注信息包括用于构成所述样本音频数据的所述多种音频类型的样本目标音频信息；对所述样本组中的所述样本音频数据进行变换处理，得到所述样本音频数据的样本频谱特征；通过初始音频分离网络对所述样本频谱特征进行分离处理，得到所述样本音频数据中
各所述样本目标音频信息对应的样本频谱特征；对各所述样本目标音频信息对应的样本频谱特征进行反变换处理，得到多个预测目标音频信息；根据所述多个预测目标音频信息与所述样本音频数据对应的多个样本目标音频信息，确定所述初始音频分离网络的分离损失；根据所述分离损失训练所述初始音频分离网络，得到所述音频分离网络。6.根据权利要求5所述的方法，其特征在于，所述根据所述多个预测目标音频信息与所述样本音频数据对应的多个样本目标音频信息，确定所述初始音频分离网络的分离损失，包括：根据各所述预测目标音频信息与所述样本音频数据对应的各所述样本目标音频信息，确定所述初始音频分离网络的第一损失和第二损失，所述第一损失用于表征所述预测目标音频信息与所述样本目标音频信息之间的差异，所述第二损失用于表征所述预测目标音频信息之间的差异；对所述第一损失及所述第二损失进行融合处理，得到所述初始音频分离网络的分离损失。7.一种音频数据分离装置，其特征在于，包括：第一变换单元，被配置为执行对待处理音频数据进行变换处理，得到所述待处理音频数据对应的频谱特征，其中，所述待处理音频数据包括多种音频类型的目标音频信息；第一分离单元，被配置为执行通过音频分离网络对所述频谱特征进行分离处理，得到所述待处理音频数据中各所述目标音频信息对应的预测频谱特征，其中，所述音频分离网络为基于编解码结构的卷积自注意力机制模型；第一反变换单元，被配置为执行对各所述目标音频信息对应的预测频谱特征进行反变换处理，得到所述待处理音频数据中的各所述目标音频信息。8.一种电子设备，其特征在于，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的音频数据分离方法。9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的音频数据分离方法。10.一种计算机程序产品，所述计算机程序产品中包括指令，其特征在于，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的音频数据分离方法。

技术总结
本公开关于一种音频数据分离方法、装置、电子设备和存储介质。该方法包括：对待处理音频数据进行变换处理，得到所述待处理音频数据对应的频谱特征，其中，所述待处理音频数据包括多种音频类型的目标音频信息；通过音频分离网络对所述频谱特征进行分离处理，得到所述待处理音频数据中各所述目标音频信息对应的预测频谱特征，其中，所述音频分离网络为基于编解码结构的卷积自注意力机制模型；对各所述目标音频信息对应的预测频谱特征进行反变换处理，得到所述待处理音频数据中的各所述目标音频信息。采用本公开可以提高音频分离效率和音频分离精度。频分离精度。频分离精度。


技术研发人员：李晨星 邓峰 王晓瑞
受保护的技术使用者：北京达佳互联信息技术有限公司
技术研发日：2022.02.07
技术公布日：2022/5/6