音频处理方法、装置、电子设备以及存储介质与流程

本申请涉及音频处理，尤其涉及一种音频处理方法、装置、电子设备以及存储介质。

背景技术：

1、音频理解是对音频信号进行解析、分析和解释，以提取其中有意义的信息、识别其内容、推断其上下文并领悟其高级语义的过程。它旨在让机器能够像人类一样“听懂”声音，理解声音背后的意图、情感、事件和场景。目前的对话系统中，比如音箱、手机助手和智能客服中，音频理解发挥着非常重要的作用，比如，语音识别、语音性别识别、语音年龄预测和语音情绪识别、声纹提取、声学事件检测（笑声、哭声和咳嗽等等）等均是一个智能对话系统的重要输入，决定后续智能对话系统理解模块理解和输出的准确性。

技术实现思路

1、本申请提供了一种音频处理方法、装置、电子设备以及存储介质，能够同时支持音频检测、语音识别、语音情绪识别、语音年龄预测、语音性别识别、声纹提取和语音口音分类、声学事件检测、语音翻译等功能，为后续音频理解提供更全面实时的输入。所述技术方案如下：

2、根据本申请的一个方面，提供了一种音频处理方法，所述方法包括：

3、获取实时音频信号；

4、对所述实时音频信号进行语音特征提取，得到t帧音频向量，t为正整数；

5、将所述t帧音频向量输入训练完成的音频理解共享编码网络进行特征编码，得到每帧音频向量对应的高维音频编码特征；

6、将t帧音频向量对应的高维音频编码特征分别输入至少两个训练完成的音频任务网络，得到每个训练完成的音频任务网络输出的音频处理结果，不同音频任务网络用于根据所述高维音频编码特征输出不同的音频处理结果，所述至少两个训练完成的音频任务网络包括音频检测网络、语音识别网络、语音情绪识别网络、语音年龄预测网络、语音性别识别网络、音频声纹提取网络、音频口音分类网络、音频声学事件检测网络和音频翻译网络。

7、根据本申请的另一方面，提供了一种音频处理装置，所述装置包括：

8、第一获取模块，用于获取实时音频信号；

9、特征提取模块，用于对所述实时音频信号进行语音特征编码，得到t帧音频向量，t为正整数；

10、特征编码模块，用于将所述t帧音频向量输入训练完成的音频理解共享编码网络进行特征提取，得到每帧音频向量对应的高维音频编码特征；

11、音频处理模块，用于将t帧音频向量对应的高维音频编码特征分别输入至少两个训练完成的音频任务网络，得到每个训练完成的音频任务网络输出的音频处理结果，不同音频任务网络用于根据所述高维音频编码特征输出不同的音频处理结果，所述至少两个训练完成的音频任务网络包括音频检测网络、语音识别网络、语音情绪识别网络、语音年龄预测网络、语音性别识别网络、音频声纹提取网络、音频口音分类网络、音频声学事件检测网络和音频翻译网络。

12、根据本申请的一个方面，提供了一种电子设备，包括：处理器以及存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行如上所述的音频处理方法。

13、根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的音频处理方法。

14、根据本申请的另一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述音频处理方法。

15、本申请实施例提供的技术方案带来的有益效果至少包括：

16、通过预先构建和训练包含音频理解共享编码网络和多个音频任务网络的单个音频处理模型，使得可以将实时音频信号处理后的t帧音频向量输入训练完成的音频理解共享编码网络和多个音频任务网络，同时输出多种音频处理结果；也即通过单个模型可以同时输出多种音频处理结果，同时支持音频检测、语音识别、语音情绪识别、语音年龄预测、语音性别识别、声纹提取、口音分类、声学事件检测和音频翻译等多音频理解功能，且由于多个音频任务网络共享音频理解共享编码网络，使得在支持多种音频理解功能的同时还降低了音频处理模型的部署成本，进而提高了音频处理效率。

1.一种音频处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述第二类训练数据包括至少两类子训练数据，每类子训练数据为每个音频任务网络的单独音频训练样本；

4.根据权利要求3所述的方法，其特征在于，所述针对所述第二类训练数据中的每类子训练数据，基于所述每类子训练数据和所述预训练完成的音频共享编码网络，分别训练每类子训练数据对应的音频任务网络，得到初始音频任务网络，包括：

5.根据权利要求3所述的方法，其特征在于，所述基于所述第二类训练数据，共同训练所述预训练完成的音频理解共享编码网络和至少两个初始音频任务网络，得到所述训练完成的音频理解共享编码网络和所述至少两个训练完成的音频任务网络，包括：

6.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述若所述网络数量占比大于等于所述占比阈值，基于所述目标音频任务网络的所述历史处理数据，共同更新所述训练完成的音频理解共享编码网络和所述目标音频任务网络的网络参数，包括：

8.一种音频处理装置，其特征在于，所述装置包括：

9.一种电子设备，包括：

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的音频处理方法。