一种具有自适应降噪能力的语音识别方法及装置与流程

技术特征：

1.一种具有自适应降噪能力的语音识别方法，其特征在于，包括：

获取语音采集设备采集的语音信号；

对所述语音信号进行处理，得到语音特征向量矩阵；

将所述语音特征向量矩阵输入到训练好的级联卷积神经网络中进行降噪和语音识别，得到所述语音信号对应的识别结果；

其中，所述训练好的级联卷积神经网络是对包含有噪声的语音信号的训练集进行训练得到的。

2.如权利要求1所述的方法，其特征在于，所述对所述语音信号进行处理，得到语音特征向量矩阵，包括：

对所述语音信号进行分帧、傅里叶变换、预加重和fbank特征提取，得到包含噪声的语音特征向量矩阵。

3.如权利要求1所述的方法，其特征在于，所述将所述语音特征向量矩阵输入到训练好的级联卷积神经网络中进行降噪和语音识别，得到所述语音信号对应的识别结果，包括：

将所述语音特征向量矩阵输入到所述级联卷积神经网络中的第一级卷积神经网络中进行分类，得到所述语音特征向量矩阵对应的特征矩阵和噪声分类系数矩阵；

将所述语音特征向量矩阵对应的特征矩阵和噪声分类系数矩阵输入到所述级联卷积神经网络中的第二级卷积神经网络中进行语音识别，得到所述语音信号对应的识别结果。

4.如权利要求3所述的方法，其特征在于，所述将所述语音特征向量矩阵输入到所述级联卷积神经网络中的第一级卷积神经网络中进行分类，得到所述语音特征向量矩阵对应的特征矩阵和噪声分类系数矩阵，包括：

将所述语音特征向量矩阵输入到所述第一级卷积神经网络中，使用不同尺寸的卷积核进行一维卷积得到高维特征矩阵；

将所述高维特征矩阵利用全连接层根据噪声分类标准进行分类，得到分类结果；

若所述分类结果为噪声，则确定出所述噪声的类别，根据所述噪声的类别和预设的各类别的噪声分类系数矩阵，确定出所述语音特征向量矩阵对应的噪声分类系数矩阵；

将所述分类结果与所述语音特征向量矩阵对应的噪声分类系数矩阵进行运算，得到所述语音特征向量矩阵对应的特征矩阵。

5.如权利要求3所述的方法，其特征在于，所述将所述语音特征向量矩阵对应的特征矩阵和噪声分类系数矩阵输入到所述级联卷积神经网络中的第二级卷积神经网络中进行语音识别，得到所述语音信号对应的识别结果，包括：

将所述语音特征向量矩阵对应的特征矩阵和噪声分类系数矩阵输入到所述第二级卷积神经网络中，得到所述语音特征向量矩阵对应的音频概率；所述第二级卷积神经网络为包含注意力机制的卷积神经网络；

使用解码图对所述音频概率对应的音频进行解码得到所述语音信号对应的识别结果。

6.如权利要求3所述的方法，其特征在于，所述第一级卷积神经网络和所述第二级卷积神经网络包含有残差模块。

7.如权利要求1至6任一项所述的方法，其特征在于，所述语音采集设备为双麦克风或麦克风阵列。

8.一种具有自适应降噪能力的语音识别装置，其特征在于，包括：

获取单元，用于获取语音采集设备采集的语音信号；

处理单元，用于对所述语音信号进行处理，得到语音特征向量矩阵；将所述语音特征向量矩阵输入到训练好的级联卷积神经网络中进行降噪和语音识别，得到所述语音信号对应的识别结果；其中，所述训练好的级联卷积神经网络是对包含有噪声的语音信号的训练集进行训练得到的。

9.一种计算设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至7任一项所述的方法。

10.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至7任一项所述的方法。

技术总结
本发明公开了一种具有自适应降噪能力的语音识别方法及装置，该方法包括获取语音采集设备采集的语音信号，对语音信号进行处理，得到语音特征向量矩阵，将语音特征向量矩阵输入到训练好的级联卷积神经网络中进行降噪和语音识别，得到语音信号对应的识别结果，其中，训练好的级联卷积神经网络是对包含有噪声的语音信号的训练集进行训练得到的。通过部署级联的卷积神经网络，无需添加额外的降噪模块，即可实现降噪和语音识别功能，在识别分类过程中，神经网络依然能学习到降噪过程中分离得到的噪声信号特征。通过这种方式使有效特征不会丢失，同时信号处理的实时性更高，语音识别系统对噪声有更强的鲁棒性，噪声情况下的识别率会有明显提升。

技术研发人员：杨韬育;徐涛;牟杰
受保护的技术使用者：上海顺久电子科技有限公司
技术研发日：2021.04.22
技术公布日：2021.08.03