语音识别模型训练方法、装置、设备及存储介质与流程

技术特征：

1.一种语音识别模型训练方法，其特征在于，包括：

获取样本语音中各个分帧的频域特征向量，根据所述频域特征向量得到第一声学特征矩阵；

采用wavenet前向网络处理所述第一声学特征矩阵，得到第二声学特征矩阵；以及，采用第一循环神经网络处理所述第二声学特征矩阵，得到第三声学特征矩阵；

获取所述样本语音对应文本中各个单词的词向量，根据所述词向量得到第一文本特征矩阵；以及，采用第二循环神经网络处理所述第一文本特征矩阵，得到第二文本特征矩阵；

组合所述第三声学特征矩阵和所述第二文本特征矩阵，得到组合矩阵；以及，采用联合网络处理所述组合矩阵得到输出矩阵；

根据所述样本语音对应的文本和所述输出矩阵，对所述语音识别模型进行训练。

2.根据权利要求1所述的方法，其特征在于，

所述语音识别模型包括所述wavenet前向网络、所述第一循环神经网络、所述第二循环神经网络和所述联合网络；

所述对所述语音识别模型进行训练，包括：对所述wavenet前向网络、所述第一循环神经网络、所述第二循环神经网络和所述联合网络进行联合训练。

3.根据权利要求1所述的方法，其特征在于，

在采用wavenet前向网络处理所述第一声学特征矩阵前，还包括：采用卷积运算模块处理所述第一声学特征矩阵，得到第四声学特征矩阵；

所述采用wavenet前向网络处理所述第一声学特征矩阵，得到第二声学特征矩阵，包括：采用所述wavenet前向网络处理所述第四声学特征矩阵，得到所述第二声学特征矩阵。

4.根据权利要求3所述的方法，其特征在于，所述采用卷积运算模块处理所述第一声学特征矩阵，得到第四声学特征矩阵，包括：

采用深度可分离卷积模块处理所述第一声学特征矩阵，得到所述第四声学特征矩阵。

5.根据权利要求1或2所述的方法，其特征在于，

所述第一循环神经网络和/或所述第二循环神经网络为具有动态残差连接的循环神经网络。

6.根据权利要求5所述的方法，其特征在于，

所述第一循环神经网络和/或所述第二循环神经网络为具有投影层的长短期记忆网络。

7.一种语音识别模型训练装置，其特征在于，包括：

语音特征获取单元，用于获取样本语音中各个分帧的频域特征向量，根据所述频域特征向量得到第一声学特征矩阵；

语音特征处理单元，用于采用wavenet前向网络处理所述第一声学特征矩阵，得到第二声学特征矩阵，以及，采用第一循环神经网络处理所述第二声学特征矩阵，得到第三声学特征矩阵；

文本特征获取单元，用于获取所述样本语音对应文本中各个单词的词向量，根据所述词向量得到第一文本特征矩阵；

文本特征处理单元，用于采用第二循环神经网络处理所述第一文本特征矩阵，得到第二文本特征矩阵；

联合处理单元，用于组合所述第三声学特征矩阵和所述第二文本特征矩阵，得到组合矩阵；以及，采用联合网络处理所述组合矩阵得到输出矩阵；

训练单元，用于根据所述样本语音对应的文本和所述输出矩阵，对所述语音识别模型进行训练。

8.根据权利要求7所述的装置，其特征在于，

所述语音识别模型包括所述wavenet前向网络、所述第一循环神经网络、所述第二循环神经网络和所述联合网络；

所述训练单元对所述语音识别模型进行训练，包括：所述wavenet前向网络、所述第一循环神经网络、所述第二循环神经网络和所述联合网络进行联合训练。

9.根据权利要求7所述的装置，其特征在于，还包括：

卷积运算单元，用于采用卷积运算处理所述第一声学特征矩阵，得到第四声学特征矩阵；

所述语音特征处理单元采用wavenet前向网络处理所述第一声学特征矩阵，得到第二声学特征矩阵，包括：采用所述wavenet前向网络处理所述第四声学特征矩阵，得到所述第二声学特征矩阵。

10.根据权利要求9所述的装置，其特征在于，

所述卷积运算单元采用深度可分离卷积运算处理所述第一声学矩阵，得到所述第四声学矩阵。

11.根据权利要求7-10任一项所述的装置，其特征在于，

所述第一循环神经网络和/或所述第二循环神经网络为具有动态残差连接的循环神经网络。

12.一种电子设备，其特征在于，包括处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至6任一项所述方法的步骤。

13.一种计算机可读存储介质，其特征在于，

所述计算机可读存储介质存储程序或指令；

所述程序或指令使计算机执行如权利要求1至6任一项所述方法的步骤。

技术总结
本申请提供一种语音识别模型训练方法、装置、设备及存储介质，方法包括：采用Wavenet前向网络和第一循环神经网络处理第一声学特征矩阵得到第三声学特征矩阵；采用第二循环神经网络处理第一文本特征矩阵得到第二文本特征矩阵；组合第三声学特征矩阵和第二文本特征矩阵，得到组合矩阵；以及，采用联合网络处理组合矩阵得到输出矩阵；根据样本语音对应的文本和输出矩阵，对Wavenet前向网络、第一循环神经网络、第二循环神经网络和联合网络进行训练。本方案通过使用Wavenet前向网络模块提高了序列建模的感受视野，优化了模型的训练速度和精度。

技术研发人员：李作强;杨嵩;林连志
受保护的技术使用者：北京世纪好未来教育科技有限公司
技术研发日：2021.06.11
技术公布日：2021.08.31