语音识别、模型训练方法、装置、电子设备和存储介质与流程

技术特征：

1.一种语音识别方法，其特征在于，包括：

确定待识别的语音数据；

将所述待识别的语音数据输入至压缩语音识别模型，得到所述压缩语音识别模型输出的语音识别结果；

其中，所述压缩语音识别模型是基于样本语音数据及其样本语音识别结果训练得到的；所述压缩语音识别模型中结构相同的层之间共享参数。

2.根据权利要求1所述的语音识别方法，其特征在于，所述压缩语音识别模型是基于如下步骤训练得到的：

基于样本语音数据及其样本语音识别结果，预训练初始模型，得到原始语音识别模型；

对所述原始语音识别模型中结构相同的层进行参数共享，得到初始压缩模型；

基于样本语音数据及其样本语音识别结果，更新所述初始压缩模型中的共享参数，得到所述压缩语音识别模型。

3.根据权利要求2所述的语音识别方法，其特征在于，所述对所述原始语音识别模型中结构相同的层进行参数共享，得到初始压缩模型，包括：

将所述原始语音识别模型中结构相同的多个层中的任一层的参数作为初始参数赋值给所述多个层中的其他层，得到所述初始压缩模型。

4.根据权利要求2所述的语音识别方法，其特征在于，所述压缩语音识别模型的损失函数包括识别结果损失函数和共享层差异损失函数；

所述识别结果损失函数用于表示所述压缩语音识别模型对所述样本语音数据进行语音识别得到的输出结果与所述样本语音数据的样本语音识别结果间的差异；

所述共享层差异损失函数表示所述压缩语音识别模型中任一共享层输出的实际特征向量与所述原始语音识别模型中对应层输出的目标特征向量间的差异；其中，共享层是指结构相同的多个层中共享所述多个层中任一层参数的其他层。

5.根据权利要求4所述的语音识别方法，其特征在于，所述共享层差异损失函数是将所述压缩语音识别模型中每一共享层的特征距离损失进行加权求和后得到的；

任一共享层的特征距离损失是所述压缩语音识别模型中所述任一共享层输出的实际特征向量与所述原始语音识别模型中对应层输出的目标特征向量间的向量距离。

6.一种模型训练方法，其特征在于，包括：

确定原始神经网络模型的结构；其中，所述原始神经网络模型中存在结构相同的层；

基于样本数据及其样本标注结果，预训练所述原始神经网络模型；

基于所述样本数据及其样本标注结果，更新所述原始神经网络模型中各层的参数，得到压缩神经网络模型；其中，在更新参数时，保持结构相同的层的参数相同，使得所述压缩神经网络模型中结构相同的层之间共享参数。

7.一种语音识别装置，其特征在于，包括：

语音数据确定单元，用于确定待识别的语音数据；

语音识别单元，用于将所述待识别的语音数据输入至压缩语音识别模型，得到所述压缩语音识别模型输出的语音识别结果；

其中，所述压缩语音识别模型是基于样本语音数据及其样本语音识别结果训练得到的；所述压缩语音识别模型中结构相同的层之间共享参数。

8.一种模型训练装置，其特征在于，包括：

模型结构确定单元，用于确定原始神经网络模型的结构；其中，所述原始神经网络模型中存在结构相同的层；

预训练单元，用于基于样本数据及其样本标注结果，预训练所述原始神经网络模型；

压缩训练单元，用于基于所述样本数据及其样本标注结果，更新所述原始神经网络模型中各层的参数，得到压缩神经网络模型；其中，在更新参数时，保持结构相同的层的参数相同，使得所述压缩神经网络模型中结构相同的层之间共享参数。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述语音识别方法的步骤，或实现如权利要求6所述模型训练方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述语音识别方法的步骤，或实现如权利要求6所述模型训练方法的步骤。

技术总结
本发明提供一种语音识别、模型训练方法、装置、电子设备和存储介质，其中语音识别方法包括：确定待识别的语音数据；将所述待识别的语音数据输入至压缩语音识别模型，得到所述压缩语音识别模型输出的语音识别结果；其中，所述压缩语音识别模型是基于样本语音数据及其样本语音识别结果训练得到的；所述压缩语音识别模型中结构相同的层之间共享参数。本发明基于样本语音数据及其样本语音识别结果训练压缩语音识别模型，并使压缩语音识别模型中结构相同的层之间共享参数，可以在运算量保持不变的情况下大幅降低模型参数量，使得压缩语音识别模型可以满足低内存、高算力的应用场景需求，并确保压缩语音识别模型的语音识别效果。

技术研发人员：吴华鑫
受保护的技术使用者：科大讯飞股份有限公司
技术研发日：2021.06.28
技术公布日：2021.08.10