语音识别方法、装置、计算机可读介质及电子设备与流程

技术特征：
1.一种语音识别方法，其特征在于，包括：获取包含多种语言的待识别的目标语音信号；通过融合各种语言的稀疏子网络的语音识别模型识别所述目标语音信号的语义；所述稀疏子网络是对多语言预训练模型进行参数剪枝处理得到的，所述多语言预训练模型是根据包含所述多种语言的语音信号训练得到的。2.根据权利要求1所述的方法，其特征在于，所述语音识别模型的训练方法包括以下步骤：获取包含所述多种语言的语音信号作为训练样本；根据所述训练样本训练得到所述多语言预训练模型；所述多语言预训练模型用于语音识别；将所述多语言预训练模型对应所述多种语言分别进行参数剪枝处理，得到每种语言对应的稀疏子网络；通过对应的语言对各个所述稀疏子网络进行多语言自适应预训练来更新各个所述稀疏子网络的参数，以得到各个所述稀疏子网络之间的共享参数和独享参数；根据所述共享参数和所述独享参数得到融合各种语言的稀疏子网络的语音识别模型。3.根据权利要求2所述的方法，其特征在于，所述根据所述训练样本训练得到所述多语言预训练模型的步骤包括：将所述语音信号转化成多个低维的信号帧；所述信号帧为固定时长的语音表征信号；掩蔽掉多个所述信号帧中的任意一帧，得到被掩蔽的语音信号；将所述被掩蔽的语音信号输入初始多语言预训练模型进行语义学习，以预测被掩蔽的信号帧；当预测的被掩蔽的信号帧与实际被掩蔽的信号帧一致时，确定预测正确并更新初始多语言预训练模型的参数；重复执行所述更新初始多语言预训练模型的参数的步骤，以得到所述多语言预训练模型。4.根据权利要求3所述的方法，其特征在于，所述根据所述训练样本训练得到多语言预训练模型的步骤还包括：对样本数量低于第一阈值的语言的训练样本进行上采样，以扩大采样数据中所述低于第一阈值的语言的训练样本数量；对样本数量高于第二阈值的语种进行均匀采样。5.根据权利要求2所述的方法，其特征在于，所述将所述多语言预训练模型对应所述多种语言分别进行参数剪枝处理得到每种语言对应的稀疏子网络的步骤包括：基于彩票假设方式将所述多语言预训练模型对应所述多种语言分别进行参数剪枝处理，得到每种语言对应的稀疏子网络；或基于泰勒展开方式将所述多语言预训练模型对应所述多种语言分别进行参数剪枝处理，得到每种语言对应的稀疏子网络。6.根据权利要求5所述的方法，其特征在于，所述基于彩票假设方式将所述多语言预训练模型对应所述多种语言分别进行参数剪枝处理的步骤包括：将各个语种的所述语音信号作为训练样本，分别训练所述多语言预训练模型；获取每种语言对应的所述多语言预训练模型的所有参数；
根据所述参数构成参数矩阵；构建与所述参数矩阵对应的掩蔽矩阵；获取所述参数矩阵中每个参数的绝对值；根据所述绝对值的大小裁剪预定比例的所述参数；将被裁剪的所述参数在所述掩蔽矩阵中对应位置的掩蔽状态置为第一值，其余位置的所述掩蔽状态置为第二值。7.根据权利要求5所述的方法，其特征在于，所述基于泰勒展开方式将所述多语言预训练模型对应所述多种语言分别进行参数剪枝处理的步骤包括：将各个语种的所述语音信号作为训练样本，分别训练所述多语言预训练模型；获取每种语言对应的所述多语言预训练模型的所有参数；通过一阶泰勒展开所述参数后，预测每个所述参数被裁剪后对所述多语言预训练模型造成的损失值；根据所述损失值的大小裁剪预定比例的所述参数。8.一种语音识别装置，其特征在于，包括：获取模块，用于获取包含多种语言的待识别的目标语音信号；识别模块，用于通过融合各种语言的稀疏子网络的语音识别模型识别所述目标语音信号的语义；所述稀疏子网络是对多语言预训练模型进行参数剪枝处理得到的，所述多语言预训练模型是根据包含所述多种语言的语音信号训练得到的。9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理装置执行时实现权利要求1-7中任一项所述方法的步骤。10.一种电子设备，其特征在于，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。

技术总结
本公开涉及一种语音识别方法、装置、计算机可读介质及电子设备，该方法包括：获取包含多种语言的待识别的目标语音信号，通过融合各种语言的稀疏子网络的语音识别模型识别目标语音信号的语义，该稀疏子网络是对多语言预训练模型进行参数剪枝处理得到的，该多语言预训练模型是根据包含多种语言的语音信号训练得到的。本公开从自适应的角度解决跨语言表征学习的语言干扰问题，将整个多语言预训练模型对不同语言分别进行参数剪枝处理，构造出一组共享部分参数的稀疏子网络进行训练，从而赋予了语音识别模型针对不同语言特异性建模的能力，在跨语言表征学习过程中，对大语种和小语种均有大幅的改善。有大幅的改善。有大幅的改善。


技术研发人员：卢怡宙 马泽君
受保护的技术使用者：北京有竹居网络技术有限公司
技术研发日：2022.03.03
技术公布日：2022/6/4