语音识别方法、装置、计算机可读介质及电子设备与流程

1.本公开涉及计算机技术邻域，具体地，涉及一种语音识别方法、装置、计算机可读介质及电子设备。


背景技术：

2.目前的跨语言表征学习方法并没有考虑到不同语言之间发音的多样性，仍沿用了单语表征学习的模型结构，模型不存在专门用于建模特定语言特性的模块，因此往往会面临语言之间相互干扰的问题。这个问题在语言数量变多、无监督数据增加时会更加严重，当这个多语言预训练模型用于下游多语言语音识别任务时，会导致大语种语言(如中文、英文)的识别性能大幅下降，相比单语言预训练模型有较大的差距。
3.因此，亟需一种语音识别模型，能够从自适应的角度解决跨语言表征学习的语言干扰问题。


技术实现要素：

4.提供该内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
5.第一方面，本公开提供一种语音识别方法，包括：获取包含多种语言的待识别的目标语音信号；通过融合各种语言的稀疏子网络的语音识别模型识别所述目标语音信号的语义；所述稀疏子网络是对多语言预训练模型进行参数剪枝处理得到的，所述多语言预训练模型是根据包含所述多种语言的语音信号训练得到的。
6.第二方面，本公开提供一种语音识别装置，包括：获取模块，用于获取包含多种语言的待识别的目标语音信号；识别模块，用于通过融合各种语言的稀疏子网络的语音识别模型识别所述目标语音信号的语义；所述稀疏子网络是对多语言预训练模型进行参数剪枝处理得到的，所述多语言预训练模型是根据包含所述多种语言的语音信号训练得到的。
7.第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理装置执行时实现前述的语音识别方法的步骤。
8.第四方面，本公开提供一种计算机设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现前述的语音识别方法的步骤。
9.通过上述技术方案，获取包含多种语言的待识别的目标语音信号，通过融合各种语言的稀疏子网络的语音识别模型识别目标语音信号的语义，该稀疏子网络是对多语言预训练模型进行参数剪枝处理得到的，该多语言预训练模型是根据包含多种语言的语音信号训练得到的。本公开从自适应的角度解决跨语言表征学习的语言干扰问题，将整个多语言预训练模型对不同语言分别进行参数剪枝处理，构造出一组共享部分参数的稀疏子网络进行训练，从而赋予了语音识别模型针对不同语言特异性建模的能力，在跨语言表征学习过
程中，对大语种和小语种均有大幅的改善。
10.本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
11.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
12.图1是本公开一个示例性实施例提供的计算机系统的结构示意图。
13.图2是本公开一个示例性实施例提供的语音识别方法的流程图。
14.图3为本公开一个示例性实施例提供的语音识别模型的训练方法的流程图。
15.图4是本公开一个示例性实施例提供的步骤s202的子步骤的流程图。
16.图5是本公开一个示例性实施例提供的语音识别装置框图。
17.图6是本公开一个示例性实施例提供的电子设备的结构示意图。
18.附图标记说明
19.120-终端；140-服务器；20-语音识别装置；201-获取模块；203-识别模块；205-处理模块；600-计算机设备；601-处理装置；602-rom；603-ram；604-总线；605-i/o接口；606-输入装置；607-输出装置；608-存储装置；609-通信装置。
具体实施方式
20.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
21.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
22.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。
23.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
24.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
25.图1示出了本公开一个示例性实施例提供的计算机系统的结构示意图，该计算机系统包括终端120和服务器140。
26.终端120与服务器140之间通过有线或者无线网络相互连接。
27.终端120可以包括智能手机、笔记本电脑、台式电脑、平板电脑、智能音箱、智能机器人中的至少一种。
28.终端120包括显示器；显示器可以用于显示语音识别结果。
29.终端120包括第一存储器和第一处理器。第一存储器中存储有第一程序；上述第一
程序被第一处理器调用执行以实现本公开提供的语音识别方法。第一存储器可以包括但不限于以下几种：随机存取存储器(random access memory，ram)、只读存储器(read only memory，rom)、可编程只读存储器(programmable read-only memory，prom)、可擦除只读存储器(erasable programmable read-only memory，eprom)、以及电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)。
30.第一处理器可以是一个或者多个集成电路芯片组成。可选地，第一处理器可以是通用处理器，比如，中央处理器(central processing unit，cpu)或者网络处理器(network processor，np)。示例性的，终端中的语音识别模型可以是由终端训练得到的；或，由服务器训练得到，终端从服务器获取。
31.服务器140包括第二存储器和第二处理器。第二存储器中存储有第二程序，上述第二程序被第二处理器调用来实现本公开提供的语音识别方法。示例性的，第二存储器中存储有语音识别模型，语音识别模型被第二处理器调用以实现语音识别方法。可选地，第二存储器可以包括但不限于以下几种：ram、rom、prom、eprom、eeprom。可选地，第二处理器可以是通用处理器，比如，cpu或者np。
32.服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本公开在此不做限制。
33.近年来，预训练语言模型迅速发展，预训练语言模型参数量也不断增加，导致计算成本也越来越高。为了提高预训练语言模型的效率，各种各样的模型压缩方法被提出，其中就包括模型剪枝。
34.基于此，本公开提供了一个示例性实施例提供的语音识别方法，包括：获取包含多种语言的待识别的目标语音信号，通过融合各种语言的稀疏子网络的语音识别模型识别目标语音信号的语义；该稀疏子网络是对多语言预训练模型进行参数剪枝处理得到的，多语言预训练模型是根据包含多种语言的语音信号训练得到的，该多种语言包括一些大语种，如中文、英文等，以及包括一些小语种，如法语、西班牙语等。本公开从自适应的角度解决跨语言表征学习的语言干扰问题，将整个多语言预训练模型对不同语言分别进行参数剪枝处理，构造出一组共享部分参数的稀疏子网络进行训练，从而赋予了语音识别模型针对不同语言特异性建模的能力，在跨语言表征学习过程中，对大语种和小语种均有大幅的改善。
35.需要说明的是，下面将对本实施例提供的语音识别方法进行详细说明，此处未提及之处可以参考下面图2的描述，在此不再赘述。
36.请参阅图2，图2为本公开一个示例性实施例提供的语音识别方法的流程图。该方法由计算机设备来执行，例如，由图1所示的计算机系统中的终端或服务器来执行。图2所示的语音识别方法包括以下步骤：
37.在步骤s101中，获取包含多种语言的待识别的目标语音信号。
38.需要说明的是，该多种语言包括一些大语种，如中文、英文等，以及包括一些小语种，如法语、西班牙语等。
39.在步骤s102中，通过融合各种语言的稀疏子网络的语音识别模型识别目标语音信号的语义。
40.该稀疏子网络是对多语言预训练模型进行参数剪枝处理得到的，该多语言预训练模型是根据包含多种语言的语音信号训练得到的。
41.请参阅图3，图3为本公开一个示例性实施例提供的语音识别模型的训练方法的流程图。该语音识别模型的训练方法包括以下步骤：
42.在步骤s201中，获取包含多种语言的语音信号作为训练样本。
43.需要说明的是，该多种语言包括一些大语种，如中文、英文等，以及包括一些小语种，如法语、西班牙语等。其中大语种的样本数量远远大于小语种的样本数量，例如大语种的样本数量可以是100万条，而小语种的样本数量可能仅有几万条。并且训练样本为无监督语音数据，即没有进行人工标注的语音数据。
44.在步骤s202中，根据训练样本训练得到多语言预训练模型。
45.需要说明的是，多语言预训练模型用于语音识别，并且该多语言预训练模型可以对不同语言分别进行识别。
46.在训练阶段沿用了wav2vec 2.0框架进行跨语言语音表征学习，其主要包括了特征提取器、上下文网络和一个量化模块。该特征提取器由多层卷积神经网络构成；该上下文网络由多层的transformer层组成，用于对特征提取器的输出的语音信号进行语义学习，输出具有上下文信息的表征向量；量化模块用于提供原始的无监督语音数据，用于对比学习，将特征提取器的输出的语音信号进行量化。为了语音表征学习的稳定，额外添加了多样性损失来促进多语言预训练模型对量化模块的使用，避免量化模块的坍塌现象。
47.需要说明的是，步骤s202包括子步骤s2021、子步骤s2022、子步骤s2023、子步骤s2024及子步骤s2025，训练得到多语言预训练模型的具体方式将在步骤s202的子步骤中进行详细描述。请参阅图4，图4是本公开一个示例性实施例示出的步骤s202的子步骤的流程图。
48.在子步骤s2021中，将语音信号转化成多个低维的信号帧。
49.需要说明的是，将语音信号转化成多个低维的信号帧之前还需要对对样本数量低于第一阈值的语言的训练样本进行上采样，以扩大采样数据中低于第一阈值的语言的训练样本数量；例如小语种的样本数量可能仅有几万条，因此需要对小语种的训练样本进行上采样。对样本数量高于第二阈值的语种进行均匀采样，例如大语种的样本数量可以是100万条，此时仅需要对其进行均匀采样即可得到足够的采样数据。
50.通过前述提到的特征提取器将输入的语音信号转化成多个低维的信号帧，其中每一个信号帧为固定时长的语音表征信号。示例性的，每一个信号帧可以是约25ms长，步幅20ms。
51.在子步骤s2022中，掩蔽掉多个信号帧中的任意一帧，得到被掩蔽的语音信号。
52.示例性的，某个语音信号总共被划分为10帧，那么可以掩蔽掉10个信号帧中的任意一帧或两帧，如果某个语音信号总共被划分为100帧，那么可以掩蔽掉100个信号帧中的任意10帧或20帧，然后得到被掩蔽的语音信号。
53.在子步骤s2023中，将被掩蔽的语音信号输入初始多语言预训练模型进行语义学习，以预测被掩蔽的信号帧。
54.通过前述提到的上下文网络，对被掩蔽的语音信号进行语义学习，根据语义学习的结果重建出被掩蔽的信号帧，以预测出被掩蔽的信号帧，与此同时，量化模块接收特征提取器输出的语音信号是未受掩蔽的，因此可以将预测出的被掩蔽的信号帧与量化模块用于提供的无监督语音数据进行对比。
55.在子步骤s2024中，当预测的被掩蔽的信号帧与实际被掩蔽的信号帧一致时，确定预测正确并更新初始多语言预训练模型的参数。
56.当预测的被掩蔽的信号帧与量化模块输出的实际被掩蔽的信号帧一致时，确定上下文网络预测的信号帧是正确的，并更新初始多语言预训练模型的参数。
57.在子步骤s2025中，重复执行更新初始多语言预训练模型的参数的步骤，以得到多语言预训练模型。
58.重复执行子步骤s2022-s2024，每一次掩蔽的信号帧都不重复，然后通过上下文网络对被掩蔽的语音信号进行语义学习，以预测出被掩蔽的信号帧，将预测出被掩蔽的信号帧与量化模块输出的实际被掩蔽的信号帧进行比对，当比对一致时确定上下文网络预测的信号帧是正确的，并更新初始多语言预训练模型的参数，以得到多语言预训练模型。
59.示例性的，可以重复执行子步骤s2022-s2024预定次数，该预定次数可以是语音信号的信号帧数量的预定比例，如10个信号的帧的50％，就是5次，该预定次数可以基于人为经验取得，或者根据其他可行的方法取得，在此不再赘述。
60.在步骤s203中，将多语言预训练模型对应多种语言分别进行参数剪枝处理，得到每种语言对应的稀疏子网络。
61.需要说明的是，参数剪枝处理主要包括以下两种方式，基于彩票假设方式和基于泰勒展开方式。在本公开中可以采用其中任意一种剪枝方式，下面将详细阐述这两种剪枝方式。
62.基于彩票假设方式将所述多语言预训练模型对应所述多种语言分别进行参数剪枝处理的步骤包括：将各个语种的语音信号作为训练样本，分别训练多语言预训练模型，这里的多语言预训练模型是指步骤s202中训练得到的多语言预训练模型，此外这里训练收敛条件也与步骤s202中一样；然后获取每种语言对应的多语言预训练模型的所有参数；根据这些参数构成参数矩阵；然后构建与参数矩阵对应的掩蔽矩阵，该掩蔽矩阵的长、宽与参数矩阵一致；然后获取参数矩阵中每个参数的绝对值；根据该绝对值的大小裁剪预定比例的参数，例如可以按照绝对值的大小从小到大裁剪预定比例的参数，该预定比例可以是20％、30％或50％等，在此不做限制；最后将被裁剪的参数在掩蔽矩阵中对应位置的掩蔽状态置为第一值，其余位置的掩蔽状态置为第二值，在一种实施方式中第一值为0，第二值为1。
63.基于泰勒展开方式将多语言预训练模型对应多种语言分别进行参数剪枝处理的步骤包括：将各个语种的语音信号作为训练样本，分别训练多语言预训练模型，这里的多语言预训练模型是指步骤s202中训练得到的多语言预训练模型，此外这里训练收敛条件也与步骤s202中一样；获取每种语言对应的多语言预训练模型的所有参数；通过一阶泰勒展开参数后，预测每个参数被裁剪后对多语言预训练模型造成的损失值，在一种实施方式中，预测每个参数被裁剪后对多语言预训练模型造成的损失值的公式包括：
64.|g2w2|
65.其中，g为所述参数的梯度，w为所述参数的权重，|为取绝对值的运算符；然后根据
损失值的大小裁剪预定比例的参数，例如可以按照损失值的大小从小到大裁剪预定比例的参数，该预定比例可以是20％、30％或50％等，在此不做限制。
66.参数剪枝处理后得到的多语言预训练模型，可以加快推理计算速度，满足最低延迟限制，可以减少所消耗的内存，对于终端侧更易于部署，比如手机，更便于模型的训练和微调。
67.通过上述两种剪枝方式中的任意一种，将各个语种的语音信号作为训练样本，分别训练多语言预训练模型，得到每种语言对应的稀疏子网络。
68.在步骤s204中，通过对应的语言对各个稀疏子网络进行多语言自适应预训练来更新各个稀疏子网络的参数，以得到各个稀疏子网络之间的共享参数和独享参数。
69.在训练过程中，每个训练batch都只由一种语言的训练样本组成，其中batch是指：使用训练样本中的一小部分样本对模型权重进行一次反向传播的参数更新，这一小部分样本被称为“一批数据”。
70.而对每种语言的输入样本数据，只使用这个语言所对应的稀疏子网络进行前向传播，并计算稀疏子网络损失，反向传播时也只更新这个稀疏子网络对应的参数。通过这种方式，最终的稀疏子网络在网络内部自动分配了不同语言之间共享参数和独享参数，从而达到自适应训练的效果。
71.在步骤s205中，根据共享参数和独享参数得到融合各种语言的稀疏子网络的语音识别模型。
72.本公开提出的基于稀疏共享子网络跨语言语音表征的语音识别模型可以在大语种和小语种上均超过基线跨语言语音表征学习方法。在公开的共享语音(common voice)数据集合上，所提出的语音识别方法在100m模型相比基线系统有相对9.8％平均音素错误率下降，在300m模型上有7.4％音素错误率下降。而且这种方法可以大幅缓解大语种所受到的语言干扰问题，在100m模型和300m模型上对大语种有相对17.8％和16.7％的音素错误率下降。
73.综上所述，本公开提供的语音识别方法，包括获取包含多种语言的待识别的目标语音信号，通过融合各种语言的稀疏子网络的语音识别模型识别目标语音信号的语义，该稀疏子网络是对多语言预训练模型进行参数剪枝处理得到的，该多语言预训练模型是根据包含多种语言的语音信号训练得到的。本公开从自适应的角度解决跨语言表征学习的语言干扰问题，将整个多语言预训练模型对不同语言分别进行参数剪枝处理，构造出一组共享部分参数的稀疏子网络进行训练，从而赋予了语音识别模型针对不同语言特异性建模的能力，在跨语言表征学习过程中，对大语种和小语种均有大幅的改善。
74.图5是本公开一个示例性实施例示出的一种语音识别装置框图。参照图5，该装置20包括获取模块201和识别模块203。
75.该获取模块201，用于获取包含多种语言的待识别的目标语音信号；
76.该识别模块203，用于通过融合各种语言的稀疏子网络的语音识别模型识别所述目标语音信号的语义；所述稀疏子网络是对多语言预训练模型进行参数剪枝处理得到的，所述多语言预训练模型是根据包含所述多种语言的语音信号训练得到的。
77.该装置20还包括处理模块205。
78.可选地，该处理模块205，用于获取包含所述多种语言的语音信号作为训练样本；
79.根据所述训练样本训练得到所述多语言预训练模型；所述多语言预训练模型用于语音识别；
80.将所述多语言预训练模型对应所述多种语言分别进行参数剪枝处理，得到每种语言对应的稀疏子网络；
81.通过对应的语言对各个所述稀疏子网络进行多语言自适应预训练来更新各个所述稀疏子网络的参数，以得到各个所述稀疏子网络之间的共享参数和独享参数；
82.根据所述共享参数和所述独享参数得到融合各种语言的稀疏子网络的语音识别模型。
83.可选地，该处理模块205，还用于将所述语音信号转化成多个低维的信号帧；所述信号帧为固定时长的语音表征信号；
84.掩蔽掉多个所述信号帧中的任意一帧，得到被掩蔽的语音信号；
85.将所述被掩蔽的语音信号输入初始多语言预训练模型进行语义学习，以预测被掩蔽的信号帧；
86.当预测的被掩蔽的信号帧与实际被掩蔽的信号帧一致时，确定预测正确并更新初始多语言预训练模型的参数；
87.重复执行所述更新初始多语言预训练模型的参数的步骤，以得到所述多语言预训练模型。
88.可选地，该处理模块205，还用于对样本数量低于第一阈值的语言的训练样本进行上采样，以扩大采样数据中所述低于第一阈值的语言的训练样本数量；
89.对样本数量高于第二阈值的语种进行均匀采样。
90.可选地，该处理模块205，还用于基于彩票假设方式将所述多语言预训练模型对应所述多种语言分别进行参数剪枝处理，得到每种语言对应的稀疏子网络；
91.或基于泰勒展开方式将所述多语言预训练模型对应所述多种语言分别进行参数剪枝处理，得到每种语言对应的稀疏子网络。
92.可选地，该处理模块205，还用于将各个语种的所述语音信号作为训练样本，分别训练所述多语言预训练模型；
93.获取每种语言对应的所述多语言预训练模型的所有参数；
94.根据所述参数构成参数矩阵；
95.构建与所述参数矩阵对应的掩蔽矩阵；
96.获取所述参数矩阵中每个参数的绝对值；
97.根据所述绝对值的大小裁剪预定比例的所述参数；
98.将被裁剪的所述参数在所述掩蔽矩阵中对应位置的掩蔽状态置为第一值，其余位置的所述掩蔽状态置为第二值。
99.可选地，该处理模块205，还用于将各个语种的所述语音信号作为训练样本，分别训练所述多语言预训练模型；
100.获取每种语言对应的所述多语言预训练模型的所有参数；
101.通过一阶泰勒展开所述参数后，预测每个所述参数被裁剪后对所述多语言预训练模型造成的损失值；
102.根据所述损失值的大小裁剪预定比例的所述参数。
protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
109.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
110.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取包含多种语言的待识别的目标语音信号；通过融合各种语言的稀疏子网络的语音识别模型识别所述目标语音信号的语义；所述稀疏子网络是对多语言预训练模型进行参数剪枝处理得到的，所述多语言预训练模型是根据包含所述多种语言的语音信号训练得到的。
111.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言——诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
112.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
113.描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定。
114.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
115.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计
算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
116.根据本公开的一个或多个实施例，示例1提供了一种语音识别方法，包括：获取包含多种语言的待识别的目标语音信号；
117.通过融合各种语言的稀疏子网络的语音识别模型识别所述目标语音信号的语义；
118.所述稀疏子网络是对多语言预训练模型进行参数剪枝处理得到的，所述多语言预训练模型是根据包含所述多种语言的语音信号训练得到的。
119.根据本公开的一个或多个实施例，示例2提供了示例1的方法，所述语音识别模型的训练方法包括以下步骤：
120.获取包含所述多种语言的语音信号作为训练样本；
121.根据所述训练样本训练得到所述多语言预训练模型；所述多语言预训练模型用于语音识别；
122.将所述多语言预训练模型对应所述多种语言分别进行参数剪枝处理，得到每种语言对应的稀疏子网络；
123.通过对应的语言对各个所述稀疏子网络进行多语言自适应预训练来更新各个所述稀疏子网络的参数，以得到各个所述稀疏子网络之间的共享参数和独享参数；
124.根据所述共享参数和所述独享参数得到融合各种语言的稀疏子网络的语音识别模型。
125.根据本公开的一个或多个实施例，示例3提供了示例2的方法，所述根据所述训练样本训练得到所述多语言预训练模型的步骤包括：
126.将所述语音信号转化成多个低维的信号帧；所述信号帧为固定时长的语音表征信号；
127.掩蔽掉多个所述信号帧中的任意一帧，得到被掩蔽的语音信号；
128.将所述被掩蔽的语音信号输入初始多语言预训练模型进行语义学习，以预测被掩蔽的信号帧；
129.当预测的被掩蔽的信号帧与实际被掩蔽的信号帧一致时，确定预测正确并更新初始多语言预训练模型的参数；
130.重复执行所述更新初始多语言预训练模型的参数的步骤，以得到所述多语言预训练模型。
131.根据本公开的一个或多个实施例，示例4提供了示例3的方法，所述根据所述训练样本训练得到多语言预训练模型的步骤还包括：
132.对样本数量低于第一阈值的语言的训练样本进行上采样，以扩大采样数据中所述低于第一阈值的语言的训练样本数量；
133.对样本数量高于第二阈值的语种进行均匀采样。
134.根据本公开的一个或多个实施例，示例5提供了示例2的方法，所述将所述多语言预训练模型对应所述多种语言分别进行参数剪枝处理得到每种语言对应的稀疏子网络的步骤包括：
135.基于彩票假设方式将所述多语言预训练模型对应所述多种语言分别进行参数剪
枝处理，得到每种语言对应的稀疏子网络；
136.或基于泰勒展开方式将所述多语言预训练模型对应所述多种语言分别进行参数剪枝处理，得到每种语言对应的稀疏子网络。
137.根据本公开的一个或多个实施例，示例6提供了示例5的方法，所述基于彩票假设方式将所述多语言预训练模型对应所述多种语言分别进行参数剪枝处理的步骤包括：
138.将各个语种的所述语音信号作为训练样本，分别训练所述多语言预训练模型；
139.获取每种语言对应的所述多语言预训练模型的所有参数；
140.根据所述参数构成参数矩阵；
141.构建与所述参数矩阵对应的掩蔽矩阵；
142.获取所述参数矩阵中每个参数的绝对值；
143.根据所述绝对值的大小裁剪预定比例的所述参数；
144.将被裁剪的所述参数在所述掩蔽矩阵中对应位置的掩蔽状态置为第一值，其余位置的所述掩蔽状态置为第二值。
145.根据本公开的一个或多个实施例，示例7提供了示例5的方法，所述基于泰勒展开方式将所述多语言预训练模型对应所述多种语言分别进行参数剪枝处理的步骤包括：
146.将各个语种的所述语音信号作为训练样本，分别训练所述多语言预训练模型；
147.获取每种语言对应的所述多语言预训练模型的所有参数；
148.通过一阶泰勒展开所述参数后，预测每个所述参数被裁剪后对所述多语言预训练模型造成的损失值；
149.根据所述损失值的大小裁剪预定比例的所述参数。
150.根据本公开的一个或多个实施例，示例8提供了示例7的方法，所述预测每个所述参数被裁剪后对所述多语言预训练模型造成的损失值的公式包括：
151.|g2w2|
152.其中，g为所述参数的梯度，w为所述参数的权重。
153.根据本公开的一个或多个实施例，示例9提供了一种语音识别装置，包括：获取模块，用于获取包含多种语言的待识别的目标语音信号；
154.识别模块，用于通过融合各种语言的稀疏子网络的语音识别模型识别所述目标语音信号的语义；
155.所述稀疏子网络是对多语言预训练模型进行参数剪枝处理得到的，所述多语言预训练模型是根据包含所述多种语言的语音信号训练得到的。
156.根据本公开的一个或多个实施例，示例10提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理装置执行时实现前述的语音识别方法的步骤。
157.根据本公开的一个或多个实施例，示例11提供了一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现前述的语音识别方法的步骤。
158.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功
能的技术特征进行互相替换而形成的技术方案。
159.此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
160.尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。