一种基于私有参数的语音识别联邦学习方法和系统

技术特征：
1.一种基于私有参数的语音识别联邦学习方法，应用于中心端，其特征在于，所述方法包括：利用本地有标注语音样本进行有监督地训练语音识别模型，获得所述语音识别模型的种子模型；根据所述种子模型确定第一私有参数和第一共享参数；根据多个第二共享参数更新所述第一共享参数；所述多个第二共享参数由多个客户端上传得到；将更新后的所述第一共享参数传递至所述多个客户端中每个客户端。2.根据权利要求1所述的方法，其特征在于，所述利用本地有标注语音样本进行有监督地训练语音识别模型，包括：以有标注语音样本为输入，以第一损失函数为学习目标，对所述语音识别模型进行有监督训练，所述第一损失函数为：其中，x为所述有标注语音样本，y为所述有标注语音样本对应的文本标注，p(x)为所述有标注语音样本的分布函数，θ
t
为第t次训练迭代时的模型参数，分为第一私有参数与第一共享参数；a(
·
)为频谱数据增强函数。3.根据权利要求1的方法所述，其特征在于，所述根据所述种子模型确定第一私有参数与第一共享参数，包括：将所述种子模型中的所有归一化层的参数作为第一私有参数，其它层的参数作为第一共享参数；或将所述种子模型中的部分底层参数作为第一私有参数，其它参数作为第一共享参数。4.根据权利要求1的方法所述，其特征在于，所述根据多个第二共享参数更新所述第一共享参数，包括：根据多个客户端中每个客户端上传的参数确定平均参数值；根据所述平均参数值更新所述第一共享参数。5.一种基于私有参数的语音识别联邦学习方法，应用于客户端，其特征在于，所述方法包括：获得语音识别模型的种子模型；所述种子模型是由中心端下传的训练好的种子模型；使用本地的语音样本对所述种子模型进行半监督训练，确定第二私有参数和第二共享参数；将所述第二私有参数保留在所述客户端本地，将所述第二共享参数上传至所述中心端；根据第一共享参数更新所述语音识别模型的模型参数，得到训练好的语音识别模型，所述第一共享参数为所述中心端下传的、根据多个客户端中每个客户端的第二共享参数更新的参数。6.根据权利要求6的方法所述，其特征在于，所述使用本地的语音样本对所述种子模型进行半监督训练，包括：以所述本地的语音样本为输入，以第二损失函数为学习目标，对所述语音识别模型进
行半监督训练，所述第二损失函数为：其中，x1为所述本地的语音样本，为伪标签。7.根据权利要求6的方法所述，其特征在于，所述伪标签为：其中，为第t次训练迭代时的教师模型参数，包括第二私有参数和第二共享参数。8.根据权利要求7的方法所述，其特征在于，所述教师模型参数的取值为第t次迭代次的学生模型参数和前一次教师模型参数的指数滑动平均值：其中，模型参数为第t次训练迭代时的学生模型参数，α为衰减系数。9.一种基于私有参数的语音识别联邦学习系统，其特征在于，所述系统包括：中心端，用于利用本地有标注语音样本进行有监督地训练语音识别模型，获得所述语音识别模型的种子模型；根据所述种子模型确定第一私有参数与第一共享参数；根据多个第二共享参数更新所述第一共享参数；所述多个第二共享参数由多个客户端上传得到；将更新后的所述第一共享参数传递至所述多个客户端中每个客户端；多个客户端，所述多个客户端中的每一个客户端用于获得语音识别模型的种子模型；所述种子模型是由中心端下传的训练好的种子模型；使用本地的语音样本对所述种子模型进行半监督训练，确定第二私有参数与第二共享参数；将所述第二私有参数保留在客户端本地，将所述第二共享参数上传至所述中心端；根据第一共享参数更新所述语音识别模型的模型参数，得到训练好的语音识别模型，所述第一共享参数为所述中心端下传的、根据多个客户端中每个客户端的第二共享参数更新的参数。

技术总结
本申请涉及一种基于私有参数的语音识别联邦学习方法和系统，应用于中心端和多个客户端，在所述中心端，所述方法包括：利用本地有标注语音样本进行有监督地训练语音识别模型，获得所述语音识别模型的种子模型；根据所述种子模型确定第一私有参数和第一共享参数；根据多个第二共享参数更新所述第一共享参数；所述多个第二共享参数由多个客户端上传得到；将更新后的所述第一共享参数传递至所述多个客户端中每个客户端。本申请实施例利用模型中的私有参数实现对每个客户端的个性化建模，从而可以通过一次训练产生针对多个客户端的个性化语音识别模型，有效提升语音识别模型在每个客户端的性能。端的性能。端的性能。


技术研发人员：程高峰 张鹏远 朱涵 颜永红
受保护的技术使用者：中国科学院声学研究所
技术研发日：2022.03.30
技术公布日：2022/7/21