元对抗学习提升多语言预训练与低资源语音识别的方法与流程

技术特征：
1.元对抗学习提升多语言预训练与低资源语音识别的方法，采用ctc-注意力联合的端到端语音识别网络架构，其特征在于，在端到端语音识别网络架构中的编码器的输出端添加语言识别器，在元学习外循环中利用所述语言识别器与更新的语音识别模型对抗，引导更新的语音识别模型产生与语言无关的表征，缩小不同语言在语义空间中的差距；所述语言识别器由浅层至深层依次包括第一linear层、第一relu层、第二linear层、第二relu层、第三linear层和softmax层。2.根据权利要求1所述的元对抗学习提升多语言预训练与低资源语音识别的方法，其特征在于，所述编码器的输出端和所述语言识别器之间还包括梯度反转层。3.根据权利要求1所述的元对抗学习提升多语言预训练与低资源语音识别的方法，其特征在于，采用公式(5)作为整体的损失函数：minl＝min(l
asr-μl
adv
)
ꢀꢀ
(5)其中，l
asr
表示语音识别损失，l
adv
表示语言识别损失，μ为语言识别损失的比重。4.根据权利要求1至3任一所述的元对抗学习提升多语言预训练与低资源语音识别的方法，其特征在于，具体包括：步骤1：初始化语音识别模型f
θ
，输入原始语音特征序列(x1,x2,...,x
t
)；步骤2：针对从多语言数据集中抽取的任务t
i
，将所述任务t
i
分为支持集和查询集和查询集表示第i种源语言数据；步骤3：计算任务t
i
的asr损失，使用梯度下降得到在支持集上更新后的参数θ
i
；步骤4：使用在支持集上更新后的参数θ
i
在查询集上计算语音识别查询损失与语言识别查询损失步骤5：重复n次步骤2至步骤4，计算得到n个任务对应的语音查询损失和语言识别查询损失；步骤6：根据n个任务对应的语音识别查询损失和语言识别查询损失更新解码器和ctc模块参数θ
ctc-att
、编码器参数θ
enc
和语言识别器参数步骤7：重复步骤2至步骤6，直至更新后的解码器和ctc模块参数θ
ctc-att
、编码器参数θ
enc
满足给定要求。5.根据权利要求4所述的元对抗学习提升多语言预训练与低资源语音识别的方法，其特征在于，步骤6中，采用公式(6)更新解码器和ctc模块参数θ
ctc-att
：其中，β表示元学习外循环的学习率。6.根据权利要求4所述的元对抗学习提升多语言预训练与低资源语音识别的方法，其特征在于，步骤6中，采用公式(7)更新编码器参数θ
enc
：其中，表示语言识别器，β表示元学习外循环的学习率。7.根据权利要求4所述的元对抗学习提升多语言预训练与低资源语音识别的方法，其
特征在于，步骤6中，采用公式(8)语言识别器参数特征在于，步骤6中，采用公式(8)语言识别器参数其中，表示语言识别器，β表示元学习外循环的学习率。8.根据权利要求4所述的元对抗学习提升多语言预训练与低资源语音识别的方法，其特征在于，将语言识别器的输出描述为向量x，x∈ω
b
×
t
×
n
，其中b表示是批量大小，t表示原始语音特征序列长度，n表示语言的数量；对时间维度进行求和，并计算z'＝e(x),z'∈ω
b
×
n
，然后把softmax加到z'中，得到y',y'＝(y
′0,y
′1,...,y
′
n-1
)，∑y
′
j
＝1，最后将语言识别损失表示为：其中，z'表示对输出向量x时间维度求平均后的结果，是语音在语言识别器的输出结果，e(
·
)表示求期望，y'表示预测概率。9.根据权利要求8所述的元对抗学习提升多语言预训练与低资源语音识别的方法，其特征在于，采用log_softmax对时间维度进行归一化，将归一化过程描述为z'＝e(log_softmax(x)),z'∈ω
b
×
n
，最后将语言识别损失表示为：

技术总结
本发明提供一种元对抗学习提升多语言预训练与低资源语音识别的方法，采用CTC-注意力联合的端到端语音识别网络架构，在端到端语音识别网络架构中的编码器的输出端添加语言识别器，在元学习外循环中利用所述语言识别器与更新的语音识别模型对抗，引导更新的语音识别模型产生与语言无关的表征，缩小不同语言在语义空间中的差距；所述语言识别器由浅层至深层依次包括第一Linear层、第一Relu层、第二Linear层、第二Relu层、第三Linear层和softmax层。本发明可以解决不同语言数据规模与难度差异大导致ASR模型容易对一些语言产生倾向性以及不容易学习多种语言之间的共享语义空间的问题。问题。问题。


技术研发人员：屈丹 陈雅淇 杨绪魁 张昊 张文林 何振华
受保护的技术使用者：郑州信大先进技术研究院
技术研发日：2022.08.15
技术公布日：2022/11/29