融合外部语言知识的流式越南语语音识别方法

技术特征：
1.融合外部语言知识的流式越南语语音识别方法，其特征在于：所述方法的具体步骤如下：step1、收集越南语单语文本作为语言模型的训练预料；step2、使用收集的越南语文本语料预训练transformer语言模型；step3、将预训练transformer语言模型在训练阶段融合到流式hybrid ctc/attention语音识别模型中。2.根据权利要求1所述的融合外部语言知识的流式越南语语音识别方法，其特征在于：所述step1的具体步骤为：step1.1、使用爬虫爬取不同网站和领域的越南语单语文本，由于每个网站使用的文本编码格式不同，统一全部文本语料使用utf-8编码；step1.2、去除越南语单语文本中的乱码、数字；step1.3、根据训练要求切分越南语单语本段落，适应语言模型的训练。3.根据权利要求1所述的融合外部语言知识的流式越南语语音识别方法，其特征在于：所述step2中使用transformer-xl作为越南语语言模型。4.根据权利要求2所述的融合外部语言知识的流式越南语语音识别方法，其特征在于：所述step3的具体步骤为：step3.1、将越南语语言模型输出的p
lm
作为真实分布，transformer解码器输出的p
aed
作为理论数据分布，使用kl散度来计算transformer解码器与越南语transformer-xl语言模型的融合损失函数；实现原理如下：令l
aed-lm
损失函数等于d
kl
(p
lm
||p
aed
)并使其最小化；step3.2、在融合过后，引入了一个语言模型融合超参数α(0≤α<1)，用来调节transformer解码器l
aed
损失函数和l
aed-lm
损失函数；使联合损失函数为l
joint
，其计算过程如下：l
joint
＝(1-α)l
aed
αl
aed-lm
step3.3、训练的联合损失函数与传统hybrid ctc/attention模型损失函数类似，不同的是将attention损失函数修改为transformer解码器融合了越南语语言模型的损失函数，其计算过程如下所示：loss＝λl
ctc
(1-λ)l
joint
其中λ(0≤λ<1)参数表示ctc权重参数；l
ctc
表示hybrid ctc/attention模型ctc解码器的损失函数；step3.4、流式越南语语音识别模型最后使用loss损失函数来训练；这种训练方式能让融合损失函数l
aed-lm
在训练阶段同时优化ctc解码器和transformer解码器的参数，帮助ctc和transformer解码器联合学习到越南语语言知识从而提升流式越南语语音识别模型的识别率。5.根据权利要求1所述的融合外部语言知识的流式越南语语音识别方法，其特征在于：还包括步骤step4、用训练好的模型进行语言识别时，在解码阶段使用shallow fusion或wfst再次融合预训练好的语言模型进行语言识别。

技术总结
本发明提出融合外部语言知识的流式越南语语音识别方法，属人工智能领域。越南语为低资源语言，训练语料难以获取；流式端到端模型在训练过程中难以学习到外部大量文本中的语言知识，这些问题限制了流式越南语语音识别模型的性能。本发明以越南语音节作为语言模型和流式越南语语音识别模型的建模单元，在训练阶段，通过预训练越南语语言模型和语音识别模型解码器的输出计算一个新的损失函数，帮助流式越南语语音识别模型学习一些越南语语言知识从而优化其模型参数。在越南语数据集上，在训练阶段融合语言模型能将流式越南语语音识别模型的词错率提升2.45％。在解码阶段再次融合语言模型，还能将模型词错率分别提升1.35％和4.75％。4.75％。4.75％。


技术研发人员：高盛祥 王俊强 余正涛
受保护的技术使用者：昆明理工大学
技术研发日：2022.07.09
技术公布日：2022/8/26