融合外部语言知识的流式越南语语音识别方法

1.本发明涉及人工智能领域，提出了融合外部语言知识的流式越南语语音识别方法。


背景技术：

2.近年来，虽然端到端语音识别受到了广泛关注，但目前针对越南语语音识别研究还比较少。nguyen等人构建了500小时的越南语数据集并使用tdnn和blstm神经网络构建声学模型，在解码阶段融合了4元语言模型。为了提升模型性能，它将4元语言模型替换为rnn语言模型，在3小时测试集数据上进行测试，词错率达到6.9％。nguyen和huy使用ctc损失函数将tdnn和blstm模型结合一起联合训练越南语语音识别模型，在fpt测试数据集上，词错率达到14.41％。刘佳文提出了一种基于transformer模型的越南语语音识模型，在vivos数据集上，字符错率达到40.4％。espnet基于不同的transducer模型在vivos数据集上做了不同实验，rnn-t词错率达到36.6％，conformer/rnn-t词错率达到26％。为了提升模型识别率，这些模型都在解码阶段融合了语言模型，但在解码阶段融合语言模型只能影响模型的识别结果，并不能利用语言模型来优化语音识别模型的参数。因此，本发明在流式越南语语音识别模型的训练阶段和解码阶段都融合了语言模型。在训练阶段融合语言模型可以帮助流式语音识别模型学习一些越南语语言知识优化其模型参数。


技术实现要素：

3.本发明提供了一种融合外部语言知识的流式越南语语音识别方法，首次在训练阶段将越南语语言模型融合到流式越南语语音识别模型中，提升了流式越南语语音识别模型的识别率。
4.本发明的技术方案是：融合外部语言知识的流式越南语语音识别方法，所述方法的具体步骤如下：
5.step1、收集越南语单语文本作为语言模型的训练预料；
6.step2、使用收集的越南语文本语料预训练transformer语言模型；
7.step3、将预训练transformer语言模型在训练阶段融合到流式hybrid ctc/attention语音识别模型中。
8.作为本发明的进一步方案，所述step1的具体步骤为：
9.step1.1、使用爬虫爬取不同网站和领域的越南语单语文本，由于每个网站使用的文本编码格式不同，统一全部文本语料使用utf-8编码；
10.step1.2、去除越南语单语文本中的乱码、数字；
11.step1.3、根据训练要求切分越南语单语本段落，适应语言模型的训练。
12.作为本发明的进一步方案，所述step2中使用transformer-xl作为越南语语言模型，解决越南语音节长期依赖和位置编码丢失的问题，从而使越南语语言模型更好地表征越南语语言知识，在融合过程中能让语音识别模型从越南语语言模型学习到越南语语言知
识，从而提升语音识别模型的识别率。
13.作为本发明的进一步方案，所述step3的具体步骤为：
14.step3.1、将越南语语言模型输出的p
lm
作为真实分布，transformer解码器输出的p
aed
作为理论数据分布，使用kl散度来计算transformer解码器与越南语transformer-xl语言模型的融合损失函数；实现原理如下：
[0015][0016]
令l
aed-lm
损失函数等于d
kl
(p
lm
||p
aed
)并使其最小化；
[0017]
step3.2、在融合过后，引入了一个语言模型融合超参数α(0≤α《1)，用来调节transformer解码器l
aed
损失函数和l
aed-lm
损失函数；使联合损失函数为l
joint
，其计算过程如下：
[0018]
l
joint
＝(1-α)l
aed
αl
aed-lm
[0019]
step3.3、训练的联合损失函数与传统hybrid ctc/attention模型损失函数类似，不同的是将attention损失函数修改为transformer解码器融合了越南语语言模型的损失函数，其计算过程如下所示：
[0020]
loss＝λl
ctc
(1-λ)l
joint
[0021]
其中λ(0≤λ《1)参数表示ctc权重参数；l
ctc
表示hybrid ctc/attention模型ctc解码器的损失函数；
[0022]
step3.4、流式越南语语音识别模型最后使用loss损失函数来训练；这种训练方式能让融合损失函数l
aed-lm
在训练阶段同时优化ctc解码器和transformer解码器的参数，帮助ctc和transformer解码器联合学习到越南语语言知识从而提升流式越南语语音识别模型的识别率。
[0023]
作为本发明的进一步方案，还包括步骤step4、用训练好的模型进行语言识别时，在解码阶段使用shallow fusion或wfst再次融合预训练好的语言模型进行语言识别。
[0024]
本发明的有益效果是：本发明以越南语音节作为语言模型和流式越南语语音识别模型的建模单元，在训练阶段，通过预训练越南语语言模型和语音识别模型解码器的输出计算一个新的损失函数，帮助流式越南语语音识别模型学习一些越南语语言知识从而优化其模型参数。在越南语vivos数据集上，在训练阶段融合语言模型可以将流式越南语语音识别模型的词错率提升2.45％。在解码阶段使用shallow fusion或wfst再次融合语言模型，还可以将模型词错率分别提升1.35％和4.75％。
附图说明
[0025]
图1为本发明中的融合外部语言知识的流式越南语语音识别方法架构图；
[0026]
图2为本发明中的越南语语言模型和transformer解码器的输出概率分布。
具体实施方式
[0027]
实施例1：如图1-图2所示，融合外部语言知识的流式越南语语音识别方法，所述方法的具体步骤如下：
[0028]
step1、收集越南语单语文本作为语言模型的训练预料；
[0029]
step2、使用收集的越南语文本语料预训练transformer语言模型；
[0030]
step3、将预训练transformer语言模型在训练阶段融合到流式hybrid ctc/attention语音识别模型中。
[0031]
作为本发明的进一步方案，所述step1的具体步骤为：
[0032]
step1.1、使用爬虫爬取不同网站和领域的越南语单语文本，由于每个网站使用的文本编码格式不同，统一全部文本语料使用utf-8编码；
[0033]
step1.2、去除越南语单语文本中的乱码、数字；
[0034]
step1.3、根据训练要求切分越南语单语本段落，适应语言模型的训练。
[0035]
作为本发明的进一步方案，所述step2中使用transformer-xl作为越南语语言模型。
[0036]
作为本发明的进一步方案，所述step3的具体步骤为：
[0037]
step3.1、将越南语语言模型输出的p
lm
作为真实分布，transformer解码器输出的p
aed
作为理论数据分布，如图2所示，使用kl散度来计算transformer解码器与越南语transformer-xl语言模型的融合损失函数；实现原理如下：
[0038][0039]
令l
aed-lm
损失函数等于d
kl
(p
lm
||p
aed
)并使其最小化；
[0040]
step3.2、在融合过后，引入了一个语言模型融合超参数α(0≤α《1)，用来调节transformer解码器l
aed
损失函数和l
aed-lm
损失函数；使联合损失函数为l
joint
，其计算过程如下：
[0041]
l
joint
＝(1-α)l
aed
αl
aed-[0042]
step3.3、训练的联合损失函数与传统hybrid ctc/attention模型损失函数类似，不同的是将attention损失函数修改为transformer解码器融合了越南语语言模型的损失函数，其计算过程如下所示：
[0043]
loss＝λl
ctc
(1-λ)l
joint
[0044]
其中λ(0≤λ《1)参数表示ctc权重参数；l
ctc
表示hybrid ctc/attention模型ctc解码器的损失函数；
[0045]
step3.4、流式越南语语音识别模型最后使用loss损失函数来训练；这种训练方式能让融合损失函数l
aed-lm
在训练阶段同时优化ctc解码器和transformer解码器的参数，帮助ctc和transformer解码器联合学习到越南语语言知识从而提升流式越南语语音识别模型的识别率。
[0046]
作为本发明的进一步方案，还包括步骤step4、用训练好的模型进行语言识别时，在解码阶段使用shallow fusion或wfst再次融合预训练好的语言模型进行语言识别。
[0047]
为了说明本发明的效果，本发明进行了如下实验：实验在开源越南语数据集vivos上进行。使用adam优化器，学习率设置为0.002，学习率预热设置为25000步；使用标签平滑技术来计算损失函数，标签平滑率设置为0.1。通过调整ctc权重超参数λ和融合语言模型权重参数α来控制越南语语言模型对流式越南语语音识别模型的影响。所有实验均在一张nvidia tesla t4上完成训练。
[0048]
实验一：为了验证本发明提出的方法对流式越南语语音识别模型性能有提升，本
发明将流式越南语语音识别模型的ctc超参数λ和语言模型融合超参数α分别设置为不同的值，对比在训练阶段融合语言模型前后和不同超参数对流式端到端越南语语音识别模型性能的影响，实验结果见表1和表2。
[0049]
表1：当ctc权重为0.3时，融合语言模型权重参数α对流式越南语语音识别模型的影响
[0050][0051][0052]
表2：当ctc权重为0.5时，融合语言模型权重参数α对流式越南语语音识别模型的影响
[0053][0054]
实验结果数据显示，当ctc权重参数设置为0.3时，在不融合语言模型(融合语言模型权重参数α为0)的情况下，流式越南语语音识别模型词错率为31.03％(baseline)。当以0.3的权重融合语言模型时，性能有明显提升，词错率达到了28.58％。但当语言模型融合权重设置为0.5时，性能相比基线模型有一定下降。当语言模型融合权重设置为0.7时，性能相比基线模型又有一定提升，达到29.15％。当ctc权重参数设置为0.5时，在不融合语言模型的情况下，流式越南语语音识别模型词错率为30.30％(baseline)。当语言模型融合权重参数分别设置为0.3/0.5/0.7时，流式越南语语音识别模型的识别性能相比基线模型都有所提升，但语言模型融合权重参数对流式越南语语音识别模型的识别词错率影响不怎么明显，词错率保持在29％左右。
[0055]
当ctc权重参数为0.3，语言模型融合权重参数为0.5时，性能相比基线模型有一定下降。主要是因为当语言模型融合权重设置为0.5时，解码器和语言模型的输出比重相同，语音识别模型不能抉择解码器和越南语语言模型输出的重要性，从而导致模型混乱，识别性能下降。但是当语言模型融合权重设置为其他值时，性能相比基线模型都有一定提升。这说明了流式越南语语音识别模型可以从越南语语言模型中学习到越南语语言知识从而优化其模型参数，达到识别性能提升的效果。
[0056]
实验二：为了验证融合越南语语言模型对流式越南语语音识别模型识别结果的影响，本次实验将ctc权重参数设置为0.3，语言模型融合权重参数分别设置为0/0.3，针对一个句子进行识别结果分析，实验结果见表3。
[0057]
表3：融合语言模型对流式越南语语音识别结果的影响
[0058][0059]
实验结果表明，融合了语言模型的流式越南语语音识别模型识别结果完全正确，而未融合语言模型的流式越南语语音识别模型识别词错率为18.18％。
[0060]
未融合语言模型的流式越南语语音识别模型识别错了两个音节和l
à
，主要原因是和l
à
和音节的发音非常相似，提取出来的语音特征也非常接近，从而导致语音识别模型不能辨别。而融合了越南语语言模型的流式越南语语音识别模型可以学习到和可以组成一个词，而和l
à
不能组成词，从而和的输出概率高于和l
à
，因此流式越南语语音识别模型选择，因此流式越南语语音识别模型选择和输出。
[0061]
实验结果表明，在训练阶段融合语言模型确实可以纠正一些流式越南语语音识别模型将越南语音节识别错误的情况。
[0062]
实验三：为了验证二次融合语言模型对流式越南语语音识别模型识别率的影响。本发明在解码阶段使用shallow fusion和wfst方法分别对transformer-xl语言模型和3元语言模型进行融合。实验结果如表4和表5所示。
[0063]
表4：使用shallow fusion融合方法对流式越南语模型性能的影响
[0064][0065]
表5：使用wfst融合方法对流式越南语模型性能的影响
[0066][0067]
实验数据结果显示，在训练阶段融合语言模型后，在解码阶段使用shallow fusion方法再次融合transformer语言模型还可以将模型的识别率提升1.35％；在训练阶段融合语言模型后，在解码阶段使用wfst融合3元语言模型，性能达到最佳23.83％，其识别率相对于基线模型使用wfst提升了0.49％。
[0068]
虽然使用shallow fusion或wfst方法进行解码，模型识别率会有所差距，但实验数据结果显示，在训练阶段融合语言模型后，在解码阶段再次融合语言模型确实可以进一步提升流式越南语语音识别模型的识别率。同时，在训练阶段和解码阶段都融合语言模型，模型的识别率要明显高于在解码阶段单独融合语言模型的识别率。
[0069]
实验四：对比实验。本次实验对比了本发明使用的流式模型和espnet使用rnn-t、conformer/rnn-t模型在vivos测试数据集上的结果。实验结果如表6所示。
[0070]
表6：和其他模型识别效果对比
[0071][0072][0073]
实验结果数据显示，本发明使用的流式模型词错率达到23.83％，rnn-t和conformer/rnn-t模型的词错率分别为36.6％和26.0％。
[0074]
本发明在训练阶段融合语言模型后，再使用wfst在解码阶段融合3元语言模型的识别率达到最佳。其主要原因是本发明同时在训练阶段和解码阶段都融合了语言模型。在训练阶段融合语言模型可以优化模型的参数；在解码阶段融合语言模型可以纠正语音识别模型识别结果。而espnet仅在解码阶段融合了语言模型，只影响了语音识别模型的识别结果，并不能优化模型的参数。
[0075]
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。