一种基于循环神经网络语言模型的在线语音识别方法和系统与流程

1.本发明提出了一种基于循环神经网络语言模型的在线语音识别方法和系统，属于语音识别技术领域。


背景技术：

2.目前基于rnn的语言模型主要用于对传统asr识别得到的n
‑
best或者lattice做重新打分(rescore)，也就是说需要两个阶段，第一阶段是使用传统asr系统做语音识别，第二阶段是使用rnn语言模型对第一阶段获得的识别结果做重新打分。因此rnn语言模型只用于离线语音识别系统，无法用于在线语音识别系统。


技术实现要素：

3.本发明提供了一种基于循环神经网络语言模型的在线语音识别方法和系统，用以解决现有rnn语言模型无法应用于在先语音识别中的问题，所采取的技术方案如下：
4.一种基于循环神经网络语言模型的在线语音识别方法和系统，所述方法包括：
5.针对原始音频进行特征提取，获得完成特征提取的语音音频；
6.将所述语音音频输入至声学模型中进行打分，获得声学模型得分；
7.将重新打分后的语音音频输入至wfst和rnn语音模型中进行解码并重新打分，获得解码后的语音音频；
8.将解码后的语音音频作为识别结果进行输出。
9.进一步地，将重新打分后的语音音频输入至wfst和rnn语音模型中进行解码并重新打分包括：
10.利用多元文法构建wfst模型；
11.将所述完成特征提取的语音音频输入至所述wfst模型中进行解码，获得若干条最优词串信息，并将所述若干条最优词串信息保留在当前帧，形成历史词信息；
12.利用rnn语音模型所有历史词信息进行重新打分。
13.进一步地，所述wfst模型进行解码的过程为按照时间顺序一帧一帧向前计算搜索。
14.进一步地，利用rnn语音模型所有历史词信息进行重新打分，包括：
15.利用神经网络对所述打分后的语音音频进行向前计算，获得向前计算后的语音音频；
16.利用将向前计算后的语音音频输入至rnn语音模型中；
17.所述rnn语音模型利用延迟打分策略，通过解码器根据实时的幸存路径和解码参数确定重新打分的时机；
18.在到达重新打分的时机时，立即对语音音频进行重新打分。
19.一种基于循环神经网络语言模型的在线语音识别系统，所述系统包括：
20.提取模块，用于针对原始音频进行特征提取，获得完成特征提取的语音音频；
21.打分模块，用于将所述语音音频输入至声学模型中进行打分，获得声学模型得分；
22.重新打分模块，用于将重新打分后的语音音频输入至wfst和rnn语音模型中进行解码并重新打分，获得解码后的语音音频；
23.将解码后的语音音频作为识别结果进行输出。
24.进一步地，所述重新打分模块包括：
25.构建模块，用于利用多元文法构建wfst模型；
26.解码模块，用于将所述完成特征提取的语音音频输入至所述wfst模型中进行解码，获得若干条最优词串信息，并将所述若干条最优词串信息保留在当前帧，形成历史词信息；
27.重新打分子模块，用于利用rnn语音模型所有历史词信息进行重新打分。
28.进一步地，所述wfst模型进行解码的过程为按照时间顺序一帧一帧向前计算搜索。
29.进一步地，所述重新打分子模块包括：
30.向前计算模块，用于利用神经网络对所述打分后的语音音频进行向前计算，获得向前计算后的语音音频；
31.输入模块，用于利用将向前计算后的语音音频输入至rnn语音模型中；
32.解码打分模块，用于所述rnn语音模型利用延迟打分策略，通过解码器根据实时的幸存路径和解码参数确定重新打分的时机；
33.打分子模块，用于在到达重新打分的时机时，立即对语音音频进行重新打分。
34.进一步地，所述系统还包括：
35.批量处理模块，用于当在同一重新打分的时机时，存在多条路径的语音音频需要进行重新打分时，采用gpu芯片通过高并行处理方式，对多条路径的语音音频进行批量重新打分处理。
36.本发明有益效果：
37.本发明提出了一种基于循环神经网络语言模型的在线语音识别方法和系统能够使rnnr语音模型应用于在线语音识别系统中，并且能够有效提高在线语音识别的准确性和识别效率。同时，本发明提出一种基于rnn语言模型的在线语音识别系统，充分利用rnn语言模型的优势，取得了比传统基于多元文法语言模型在线语音识别系统更好的效果。
附图说明
38.图1为本发明所述方法的原理图；
39.图2为本发明所述方法的流程图；
40.图3为本发明所述系统的系统框图。
具体实施方式
41.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
42.本发明实施例提出了一种基于循环神经网络语言模型的在线语音识别方法和系统，如图1和图2所示，所述方法包括：
43.s1、针对原始音频进行特征提取，获得完成特征提取的语音音频；
44.s2、将所述语音音频输入至声学模型中进行打分，获得声学模型得分；
45.s3、将重新打分后的语音音频输入至wfst和rnn语音模型中进行解码并重新打分，获得解码后的语音音频；
46.s4、将解码后的语音音频作为识别结果进行输出。
47.其中，将重新打分后的语音音频输入至wfst和rnn语音模型中进行解码并重新打分包括：
48.s301、利用多元文法构建wfst模型；
49.s302、将所述完成特征提取的语音音频输入至所述wfst模型中进行解码，获得若干条最优词串信息，并将所述若干条最优词串信息保留在当前帧，形成历史词信息；
50.s303、利用rnn语音模型所有历史词信息进行重新打分。
51.其中，所述wfst模型进行解码的过程为按照时间顺序一帧一帧向前计算搜索。
52.利用rnn语音模型所有历史词信息进行重新打分，包括：
53.s3031、利用神经网络对所述打分后的语音音频进行向前计算，获得向前计算后的语音音频；
54.s3032、利用将向前计算后的语音音频输入至rnn语音模型中；
55.s3033、所述rnn语音模型利用延迟打分策略，通过解码器根据实时的幸存路径和解码参数确定重新打分的时机；
56.s3034、在到达重新打分的时机时，立即对语音音频进行重新打分。
57.上述技术方案的效果为：本实施例提出了一种基于循环神经网络语言模型的在线语音识别方法能够使rnnr语音模型应用于在线语音识别系统中，并且能够有效提高在线语音识别的准确性和识别效率。同时，本发明提出一种基于rnn语言模型的在线语音识别方法，充分利用rnn语言模型的优势，取得了比传统基于多元文法语言模型在线语音识别方法更好的效果。
58.本发明实施例提出了一种基于循环神经网络语言模型的在线语音识别系统，如图3所示，所述系统包括：
59.提取模块，用于针对原始音频进行特征提取，获得完成特征提取的语音音频；
60.打分模块，用于将所述语音音频输入至声学模型中进行打分，获得声学模型得分；
61.重新打分模块，用于将重新打分后的语音音频输入至wfst和rnn语音模型中进行解码并重新打分，获得解码后的语音音频；
62.将解码后的语音音频作为识别结果进行输出。
63.其中，所述重新打分模块包括：
64.构建模块，用于利用多元文法构建wfst模型；
65.解码模块，用于将所述完成特征提取的语音音频输入至所述wfst模型中进行解码，获得若干条最优词串信息，并将所述若干条最优词串信息保留在当前帧，形成历史词信息；
66.重新打分子模块，用于利用rnn语音模型所有历史词信息进行重新打分。
67.所述wfst模型进行解码的过程为按照时间顺序一帧一帧向前计算搜索。
68.其中，所述重新打分子模块包括：
69.向前计算模块，用于利用神经网络对所述打分后的语音音频进行向前计算，获得向前计算后的语音音频；
70.输入模块，用于利用将向前计算后的语音音频输入至rnn语音模型中；
71.解码打分模块，用于所述rnn语音模型利用延迟打分策略，通过解码器根据实时的幸存路径和解码参数确定重新打分的时机；
72.打分子模块，用于在到达重新打分的时机时，立即对语音音频进行重新打分。
73.所述系统还包括：
74.批量处理模块，用于当在同一重新打分的时机时，存在多条路径的语音音频需要进行重新打分时，采用gpu芯片通过高并行处理方式，对多条路径的语音音频进行批量重新打分处理
75.上述技术方案的效果为：本实施例提出了一种基于循环神经网络语言模型的在线语音识别系统能够使rnnr语音模型应用于在线语音识别系统中，并且能够有效提高在线语音识别的准确性和识别效率。同时，本发明提出一种基于rnn语言模型的在线语音识别系统，充分利用rnn语言模型的优势，取得了比传统基于多元文法语言模型在线语音识别系统更好的效果。
76.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。