一种语音识别方法、装置、设备及计算机可读存储介质与流程

1.本申请涉及语音识别技术领域，尤其涉及一种语音识别方法、装置、设备及计算机可读存储介质。


背景技术：

2.语音识别技术为将语音信号转变为相应文本的技术。目前的语音识别方案通常为基于语音识别模型的识别方案，在过去的这几年里，基于注意力机制的端到端的语音识别模型引发了广泛的关注，在语音识别任务中，基于注意力机制的端到端的语音识别模型用一个单一的神经网络取代了传统的声学模型、发音模型、语言模型组合，并且能够通过统一目标进行优化。
3.基于注意力机制的端到端的语音识别模型虽然得到广泛应用，但也有一些问题随之而来。在问答场景中，用户对一些关键词较为关注，希望根据语音识别模型能够准确识别出语音中的关键词，然而，由于问答场景中的关键词通常为低频词，而训练数据集中包含关键词的训练数据较少，因此，根据训练得到的语音识别模型对问答场景中的语音进行识别时，对于关键词的识别效果不佳。


技术实现要素：

4.有鉴于此，本申请提供了一种语音识别方法、装置、设备及计算机可读存储介质，用以解决现有技术中的语音识别方案对问答场景中关键词的识别效果不佳的问题，其技术方案如下：
5.一种语音识别方法，包括：
6.根据待识别的目标语音和目标关键词，确定当前解码时刻的第一上下文向量，其中，所述目标语音为针对目标问题的作答语音，所述目标关键词为所述目标问题中包含的关键词，和/或所述目标问题对应的标准答案中包含的关键词；
7.根据所述目标问题和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量；
8.根据当前解码时刻的第二上下文向量，确定当前解码时刻的识别结果。
9.可选的，所述根据待识别的目标语音以及目标关键词，确定当前解码时刻的第一上下文向量，根据所述目标问题和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量，根据当前解码时刻的第二上下文向量，确定当前解码时刻的识别结果，包括：
10.利用预先训练得到的语音识别模型处理所述目标语音、所述目标关键词和所述目标问题，得到所述语音识别模型输出的所述目标语音的识别结果，其中，所述语音识别模型采用训练语音、所述训练语音对应的标注文本，同时辅以对应的关键词和问题训练得到。
11.可选的，所述语音识别模型包括：语音编码器、关键词编码器、问题编码器、注意力模块和解码器；
12.所述语音编码器对所述目标语音中各语音帧分别对应的语音特征进行编码，得到所述目标语音中各语音帧分别对应的特征向量；
13.所述关键词编码器对所述目标关键词进行编码，得到所述目标关键词对应的特征向量；
14.所述问题编码器对所述目标问题进行编码，得到所述目标问题对应的特征向量；
15.所述注意力模块根据所述目标语音中各语音帧分别对应的特征向量和所述目标关键词对应的特征向量，确定当前解码时刻的第一上下文向量，根据所述目标问题对应的特征向量和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量；
16.所述解码器根据当前解码时刻的第二上下文向量，确定当前解码时刻的识别结果。
17.可选的，所述注意力模块根据所述目标语音中各语音帧分别对应的特征向量和所述目标关键词对应的特征向量，确定当前解码时刻的第一上下文向量，包括：
18.所述注意力模块根据所述目标语音中各语音帧分别对应的特征向量、所述目标关键词对应的特征向量以及所述解码器在前一解码时刻的隐层输出向量，确定所述目标语音中各语音帧分别对应的权重；
19.所述注意力模块按所述目标语音中各语音帧分别对应的权重，对所述目标语音中各语音帧分别对应的特征向量加权求和，加权求和后得到的向量作为当前解码时刻的第一上下文向量。
20.可选的，所述注意力模块根据所述目标问题对应的特征向量和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量，包括：
21.所述注意力模块将所述目标问题对应的特征向量与当前解码时刻的第一上下文向量进行融合，得到同时包含有所述目标问题的信息和所述目标关键词的信息的融合向量；
22.所述注意力模块根据所述融合向量、所述目标语音中各语音帧分别对应的特征向量，确定当前解码时刻的第二上下文向量。
23.可选的，所述注意力模块根据所述融合向量、所述目标语音中各语音帧分别对应的特征向量，确定当前解码时刻的第二上下文向量，包括：
24.所述注意力模块根据所述融合向量，从所述目标语音中各语音帧分别对应的特征向量中提取与当前解码时刻相关的特征向量；
25.所述注意力模块根据从所述目标语音中各语音帧分别对应的特征向量中提取出的特征向量，确定所述目标语音中各语音帧分别对应的权重；
26.所述注意力模块按所述目标语音中各语音帧分别对应的权重，对所述目标语音中各语音帧分别对应的特征向量加权求和，加权求和后得到的向量作为当前解码时刻的第二上下文向量。
27.可选的，所述解码器根据当前解码时刻的第二上下文向量确定当前解码时刻的识别结果，包括：
28.所述解码器根据当前解码时刻的第二上下文向量、所述目标问题对应的特征向量以及前一解码时刻的识别结果的表征向量，确定当前解码时刻的识别结果。
29.一种语音识别装置，包括：第一上下文向量确定模块、第二上下文向量确定模块和
识别结果确定模块；
30.所述第一上下文向量确定模块，用于根据待识别的目标语音和目标关键词，确定当前解码时刻的第一上下文向量，其中，所述目标语音为针对目标问题的作答语音，所述目标关键词为所述目标问题对应的标准答案中包含的关键词；
31.所述第二上下文向量确定模块，用于根据所述目标问题和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量；
32.所述识别结果确定模块，用于根据当前解码时刻的第二上下文向量，确定当前解码时刻的识别结果。
33.一种语音识别设备，包括：存储器和处理器；
34.所述存储器，用于存储程序；
35.所述处理器，用于执行所述程序，实现上述任一项所述的语音识别方法的各个步骤。
36.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项所述的语音识别方法的各个步骤。
37.经由上述方案可知，本申请提供的语音识别方法、装置、设备及计算机可读存储介质，首先根据待识别的目标语音和目标关键词，确定当前解码时刻的第一上下文向量，即本申请首先结合目标关键词确定与当前解码时刻相关的第一上下文向量，然后根据目标问题和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量，考虑到关键词与问题相关，在获得当前解码时刻的第二上下文向量后，本申请结合目标问题和第一上下文向量，确定当前解码时刻解码所需的上下文向量，最后根据当前解码时刻的第二上下文向量，确定当前解码时刻的识别结果。本申请提供的语音识别方法在确定当前解码时刻解码所需的上下文向量时，由于结合了目标关键词以及与目标关键词有关的目标问题，因此，基于确定出的上下文向量能够较为准确地识别出目标语音中的关键词，本申请提供的语音识别方法相比于现有的语音识别方案，提升了关键词的识别效果，用户体验较好。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
39.图1为本申请实施例提供的语音识别方法的流程示意图；
40.图2为本申请实施例提供的语音识别模型的一结构示意图；
41.图3为本申请实施例提供的图2中语音识别模型进行语音识别的流程示意图；
42.图4为本申请实施例提供的语音识别装置的结构示意图；
43.图5为本申请实施例提供的语音识别设备的结构示意图。
具体实施方式
44.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。根据
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.在问答场景中，用户对于关键词的关注度较高，比如，在问答考试场景中，需要考生听一段对话回答问题，正确答案有多种表达形式，但都必须包含关键词，或者，对话中存在多个关键词，正确答案可能包含其一或不在其中，抑或是听一篇短文，然后让考生复述短文内容，此时短文中的关键词就显得尤为重要。
46.由于现有的端到端的语音识别模型为一体化建模，通常需要海量的训练数据来训练模型，以保证模型的泛化性，这虽然保证了模型的整体效果，但也带来了一个问题，那就是，训练得到的语音识别模型对于低频词(上述的关键词)的识别效果不佳。
47.为了能够提升对于特定场景中关键词的识别效果，本案发明人进行了研究，起初的思路是：对于关键词，在解码过程中进行额外的激励，然而，经研究发现，一方面，即使在解码过程中对关键词给与了额外的激励，仍然很容易被裁剪掉，另一方面，为了确保误触发率可控，激励得分不宜设置过大，上述两个方面使得，在解码过程中对关键词进行额外的激励，对于关键词识别效果的提升不尽人意。
48.鉴于上述思路存在的问题，本案发明人试图摒弃上述进行激励的方式，从其他角度入手来提升对于特定场景中关键词的识别效果，为此，进行了深入研究，通过研究，最终提出了一种能够显著提升对关键词的识别效果的语音识别方法，该方法的基本思路是：
49.对待识别语音对应的特征向量与关键词所对应的特征向量进行注意力计算，以得到第一上下文向量，然后对待识别语音对应的问题所对应的特征向量与第一上下文向量进行注意力计算，以得到第二上下文向量，最后根据第二上下文向量确定识别结果。
50.本申请提供的语音识别方法可应用于具有处理能力的电子设备，该电子设备可以为网络侧的服务器，也可以为用户侧使用的终端，比如pc、笔记本、智能手机、车载终端、智能家居设备等，网络侧的服务器或用户侧使用的终端可按本申请提供的语音识别方法对用户的语音进行识别。
51.接下来，通过下述实施例对本申请提供的语音识别方法进行介绍。
52.第一实施例
53.请参阅图1，示出了本申请实施例提供的语音识别方法的流程示意图，该方法可以包括：
54.步骤s101：根据待识别的目标语音和目标关键词，确定当前解码时刻的第一上下文向量。
55.其中，目标语音为目标问答场景中针对目标问题的作答语音。
56.其中，目标关键词可以为一个也可以为多个，目标关键词可以为目标问题中包含的关键词，也可以为目标问题对应的标准答案中包含的关键词，还可以为目标问题中包含的关键词以及目标问题对应的标准答案中包含的关键词。需要说明的是，目标关键词的来源可根据具体情况确定。
57.具体的，根据待识别的目标语音和目标关键词，确定当前解码时刻的第一上下文向量的过程可以包括：
58.步骤s1011a、获取目标语音中各语音帧分别对应的语音特征，对目标语音中各语音帧分别对应的语音特征进行编码，得到目标语音中各语音帧分别对应的特征向量。
59.其中，目标语音中一语音帧对应的语音特征可以为filterbank特征、plp特征、mfcc特征、filterbank特征等中的任一种。
60.步骤s1011b、对目标关键词进行编码，得到目标关键词对应的特征向量。
61.上述内容提及，目标关键词可以为一个，也可以为多个，若目标关键词为多个，则对多个目标关键词分别进行编码，以得到多个目标关键词分别对应的特征向量。
62.步骤s1012、根据目标语音中各语音帧分别对应的特征向量和目标关键词对应的特征向量，确定当前解码时刻的第一上下文向量。
63.其中，当前解码时刻的第一上下文向量能够表征当前待解码字符与待识别语音中其它字符的上下文关系。
64.由于本实施例在确定当前解码时刻的第一上下文向量时，考虑了目标关键词，因此，当前解码时刻的第一上下文向量为包含对应关键词信息的上下文向量。
65.步骤s102：根据目标问题和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量。
66.具体的，根据目标问题和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量的过程包括：
67.步骤s1021、对目标问题进行编码，得到目标问题对应的特征向量。
68.步骤s1022、根据目标问题对应的特征向量和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量。
69.当前解码时刻的第二上下文向量为最终用于确定当前解码时刻的识别结果的上下文向量。由于第一上下文向量的确定参考了目标关键词，第二上下文向量的确定参考了目标问题和第一上下文向量，因此，第二上下文向量相当于是同时参考目标关键词和目标问题确定的上下文向量，第二上下文向量中包含了与目标问题和目标关键词更加相关的音频信息。
70.步骤s103：根据当前解码时刻的第二上下文向量，确定当前解码时刻的识别结果。
71.在一种可能的实现方式中，可根据当前解码时刻的第二上下文向量，确定当前解码时刻的识别结果，为了进一步提升识别效果，在另一种可能的实现方式中，可根据当前解码时刻的第二上下文向量同时结合目标问题，确定当前解码时刻的识别结果，具体的，对目标问题进行编码，得到目标问题对应的特征向量，根据当前解码时刻的第二上下文向量和目标问题对应的特征向量确定当前解码时刻的识别结果，在解码过程中结合目标问题，能够重点关注到与目标问题相关的信息，从而得到更加准确的识别结果。
72.可选的，在获得目标语音的识别结果后，可根据目标关键词，将目标语音的识别结果中的关键词标记出来，以使用户能够较为直观地看到识别结果中的关键词，从而提升用户体验。其中，标记关键词的方式有多种，比如将关键词加粗、对关键词加下划线、改变关键词的颜色等等。
73.本申请实施例提供的语音识别方法，首先根据待识别的目标语音和目标关键词，确定当前解码时刻的第一上下文向量，即本申请实施例首先结合目标关键词确定与当前解码时刻相关的第一上下文向量，然后根据目标问题和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量，考虑到关键词与问题相关，在获得当前解码时刻的第一上下文向量后，本申请实施例结合目标问题和第一上下文向量，确定当前解码时刻解码
所需的上下文向量，最后根据当前解码时刻的第二上下文向量，确定当前解码时刻的识别结果。本申请实施例提供的语音识别方法在确定当前解码时刻解码所需的上下文向量时，由于结合了目标关键词以及与目标关键词有关的目标问题，因此，基于确定出的上下文向量能够较为准确地识别出目标语音中的关键词，本申请提供的语音识别方法相比于现有的语音识别方案，提升了关键词的识别效果，用户体验较好。
74.第二实施例
75.在一种可能的实现方式中，上述实施例提供的语音识别方法可通过预先训练得到的语音识别模型实现，该语音识别模型具备接收并处理待识别语音、对应问题和关键词，输出待识别语音的识别结果的能力。
76.具体的，语音识别模型根据待识别的目标语音和目标关键词，确定当前解码时刻的第一上下文向量，根据目标问题和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量，根据当前解码时刻的第二上下文向量，确定当前解码时刻的识别结果。
77.请参阅图2，示出了语音识别模型的一种可选结构示意图，其可以包括：语音编码器201、关键词编码器202、问题编码器203、注意力模块204和解码器205，请参阅图3，示出了图2中的语音识别模型进行语音识别的流程示意图，可以包括：
78.步骤s301a：语音编码器201对目标语音中各语音帧分别对应的语音特征进行编码，得到目标语音中各语音帧分别对应的特征向量。
79.其中，目标语音中一语音帧对应的特征向量能够表征该语音帧的音频信息。
80.步骤s301b：关键词编码器202对目标关键词进行编码，得到目标关键词对应的特征向量。
81.其中，目标关键词对应的特征向量能够表征目标关键词的关键词信息。
82.步骤s301c：问题编码器203对目标问题进行编码，得到目标问题对应的特征向量。
83.其中，目标问题对应的特征向量能够表征目标问题的问题信息。
84.步骤s302：注意力模块204根据目标语音中各语音帧分别对应的特征向量和目标关键词对应的特征向量，确定当前解码时刻的第一上下文向量，根据目标问题对应的特征向量和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量。
85.可选的，注意力模块204可以包括第一注意力模块和第二注意力模块，其中，第一注意力模块根据目标语音中各语音帧分别对应的特征向量和目标关键词对应的特征向量，确定当前解码时刻的第一上下文向量，第二注意力模块根据目标问题对应的特征向量和第一注意力模块确定的当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量。
86.其中，第一注意力模块根据目标语音中各语音帧分别对应的特征向量和目标关键词对应的特征向量的过程包括：
87.步骤a1、第一注意力模块根据目标语音中各语音帧分别对应的特征向量、目标关键词对应的特征向量以及解码器204在前一解码时刻的隐层输出向量，确定目标语音中各语音帧分别对应的权重。
88.假设目标语音包含t个语音帧，目标语音中第j个语音帧对应的特征向量为h
j
，目标关键词为n(n大于或等于1)个，第i个目标关键词z
i
对应的特征向量为当前解码时刻需要解码的是第u个字符，解码器204在前一解码时刻的隐层输出向量(即解第u
‑
1个字符
时，解码器的隐层输出向量)为s
u
‑1，则首先基于h
j
、s
u
‑1和n个目标关键词分别对应的特征向量计算对应于h
j
的attention能量然后对attention能量进行归一化，得到h
j
对应的权重具体的，和可通过下式(1)和(2)计算：
[0089][0090][0091]
其中，w
s
、w
h
、v均为模型权重参数，v的上标t表示将列向量v转置成行向量，tanh为神经网络激活函数，softmax为归一化函数，表示对n个目标关键词分别对应的特征向量求和，若n＝1，则
[0092]
步骤a2、第一注意力模块按目标语音中各语音帧分别对应的权重，对目标语音中各语音帧分别对应的特征向量加权求和，加权求和后得到的向量作为当前解码时刻的第一上下文向量。
[0093]
经由上式(1)和(2)的计算方式可计算出目标语音中各语音帧分别对应的权重，接下来便可按确定出的权重对目标语音中各语音帧分别对应的特征向量加权求和，即：
[0094][0095]
经由上述计算得到的即为当前解码时刻的第一上下文向量。
[0096]
在确定出当前解码时刻的第一上下文向量后，第二注意力模块根据目标问题对应的特征向量和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量，接下来对这一过程进行介绍。
[0097]
第二注意力模块根据目标问题对应的特征向量和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量的过程可以包括：
[0098]
步骤b1、第二注意力模块将目标问题对应的特征向量与当前解码时刻的第一上下文向量进行融合，得到同时包含有目标问题的信息和目标关键词的信息的融合向量。
[0099]
具体的，第二注意力模块将目标问题对应的特征向量与当前解码时刻的第一上下文向量加权求和，加权求和后向量作为同时包含有目标问题的信息和目标关键词的信息的融合向量，即：
[0100][0101]
其中，p代表目标问题，为目标问题对应的特征向量，为当前解码时刻的第一上下文向量，为对应的权重，w
cq
为对应的权重，和w
cq
通过训练得到，q
u,p
即为融合向量。
[0102]
步骤b2、第二注意力模块根据融合向量、目标语音中各语音帧分别对应的特征向
量，确定当前解码时刻的第二上下文向量。
[0103]
具体的，第二注意力模块根据融合向量、目标语音中各语音帧分别对应的特征向量，确定当前解码时刻的第二上下文向量的过程包括：
[0104]
步骤b21、第二注意力模块根据融合向量，从目标语音中各语音帧分别对应的特征向量中提取与当前解码时刻相关的特征向量。
[0105]
具体的，可根据下式从目标语音中各语音帧分别对应的特征向量中提取与当前解码时刻相关的特征向量：
[0106][0107]
其中，q
u,p
为融合向量，h
j
为目标语音中第j个语音帧对应的特征向量，e
u,p,j
即为从目标语音中第j个语音帧对应的特征向量中提取出的与当前解码时刻相关的特征向量。
[0108]
步骤b22、第二注意力模块根据从目标语音中各语音帧分别对应的特征向量中提取出的特征向量，确定目标语音中各语音帧分别对应的权重。
[0109]
具体的，第二注意力模块对从目标语音中各语音帧分别对应的特征向量中提取出的特征向量进行归一化，便得到目标语音中各语音帧分别对应的权重。
[0110]
在本实施例中，可采用归一化函数softmax对从目标语音中各语音帧分别对应的特征向量中提取出的特征向量进行归一化，即：
[0111]
α
u,p,j
＝softmax(e
u,p,j
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0112]
其中，α
u,p,j
为目标语音中第j个语音帧对应的权重。
[0113]
步骤b23、第二注意力模块按目标语音中各语音帧分别对应的权重，对目标语音中各语音帧分别对应的特征向量加权求和，加权求和后得到的向量作为当前解码时刻的第二上下文向量。
[0114]
在获得目标语音中各语音帧分别对应的权重后，通过下式的计算方式计算得到当前解码时刻的第二上下文向量：
[0115][0116]
步骤s303：解码器204根据当前解码时刻的第二上下文向量，确定当前解码时刻的识别结果。
[0117]
解码器204根据当前解码时刻的第二上下文向量，确定当前解码时刻的识别结果的实现方式有多种：在一种可能的实现方式中，解码器204根据当前解码时刻的第二上下文向量和前一解码时刻的识别结果的表征向量，确定当前解码时刻的识别结果；在另一种较为优选的实现方式中，解码器204根据当前解码时刻的第二上下文向量、目标问题对应的特征向量和前一解码时刻的识别结果的表征向量，确定当前解码时刻的识别结果。上述第二种实现方式结合了目标问题的信息，这使得解码器在解码过程中能够重点关注到与目标问题相关的信息，从而提升模型的识别效果。
[0118]
需要说明的是，上述语音识别模型采用训练语音、训练语音对应的标注文本同时辅以训练语音对应的问题和关键词，对初始的语音识别模型训练得到，其中，训练语音对应的关键词为训练语音对应的问题中包含的关键词，和/或训练语音对应的问题所对应的标
准答案中包含的关键词，初始的语音识别模型中的问题编码器可采用目标问答场景中问题的训练数据对通用的词嵌入表征提取模型进行训练得到，初始的语音识别模型中的关键词编码器采用目标问答场景中关键词的训练数据对通用的词嵌入表征提取模型进行训练得到，通用的词嵌入表征提取模型采用通用训练数据训练得到，通用训练数据可以为任何场景中的任何文本数据。
[0119]
语音识别模型的训练过程包括：从训练语音集中获取训练语音，并获取训练语音对应的标注文本以及训练语音对应的问题和关键词，将训练语音中各语音帧分别对应的语音特征、训练语音对应的问题和关键词输入语音识别模型，得到语音识别模型输出的训练语音的识别结果，根据训练语音的识别结果和训练语音对应的标注文本确定语音识别模型的预测损失，根据语音识别模型的预测损失更新语音识别模型的参数，按上述过程进行多次迭代训练直至满足训练结束条件。
[0120]
其中，语音识别模型接收并处理训练语音中各语音帧分别对应的语音特征、训练语音对应的问题和关键词，输出训练语音的识别结果的过程与上述语音识别模型接收并处理目标语音中各语音帧分别对应的语音特征、目标语音问题和目标关键词，输出目标语音的识别结果的过程类似，本实施例在此不做赘述。
[0121]
本申请实施例提供的语音识别模型可根据待识别的目标语音和目标关键词，确定当前解码时刻的第一上下文向量，根据目标问题和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量，根据当前解码时刻的第二上下文向量，确定当前解码时刻的识别结果。本申请实施例提供的语音识别模型在确定当前解码时刻解码所需的上下文向量时，由于结合了目标关键词以及与目标关键词有关的目标问题，因此，确定出的上下文向量包含了与问题和答案中关键词更为相关的信息，因此，基于确定出的上下文向量能够较为准确地识别出目标语音中的关键词。
[0122]
第三实施例
[0123]
本申请实施例还提供了一种语音识别装置，下面对本申请实施例提供的语音识别装置进行描述，下文描述的语音识别装置与上文描述的语音识别方法可相互对应参照。
[0124]
请参阅图4，示出了本申请实施例提供的语音识别装置的结构示意图，可以包括：第一上下文向量确定模块401、第二上下文向量确定模块402和识别结果确定模块403。
[0125]
第一上下文向量确定模块401，用于根据待识别的目标语音和目标关键词，确定当前解码时刻的第一上下文向量。
[0126]
其中，所述目标语音为针对目标问题的作答语音，所述目标关键词为所述目标问题对应的标准答案中包含的关键词。
[0127]
第二上下文向量确定模块402，用于根据所述目标问题和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量。
[0128]
识别结果确定模块403，用于根据当前解码时刻的第二上下文向量，确定当前解码时刻的识别结果。
[0129]
可选的，第一上下文向量确定模块401、第二上下文向量确定模块402和识别结果确定模块403通过语音识别模型，语音识别模型处理所述目标语音、所述目标关键词和所述目标问题，得到所述语音识别模型输出的所述目标语音的识别结果。其中，所述语音识别模型采用训练语音、所述训练语音对应的标注文本，同时辅以对应的关键词和问题训练得到。
[0130]
可选的，语音识别模型包括：语音编码器、关键词编码器、问题编码器、注意力模块和解码器。
[0131]
所述语音编码器对所述目标语音中各语音帧分别对应的语音特征进行编码，得到所述目标语音中各语音帧分别对应的特征向量。
[0132]
所述关键词编码器对所述目标关键词进行编码，得到所述目标关键词对应的特征向量。
[0133]
所述问题编码器对所述目标问题进行编码，得到所述目标问题对应的特征向量。
[0134]
所述注意力模块根据所述目标语音中各语音帧分别对应的特征向量和所述目标关键词对应的特征向量，确定当前解码时刻的第一上下文向量，根据所述目标问题对应的特征向量和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量。
[0135]
所述解码器根据当前解码时刻的第二上下文向量，确定当前解码时刻的识别结果。
[0136]
可选的，所述注意力模块根据所述目标语音中各语音帧分别对应的特征向量和所述目标关键词对应的特征向量，确定当前解码时刻的第一上下文向量的过程包括：
[0137]
所述注意力模块根据所述目标语音中各语音帧分别对应的特征向量、所述目标关键词对应的特征向量以及所述解码器在前一解码时刻的隐层输出向量，确定所述目标语音中各语音帧分别对应的权重；
[0138]
所述注意力模块按所述目标语音中各语音帧分别对应的权重，对所述目标语音中各语音帧分别对应的特征向量加权求和，加权求和后得到的向量作为当前解码时刻的第一上下文向量。
[0139]
可选的，所述注意力模块根据所述目标问题对应的特征向量和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量的过程包括：
[0140]
所述注意力模块将所述目标问题对应的特征向量与当前解码时刻的第一上下文向量进行融合，得到同时包含有所述目标问题的信息和所述目标关键词的信息的融合向量；
[0141]
所述注意力模块根据所述融合向量、所述目标语音中各语音帧分别对应的特征向量，确定当前解码时刻的第二上下文向量。
[0142]
可选的，所述注意力模块根据所述融合向量、所述目标语音中各语音帧分别对应的特征向量，确定当前解码时刻的第二上下文向量的过程包括：
[0143]
所述注意力模块根据所述融合向量，从所述目标语音中各语音帧分别对应的特征向量中提取与当前解码时刻相关的特征向量；
[0144]
所述注意力模块根据从所述目标语音中各语音帧分别对应的特征向量中提取出的特征向量，确定所述目标语音中各语音帧分别对应的权重；
[0145]
所述注意力模块按所述目标语音中各语音帧分别对应的权重，对所述目标语音中各语音帧分别对应的特征向量加权求和，加权求和后得到的向量作为当前解码时刻的第二上下文向量。
[0146]
可选的，所述解码器根据当前解码时刻的第二上下文向量确定当前解码时刻的识别结果的过程包括：所述解码器根据当前解码时刻的第二上下文向量、所述目标问题对应的特征向量以及前一解码时刻的识别结果的表征向量，确定当前解码时刻的识别结果。
[0147]
本申请实施例提供的语音识别装置在确定当前解码时刻解码所需的上下文向量时，由于结合了目标关键词以及与目标关键词有关的目标问题，因此，基于确定出的上下文向量能够较为准确地识别出目标语音中的关键词，本申请实施例提供的语音识别语音识别装置相比于现有的语音识别方案，提升了关键词的识别效果，用户体验较好。
[0148]
第四实施例
[0149]
本申请实施例还提供了一种语音识别设备，请参阅图5，示出了该语音识别设备的结构示意图，该语音识别设备可以包括：至少一个处理器501，至少一个通信接口502，至少一个存储器503和至少一个通信总线504；
[0150]
在本申请实施例中，处理器501、通信接口502、存储器503、通信总线504的数量为至少一个，且处理器501、通信接口502、存储器503通过通信总线504完成相互间的通信；
[0151]
处理器501可能是一个中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
[0152]
存储器503可能包含高速ram存储器，也可能还包括非易失性存储器(non
‑
volatile memory)等，例如至少一个磁盘存储器；
[0153]
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
[0154]
根据待识别的目标语音和目标关键词，确定当前解码时刻的第一上下文向量，其中，所述目标语音为针对目标问题的作答语音，所述目标关键词为所述目标问题中包含的关键词，和/或所述目标问题对应的标准答案中包含的关键词；
[0155]
根据所述目标问题和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量；
[0156]
根据当前解码时刻的第二上下文向量，确定当前解码时刻的识别结果。
[0157]
可选的，所述程序的细化功能和扩展功能可参照上文描述。
[0158]
第五实施例
[0159]
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质可存储有适于处理器执行的程序，所述程序用于：
[0160]
根据待识别的目标语音和目标关键词，确定当前解码时刻的第一上下文向量，其中，所述目标语音为针对目标问题的作答语音，所述目标关键词为所述目标问题中包含的关键词，和/或所述目标问题对应的标准答案中包含的关键词；
[0161]
根据所述目标问题和当前解码时刻的第一上下文向量，确定当前解码时刻的第二上下文向量；
[0162]
根据当前解码时刻的第二上下文向量，确定当前解码时刻的识别结果。
[0163]
可选的，所述程序的细化功能和扩展功能可参照上文描述。
[0164]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排
除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0165]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0166]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。