语音识别方法、装置、计算机设备和存储介质与流程

1.本公开涉及语音识别技术领域，具体而言，涉及一种语音识别方法、装置、计算机设备和存储介质。


背景技术：

2.自动语音识别技术(automatic speech recognition，asr)作为人工智能领域中的一项重要技术，能够将人的语音序列转换为准确的文本。语音识别的过程通常基于自注意力机制实现，具体可以将获取的语音序列中的语音特征对应的多个注意力矩阵直接进行相乘，得到加权权重矩阵。利用加权权重矩阵进行加权处理，得到每个语音特征对应的注意力特征。再基于对各个注意力特征的特征处理，确定出语音序列对应的语音识别文本。
3.但多个注意力矩阵直接进行相乘以得到加权权重矩阵的方式，需要花费较大的计算量，影响了语音识别的速度，并且随着语音序列长度的增加，注意力矩阵中特征的数量将增加，计算量也随之增加。如此，不仅增加了计算压力，还导致识别长语音序列的时间将进一步增加，严重影响了长语音序列的识别速度。


技术实现要素：

4.本公开实施例至少提供一种语音识别方法、装置、计算机设备和存储介质。
5.第一方面，本公开实施例提供了一种语音识别方法，包括：
6.基于待识别的语音序列中的语音特征的数量，确定所述语音序列对应的查询矩阵中的每个初始查询特征的第一余弦权重，和所述语音序列对应的键矩阵中的每个所述初始键特征的第二余弦权重；
7.基于所述第一余弦权重和所述第二余弦权重，确定每个所述初始查询特征分别与各个所述初始键特征之间的相似度；
8.针对所述语音序列中的每个语音特征，基于所述语音特征对应的初始查询特征与各个所述初始键特征之间的相似度、以及所述语音序列对应的值矩阵中的每个目标值特征，确定所述语音特征对应的注意力特征；
9.基于所述语音序列中各个所述语音特征分别对应的注意力特征，确定所述语音序列对应的语音识别结果。
10.该实施方式，利用计算出的每个初始查询特征对应的第一余弦权重和每个初始键特征对应的第二余弦权重，确定出每个初始查询特征分别与各个初始键特征之间的相似度，再基于各个相似度和值矩阵中的每个目标值特征，确定各个语音特征对应的注意力特征；相比于将多个注意力矩阵直接进行相乘得到加权权重矩阵，再利用加权权重矩阵对语音特征进行加权处理，得到每个语音特征对应的注意力特征，本公开实施例基于余弦权重确定各个语音特征对应的注意力特征的方式，降低了计算量，提高了语音识别的速度。这样，在识别长语音序列时的计算压力将减少，识别长语音序列的时间也将减少，有效提高了识别长语音序列的识别速度。
11.在一种可能的实施方式中，所述基于所述第一余弦权重和所述第二余弦权重，确定每个所述初始查询特征分别与各个所述初始键特征之间的相似度，包括：
12.利用预设的多个核函数中的任一个目标核函数，将每个所述初始查询特征转换为非负的目标查询特征，以及将每个初始键特征转换为非负的目标键特征；
13.基于每个所述初始键特征对应的第二余弦权重和该初始键特征对应的目标键特征，确定每个所述初始键特征对应的第一加权结果；
14.针对每个所述初始查询特征，基于所述初始查询特征对应的目标查询特征和所述初始查询特征对应的第一余弦权重，确定所述初始查询特征对应的第二加权结果；并基于所述第二加权结果和各个所述初始键特征对应所述第一加权结果，确定所述初始查询特征分别与各个所述初始键特征之间的相似度。
15.该实施方式，利用目标核函数，将初始查询特征转换为非负的目标查询特征，以及将初始键特征转换为非负的目标键特征，避免了直接利用原本为负的初始查询特征和/或原本为负的初始键特征进行计算，对得到的相似度的准确性产生影响，保障了计算出的相似度的准确性。
16.在一种可能的实施方式中，所述基于所述第二加权结果和各个所述初始键特征对应所述第一加权结果，确定所述初始查询特征分别与各个所述初始键特征之间的相似度，包括：
17.基于所述初始查询特征在所述查询矩阵中的第一排序值和所述语音特征的数量，确定所述初始查询特征对应的第一正弦权重，以及基于每个所述初始键特征在所述键矩阵中的第二排序值，确定每个所述初始键特征对应的第二正弦权重；
18.基于所述第一正弦权重和所述初始查询特征对应的目标查询特征，确定所述初始查询特征对应的第三加权结果；
19.针对每个所述初始键特征，基于所述初始键特征对应的第二正弦权重和所述初始键特征对应的目标键特征，确定所述初始键特征对应的第四加权结果；
20.基于所述第二加权结果、所述第三加权结果、每个所述初始键特征对应的第一加权结果和第四加权结果，确定所述初始查询特征与每个所述初始键特征之间的相似度。
21.该实施方式，利用确定出的每个初始查询特征对应的第一正弦权重和每个初始键特征对应的第二正弦权重，确定出每个初始查询特征与每个初始键特征之间的相似度，能够进一步提高确定出的相似度的准确性。
22.在一种可能的实施方式中，所述基于所述语音特征对应的初始查询特征与各个所述初始键特征之间的相似度、以及所述语音序列对应的值矩阵中的每个目标值特征，确定所述语音特征对应的注意力特征，包括：
23.针对每个所述初始键特征，基于所述初始键特征对应的第一加权结果，和在所述值矩阵中对应的第三排序值与所述初始键特征对应的第二排序值相同的目标值特征，确定所述初始键特征对应的第一中间结果；
24.基于所述初始键特征对应的第四加权结果，和在所述值矩阵中对应的第三排序值与所述初始键特征对应的第二排序值相同的目标值特征，确定所述初始键特征对应的第二中间结果；
25.将所述初始查询特征对应的第二加权结果和每个所述初始键特征对应的第一中
间结果相乘，得到第五加权结果；
26.将所述初始查询特征对应的第三加权结果和每个所述初始键特征对应的第二中间结果相乘，得到第六加权结果；
27.基于所述语音特征对应的初始查询特征与每个所述初始键特征之间的相似度之和、所述第五加权结果之和、以及所述第六加权结果之和，确定所述语音特征对应的注意力特征。
28.该实施方式，通过第三排序值和第二排序值，能够在值矩阵中找到与每个初始键特征匹配的目标值特征，也即确定出了各个键值对。基于键值对中的初始键特征对应的加权结果，以及键值对的目标键特征，可以准确得到每个键值对分别对应的第一中间结果和第二中间结果。进而，基于准确的第一中间结果和第二中间结果，可以确定出准确的注意力特征。
29.在一种可能的实施方式中，在所述基于待识别的语音序列中的语音特征的数量，确定所述语音序列对应的查询矩阵中的每个所述初始查询特征的第一余弦权重之前，还包括：
30.获取待识别的所述语音序列，并对所述语音序列执行空间映射操作，得到映射后的所述语音序列；
31.将所述语音序列和映射后的所述语音序列进行序列融合，得到融合后的语音序列；
32.利用目标特征矩阵分别对融合后的语音序列进行特征映射处理，得到所述语音序列对应的查询矩阵、键矩阵和值矩阵；其中，所述查询矩阵、键矩阵和值矩阵分别对应不同的所述目标特征矩阵。
33.该实施方式，通过空间映射操作，可以在空间维度上对待识别的语音序列进行转换，得到处于不同空间维度的映射后的语音序列，再将语音序列和映射后的语音序列进行序列融合，可以得到融合更多空间信息的、融合后的语音序列。利用融合后的语音序列进行特征映射处理，提高了得到的查询矩阵、键矩阵和值矩阵中的每个矩阵所包含的特征信息的丰富度。
34.在一种可能的实施方式中，所述基于所述语音序列中各个所述语音特征分别对应的注意力特征，确定所述语音序列对应的语音识别结果，包括：
35.将所述融合后的语音序列中的每个语音特征和该语音特征对应的注意力特征进行融合，得到融合后的每个注意力特征；
36.对融合后的每个注意力特征分别进行卷积操作，得到卷积后的每个注意力特征，并对卷积后的每个注意力特征和该注意力特征对应的融合后的注意力特征进行特征融合，得到卷积后的每个注意力特征分别对应的初始注意力特征；
37.对每个所述初始注意力特征执行空间映射操作，得到映射后的每个初始注意力特征，并对每个所述初始注意力特征和该初始注意力特征对应的映射后的初始注意力特征进行特征融合，得到融合后的每个初始注意力特征；
38.对融合后的每个初始注意力特征执行归一化操作，得到每个语音特征对应的中间注意力特征，并基于每个中间注意力特征，确定所述语音序列对应的语音识别结果。
39.该实施方式，通过对注意力特征执行的融合操作、卷积操作、空间映射操作和归一
化操作，可以得到每个语音特征对应的含义信息丰富、更能准确反映语音识别结果的中间注意力特征，进而，基于每个准确的中间注意力特征，可以准确地确定出语音识别结果。
40.在一种可能的实施方式中，所述基于每个中间注意力特征，确定所述语音序列对应的语音识别结果，包括：
41.将由每个中间注意力特征组成的序列作为新的待识别的语音序列，以及将每个中间注意力特征作为所述新的待识别的语音序列中的各个语音特征；
42.返回执行对所述语音序列执行空间映射操作，得到映射后的所述语音序列的步骤，直至循环次数达到预设次数，得到所述待识别的语音序列对应的每个目标注意力特征；
43.基于每个所述目标注意力特征，确定所述语音识别结果。
44.该实施方式，通过多次循环的操作，可以将各个语音特征对应所表征的信息的充分提取，从而得到包含丰富信息的目标注意力特征。利用每个目标注意力特征进行语音识别，可以提高确定出的语音识别结果的准确性。
45.在一种可能的实施方式中，所述基于每个所述目标注意力特征，确定所述语音识别结果，包括：
46.利用预设的至少一个解码模块，对每个所述目标注意力特征进行特征解码，得到所述语音识别结果；其中，解码次序前后相邻的两个解码模块中的后一个解码模块的输入，为前一个解码模块的输出，解码次序位于最后的解码模块的输出为所述语音识别结果。
47.该实施方式，利用多个解码模块进行解码，能够实现对每个目标注意力特征所表征的信息的充分解码，从而得到准确的语音识别结果。
48.在一种可能的实施方式中，所述语音识别方法利用预先训练好的语音识别神经网络执行；所述语音识别神经网络按照以下步骤训练：
49.获取待识别的样本语音序列；
50.将所述样本语音序列输入待训练的语音识别神经网络，并利用所述待训练的语音识别神经网络对所述样本语音序列进行识别处理，确定所述样本语音序列对应的每个所述目标预测注意力特征；
51.基于每个所述目标预测注意力特征，确定所述样本语音序列对应的预测语音结果；
52.基于所述预测语音结果和所述样本语音序列对应的标准语音结果，确定所述待训练的语音识别神经网络对应的预测损失，并利用所述预测损失对所述待训练的语音识别神经网络进行迭代训练，直至满足训练截止条件，得到训练好的语音识别神经网络。
53.该实施方式，训练好的语音识别神经网络具有可靠的识别精度，利用训练好的语音识别神经网络进行语音识别，能够得到准确的语音识别结果。利用根据测语音结果和标准语音结果确定出的预测损失，对待训练的语音识别神经网络进行迭代训练，可以有效提高语音识别神经网络的预测精度，最终训练得到具有可靠精度的语音识别神经网络。
54.在一种可能的实施方式中，所述预测语音结果包括第一预测语音结果，所述预测损失包括时序分类损失；
55.所述基于每个所述目标预测注意力特征，确定所述样本语音序列对应的预测语音结果，包括：
56.利用每个所述目标预测注意力特征，确定所述样本语音序列对应的第一预测语音
结果；
57.所述基于所述预测语音结果，确定所述待训练的语音识别神经网络对应的预测损失，包括：
58.利用神经网络连接时序分类ctc算法，基于所述第一预测语音结果和所述标准语音结果，确定所述时序分类损失。
59.该实施方式，直接利用每个目标预测注意力特征，确定第一预测语音结果，再利用基于第一预测语音结果和标准语音结果确定的时序分类损失，对待训练的语音识别神经网络进行迭代训练，既能够提高网络预测精度，还可以提高网络的预测速度。
60.在一种可能的实施方式中，所述预测语音结果包括第二预测语音结果，所述预测损失包括交叉熵损失；
61.所述基于每个所述目标预测注意力特征，确定所述样本语音序列对应的预测语音结果，包括：
62.利用所述待训练的语音识别神经网络中预设的至少一个解码模块，对每个所述目标预测注意力特征进行特征解码，得到所述第二预测语音结果；
63.所述基于所述预测语音结果，确定所述待训练的语音识别神经网络对应的预测损失，包括：
64.基于所述第二预测语音结果和所述标准语音结果，确定所述交叉熵损失。
65.该实施方式，利用解码模块对每个目标预测注意力特征进行特征解码，得到第二预测语音结果，再利用时序分类损失和基于第二预测语音结果和标准语音结果确定的交叉熵损失，一起对待训练的语音识别神经网络进行迭代训练，能够进一步提高训练得到的语音识别神经网络的识别精度。
66.第二方面，本公开实施例还提供一种语音识别装置，包括：
67.第一确定模块，用于基于待识别的语音序列中的语音特征的数量，确定所述语音序列对应的查询矩阵中的每个初始查询特征的第一余弦权重，和所述语音序列对应的键矩阵中的每个所述初始键特征的第二余弦权重；
68.第二确定模块，用于基于所述第一余弦权重和所述第二余弦权重，确定每个所述初始查询特征分别与各个所述初始键特征之间的相似度；
69.第三确定模块，用于针对所述语音序列中的每个语音特征，基于所述语音特征对应的初始查询特征与各个所述初始键特征之间的相似度、以及所述语音序列对应的值矩阵中的每个目标值特征，确定所述语音特征对应的注意力特征；
70.第四确定模块，用于基于所述语音序列中各个所述语音特征分别对应的注意力特征，确定所述语音序列对应的语音识别结果。
71.在一种可能的实施方式中，所述第二确定模块，在所述基于所述第一余弦权重和所述第二余弦权重，确定每个所述初始查询特征分别与各个所述初始键特征之间的相似度时，用于利用预设的多个核函数中的任一个目标核函数，将每个所述初始查询特征转换为非负的目标查询特征，以及将每个初始键特征转换为非负的目标键特征；
72.基于每个所述初始键特征对应的第二余弦权重和该初始键特征对应的目标键特征，确定每个所述初始键特征对应的第一加权结果；
73.针对每个所述初始查询特征，基于所述初始查询特征对应的目标查询特征和所述
初始查询特征对应的第一余弦权重，确定所述初始查询特征对应的第二加权结果；并基于所述第二加权结果和各个所述初始键特征对应所述第一加权结果，确定所述初始查询特征分别与各个所述初始键特征之间的相似度。
74.在一种可能的实施方式中，所述第二确定模块，在所述基于所述第二加权结果和各个所述初始键特征对应所述第一加权结果，确定所述初始查询特征分别与各个所述初始键特征之间的相似度时，用于基于所述初始查询特征在所述查询矩阵中的第一排序值和所述语音特征的数量，确定所述初始查询特征对应的第一正弦权重，以及基于每个所述初始键特征在所述键矩阵中的第二排序值，确定每个所述初始键特征对应的第二正弦权重；
75.基于所述第一正弦权重和所述初始查询特征对应的目标查询特征，确定所述初始查询特征对应的第三加权结果；
76.针对每个所述初始键特征，基于所述初始键特征对应的第二正弦权重和所述初始键特征对应的目标键特征，确定所述初始键特征对应的第四加权结果；
77.基于所述第二加权结果、所述第三加权结果、每个所述初始键特征对应的第一加权结果和第四加权结果，确定所述初始查询特征与每个所述初始键特征之间的相似度。
78.在一种可能的实施方式中，所述第三确定模块，在所述基于所述语音特征对应的初始查询特征与各个所述初始键特征之间的相似度、以及所述语音序列对应的值矩阵中的每个目标值特征，确定所述语音特征对应的注意力特征时，用于针对每个所述初始键特征，基于所述初始键特征对应的第一加权结果，和在所述值矩阵中对应的第三排序值与所述初始键特征对应的第二排序值相同的目标值特征，确定所述初始键特征对应的第一中间结果；
79.基于所述初始键特征对应的第四加权结果，和在所述值矩阵中对应的第三排序值与所述初始键特征对应的第二排序值相同的目标值特征，确定所述初始键特征对应的第二中间结果；
80.将所述初始查询特征对应的第二加权结果和每个所述初始键特征对应的第一中间结果相乘，得到第五加权结果；
81.将所述初始查询特征对应的第三加权结果和每个所述初始键特征对应的第二中间结果相乘，得到第六加权结果；
82.基于所述语音特征对应的初始查询特征与每个所述初始键特征之间的相似度之和、所述第五加权结果之和、以及所述第六加权结果之和，确定所述语音特征对应的注意力特征。
83.在一种可能的实施方式中，所述装置还包括映射模块，用于在所述基于待识别的语音序列中的语音特征的数量，确定所述语音序列对应的查询矩阵中的每个所述初始查询特征的第一余弦权重之前，获取待识别的所述语音序列，并对所述语音序列执行空间映射操作，得到映射后的所述语音序列；
84.将所述语音序列和映射后的所述语音序列进行序列融合，得到融合后的语音序列；
85.利用目标特征矩阵分别对融合后的语音序列进行特征映射处理，得到所述语音序列对应的查询矩阵、键矩阵和值矩阵；其中，所述查询矩阵、键矩阵和值矩阵分别对应不同的所述目标特征矩阵。
86.在一种可能的实施方式中，所述第四确定模块，在所述基于所述语音序列中各个所述语音特征分别对应的注意力特征，确定所述语音序列对应的语音识别结果时，用于将所述融合后的语音序列中的每个语音特征和该语音特征对应的注意力特征进行融合，得到融合后的每个注意力特征；
87.对融合后的每个注意力特征分别进行卷积操作，得到卷积后的每个注意力特征，并对卷积后的每个注意力特征和该注意力特征对应的融合后的注意力特征进行特征融合，得到卷积后的每个注意力特征分别对应的初始注意力特征；
88.对每个所述初始注意力特征执行空间映射操作，得到映射后的每个初始注意力特征，并对每个所述初始注意力特征和该初始注意力特征对应的映射后的初始注意力特征进行特征融合，得到融合后的每个初始注意力特征；
89.对融合后的每个初始注意力特征执行归一化操作，得到每个语音特征对应的中间注意力特征，并基于每个中间注意力特征，确定所述语音序列对应的语音识别结果。
90.在一种可能的实施方式中，所述第四确定模块，在所述基于每个中间注意力特征，确定所述语音序列对应的语音识别结果时，用于将由每个中间注意力特征组成的序列作为新的待识别的语音序列，以及将每个中间注意力特征作为所述新的待识别的语音序列中的各个语音特征；
91.返回执行对所述语音序列执行空间映射操作，得到映射后的所述语音序列的步骤，直至循环次数达到预设次数，得到所述待识别的语音序列对应的每个目标注意力特征；
92.基于每个所述目标注意力特征，确定所述语音识别结果。
93.在一种可能的实施方式中，所述第四确定模块，在所述基于每个所述目标注意力特征，确定所述语音识别结果时，用于利用预设的至少一个解码模块，对每个所述目标注意力特征进行特征解码，得到所述语音识别结果；其中，解码次序前后相邻的两个解码模块中的后一个解码模块的输入，为前一个解码模块的输出，解码次序位于最后的解码模块的输出为所述语音识别结果。
94.在一种可能的实施方式中，所述语音识别方法利用预先训练好的语音识别神经网络执行；
95.所述装置还包括：训练模块，用于按照以下步骤训练所述语音识别神经网络：
96.获取待识别的样本语音序列；
97.将所述样本语音序列输入待训练的语音识别神经网络，并利用所述待训练的语音识别神经网络对所述样本语音序列进行识别处理，确定所述样本语音序列对应的每个所述目标预测注意力特征；
98.基于每个所述目标预测注意力特征，确定所述样本语音序列对应的预测语音结果；
99.基于所述预测语音结果和所述样本语音序列对应的标准语音结果，确定所述待训练的语音识别神经网络对应的预测损失，并利用所述预测损失对所述待训练的语音识别神经网络进行迭代训练，直至满足训练截止条件，得到训练好的语音识别神经网络。
100.在一种可能的实施方式中，所述预测语音结果包括第一预测语音结果，所述预测损失包括时序分类损失；
101.所述训练模块，在所述基于每个所述目标预测注意力特征，确定所述样本语音序
列对应的预测语音结果时，用于利用每个所述目标预测注意力特征，确定所述样本语音序列对应的第一预测语音结果；
102.以及在所述基于所述预测语音结果，确定所述待训练的语音识别神经网络对应的预测损失时，用于利用神经网络连接时序分类ctc算法，基于所述第一预测语音结果和所述标准语音结果，确定所述时序分类损失。
103.在一种可能的实施方式中，所述预测语音结果包括第二预测语音结果，所述预测损失包括交叉熵损失；
104.所述训练模块，在所述基于每个所述目标预测注意力特征，确定所述样本语音序列对应的预测语音结果时，用于利用所述待训练的语音识别神经网络中预设的至少一个解码模块，对每个所述目标预测注意力特征进行特征解码，得到所述第二预测语音结果；
105.以及在所述基于所述预测语音结果，确定所述待训练的语音识别神经网络对应的预测损失时，用于基于所述第二预测语音结果和所述标准语音结果，确定所述交叉熵损失。
106.第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
107.第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
108.关于上述语音识别装置、计算机设备、及计算机可读存储介质的效果描述参见上述语音识别方法的说明，这里不再赘述。
109.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
110.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
111.图1示出了本公开实施例所提供的一种语音识别方法的流程图；
112.图2示出了本公开实施例所提供的一种语音识别神经网络的结构示意图；
113.图3示出了本公开实施例所提供的一种训练待训练的语音识别神经网络的方法的流程图；
114.图4示出了本公开实施例所提供的一种确定待训练的语音识别神经网络对应的预测损失的示意图；
115.图5示出了本公开实施例所提供的一种语音识别装置的示意图；
116.图6示出了本公开实施例所提供的一种计算机设备的结构示意图。
具体实施方式
117.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
118.另外，本公开实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
119.在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
120.经研究发现，在利用asr技术对获取的语音序列进行语音识别时，通常使用三个不同的预设特征矩阵，分别对语音序列进行映射处理，得到查询矩阵、键矩阵和值矩阵，然后将查询矩阵和键矩阵的转置矩阵直接进行相乘得到加权权重矩阵。并利用加权权重矩阵对值矩阵进行加权处理，从而得到每个语音特征对应的注意力特征。
121.上述直接将查询矩阵和键矩阵的转置矩阵直接进行相乘的操作所需的计算量，将随着查询矩阵和键矩阵的尺寸的增加而增大。例如，查询矩阵和键矩阵均为t乘d的矩阵，其中，t表示矩阵中的特征的数量，d表示矩阵中的单个特征的特征维度，则查询矩阵和键矩阵的转置矩阵直接进行相乘所需的计算量则为t^2
×
d。在查询矩阵和键矩阵的尺寸由语音序列的长度决定的基础上，语音序列越长，所需要的计算量越大，计算压力也就越大，计算时间也就越长，语音识别的时间也就越久。因此，上述语音识别的过程，严重影响了长语音序列的识别速度和识别效果。
122.基于上述研究，本公开提供了一种语音识别方法、装置、计算机设备和存储介质，利用计算出的每个初始查询特征对应的第一余弦权重和每个初始键特征对应的第二余弦权重，确定出每个初始查询特征分别与各个初始键特征之间的相似度，再基于各个相似度特征和值矩阵中的每个目标值特征，确定各个语音特征对应的注意力特征；相比于直接将多个注意力矩阵直接进行相乘得到加权权重矩阵，再利用加权权重矩阵对语音特征进行加权处理，得到每个语音特征对应的注意力特征，本公开实施例直接基于余弦权重确定各个语音特征对应的注意力特征的方式，降低了计算量，提高了语音识别的速度。这样，在识别长语音序列时的计算压力将减少，识别长语音序列的时间也将减少，有效提高了识别长语音序列的识别速度。
123.针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
124.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一
个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
125.为便于对本实施例进行理解，首先对本公开实施例所公开的一种语音识别方法进行详细介绍，本公开实施例所提供的语音识别方法的执行主体一般为具有一定计算能力的终端设备或其他处理设备，其中终端设备可以为移动设备、计算机设备等；在一些可能的实现方式中，该语音识别方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。下面以执行主体为计算机设备为例对本公开实施例提供的语音识别方法加以说明。
126.如图1所示，为本公开实施例提供的一种语音识别方法的流程图，可以包括以下步骤：
127.s101：基于待识别的语音序列中的语音特征的数量，确定语音序列对应的查询矩阵中的每个初始查询特征的第一余弦权重，和语音序列对应的键矩阵中的每个初始键特征的第二余弦权重。
128.这里，待识别的语音序列中可以包括多个语音特征，语音序列可以根据获取的语音片段确定，不同的语音片段对应于不同的语音序列。语音序列中所包括的语音特征的数量由语音片段的长度决定，语音片段越长，语音序列中所包括的语音特征越多。
129.示例性的，待识别的语音序列x＝{x1,x2,x3,
……
x
t
}，其中，x表示语音特征，x1表示语音序列x中的第一个语音特征，x2表示语音序列x中的第二个语音特征，,x3表示语音序列x中的第三个语音特征，依次类推，x
t
表示语音序列x中的第t个语音特征，t由语音片段的长度决定。
130.为了提高对待识别的语音序列进行语音识别的识别精度，在执行s101之前，还需要执行以下步骤：
131.步骤一、获取待识别的语音序列，并对语音序列执行空间映射操作，得到映射后的语音序列。
132.这里，针对任一需要识别的语音序列，需要先获取该待识别的语音序列。具体的，待识别的语音序列可以是直接生成好的，在需要识别的时候直接获取即可。或者，可以先获取待识别的语音片段，对语音片段进行特征提取，得到语音片段对应的多个语音特征，进而也即可以得到由多个语音特征组成的待识别的语音序列。其中，多个语音特征中的每个语音特征在待识别的语音序列中的顺序，由该语音特征对应在语音片段中的位置决定。
133.映射后的语音序列中包括多个映射后的语音特征，待识别的语音序列中的语音特征的数量与映射后的语音序列中的映射后的语音特征的数量一致且一一对应。
134.本公开实施例所提供的语音识别方法可以利用预先训练好的语音识别神经网络执行，语音识别神经网络可以部署在计算机设备中。
135.在得到待识别的语音序列之后，可以利用语音识别神经网络中的第一个前馈网络层模块(feed forward module)，对待识别的语音序列执行空间映射操作，得到映射后的语音序列。
136.示例性的，可以利用第一个前馈网络层模块，对待识别的语音序列中的每个语音特征进行特征映射处理，得到每个语音特征分别对应的映射后的语音特征，由每个映射后的语音特征组成映射后的语音序列。
137.步骤二、将语音序列和映射后的语音序列进行序列融合，得到融合后的语音序列。
138.具体实施时，针对语音序列中的每个语音特征，可以将该语音特征和在映射后的
语音序列中与该语音特征对应的映射后的语音特征进行融合，得到该语音特征对应的融合后的语音特征。进而，可以由语音序列中的每个语音特征分别对应的融合后的语音特征，组成得到融合后的语音序列。
139.例如，待识别的语音序列x＝{x1,x2,x3,
……
x
t
}，映射后的语音序列x’＝{x
’1,x
’2,x
’3,
……
x’t
}，其中，x
’1为x1对应的映射后的语音特征，x
’2为x2对应的映射后的语音特征，x
’3为x3对应的映射后的语音特征，依次类推，x’t
为x
t
对应的映射后的语音特征。在进行序列同融合后，可以将x1和x
’1融合，得到x1对应的融合后的语音特征x”1
，将x2和x
’2融合，得到x2对应的融合后的语音特征x”2
，将x3和x
’3融合，得到x3对应的融合后的语音特征x”3
，依次类推，将将x
t
和x’t
融合，得到x
t
对应的融合后的语音特征x”t
。进而，得到的融合后的语音序列x”＝{x”1
，x”2
，x”3
，
……
x”t
}。
140.步骤三、利用目标特征矩阵分别对融合后的语音序列进行特征映射处理，得到语音序列对应的查询矩阵、键矩阵和值矩阵；其中，查询矩阵、键矩阵和值矩阵分别对应不同的目标特征矩阵。
141.这里，查询矩阵、键矩阵和值矩阵中的每个矩阵所包括的特征的数量，均与融合后的语音序列中的融合后的语音特征的数量一致。示例性的，融合后的语音序列中的融合后的语音特征的数量为t，查询矩阵、键矩阵和值矩阵中的每个矩阵所包括的特征的数量也为t。
142.具体的，查询矩阵为利用该矩阵对应的预设的第一目标特征矩阵，对融合后的语音序列进行特征映射处理后得到的矩阵。查询矩阵可以用query表示，query中的初始查询特征用于表征融合后的语音特征本身的特征信息。
143.键矩阵为利用该矩阵对应的预设的第二目标特征矩阵，对融合后的语音序列进行特征映射处理后得到的矩阵。键矩阵可以用key表示，key中的初始键特征用于表征对融合后的语音特征在一特征方向上进行特征提取后的特征信息。key中的初始键特征用于和初始查询特征进行匹配。
144.值矩阵为利用该矩阵对应的预设的第三目标特征矩阵，对融合后的语音序列进行特征映射处理后得到的矩阵。值矩阵可以用value表示，value中的目标值特征用于表征对融合后的语音特征在另一特征方向上进行特征提取后的特征信息。value中的目标值特征用于确定待识别的语音序列中的每个语音特征对应的注意力特征。
145.具体实施时，在得到融合后的语音序列后，可以将该融合后的语音序列输入至语音识别神经网络中的基于余弦的自注意力模块(cosine-based self-attention module，以下简称cbsa模块)，通过cbsa模块执行利用预设的目标特征矩阵分别对融合后的语音序列进行特征映射处理的步骤，最终得到语音序列对应的查询矩阵、键矩阵和值矩阵。
146.可选的，在获取待识别的语音序列之后，也可以直接将待识别的语音序列输入cbsa模块，通过cbsa模块执行利用预设的目标特征矩阵分别对待识别的语音序列进行特征映射处理的步骤，最终得到语音序列对应的查询矩阵、键矩阵和值矩阵。
147.上述第一余弦权重用于对查询矩阵中的初始查询特征对应的目标查询特征进行加权处理，目标查询特征为利用预设的目标核函数对初始查询特征进行转换后得到的，每个初始查询特征的第一余弦权重用于对该初始查询特征对应的目标查询特征进行加权处理。上述第二余弦权重用于对键矩阵中的初始键特征对应的目标键特征进行加权处理，目
标键特征为利用预设的目标核函数对初始键特征进行转换后得到的，每个初始键特征的第二余弦权重用于对该初始键特征对应的目标键特征进行加权处理。
148.具体实施时，可以根据待识别的语音序列中的语音特征的数量，以及初始查询特征在查询矩阵中的第一排序值，确定初始查询特征对应的第一余弦权重。具体的，各个初始查询特征对应的第一余弦权重可以根据下述公式一确定：
[0149][0150]
其中，i表示初始查询特征在查询矩阵中对应的第一排序值，例如，初始查询特征1在查询矩阵中的第一排序值为1，初始查询特征2在查询矩阵中的第一排序值2等。m表示语音特征的数量。
[0151]
基于上述公式一，可以分别确定出各个初始查询特征对应的第一余弦权重。
[0152]
同理，可以根据语音特征的数量，以及初始键特征在键矩阵中的第二排序值，确定初始键特征对应的第二余弦权重。具体的，各个初始键特征对应的第二余弦权重可以根据下述公式二确定：
[0153][0154]
其中，j表示初始键特征在键矩阵中对应的第二排序值，例如，初始键特征1在键矩阵中的第二排序值为1，初始键特征2在键矩阵中的第二排序值2等。m表示语音特征的数量。
[0155]
基于上述公式二，可以分别确定出各个初始键特征对应的第二余弦权重。
[0156]
另外，针对确定每个初始查询特征的第一余弦权重的步骤，可以在确定查询矩阵之后，根据语音序列中的语音特征的数量，以及各个初始查询特征在查询矩阵中的第一排序值，直接确定每个初始查询特征分别对应的第一余弦权重，也即，每个初始查询特征对应的第一余弦权重在确定查询矩阵之后统一确定出，后续使用时直接获取。或者，也可以在具体计算一初始查询特征与各个初始键特征之间的相似度之前，基于该初始查询特征在查询矩阵中的第一排序值和语音特征的数量，确定该初始查询特征对应的第一余弦权重，也即，每个初始查询特征对应的第一余弦权重可以在使用时才确定，不提前统一确定。关于各个第一余弦权重的确定时机，可以根据实际的语音识别需要进行设置，此处不进行限定。
[0157]
针对确定每个初始键特征的第二余弦权重的步骤，可以在确定键矩阵之后，根据语音序列中的语音特征的数量，以及各个初始键特征在键矩阵中的第二排序值，直接确定每个初始键特征分别对应的第二余弦权重，也即，每个初始键特征对应的第二余弦权重在确定键矩阵之后统一确定出，后续使用时直接获取。或者，也可以在具体使用一初始键特征对应的第二余弦权重时，根据语音特征的数量，以及该初始键特征在键矩阵中的第二排序值，确定该初始键特征对应的第二余弦权重并使用，不提前统一确定。关于各个第一余弦权重的确定时机，可以根据实际的语音识别需要进行设置，此处也不进行限定。
[0158]
s102：基于第一余弦权重和第二余弦权重，确定每个初始查询特征分别与各个初始键特征之间的相似度。
[0159]
这里，相似度用于表征初始查询特征与初始键特征之间的匹配度。
[0160]
具体实施时，在确定初始查询特征与初始键特征之间的相似度时，可以利用初始查询特征对应的第一余弦权重，对初始查询特征对应的目标查询特征进行加权，得到加权结果。同时，可以利用初始键特征对应的第二余弦权重，对初始键特征对应的目标键特征进
行加权，得到加权结果。之后，再基于两个加权结果，确定出初始查询特征与初始键特征之间的相似度。
[0161]
如此，基于每个初始查询特征对应的第一余弦权重和目标查询特征，以及每个初始键特征对应的第二余弦权重和目标键特征，可以确定出每个初始查询特征分别与各个初始键特征之间的相似度。
[0162]
在一种实施例中，s102可以按照以下步骤实施：
[0163]
s102-1：利用预设的多个核函数中的任一个目标核函数，将每个初始查询特征转换为非负的目标查询特征，以及将每个初始键特征转换为非负的目标键特征。
[0164]
这里，预设的多个核函数可以包括如下的三个核函数：
[0165]
(核函数一)
[0166]
其中，
[0167]
(核函数二)
[0168]
(核函数三)
[0169]
其中，
[0170]
上述表示核函数，x表示初始查询特征或初始键特征。核函数一对应的语音识别速度最快，核函数三对应的语音识别效果最好，核函数二对应的识别速度最慢。上述三个核函数中的任一个核函数均可以作为目标核函数。具体的，关于目标核函数的使用，可以根据实际的语音识别需要进行选择。例如，当需要提高识别速度时，可以选取核函数一作为目标核函数，当需要保证识别效果最好时，可以选取核函数三作为目标核函数，当不考虑识别速度时，可以选取核函数二作为目标核函数。
[0171]
根据上述三个核函数分别对应的函数特点可知，每个核函数均不存在负值，因此，在选取上述任一核函数作为目标核函数，并利用目标核函数对初始查询特征和初始键特征进行转换时，得到的目标查询特征和目标键特征均为非负的。继而，由转换得到的各个目标查询特征组成的矩阵也将为非负矩阵，由转换得到的各个目标键特征组成的矩阵也将为非负矩阵。
[0172]
示例性的，在目标核函数为上述核函数一时，可以将查询矩阵中的各个初始查询特征分别代入上述核函数一，得到每个初始查询特征分别对应的目标查询特征。同时，可以将键矩阵中的各个初始键特征分别代入上述核函数一，得到每个初始键特征分别对应的目标键特征。
[0173]
s102-2：基于每个初始键特征对应的第二余弦权重和该初始键特征对应的目标键特征，确定每个初始键特征对应的第一加权结果。
[0174]
示例性的，针对每个初始键特征，可以将该初始键特征对应的第二余弦权重和该初始键特征对应的目标键特征相乘，将相乘后得到的结果作为该初始键特征对应的第一加权结果。
[0175]
s102-3：针对每个初始查询特征，基于初始查询特征对应的目标查询特征和初始查询特征对应的第一余弦权重，确定初始查询特征对应的第二加权结果；并基于第二加权结果和各个初始键特征对应所述第一加权结果，确定初始查询特征分别与各个初始键特征
之间的相似度。
[0176]
具体实施时，针对每个初始查询特征，可以将该初始查询特征对应的目标查询特征和该初始查询特征对应的第一余弦权重相乘，将相乘后得到的结果作为该初始查询特征对应的第二加权结果。
[0177]
之后，针对该初始查询特征和任一初始键特征，可以将该初始查询特征对应的第二加权结果，和该初始键特征对应的第一加权结果的转置相乘，基于相乘后得到的结果，确定出该初始查询特征和该初始键特征之间的相似度。
[0178]
在一种实施例中，针对s102-3中的基于第二加权结果和各个初始键特征对应所述第一加权结果，确定初始查询特征分别与各个初始键特征之间的相似度的步骤，可以按照以下步骤实施：
[0179]
s102-3-1：基于初始查询特征在查询矩阵中的第一排序值和语音特征的数量，确定初始查询特征对应的第一正弦权重，以及基于每个初始键特征在键矩阵中的第二排序值，确定每个初始键特征对应的第二正弦权重。
[0180]
这里，第一排序值由初始查询特征在查询矩阵中的位置决定。例如，初始查询特征为查询矩阵中的第一个元素，则初始查询特征对应的第一排序值即为1，又例如，初始查询特征为查询矩阵中的第i个元素，则初始查询特征对应的第一排序值即为i。第二排序值由初始键特征在键矩阵中的位置决定。
[0181]
上述第一正弦权重用于对初始查询特征对应的目标查询特征进行加权处理。上述第二正弦权重用于对初始键特征对应的目标键特征进行加权处理。
[0182]
具体实施时，各个初始查询特征对应的第一正弦权重可以根据下述公式三确定：
[0183][0184]
其中，i表示初始查询矩阵对应的第一排序值，m表示待识别的语音序列中语音特征的数量。
[0185]
基于上述公式三以及每个初始查询特征对应的第一排序值，可以确定出每个初始查询特征对应的第一正弦权重。
[0186]
同时，各个初始键特征对应的第二正弦权重可以根据下述公式四确定：
[0187][0188]
其中，j表示初始键特征对应的第二排序值。
[0189]
基于上述公式四，可以分别确定出各个初始键特征分别对应的第二正弦权重。
[0190]
s102-3-2：基于第一正弦权重和初始查询特征对应的目标查询特征，确定初始查询特征对应的第三加权结果。
[0191]
针对每个初始查询特征，可以将该初始查询特征对应的第一正弦权重和该初始查询特征对应的目标查询特征相乘，得到该初始查询特征对应的第三加权结果。
[0192]
s102-3-3：针对每个初始键特征，基于初始键特征对应的第二正弦权重和初始键特征对应的目标键特征，确定初始键特征对应的第四加权结果。
[0193]
这里，针对初始键特征，可以将该初始键特征对应的第二正弦权重和该初始键特征对应的目标键特征相乘，得到该初始键特征对应的第四加权结果。
[0194]
s102-3-4：基于第二加权结果、第三加权结果、每个初始键特征对应的第一加权结
果和第四加权结果，确定初始查询特征与每个初始键特征之间的相似度。
[0195]
这里，针对每个初始查询特征与任一个初始键特征，可以将该初始查询特征对应的第二加权结果和该初始键特征对应的第一加权结果的转置相乘，将该初始查询特征对应的第三加权结果和该初始键特征对应的第四加权结果的转置相乘，将两次相乘的结果相加，得到该初始查询特征与该初始键特征之间的相似度。
[0196]
在具体实施时，可以按照以下如下公式五确定出任一个初始查询特征与任一个初始键特征之间的相似度：
[0197][0198]
其中，i表示第一排序值，j表示第二排序值，qi表示查询矩阵q中的第i个初始查询特征，kj表示键矩阵k中的第j个初始键特征,表示第j个初始键特征的转置，表示第i个初始查询特征与第j个初始键特征之间的相似度，i和j的最大值均为待识别的语音序列中的语音特征的数量，q’i
表示利用目标核函数对第i个初始查询特征进行转换后，得到的第i个目标查询特征，表示第i个初始查询特征对应的第一余弦权重，表示将i个初始查询特征对应的第二加权结果，k’j
表示利用目标核函数对第j个初始键特征进行转换后，得到的第j个目标键特征，表示第j个初始键特征对应的第二余弦权重，表示第j个初始键特征对应的第一加权结果，表示第一加权结果的转置。表示第i个初始查询特征对应的第一正弦权重，表示第i个初始查询特征对应的第三加权结果，表示第j个初始键特征对应的第二正弦权重，表示第j个初始键特征对应的第四加权结果，表示第四加权结果的转置。
[0199]
具体实施时，可以利用上述公式五和目标核函数，确定出任一个初始查询特征与任一个初始键特征之间的相似度。
[0200]
关于上述公式五，可以按照以下过程推算得到：
[0201]
首先，每个语音特征对应的注意力特征可以按照如下公式六得到：
[0202][0203]
其中，kj表示键矩阵中的第j个初始键特征，vj表示值矩阵中的第j个目标值特征，其中，初始键特征和目标值特征可以组成一个键值对，成对使用。例如，在上述公式六的kj为键矩阵中的第5个初始键特征时，vj也为值矩阵中的第5个目标值特征。表示第j个初始键特征的转置，o中的o
t
的数量与待识别的语音序列中的语音特征的数量一致，oi表示第待识别的语音序列中的第i个语音特征对应的注意力特征。表示第i个初始查询特征和第j个初始键特征之间的相似度。
[0204]
将表示为也即，另则公式六可以改写为下述公式七：
[0205][0206]
进一步的，为了避免直接将查询矩阵和键矩阵直接相乘带来的计算量大的问题，可以将利用目标核函数对查询矩阵和键矩阵分别进行处理以避免查询矩阵和键矩阵直接相乘，具体的，可以利用目标核函数对进行分解，得到下述公式八：
[0207][0208]
其中，表示目标核函数，表示利用目标核函数对第i个初始查询特征进行转换后，得到的目标查询特征，表示利用目标核函数对第j个初始键特征进行转换后，得到的目标键特征，表示j个初始键特征对应的目标键特征的转置。
[0209]
进而，根据公式八和公式七，对公式七进行改写，得到公式九：
[0210][0211]
归一化操作(softmax)操作在注意力机制中发挥有重要作用，它确保查询矩阵和键矩阵是非负的，并提供非线性重新加权机制来描述每个语音特征对应的全局上下文信息。为了使公式八确定出的相似度oi逼近于利用softmax确定出的相似度oi，可以通过在公式八中引入余弦函数来实现。具体的，通过引入余弦函数在计算相似度oi时引入非线性重新加权，实现计算出的相似度oi逼近于利用softmax确定出的相似度oi，在引入余弦函数后，公式八可以转换为下述公式十：
[0212][0213]
之后，可以将从上述核函数一、核函数二或核函数三中选取的任一个目标核函数代入上述公式十。
[0214]
示例性的，以目标核函数为核函数一为例，在将核函数一为代入上述公式十后，可以得到下述公式十一：
[0215][0216]
令relu(qi)＝q’i
，relu(kj)＝k’j
，t＝m，并对余弦函数进行拆分，公式十一可以转换为下述公式十二：
[0217][0218]
再对公式十二进行形式变换，可以得到如下结论：
[0219][0220]
也即，基于公式六～公式十二，转换得到了上述公式五。基于上述公式五和目标核
函数，可以计算出各个初始查询特征与各个初始键特征之间的相似度。
[0221]
此外，在目标核函数为核函数二的情况下，可以设置在目标核函数为核函数三的情况下，可以设置sigmoid(qi)＝q’i
，关于后续得到上述公式五的过程，均可以参照上述目标核函数为核函数一时的描述，此处不再赘述。
[0222]
s103：针对语音序列中的每个语音特征，基于语音特征对应的初始查询特征与各个初始键特征之间的相似度、以及语音序列对应的值矩阵中的每个目标值特征，确定语音特征对应的注意力特征。
[0223]
示例性的，针对语音序列中的每个语音特征，可以将该语音特征对应的初始查询特征qi与各个初始键特征kj之间的相似度该语音特征对应的目标查询特征以及每个目标键特征的转置和每个目标值特征vj，代入上述公式九，得到该语音特征对应的注意力特征。
[0224]
在一种实施例中，针对s103，可以如下步骤实施：
[0225]
s103-1：针对每个初始键特征，基于初始键特征对应的第一加权结果，和在值矩阵中对应的第三排序值与初始键特征对应的第二排序值相同的目标值特征，确定初始键特征对应的第一中间结果。
[0226]
s103-2：基于初始键特征对应的第四加权结果，和在值矩阵中对应的第三排序值与初始键特征对应的第二排序值相同的目标值特征，确定初始键特征对应的第二中间结果。
[0227]
s103-3：将所述初始查询特征对应的第二加权结果和每个所述初始键特征对应的第一中间结果相乘，得到第五加权结果；
[0228]
s103-4：将所述初始查询特征对应的第三加权结果和每个所述初始键特征对应的第二中间结果相乘，得到第六加权结果；
[0229]
s103-5：基于所述语音特征对应的初始查询特征与每个所述初始键特征之间的相似度之和、所述第五加权结果之和、以及所述第六加权结果之和，确定所述语音特征对应的注意力特征。
[0230]
这里，第三排序值由目标值特征在值矩阵中的位置决定。例如，目标值特征为值矩阵中的第一个元素，则目标值特征对应的第三排序值即为1。
[0231]
具体实施时，针对上述s103-1～s103-5，在得到上述公式五之后，可以令公式五中的令令令然后公式五可以简化为公式十三：
[0232][0233]
之后，基于公式十三和公式七，可以得到注意力函数对应的公式十四：
[0234][0235]
其中，表示第j个初始键特征对应的第一加权结果，表示第j个初始
键特征对应的第一加权结果的转置，vj表示第j个目标值特征，表示第j个初始键特征对应的第四加权结果，表示第j个初始键特征对应的第四加权结果的转置，表示第j个初始键特征对应的第一中间结果，表示第i个初始查询特征对应的第二加权结果，
[0236]
表示第i个初始查询特征对应的第三加权结果，表示第i个初始查询特征对应的第五加权结果，表示第i个初始查询特征对应的第六加权结果。表示第i个初始查询特征qi与每个初始键特征之间的相似度之和，表示第i个初始查询特征对应的第五加权结果之和，表示第i个初始查询特征对应的第六加权结果之和。这样，基于上述公式十四，可以分别确定出每个语音特征xi对应的注意力特征oi。
[0237]
示例性的，待识别的语音序列x＝{x1,x2,x3,
……
x
t
}，语音特征分别为x1～x
t
，则得到的x1对应的注意力特征为o1，得到的x2对应的注意力特征为o2，依次类推，得到的x
t
对应的注意力特征为o
t
。
[0238]
并且，针对上述公式十四，可以用下述公式十五简化表示：
[0239][0240]
例如，查询矩阵和键矩阵均为t乘d的矩阵，则查询矩阵和键矩阵的转置矩阵直接进行相乘所需的计算量则为t^2
×
d，而基于上述公式十四进行计算，计算出注意力特征所需要的计算量将减少为t
×
d^2。因此，基于公式十四进行长语音序列的识别，时的计算压力将减少，识别时间也将减少，有效提高了识别速度。
[0241]
在具体实施时，确定各个语音特征对应的注意力特征的步骤，均可以利用训练好的语音识别神经网络中的cbsa模块执行，最终由cbsa模块输出各个语音特征对应的注意力特征。
[0242]
s104：基于语音序列中各个语音特征分别对应的注意力特征，确定语音序列对应的语音识别结果。
[0243]
这里，语音识别结果即为对待识别的语音序列进行识别后输出的文字结果。例如，待识别的语音序列x＝{x1,x2,x3,
……
x
t
}，语音序列对应的语音识别结果可以为y＝{y1,x2,x3,
……yu
}，其中，t》》u。这里，y1～yu分别表示识别出的不同的文字结果，一个文字结果可以由多个语音特征确定，因此，y远大于u，也即，语音特征的数量远大于文字结果的数量。此外，受语速的影响，文字结果和语音特征之间并不存在严格的数量映射关系。
[0244]
具体实施时，在得到各个语音特征分别对应的注意力特征之后，语音识别神经网络可以对各个注意力特征进行进一步的特征解析，从而确定出语音序列对应的语音识别结果。
[0245]
本公开实施例中的语音识别方法可以应用在智能车舱场景、语音客服场景、审核场景等多个场景中。示例性的，在智能车舱场景下，智能车舱可以获取驾驶员讲述的语音片
段，并利用上述语音识别方法对该语音片段进行识别，确定该语音片对应的语音识别结果指示在行驶500米后停止行驶，则智能车舱可以在控制车辆行驶500米后，控制车辆停止行驶。又例如，在语音客服场景下，可以利用部署有上述语音识别方法的语音识别机器人，获取客户的语音片段，并利用上述语音识别方法对该语音片段进行识别，确定该语音片对应的语音识别结果为：我想查询本账号的账单信息，则语音识别机器人可以根据该语音识别结果，将账单信息播报给客户。再例如，在审核场景下，可以利用部署有上述语音识别方法的审核机器人，获取客户的语音片段，并利用上述语音识别方法对该语音片段进行识别，确定该语音片对应的语音识别结果指示的语音验证码为1234，则可以根据该语音验证码确定用户是否存在进入目标区域的权限。本公开实施例直接基于余弦权重确定各个语音特征对应的注意力特征方式，省略了将多个注意力矩阵直接进行相乘的步骤，降低了计算量，提高了语音识别的速度。并且，计算量的减少，在识别长语音序列时的计算压力将减少，识别长语音序列的时间也将减少，有效提高了识别长语音序列的识别速度。
[0246]
在一种实施例中，针对s104，可以按照以下步骤实施：
[0247]
s104-1：将融合后的语音序列中的每个语音特征和该语音特征对应的注意力特征进行融合，得到融合后的每个注意力特征。
[0248]
这里，融合后的语音序列为将待识别的语音序列和第一个前馈网络层模块输出的映射后的语音序列进行序列融合后得到的语音序列。
[0249]
在得到各个语音特征对应的注意力特征之后，针对每个语音特征对应的注意力特征，可以将该语音特征对应的注意力特征，和融合后的语音序列中与该语音特征对应的融合后的语音特征进行融合，得到融合后的每个注意力特征。其中，融合后的注意力特征的数量与待识别的语音序列中的语音特征的数量一致，且融合后的注意力特征与待识别的语音序列中的语音特征一一对应。
[0250]
s104-2：对融合后的每个注意力特征分别进行卷积操作，得到卷积后的每个注意力特征，并对卷积后的每个注意力特征和该注意力特征对应的融合后的注意力特征进行特征融合，得到卷积后的每个注意力特征分别对应的初始注意力特征。
[0251]
具体实施时，可以将融合后的各个注意力特征输入至语音识别神经网络中的卷积模块(convolution module)，利用convolution module对融合后的每个注意力特征分别进行卷积操作，得到卷积后的每个注意力特征。再将卷积后的每个注意力特征和该注意力特征对应的融合后的注意力特征进行特征融合，得到卷积后的每个注意力特征分别对应的初始注意力特征。
[0252]
初始注意力特征的数量与待识别的语音序列中的语音特征的数量一致，且初始注意力特征与待识别的语音序列中的语音特征一一对应。
[0253]
s104-3：对每个初始注意力特征执行空间映射操作，得到映射后的每个初始注意力特征，并对每个初始注意力特征和该初始注意力特征对应的映射后的初始注意力特征进行特征融合，得到融合后的每个初始注意力特征。
[0254]
具体实施时，可以将各个初始注意力特征，输入至语音识别神经网络中的第二个前馈网络层模块(feed forward module)，利用第二个前馈网络层模块对每个初始注意力特征分别执行空间映射操作，得到映射后的每个初始注意力特征。之后，可以将每个初始注意力特征和该初始注意力特征对应的映射后的初始注意力特征进行特征融合，得到融合后
的每个初始注意力特征。
[0255]
s104-4：对融合后的每个初始注意力特征执行归一化操作，得到每个语音特征对应的中间注意力特征，并基于每个中间注意力特征，确定语音序列对应的语音识别结果。
[0256]
具体实施时，可以将融合后的每个初始注意力特征，输入至语音识别神经网络中的归一化层(layernorm)，利用layernorm对融合后的每个初始注意力特征分别执行归一化操作，得到融合后的每个初始注意力特征分别对应的中间注意力特征，由于融合后的每个初始注意力特征与待识别的语音序列中的语音特征一一对应，所以也就得到的待识别的语音序列中的每个语音特征分别对应的中间注意力特征。
[0257]
进一步的，语音识别神经网络可以对中间注意力特征直接进行解析，确定出语音序列对应的语音识别结果。
[0258]
其中，上述第一个前馈网络层模块、cbsa模块、卷积模块、第二个前馈网络层模块和归一化层，均属于语音识别神经网络中的编码器(encoder)的模块。也即，在得到待识别的语音序列之后，可以将该待识别的语音序列输入至encoder，encoder中的各个模块可以基于该待识别的语音序列，输出该待识别的语音序列对应的语音识别结果。
[0259]
或者，在另一种实施例中，在得到每个中间注意力特征之后，可以将由每个中间注意力特征组成的序列作为新的待识别的语音序列，并将每个中间注意力特征作为该新的待识别的语音序列中的各个语音特征。
[0260]
之后，返回执行对语音序列执行空间映射操作，得到映射后的语音序列的步骤，直至循环次数达到预设次数，得到待识别的语音序列对应的每个目标注意力特征。
[0261]
这里，预设次数根据语音识别神经网络中包括的encoder的数量决定，encoder的数量可以根据开发需求进行设置，此处不进行限制。
[0262]
示例性的，语音识别神经网络中可以包括12个encoder。每个encoder的结构一致，均包括上述第一个前馈网络层模块、cbsa模块、卷积模块、第二个前馈网络层模块和归一化层。针对每个encoder而言，其对应的卷积内核为31，模型尺寸为256，两个前馈网络层模块均具有2048个前向层。每个层对应的dropout率可以设置为0.1。
[0263]
在利用第一个encoder输出每个中间注意力特征之后，可以将第一个encoder的输出，作为第二个encoder的输入，利用第二个encoder对该输入进行处理，得到第二个encoder输出的各个中间注意力特征，再将第二个encoder输出的各个中间注意力特征，作为第三个encoder的输入，依次类推，可以将第十二个encoder的输出的各个中间注意力特征，作为待识别的语音序列对应的每个目标注意力特征。其中，一个目标注意力特征对应于待识别的语音序列中的一个语音特征。
[0264]
最后，可以基于输出的每个目标注意力特征，确定语音识别结果。
[0265]
例如，语音识别神经网络可以直接对输出的每个目标注意力特征进行解析，基于解析结果，确定语音识别结果。
[0266]
这样，利用多个解码器进行多次解码操作，可以将各个语音特征对应所表征的信息的充分提取，从而得到包含丰富信息的目标注意力特征。利用每个目标注意力特征进行语音识别，可以提高确定出的语音识别结果的准确性。
[0267]
或者，在得到每个目标注意力特征之后，可以利用预设的至少一个解码模块，对每个目标注意力特征进行特征解码，得到语音识别结果；其中，解码次序前后相邻的两个解码
模块中的后一个解码模块的输入，为前一个解码模块的输出，解码次序位于最后的解码模块的输出为语音识别结果。
[0268]
这里，解码模块具体可以为变压器解码器(transformer decoder)。解码模块的数量可以根据实际的语音识别需要进行设置，此处不进行限制。
[0269]
示例性的，语音识别神经网络可以部署有6个解码模块，每次解码模块对应于不同的解码次序。解码次序前后相邻的两个解码模块中的后一个解码模块的输入，为前一个解码模块的输出，解码次序位于最后的解码模块的输出为语音识别结果。
[0270]
例如，在第十二个encoder的输出每个目标注意力特征之后，可以将每个目标注意力特征输入至解码次序为1的第一个解码模块，利用第一个解码模块分别对每个目标注意力特征进行特征解码，得到并输出每个目标注意力特征对应的解码特征，然后可以将第一个解码模块的输出，作为输入至解码次序为2的第二个解码模块的输入，利用第二个解码模块对每个解码特征进行进一步的解码，得到第二个解码模块的输出，再将第二模块的输出，作为解码次序为3的第三个解码模块的输入，依次类推，将解码次序为6的第六个解码模块的输出作为最终的语音识别结果。
[0271]
这样，利用多个解码模块进行解码，能够实现对每个目标注意力特征所表征的信息的充分解码，从而得到准确的语音识别结果。
[0272]
如图2所示，为本公开实施例提供的一种语音识别神经网络的结构示意图，其中，n表示语音识别神经网络中的编码器encoder的数量，m表示语音识别神经网络中的变压器解码器transformer decoder的数量。encoder的具体结构可以如虚线框部分所示。
[0273]
在语音识别神经网络中包括encoder和transformer decoder的情况下，在将待识别的语音序列输入至语音识别神经网络中之后，可以利用语音识别神经网络中的encoder和transformer decoder对待识别的语音序列进行处理，最终由transformer decoder输出语音识别结果。
[0274]
或者，在语音识别神经网络中仅包括encoder的情况下，可以在最后一个encoder输出待识别的语音序列对应的各个目标注意力特征之后，直接基于目标注意力特征，输出语音识别结果。关于语音识别神经网络中是否需要包括transformer decoder，可以根据实际的语音识别需要确定，本公开实施例不进行限定。
[0275]
在一种实施例中，由于本公开实施例提供的语音识别方法可以利用训练好的语音识别神经网络执行，所以本公开实施例还提供了一种训练语音识别神经网络的方法，如图3所示，为本公开实施例提供的一种训练待训练的语音识别神经网络的方法的流程图，可以包括以下步骤：
[0276]
s301：获取待识别的样本语音序列。
[0277]
这里，待识别的样本语音序列中可以包括多个样本语音特征。
[0278]
s302：将样本语音序列输入待训练的语音识别神经网络，并利用待训练的语音识别神经网络对样本语音序列进行识别处理，确定样本语音序列对应的每个目标预测注意力特征。
[0279]
这里，一个目标预测注意力特征对应于一个样本语音特征，目标注意力特征的数量与样本语音特征的数量一致，目标预测注意力特征为待训练的语音识别神经网络对样本语音特征进行识别处理后，输出的与样本语音特征相对应的预测特征。
entropy，交叉熵。
[0295]
这里，在待训练的目标神经网络中包括至少一个解码模块(具体可以为transformer decoder)的情况下，可以利用待训练的语音识别神经网络中预设的至少一个解码模块，对每个目标预测注意力特征进行特征解码，得到第二预测语音结果。
[0296]
示例性的，在待训练的语音识别神经网络中的最后一个encoder，输出样本语音序列对应的各个目标预测注意力特征后，可以将各个目标预测注意力特征输入至第一个transformer decoder，利用第一个transformer decoder对其进行处理，得到第一个transformer decoder的输出，再将第一个transformer decoder的输出，作为第二个transformer decoder的输入，依次类推，将最后一个transformer decoder的输出作为第二预测语音结果。
[0297]
继而，可以基于第二预测语音结果和标准语音结果，确定待训练的语音识别神经网络对应的交叉熵损失。
[0298]
最后，可以利用交叉熵损失对待训练的语音识别神经网络进行迭代训练，直至满足训练截止条件，得到训练好的语音识别神经网络。或者，也可以利用交叉熵损失和时序分类损失，一起对待训练的语音识别神经网络进行迭代训练，在满足训练截止条件的情况下，得到训练好的语音识别神经网络。
[0299]
这里，如果使用交叉熵损失和时序分类损失，一起对待训练的语音识别神经网络进行迭代训练，训练好的语音识别神经网络在具体应用时，在语音识别神经网络中的最后一个encoder输出预测的目标注意力特征之后，可以直接利用目标注意力特征确定语音识别结果；也可以利用transformer decoder对目标注意力特征进行特征解码，以确定语音识别结果，此处不进行具体限定。
[0300]
如图4所示，为本公开实施例提供的一种确定待训练的语音识别神经网络对应的预测损失的示意图，其中，n表示待训练的语音识别神经网络中的编码器encoder的数量，m表示待训练的语音识别神经网络中的变压器解码器transformer decoder的数量。
[0301]
针对待训练的语音识别神经网络中包括encoder的情况，可以在最后一个encoder输出样本语音序列对应的每个目标预测注意力特征之后，直接基于每个目标预测注意力特征，确定样本语音序列对应的第一预测语音结果。之后，可以基于第一预测语音结果和样本语音序列对应的标准语音结果，确定待训练的语音识别神经网络对应的时序分类损失(ctc损失)。
[0302]
针对待训练的语音识别神经网络中包括encoder和transformer decoder的情况，在将样本语音序列输入至待训练的语音识别神经网络中之后，可以利用语音识别神经网络中的encoder和transformer decoder对样本语音序列进行处理，最终由transformer decoder输出样本语音序列对应的第二预测语音结果。进而，可以基于第二预测语音结果和样本语音序列对应的标准语音结果，确定待训练的语音识别神经网络对应的交叉熵损失(ce损失)。
[0303]
之后，可以利用ce损失和ctc损失中的至少一个损失，对待训练的语音识别神经网络进行迭代训练，直至满足训练截止条件，得到训练好的语音识别神经网络。
[0304]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功
能和可能的内在逻辑确定。
[0305]
基于同一发明构思，本公开实施例中还提供了与语音识别方法对应的语音识别装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述语音识别方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
[0306]
如图5所示，为本公开实施例提供的一种语音识别装置的示意图，包括：
[0307]
第一确定模块501，用于基于待识别的语音序列中的语音特征的数量，确定所述语音序列对应的查询矩阵中的每个初始查询特征的第一余弦权重，和所述语音序列对应的键矩阵中的每个所述初始键特征的第二余弦权重；
[0308]
第二确定模块502，用于基于所述第一余弦权重和所述第二余弦权重，确定每个所述初始查询特征分别与各个所述初始键特征之间的相似度；
[0309]
第三确定模块503，用于针对所述语音序列中的每个语音特征，基于所述语音特征对应的初始查询特征与各个所述初始键特征之间的相似度、以及所述语音序列对应的值矩阵中的每个目标值特征，确定所述语音特征对应的注意力特征；
[0310]
第四确定模块504，用于基于所述语音序列中各个所述语音特征分别对应的注意力特征，确定所述语音序列对应的语音识别结果。
[0311]
在一种可能的实施方式中，所述第二确定模块502，在所述基于所述第一余弦权重和所述第二余弦权重，确定每个所述初始查询特征分别与各个所述初始键特征之间的相似度时，用于利用预设的多个核函数中的任一个目标核函数，将每个所述初始查询特征转换为非负的目标查询特征，以及将每个初始键特征转换为非负的目标键特征；
[0312]
基于每个所述初始键特征对应的第二余弦权重和该初始键特征对应的目标键特征，确定每个所述初始键特征对应的第一加权结果；
[0313]
针对每个所述初始查询特征，基于所述初始查询特征对应的目标查询特征和所述初始查询特征对应的第一余弦权重，确定所述初始查询特征对应的第二加权结果；并基于所述第二加权结果和各个所述初始键特征对应所述第一加权结果，确定所述初始查询特征分别与各个所述初始键特征之间的相似度。
[0314]
在一种可能的实施方式中，所述第二确定模块502，在所述基于所述第二加权结果和各个所述初始键特征对应所述第一加权结果，确定所述初始查询特征分别与各个所述初始键特征之间的相似度时，用于基于所述初始查询特征在所述查询矩阵中的第一排序值和所述语音特征的数量，确定所述初始查询特征对应的第一正弦权重，以及基于每个所述初始键特征在所述键矩阵中的第二排序值，确定每个所述初始键特征对应的第二正弦权重；
[0315]
基于所述第一正弦权重和所述初始查询特征对应的目标查询特征，确定所述初始查询特征对应的第三加权结果；
[0316]
针对每个所述初始键特征，基于所述初始键特征对应的第二正弦权重和所述初始键特征对应的目标键特征，确定所述初始键特征对应的第四加权结果；
[0317]
基于所述第二加权结果、所述第三加权结果、每个所述初始键特征对应的第一加权结果和第四加权结果，确定所述初始查询特征与每个所述初始键特征之间的相似度。
[0318]
在一种可能的实施方式中，所述第三确定模块503，在所述基于所述语音特征对应的初始查询特征与各个所述初始键特征之间的相似度、以及所述语音序列对应的值矩阵中的每个目标值特征，确定所述语音特征对应的注意力特征时，用于针对每个所述初始键特
征，基于所述初始键特征对应的第一加权结果，和在所述值矩阵中对应的第三排序值与所述初始键特征对应的第二排序值相同的目标值特征，确定所述初始键特征对应的第一中间结果；
[0319]
基于所述初始键特征对应的第四加权结果，和在所述值矩阵中对应的第三排序值与所述初始键特征对应的第二排序值相同的目标值特征，确定所述初始键特征对应的第二中间结果；
[0320]
将所述初始查询特征对应的第二加权结果和每个所述初始键特征对应的第一中间结果相乘，得到第五加权结果；
[0321]
将所述初始查询特征对应的第三加权结果和每个所述初始键特征对应的第二中间结果相乘，得到第六加权结果；
[0322]
基于所述语音特征对应的初始查询特征与每个所述初始键特征之间的相似度之和、所述第五加权结果之和、以及所述第六加权结果之和，确定所述语音特征对应的注意力特征。
[0323]
在一种可能的实施方式中，所述装置还包括映射模块505，用于在所述基于待识别的语音序列中的语音特征的数量，确定所述语音序列对应的查询矩阵中的每个所述初始查询特征的第一余弦权重之前，获取待识别的所述语音序列，并对所述语音序列执行空间映射操作，得到映射后的所述语音序列；
[0324]
将所述语音序列和映射后的所述语音序列进行序列融合，得到融合后的语音序列；
[0325]
利用目标特征矩阵分别对融合后的语音序列进行特征映射处理，得到所述语音序列对应的查询矩阵、键矩阵和值矩阵；其中，所述查询矩阵、键矩阵和值矩阵分别对应不同的所述目标特征矩阵。
[0326]
在一种可能的实施方式中，所述第四确定模块504，在所述基于所述语音序列中各个所述语音特征分别对应的注意力特征，确定所述语音序列对应的语音识别结果时，用于将所述融合后的语音序列中的每个语音特征和该语音特征对应的注意力特征进行融合，得到融合后的每个注意力特征；
[0327]
对融合后的每个注意力特征分别进行卷积操作，得到卷积后的每个注意力特征，并对卷积后的每个注意力特征和该注意力特征对应的融合后的注意力特征进行特征融合，得到卷积后的每个注意力特征分别对应的初始注意力特征；
[0328]
对每个所述初始注意力特征执行空间映射操作，得到映射后的每个初始注意力特征，并对每个所述初始注意力特征和该初始注意力特征对应的映射后的初始注意力特征进行特征融合，得到融合后的每个初始注意力特征；
[0329]
对融合后的每个初始注意力特征执行归一化操作，得到每个语音特征对应的中间注意力特征，并基于每个中间注意力特征，确定所述语音序列对应的语音识别结果。
[0330]
在一种可能的实施方式中，所述第四确定模块504，在所述基于每个中间注意力特征，确定所述语音序列对应的语音识别结果时，用于将由每个中间注意力特征组成的序列作为新的待识别的语音序列，以及将每个中间注意力特征作为所述新的待识别的语音序列中的各个语音特征；
[0331]
返回执行对所述语音序列执行空间映射操作，得到映射后的所述语音序列的步
骤，直至循环次数达到预设次数，得到所述待识别的语音序列对应的每个目标注意力特征；
[0332]
基于每个所述目标注意力特征，确定所述语音识别结果。
[0333]
在一种可能的实施方式中，所述第四确定模块504，在所述基于每个所述目标注意力特征，确定所述语音识别结果时，用于利用预设的至少一个解码模块，对每个所述目标注意力特征进行特征解码，得到所述语音识别结果；其中，解码次序前后相邻的两个解码模块中的后一个解码模块的输入，为前一个解码模块的输出，解码次序位于最后的解码模块的输出为所述语音识别结果。
[0334]
在一种可能的实施方式中，所述语音识别方法利用预先训练好的语音识别神经网络执行；
[0335]
所述装置还包括：训练模块506，用于按照以下步骤训练所述语音识别神经网络：
[0336]
获取待识别的样本语音序列；
[0337]
将所述样本语音序列输入待训练的语音识别神经网络，并利用所述待训练的语音识别神经网络对所述样本语音序列进行识别处理，确定所述样本语音序列对应的每个所述目标预测注意力特征；
[0338]
基于每个所述目标预测注意力特征，确定所述样本语音序列对应的预测语音结果；
[0339]
基于所述预测语音结果和所述样本语音序列对应的标准语音结果，确定所述待训练的语音识别神经网络对应的预测损失，并利用所述预测损失对所述待训练的语音识别神经网络进行迭代训练，直至满足训练截止条件，得到训练好的语音识别神经网络。
[0340]
在一种可能的实施方式中，所述预测语音结果包括第一预测语音结果，所述预测损失包括时序分类损失；
[0341]
所述训练模块506，在所述基于每个所述目标预测注意力特征，确定所述样本语音序列对应的预测语音结果时，用于利用每个所述目标预测注意力特征，确定所述样本语音序列对应的第一预测语音结果；
[0342]
以及在所述基于所述预测语音结果，确定所述待训练的语音识别神经网络对应的预测损失时，用于利用神经网络连接时序分类ctc算法，基于所述第一预测语音结果和所述标准语音结果，确定所述时序分类损失。
[0343]
在一种可能的实施方式中，所述预测语音结果包括第二预测语音结果，所述预测损失包括交叉熵损失；
[0344]
所述训练模块506，在所述基于每个所述目标预测注意力特征，确定所述样本语音序列对应的预测语音结果时，用于利用所述待训练的语音识别神经网络中预设的至少一个解码模块，对每个所述目标预测注意力特征进行特征解码，得到所述第二预测语音结果；
[0345]
以及在所述基于所述预测语音结果，确定所述待训练的语音识别神经网络对应的预测损失时，用于基于所述第二预测语音结果和所述标准语音结果，确定所述交叉熵损失。
[0346]
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
[0347]
基于同一技术构思，本技术实施例还提供了一种计算机设备。参照图6所示，为本技术实施例提供的一种计算机设备的结构示意图，包括：
[0348]
处理器61、存储器62和总线63。其中，存储器62存储有处理器61可执行的机器可读
指令，处理器61用于执行存储器62中存储的机器可读指令，所述机器可读指令被处理器61执行时，处理器61执行下述步骤：s101：基于待识别的语音序列中的语音特征的数量，确定语音序列对应的查询矩阵中的每个初始查询特征的第一余弦权重，和语音序列对应的键矩阵中的每个初始键特征的第二余弦权重；s102：基于第一余弦权重和第二余弦权重，确定每个初始查询特征分别与各个初始键特征之间的相似度；s103：针对语音序列中的每个语音特征，基于语音特征对应的初始查询特征与各个初始键特征之间的相似度、以及语音序列对应的值矩阵中的每个目标值特征，确定语音特征对应的注意力特征以及s104：基于语音序列中各个语音特征分别对应的注意力特征，确定语音序列对应的语音识别结果。
[0349]
上述存储器62包括内存621和外部存储器622；这里的内存621也称内存储器，用于暂时存放处理器61中的运算数据，以及与硬盘等外部存储器622交换的数据，处理器61通过内存621与外部存储器622进行数据交换，当计算机设备运行时，处理器61与存储器62之间通过总线63通信，使得处理器61在执行上述方法实施例中所提及的执行指令。
[0350]
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的语音识别方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
[0351]
本公开实施例所提供的语音识别方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的语音识别方法的步骤，具体可参见上述方法实施例，在此不再赘述。
[0352]
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
[0353]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0354]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0355]
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0356]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所
述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0357]
若本技术技术方案涉及个人信息，应用本技术技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本技术技术方案涉及敏感个人信息，应用本技术技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式、处理的个人信息种类等信息。
[0358]
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。