语音识别方法、装置、电子设备、存储介质及程序产品与流程

1.本发明实施例涉及一种语音识别方法、装置、电子设备、存储介质及程序产品。


背景技术：

2.当下主流语音识别系统多基于transformer结构进行声学模型和语言模型的构建处理。transformer结构中具有自注意力模块，用于自注意力的计算。图2为传统transformer结构中自注意力模块的计算过程示意图，自注意力模块进行自注意力的计算时，采用如下计算过程：
3.q＝xwq4.k＝xwk5.v＝xwv[0006][0007]
selfattention(q,k,v)＝av
[0008]
其中，input x∈rn×m表示输入的语音信号，n、m分别表示语音信号的行数和列数，n可以为语音信号的帧数，m可以为语音信号的频率数。x通过不同的转换矩阵wq,wk,wv，得到，得到dq、dk、dv分别表示转换矩阵wq,wk,wv的列数。softmax用于在每行的维度上进行归一化处理，a为自注意力值，selfattention(
·
)为自注意力模块的最终输出。在上述公式中，图2中的query表示为q，key表示为k，value表示为v。
[0009]
上述步骤需要大量的计算过程，对系统服务器性能要求较高。与在线语音识别服务器相比，嵌入式语音识别设备计算资源(如内存、计算力)极为有限，同时还要求系统具有更快的响应速度。因此，如何减小计算量、提高运算速度是嵌入式语音识别应用亟待解决的问题。


技术实现要素：

[0010]
为解决现有技术中的问题，本发明实施例提供一种语音识别方法、装置、电子设备、存储介质及程序产品。
[0011]
本发明实施例提供一种语音识别方法，包括：获取待进行语音识别的语音信号；基于声学模型及语言模型对所述语音信号进行语音识别；其中，所述声学模型和所述语言模型是基于修改了自注意力模块的transformer结构构建的，所述修改了自注意力模块的transformer结构中的自注意力模块的自注意力值是基于神经网络的权重矩阵得到的。
[0012]
根据本发明实施例提供的一种语音识别方法，所述基于声学模型及语言模型对所述语音信号进行语音识别，包括：对所述语音信号进行声学处理，得到声学特征；利用所述声学特征及所述声学模型进行声学编码，得到音节序列；将所述音节序列和词表进行词表匹配，得到词序列；将所述词序列输入到所述语言模型输出语言解码结果。
[0013]
根据本发明实施例提供的一种语音识别方法，所述自注意力值表示为：a＝
softmax(f(g(w)))，且f(g(w))的计算量小于q＝xwq，k＝xwk，式中，a表示所述自注意力值，x表示所述语音信号，wq、wk表示转换矩阵，dk表示转换矩阵wk的列数；w表示所述神经网络的权重矩阵，g(w)表示w的函数，f(g(w))表示g(w)的函数。
[0014]
根据本发明实施例提供的一种语音识别方法，所述自注意力值表示为：g(w)＝wx或g(w)＝w；其中，x表示所述语音信号。
[0015]
根据本发明实施例提供的一种语音识别方法，所述神经网络的权重矩阵经过稀疏化处理。
[0016]
根据本发明实施例提供的一种语音识别方法，所述神经网络的权重矩阵的有效值存在于对角线及从对角线向两侧延伸的位置上；且对应所述神经网络的权重矩阵的每行，有效值数量之和小于所述语音信号的行数。
[0017]
本发明实施例还提供一种语音识别装置，包括：语音信号获取模块，用于：获取待进行语音识别的语音信号；语音识别模块，用于：基于声学模型及语言模型对所述语音信号进行语音识别；其中，所述声学模型和所述语言模型是基于修改了自注意力模块的transformer结构构建的，所述修改了自注意力模块的transformer结构中的自注意力模块的自注意力值是基于神经网络的权重矩阵得到的。
[0018]
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述语音识别方法的步骤。
[0019]
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述语音识别方法的步骤。
[0020]
本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述语音识别方法的步骤。
[0021]
本发明实施例提供的语音识别方法、装置、电子设备、存储介质及程序产品，通过获取待进行语音识别的语音信号，基于声学模型及语言模型对语音信号进行语音识别，其中，声学模型和语言模型是基于修改了自注意力模块的transformer结构构建的，修改了自注意力模块的transformer结构中的自注意力模块的自注意力值是基于神经网络的权重矩阵得到的，可以提高自注意力值的计算速度，进而提高改进的transformer结构自注意力模块输出结果的速度，提高利用改进的transformer结构构建的声学模型和语言模型的处理速度，从而从整体上提高了语音识别的处理速度。
附图说明
[0022]
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]
图1是本发明实施例提供的语音识别方法的流程示意图之一；
[0024]
图2为传统transformer结构中自注意力模块的计算过程示意图；
[0025]
图3是本发明实施例提供的语音识别方法中自注意力模块的计算过程示意图之
一；
[0026]
图4是本发明提供的语音识别方法的流程示意图之二；
[0027]
图5是本发明实施例提供的语音识别方法中自注意力模块的计算过程示意图之二；
[0028]
图6为本发明实施例提供的语音识别方法中未对神经网络的权重矩阵进行稀疏化处理的计算复杂度示意图；
[0029]
图7是本发明实施例提供的语音识别方法中神经网络的权重矩阵的稀疏化处理过程示意图；
[0030]
图8是本发明实施例提供的语音识别装置的结构示意图；
[0031]
图9是本发明实施例提供的电子设备的结构示意图。
具体实施方式
[0032]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0033]
下面结合图1-图9描述本发明实施例的语音识别方法、装置、电子设备、存储介质及程序产品。
[0034]
图1是本发明实施例提供的语音识别方法的流程示意图之一。如图1所示，所述方法包括：
[0035]
步骤101、获取待进行语音识别的语音信号。
[0036]
获取待进行语音识别的语音信号，待识别的语音信号可以是原始语音信号或经过初步信号处理(如去噪)后的语音信号。
[0037]
步骤102、基于声学模型及语言模型对所述语音信号进行语音识别；其中，所述声学模型和所述语言模型是基于修改了自注意力模块的transformer结构构建的，所述修改了自注意力模块的transformer结构中的自注意力模块的自注意力值是基于神经网络的权重矩阵得到的。
[0038]
本发明在于对transformer结构(并非实体结构，体现为各个功能模块的计算过程)中自注意力模块的改进，其中，自注意力模块是一个功能模块，本发明的改进点包括简化自注意力模块中自注意力值a的计算过程，降低自注意力值a的计算量。
[0039]
本发明的改进在于对transformer结构中自注意力模块计算的提速，transformer结构中自注意力模块包括self-attention模块(自注意力机制模块)和encoder-decoder attention模块(编解码注意力模块),encoder-decoder attention模块因为和self-attention模块的输入参数不同，所以用不同的形式进行了表示，其也是用于计算自注意力的。
[0040]
基于声学模型及语言模型对待识别的语音信号进行语音识别。其中，声学模型及语言模型是基于改进的transformer结构构建的。改进的transformer结构是通过对现有的transformer结构中的自注意力模块进行改进得到的。改进的transformer结构中的自注意力模块的自注意力值a是基于神经网络的权重矩阵得到的。
[0041]
通过基于神经网络的权重矩阵得到自注意力值a，在有效获得自注意力值a的基础上可以减少自注意力值a的计算量，使得自注意力值a的计算量小于现有自注意力值a的计算量。
[0042]
图3是本发明实施例提供的语音识别方法中自注意力模块的计算过程示意图之一。如图3所示，本发明的改进在于对于自注意力值a的计算，即图3中的虚线框部分，得到自注意力值a后，通过计算av的结果得到自注意力模块的最终输出结果output。v即现有自注意力计算方法中的value。
[0043]
本发明实施例提供的语音识别方法，通过获取待进行语音识别的语音信号，基于声学模型及语言模型对语音信号进行语音识别，其中，声学模型和语言模型是基于修改了自注意力模块的transformer结构构建的，修改了自注意力模块的transformer结构中的自注意力模块的自注意力值是基于神经网络的权重矩阵得到的，可以提高自注意力值的计算速度，进而提高改进的transformer结构自注意力模块输出结果的速度，提高利用改进的transformer结构构建的声学模型和语言模型的处理速度，从而从整体上提高语音识别的处理速度。
[0044]
根据本发明实施例提供的一种语音识别方法，所述基于声学模型及语言模型对所述语音信号进行语音识别，包括：对所述语音信号进行声学处理，得到声学特征；利用所述声学特征及所述声学模型进行声学编码，得到音节序列；将所述音节序列和词表进行词表匹配，得到词序列；将所述词序列输入到所述语言模型输出语言解码结果。
[0045]
图4是本发明提供的语音识别方法的流程示意图之二。基于上述自注意力值的计算方法改进transformer结构中自注意力模块的计算，利用改进的transformer结构构建声学模型和语言模型，基于构建的声学模型和语言模型进行语音识别。如图4所示，基于构建的声学模型和语言模型进行语音识别的过程包括：
[0046]
对输入的语音信号进行声学处理后，得到声学特征；利用声学特征及声学模型进行声学编码，得到音节序列；将音节序列和词表进行词表匹配，得到词序列；将词序列输入到语言模型输出语言解码结果，从而完成语音识别过程。
[0047]
改进后的transformer结构计算复杂度显著下降，可用于声学模型和语言模型中的信号处理提高应用设备对语音信号的响应速度，从而实现更快的语音识别任务。
[0048]
本发明实施例提供的语音识别方法，通过基于改进的transformer结构构建声学模型和语言模型，基于声学模型和语言模型进行语音识别，提高了利用transformer结构构建的声学模型和语言模型的处理速度，从而从整体上提高了语音识别的处理速度。
[0049]
根据本发明实施例提供的语音识别方法，所述自注意力值表示为：a＝softmax(f(g(w)))，且f(g(w))的计算量小于q＝xwq，k＝xwk，式中，a表示所述自注意力值，x表示所述语音信号，wq、wk表示转换矩阵，dk表示转换矩阵wk的列数；w表示所述神经网络的权重矩阵，g(w)表示w的函数，f(g(w))表示g(w)的函数。
[0050]
本发明实施例在自注意力值a的计算中，也是通过归一化处理得到自注意力值a，改进在于归一化处理的对象表示为f(g(w))。现有技术自注意力值a的计算中，归一化处理的对象表示为本发明实施例中，f(g(w))的计算量小于从而提高自注意力值a的计
算速度。
[0051]
本发明实施例提供的语音识别方法，通过改进进行归一化处理的对象来减少自注意力值的计算量，提高计算速度，实现了语音识别速度提高的简便性。
[0052]
根据本发明提供的一种语音识别方法，g(w)＝wx或g(w)＝w；其中，x表示所述语音信号。
[0053]
g(w)可以表示为wx，则自注意力值a表示为：a＝softmax(f(wx))，也即通过对wx的函数进行归一化处理得到自注意力值a。f(wx)可以是wx的非线性函数，如f(wx)表示为sigmoid(wx)，f(wx)＝sigmoid(wx b)等等。其中b可以取值为神经网络的偏置，sigmoid表示神经网络的激活函数。g(w)表示为wx，在保留输入语音信号的基础上减少了自注意力值的计算量，提高了自注意力值的计算速度。
[0054]
为进一步减少自注意力值a的计算量，f(wx)也可以表示为wx的线性函数，如f(wx)表示为f(wx)＝wx，f(wx)＝wx b等等。其中b可以取值为神经网络的偏置。通过使得f(wx)表示为wx的线性变换函数，在保留输入语音信号的基础上进一步减少了自注意力值的计算量，提高了自注意力值的计算速度。
[0055]
为进一步减少自注意力值a的计算量，g(w)也可以不依赖输入的语音信号x，即完全随机初始化生成自注意力值a，神经网络在训练中对自注意力值a进行更新，g(w)可以表示为w，即g(w)＝w，则自注意力值a表示为：a＝softmax(f(w))，也即通过对w的函数进行归一化处理得到自注意力值a。
[0056]
图5是本发明实施例提供的语音识别方法中自注意力模块的计算过程示意图之二。如图5所示，在g(w)＝w时，自注意力值a的计算将不依赖于输入的语音信号x。通过使得g(w)＝w，不进行输入的语音信号的计算，进一步减少了自注意力值的计算量，提高了自注意力值的计算速度。
[0057]
本发明实施例提供的语音识别方法，通过令g(w)＝wx或g(w)＝w，进一步减少了自注意力值的计算量，提高了自注意力值的计算速度，从而进一步提高了语音识别的速度。
[0058]
根据本发明实施例提供的语音识别方法，所述神经网络的权重矩阵经过稀疏化处理。
[0059]
自注意力值a的计算过程中，可以将神经网络的权重矩阵w进行稀疏化处理，进一步减少自注意力值a的计算量。对神经网络的权重矩阵w进行稀疏化处理可以通过使得w的某些位置上固定为0值，使这些位置上的数据不参与计算过程。
[0060]
本发明实施例提供的语音识别方法，通过对神经网络的权重矩阵进行稀疏化处理，减少了自注意力值的计算复杂度，提高了自注意力值的计算速度。
[0061]
根据本发明实施例提供的一种语音识别方法，所述神经网络的权重矩阵的有效值存在于对角线及从对角线向两侧延伸的位置上；且对应所述神经网络的权重矩阵的每行，有效值数量之和小于所述语音信号的行数。
[0062]
图6为本发明实施例提供的语音识别方法中未对神经网络的权重矩阵进行稀疏化处理的计算复杂度示意图。如图6所示，比如w∈rn×n，其中，n表示输入的语音信号的行数，可以为语音信号的帧数。则每一帧信号都需要与全部信号进行相关度计算，计算复杂度为o(n2)，对系统服务器性能要求较高。计算复杂度不等同于计算量，但与计算量有关。
[0063]
图7是本发明实施例提供的语音识别方法中神经网络的权重矩阵的稀疏化处理过
程示意图。如图7所示，左图表示稀疏化处理前的w，w∈rn×n，右图表示稀疏化处理后的w，w∈ra×n。其中，a表示神经网络的权重矩阵w每行的有效值所占的最大列数，a小于输入的语音信号的行数n，从而降低计算复杂度。
[0064]
并且，根据语音的局部相关性只计算局部自注意力值，w的有效值存在于对角线及从对角线向两侧延伸的位置上实现局部注意力值的计算。若输入的语音信号的行数表示为帧数，则如图7右图所示，第一行的第一个有效值用于计算第1帧和第1帧的相关度，第一行的第二个有效值用于计算第1帧和第2帧的相关度；第二行的第一个有效值用于计算第2帧和第1帧的相关度，第二行的第二个有效值用于计算第2帧和第2帧的相关度，第二行的第三个有效值用于计算第2帧和第3帧的相关度，因此保证了局部自注意力值的计算。
[0065]
通过对应每行对角线上的元素和两侧相邻的元素的数量之和的最大值a(神经网络的权重矩阵w每行的有效值所占的最大列数)小于语音信号的行数n实现计算矩阵计算复杂度的降低。
[0066]
w∈ra×n，x∈rn×m，n、m分别表示语音信号的行数和列数，n可以为语音信号的帧数，m可以为语音信号的频率数。以计算wx为例，w每行的特征与x每列的特征计算点积，而由于w每行的有效值最多只有a个，因此，计算复杂度从o(n2)降低至o(an)。若采用f(x)＝w，采用经过稀疏化处理的w计算自注意力值a，也将降低自注意力值a的计算复杂度。虽然降低了计算复杂度，但由于w中保留了临近的有效值，因此，保证了局部相关性的计算。
[0067]
a可以是通过随机数法随机生成的。可以通过多轮实验，根据语音识别的效果选择最优a值，如根据语音识别的处理速度和准确性确定最优a值。
[0068]
本发明实施例提供的语音识别方法，通过使得w的有效值存在于对角线及从对角线向两侧延伸的位置上，且每行有效值数量之和小于语音信号的行数，平衡了计算速度的提高和语音识别准确度的需求。
[0069]
下面对本发明实施例提供的语音识别装置进行描述，下文描述的语音识别装置与上文描述的语音识别方法可相互对应参照。
[0070]
图8是本发明实施例提供的语音识别装置的结构示意图。如图8所示，所述装置包括语音信号获取模块10和语音识别模块20，其中：语音信号获取模块10用于：获取待进行语音识别的语音信号；语音识别模块20用于：基于声学模型及语言模型对所述语音信号进行语音识别；其中，所述声学模型和所述语言模型是基于修改了自注意力模块的transformer结构构建的，所述修改了自注意力模块的transformer结构中的自注意力模块的自注意力值是基于神经网络的权重矩阵得到的。
[0071]
本发明实施例提供的语音识别装置，通过获取待进行语音识别的语音信号，基于声学模型及语言模型对语音信号进行语音识别，其中，声学模型和语言模型是基于修改了自注意力模块的transformer结构构建的，修改了自注意力模块的transformer结构中的自注意力模块的自注意力值是基于神经网络的权重矩阵得到的，可以提高自注意力值的计算速度，进而提高改进的transformer结构自注意力模块输出结果的速度，提高利用改进的transformer结构构建的声学模型和语言模型的处理速度，从而从整体上提高语音识别的处理速度。
[0072]
根据本发明实施例提供的一种语音识别装置，语音识别模块20在用于基于声学模型及语言模型对所述语音信号进行语音识别时，具体用于：对所述语音信号进行声学处理，
得到声学特征；利用所述声学特征及所述声学模型进行声学编码，得到音节序列；将所述音节序列和词表进行词表匹配，得到词序列；将所述词序列输入到所述语言模型输出语言解码结果。
[0073]
本发明实施例提供的语音识别装置，通过基于改进的transformer结构构建声学模型和语言模型，基于声学模型和语言模型进行语音识别，提高了利用transformer结构构建的声学模型和语言模型的处理速度，从而从整体上提高了语音识别的处理速度。
[0074]
根据本发明实施例提供的一种语音识别装置，所述自注意力值表示为：a＝softmax(f(g(w)))，且f(g(w))的计算量小于q＝xwq，k＝xwk，式中，a表示所述自注意力值，x表示所述语音信号，wq、wk表示转换矩阵，dk表示转换矩阵wk的列数；w表示所述神经网络的权重矩阵，g(w)表示w的函数，f(g(w))表示g(w)的函数。
[0075]
本发明实施例提供的语音识别装置，通过改进进行归一化处理的对象来减少自注意力值的计算量，提高计算速度，实现了语音识别速度提高的简便性。
[0076]
根据本发明实施例提供的一种语音识别装置，g(w)＝wx或g(w)＝w；其中，x表示所述语音信号。
[0077]
本发明实施例提供的语音识别装置，通过令g(w)＝wx或g(w)＝w，进一步减少了自注意力值的计算量，提高了自注意力值的计算速度，从而进一步提高了语音识别的速度。
[0078]
根据本发明实施例提供的一种语音识别装置，所述神经网络的权重矩阵经过稀疏化处理。
[0079]
本发明实施例提供的语音识别装置，通过对神经网络的权重矩阵进行稀疏化处理，减少了自注意力值的计算复杂度，提高了自注意力值的计算速度。
[0080]
根据本发明实施例提供的一种语音识别装置，所述神经网络的权重矩阵的有效值存在于对角线及从对角线向两侧延伸的位置上；且对应所述神经网络的权重矩阵的每行，有效值数量之和小于所述语音信号的行数。
[0081]
本发明实施例提供的语音识别装置，通过使得w的有效值存在于对角线及从对角线向两侧延伸的位置上，且每行有效值数量之和小于语音信号的行数，平衡了计算速度的提高和语音识别准确度的需求。
[0082]
图9是本发明实施例提供的电子设备的结构示意图，如图9所示，该电子设备可以包括：处理器(processor)1010、通信接口(communications interface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行语音识别方法，该方法包括：获取待进行语音识别的语音信号；基于声学模型及语言模型对所述语音信号进行语音识别；其中，所述声学模型和所述语言模型是基于修改了自注意力模块的transformer结构构建的，所述修改了自注意力模块的transformer结构中的自注意力模块的自注意力值是基于神经网络的权重矩阵得到的。
[0083]
此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以
使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0084]
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的语音识别方法，该方法包括：获取待进行语音识别的语音信号；基于声学模型及语言模型对所述语音信号进行语音识别；其中，所述声学模型和所述语言模型是基于修改了自注意力模块的transformer结构构建的，所述修改了自注意力模块的transformer结构中的自注意力模块的自注意力值是基于神经网络的权重矩阵得到的。
[0085]
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的语音识别方法，该方法包括：获取待进行语音识别的语音信号；基于声学模型及语言模型对所述语音信号进行语音识别；其中，所述声学模型和所述语言模型是基于修改了自注意力模块的transformer结构构建的，所述修改了自注意力模块的transformer结构中的自注意力模块的自注意力值是基于神经网络的权重矩阵得到的。
[0086]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0087]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0088]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。