语音识别方法、装置、电子设备及存储介质与流程

1.本技术涉及语音技术领域，更具体地，涉及一种语音识别方法、装置、电子设备及存储介质。


背景技术：

2.随着语音技术的发展以及智能交互领域的进步，人类与机器信息交流的需求越来越迫切，人机交互成为当前技术发展的热点。其中，语音识别技术成为人机交互过程中一个很重要的功能而受到了越来越多的关注。然而，目前的语音识别成功率仍比较低，在环境声音比较嘈杂时更无法满足用户需求。


技术实现要素：

3.鉴于上述问题，本技术提出了一种语音识别方法、装置、电子设备及存储介质。
4.第一方面，本技术实施例提供了一种语音识别方法，所述方法包括：基于麦克风采集的录音信号，提取待识别的指定音频特征；确定所述指定音频特征对应音源的空间位置信息；从所述录音信号中滤除与所述空间位置信息不匹配的声音信号，得到滤除后的目标录音信号；根据所述目标录音信号进行语音识别操作。
5.第二方面，本技术实施例提供了一种语音识别装置，所述装置包括：特征提取模块，用于基于麦克风采集的录音信号，提取待识别的指定音频特征；空间定位模块，用于确定所述指定音频特征对应音源的空间位置信息；录音滤除模块，用于从所述录音信号中滤除与所述空间位置信息不匹配的声音信号，得到滤除后的目标录音信号；录音处理模块，用于根据所述目标录音信号进行语音识别操作。
6.第三方面，本技术实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行上述第一方面提供的语音识别方法。
7.第四方面，本技术实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的语音识别方法。
8.本技术提供的方案，基于麦克风采集的录音信号，提取待识别的指定音频特征，确定所述指定音频特征对应音源的空间位置信息，从所述录音信号中滤除与所述空间位置信息不匹配的声音信号，得到滤除后的目标录音信号，根据所述目标录音信号进行语音识别操作。从而通过提取录音信号中待识别的指定音频特征，分析得到该指定音频特征的空间位置信息后，可以利用该空间位置信息对录音信号进行再次处理，以滤除非此空间的声音信号，从而大大提升了指定音频特征所对应的空间方位声音的信噪比，如此利用滤除过的录音信号进行语音识别操作，可以大大提升语音识别的成功率。
附图说明
9.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
10.图1示出了根据本技术一个实施例的语音识别方法的一种流程图。
11.图2示出了根据本技术另一个实施例的语音识别方法的一种流程图。
12.图3示出了根据本技术另一个实施例的语音识别方法中步骤s230的一种流程图。
13.图4示出了根据本技术实施例提供的语音识别方法中麦克风的排列示意图。
14.图5示出了根据本技术实施例提供的语音识别方法中声音建模示意图。
15.图6示出了根据本技术另一个实施例的语音识别方法中的一种整体流程示意框图。
16.图7示出了根据本技术一个实施例的语音识别装置的一种框图。
17.图8是本技术实施例的用于执行根据本技术实施例的语音识别方法的电子设备的框图。
18.图9是本技术实施例的用于保存或者携带实现根据本技术实施例的语音识别方法的程序代码的存储单元。
具体实施方式
19.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
20.请参阅图1，图1示出了本技术一个实施例提供的语音识别方法的流程示意图。在具体的实施例中，该语音识别方法可应用于如图7所示的语音识别装置700以及配置有所述语音识别装置700的电子设备(图8)。下面将针对图1所示的流程进行详细的阐述，所示语音识别方法具体可以包括以下步骤：
21.步骤s110：基于麦克风采集的录音信号，提取待识别的指定音频特征。
22.在本技术实施例中，录音信号可以是需要进行语音识别功能时，通过麦克风采集到声音信号。可选的，电子设备处于语音识别模式、语音唤醒模式下时，可以认为需要进行语音识别功能。其中，语音唤醒模式为唤醒设备执行指定操作的模式。示例性的，本实施例中的电子设备具体可为手机、平板电脑等移动终端，也可以为智能空调、智能音箱等智能家居设备。
23.在获取到麦克风采集的录音信号后，可以提取待识别的指定音频特征。具体地，在获取到麦克风采集的录音信号后，可以利用语音语义分析技术，提取出录音信号中的指定音频特征。可以理解是，如果环境声音嘈杂，或者说话人很多，那么人声或者特定人声的被录取的声音信噪比就很低，从而后续语音识别、语音唤醒的成功率就比较低。因此，在一些实施例中，指定音频特征可以是具有电子设备使用权限的权限用户的声音特征，其具体可以是权限用户的声纹特征，以便后续提取到权限用户的录音信号。在另一些实施例中，指定音频特征也可以是人声特征，以便后续过滤掉环境中的噪音信号。
24.步骤s120：确定所述指定音频特征对应音源的空间位置信息。
25.在本技术实施例中，在提取出录音信号中的指定音频特征后，可以根据指定音频特征，确定该指定音频特征对应音源的空间位置信息，其中，空间位置信息可以包括该指定音频特征对应音源相对电子设备的距离、方位、朝向等信息。
26.在一些实施例中，在提取出录音信号中的指定音频特征后，可以提取该指定音频特征的频谱数据，以根据频谱数据中的相位、幅值，来定位出指定音频特征对应音源的空间位置信息。作为一种方式，可以预先建立声音空间模型，该声音空间模型用于表征音频特征的相位、幅值与音源的空间位置信息的对应关系，从而通过输入音频特征的相位、幅值，即可以得到音频特征对应音源的空间位置信息。
27.步骤s130：从所述录音信号中滤除与所述空间位置信息不匹配的声音信号，得到滤除后的目标录音信号。
28.在本技术实施例中，在获取到指定音频特征对应音源的空间位置信息，即可以确认指定音频特征来自具体的空间方位，从而可以对录音信号进行声音滤除处理。具体地，可以从录音信号中滤除与指定音频特征的空间位置信息不匹配的声音信号，得到滤除后的目标录音信号，相当于滤除了非指定音频特征所在空间方位的声音，也即相当于滤除了不重要、不感兴趣的声音，可避免后续语音识别的声音中掺杂着太多不必要的声音，提高了录音信号中指定音频特征的声音的信噪比，提高了后续语音识别的成功率。
29.在一些实施例中，从所述录音信号中滤除与所述空间位置信息不匹配的声音信号，得到滤除后的目标录音信号，也可以是将录音信号中与所述空间位置信息不匹配的声音信号进行抑制，与所述空间位置信息匹配的声音信号进行增强，从而拉大两种处理方式的声音信号的声音强度以及响度等属性差距，使得最终得到的目标录音信号中与所述空间位置信息不匹配的声音信号的干扰比较小，相当于滤除与指定音频特征的空间位置信息不匹配的声音信号。
30.步骤s140：根据所述目标录音信号进行语音识别操作。
31.在本技术实施例中，在获取到滤除后的目标录音信号，可以根据目标录音信号进行语音识别操作。其中，语音识别操作可以是语音转文本，语音唤醒等需要进一步对录音信号中的内容进行判定的操作。从而通过对录音信号中指定音频特征的空间位置信息，对录音信号进行空间声音的滤波，可以提升指定音频特征的声音的信噪比，如此通过提升有用、感兴趣的声音的信噪比，可以大大改善语音唤醒、识别成功率。
32.本技术实施例提供的语音识别方法，基于麦克风采集的录音信号，提取待识别的指定音频特征，确定所述指定音频特征对应音源的空间位置信息，从所述录音信号中滤除与所述空间位置信息不匹配的声音信号，得到滤除后的目标录音信号，根据所述目标录音信号进行语音识别操作。从而通过提取录音信号中待识别的指定音频特征，分析得到该指定音频特征的空间位置信息后，可以利用该空间位置信息对录音信号进行再次处理，以滤除非此空间的声音信号，从而大大提升了指定音频特征所对应的空间方位声音的信噪比，如此利用滤除过的录音信号进行语音识别操作，可以大大提升语音识别的成功率。
33.请参阅图2，图2示出了本技术另一个实施例提供的语音识别方法的流程示意图。下面将针对图2所示的流程进行详细的阐述，所示语音识别方法具体可以包括以下步骤：
34.步骤s210：基于麦克风采集的初始录音信号，复制生成待处理的录音信号。
35.在一些实施例中，由于需要先对原始录音信号进行语音分析，得到指定音频特征
对应音源的空间位置信息，然后再需要根据该空间位置信息对原始录音信号进行再次处理，也即需要对原始录音信号经过两次音频处理操作，因此，可以基于麦克风采集的初始录音信号，复制生成待处理的录音信号，以通过复制生成的录音信号进行初次的音频处理，得到指定音频特征对应音源的空间位置信息，再根据该空间位置信息对原始录音信号进行录音滤除处理。从而保证最终获取的录音信号能够保留最原始的音频特征。其中，复制生成待处理的录音信号的音频特征与原始录音信号的音频特征基本一致。
36.在一些实施例中，当指定音频特征为用于唯一标识用户身份信息的声纹特征时，音频的压缩等处理并不会影响声纹特征的判断。因此，复制生成待处理的录音信号，可以是压缩后的初始录音信号，从而降低了初次的音频处理的时间和功耗，能够快速得到指定音频特征对应音源的空间位置信息，进而进行后续的录音滤波，提高语言识别或唤醒的响应速度。
37.步骤s220：基于所述待处理的录音信号，确定待识别的指定音频特征。
38.在本技术实施例中，在得到复制生成的待处理的录音信号，可以利用待处理的录音信号确定待识别的指定音频特征。
39.在一些实施例中，可以是基于麦克风采集的录音信号，提取指定声纹特征作为待识别的指定音频特征。具体地，在基于麦克风采集的初始录音信号，复制生成待处理的录音信号后，可以基于待处理的录音信号后，提取指定声纹特征作为待识别的指定音频特征。其中，指定声纹特征可以预先存储于电子设备，其可以是一个或多个权限用户的声纹特征，此处不作限定。
40.步骤s230：确定所述指定音频特征对应音源的空间位置信息。
41.在一些实施例中，电子设备可以包括多麦克风，从而可以利用多麦克风系统具备声音空间定位能力的特点，对指定音频特征对应音源的空间方位进行定位。具体地，请参阅图3，步骤s230可以包括：
42.步骤s231：分别对所述至少三个麦克风中的每个麦克风所对应的所述指定音频特征进行傅立叶变换，得到相应的频谱数据。
43.步骤s232：计算所述至少三个麦克风中的每两个麦克风对应的频谱数据中对应的幅值的差和/或相位的差。
44.步骤s233：根据所述幅值的差和/或所述相位的差，确定所述指定音频特征对应音源的空间位置信息。
45.在一些实施例中，电子设备可以包括至少三个麦克风，该至少三个麦克风可以是分布在电子设备的非同一个平面上即立体分布，从而可以感知同一个声源到各个麦克风之间的相位和幅值差异。示例性的，图4为本技术实施例提供的一种电子设备中麦克风的排布示意图，如图4所示，该电子设备上设置有立体分布的三个麦克风，分别记为a、b、和c。
46.在一些实施例中，可以通过预先建立声音空间模型，以便后续根据该声音空间模型来获取声音的空间位置信息。具体地，可在录音测试环境中的相对于电子设备的一个方向上放置一个用于测试的固定声源，而其他方向上没有声源，通过电子设备上的至少三个麦克风获取固定声源的录音信号，然后分别对至少三个麦克风中的每个麦克风对应的录音信号进行傅立叶变换，得到相应的频谱数据。同样的，在相对于电子设备的另一个方向上也放置一个用于测试的固定声源，而其他方向上没有声源，然后获取至少三个麦克风中的每
个麦克风对应的录音信号的的频谱数据。重复上述过程，在相对于电子设备的多个方向上放置一个用于测试的固定声源，以得到各个声源点下每个麦克风对应的录音信号的的频谱数据，从而根据这些频谱数据，可以获取到不同声源点到至少三个麦克风的幅值的差和/或相位的差，并构建得到声源的空间分布函数，即可得到电子设备上至少三个麦克风的声音空间模型。可选的，若电子设备位于x、y、z轴原点，单点固定声源可以放置在x、y、z的不同点，至少8个位置，保证每个轴的正负值都有一个测试声源点。示例性地，请参阅图5，电子设备位于x、y、z轴原点，单点声源放置在x、y、z不同点。
47.可以理解的是，在得到声源的空间分布函数后，可以通过比较同一个声音各个麦克风的相位、幅值差，可以定位声音在哪个方位，也可以通过比较同一个声音同一个频率信号到各个麦克风相位差，并结合该频率的波长，可以得到该声音与电子设备之间的空间距离。
48.因此在一些实施例中，可以通过比较指定音频特征的声音到每个麦克风相位差，来确定指定音频特征的声音与电子设备的空间距离和角度。具体地，可以获取至少三个麦克风录音得到的录音信号，然后分别提取至少三个麦克风中的每个麦克风的指定音频特征，以分别对该至少三个麦克风中的每个麦克风对应的指定音频特征进行傅立叶变换，得到相应的频谱数据，以根据该频谱数据计算至少三个麦克风中的每两个麦克风对应的频谱数据中对应的幅值的差和/或相位的差，从而可以结合前述声音空间模型得到指定音频特征对应的音源与电子设备的空间距离和角度，从而可以确定指定音频特征对应音源的空间位置信息。
49.步骤s240：从所述初始录音信号中滤除与所述空间位置信息不匹配的声音信号，得到滤除后的目标录音信号。
50.在一些实施例中，指定音频特征对应音源的空间位置信息可以包括指定音频特征对应音源的方向信息。从而从初始录音信号中滤除与空间位置信息不匹配的声音信号，得到滤除后的目标录音信号，可以是从录音信号中滤除与指定音频特征对应音源的方向信息不匹配的声音信号，得到滤除后的目标录音信号。相当于只保留录音信号中指定音频特征对应音源的方向的声音信息，滤除非此方向的声音信息，从而大大提升了特定空间方位声音的信噪比，避免后续语音识别过程中被其他不感兴趣的语音影响，增加不必要的识别时间，提升了后续语音识别的成功率和响应速度。
51.在一些实施例中，在基于麦克风采集的初始录音信号，复制生成待处理的录音信号后，由于基于待处理的录音信号进行指定音频特征对应音源的空间位置信息的确定，需要一定的处理时间，可能不会立刻对麦克风采集的初始录音信号进行滤除处理，因此，可以将麦克风采集的初始录音信号延时一段时间后再获取。作为一种方式，可以是存储所述初始录音信号至指定时长后，再将初始录音信号输入至录音滤除模块，其中，该录音滤除模块用于从初始录音信号中滤除与空间位置信息不匹配的声音信号。从而通过定时存储既实现了录音滤除流程中初始录音信号的延时输入，也避免过久占用存储空间。
52.在一些实施例中，在获取到指定音频特征对应音源的空间位置信息后，可以根据该空间位置信息，设置录音滤除模块中的录音滤波参数，其中，录音滤波参数为空间声音滤波参数，其可以是用于滤除指定空间方位的声音，也可以是保留指定空间方位，滤除非指定空间方位的声音。可选的，若录音滤波参数为用于滤除指定空间方位的声音时，在获取到指
定音频特征对应音源的空间位置信息后，可以基于除所述空间位置信息之外的其他空间位置信息，设置录音滤除模块中的录音滤波参数，从而将除所述空间位置信息之外的其他空间位置信息的声音进行滤除。可选的，若录音滤波参数为用于保留指定空间方位，滤除非指定空间方位的声音时，在获取到指定音频特征对应音源的空间位置信息后，可以基于该空间位置信息，设置录音滤除模块中的录音滤波参数。从而也可以将除所述空间位置信息之外的其他空间位置信息的声音进行滤除，保留指定音频特征对应音源的空间位置信息的声音。
53.示例性地，请参阅6，图6示出了本技术实施例提供的一种语音识别方法的整体示意图。在获取到麦克风采集的初始录音信号后，可以分两支流程进行，其中一支为基于麦克风采集的初始录音信号，复制生成待处理的录音信号，然后基于所述待处理的录音信号，确定待识别的指定音频特征，从而确定所述指定音频特征对应音源的空间位置信息，并根据该空间位置信息，设置录音滤波参数；另外一直则是对麦克风采集的初始录音信号进行延时处理，以等待后续的录音滤除处理。可以看出，在得到了录音滤波参数后，可以将麦克风采集的初始录音信号和录音滤波参数一起输入录音滤除模块，以从初始录音信号中滤除与空间位置信息不匹配的声音信号，从而得到滤除后的目标录音信号，输入至语音识别模块，以进行后续的语音识别、唤醒等操作。
54.步骤s250：根据所述目标录音信号进行语音识别操作。
55.本技术实施例提供的语音识别方法，基于麦克风采集的录音信号，提取待识别的指定音频特征，确定所述指定音频特征对应音源的空间位置信息，从所述录音信号中滤除与所述空间位置信息不匹配的声音信号，得到滤除后的目标录音信号，根据所述目标录音信号进行语音识别操作。从而通过提取录音信号中待识别的指定音频特征，分析得到该指定音频特征的空间位置信息后，可以利用该空间位置信息对录音信号进行再次处理，以滤除非此空间的声音信号，从而大大提升了指定音频特征所对应的空间方位声音的信噪比，如此利用滤除过的录音信号进行语音识别操作，可以大大提升语音识别的成功率。
56.请参阅图7，其示出了本技术实施例提供的一种语音识别装置700的结构框图，应用于电子设备。该语音识别装置700包括：特征提取模块710，用于基于麦克风采集的录音信号，提取待识别的指定音频特征；空间定位模块720，用于确定所述指定音频特征对应音源的空间位置信息；录音滤除模块730，用于从所述录音信号中滤除与所述空间位置信息不匹配的声音信号，得到滤除后的目标录音信号；录音处理模块740，用于根据所述目标录音信号进行语音识别操作。
57.在一些实施例中，特征提取模块710可以具体用于：基于麦克风采集的初始录音信号，复制生成待处理的录音信号；基于所述待处理的录音信号，确定待识别的指定音频特征。
58.在该实施例下，录音滤除模块730可以具体用于：从所述初始录音信号中滤除与所述空间位置信息不匹配的声音信号，得到滤除后的目标录音信号。
59.在一些实施例中，该语音识别装置700还可以包括：录音延时模块，用于存储所述初始录音信号至指定时长后，将所述初始录音信号输入至录音滤除模块，所述录音滤除模块用于从所述初始录音信号中滤除与所述空间位置信息不匹配的声音信号。
60.在一些实施例中，所述电子设备包括至少三个麦克风，空间定位模块720可以具体
用于：分别对所述至少三个麦克风中的每个麦克风所对应的所述指定音频特征进行傅立叶变换，得到相应的频谱数据；计算所述至少三个麦克风中的每两个麦克风对应的频谱数据中对应的幅值的差和/或相位的差；根据所述幅值的差和/或所述相位的差，确定所述指定音频特征对应音源的空间位置信息。
61.在一些实施例中，特征提取模块710可以具体用于：基于麦克风采集的录音信号，提取指定声纹特征作为待识别的指定音频特征。
62.在一些实施例中，所述空间位置信息包括所述指定音频特征对应音源的方向信息，特征提取模块710可以具体用于：从所述录音信号中滤除与所述方向信息不匹配的声音信号，得到滤除后的目标录音信号。
63.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
64.在本技术所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
65.另外，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
66.综上所述，本技术实施例提供的语音识别装置，基于麦克风采集的录音信号，提取待识别的指定音频特征，确定所述指定音频特征对应音源的空间位置信息，从所述录音信号中滤除与所述空间位置信息不匹配的声音信号，得到滤除后的目标录音信号，根据所述目标录音信号进行语音识别操作。从而通过提取录音信号中待识别的指定音频特征，分析得到该指定音频特征的空间位置信息后，可以利用该空间位置信息对录音信号进行再次处理，以滤除非此空间的声音信号，从而大大提升了指定音频特征所对应的空间方位声音的信噪比，如此利用滤除过的录音信号进行语音识别操作，可以大大提升语音识别的成功率。
67.请参考图8，其示出了本技术实施例提供的一种电子设备的结构框图。该电子设备100可以是指手机、平板电脑、音乐播放器、可穿戴设备、蓝牙耳机、摄像设备、智能家居设备等能够运行应用程序的终端设备。该电子设备100也可以是用于测试语音识别设备，如测试仪、服务器等。该电子设备100还可以是集成有本技术的负载模块的电子负载板设备。本技术中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120以及一个或多个应用程序，其中，一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个应用程序配置用于执行如前述方法实施例所描述的方法。
68.处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器110可集成中央处理器(central processing unit，cpu)、语音识别器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也
可以不集成到处理器110中，单独通过一块通信芯片进行实现。
69.存储器120可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read
‑
only memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
70.可以理解，图8所示结构仅为示例，电子设备100还可以包括比图8所示更多或更少的组件，或是具有与图8所示完全不同的配置。本技术实施例对此没有限制。
71.请参考图9，其示出了本技术实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
72.计算机可读存储介质800可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non
‑
transitory computer
‑
readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
73.最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。