语音唤醒方法和装置与流程

本发明属于语音数据处理技术领域，尤其涉及语音唤醒方法和装置。

背景技术：

在现有的语音交互类产品中，产品基本上都会预设一个唤醒词，但真实的用户都希望能够自己定义唤醒词内容。已有的自定义唤醒技术方案中均是通过在一个比较大的唤醒模型中配置唤醒词完成自定义唤醒功能的，其中该通用模型的分类节点是包含所有的音素建模单元。同时为了降低误唤醒问题，现有的有些技术中会采取声学特征和模板特征比对，比对的置信度超过阈值才会将语音数据送入通用的唤醒引擎。

在相似的技术中要实现自定义唤醒词，第一步需要将唤醒词对应的文字转为唤醒模型对应的建模单元，可以是拼音也可以是音素，具体要看实际系统中的建模单元是哪一种；接下来需要计算唤醒词阈值；最后将转换后的信息以及对应的阈值配置进入唤醒引擎中。在实际使用的过程中如果语音信息通过模型计算超过阈值即可认为是被唤醒。在有些方案中，为了降低误唤醒，会在唤醒模型前增加一个声学特征比对的过程。只有超过声学特征比对的语音才会进入唤醒模型进行计算。

由于自定义唤醒词需要实时生效，因此并不可能针对自定义的词语进行模型的训练优化，唤醒模型原本的承载能力也是有限的。这样带来的问题就是如果阈值设置的过低可以有较高的唤醒率，但是带来的问题就是误唤醒率较高，反之亦然。

在采用声学特征比对来降低误唤醒的方案中，存在声学特征不稳定的问题。即在使用前需要录入唤醒词声学特征，然后才能正常使用。由于不可能提前将每个使用者的唤醒词声学特征都录入，因此注册的声学特征会存在比较多的注册人的个性特征，导致使用的过程中可能会存在一个人注册后其他人使用过程中唤醒率都不高的问题。

技术实现要素：

本发明实施例提供一种语音唤醒方法和装置，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种语音唤醒方法，包括：响应于获取到语音信息，将所述语音信息送入唤醒模型进行第一得分计算，判断所述第一得分是否大于等于预设的唤醒阈值；若所述第一得分大于等于预设的唤醒阈值，将所述语音信息送入本地离线识别模型进行第二得分计算，判断所述第二得分是否大于等于本地离线识别模型预设的唤醒阈值；若所述第二得分大于等于本地离线识别模型预设的唤醒阈值，将设备唤醒与用户进行交互。

第二方面，本发明实施例提供一种语音唤醒装置，包括：获取计算判断程序模块，配置为响应于获取到语音信息，将所述语音信息送入唤醒模型进行第一得分计算，判断所述第一得分是否大于等于预设的唤醒阈值；计算判断程序模块，配置为若所述第一得分大于等于预设的唤醒阈值，将所述语音信息送入本地离线识别模型进行第二得分计算，判断所述第二得分是否大于等于本地离线识别模型预设的唤醒阈值；唤醒程序模块，配置为若所述第二得分大于等于本地离线识别模型预设的唤醒阈值，将设备唤醒与用户进行交互。

第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的语音唤醒方法的步骤。

第四方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明任一实施例的语音唤醒方法的步骤。

本申请的方法和装置通过在将语音信息送入唤醒模型进行第一得分计算，再将第一得分大于等于唤醒模型的预设唤醒阈值的语音信息送入本地离线识别模型进行第二得分计算，从而可以使唤醒更加准确、减少误唤醒，进一步地，使用本地离线识别模型从而可以更加快速的进行识别，减少识别延迟。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种语音唤醒方法的流程图；

图2为本发明一实施例提供的另一种语音唤醒方法的流程图；

图3为本发明一实施例提供的语音唤醒方法的一个具体示例的注册唤醒流程图；

图4为本发明一实施例提供的语音唤醒方法的一个具体示例的防止噪声误识别流程图；

图5为本发明一实施例提供的一种语音唤醒装置的框图；

图6是本发明一实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，其示出了本申请的语音唤醒方法一实施例的流程图。

如图1所示，在步骤101中，响应于获取到语音信息，将所述语音信息送入唤醒模型进行第一得分计算，判断所述第一得分是否大于等于所述唤醒模型预设的唤醒阈值；

在步骤102中，若所述第一得分大于等于所述唤醒模型预设的唤醒阈值，将所述语音信息送入本地离线识别模型进行第二得分计算，判断所述第二得分是否大于等于所述本地离线识别模型预设的唤醒阈值；

在步骤103中，若所述第二得分大于等于所述本地离线识别模型预设的唤醒阈值，将设备唤醒与用户进行交互。

在本实施例中，对于步骤101，语音唤醒装置响应于获取到语音信息，将语音信息送入唤醒模型进行第一得分计算，例如，将语音信息对应的声学特征与注册时预设的声学特征进行比对校验，判断第一得分是否大于等于唤醒模型预设的唤醒阈值，其中，唤醒模型预设的唤醒阈值可以设置为较低的唤醒阈值。

之后，对于步骤102，若第一得分大于等于唤醒模型预设的唤醒阈值，将语音信息送入本地离线识别模型进行第二得分计算，判断第二得分是否大于等于本地离线识别模型预设的唤醒阈值，例如，本地离线识别模型的预设唤醒阈值要比唤醒模型的唤醒预设阈值高，在判断第一得分大于等于唤醒模型的预设阈值，将语音信息送入本地离线识别模型进行二次校验。

最后，对于步骤103，若第二得分大于等于本地离线识别模型预设的唤醒阈值，将设备唤醒与用户进行交互，例如，二次校验的第二得分大于等于本地离线识别模型预设的唤醒阈值，就可以认为用户的语音信息可以被唤醒。

本实施例的方法通过在将语音信息送入唤醒模型进行第一得分计算，再将第一得分大于等于唤醒模型的预设唤醒阈值的语音信息送入本地离线识别模型进行第二得分计算，从而可以使唤醒更加准确、减少误唤醒，进一步地，使用本地离线识别模型从而可以更加快速的进行识别，减少识别延迟。

在上述实施例所述的方法中，在所述判断所述第一得分是否大于等于所述唤醒模型预设的唤醒阈值或所述判断所述第二得分是否大于等于所述本地离线识别模型预设的唤醒阈值之后，还包括：

若第一得分小于唤醒模型预设的唤醒阈值或第二得分小于本地离线识别模型预设的唤醒阈值，判定设备不唤醒。

本实施例的方法通过判断第一得分和第二得分是否大于等于预设的唤醒阈值，从而可以判断是否要唤醒设备。

进一步参考图2，其示出了本申请一实施例提供的另一种语音唤醒方法的流程图。该流程图主要是对流程图1在“响应于获取到语音信息，将所述语音信息送入唤醒模型进行第一得分计算，判断所述第一得分是否大于等于所述唤醒模型预设的唤醒阈值”之前的流程进一步限定的步骤的流程图。

如图2所示，在步骤201中，响应于获取到用户的注册指令，获取所述用户输入的自定义唤醒词；

在步骤202中，基于所述用户输入的自定义唤醒词，将所述自定义唤醒词转换为能够配置进入所述唤醒模型和所述本地离线识别模型的信息并配置进入所述唤醒模型和所述本地离线识别模型。

在本实施例中，对于步骤201，语音唤醒装置响应于获取到用户的注册指令，获取用户输入的自定义唤醒词，其中，用户输入自定义唤醒词包括语音输入和文字输入。

然后，对于步骤202，语音唤醒装置基于用户输入的自定义唤醒词，将自定义唤醒词转换为能够配置进入唤醒模型和本地离线识别模型的信息并配置进入唤醒模型和本地离线识别模型，例如，在注册过程中，获取到用户输入的自定义唤醒词之后，将自定义唤醒词转换为可以配置进入唤醒模型和本地离线识别模型的信息，然后再将转换的信息配置进入对应的唤醒模型和本地离线识别模型。

本实施例的方法通过将自定义唤醒词转换为能够配置进入唤醒模型和本地离线识别模型的信息并配置进入所述唤醒模型和所述本地离线识别模型，从而可以实现对用户的语音信息进行二次校验。

在上述实施例所述的方法中，所述本地离线识别模型使用大量的非固定领域的通用文本和语料进行训练。

本实施例的方法通过使用大量不同的文本和词汇，从而可以保证动态配置的自定义唤醒词对应的声学特征在通用数据中已经被模型提前学习到。

在上述实施例所述的方法中，所述本地离线识别模型的二次校验框架包括：基于grammar的识别系统和/或深度学习的端到端的识别系统，其中，grammar的识别系统和/或深度学习的端到端的识别系统能够基于本地离线识别模型系统的更新和修改进行替换和修改。

本实施例的方法通过grammar的识别系统，从而可以实现词语的实时动态配置生效。

在上述实施例所述的方法中，所述本地离线识别模型中还包括正常路径和噪声路径，其中所述噪声路径的输出内容带有特殊标记从而当输出结果带有所述特殊标记时能够被识别为噪声路径的输出内容并被丢弃；或者

所述噪声路径具有比所述正常路径更高的惩罚分数，若输出内容惩罚分数高于惩罚阈值时会被直接丢弃。

本实施例的方法通过将噪声路径的输出内容带有特殊标记，当输出结果带有特殊标记时能够被识别为噪声路径的输出内容并丢弃或将输出内容惩罚分数高于惩罚阈值的直接丢弃，从而可以有效的降低误识别和误唤醒。

在上述任一实施例所述的方法中，所述本地离线识别模型能够替换为云端的识别系统进行二次校验。

需要说明的是，上述方法步骤并不用于限制各步骤的执行顺序，实际上，某些步骤可能会同时执行或者以与步骤限定的相反的顺序执行，本申请在此没有限制。

下面对通过描述发明人在实现本发明的过程中遇到的一些问题和对最终确定的方案的一个具体实施例进行说明，以使本领域技术人员更好地理解本申请的方案。

发明人在实现本申请的过程中发现现有技术中存在的缺陷主要是由以下原因导致的：

主要是使用未针对性训练过的唤醒模型导致的，由于需要实时生效所以通常情况下唤醒模型是无法实时生效训练的。该问题也是该领域内长期存在的问题。

发明人还发现，要解决以上的问题业内通常使用的方案有以下：

首先是通过收集数据对模型进行训练优化模型的性能，但是自定义唤醒词的词语是变化的，并无法提前收集数据；即使是后期收集也会由于唤醒词多种多样导致收集数据训练的方案不可执行和实施。

其次就是通过二级校验的办法，如通过将唤醒词对应的声学特征与注册的特征进行比对校验，只有校验的得分超过阈值才会进行进一步的唤醒操作。

本文提出的方案是通过使用本地离线识别的算法对唤醒结果进行二次校验，来达到对唤醒率和误唤醒率的平衡。本方案难点在于首先需要动态的将唤醒词配置进入离线识别引擎中；其次本地离线识别同样会存在误识别的问题，需要通过新的技术手段来减少由于二次校验的误识别导致的误唤醒。

本申请的方案主要从以下几个方面入手进行设计和优化：

在现有方案中最大的缺陷是在保证实时性的情况下唤醒率和误唤醒率的难以做的平衡。现有的方案中通过二次校验的方式可以降低误唤醒率，但同时也使得唤醒率有较大的损失。

由于离线识别的方案可以支持不同的词语进行识别，并且不需要针对性的对词语训练，亦能够保证词语较好的识别率和误识别率。所以本文的基本思路是使用本地离线识别做二次校验。

本方案的基本流程就是首先将自定义唤醒词转换为唤醒模型和本地离线识别模型需要的信息，将这些信息同时配置进入唤醒模型和离线本地识别模型。在使用的过程中唤醒的音频数据首先进入唤醒模型，唤醒模型可以触发后，再将音频数据送入本地离线模型进行校验。如果校验通过则认为语音能够正常的唤醒。

本方案与现有的使用二次校验技术的方案的差别在于使用离线识别模型进行二次校验，并且在离线识别模型中加入防止噪声误识别的过滤器技术。

请参考图3，其示出了本发明一实施例提供的语音唤醒方法的一个具体示例的注册唤醒流程图。

如图3所示，整个系统主要包含两大部分。一部分是注册自定义唤醒词的基本流程，一部分是使用过程中的二次校验。

在注册过程中，首先需要将自定义唤醒词转换为可以配置进入唤醒模型和本地离线识别模型的信息，然后将这些信息配置进入对应的模型。

在使用过程中，语音信息首先进入唤醒模型，如果计算后的得分超过设置的唤醒阈值，则将语音数据送入离线识别模型进行二次校验，如果二次校验的得分也超过本地离线识别模型的阈值，就认为语音可以最终被唤醒。

本方案中模型信息转换模块，主要是完成将自定义唤醒词对应的文本转换为唤醒模型和识别模型需要的信息，内容包括转换为两个模块对应的建模单元，可以是音素或者是音节，具体视唤醒模型和离线识别模型灵活设置。由于自定义唤醒词设置时对整个流程的实时性要求弱于唤醒场景，该模块在云服务上运行，该设计可以规避在本地离线系统中的计算量，内存和存储的限制，使用对计算量，内存和存储都需求较大的模型，从而增加信息转换的准确率。

在唤醒模块设置时通常会设置一个并不高的唤醒阈值，由此可以使更多的语音信息通过唤醒模块，进入二级校验的模块，从而避免因为唤醒模型阈值过高导致的唤醒率低的问题。

本方案的核心的技术点在于将离线识别做二次校验。之所以能够使用离线识别做二次校验，是因为离线识别系统在模型构建初期使用大量的非固定领域的通用文本和语料进行训练，通常通用文本中包含大量的不同文本和词汇，这样就保证了动态配置的自定义唤醒词对应的声学特征在通用数据中已经被模型提前学习到。并且离线识别系统采用基于grammar识别的方案，基于grammar编译的系统，能够实现词语的实时动态配置生效，这也保证了整个系统的实时性。当然离线识别系统也会存在误识别的问题，在本方案中通过加入吸收模块，可以有效的降低唤醒模块误唤醒后将噪声送入二次校验模块导致的误识别。

请参考图4，其示出了本发明一实施例提供的语音唤醒方法的一个具体示例的防止噪声误识别流程图；

如图4所示，虚线框部分即为吸收模块。在该示例中可以正常识别的固定内容为hao，其中每条边上对应的数字为对应的惩罚分数，分数越高表示惩罚越大，路径越不容易通过。从起始点走到终止点经过的路径即为识别结果。当输入的语音内容为hao时，在图示的结构中会同时经过正常hao的路径和吸收模块中hao的路径。但是由于吸收模块的惩罚分数高，实际并不会输出吸收模块的结果。当用输入的语音是非hao的噪声内容时，比如此时输入噪声内容为niu，由于图中正常的非惩罚路径是h-a-o，但是n-i-u并无法走非惩罚的路径，因此只能走图中的惩罚的路径，因此n-i-u会走吸收模块中的路径，由于吸收模块的输出内容有殊标记，因此在最终的输出过程中发现该特殊标记的内容时，输出结果会被直接丢弃。在实际使用中的感受就是噪声不会误识别为自定义唤醒词的内容。

在说明本方案的效果的时候，不仅要说其能够直接达到的效果，还要关注是否还能解决其他问题和达到其他目的，以及充分发散其能够引起的连锁反应，以及所能够达到的更深层次的效果。

首先在本方案中用于二次校验的框架设计，二次校验模块可以是基于grammar的识别系统，也可以是基于深度学习的端到端的识别系统。可以根据离线识别系统的更新和改进进行替换和修改。

其次本方案还可以扩展为新的应用场景，如在现有的语音交互场景中通常需要唤醒后才能进行语音识别，但是为了简化交互流程用户希望不用唤醒就可以实现指令词控制，该指令词可以是系统预设置也可以是用户实时定义。在这种场景中就可以使用本文的方案，将指令词设置到唤醒模型中，语音触发唤醒模型后，使用本地离线模型对指令词进行二次校验。

发明人在实现本发明的过程中形成的beta版：

采用云端系统识别模型进行校验。该方案中将通过唤醒模型的语音，送入云端识别引擎，用云端的识别系统进行二次校验。该方案的优势在于云端系统的准确性更高，可以保证更好的唤醒率和误唤醒率，但是由于需要将数据传输到云端系统，因此存在更多的网络延时。

请参考图5，其示出了本发明一实施例提供的语音唤醒装置的框图。

如图5所示，语音唤醒装置500，包括获取计算判断程序模块510、计算判断程序模块520和唤醒程序模块530。

其中，获取计算判断程序模块510，配置为响应于获取到语音信息，将所述语音信息送入唤醒模型进行第一得分计算，判断所述第一得分是否大于等于预设的唤醒阈值；计算判断程序模块520，配置为若所述第一得分大于等于预设的唤醒阈值，将所述语音信息送入本地离线识别模型进行第二得分计算，判断所述第二得分是否大于等于本地离线识别模型预设的唤醒阈值；唤醒程序模块530，配置为若所述第二得分大于等于本地离线识别模型预设的唤醒阈值，将设备唤醒与用户进行交互。

应当理解，图5中记载的诸模块与参考图1和图2中描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征以及相应的技术效果同样适用于图5中的诸模块，在此不再赘述。

值得注意的是，本公开的实施例中的模块并不用于限制本公开的方案，例如获取计算判断程序模块可以描述为响应于获取到语音信息，将所述语音信息送入唤醒模型进行第一得分计算，判断所述第一得分是否大于等于预设的唤醒阈值的模块。另外，还可以通过硬件处理器来实现相关功能模块，例如获取计算判断程序模块也可以用处理器实现，在此不再赘述。

在另一些实施例中，本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的语音唤醒方法；

作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：

响应于获取到语音信息，将所述语音信息送入唤醒模型进行第一得分计算，判断所述第一得分是否大于等于所述唤醒模型预设的唤醒阈值；

若所述第一得分大于等于所述唤醒模型预设的唤醒阈值，将所述语音信息送入本地离线识别模型进行第二得分计算，判断所述第二得分是否大于等于所述本地离线识别模型预设的唤醒阈值；

若所述第二得分大于等于所述本地离线识别模型预设的唤醒阈值，将设备唤醒与用户进行交互。

非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据语音唤醒装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至语音唤醒装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本发明实施例还提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述任一项语音唤醒方法。

图6是本发明实施例提供的电子设备的结构示意图，如图6所示，该设备包括：一个或多个处理器610以及存储器620，图6中以一个处理器610为例。语音唤醒方法的设备还可以包括：输入装置630和输出装置640。处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图6中以通过总线连接为例。存储器620为上述的非易失性计算机可读存储介质。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例语音唤醒方法。输入装置630可接收输入的数字或字符信息，以及产生与通讯补偿装置的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

作为一种实施方式，上述电子设备应用于语音唤醒装置中，用于客户端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：

响应于获取到语音信息，将所述语音信息送入唤醒模型进行第一得分计算，判断所述第一得分是否大于等于所述唤醒模型预设的唤醒阈值；

若所述第一得分大于等于所述唤醒模型预设的唤醒阈值，将所述语音信息送入本地离线识别模型进行第二得分计算，判断所述第二得分是否大于等于所述本地离线识别模型预设的唤醒阈值；

若所述第二得分大于等于所述本地离线识别模型预设的唤醒阈值，将设备唤醒与用户进行交互。

本申请实施例的电子设备以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：pda、mid和umpc设备等。

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。