智能交互设备的唤醒方法、电子设备及存储介质与流程

本技术实施例涉及人机交互领域，具体而言，涉及一种智能交互设备的唤醒方法、电子设备及存储介质。

背景技术：

1、随着智能陪伴机器人、桌面智能体及各类带麦克风阵列的智能交互设备在家庭、办公室及公共服务区等场景中的广泛应用，语音交互已成为人机交互的主要入口，而智能交互设备的唤醒机制的可靠性与流畅度直接决定了用户体验。然而，目前的唤醒机制在复杂声场下智能交互设备进行唤醒检测的准确性较差。

2、针对上述问题，目前还没有很好的解决方案。

技术实现思路

1、本技术实施例提供一种智能交互设备的唤醒方法、电子设备及存储介质，以至少解决相关技术中的智能交互设备在复杂声场下进行唤醒检测的准确性较差的技术问题。

2、根据本技术实施例的一个方面，提供了一种智能交互设备的唤醒方法，包括：响应检测到智能交互设备的唤醒触发信号，获取智能交互设备所处环境的第一环境音和第二环境音，其中，智能交互设备处于待机状态，第一环境音用于表征检测到唤醒触发信号之前的环境音，第二环境音用于表征检测到唤醒触发信号之后的环境音；基于第一环境音和第二环境音，确定唤醒触发信号的声学能量和多个候选定位区域；基于声学能量和多个候选定位区域，确定唤醒触发信号是否有效；在唤醒触发信号有效的情况下，控制智能交互设备由待机状态进入唤醒状态，其中，唤醒状态用于进行语音交互。

3、进一步地，基于第一环境音和第二环境音，确定唤醒触发信号的声学能量和多个候选定位区域，包括：基于第一环境音，确定环境的环境类型；基于环境类型、第一环境音和第二环境音，确定声学能量；基于第一环境音和第二环境音，确定多个候选定位区域。

4、进一步地，基于第一环境音，确定环境的环境类型，包括：对第一环境音进行特征提取，得到第一环境音的声学特征；基于声学特征，确定环境类型。

5、进一步地，基于声学特征，确定环境类型，包括：基于声学特征，确定第一环境音的信噪比和衰减量；基于信噪比和衰减量，确定第一环境音的声源距离和混响强度；基于声源距离和混响强度，确定环境类型。

6、进一步地，基于环境类型、第一环境音和第二环境音，确定声学能量，包括：基于环境类型，确定第一截取窗口；基于第一截取窗口，对第一环境音和第二环境音进行截取，得到第一参考音频；基于第一参考音频的平均能量，确定声学能量。

7、进一步地，基于第一环境音和第二环境音，确定多个候选定位区域，包括：基于检测到唤醒触发信号的时间，确定第二截取窗口；基于第二截取窗口，对第一环境音和第二环境音进行截取，得到第二参考音频；基于第二参考音频，确定多个候选定位区域。

8、进一步地，基于第二参考音频，确定多个候选定位区域，包括：将第二参考音频输入方向分析模型，利用方向分析模型对第二参考音频进行处理，得到多个方向的定位概率分布；基于定位概率分布，从多个方向中，选取多个候选定位方向；基于多个候选定位方向，确定多个候选定位区域。

9、进一步地，基于声学能量和多个候选定位区域，确定唤醒触发信号是否有效，包括：确定声学能量是否大于预设能量；在声学能量大于预设能量的情况下，对多个候选定位区域的初始音频信号进行时延补偿，得到多个候选定位区域对应的多个增强音频信号，并基于多个增强音频信号，确定唤醒触发信号是否有效。

10、进一步地，对多个候选定位区域的初始音频信号进行时延补偿，得到多个候选定位区域对应的多个增强音频信号，包括：确定任意一个候选定位区域的搜索范围和搜索步长；基于搜索范围和搜索步长，在任意一个候选定位区域内，确定多个搜索方向；基于多个搜索方向，对多个候选定位区域的初始音频信号进行时延补偿，得到多个增强音频信号。

11、进一步地，基于多个搜索方向，对多个候选定位区域的初始音频信号进行时延补偿，得到多个增强音频信号，包括：获取智能交互设备的麦克风阵列的几何位置，以及初始音频信号的声源方向角、声速和采样率；基于几何位置、声源方向角、声速和采样率，确定初始音频信号在多个搜索方向上的时延；基于时延，在多个搜索方向上对初始音频信号进行补偿，得到多个补偿音频信号；对多个补偿音频信号进行融合，得到任意一个候选定位区域对应的增强音频信号。

12、进一步地，基于多个增强音频信号，确定唤醒触发信号是否有效，包括：基于多个增强音频信号，确定多个候选定位区域对应的多个二次唤醒置信度；在任意一个二次唤醒置信度大于预设置信度的情况下，确定唤醒触发信号有效。

13、进一步地，在控制智能交互设备由待机状态进入唤醒状态之前，该方法还包括：基于第二环境音，确定多个候选定位区域对应的音频参数；基于多个增强音频信号、多个二次唤醒置信度和音频参数，从多个候选定位区域中，确定目标定位区域。

14、进一步地，每个候选定位区域对应的音频参数包括该候选定位区域的音频活跃度和音频时间连续性；基于多个增强音频信号、多个二次唤醒置信度和音频参数，从多个候选定位区域中，确定目标定位区域，包括：确定任意一个候选定位区域的音频活跃度、二次唤醒置信度、音频时间连续性和增强音频信号的权重；基于权重，对音频活跃度、二次唤醒置信度、音频时间连续性和增强音频信号进行加权融合，得到任意一个候选定位区域的置信指标值；基于多个候选定位区域对应的多个置信指标值，从多个候选定位区域中，确定目标定位区域，其中，目标定位区域对应的目标置信指标值大于多个候选定位区域中，除目标定位区域以外的候选定位区域对应的置信指标值。

15、进一步地，在控制智能交互设备由待机状态进入唤醒状态之后，该方法还包括：采集智能交互设备在进行语音交互过程中的交互参数；确定交互参数是否满足预设条件；在交互参数不满足预设条件的情况下，控制智能交互设备由唤醒状态进入待机状态。

16、进一步地，交互参数包括交互语音的语音能量、有效语音持续时间和提示音保护期；确定交互参数是否满足预设条件，包括：在语音能量大于预设能量，且有效语音持续时间大于预设时间，且交互语音的发出时间不处于提示音保护期的情况下，确定交互参数满足预设条件。

17、进一步地，控制智能交互设备由待机状态进入唤醒状态，包括：基于目标定位区域，构建反馈提示信息，其中，反馈提示信息用于提示智能交互设备进入唤醒状态；基于智能交互设备上的多种输出设备，输出反馈提示信息。

18、根据本技术实施例的另一方面，还提供了一种智能交互设备的唤醒装置，包括：获取模块，用于响应检测到智能交互设备的唤醒触发信号，获取智能交互设备所处环境的第一环境音和第二环境音，其中，智能交互设备处于待机状态，第一环境音用于表征检测到唤醒触发信号之前的环境音，第二环境音用于表征检测到唤醒触发信号之后的环境音；确定模块，用于基于第一环境音和第二环境音，确定唤醒触发信号的声学能量和多个候选定位区域；校验模块，用于基于声学能量和多个候选定位区域，确定唤醒触发信号是否有效；控制模块，用于在唤醒触发信号有效的情况下，控制智能交互设备由待机状态进入唤醒状态，其中，唤醒状态用于进行语音交互。

19、根据本技术实施例的另一方面，还提供了一种电子设备，包括：存储器，存储有可执行程序；处理器，用于运行程序，其中，程序运行时执行本技术各个实施例中的方法。

20、根据本技术实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的可执行程序，其中，在可执行程序运行时控制计算机可读存储介质所在设备执行本技术各个实施例中的方法。

21、根据本技术实施例的另一方面，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本技术各个实施例中的方法。

22、根据本技术实施例的另一方面，还提供了一种计算机程序产品，包括非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储计算机程序，所述计算机程序被处理器执行时实现本技术各个实施例中的方法。

23、根据本技术实施例的另一方面，还提供了一种计算机程序，计算机程序被处理器执行时实现本技术各个实施例中的方法。

24、在本技术实施例中，采用响应检测到智能交互设备的唤醒触发信号，获取智能交互设备所处环境的第一环境音和第二环境音；基于第一环境音和第二环境音，确定唤醒触发信号的声学能量和多个候选定位区域；基于声学能量和多个候选定位区域，确定唤醒触发信号是否有效；在唤醒触发信号有效的情况下，控制智能交互设备由待机状态进入唤醒状态的方式，通过第一环境音和第二环境音同步确定唤醒触发信号的声学能量及多个候选定位区域，以利用声学能量进行有效性初筛以过滤远场弱声或噪声干扰，并通过多候选定位区域保留唤醒触发信号在多声源环境下的潜在方向，避免了单一方向估计在复杂反射或混响场景下的误判，最终结合声学能量与候选定位区域联合判定唤醒触发信号是否有效，仅在确认唤醒触发信号有效后才控制智能交互设备进入唤醒状态，达到了有效区分真实唤醒触发信号与复杂背景噪声或回声干扰的目的，进而解决了相关技术中的智能交互设备在复杂声场下进行唤醒检测的准确性较差的技术问题。