一种物联网终端增强唤醒方法、装置及存储介质与流程

技术特征：
1.一种物联网终端增强唤醒方法，其包括：s10，物联网终端的增强唤醒芯片中的低功耗语音检测模块持续从环境声音中检测语音信号，当检测到语音信号的频率符合预定范围、且幅值大于第一阈值、时长大于第二阈值时，将语音信号输入缓存，并通过io接口使能语音预处理模块；s20，语音预处理模块被使能后对缓存的语音信号实现声源定位、定向拾音、远场降噪、回音消除、语音信号增强以及端点检测；联合最大后验概率算法和变分贝叶斯算法获取声源方向信息，根据声源方向信息对声源方向之外的声音波束进行减弱和消除处理，然后对声源方向的语音信号进行增强；通过端点检测以去除语音中的非人声片段，并产生用于后端检测的唤醒语音段输入缓存，并通过io接口使能指令识别模块，完毕后语音预处理模块进入休眠；s30，指令识别模块构建语音唤醒模型，将缓存的唤醒语音段输入训练好的语音唤醒模型，获得唤醒命令及其包含的操作指令，若指令集中存在对应的操作指令，则将操作指令发送给终端设备，完毕后指令识别模块进入休眠，如指令集中不存在对应的操作指令，则进入下一个步骤，使能纠错模块；s40，纠错模块获取唤醒语音段前后的语音数据信息，对唤醒语音段进行纠错，获取包含有用户意图的信息文本；s50，根据信息文本，对用户进行反馈；s60，根据用户反馈结果重新确定唤醒语音段；s70，将唤醒语音段重新输入训练好的语音唤醒模型，获得唤醒命令及其包含的操作指令，将操作指令发送给终端设备，完毕后指令识别模块进入休眠。2.如权利要求1所述的物联网终端增强唤醒方法，其特征在于，步骤s20具体包括：利用回声消除器和噪声抑制器实现回声消除和噪声抑制，利用自动增益控制对接受到的语音信号进行增强处理。3.如权利要求2所述的物联网终端增强唤醒方法，其特征在于，步骤30具体还包括：将实际环境中的产生语音唤醒数据上传云端并建立样本库，在云端服务器中训练出符合实际语音环境的语音唤醒模型。4.如权利要求3所述的物联网终端增强唤醒方法，其特征在于，步骤30具体还包括：语音唤醒模型用于提取声学特征，建立声学模型，解码音频信号，获得命令词得到对应的操作指令；特征提取将信号从时域转化到频域，为声学模型提供有代表性的特征向量；声学模型将声乐和发音学知识相结合，以特征提取的特征向量作为输入，将特征序列转变成具有最大概率的声音模型序列；解码器针对给定的特征向量序列和字典序列，结合唤醒词模型和背景音模型判断特征序列是否激发唤醒。5.如权利要求4所述的物联网终端增强唤醒方法，其特征在于，步骤30具体还包括：将平稳的语音信号分割为均匀的小的片段进行分帧，分帧后对信号前后加窗，避免语音信号在间隔处出现的波动影响；利用傅里叶变换将每一帧的语音信号由时域转换到频域；利用滤波器对信号进行滤波使得得到的信号能够模拟人耳接收到的语音信号特征，通过求对数能量和 dct最终得到 mfcc 特征的倒谱系数。6.如权利要求5所述的物联网终端增强唤醒方法，其特征在于，步骤40具体还包括：对识别出的信息文本进行语义理解，根据双向循环神经网络模型、卷积神经网络模型
和/或端到端神经网络模型，并结合句式数据，通过底层句子语义建模的方式进行语义纠错。7.如权利要求6所述的物联网终端增强唤醒方法，其特征在于，步骤60具体还包括：当用户反馈纠错后的信息文本属于用户的准确意图时，将纠错后的信息文本转换为语音唤醒命令，并重新发送语音唤醒命令。8.一种物联网终端增强唤醒装置，其特征在于，包括：物联网终端增强唤醒装置包括增强唤醒芯片，芯片中包括低功耗语音检测模块、语音预处理模块、指令识别模块、纠错模块；低功耗语音检测模块持续从环境声音中检测语音信号，当检测到语音信号的频率符合预定范围、且幅值大于第一阈值、时长大于第二阈值时，将语音信号输入缓存，并通过io接口使能语音预处理模块；语音预处理模块，语音预处理模块被使能后对缓存的语音信号实现声源定位、定向拾音、远场降噪、回音消除、语音信号增强以及端点检测；联合最大后验概率算法和变分贝叶斯算法获取声源方向信息，根据声源方向信息对声源方向之外的声音波束进行减弱和消除处理，然后对声源方向的语音信号进行增强；通过端点检测以去除语音中的非人声片段，并产生用于后端检测的唤醒语音段输入缓存，并通过io接口使能指令识别模块，完毕后语音预处理模块进入休眠；指令识别模块，指令识别模块构建语音唤醒模型，将缓存的唤醒语音段输入训练好的语音唤醒模型，获得唤醒命令及其包含的操作指令，如指令集中存在对应的操作指令，则将操作指令发送给终端设备，完毕后指令识别模块进入休眠，如指令集中不存在对应的操作指令，则进入纠错模块；纠错模块，获取唤醒语音段前后的语音数据信息，对唤醒语音段进行纠错，获取包含有用户意图的信息文本；反馈模块，根据信息文本，对用户进行反馈；重新发送模块，根据用户反馈结果重新确定唤醒语音段；指令识别模块将唤醒语音段重新输入训练好的语音唤醒模型，获得唤醒命令及其包含的操作指令，将操作指令发送给终端设备，完毕后指令识别模块进入休眠。9.如权利要求8所述的物联网终端增强唤醒装置，其特征在于，语音预处理模块具体包括：利用回声消除器和噪声抑制器实现回声消除和噪声抑制，利用自动增益控制对接受到的语音信号进行增强处理。10.如权利要求8所述的物联网终端增强唤醒装置，其特征在于，指令识别模块具体还包括：将实际环境中的产生语音唤醒数据上传云端并建立样本库，在云端服务器中训练出符合实际语音环境的语音唤醒模型。11.如权利要求8所述的物联网终端增强唤醒装置，其特征在于，指令识别模块具体还包括：语音唤醒模型用于提取声学特征，建立声学模型，解码音频信号，获得命令词得到对应的操作指令；特征提取将信号从时域转化到频域，为声学模型提供有代表性的特征向量；声
学模型将声乐和发音学知识相结合，以特征提取的特征向量作为输入，将特征序列转变成具有最大概率的声音模型序列；解码器针对给定的特征向量序列和字典序列，结合唤醒词模型和背景音模型判断特征序列是否激发唤醒。12.如权利要求8所述的物联网终端增强唤醒装置，其特征在于，指令识别模块具体还包括：将平稳的语音信号分割为均匀的小的片段进行分帧，分帧后对信号前后加窗，避免语音信号在间隔处出现的波动影响；利用傅里叶变换将每一帧的语音信号由时域转换到频域；利用滤波器对信号进行滤波使得得到的信号能够模拟人耳接收到的语音信号特征，通过求对数能量和 dct最终得到 mfcc 特征的倒谱系数。13.如权利要求8所述的物联网终端增强唤醒装置，其特征在于，纠错模块具体还包括：对识别出的信息文本进行语义理解，根据双向循环神经网络模型、卷积神经网络模型和/或端到端神经网络模型，并结合句式数据，通过底层句子语义建模的方式进行语义纠错。14.如权利要求8所述的物联网终端增强唤醒装置，其特征在于，纠错模块具体还包括：当用户反馈纠错后的信息文本属于用户的准确意图时，将纠错后的信息文本转换为语音唤醒命令，并重新发送语音唤醒命令。15.一种存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行如权利要求1至7中任一项所述物联网终端增强唤醒方法。

技术总结
本发明公开了一种物联网终端增强唤醒方法、装置及存储介质，涉及终端交互技术领域，包括步骤：物联网终端的增强唤醒芯片中的低功耗语音检测模块持续从环境声音中检测语音信号；语音预处理模块被使能后对缓存的语音信号实现声源定位、定向拾音、远场降噪、回音消除、语音信号增强以及端点检测；指令识别模块构建语音唤醒模型；获取唤醒语音段前后的语音数据信息，获取包含有用户意图的信息文本；根据信息文本，对用户进行反馈；根据用户反馈结果重新确定唤醒语音段；将唤醒语音段重新输入训练好的语音唤醒模型。本发明通过利用语音唤醒模型进行终端唤醒，并对唤醒命令进行纠错反馈，有效解决了现有技术中唤醒准确率低、用户体验差的技术问题。的技术问题。的技术问题。


技术研发人员：王嘉诚 张少仲 张栩
受保护的技术使用者：中诚华隆计算机技术有限公司
技术研发日：2022.07.26
技术公布日：2022/8/26