一种基于语音识别的智能闹钟交互控制方法及系统与流程

本发明涉及语音识别，尤其涉及一种基于语音识别的智能闹钟交互控制方法及系统。

背景技术：

1、智能闹钟作为家居物联网终端设备，语音交互控制是其核心功能之一。用户通过发出语音指令控制闹钟完成定时设置、音量调节、媒体播放等操作。现有智能闹钟语音交互控制技术采用单麦克风配合逐帧一维短时傅里叶变换提取声学特征的方案。现有技术仅对单帧信号进行频域分析，无法捕获语音信号跨帧时间维度上的周期性演变结构，导致深度学习模型输入特征丢失帧间动态信息，时频联合表达能力不足。此外，现有技术无法从空间维度区分近场用户语音与远场环境噪声，噪声分量与语音特征直接混叠后输入识别模型，模型输入质量下降，控制命令误触发率高，严重影响用户的语音交互体验。

技术实现思路

1、本发明提供了一种基于语音识别的智能闹钟交互控制方法及系统，用于本发明解决了现有技术中单麦克风一维特征提取方案在复杂声学环境下识别质量低、控制指令误触发率高的技术问题。

2、第一方面，本发明提供了一种基于语音识别的智能闹钟交互控制方法，所述基于语音识别的智能闹钟交互控制方法包括：

3、通过第一麦克风采集第一音频信号，通过第二麦克风同步采集第二音频信号，并分别计算所述第一音频信号的第一二维时频幅度谱以及所述第二音频信号的第二二维时频幅度谱；

4、基于所述第一二维时频幅度谱与所述第二二维时频幅度谱计算初始差频矩阵并确定自适应噪声阈值，将所述初始差频矩阵中低于所述自适应噪声阈值的分量置零并生成梅尔特征矩阵；

5、对所述梅尔特征矩阵进行语音识别并生成结构化控制指令，将所述结构化控制指令传输至智能闹钟硬件执行层，完成语音交互控制。

6、结合第一方面，在本发明第一方面的第一种实现方式中，所述通过第一麦克风采集第一音频信号，通过第二麦克风同步采集第二音频信号，并分别计算所述第一音频信号的第一二维时频幅度谱以及所述第二音频信号的第二二维时频幅度谱，包括：

7、通过第一麦克风采集第一音频信号，通过第二麦克风同步采集第二音频信号，计算所述第一音频信号的第一短时能量以及所述第二音频信号的第二短时能量；

8、根据所述第一短时能量截取所述第一音频信号中的第一有效语音帧并施加一阶高频预加重滤波，得到第一预加重音频信号，并根据所述第二短时能量截取所述第二音频信号中的第二有效语音帧并施加一阶高频预加重滤波，得到第二预加重音频信号；

9、分别对所述第一预加重音频信号和所述第二预加重音频信号进行分帧，得到第一帧矩阵和第二帧矩阵；

10、分别对所述第一帧矩阵和所述第二帧矩阵沿频率轴执行一维快速傅里叶变换后再沿时间轴执行一维快速傅里叶变换，得到第一二维时频幅度谱和第二二维时频幅度谱。

11、结合第一方面，在本发明第一方面的第二种实现方式中，所述分别对所述第一帧矩阵和所述第二帧矩阵沿频率轴执行一维快速傅里叶变换后再沿时间轴执行一维快速傅里叶变换，得到第一二维时频幅度谱和第二二维时频幅度谱，包括：

12、对所述第一帧矩阵的每一行沿频率轴执行一维快速傅里叶变换，得到第一单侧频谱矩阵；再对所述第一单侧频谱矩阵的每一列沿时间轴执行一维快速傅里叶变换，得到第一二维复数时频谱；

13、基于所述第一二维复数时频谱计算第一二维时频幅度谱；

14、对所述第二帧矩阵的每一行沿频率轴执行一维快速傅里叶变换，得到第二单侧频谱矩阵；再对所述第二单侧频谱矩阵的每一列沿时间轴执行一维快速傅里叶变换，得到第二二维复数时频谱；

15、基于所述第二二维复数时频谱计算第二二维时频幅度谱。

16、结合第一方面，在本发明第一方面的第三种实现方式中，所述对所述第一帧矩阵的每一行沿频率轴执行一维快速傅里叶变换，得到第一单侧频谱矩阵；再对所述第一单侧频谱矩阵的每一列沿时间轴执行一维快速傅里叶变换，得到第一二维复数时频谱，包括：

17、对所述第一帧矩阵的每一行执行一维快速傅里叶变换，得到全频段复数频谱，并取所述全频段复数频谱的正频率半段作为第一单侧频谱矩阵；

18、对所述第一单侧频谱矩阵的每一列执行一维快速傅里叶变换，得到第一二维复数时频谱。

19、结合第一方面，在本发明第一方面的第四种实现方式中，所述基于所述第一二维时频幅度谱与所述第二二维时频幅度谱计算初始差频矩阵并确定自适应噪声阈值，将所述初始差频矩阵中低于所述自适应噪声阈值的分量置零并生成梅尔特征矩阵，包括：

20、对所述第一二维时频幅度谱与所述第二二维时频幅度谱在相同位置逐元素相减，得到初始差频矩阵；

21、在语音活动检测触发前，取静默段的差频矩阵计算自适应噪声阈值，将所述初始差频矩阵中低于所述自适应噪声阈值的元素置零，得到目标差频矩阵；

22、将所述目标差频矩阵沿频率轴方向依次通过各梅尔滤波器进行处理，得到梅尔特征矩阵。

23、结合第一方面，在本发明第一方面的第五种实现方式中，所述在语音活动检测触发前，取静默段的差频矩阵计算自适应噪声阈值，将所述初始差频矩阵中低于所述自适应噪声阈值的元素置零，得到目标差频矩阵，包括：

24、在语音活动检测触发前，取静默段的差频矩阵，并根据所有静默段的差频矩阵计算静默段差频均值和静默段差频标准差；

25、将所述静默段差频均值与所述静默段差频标准差的预设整数倍之和确定为自适应噪声阈值；

26、将所述初始差频矩阵中每个元素的绝对值与所述自适应噪声阈值逐一比较，将绝对值低于所述自适应噪声阈值的元素置为零、保留绝对值不低于所述自适应噪声阈值的元素，得到目标差频矩阵。

27、结合第一方面，在本发明第一方面的第六种实现方式中，所述将所述目标差频矩阵沿频率轴方向依次通过各梅尔滤波器进行处理，得到梅尔特征矩阵，包括：

28、针对所述目标差频矩阵的每一行，依次将对应行中落入每个梅尔滤波器覆盖频率范围内的各频率bin元素与在对应频率bin处的三角形权重系数逐一相乘后累加，得到第一输出向量；

29、对所述第一输出向量中的每个元素取对数，得到第二输出向量，并根据所述目标差频矩阵中所有行对应的第二输出向量构建梅尔特征矩阵。

30、结合第一方面，在本发明第一方面的第七种实现方式中，所述对所述梅尔特征矩阵进行语音识别并生成结构化控制指令，将所述结构化控制指令传输至智能闹钟硬件执行层，完成语音交互控制，包括：

31、将所述梅尔特征矩阵输入语音识别模型，通过所述语音识别模型中的多个conformer编码器块分别经过第一前馈子层、多头自注意力子层、深度可分离卷积子层及第二前馈子层进行特征提取，得到字符序列；

32、对所述字符序列进行意图解析，提取指令类型字段与参数槽位字段，并将所述指令类型字段与所述参数槽位字段封装为结构化控制指令；

33、将所述结构化控制指令传输至智能闹钟硬件执行层，由硬件执行层解析指令类型字节并调用对应功能模块完成语音交互控制。

34、结合第一方面，在本发明第一方面的第八种实现方式中，所述将所述结构化控制指令传输至智能闹钟硬件执行层，由硬件执行层解析指令类型字节并调用对应功能模块完成语音交互控制，包括：

35、将所述结构化控制指令中的固定魔数填入包头字节，将所述结构化控制指令中的指令类型字段编码为单字节指令类型字节，将所述结构化控制指令中的参数槽位字段填入参数载荷字节，得到待校验数据包；

36、计算所述待校验数据包的crc校验值，并将所述crc校验值填入所述待校验数据包的crc校验字节，得到蓝牙数据包；

37、将所述蓝牙数据包发送至智能闹钟的硬件执行层，硬件执行层接收后对所述蓝牙数据包进行crc校验；

38、若crc校验通过，则提取指令类型字节映射至对应功能模块执行定时设置、音量调节或媒体播放操作，若crc校验不通过，则丢弃所述蓝牙数据包并触发重传。

39、第二方面，本发明提供了一种基于语音识别的智能闹钟交互控制系统，所述基于语音识别的智能闹钟交互控制系统包括：

40、采集模块，用于通过第一麦克风采集第一音频信号，通过第二麦克风同步采集第二音频信号，并分别计算所述第一音频信号的第一二维时频幅度谱以及所述第二音频信号的第二二维时频幅度谱；

41、计算模块，用于基于所述第一二维时频幅度谱与所述第二二维时频幅度谱计算初始差频矩阵并确定自适应噪声阈值，将所述初始差频矩阵中低于所述自适应噪声阈值的分量置零并生成梅尔特征矩阵；

42、语音交互模块，用于对所述梅尔特征矩阵进行语音识别并生成结构化控制指令，将所述结构化控制指令传输至智能闹钟硬件执行层，完成语音交互控制。

43、本发明提供的技术方案中，通过双麦克风同步采集结合二维快速傅里叶变换与差频信号处理，解决了现有技术中单麦克风一维特征提取方案在复杂声学环境下识别质量低、控制指令误触发率高的技术问题。通过对两路音频信号分别沿频率轴和时间轴依次执行一维快速傅里叶变换，得到同时编码声学频率结构与帧间包络调制信息的二维时频幅度谱，相较于传统逐帧一维fft特征，二维时频幅度谱在时频两个维度上联合表征了语音信号的结构信息，丰富了深度学习语音识别模型的输入特征质量。本发明通过对两路二维时频幅度谱执行逐元素差频运算，利用双麦克风空间相关性将环境稳态噪声对应的高相关分量在差频运算中自然抵消，同时依据静默段初始差频矩阵的统计特性自适应确定噪声阈值并执行置零处理，在不依赖额外噪声估计模型的前提下实现了对稳态噪声的精确抑制，有效提升了输入语音识别模型的梅尔特征矩阵的信噪比。本发明识别输出的字符序列经意图解析模块转换为结构化控制指令，通过自定义蓝牙数据包格式经蓝牙低功耗信道可靠传输至硬件执行层，保障了控制指令传输的完整性与实时性，实现了智能闹钟语音交互控制闭环。

44、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

45、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。