一种在线语音空调系统和方法与流程

本发明涉及空调智能控制，具体涉及一种在线语音空调系统和方法。

背景技术：

1、语音控制已成为智能空调的重要交互方式；现有的语音空调通常需要用户先说出唤醒词，等待设备回复后再输入控制指令，交互流程较长。同时，常见的唤醒词一般在4个字左右，不利于和想要表达的指令放在一起连续说，用户体验不够流畅。

2、为了提升交互体验，现有技术中出现了缩短唤醒词和免唤醒的方案。然而，缩短唤醒词到2个字虽然提升了连续说体验，但会大幅增加误唤醒概率。测试数据表明，2字短唤醒词在72小时内可产生高达356次误唤醒，严重打扰用户。

3、现有技术中已有多项专利尝试解决上述问题：

4、cn107388487b公开了多个预设唤醒词对应不同控制模式的方案，并支持在线和离线模式切换，但其两个唤醒词均遵循相同的“唤醒－等待－指令”交互模式，未实现连续说交互；其在线和离线切换采用同空间模型切换方式，切换延迟较大。

5、cn107591151b公开了离线唤醒后由在线引擎进行二次确认以减少误唤醒的机制，但该方案需要在线引擎常驻，占用嵌入式芯片有限的内存资源，导致离线命令词识别能力被严重压缩。

6、cn109326289a和cn118248138a公开了免唤醒语音交互中的语义意图判断，cn122201268a公开了使用云端大语言模型进行意图识别的方案。

7、综上所述，现有技术存在以下技术问题：在资源受限的嵌入式语音芯片上，当离线模型和在线模型混合运行时，在线模型需要占用录音采集、音频上传、网络通信等功能的代码空间和运行内存，导致离线语音命令词的识别能力被严重压缩，混合运行时仅能支持约50条命令词。如何通过架构层面的创新，使离线模式下的命令词识别能力提升至接近2万条，同时保证模式切换的低延迟和高可靠性，是现有技术尚未解决的技术难题。同时，如何在缩短唤醒词提升连续说体验的同时，将误唤醒率降低至零，且不影响离线模式下的用户体验，需要离线架构、云端大模型过滤和长短唤醒词机制三者的协同设计。

技术实现思路

1、本发明提出的一种在线语音空调系统和方法，以解决上述背景技术的问题。

2、为实现上述目的，本发明采用了以下技术方案：本发明的一种在线语音空调方法，包括以下步骤：

3、s1、在语音模组上配置长唤醒词和短唤醒词两种唤醒模式；

4、s2、当识别到短唤醒词时，将包含唤醒词的录音上传至在线语音平台，通过云端大模型进行意图判断，若判断为无效意图则不进行回复播报且不进入唤醒状态；

5、s3、在所述语音模组上存储离线模型和在线模型，两套模型的运行代码独立分离运行，通过标志位分发器切换协议实现离在线模型之间的切换；

6、s4、当切换到离线模式时，仅启用长唤醒词，所述离线模型独占离线内存池运行全量命令词识别；当切换到在线模式时，启用长唤醒词和短唤醒词，所述在线模型运行录音采集上传和云端大模型意图判断。

7、优选的，所述语音模组的ram为动态分配共用的离线内存池和在线内存池，所述离线内存池采用动态分配方式，在编译期固定分配，用于存储离线声学模型参数、命令词网络、唤醒词模型和dsp推理缓冲区；所述在线内存池采用动态分配方式，在运行时申请，用于存储录音采集缓冲区、音频编码缓冲区、网络发送队列和精简版唤醒词模型；两个内存池拥有独立的内存管理器实例，互不干扰。

8、优选的，所述标志位分发器切换协议包括：wifi模组检测到网络状态变化或接收到模式切换指令后，通过串口向语音模组写入1字节的模式标志位；语音模组上的标志位分发器监听所述标志位，收到切换指令后依次执行挂起当前模型的dsp任务上下文并保存至flash上下文存储区、释放当前模型占用的ram空间、从flash读取目标模型固件并加载至目标内存池、切换内存管理器实例指针、激活目标模型的入口函数、从flash上下文存储区恢复目标模型的dsp任务上下文。

9、优选的，所述语音模组内的dsp和npu在离线和在线模式下分别运行不同的执行上下文，其中离线模式下dsp运行完整的离线声学模型推理、npu运行离线命令词识别神经网络，在线模式下dsp运行精简版唤醒词检测和录音采集及音频编码、npu运行精简版唤醒词神经网络；离线模型的执行上下文在切换到在线模式时，其dsp和npu寄存器状态和中间计算结果保存至flash中的上下文存储区，离线模型占用的离线内存池ram被释放；切换回离线模式时，从flash重新加载离线模型至离线内存池，并从所述flash上下文存储区恢复dsp和npu的执行上下文。

10、优选的，所述离线模型和在线模型采用完全独立的训练流程，非派生关系；其中离线模型的训练目标为最大化命令词识别覆盖率和唤醒词准确率，训练数据包括不少于120人的空调功能命令词和长唤醒词人声录音，命令词网络包含约2万条命令词条；在线模型的训练目标为最大化唤醒词准确率和录音采集质量，训练数据为长短两种唤醒词的专项录音采集，不包含命令词网络；两者采用不同的模型压缩策略，离线模型采用int8量化加剪枝以适配离线内存池的容量预算，在线模型采用精简版唤醒词模型以适配在线内存池的容量预算。

11、优选的，还包括切换可靠性保障机制：切换过程中启动看门狗定时器，若切换超时则自动回退至离线模式；切换前验证目标模型的flash校验和以确保固件完整性；切换过程中正在播放的音频通过渐隐处理以避免爆音；每次切换记录时间戳、源模式、目标模式和切换延迟至flash日志区；若切换过程中发生异常则自动回退至切换前的模式并上报异常事件。

12、优选的，所述长唤醒词和短唤醒词通过多级方式准确识别：第一级为加强语音训练，针对长短唤醒词分别采集录音导入模型训练；第二级为语音时长二次筛选，根据语音时长区分短唤醒词和长唤醒词；第三级为云端识别确认，将唤醒时的录音上传到云端进行asr和nlp识别，由大模型最终确认唤醒词类型。

13、优选的，所述云端大模型进行意图判断的具体流程为：语音模组识别到短唤醒词后开始录音并上传至在线语音平台，经asr语音转文本和nlp自然语言处理后，由轻量级控制推理大模型判定唤醒词内容并决策回复方式，若云端未匹配到空调能执行的服务则不下发语音播报，保证空调在未识别到用户有效操作而被周围声音误唤醒时不产生播报打扰。

14、优选的，所述离线模式下禁用短唤醒词，仅保留长唤醒词，避免离线无大模型过滤时的误唤醒问题；离线模型支持自定义唤醒词学习功能，用户可录入自定义唤醒词；所述在线模式支持长唤醒词传统交互和短唤醒词连续说交互，还支持天气查询、空调运行状态查询、播放内容和智能纠偏功能。

15、一种在线语音空调系统，包括空调主板mcu、wifi模组、语音模组、物联网平台和在线语音平台，其中：

16、所述语音模组用于识别唤醒语音，存储有离线模型和在线模型两套独立运行的语音模型，配置有标志位分发器，用于通过挂起当前模型的dsp任务上下文、切换内存管理器实例指针、激活目标模型入口函数、恢复目标模型的dsp任务上下文实现离在线模型切换；

17、所述wifi模组用于连接在线平台，上传语音录音，接收物联网平台控制指令和在线语音平台回复音频，并负责离在线模型切换指令的下发；

18、所述物联网平台用于处理手机应用消息，与wifi模组维持在线连接，转发控制指令；

19、所述在线语音平台用于语音指令的解析与处理，包含asr、nlp和轻量级控制推理大模型，用于判断意图并决策回复方式；

20、所述空调主板mcu用于接收wifi模组转发的控制指令，执行空调功能控制。

21、由上述技术方案可知，本发明提供了一种在线语音空调方法。与现有技术相比本发明具有以下优势：

22、1.本发明通过语音交互同时支持了类似免唤醒的使用体验和传统的唤醒语音交互，两种模式无缝兼容，用户无学习成本。

23、2.本发明通过云端大模型意图判断，将短唤醒词的误唤醒次数降低，在保证连续说体验的同时彻底消除了误唤醒打扰。

24、3.本发明通过离在线模型代码独立分离运行，标志位分发器切换协议、dsp时分执行上下文，将离线语音命令词容量提升，使离线模式具备全量命令词识别能力。

25、4.本发明通过离线时不会因为短唤醒词的误唤醒问题影响体验，切换独立运行还可以增加离线语音的能力，避免资源浪费。

26、5.本发明通过长短双唤醒词、云端大模型过滤和独立分离运行架构三者协同，产生了连续说体验加零误唤醒加多命令词离线能力。