一种智能家居交互系统及方法与流程

摘要: 本技术涉及端云协同与智能家居交叉,特别是涉及一种智能家居交互系统及方法。背景技术:1、用户可以通过向诸如手机、平板、智能音箱等终端发送语音指令,以驱动终端对智能...
一种智能家居交互系统及方法与流程

本技术涉及端云协同与智能家居交叉,特别是涉及一种智能家居交互系统及方法。

背景技术:

1、用户可以通过向诸如手机、平板、智能音箱等终端发送语音指令,以驱动终端对智能家居进行控制,如用户可以向智能音箱发送语音指令“打开客厅电视”,智能音箱响应于该语音指令将控制位于客厅的电视开启。

2、终端能够准确响应用户语音指令的前提是识别音频信号。一种识别音频信号的方式为:在终端本地部署音频识别模型,但是受限制于终端的硬件性能,终端本地仅能够部署较为简单的音频识别模型,导致识别准确性较低。另一种识别音频信号的方式为:在云端部署音频识别模型,终端在接收到音频信号后发送至云端进行识别,虽然云端能够部署较为复杂的音频识别模型从而提高音频识别结果,但是该方式将音频信号上传云端进行识别,因此延迟较高。

技术实现思路

1、本技术实施例的目的在于提供一种智能家居交互系统及方法,以为用户提供低延迟、高准确性的智能家居交互。具体技术方案如下:

2、在本技术的第一方面,提供了一种智能家居交互系统,所述系统包括:

3、终端和服务器;

4、所述终端部署有音频分类模型,所述音频分类模型用于将音频信号归类至多个预设的智能家居交互指令中的一者,所述终端被配置为在接收到音频信号的情况下,利用所述音频分类模型对所述音频信号进行归类,得到第一智能家居交互指令以及所述第一智能家居交互指令的置信度;在所述置信度大于预设置信度阈值且所述第一智能家居交互指令未被暂停使用的情况下,执行所述第一智能家居交互指令,并将所述第一智能家居交互指令和所述音频信号发送至所述服务器;

5、所述服务器部署有大语言模型,所述服务器被配置为在接收到所述第一智能家居交互指令和所述音频信号的情况下,将所述音频信号转换为文本,并利用所述大语言模型推理得到所述文本表示的第二智能家居交互指令;在所述第一智能家居交互指令与所述第二智能家居交互指令不同的情况下,向所述终端发送针对所述第一智能家居交互指令的禁止指令;并在满足预设更新条件的情况下,训练得到新的音频分类模型并发送至所述终端;

6、所述终端还被配置为在接收到所述禁止指令的情况下,暂停使用所述第一智能家居交互指令;在接收到所述新的音频分类模型的情况下,部署所述新的音频分类模型并恢复使用所述第一智能家居交互指令。

7、在一种可能的实施例中,所述服务器被配置为通过以下方式训练得到新的音频分类模型,包括:

8、统计历史时段内从所述终端发送的音频信号中推理出的多个智能家居交互指令,得到所述多个智能家居交互指令中各智能家居交互指令的出现频率;

9、从所述多个智能家居交互指令中,确定出现频率满足预设高频出现条件的至少一个智能家居交互指令,作为高频智能家居交互指令;

10、训练得到用于将音频信号归类至各所述高频智能家居交互指令中的一者的新的音频分类模型。

11、在一种可能的实施例中,所述服务器被配置为通过以下方式从所述多个智能家居交互指令中,确定出现频率满足预设高频出现条件的至少一个智能家居交互指令,作为高频智能家居交互指令,包括:

12、从所述多个智能家居交互指令中,确定出现频率位于前a%的智能家居交互指令,作为第一候选智能家居交互指令;

13、从所述第一智能家居交互指令中,确定出现频率高于b%的智能家居交互指令,作为第二候选智能家居交互指令;其中,所述a、所述b为预设的取值范围在(0,100)的数值;

14、在所述第二候选智能家居交互指令的数目不超过预设数目阈值的情况下,将所述第二候选智能家居交互指令作为高频智能家居交互指令;

15、在所述第二候选智能家居交互指令的数目超过所述预设数目阈值的情况下,在所述第二候选智能家居交互指令中,确定出现频率位于前所述预设数目阈值位的智能家居交互指令,作为高频智能家居交互指令。

16、在一种可能的实施例中,所述服务器被配置为在所述第一智能家居交互指令与所述第二智能家居交互指令不同的情况下,记录本次接收到的音频信号;并且被配置为通过以下方式训练得到新的音频分类模型,包括:

17、以最近一次训练得到新的音频分类模型后记录的音频信号作为样本数据,训练得到新的音频分类模型。

18、在一种可能的实施例中,所述服务器被配置为通过以下方式以最近一次训练得到新的音频分类模型后记录的音频信号作为样本数据,训练得到新的音频分类模型,包括:

19、获取最近一次训练得到新的音频分类模型后记录的音频信号,作为第一样本数据;

20、通过所述大语言模型对所述第一样本数据进行数据扩充,得到第二样本数据;

21、基于所述第一样本数据和所述第二样本数据,训练得到新的音频分类模型。

22、在一种可能的实施例中,所述服务器还被配置为在训练得到新的音频分类模型之后,对所述新的音频分类模型进行质量评估;在质量评估通过的情况下执行所述发送至所述终端;在质量评估未通过的情况下,进行告警。

23、在一种可能的实施例中,所述服务器还被配置为在所述第一智能家居交互指令与所述第二智能家居交互指令相同的情况下,将所述第一智能家居交互指令标记为免校验;在接收到所述第一智能家居交互指令和所述音频信号的情况下,确定所述第一智能家居交互指令是否被标记为免校验;在否的情况下,执行所述将所述音频信号转换为文本,并利用所述大语言模型推理得到所述文本表示的第二智能家居交互指令的步骤。

24、在一种可能的实施例中,所述终端还被配置为在所述置信度大不于预设置信度阈值或所述第一智能家居交互指令被暂停使用的情况下,向所述服务器发送包含所述音频信号的决策请求;并执行所述服务器响应于所述决策请求反馈的智能家居交互指令;

25、所述服务器还被配置为,在接收到所述决策请求的情况下,将所述决策请求中的音频信号转换为文本;利用所述大语言模型推理得到所述文本表示的第三智能家居交互指令并发送至所述终端。

26、在本技术的第二方面,提供了一种智能家居交互方法,应用于智能家居交互系统,所述系统包括终端和服务器,所述终端部署有音频分类模型,所述服务器部署有大语言模型,所述音频分类模型用于将音频信号归类至多个预设的智能家居交互指令中的一者,所述方法包括:

27、所述终端利用所述音频分类模型对接收到的音频信号进行归类,得到第一智能家居交互指令以及所述第一智能家居交互指令的置信度;

28、所述终端在所述置信度大于预设置信度阈值且所述第一智能家居交互指令未被暂停使用的情况下,执行所述第一智能家居交互指令,并将所述第一智能家居交互指令和所述音频信号发送至所述服务器;

29、所述服务器将所述音频信号转换为文本,并利用所述大语言模型推理得到所述文本表示的第二智能家居交互指令;

30、所述服务器在所述第一智能家居交互指令与所述第二智能家居交互指令不同的情况下,向所述终端发送针对所述第一智能家居交互指令的禁止指令;并在满足预设更新条件的情况下,训练得到新的音频分类模型并发送至所述终端;

31、所述终端暂停使用所述第一智能家居交互指令;并在接收到所述新的音频分类模型的情况下,部署所述新的音频分类模型并恢复使用所述第一智能家居交互指令。

32、在本技术的第三方面,还提供了一种计算机可读存储介质,,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第二方面所述的智能家居交互方法。

33、本技术实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第二方面所述的智能家居交互方法。

34、本技术实施例有益效果:

35、本技术实施例提供的智能家居交互系统及方法,可以先行利用部署在终端的较为简单的音频分类模型识别用户的语音指令并执行,如此保证了智能家居交互的延时较低。并且,利用服务器侧较为复杂的大语言模型异步地对音频分类模型的识别结果进行校验,在校验不通过的情况下暂停对应的语音指令,以避免后续执行错误的语音指令,同时服务器将为终端更新音频分类模型,从而提高智能家居交互的准确性。也即,能够实现以为用户提供低延迟、高准确性的智能家居交互。

36、当然,实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。