智能家居控制方法和装置与流程

摘要: 本发明涉及智能家居控制,尤其涉及一种智能家居控制方法和装置。背景技术:1、随着物联网技术与人工智能的深度融合,智能家居系统已广泛应用于现代家庭生活场景中,成为提...
智能家居控制方法和装置与流程

本发明涉及智能家居控制,尤其涉及一种智能家居控制方法和装置。

背景技术:

1、随着物联网技术与人工智能的深度融合,智能家居系统已广泛应用于现代家庭生活场景中,成为提升居住舒适度与便捷性的重要载体。当前主流的智能家居控制方案通常依赖于对用户指令的采集与解析,进而驱动各类智能家居设备执行相应操作。现有常用的控制方案包括基于大模型或智能体(agent)的指令处理方案、基于ai意图识别的场景搭建方案、基于多模态数据融合的控制方案以及基于家庭知识库的构建方案。这类方案主要是通过对用户自然语言指令进行解析,并结合家庭环境信息与用户使用习惯,实现对家居设备的自动化控制,降低了用户的操作门槛,提升了用户使用体验。

2、然而,现有的智能家居控制方案仍存在有以下缺陷:对云端大模型存在过度依赖,不仅会导致控制指令响应延迟,还会造成不必要的云端资源浪费;部分本地轻量化控制方案只能识别预先设置的语音指令和手势动作,对于复杂的指令或其它肢体动作无法进行识别,导致面对复杂场景指令或模糊表述时,容易出现理解偏差,导致交互性差、控制结果不符合用户预期。

技术实现思路

1、本发明实施例的目的是提供一种智能家居控制方法和装置,以解决现有的智能家居控制方法中存在的响应速度慢、交互性差的技术问题。

2、在第一方面,为实现上述目的,本发明实施例提供了一种智能家居控制方法,包括:

3、采集处于目标区域内目标用户的用户行为数据;

4、在所述用户行为数据为语音数据的情况下,对所述语音数据进行第一匹配处理,得到对应的第一控制指令;

5、在所述用户行为数据为预设的指定用户动作的情况下,对所述指定用户动作进行第二匹配处理,得到对应的第二控制指令;

6、基于所述第一控制指令和/或所述第二控制指令,控制对应的智能家居设备执行相应操作。

7、在第二方面,为了解决相同的技术问题,本发明实施例提供了一种智能家居控制装置,包括:

8、采集模块,用于采集处于目标区域内目标用户的用户行为数据;

9、第一匹配模块,用于在所述用户行为数据为语音数据的情况下,对所述语音数据进行第一匹配处理,得到对应的第一控制指令;

10、第二匹配模块,用于在所述用户行为数据为预设的指定用户动作的情况下,对所述指定用户动作进行第二匹配处理,得到对应的第二控制指令;

11、控制模块,用于基于所述第一控制指令和/或所述第二控制指令,控制对应的智能家居设备执行相应操作。

12、在一些实施例中,所述第一匹配模块,具体用于:对所述语音数据进行文本识别处理,得到所述语音数据对应的文本数据;在预设的文本规则库中对所述文本数据进行匹配处理,以确定与所述文本数据相匹配的目标文本规则对,所述文本规则库包括文本规则对,所述文本规则对包括文本数据与相对应的控制指令;根据所述目标文本规则对,确定第一控制指令。

13、在一些实施例中,所述第一匹配模块,具体还用于:对所述文本数据进行指代词检测处理,得到检测结果;在所述检测结果表征所述文本数据缺少明确指代对象,且包含目标词语时,采集所述目标区域对应的画面数据;根据所述画面数据确定所述目标用户指向或视线聚焦的目标对象;将所述目标对象作为明确指代对象,并替代所述文本数据中的目标词语,得到优化后的文本数据。

14、在一些实施例中,所述装置还包括:处理模块、搜索模块以及第一确定模块;

15、所述处理模块,用于在所述检测结果表征所述文本数据缺少明确指代对象,且不包含目标词语时,采集所述目标区域的环境特征,并将所述文本数据进行向量化处理,得到所述文本数据对应的文本向量特征,所述环境特征包括时间戳、室内温度以及光照强度的特征;

16、所述搜索模块,用于结合所述环境特征和所述文本向量,得到复合向量,并在预设的隐式经验库中进行近似最近邻搜索,得到满足第一相似度阈值的目标意图指令对,所述隐式经验库包括意图指令对,所述意图指令对为用户意图与对应的控制指令;

17、所述第一确定模块,用于根据所述目标意图指令对,确定第一控制指令。

18、在一些实施例中,所述装置还包括:第二确定模块、第三匹配模块、第一推理模块、第三确定模块;

19、所述第二确定模块,用于在所述隐式经验库中搜索不到满足所述第一相似度阈值的目标意图指令对时,确定所述目标区域对应的画面数据的画面特征、环境特征,以及所述目标用户的用户特征;

20、所述第三匹配模块,用于根据所述用户特征,在所述隐式经验库中匹配出与所述用户特征相关的历史意图指令对;

21、所述第一推理模块,用于将所述画面特征、所述环境特征、所述历史意图指令对以及所述文本数据,输入至训练好的多模态大模型中进行推理,得到推理出的第一推理意图以及对应的第一推理控制指令;

22、所述第三确定模块,用于将所述第一推理控制指令,确定为第一控制指令。

23、在一些实施例中,所述装置还包括:第一存储模块;

24、所述第一存储模块,用于若在控制对应的智能家居设备执行相应操作后的预设时间内,未检测到所述目标用户对所述智能家居设备的执行操作进行调整,则将所述第一推理意图和所述第一推理控制指令作为意图指令对存储到所述隐式经验库中。

25、在一些实施例中,所述第二匹配模块,具体用于:在预设的场景规则库中对所述指定用户动作进行匹配处理,以确定与所述指定用户动作相匹配的目标场景规则对,所述场景规则库包括场景规则对,所述场景规则对包括指定用户动作与相对应的控制指令;根据所述目标场景规则对,确定第二控制指令。

26、在一些实施例中,所述装置还包括:第一获取模块、第二推理模块、第四确定模块;

27、所述第一获取模块,用于若在所述场景规则库中无法匹配到与所述指定用户动作相关的目标场景规则对时,从所述场景规则库中获取相似度与所述指定用户动作满足第二相似度阈值的历史场景规则对;

28、所述第二推理模块,用于将所述历史场景规则对和所述指定用户动作,输入至训练好的多模态大模型中进行推理,得到推理出的第二推理意图以及对应的第二推理控制指令;

29、所述第四确定模块,用于将所述第二推理控制指令,确定为第二控制指令。

30、在一些实施例中,所述装置还包括:第二获取模块、第二存储模块;

31、所述第二获取模块,用于若在控制对应的智能家居设备执行相应操作后的预设时间内,检测到所述目标用户对所述智能家居设备的执行操作进行调整,则获取所述目标用户执行的调整指令;

32、所述第二存储模块,用于将所述第二推理意图和所述调整指令作为场景规则对存储到所述场景规则库中。

33、在第三方面,为了解决相同的技术问题,本发明实施例提供了一种电子设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述存储器与所述处理器耦接,且所述处理器执行所述计算机程序时,实现上述任一项所述的智能家居控制方法中的步骤。

34、在第四方面,为了解决相同的技术问题,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的智能家居控制方法中的步骤。

35、本发明实施例提供了一种智能家居控制方法和装置,该方法通过对用户行为数据进行分类处理,针对不同类型的输入数据分别采用不同的匹配机制,使得系统能够兼容语音指令与肢体动作两种自然交互方式,利用第一匹配处理快速响应明确的语音需求,同时借助第二匹配处理直接解析特定的用户动作场景,从而有效避免了单一交互模式的局限性;同时,通过对不同模态数据的差异化处理与统一执行,不仅能够提升对多样化用户输入的适应能力,还确保了在无需复杂推理即可命中的场景下实现毫秒级响应,从而有效提高智能家居控制的响应速度与交互灵活性。