一种智能家居控制方法及计算机程序产品与流程

本发明涉及大模型，具体而言，涉及一种智能家居控制方法及计算机程序产品。

背景技术：

1、随着智能家居技术的发展，通过自然语言控制多设备协同工作已成为智能家居的重要方向。

2、然而，现有智能家居设备控制技术仍存在以下缺陷：一方面，现有系统仅依赖用户语音指令作为唯一触发源，系统始终处于被动响应状态，当厨房出现油温异常、燃气泄漏等风险场景时，若用户未主动下达指令，系统无法自主识别环境状态并主动发起干预；另一方面，智能家居涉及灯光、空调、窗帘、安防传感器、厨电、清洁机器人等多种设备，不同品牌、不同类型的设备在通信协议、控制接口、能力描述上彼此异构，现有系统通常为固定设备组合硬编码适配逻辑，当用户下达涉及多设备协同的复杂任务时，系统难以动态发现设备能力、自动编排并分配子任务，跨品牌协同几乎不具备可扩展性。

技术实现思路

1、有鉴于此，本发明实施例的目的在于，提供一种智能家居控制方法及计算机程序产品以至少部分地改善上述问题。

2、为了实现上述目的，本发明实施例采用的技术方案如下：

3、第一方面，本发明实施例提供了一种智能家居控制方法，包括：

4、根据获取的家居环境多模态传感数据，识别当前家居环境状态，当所述家居环境状态满足预设触发条件时，生成与用户交互指令格式统一的虚拟交互指令；

5、根据所述用户交互指令和/或所述虚拟交互指令，作为待执行的任务请求；

6、响应于所述任务请求，基于标准化设备调用协议，利用大语言模型将所述任务请求拆解为至少一个子任务，并将各所述子任务映射为针对目标设备的确定性的设备控制序列；

7、按照所述设备控制序列，控制所述目标设备执行相应操作。

8、可选地，所述根据获取的家居环境多模态传感数据，识别当前家居环境状态，当所述家居环境状态满足预设触发条件时，生成与用户交互指令格式统一的虚拟交互指令的步骤，包括：

9、通过部署于家居环境内的多种传感器持续采集多模态传感数据；

10、根据所述多模态传感数据，通过状态机识别当前家居环境状态；

11、当所述当前家居环境状态满足预设触发条件时，获取所述当前家居环境状态的语义理解结果；

12、根据所述语义理解结果和预设的场景动作映射规则，生成与用户交互指令格式统一的虚拟交互指令。

13、可选地，所述响应于所述任务请求，基于标准化设备调用协议，利用大语言模型将所述任务请求拆解为至少一个子任务，并将各所述子任务映射为针对目标设备的确定性的设备控制序列，包括：

14、响应于所述任务请求，获取当前可用设备的实时功能清单，利用大语言模型，将所述任务请求拆解为至少一个子任务；其中，每个所述子任务关联一个所述设备的具体能力；

15、基于标准化设备调用协议，为每个所述子任务生成带有参数占位符的抽象控制指令；

16、将所述抽象控制指令中的所述参数占位符映射为针对目标设备执行的具体物理参数，生成确定性的设备控制序列。

17、可选地，所述响应于所述任务请求，获取当前可用设备的实时功能清单，利用大语言模型，将所述任务请求拆解为至少一个子任务，包括：

18、获取当前接入系统的各设备的设备标识、设备类型、能力描述和运行状态，生成所述实时功能清单；

19、将所述实时功能清单和所述任务请求构建为子任务提取提示词；

20、基于所述子任务提取提示词，通过大语言模型，将所述任务请求拆解为至少一个子任务；每个所述子任务关联所述实时功能清单中一个设备的一项具体能力。

21、可选地，所述基于标准化设备调用协议，为每个所述子任务生成带有参数占位符的抽象控制指令，包括：

22、获取已接入标准化设备调用协议的各设备所注册的工具清单；其中，每个所述工具包含工具名称、功能描述和输入参数结构；

23、将所述工具清单和各所述子任务构建为工具调用提示词；

24、基于所述工具调用提示词，通过所述大语言模型，从所述工具清单中匹配各所述子任务对应的目标工具；

25、根据所述目标工具的输入参数结构，生成含有所述输入参数结构中各参数名称作为占位符的抽象控制指令。

26、可选地，所述将所述抽象控制指令中的所述参数占位符映射为针对目标设备执行的具体物理参数，生成确定性的设备控制序列，包括：

27、获取每个所述子任务对应的用户偏好参数；

28、根据所述用户偏好参数，确定各所述参数占位符对应的物理参数值；

29、将各所述物理参数值填入所述抽象控制指令中对应的参数占位符，生成确定性的设备控制序列。

30、可选地，所述获取每个所述子任务对应的用户偏好参数，包括：

31、将所述任务请求与动态记忆图谱中的任务层节点进行语义匹配，和/或将所述子任务与所述动态记忆图谱中的子任务层节点进行语义匹配，确定命中节点；所述任务层节点包含任务语义向量及其关联的子任务标识，所述子任务层节点包含设备类型、操作模板及其关联的上下文标识，所述动态记忆图谱还包括上下文层节点，所述上下文层节点包含偏好属性描述；

32、当语义匹配结果存在多个所述命中节点时，获取各所述命中节点的权重参数，选取权重参数最高的节点作为目标命中节点；

33、根据所述目标命中节点关联的上下文标识，确定对应的上下文层节点；

34、从所述上下文层节点中提取所述偏好属性描述，作为所述用户偏好参数。

35、可选地，所述方法还包括：

36、在所述目标设备执行操作完毕后，通过图像传感器采集所述操作执行结果的图像数据；

37、将所述图像数据输入视觉语言模型进行效果评估，生成评估结果；

38、根据所述评估结果，更新所述命中节点的权重参数；和/或，根据所述评估结果，更新所述命中节点关联的上下文层节点中的映射关系。

39、可选地，所述方法还包括：

40、将所述设备控制序列发送至虚拟沙盒进行模拟执行；所述虚拟沙盒包括各所述设备的数字孪生模型；

41、当所述模拟执行返回错误信息时，将所述错误信息重新输入所述大语言模型；

42、通过所述大语言模型，调整所述设备控制序列中与所述错误信息关联的参数，直至模拟执行成功或达到预设重试次数上限。

43、第二方面，本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括指令，所述指令在电子设备上执行时使所述电子设备实现上述任一项所述的方法。

44、本发明实施例提供的一种智能家居控制方法及计算机程序产品，通过持续采集家居环境多模态传感数据并识别环境状态，当检测到温度异常、燃气泄漏、非法入侵等风险场景时，系统能够自主生成与用户交互指令格式统一的虚拟交互指令，将环境事件以标准化的形式纳入调度流程，从而在用户未主动下达指令时主动发起干预；响应于任务请求，基于标准化设备调用协议，利用大语言模型将任务请求拆解为至少一个子任务，并将各子任务映射为针对目标设备的确定性的设备控制序列，能够动态发现设备能力、自动编排并分配子任务，不同品牌、不同类型的设备均能按照统一的协议接入和调用，提升了智能家居多设备协同场景下的跨品牌兼容性。

45、为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。