智慧住宅户脑主辅机协同控制方法、系统、设备及介质与流程

摘要: 本技术涉及智能家居,具体涉及一种智慧住宅户脑主辅机协同控制方法、系统、设备及介质。背景技术:1、现有的智能家居系统通常在住宅内布置若干交互终端,各交互终端将采集...
智慧住宅户脑主辅机协同控制方法、系统、设备及介质与流程

本技术涉及智能家居,具体涉及一种智慧住宅户脑主辅机协同控制方法、系统、设备及介质。

背景技术:

1、现有的智能家居系统通常在住宅内布置若干交互终端,各交互终端将采集到的语音数据以及各类传感器产生的事件数据经网络发送至远端服务器,由远端服务器进行识别、理解与处理,并将生成的控制指令下发至住宅内的家居设备以驱动家居设备动作;用户发起的日常交互请求与住宅内传感器触发的事件,均由远端服务器按照接收的先后顺序在同一处理流程中依次处理。为降低对远端服务器的依赖,部分系统在住宅内设置本地处理节点,即户脑,由户脑对住宅内的语音交互请求与传感器事件进行本地识别、理解与处理;户脑由住宅内具备处理能力的若干设备构成主辅机协同网络,各设备根据自身上报的处理能力参数确定角色,其中满足预设能力条件且处理能力参数最高的设备作为户脑主机,其余设备作为户脑辅机,户脑主机承担识别、理解与决策,户脑辅机承担音频采集、应答音频播放与事件上报。

2、在上述现有系统中,用户发起的日常交互请求与燃气泄漏、水浸等安全类传感器事件由同一处理流程依次处理,当处理流程正被在先的日常交互请求占用时,安全类传感器事件对应的家居设备动作需等待在先的日常交互请求处理完毕后才能执行,安全类传感器事件对应家居设备动作的执行时间存在不确定性,进而带来安全方面的隐患。

技术实现思路

1、为了解决上述技术问题,本技术提供一种智慧住宅户脑主辅机协同控制方法、系统、设备及介质。

2、在本技术的第一方面提供了一种智慧住宅户脑主辅机协同控制方法,采用如下技术方案:

3、将户脑主机的第一网络接口接入家庭局域网、将所述户脑主机的第二网络接口接入社区局域网,将户脑辅机仅接入所述家庭局域网,将所述户脑辅机发往所述社区局域网的报文经所述户脑主机转发至所述第二网络接口,得到主辅机协同网络;

4、根据所述户脑辅机在所述主辅机协同网络中发送的握手请求中的辅机标识与接入令牌进行身份校验,根据校验通过的结果在所述户脑辅机与所述户脑主机之间建立控制协议通道与语音流通道;

5、基于所述户脑主机通过所述控制协议通道接收所述户脑辅机上报的唤醒事件,将所述户脑辅机采集的音频封装为音频帧,将所述音频帧经所述语音流通道逐帧发送至所述户脑主机;

6、根据所述户脑辅机经所述控制协议通道上报的语音活动结束事件,对所述户脑主机已缓冲的所述音频帧进行语音识别与意图解析,得到用户请求;

7、根据所述主辅机协同网络中所述社区局域网的可达状态,并基于所述用户请求在预设的快速意图路径、本地大语言模型路径与外部增强模型路径中确定目标处理路径,基于所述目标处理路径对所述用户请求进行处理,得到应答结果;

8、将所述应答结果中的设备操作部分转换为设备控制指令并经所述主辅机协同网络中的家庭局域网下发至家庭终端,将所述应答结果中的语音应答部分合成为应答音频并经所述语音流通道回传至所述户脑辅机;

9、根据所述主辅机协同网络内检测到的安全类传感事件生成中止信号,基于所述中止信号停止所述目标处理路径对所述用户请求的处理并撤销尚未执行完毕的所述设备控制指令,根据预设的映射规则将所述安全类传感事件映射为优先级高于所述设备控制指令的目标执行动作,将所述目标执行动作经所述家庭局域网下发至所述家庭终端。

10、通过采用上述技术方案,能够将安全类传感事件的处理与日常交互请求解耦,当检测到燃气泄漏、水浸等高优先级事件时,可主动中止正在进行的用户请求处理并撤销未执行的指令,转而优先下发安全类执行动作,有助于缩短安全事件响应的时间窗口,降低因处理流程排队而引发的人身与财产风险,提升户脑系统在紧急场景下的可控性与可靠性。

11、可选的,所述根据所述户脑辅机在所述主辅机协同网络中发送的握手请求中的辅机标识与接入令牌进行身份校验,根据校验通过的结果在所述户脑辅机与所述户脑主机之间建立控制协议通道与语音流通道,包括:

12、根据所述辅机标识与所述接入令牌校验通过的结果,基于所述户脑主机侧的消息代理在所述户脑辅机与所述户脑主机之间建立承载控制消息的控制协议通道;

13、基于所述控制协议通道协商得到会话标识,根据所述会话标识在所述户脑辅机与所述户脑主机之间建立承载所述音频帧的语音流通道,通过所述会话标识将所述音频帧与所述控制协议通道上报的所述唤醒事件及所述语音活动结束事件相关联。

14、通过采用上述技术方案,有助于在辅机接入时实现基于标识与令牌的双重校验,并通过消息代理构建独立的控制协议通道,同时协商会话标识以关联语音流与事件上报,有利于保持请求上下文的连贯性,便于后续音频帧与唤醒、结束事件的对齐处理,可降低通道混淆带来的解析错误风险,提升户脑协同通信的准确性与稳定性。

15、可选的,所述根据所述唤醒事件将所述户脑辅机采集的音频封装为音频帧,将所述音频帧经所述语音流通道逐帧发送至所述户脑主机,包括:

16、根据所述唤醒事件基于预设的帧长将所述户脑辅机采集的音频切分并封装为携带序号的上行音频帧,将所述上行音频帧经所述语音流通道逐帧发送至所述户脑主机并缓冲;

17、根据所述上行音频帧携带的所述序号对经所述语音流通道到达所述户脑主机的所述上行音频帧进行到达顺序校验,根据存在乱序或丢失的结果按照所述序号对已缓冲的所述上行音频帧进行重排与补齐;

18、根据所述户脑辅机在所述应答音频播放期间上报的打断事件停止所述应答音频的回传,将所述语音流通道恢复至所述上行音频帧的接收状态。

19、通过采用上述技术方案,有助于在音频传输过程中通过帧封装与序号校验机制维持上行音频的连续性,出现乱序或丢失时可进行重排与补齐,降低因网络波动导致的语音识别偏差;打断事件可使语音流通道及时切换至接收状态,避免无效音频继续上传,有利于提升交互响应的及时性与通道资源的利用效率。

20、可选的,根据所述主辅机协同网络中所述社区局域网的可达状态,并基于所述用户请求在预设的快速意图路径、本地大语言模型路径与外部增强模型路径中确定目标处理路径,基于所述目标处理路径对所述用户请求进行处理,得到应答结果,包括:

21、根据对所述用户请求进行分词与目标词提取得到的意图特征与预设的规则库进行匹配,根据所述意图特征命中所述规则库中预设规则的结果将所述快速意图路径确定为所述目标处理路径,基于命中的所述预设规则直接映射得到与所述用户请求对应的设备操作意图,将所述设备操作意图确定为所述应答结果而不经所述本地大语言模型路径与所述外部增强模型路径;

22、根据所述规则库未命中的结果将所述本地大语言模型路径确定为所述目标处理路径,基于本地向量库对所述用户请求进行相似度计算得到知识检索结果,将所述知识检索结果与所述用户请求共同输入本地大语言模型得到所述应答结果;

23、根据所述用户请求的复杂度超过预设阈值且所述社区局域网可达的结果将所述外部增强模型路径确定为所述目标处理路径,将所述用户请求经所述第二网络接口转发至预设的社脑服务器,根据预设的超时时限内未收到回应的结果将所述目标处理路径回退至所述本地大语言模型路径。

24、通过采用上述技术方案,有助于根据请求特征在快速意图、本地大语言模型与外部增强模型路径之间进行分级选择,规则命中时可直接映射设备操作意图,减少不必要的模型推理开销;未命中时可借助本地向量检索提升语义理解效果;社区局域网可达且请求复杂时可调用外部增强能力,超时后回退至本地路径,有利于在响应效率、处理深度与可用性之间取得平衡。

25、可选的,所述根据所述主辅机协同网络内检测到的安全类传感事件生成中止信号,基于所述中止信号停止所述目标处理路径对所述用户请求的处理并撤销尚未执行完毕的所述设备控制指令,根据预设的映射规则将所述安全类传感事件映射为优先级高于所述设备控制指令的目标执行动作,将所述目标执行动作经所述家庭局域网下发至所述家庭终端,包括:

26、根据所述安全类传感事件触发同步事件总线,基于所述同步事件总线生成所述中止信号;

27、按照所述中止信号停止所述目标处理路径对所述用户请求的处理并撤销尚未执行完毕的所述设备控制指令,得到空闲执行通道;

28、根据所述安全类传感事件的事件类型查询预设的映射表,得到对应的执行器指令队列作为所述目标执行动作;

29、基于所述空闲执行通道,以高于所述设备控制指令的调度优先级按照所述执行器指令队列的次序将所述目标执行动作下发至所述家庭终端,得到指令下发结果;

30、根据所述指令下发结果对所述安全类传感事件生成脱敏告警事件,将所述脱敏告警事件经所述第二网络接口上报,并在上报不可达时写入本地补报队列后按序补报。

31、通过采用上述技术方案,有助于在安全类传感事件触发时借助同步事件总线快速生成中止信号,及时停止当前处理并释放执行通道,通过映射表查询可得到对应的执行器指令队列并以高于常规指令的优先级进行调度,有利于缩短紧急动作的下发延迟;脱敏告警事件的上报与本地补报机制可降低告警丢失风险,提升系统在异常场景下的可观测性与可靠性。

32、可选的,所述方法还包括:

33、根据对所述用户请求的处理过程记录与所述设备操作部分的执行记录进行统计,得到用户习惯统计数据与设备操作偏好数据;

34、将所述用户习惯统计数据与所述设备操作偏好数据以单文件形式写入部署于所述户脑主机侧的本地记忆体;

35、将所述用户习惯统计数据与所述设备操作偏好数据限定为仅写入所述户脑主机侧的所述本地记忆体;

36、基于对所述本地记忆体的单文件进行整体拷贝,得到家庭记忆体副本;

37、根据将所述家庭记忆体副本加载至目标户脑主机的操作,在所述目标户脑主机上恢复得到与所述户脑主机一致的所述用户习惯统计数据与所述设备操作偏好数据。

38、通过采用上述技术方案,有助于将用户习惯与设备偏好数据以单文件形式集中存储于户脑主机侧的本地记忆体,可降低数据分散存储带来的管理开销;整体拷贝与加载机制便于在不同户脑主机间迁移用户画像,有利于减少重复学习成本,可在更换或升级户脑设备时较快地恢复个性化交互特性,同时本地存储方式可在一定程度上降低用户隐私数据外传的风险。

39、可选的,所述方法还包括:

40、通过毫米波雷达采集点云数据,对所述点云数据进行杂波抑制,得到运动目标数据;

41、根据所述运动目标数据满足预设的跌倒判定条件的结果,得到疑似跌倒事件;

42、根据所述疑似跌倒事件经所述语音流通道向所述户脑辅机下发确认询问音频,在预设的确认时限内接收所述户脑辅机经所述语音流通道上报的确认语音;

43、根据所述确认语音在所述确认时限内命中预设的解除语句的结果解除所述疑似跌倒事件,根据所述确认时限内未命中所述解除语句的结果将所述疑似跌倒事件升级为跌倒告警事件并经所述第二网络接口上报至所述社脑服务器。

44、通过采用上述技术方案,有助于借助毫米波雷达实现非接触式跌倒感知,杂波抑制可降低环境干扰对运动目标检测的影响;结合语音确认询问与用户反馈进行二次判定,可减少误报带来的不必要响应;未在时限内解除时升级为告警并上报,有利于在保障误报控制的前提下提升跌倒事件的发现与处置效率。

45、在本技术的第二方面提供了一种智慧住宅户脑主辅机协同控制系统,包括:

46、组网模块,用于将户脑主机的第一网络接口接入家庭局域网、将所述户脑主机的第二网络接口接入社区局域网,将户脑辅机仅接入所述家庭局域网,将所述户脑辅机发往所述社区局域网的报文经所述户脑主机转发至所述第二网络接口,得到主辅机协同网络;

47、通道建立模块,用于根据所述户脑辅机在所述主辅机协同网络中发送的握手请求中的辅机标识与接入令牌进行身份校验,根据校验通过的结果在所述户脑辅机与所述户脑主机之间建立控制协议通道与语音流通道;

48、音频接收模块,用于基于所述户脑主机通过所述控制协议通道接收所述户脑辅机上报的唤醒事件,将所述户脑辅机采集的音频封装为音频帧,将所述音频帧经所述语音流通道逐帧发送至所述户脑主机;

49、意图解析模块,用于根据所述户脑辅机经所述控制协议通道上报的语音活动结束事件,对所述户脑主机已缓冲的所述音频帧进行语音识别与意图解析,得到用户请求;

50、路径选择模块,用于根据所述主辅机协同网络中所述社区局域网的可达状态,并基于所述用户请求在预设的快速意图路径、本地大语言模型路径与外部增强模型路径中确定目标处理路径,基于所述目标处理路径对所述用户请求进行处理,得到应答结果;

51、请求处理模块,用于将所述应答结果中的设备操作部分转换为设备控制指令并经所述主辅机协同网络中的家庭局域网下发至家庭终端,将所述应答结果中的语音应答部分合成为应答音频并经所述语音流通道回传至所述户脑辅机;

52、安全处置模块,用于根据所述主辅机协同网络内检测到的安全类传感事件生成中止信号,基于所述中止信号停止所述目标处理路径对所述用户请求的处理并撤销尚未执行完毕的所述设备控制指令,根据预设的映射规则将所述安全类传感事件映射为优先级高于所述设备控制指令的目标执行动作,将所述目标执行动作经所述家庭局域网下发至所述家庭终端。

53、在本技术的第三方面提供了一种电子设备,包括处理器、存储器、用户接口以及网络接口,所述存储器用于存储指令,所述用户接口和所述网络接口均用于与其他设备通信,所述处理器用于执行所述存储器中存储的指令,以使所述电子设备执行如上述任意一项所述的方法。

54、在本技术的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有指令,当所述指令被执行时,执行如上述任意一项所述的方法。

55、综上所述,本技术实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:

56、通过安全事件优先中止机制,可缩短紧急场景响应延迟,降低安全风险;采用双通道分离与音频帧校验,提升通信可靠性与交互连贯性;分级处理路径在快速匹配、本地模型与外部增强间灵活切换并支持超时回退,兼顾效率与深度;本地记忆体单文件存储与迁移便于用户画像恢复,减少重复学习;结合毫米波雷达与语音确认的跌倒检测,在降低误报的同时提升意外处置能力。整体上,有助于增强系统的应急响应、交互体验与部署灵活性。