基于UWB的多模态感知交互方法、装置及系统与流程

本申请涉及智能人机交互，尤其涉及一种基于uwb的多模态感知交互方法、装置及系统。

背景技术：

1、随着智能人机交互的快速发展，语音交互已成为智能家居、智能座舱等场景的主流交互方式，极大提升了设备操作的便捷性。然而，现有主流智能交互方案多依赖单一全域音频采集与识别技术，在实际应用中存在缺陷：远场及复杂噪声环境下语音拾音效果差、识别准确率低；无法感知人体空间位置信息，多人同时交互时易出现指令冲突；设备缺乏分级功耗管控，长期处于高功耗运行状态；交互方式单一，语音识别失效时无法完成有效交互。

技术实现思路

1、本申请提供了一种基于uwb的多模态感知交互方法、装置及系统，通过引入uwb空间感知并结合语音、手势实现多模态交互，攻克单一音频交互的固有缺陷，实现目标设备的分级管控、语音定向增强与多模态指令融合执行，保障交互精准度与目标设备的运行能效。

2、第一方面，本申请实施例提供一种基于uwb的多模态感知交互方法，所述多模态感知交互方法包括：控制uwb感知模块对预设区域执行扫描，获取所述预设区域内物体反射的uwb回波信号；基于所述uwb回波信号确定人体存在状态，及依据所述人体存在状态切换目标设备的工作模式，所述工作模式包括深度休眠模式、待机模式和激活模式；当满足预设激活条件时，将所述目标设备切换至所述激活模式；获取所述预设区域内的语音信号，基于所述uwb回波信号确定人体方位，及依据所述人体方位定向增强所述语音信号；基于所述uwb回波信号进行手势识别得到手势识别结果；对定向增强后的语音信号进行语音识别得到语音识别结果；融合所述手势识别结果与所述语音识别结果生成交互控制指令，并控制所述目标设备执行。

3、第二方面，本申请实施例提供一种基于uwb的多模态感知交互装置，所述基于uwb的多模态感知交互装置包括uwb感知模块、状态判定模块、模式切换模块、语音采集增强模块、手势识别模块、语音识别模块、以及指令融合执行模块，uwb感知模块用于对预设区域执行扫描，获取所述预设区域内物体反射的uwb回波信号；状态判定模块用于基于所述uwb回波信号确定人体存在状态，及依据所述人体存在状态切换目标设备的工作模式，所述工作模式包括深度休眠模式、待机模式和激活模式；当满足预设激活条件时，模式切换模块用于将所述目标设备切换至所述激活模式；语音采集增强模块用于获取所述预设区域内的语音信号，基于所述uwb回波信号确定人体方位，及依据所述人体方位定向增强所述语音信号；手势识别模块用于基于所述uwb回波信号进行手势识别得到手势识别结果；语音识别模块用于对定向增强后的语音信号进行语音识别得到语音识别结果；指令融合执行模块用于融合所述手势识别结果与所述语音识别结果生成交互控制指令，并控制所述目标设备执行。

4、第三方面，本申请实施例提供一种基于uwb的多模态感知交互系统，所述多模态感知交互系统包括主控装置、以及联动控制装置，主控装置包括存储器、以及处理器，存储器用于存储计算机程序；处理器用于执行所述计算机程序以实现上述的基于uwb的多模态感知交互方法；联动控制装置与所述主控装置通讯连接，用于根据交互控制指令调控受控的目标设备。

5、上述基于uwb的多模态感知交互方法、装置及系统，通过uwb空间感知实现人体状态检测与方位、手势识别，结合语音定向增强与双模态指令融合，配合工作模式的管控降低目标设备能耗，同时实现多人交互调度、呼吸异常告警与本地隐私数据处理，有效解决单一音频交互的识别差、功耗高、指令冲突等问题，大幅提升智能交互的稳定性、安全性与场景适配性。

1.一种基于uwb的多模态感知交互方法，其特征在于，所述多模态感知交互方法包括：

2.如权利要求1所述的多模态感知交互方法，其特征在于，所述uwb感知模块根据所述目标设备的不同工作模式以对应的扫描频率执行扫描；所述深度休眠模式对应第一扫描频率，所述待机模式对应第二扫描频率，所述激活模式对应第三扫描频率，所述第二扫描频率大于所述第一扫描频率，且小于所述第三扫描频率。

3.如权利要求1所述的多模态感知交互方法，其特征在于，所述预设激活条件为以下至少一种：检测到人体进入预设距离范围；检测到人体做出唤醒手势；检测到人体发出语音指令。

4.如权利要求3所述的多模态感知交互方法，其特征在于，依据所述人体存在状态切换目标设备的工作模式，包括：

5.如权利要求1所述的多模态感知交互方法，其特征在于，所述基于uwb的多模态感知交互方法还包括：

6.如权利要求1所述的多模态感知交互方法，其特征在于，所述基于uwb的多模态感知交互方法还包括：

7.如权利要求1所述的多模态感知交互方法，其特征在于，融合所述手势识别结果与所述语音识别结果，包括：

8.一种基于uwb的多模态感知交互装置，其特征在于，所述基于uwb的多模态感知交互装置包括：

9.一种基于uwb的多模态感知交互系统，其特征在于，所述多模态感知交互系统包括：

10.如权利要求9所述的基于uwb的多模态感知交互系统，其特征在于，所述多模态感知交互系统还包括语音预处理装置，所述语音预处理装置与所述主控装置通讯连接，用于对从预设区域获取的语音信号进行降噪、滤波及常规增益调节处理，以配合uwb感知模块确定的人体方位完成定向拾取与定向增强。