基于多模态感知的隔空手势交互方法及系统与流程

本公开涉及感知交互，具体涉及基于多模态感知的隔空手势交互方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

2、随着终端技术的发展，隔空手势交互因无需接触设备的优势被广泛应用。现有技术中，电子设备多通过单一摄像头或者超声波传感器识别手势，但是仍然存在以下局限性：

3、（1）单一传感器易受环境光、遮挡影响，识别精度低；例如，部分现有技术通过摄像头检测手掌悬停手势启动交互，但在强光环境下易误判；且仅通过滑块移动反馈进度，反馈维度单一，用户体验不佳。

4、（2）用户输入手势时缺乏直观反馈，难以判断操作是否有效，导致误操作率高；

5、（3）手势启动与退出逻辑固定，适应性差。

技术实现思路

1、本公开为了解决上述问题，提出了一种基于多模态感知的隔空手势交互方法及系统，通过多源数据融合感知，动态反馈图标结合粒子聚合、颜色渐变等多维度变化，通过视觉直观判断手势执行进度，启动手势采用序列式设计避免单一悬停手势的误触发，能够适应不同使用场景。

2、根据一些实施例，本公开采用如下技术方案：

3、基于多模态感知的隔空手势交互方法，包括：

4、获取用户输入的启动手势序列；

5、对用户输入的启动手势序列进行响应，进入隔空交互模式，在当前显示界面显示动态反馈图标；

6、获取多源手势数据，对多源手势数据进行融合，得到目标隔空手势；

7、控制所述动态反馈图标按照预设规则变化，当动态反馈图标达到预设阈值状态，则控制动态反馈图标执行与目标隔空手势对应的操作，并显示操作后的界面；当达到隔空交互完成条件时，则隐藏动态反馈图标并退出隔空交互模式。

8、进一步地，所述获取用户输入的启动手势序列包括：

9、通过多模态感知模块检测获取用户输入的启动手势序列，所述启动手势序列为“握拳悬停以及手掌张开”手势；

10、所述多模态感知模块包括红外传感器、深度摄像头以及运动传感器。

11、进一步地，所述动态反馈图标为粒子聚合图形，其初始状态为离散粒子群。

12、进一步地，所述获取多源手势数据，对多源手势数据进行融合，得到目标隔空手势，包括：

13、利用红外传感器采集手势轮廓数据，过滤环境光干扰；利用深度摄像头采集手势三维坐标数据，确定手势在 x、y、z 轴方向的移动轨迹；利用运动传感器采集手势运动加速度数据，辅助判断手势是否处于有效运动状态，将手势轮廓数据、手势三维坐标数据以及加速度数据进行融合处理，得到目标隔空手势。

14、进一步地，控制所述动态反馈图标按照预设规则变化，包括：

15、沿x轴移动时，粒子群沿水平方向聚合，聚合长度与x轴移动距离成正比；

16、沿y轴移动时，粒子群沿竖直方向聚合，聚合密度与y轴移动距离成正比；

17、沿z轴移动时，粒子群颜色从蓝色渐变至红色，颜色深度与z轴移动距离成正比。

18、进一步地，当动态反馈图标达到预设阈值状态，所述预设阈值状态包括粒子完全聚合或颜色达到预设饱和度，执行与目标隔空手势对应的操作，并显示操作后的更新界面；当检测到用户输入的退出手势或交互超时，隐藏动态反馈图标并退出隔空交互模式。

19、根据一些实施例，本公开采用如下技术方案：

20、基于多模态感知的隔空手势交互系统，包括：

21、初始化模块，用于获取用户输入的启动手势序列；

22、响应模块，用于对用户输入的启动手势序列进行响应，进入隔空交互模式，在当前显示界面显示动态反馈图标；

23、多源数据融合模块，用于获取多源手势数据，对多源手势数据进行融合，得到目标隔空手势；

24、隔空交互模块，用于控制所述动态反馈图标按照预设规则变化，当动态反馈图标达到预设阈值状态，则控制动态反馈图标执行与目标隔空手势对应的操作，并显示操作后的界面；当达到隔空交互完成条件时，则隐藏动态反馈图标并退出隔空交互模式。

25、根据一些实施例，本公开采用如下技术方案：

26、一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现所述的基于多模态感知的隔空手势交互方法。

27、根据一些实施例，本公开采用如下技术方案：

28、一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于多模态感知的隔空手势交互方法。

29、根据一些实施例，本公开采用如下技术方案：

30、一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的基于多模态感知的隔空手势交互方法。

31、与现有技术相比，本公开的有益效果为：

32、本公开的基于多模态感知的隔空手势交互方法，通过红外传感器、深度摄像头及运动传感器融合感知，利用红外传感器采集手势轮廓数据，过滤环境光干扰；利用深度摄像头采集手势三维坐标数据，确定手势在 x、y、z 轴方向的移动轨迹；利用运动传感器采集手势运动加速度数据，辅助判断手势是否处于有效运动状态，将手势轮廓数据、手势三维坐标数据以及加速度数据进行融合处理，其过程有效过滤环境干扰，解决单一传感器识别不稳定问题，提高识别精度。

33、本公开的基于多模态感知的隔空手势交互方法，动态反馈图标结合粒子聚合、颜色渐变等多维度变化，用户可通过视觉直观判断手势执行进度，降低误操作率，通过控制所述动态反馈图标按照预设规则变化，使得反馈直观性增强。

34、本公开的基于多模态感知的隔空手势交互方法，通过多模态感知模块检测获取用户输入的启动手势序列，启动手势采用序列式设计（握拳-张开），避免单一悬停手势的误触发；退出机制支持手势与超时双重控制，适应不同使用场景，并提高了交互灵活性。

35、本公开的基于多模态感知的隔空手势交互方法，红外传感器与深度摄像头配合，在强光、弱光环境下均能稳定工作，拓宽应用场景。

1.基于多模态感知的隔空手势交互方法，其特征在于，包括：

2.如权利要求1所述的基于多模态感知的隔空手势交互方法，其特征在于，所述获取用户输入的启动手势序列包括：

3.如权利要求1所述的基于多模态感知的隔空手势交互方法，其特征在于，所述动态反馈图标为粒子聚合图形，其初始状态为离散粒子群。

4.如权利要求1所述的基于多模态感知的隔空手势交互方法，其特征在于，所述获取多源手势数据，对多源手势数据进行融合，得到目标隔空手势，包括：

5.如权利要求1所述的基于多模态感知的隔空手势交互方法，其特征在于，控制所述动态反馈图标按照预设规则变化，包括：

6.如权利要求1所述的基于多模态感知的隔空手势交互方法，其特征在于，当动态反馈图标达到预设阈值状态，所述预设阈值状态包括粒子完全聚合或颜色达到预设饱和度，执行与目标隔空手势对应的操作，并显示操作后的更新界面；当检测到用户输入的退出手势或交互超时，隐藏动态反馈图标并退出隔空交互模式。

7.基于多模态感知的隔空手势交互系统，其特征在于，包括：

8.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的基于多模态感知的隔空手势交互方法。

9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-6任一项所述的基于多模态感知的隔空手势交互方法。

10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-6任一项所述的基于多模态感知的隔空手势交互方法。