一种基于手势识别的平板电脑隔空操控方法及系统与流程

摘要: 本发明涉及人机交互,更具体地说,本发明涉及一种基于手势识别的平板电脑隔空操控方法及系统。背景技术:1、随着智能终端交互技术的发展,平板电脑等移动设备逐渐由传统触...
一种基于手势识别的平板电脑隔空操控方法及系统与流程

本发明涉及人机交互,更具体地说,本发明涉及一种基于手势识别的平板电脑隔空操控方法及系统。

背景技术:

1、随着智能终端交互技术的发展,平板电脑等移动设备逐渐由传统触控方式向更加自然、便捷的人机交互方式演进。其中,基于手势识别的隔空操控技术能够利用摄像头或传感器采集用户手部动作,使用户无需直接接触屏幕即可完成部分操作,为提升移动终端交互体验提供了新的实现方式。

2、然而,现有平板电脑隔空操控方法通常主要依据某一时刻采集到的手部姿态或简单动作特征进行识别,并通过预设规则触发对应操作。由于缺少对用户连续行为状态的综合分析,系统难以准确判断用户是否具有真实操控意图,容易受手部自然移动、无意识动作以及环境变化等因素影响,导致误触发或误识别问题。

3、同时,在实际使用平板电脑时,设备若处于手持状态,握持姿态、位置和使用角度变化都会导致手部相对位置偏移。现有技术通常难以区分用户主动操作的有效运动与设备姿态变化带来的整体偏移,容易引发操控定位不准、识别稳定性下降等问题,同时现有方案对手部交互空间和显示界面的对应关系考虑不足,在多目标交互场景中难以准确确定手势对应的屏幕操作对象。

4、进一步地,现有手势识别方法多依赖静态姿态特征进行匹配,对于形态相近但含义不同的手势,容易出现识别歧义,对于连续动作、复合动作的识别能力有限,难以满足复杂交互场景下的应用需求。

5、另外,现有隔空操控方式通常缺少对手势执行完整性和持续有效性的判断,当用户动作未完成、短暂出现目标姿态或发生意外偏移时,系统可能提前执行控制指令,从而产生误操作,降低交互过程的可靠性和可控性。

6、鉴于此,本发明提出一种基于手势识别的平板电脑隔空操控方法及系统以解决上述问题。

技术实现思路

1、为了克服现有技术的上述缺陷,为实现上述目的,本发明提供如下技术方案:一种基于手势识别的平板电脑隔空操控方法,包括:

2、s1、获取用户手部在平板电脑前方交互空间中的连续交互状态,根据预设操控意图确认规则对连续交互状态进行意图判定,在确认进入隔空操控模式后建立对应的操控基准参考信息;

3、s2、基于操控基准参考信息,对连续交互状态进行操控行为校准,分离用户主动操控与持机姿态变化产生的影响,获得表征用户主动操控行为的校准操控信息;建立交互空间与平板电脑显示界面的空间映射关系,并依据校准操控信息确定当前操控对象;

4、s3、结合校准操控信息及当前操控对象构建手势形态描述符,依据手势形态描述符的时序变化轨迹与预设交互手势之间的对应关系进行上下文消歧处理,确定与当前交互过程对应的目标交互手势,并生成操控指令;

5、s4、在预设手势完整性判定窗口内,持续监测手势形态描述符是否维持在目标交互手势的容差范围内,若维持则依据操控指令执行交互操作,若偏离则判定当前交互过程结束,关闭隔空操控模式。

6、优选地,所述连续交互状态的获取方法包括:

7、通过平板电脑前置摄像头连续采集位于显示屏前方交互空间内的用户手部图像,对各帧图像中的手部进行跟踪识别,提取对应的关键点坐标;根据连续各帧图像对应的关键点坐标建立手部运动变化序列,作为表征用户手部位置和手势变化的连续交互状态。

8、优选地,所述操控基准参考信息的获取方法包括:

9、根据连续交互状态计算手部整体运动速度向量,结合预设操控意图确认规则对连续交互状态进行意图判定;其中,预设操控意图确认规则包括预设静止意图阈值和预设意图确认帧数;

10、将手部整体运动速度向量的模长与预设静止意图阈值进行持续对比,当模长连续低于预设静止意图阈值且达到预设意图确认帧数时,判定用户具有进入隔空操控模式的操控意图,并读取当前确认帧用户手部图像对应的手掌中心点坐标和食指指尖坐标,以手掌中心坐标和食指指尖坐标为基础构建操控基准参考点对,作为操控基准参考信息,以激活隔空操控模式。

11、优选地,所述获得表征用户主动操控行为的校准操控信息的方法包括:

12、根据连续交互状态获取当前手掌中心点坐标以及当前食指指尖坐标,并计算相较于操控基准参考信息之间的整体位移向量和综合位移向量;根据整体位移向量对综合位移向量进行校准,剔除持机姿态变化产生的整体位移影响,获得食指指尖坐标相对于手掌中心点的相对位移向量,将相对位移向量作为校准操控信息。

13、优选地,所述确定当前操控对象的方法包括:

14、依据操控基准参考信息确定进入隔空操控模式时对应的手部初始交互姿态,并建立手部初始交互姿态与预设屏幕初始位置之间的对应关系,以形成交互空间与平板电脑显示界面的空间映射起点;根据空间映射起点建立交互空间位移与屏幕位移之间的位移映射规则;

15、依据校准操控信息确定用户相对于手部初始交互姿态的主动操控位移,并根据位移映射规则获得对应的当前屏幕位置;获取当前显示界面中各可交互界面元素对应的预设响应区域,将当前屏幕位置落入的预设响应区域对应的可交互界面元素确定为当前操控对象。

16、优选地,所述构建手势形态描述符的方法包括:

17、根据校准操控信息确定食指相对于手掌中心点的相对位移方向及相对位移幅度,并根据当前用户手部各关键点坐标计算各手指的弯曲状态、手指张开程度、相邻手指夹角及食指指向方向;

18、读取当前操控对象对应的交互属性,根据交互属性确定用于描述当前操控对象交互特征的目标形态参数;将目标形态参数与食指相对位移方向、食指相对位移幅度进行组合编码,形成当前交互过程对应的手势形态描述符。

19、优选地,所述生成操控指令的方法包括:

20、持续获取连续若干个图像帧对应的手势形态描述符,并按照时间顺序组成手势形态描述符的时序变化轨迹;读取当前操控对象对应的预设交互手势集合,并建立各预设交互手势与对应标准时序变化轨迹之间的对应关系;

21、将手势形态描述符的时序变化轨迹分别与各标准时序变化轨迹进行匹配,根据匹配结果筛除与当前操控对象交互属性不对应的交互手势,对剩余交互手势进行上下文消歧处理,确定与当前交互过程对应的目标交互手势;

22、读取目标交互手势与当前操控对象之间预先建立的指令映射关系,根据指令映射关系生成对应的操控指令。

23、优选地,所述预设手势完整性判定窗口的设置方法包括:

24、根据目标交互手势对应的标准时序变化轨迹,确定目标交互手势的起始形态、结束形态及持续时长范围;根据目标交互手势对应各阶段手势形态描述符的允许波动范围,确定各阶段对应的形态容差范围;将持续时长范围与各阶段对应的形态容差范围进行关联,构建对应目标交互手势的预设手势完整性判定窗口。

25、优选地,所述持续监测手势形态描述符是否维持在目标交互手势的容差范围内的方法包括:

26、在预设手势完整性判定窗口内,持续获取当前帧用户手部图像对应的手势形态描述符,并根据当前手势形态描述符所处的时序阶段,读取目标交互手势对应阶段的形态容差范围;

27、将当前手势形态描述符与对应阶段的形态容差范围进行比较,并同步统计当前目标交互手势的持续时间,判断当前手势形态描述符是否持续维持在对应阶段的形态容差范围内且持续时间位于持续时长范围内;

28、当当前手势形态描述符持续维持在对应阶段的形态容差范围内且持续时间位于持续时长范围内时,判定目标交互手势完整执行,根据操控指令执行对应的交互操作;

29、当当前手势形态描述符偏离对应阶段的形态容差范围,或者持续时间超出持续时长范围时,判定当前交互过程结束,关闭隔空操控模式,并清除当前交互过程对应的手势形态描述符、目标交互手势及操控指令。

30、一种基于手势识别的平板电脑隔空操控系统,包括:

31、意图确认模块,用于获取用户手部在平板电脑前方交互空间中的连续交互状态,根据预设操控意图确认规则对连续交互状态进行意图判定,在确认进入隔空操控模式后建立对应的操控基准参考信息;

32、行为校准模块,基于操控基准参考信息,对连续交互状态进行操控行为校准,分离用户主动操控与持机姿态变化产生的影响,获得表征用户主动操控行为的校准操控信息;依据校准操控信息建立与平板电脑显示界面的空间映射关系,确定当前操控对象;

33、语义解析模块,结合校准操控信息及当前操控对象构建手势形态描述符,依据手势形态描述符的时序变化轨迹与预设交互手势之间的对应关系进行上下文消歧处理,确定与当前交互过程对应的目标交互手势,并生成操控指令;

34、执行控制模块,在预设手势完整性判定窗口内,持续监测手势形态描述符是否维持在目标交互手势的容差范围内,若维持则依据操控指令执行交互操作,若偏离则判定当前交互过程结束,关闭隔空操控模式。

35、与现有技术相比,本发明具备以下有益效果:

36、通过连续感知和综合分析用户的手部交互状态,平板电脑无需直接接触屏幕即可理解用户的操作意图并完成交互控制;相比于现有基于简单手势触发的隔空交互方式,本发明不只是依据单一时刻的手部姿态进行判断,而是结合用户进入隔空操控模式前后的连续行为状态建立操控参考基准,让系统能够感知用户从自然状态向主动操作状态的转变过程,从而降低手部无意识移动、环境干扰或偶然动作造成的误识别,提升隔空操控的可靠性。

37、通过引入操控基准参考信息对用户交互过程进行动态校准,系统可区分用户主动控制产生的有效运动,与设备握持变化、使用姿态调整等因素导致的整体偏移;通过建立用户手部交互空间与显示界面的对应关系,隔空动作可映射至具体的屏幕操作对象,实现从空间动作到界面交互的有效转换。

38、利用手势形态描述符对手势的空间形态及其随时间变化的过程进行综合表征,结合上下文信息区分相似手势,使系统可依据完整动作过程理解用户操作含义,而非依赖单一固定姿态完成判断,由此可有效改善现有手势识别方案中容易出现的同形异义、动作中断以及连续操作难以区分等问题,提升复杂交互场景下的识别精度与交互自然性。

39、通过对手势执行过程进行完整性判断,操控指令仅会在手势状态满足预设条件时执行,且能在用户动作结束或发生明显偏离时及时退出当前交互状态,可避免短暂动作、未完成动作或意外移动引发的错误指令执行,提升系统控制过程的安全性和可控性。