一种面向手部训练的无感化实时手势交互控制方法及系统

摘要: 本发明属于计算机视觉与人机交互,尤其涉及一种面向手部训练的无感化实时手势交互控制方法及系统。背景技术:1、随着非接触式人机交互技术的发展,基于普通摄像头的手势识...
一种面向手部训练的无感化实时手势交互控制方法及系统

本发明属于计算机视觉与人机交互,尤其涉及一种面向手部训练的无感化实时手势交互控制方法及系统。

背景技术:

1、随着非接触式人机交互技术的发展,基于普通摄像头的手势识别技术在日常动作引导与手部机能训练场景中得到了广泛应用。然而,传统基于视觉的手势交互系统在实际工程应用中,往往易受居家等开放环境中多手、视野边缘畸变等干扰,导致检测出的手部关键点发生跳变;对于不同目标交互主体的生理特征(如手部大小、手指最大张开度、关节活动度等)存在的显著个体差异,采用固定物理阈值容易导致系统适配性、误触发率高等问题。此外,对于手部训练目标,机械式动作指令、高频重复式基础训练模式易引起目标交互主体在训练过程中产生强迫训练心理与疲劳感。因此,如何在保障手势控制信号稳定性的同时,实现针对个体生理差异的动态自适应调整,并有效降低机械训练的疲劳感以提升训练依从性,已成为当前手部姿态交互技能训练交互控制领域亟待解决的技术问题。

技术实现思路

1、本发明提出了一种面向手部训练的无感化实时手势交互控制方法及系统,旨在仅凭借单摄像头的前提下,通过构建手势交互训练数据集、补边映射、单手状态锁定、连续帧滑动表决滤波、尺度空间归一化、时空双重约束的手势校准与评估、以及自适应上限截断动作幅度量化与反馈,解决系统视觉交互中的边缘畸变、多手串扰、高频跳变以及个体差异适配差等问题,从而输出平滑稳定、高可靠性的人机交互控制信号。结合无感化交互引导与训练反馈机制,完成面向手部训练系统的无感化交互训练与控制。

2、为实现上述目的,本发明提供了一种面向手部训练的无感化实时手势交互控制方法,包括:

3、获取目标交互主体手部图像,将所述目标交互主体手部图像输入手势分类模型,获取手势分类结果;

4、构建锁定状态机,在锁定状态下对连续多帧的所述手势分类结果进行一致性判定,并在连续多帧的所述手势分类结果一致的情况下,输出稳定手势信号;

5、根据所述稳定手势信号和关键点坐标,结合预先采集的目标交互主体的个性化基准参数,对当前手部动作进行自适应量化评估,得到动作完成度;

6、根据所述动作完成度及手势分类结果,触发对应的虚拟场景交互事件,以驱动无感化手部训练交互。

7、可选的,获取目标交互主体手部图像包括:

8、采集实时视频流图像;

9、对所述视频流图像进行水平翻转处理,以保持目标交互主体运动方向与屏幕反馈方向一致;

10、对水平翻转后的所述视频流图像进行补边填充处理,以维持原图像长宽比例及边缘区域内容完整性;

11、基于处理后的视频流,获取所述目标交互主体手部图像。

12、可选的,将所述目标交互主体手部图像输入手势分类模型,获取手势分类结果包括:

13、获取手部图像数据集;

14、提取所述手部图像数据集的关键点,并对关键点坐标进行归一化处理,利用归一化处理后的关键点训练手势分类模型;

15、利用训练后的手势分类模型输出手势分类结果。

16、可选的,对关键点坐标进行归一化处理包括:

17、以手腕关键点为基准,对所述关键点坐标进行空间平移;

18、计算手腕关键点与中指根部关键点之间的三维距离,得到尺度因子;

19、根据所述尺度因子,对空间平移后的关键点坐标进行归一化,得到归一化后的手部关键点坐标;

20、其中,,为目标手部关键点的原始横坐标,为手腕关节点原始横坐标,为目标手部关键点的原始纵坐标,为手腕关键点的原始纵坐标,为目标手部关键点的原始深度坐标,为手腕关键点的原始深度坐标,为归一化尺度因子,为极小值保护项。

21、可选的,对连续多帧的所述手势分类结果进行一致性判定包括:

22、构建时间窗口大小为3帧的滑动表决器;

23、根据所述滑动表决器,对连续3帧的所述手势分类结果进行比对;

24、在连续3帧的所述手势分类结果保持一致的情况下,输出所述稳定手势信号。

25、可选的,预先采集的目标交互主体的个性化基准参数包括:

26、引导目标交互主体执行手掌完全张开、紧实握拳及闭合手掌的极限动作;

27、对所述极限动作进行时间稳定判定和空间稳定判定,在同时满足所述时间稳定判定和所述空间稳定判定的情况下,采集所述目标交互主体的个性化基准参数;

28、根据所述个性化基准参数,计算手掌基础尺度、手掌外展度及手掌内收度,作为所述自适应量化评估的基准值。

29、可选的,对当前手部动作进行自适应量化评估包括:

30、根据所述个性化基准参数中的最大值和最小值,计算当前手部动作相对于所述个性化基准参数的完成比例;

31、对所述完成比例执行上限截断处理,将截断后的所述完成比例作为所述动作完成度。

32、可选的,根据所述动作完成度及手势分类结果,触发对应的虚拟场景交互事件包括:

33、将手部激活类手势隐蔽式映射为虚拟场景中的方向指示、悬停选择及障碍物消除的物理事件;

34、将手脑协调类手势隐蔽式映射为虚拟场景中视觉元素的代数属性变化事件。

35、本发明还提供了一种面向手部训练的无感化实时手势交互控制系统,包括:数据采集模块、数据处理模块、数据分析评估模块和无感化交互模块;

36、所述数据采集模块,用于获取目标交互主体手部图像;

37、所述数据处理模块,用于将所述目标交互主体手部图像输入手势分类模型,获取手势分类结果;

38、所述数据分析评估模块,用于构建锁定状态机,在锁定状态下对连续多帧的所述手势分类结果进行一致性判定,并在连续多帧的所述手势分类结果一致的情况下,输出稳定手势信号;根据所述稳定手势信号和关键点坐标,结合预先采集的目标交互主体的个性化基准参数,对当前手部动作进行自适应量化评估,得到动作完成度;

39、所述无感化交互模块,用于根据所述动作完成度及手势分类结果,触发对应的虚拟场景交互事件,以驱动无感化手部训练交互。

40、与现有技术相比,本发明具有如下优点和技术效果:

41、本发明可根据自建手势训练数据集构建分类模块,实现手部训练交互及控制信号判定;可基于补边映射机制、单手状态锁定、连续帧滑动表决滤波机制,从图像空间和时序特征两个维度屏蔽环境中多手串扰与信号高频跳变;可通过尺度空间归一化、时空双重约束的个性化基准校准、以及带上限截断的自适应量化模型,解决个体差异适配问题,提升手部训练系统的普适性与稳定性。本发明通过构建基于情景语义映射的信号分析与训练控制交互、反馈记录机制,达到沉浸式无感化日常手部姿态交互技能训练与量化分析的目的。

1.一种面向手部训练的无感化实时手势交互控制方法,其特征在于,包括:

2.根据权利要求1所述的一种面向手部训练的无感化实时手势交互控制方法,其特征在于,获取目标交互主体手部图像包括:

3.根据权利要求1所述的一种面向手部训练的无感化实时手势交互控制方法,其特征在于,将所述目标交互主体手部图像输入手势分类模型,获取手势分类结果包括:

4.根据权利要求3所述的一种面向手部训练的无感化实时手势交互控制方法,其特征在于,对关键点坐标进行归一化处理包括:

5.根据权利要求1所述的一种面向手部训练的无感化实时手势交互控制方法,其特征在于,对连续多帧的所述手势分类结果进行一致性判定包括:

6.根据权利要求1所述的一种面向手部训练的无感化实时手势交互控制方法,其特征在于,预先采集的目标交互主体的个性化基准参数包括:

7.根据权利要求1所述的一种面向手部训练的无感化实时手势交互控制方法,其特征在于,对当前手部动作进行自适应量化评估包括:

8.根据权利要求1所述的一种面向手部训练的无感化实时手势交互控制方法,其特征在于,根据所述动作完成度及手势分类结果,触发对应的虚拟场景交互事件包括:

9.一种面向手部训练的无感化实时手势交互控制系统,用于实现如权利要求1-8任一项所述的方法,其特征在于,包括:数据采集模块、数据处理模块、数据分析评估模块和无感化交互模块;