基于眼手协同预测的增强教学交互方法及系统

摘要: 本发明属于xr虚实融合教学、多模态人机协同交互交叉,更具体地,涉及一种基于眼手协同预测的增强教学交互方法及系统。背景技术:1、随着虚拟现实(vr)、增强现实(a...
基于眼手协同预测的增强教学交互方法及系统

本发明属于xr虚实融合教学、多模态人机协同交互交叉,更具体地,涉及一种基于眼手协同预测的增强教学交互方法及系统。

背景技术:

1、随着虚拟现实(vr)、增强现实(ar)共同组成的扩展现实(xr)硬件算力持续提升,虚实融合的虚拟实验、沉浸式线上线下课堂落地普及,相较于传统实体教学受场地、实验器材、高危操作条件限制的短板,xr教学场景可复现全品类仿真仪器,大幅提升学生实操代入感与抽象知识理解效率。与此同时,红外眼动追踪、三维手部视觉捕捉、视觉惯性里程计位姿解算等多模态感知技术持续成熟,基于人体运动时序的前瞻预判式交互成为xr领域主流研发方向;多传感器融合采集方案可同步获取用户视线、手部操作、头部姿态多维行为数据,摆脱传统固定按键、预设静态手势的被动交互模式,为学生学习状态量化、低延迟人机交互、教学全流程数据留存提供底层技术支撑,行业亟需一套兼顾交互精度、实训安全、教学数据管控的专用增强教学交互方案。

2、现有面向教学场景的xr眼手交互系统仍存在诸多的技术短板,且各缺陷相互耦合、难以通过单一模块优化解决:(1)多传感时空基准缺失,市面设备仅独立采集眼动、rgb、惯性原始数据,缺少一体化联合标定流程,无统一头中心坐标系与全局时序基准,多源图像、惯性数据存在空间偏移、时间错位,直接降低后续特征提取、运动预测的基础精度;(2)无眼手协同前瞻预测机制,现有方案仅依靠当前帧实时传感数据触发交互,未基于历史运动时序推演用户未来视线、手部动作,受xr成像、渲染链路固有延迟影响,虚拟旋钮、精密实验控件操作下延迟高、浮空误触、漏触问题频发;(3)渲染适配与实训安全机制空白,通用xr采用全局统一分辨率渲染,未结合学生注视区域分配渲染算力,微小刻度、仪器读数辨识度差;且无手部轨迹预判逻辑,仅在触碰危险区后才触发提示,缺少前置预警与交互限制,虚拟化学、电学等高风险实验存在操作安全隐患; (4)教学全链路数据管理体系缺失,现有系统仅简单记录交互动作,缺少基于兴趣区域视线行为的多维专注度量化模型;交互日志无防篡改校验、端到端加密机制,不支持教学过程三维轨迹回放、课程断点续学、受限加密分享,无法满足校园教学数据隐私保护、教师课堂复盘的刚需。

技术实现思路

1、针对现有技术的以上缺陷或改进需求,本发明提供了一种基于眼手协同预测的增强教学交互方法及系统,能够有效提升xr教学交互精度、画面呈现效果与数据安全能力,增强虚拟教学场景的智能化与实用性,为xr增强教学交互提供一种新型、智能、系统的实现方案。

2、本发明的目的是通过以下技术措施实现的。

3、本发明提供一种基于眼手协同预测的增强教学交互方法,包括以下步骤:

4、(1)初始化标定细分,启动xr增强教学应用,配置眼动检测参数,标定用户的眼动参数,并拟合生成用户专属眼部模型,将模型参数封装保存;基于人体手部特征构建五指骨骼拓扑结构,计算生成手部运动学约束矩阵与全关节初始姿态数据;完成多相机及惯性测量单元的标定、坐标系统一、时序同步,生成外参变换矩阵和时间戳配置文件,构建多模态数据采集、位姿解算的统一时空基准;

5、(2)多模态数据采集,使用红外眼动单元分时采集长、短曝光红外图像,并实现时序对齐,生成附带统一时间戳的长、短曝光图像序列;利用rgb相机采集画面并语义分割,同步帧时序后生成时序对齐的手部区域图像序列与环境背景图像序列;通过imu采集头部惯性数据,完成惯性数据与眼动、手部图像数据的跨模态时序匹配,生成时序统一的头部惯性数据序列及对应时间戳;

6、(3)特征提取,采用加权最小二乘椭圆与亚像素拟合算法分别处理长、短曝光图像,提取瞳孔与角膜反光点坐标;综合运用目标检测模型与几何判别方法,提取手部关节三维坐标并完成手性判定;使用视觉惯性里程计处理管线,融合图像与惯性数据,解算得到xr头显6dof位姿序列;

7、(4)运动趋势预测,结合角膜球面反射光学模型、头部位姿与角度补偿算法,解算用户实时注视方向向量;依托关节约束条件,使用正反运动学算法与时序模型预测手部各关节、指尖的短时三维坐标;采用神经扩展卡尔曼滤波与线性外推法,获取预测注视方向;

8、(5)交互控制,结合短时注视方向与手部预测坐标构建时空参考序列,使用有向obb相交检测算法判定目标交互对象,获取选中对象的id与交互优先级;根据交互优先级自适应调整选中对象的激活阈值,避免误触发;校验指尖与目标对象的距离及id一致性,触发双击确认交互并生成交互事件数据;

9、(6)画面视觉输出,依据预测注视方向与xr头显参数,确定渲染中心点,采用注视驱动感兴趣区域多级渲染技术及动态视域半径调节算法生成高清画面;对低辨识、对比度不足、遮挡区域完成超分、对比度增强与背景虚化处理;通过碰撞检测预判危险动作,结合图标预警与交互响应冻结算法实现安全防护;

10、(7)教学数据管理,划分roi并配置加权参数,累计用户注视时长,并经瞳孔标准差修正,得到专注度分数与等级;采集交互事件数据并完成序列化存储,运用增量哈希算法完成数据校验与去重;教师端调取日志文件,重建三维场景,采用加密技术保障数据安全,支持轨迹回放、断点续学与加密分享链接与日志受限分发。

11、进一步的,步骤(1)中所述初始化标定细分具体包括:

12、(1-1)眼动跟踪通道初始化,启动xr增强教学应用,依次配置眼动识别阈值、眼部有效检测区域、眼球姿态解算基准参数;标定用户的角膜曲率、瞳孔尺寸、前房深度与kappa角眼部参数;参照公开标准眼球数据集,拟合生成用户专属眼部数学模型,并将模型参数封装为本地配置文件;

13、(1-2)手部跟踪通道初始化,依据人体手部解剖学参数,确定相机正前方用户左右手掌指关节、近端指间关节、远端指间关节的旋转轴方向、运动自由度及关节屈曲、外展的生理运动极限;以腕部为拓扑根节点,采用层级链式运动学规则构建五指骨骼拓扑结构,计算生成手部运动学约束矩阵与全关节初始姿态数据;

14、(1-3)眼手协同基准标定,采用张正友标定法统一求解红外眼动相机、可见光rgb相机、深度传感器、imu的设备内参与镜头畸变参数;通过手眼联合标定算法完成跨设备坐标系转换,将所有传感设备统一映射至xr头中心基准坐标系;借助硬件同步单元对齐多路设备采样时序,生成外参变换矩阵与时间戳配置文件,构建多模态数据采集、位姿解算的统一时空基准。

15、进一步的,步骤(2)中所述多模态数据采集具体包括:

16、(2-1)眼动数据采集,依据配置参数,使用分时片时序调度算法驱动红外眼动单元交替采集长、短曝光红外图像,长曝光图像用于捕获虹膜与瞳孔边界,短曝光图像用于定位角膜表面红外反射光斑;采用全局时钟逐帧标记时间戳,运用时间插值帧间配准算法完成不同帧率图像的时序对齐,生成附带统一时间戳的长短曝光图像序列;

17、(2-2)手部数据采集,使用可见光rgb相机连续采集虚拟场景中包含用户手部、实验桌面与实验器材的画面;采用u-net3+全尺度语义分割网络,区分手部前景与桌面、实验器材背景;使用全局时钟完成帧时序同步,生成时序对齐的手部区域图像序列与环境背景图像序列;

18、(2-3)头部运动数据采集,使用imu连续采集用户头部的三轴加速度、角速度原始惯性数据;应用硬件边沿触发同步算法为每组惯性数据绑定采样时间戳;依据imu-视觉时间戳映射协议,完成惯性数据与眼动、手部图像数据的跨模态时序匹配,生成时序统一的头部惯性数据序列及对应时间戳。

19、进一步的,步骤(3)中所述特征提取具体包括:

20、(3-1)眼部特征提取,采用加权最小二乘椭圆拟合算法处理长曝光图像,分割瞳孔与虹膜边界,并解算瞳孔中心像素坐标;使用四邻域高斯亚像素拟合算法处理短曝光图像,取曲面峰值作为角膜反光点坐标;特征计算完成后统一回收图像缓存、释放运行内存,生成帧间时序对齐的瞳孔中心和光斑中心坐标序列;

21、(3-2)手部特征提取与手性判定,使用yolov7-m轻量化目标检测模型检测手部区域图像,解算掌心二维坐标与手部定向包围盒参数;依据obb完成图像裁剪与姿态校正后,采用fastmetro手部姿态估计模型提取21个手部关节的3d坐标,并结合手部运动学约束矩阵完成姿态合法性校验;基于食指、中指掌指关节构建空间参考向量,采用指骨夹角符号统计法判定左右手性,生成手部关节三维坐标序列与手性标签序列;

22、(3-3)头部姿态解算,使用supervins视觉惯性里程计处理管线,处理rgb图像与imu惯性数据,调用superpoint特征提取网络获取图像稀疏角点与边缘特征,采用lightglue特征匹配网络完成配对,并运用lk光流算法跟踪特征运动;对imu数据执行标准闭式预积分,联合视觉重投影误差、imu预积分残差构建非线性方程迭代求解,获取xr头显坐标系下的6dof位姿序列。

23、进一步的,步骤(4)中所述运动趋势预测具体包括:

24、(4-1)注视方向解算,结合红外光源空间位置,依据瞳孔、光斑坐标与头部6dof位姿序列,使用角膜球面反射光学模型求解角膜曲率中心三维坐标;连接角膜中心与瞳孔中心得到眼球光轴,并结合kappa角参数,采用罗德里格斯旋转公式完成光轴偏差补偿,获得用户的实时注视方向向量;

25、(4-2)未来注视预测,使用nekf处理用户的连续多帧实时注视方向序列,自适应修正过程噪声、优化眼球运动参数,获取当前的注视状态与运动速率;运用滑动窗口线性外推法推演未来时刻的注视角度,获取预测注视方向;

26、(4-3)手部运动预测,根据手部关节的三维坐标以及各个关节活动的极限约束,采用逆向运动学算法求解关节旋转角度;通过帧间差分法计算关节角速度、角加速度,采用运动时序预测模型推演未来帧关节角度;利用正向运动学算法沿骨骼链逐级映射,生成指尖、各指节的三维预测坐标。

27、进一步的,步骤(5)中所述交互控制具体包括:

28、(5-1)意图对象判定,根据预测注视方向,结合步骤(4)中得到的指尖三维预测坐标,构建时空参考序列;使用有向obb相交检测算法,判断视线、指尖与增强教学环节中对象的相交状态;若交点连续多帧稳定指向同一对象,且驻留帧数达到预设阈值时,判定该对象为用户目标交互对象,确定交互对象id、空间坐标及交互优先级;

29、(5-2)动态阈值调整,依据选中对象id与交互优先级参数,使用自适应动态距离阈值算法,降低选中对象的激活阈值,适配虚拟场景的微调、旋转、旋钮、按键点击操作;同步放大非选中对象的触发阈值,避免用户视线扫视、手部轻微抖动造成引发的误触发,更新交互对象的有效激活阈值列表;

30、(5-3)双重确认触发,依据指尖三维预测坐标、对象的动态激活阈值与选中对象id,逐帧计算预测指尖与选中对象包围盒中心的欧氏距离;当距离小于该对象的动态阈值,且该对象id与视线、手部共同判定的交互对象id一致时,判定交互条件成立,则执行点击、滑动、旋转预设动作指令,完成眼手双重确认交互,并生成交互事件数据。

31、进一步的,步骤(6)中所述画面视觉输出具体包括:

32、(6-1)注视点渲染,结合预测注视方向与xr头显参数,确定整幅画面的渲染中心点;采用注视驱动roi多级分辨率渲染技术,将画面划分为注视核心区、教学内容区、外围背景区,并分别匹配高、中、基础分辨率;使用动态视域半径调节算法,依据用户注视角速度自适应调整高清区域范围,高清渲染用户关注的虚拟对象,生成分层合成画面;

33、(6-2)视觉增强,依据预测的用户注视方向,定位画面的目标区域,若区域像素尺寸低于预设的可辨识阈值、画面对比度不足或存在前景对象遮挡时,自动触发增强逻辑;依次执行像素级局部超分、自适应对比度增强、前景背景虚化处理,突出教学关键信息,生成增强处理后的画面帧;

34、(6-3)安全预警,依据手部预测坐标与预测注视方向,采用扫掠体碰撞检测算法,与虚拟教学场景内预先标定的危险区域包围体进行碰撞预判;若判定指尖即将进入危险区域,且注视方向未对准该区域,则通过实时图层叠加渲染技术在注视点中心添加高频闪烁预警图标;启用交互响应冻结算法限制手部操作,实现虚拟实验场景的实时安全防护。

35、进一步的,步骤(7)中所述教学数据管理具体包括:

36、(7-1)专注度评估,在虚拟实验场景中预先划分roi,并配置差异化权重参数,依据逐帧实时注视方向,通过场景求交运算得到注视点三维坐标;将注视点匹配至对应roi,并累计各区域的有效注视时长,结合瞳孔直径标准差完成加权修正;得到归一化专注度分数及专注等级标签,分析学生的学习状态;

37、(7-2)交互日志存储,当触发眼手协同交互事件时,采集事件时间戳、目标对象id、预测注视方向与手部关节角度与手性标签、当前教学环节编码;按protocol buffers格式完成数据结构化序列化,写入本地闪存日志文件并异步上传至云存储服务器;每条记录运用增量哈希算法生成校验码,实现数据完整性校验与重复数据过滤;

38、(7-3)教学回溯与断点续学,教师端可从云服务器拉取日志文件,在本地重建三维虚拟场景,沿原始时间轴还原用户注视轨迹和手部动作,支持播放暂停、倍速调节、关键帧跳转的回放操作;本地日志采用aes-256高级加密标准存储,云端传输链路采用tls协议保障教学数据安全;学生退出课程时自动生成断点快照,用户再次登录可恢复学习状态,教师可创建带密码、有效期的加密分享链接,实现日志受限分发。

39、本发明还提供了一种基于眼手协同预测的增强教学交互系统,包括初始化标定细分、多模态数据采集、特征提取、运动趋势预测、交互控制、画面视觉输出与教学数据管理模块。

40、所述初始化标定细分模块完成眼动、手部、头部传感参数标定,构建专属模型与骨骼拓扑结构,统一多设备坐标系与采样时序。

41、所述多模态数据采集模块采集眼动图像、手部画面与头部惯性数据,完成多源数据时序对齐,生成带有时间戳的标准数据序列。

42、所述特征提取模块提取瞳孔与反光点坐标信息,解算手部关节三维坐标并判定手性,融合数据求解xr头显6dof位姿。

43、所述运动趋势预测模块结合光学模型解算实时注视方向,依托时序模型预判手部运动姿态,采用滤波算法推演后续注视角度。

44、所述交互控制模块判定交互对象并划分交互优先级,自适应调整交互触发阈值,校验信息并完成眼手协同交互触发。

45、所述画面视觉输出模块依据注视区域开展多级渲染,对图像进行超分与对比度增强,检测危险区域并实现实验安全防护。

46、所述教学数据管理模块统计注视时长评估学习专注度,对交互日志做校验加密与存储,实现轨迹回放、断点续学与日志分享。

47、本发明的有益效果在于:通过统一多传感器坐标系与全局时序基准,消除多源数据空间、时间错位缺陷,依托手部骨骼解剖先验约束优化图像分割效果,从源头提升眼、手、头部数据采集与特征提取精度;创新性引入眼手协同前瞻预测机制,不局限于实时帧数据开展交互判定与画面渲染,显著削弱xr设备固有传输渲染延迟,有效减少虚拟精密旋钮、仪器操作场景下浮空误触、漏触现象;首创注视驱动三级分辨率自适应渲染与教学目标视觉增强算法,提升微小实验刻度、仪器读数可视性;增设基于手部预测轨迹的前置碰撞预警与交互冻结机制,填补现有xr虚拟实验主动安全防护空白;构建基于视线行为的量化专注度评估模型,配套日志哈希校验、端到端加密存储、三维回放、断点续学、加密分享全套功能,兼顾课堂教学复盘需求与校园教学数据隐私安全;技术流程完整覆盖硬件标定、多模态感知、运动前瞻预测、智能交互、自适应渲染、教学数据全流程,区别于通用消费级ar手势交互方案,高度适配中小学、高校虚拟实验、沉浸式课堂等教学场景,系统智能化、场景专用性显著提升。