基于增强现实的智能人机交互数据处理方法与流程

本发明涉及增强现实与人机交互，具体为基于增强现实的智能人机交互数据处理方法。

背景技术：

1、增强现实（ar）设备已广泛应用于工业维修、医疗手术等虚实并发的生产力场景，用户在操作真实物理对象的同时，视场中常悬浮用于交互的虚拟用户界面，现阶段主流ar设备通常配置深度传感器、多目相机及眼动追踪模块，可实时获取手部三维骨骼坐标数据及眼动数据，基于该类数据，现有的人机交互数据处理方法通常根据手指关节坐标生成交互射线或虚拟包围盒，并将其与虚拟用户界面元素的碰撞体进行几何碰撞检测，一旦检测到相交即触发点击、悬停或选中等交互事件，该碰撞检测运算在系统运行期间持续、全局执行，不区分用户手部当前是否正在操作真实物理对象，上述处理方式无法从数据层面区分用户手部动作服务于物理操作意图还是虚拟交互意图，当用户为完成物理任务而在虚拟界面附近进行手部活动时，其手部轨迹易与虚拟界面碰撞体发生几何相交，从而触发非用户本意的交互事件，同时碰撞检测计算持续占用边缘侧算力资源，且固定尺寸的碰撞判定方式未考虑用户在高认知负荷状态下手部生理性微颤导致的交互成功率下降问题，尤其在意图分类环节，现有技术缺乏对手部微运动学特征的精细化利用，也未结合用户认知负荷状态对交互判定条件进行动态调整，导致上述缺陷长期存在，亟需一种能够在数据处理底层自动区分用户交互意图并兼顾算力消耗与高压力场景交互成功率的处理方法。

技术实现思路

1、本发明要解决的技术问题是：现有的增强现实人机交互数据处理方法采用全局持续、无差别的碰撞检测处理逻辑，无法从数据层面区分用户手部动作是用于操作真实物理对象还是用于进行虚拟用户界面交互，导致用户在操作物理对象过程中因手部轨迹与虚拟用户界面碰撞体发生几何相交而触发非本意的交互事件，同时，由于碰撞检测计算在系统运行期间持续全局执行，导致增强现实设备边缘侧算力资源被持续占用，此外，现有技术对虚拟用户界面碰撞检测包围盒尺寸及交互判定条件采取固定设置，未考虑用户在高认知负荷状态下手部生理性微颤导致虚拟交互成功率下降的问题。

2、为解决上述技术问题，本发明提供基于增强现实的智能人机交互数据处理方法，包括：

3、获取用户手部多个关键骨骼点在连续多个采样时刻的三维坐标数据，根据所述三维坐标数据计算得到微运动学特征，所述微运动学特征包括手部运动加速度特征、抓握闭合度特征以及空间运动连续性特征；

4、将所述微运动学特征输入预先训练完成的意图分类网络进行推理，得到当前用户意图属于物理操作域的第一概率值和属于虚拟交互域的第二概率值，根据所述第一概率值与预设意图阈值的比较结果，判定当前意图状态为所述物理操作域和所述虚拟交互域中的一种，并输出对应的状态标志；

5、将当前采样时刻的所述状态标志与上一采样时刻的所述状态标志进行比较，当比较结果为由所述虚拟交互域跳变为所述物理操作域时，触发阻断指令，将虚拟用户界面碰撞检测计算任务从渲染主循环中移除；

6、在所述碰撞检测计算任务被移除期间，持续获取所述抓握闭合度特征和所述空间运动连续性特征，当所述抓握闭合度特征和所述空间运动连续性特征满足预设恢复条件时，判定当前意图状态恢复为所述虚拟交互域，触发恢复指令，将所述碰撞检测计算任务重新加入所述渲染主循环。

7、在上述技术方案的基础上，本发明进一步提供基于认知负荷指数的降维容错处理方案：获取用户眼动生理特征和手部高频微颤能量特征，根据所述眼动生理特征和所述手部高频微颤能量特征进行加权融合计算，得到认知负荷指数，当所述认知负荷指数超过预设的认知负荷阈值时，按照与所述认知负荷指数正相关的动态放大比例，对当前处于激活状态的虚拟交互目标的碰撞检测包围盒尺寸进行动态放大处理，并同步对采集到的手部关键骨骼点位置数据进行卡尔曼滤波平滑处理，使碰撞判定范围的扩大程度与手部位置数据的平滑抑制强度随生理性紧张程度同步动态适配。

8、采用上述技术方案，与现有技术相比，本发明的有益效果在于：

9、本发明通过对手部微运动学特征进行精细化提取与分类推理，能够在无需用户显式发出语音或按键指令的情况下，自动、实时判定用户当前处于物理操作域还是虚拟交互域，从数据处理源头减少因手部动作被无差别识别为虚拟交互指令而引发的误触事件，提升虚实并发场景下人机交互的准确率；

10、现有技术中碰撞检测计算任务在系统运行期间不区分用户意图持续全局执行，本领域技术人员通常仅关注碰撞检测算法本身的精度优化，未曾将“意图状态跳变结果”作为触发碰撞检测任务动态移除/恢复渲染主循环的判定条件，本发明突破该常规实现方式，将微运动学特征驱动的意图状态跳变结果与渲染主循环任务调度相耦合，在判定为物理操作域时将虚拟用户界面碰撞检测计算任务从渲染主循环中移除，并在满足由抓握闭合度特征、空间运动连续性特征共同构成的预设恢复条件时予以恢复，该状态跳变与任务调度的耦合机制并非现有碰撞检测精度优化手段与意图识别手段的简单叠加，而是产生了“误触消除”与“算力消耗降低”两项现有技术分别独立实现均难以兼得的协同技术效果，具备非显而易见性；

11、本发明通过融合眼动生理特征与手部高频微颤特征计算认知负荷指数，并据此动态放大虚拟交互目标的碰撞检测包围盒尺寸以及对手部位置数据进行卡尔曼滤波平滑处理，能够在用户处于高认知负荷、手部出现生理性微颤的场景下提升虚拟交互任务的成功率。

1.基于增强现实的智能人机交互数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述手部运动加速度特征根据所述手部关键骨骼点在相邻采样时刻的坐标差分得到的速度向量再次进行差分计算得到，所述抓握闭合度特征根据拇指指尖关键点与其余四指指尖关键点之间的欧氏距离的平均值计算得到，所述空间运动连续性特征根据滑动时间窗口内手部质心轨迹在相邻采样时刻之间的运动方向夹角的余弦值计算得到。

3.根据权利要求1所述的方法，其特征在于，所述意图分类网络为时空图卷积网络和长短期记忆网络中的任意一种轻量级分类网络，所述意图分类网络以连续多个采样时刻的所述微运动学特征拼接形成的特征向量序列作为输入，输出经过归一化处理的所述第一概率值和所述第二概率值。

4.根据权利要求1所述的方法，其特征在于，所述预设恢复条件包括：所述抓握闭合度特征恢复至预设的闭合度阈值以上，以及所述空间运动连续性特征超过预设的连续性阈值。

5.根据权利要求1所述的方法，其特征在于，在所述碰撞检测计算任务被移除期间，以低于所述连续多个采样时刻对应的第一采样频率的第二采样频率，持续获取所述抓握闭合度特征和所述空间运动连续性特征。

6.根据权利要求1所述的方法，其特征在于，还包括：

7.根据权利要求6所述的方法，其特征在于，所述眼动生理特征包括预设时间窗口内瞳孔直径的标准差以及眨眼频率，所述手部高频微颤能量特征根据手部运动加速度序列在预设高频频段内进行快速傅里叶变换后的能量积分计算得到。

8.根据权利要求6所述的方法，其特征在于，放大后的所述碰撞检测包围盒尺寸与放大前的默认碰撞检测包围盒尺寸之间的比例随所述认知负荷指数的增大而增大。

9.根据权利要求6所述的方法，其特征在于，所述卡尔曼滤波平滑处理包括：根据上一采样时刻的后验状态估计和状态转移矩阵计算当前采样时刻的先验状态估计，根据所述先验状态估计、卡尔曼增益矩阵以及当前采样时刻的实际观测值，计算得到当前采样时刻的后验状态估计，将所述后验状态估计作为平滑处理后的手部位置数据。

10.基于增强现实的智能人机交互数据处理装置，其特征在于，包括：