一种多模态体感交互系统及其多通道同步控制方法与流程
本发明涉及人机交互领域,尤其涉及一种多模态体感交互系统及其多通道同步控制方法。
背景技术:
1、随着虚拟现实、增强现实及混合现实技术的快速发展,沉浸式体感交互系统正从单一的视觉沉浸向视觉、触觉、力反馈等多感官协同沉浸方向演进。多模态体感交互系统通常包括:配置为向用户呈现三维虚拟场景的视觉输出装置(如vr头显、ar眼镜、cave投影空间等);配置为向用户身体施加触觉刺激的触觉反馈装置(如触觉背心、触觉手套、超声波触觉阵列等);配置为采集用户空间动作数据并生成交互指令的体感控制器(如手持式imu控制器、穿戴式imu节点、视觉手势识别装置等);以及配置为对用户身体施加物理力反馈的可编程力反馈装置(如机械臂、外骨骼、电缆牵引系统等)。在上述系统中,多通道同步控制单元负责协调视觉、触觉、力反馈等多个输出通道的时序关系,使用户在感知层面获得一致的多感官体验。然而,现有多模态体感交互系统在空间定位触觉反馈、多通道时序同步、全身力反馈集成以及多用户空间对齐等方面仍存在明显不足。
2、现有技术中,消费级vr系统的触觉反馈普遍采用手柄内置振动马达或穿戴式触觉背心的整体均匀振动模式。以sony psvr2手柄自适应扳机为例,其振动为对称双马达振动,不具备空间定位能力;以bhaptics tactsuit x40为例,其40个erm马达按区域预设振动图案,当游戏角色胸部被击中时,胸部区域全部马达同时振动,不涉及碰撞检测位置与马达激活位置的动态映射。用户只能感知到“有振动”,无法感知振动发生在身体哪个精确位置,导致触觉沉浸感与视觉沉浸感严重不匹配。在时序同步方面,现有系统多采用各通道独立触发方式,视觉渲染、触觉输出和力反馈执行各自具有不同的信号传输延迟和物理响应延迟(视觉约16-33ms@60-120hz、触觉约20-50ms、力反馈约10-30ms),缺乏统一的多通道时序预补偿机制,用户感知到视觉与触觉之间存在明显时序差,产生“看到了但没感觉到”或“先感觉到后看到”的感知割裂。在力反馈方面,消费级vr系统普遍缺乏物理推力反馈,部分高端方案仅提供手部力反馈,不覆盖全身,且与视觉/触觉通道缺乏同步控制。此外,现有系统在多用户协同场景下缺乏物理空间与虚拟空间的精确映射机制,不同终端设备组合形态下也缺乏差异化的功能权限控制。上述缺陷严重制约了全沉浸体感交互体验的真实感和沉浸感。
技术实现思路
1、本发明的目的在于:解决现有技术中多模态体感交互系统触觉反馈缺乏空间定位能力、多通道时序同步精度不足、力反馈与视觉/触觉不同步的技术问题。
2、具体而言,本发明提供的一种多模态体感交互系统,包括:
3、视觉输出装置,配置为向用户呈现具有空间深度的三维虚拟场景,所述三维虚拟场景中包含能够由用户体感交互的虚拟对象;
4、触觉反馈装置,包含分布于基底上的多个触觉执行单元,所述多个触觉执行单元的空间分布覆盖用户身体表面的至少三个不同区域,能够输出至少一种触觉模态;所述触觉反馈装置配置为:根据三维虚拟场景中交互事件的实时变化的作用位置与用户身体表面区域之间的映射关系,动态切换在所述至少三个不同区域中所激活的触觉执行单元,以输出空间定位触觉刺激;
5、体感控制器,配置为采集用户的空间动作数据并生成包含空间位置信息的交互指令;
6、多通道同步控制单元,配置为:响应于所述三维虚拟场景中虚拟对象之间的交互事件,以视觉通道的渲染帧信号为基准时钟,基于各输出通道的信号传输延迟和执行器响应延迟计算触觉通道的时序预补偿量,所述时序预补偿量为触觉指令传输延迟与触觉执行器响应延迟之和,根据所述时序预补偿量在视觉渲染帧到来前即发送触觉触发指令至所述触觉反馈装置,利用触觉延迟特性进行预触发,使触觉输出与视觉渲染在用户感知层面达到时序同步。
7、一种多模态体感交互系统的多通道同步控制方法,应用于包括视觉输出装置、触觉反馈装置和体感控制器的多模态体感交互系统,包括以下步骤:
8、s1、响应于虚拟场景中的交互事件,获取交互事件参数,所述交互事件参数至少包括交互位置、交互类型和交互力度;
9、s2、以视觉通道的渲染帧信号为基准时钟,计算触觉通道的时序预补偿量,所述时序预补偿量为触觉指令传输延迟与触觉执行器响应延迟之和;
10、s3、根据所述时序预补偿量,在视觉渲染帧到来前即发送触觉触发指令至触觉反馈装置,利用触觉延迟特性进行预触发,使触觉输出与视觉渲染在用户感知层面达到时序同步;
11、s4、同步触发视觉渲染和触觉输出,使各通道到达用户感知的时序差控制在预设时序容差范围内。
12、本发明提供的有益效果是:在触觉反馈方面,本发明通过触觉反馈装置的多个触觉执行单元在基底上的空间分布覆盖用户身体表面的至少三个不同区域,根据三维虚拟场景中交互事件的实时变化的作用位置与用户身体表面区域之间的映射关系,动态切换激活对应的触觉执行单元,实现空间定位触觉刺激,使用户能够精确感知触觉刺激的空间位置与虚拟交互事件作用位置的对应关系。在多通道同步方面,本发明以视觉通道的渲染帧信号为基准时钟,基于各输出通道的信号传输延迟和执行器响应延迟计算时序预补偿量,在视觉渲染帧到来前即发送触觉触发指令,利用触觉延迟特性进行预触发,使触觉输出与视觉渲染在用户感知层面达到时序同步,无需专用硬件时钟同步设备即可实现与硬件时钟同步方案相当的同步精度。在力反馈方面,本发明通过可编程力反馈装置对用户施加物理力反馈,并将力反馈输出纳入多通道时序预补偿计算,使力反馈输出与视觉渲染和触觉输出在用户感知层面达到时序同步。由此,本发明有效解决了现有技术中触觉反馈缺乏空间定位、多通道时序不同步、力反馈与视觉/触觉脱节的技术问题,显著提升了多模态体感交互的沉浸感和真实感。
1.一种多模态体感交互系统,其特征在于,包括:
2.根据权利要求1所述的多模态体感交互系统,其特征在于,还包括:
3.根据权利要求1所述的多模态体感交互系统,其特征在于,还包括:
4.根据权利要求1所述的多模态体感交互系统,其特征在于,还包括:
5.根据权利要求1所述的多模态体感交互系统,其特征在于,所述映射关系的实现包括:
6.一种多模态体感交互系统的多通道同步控制方法,应用于包括视觉输出装置、触觉反馈装置和体感控制器的多模态体感交互系统,其特征在于,包括以下步骤:
7.根据权利要求1至4中任一项所述的多模态体感交互系统,其特征在于,所述交互事件包括碰撞检测事件、近距离感知事件、范围伤害事件、环境触发事件或技能释放事件中的至少一种。
8.根据权利要求1至4中任一项所述的多模态体感交互系统,其特征在于,所述视觉输出装置为近眼显示设备、或非近眼式三维显示装置中的至少一种;所述近眼显示设备包括虚拟现实头显、增强现实眼镜、混合现实头显或视网膜投影设备;所述非近眼式三维显示装置包括全息投影装置、光场显示装置或裸眼立体显示装置。
9.根据权利要求1至4中任一项所述的多模态体感交互系统,其特征在于,所述视觉输出装置包括以下空间级显示介质中的至少一种:投影显示面、led显示屏、透明led贴膜屏、lcd显示面、oled显示面、量子点显示面、mini-led显示面、micro-led显示面、玻璃背投膜、拼接屏、全息显示面、纱幕显示介质、雾幕显示介质、激光荧光显示面、电致发光显示面、柔性可卷曲显示面、旋转led体显示面、光波导显示面、电子纸显示面。
10.根据权利要求1至4中任一项所述的多模态体感交互系统,其特征在于,所述触觉反馈装置为穿戴式物理触觉装置或非穿戴式中场触觉反馈装置中的至少一种;
11.根据权利要求1至4中任一项所述的多模态体感交互系统,其特征在于,所述触觉反馈装置能够输出至少两种不同触觉模态,所述触觉模态包括振动触觉、冲击力触觉、按压触觉、温度触觉或电刺激触觉中的至少两种。
12.根据权利要求2所述的多模态体感交互系统,其特征在于,所述可编程力反馈装置为落地式机械臂、悬挂式机械臂、壁装式机械臂、桌面式机械臂、临时固定式机械臂、电缆牵引系统、气动人工肌肉阵列、软体机器人力反馈装置、磁悬浮力场装置、气流推力墙或电磁阻力系统中的任一种;所述临时固定式机械臂通过磁吸、胶粘或卡扣方式可拆卸地固定于空间内的表面。
13.根据权利要求2所述的多模态体感交互系统,其特征在于,所述可编程力反馈装置的输出力范围为5n至50n,末端设有柔性接触面。
14.根据权利要求1至4中任一项所述的多模态体感交互系统,其特征在于,所述体感控制器为手持式惯性测量单元控制器、穿戴式惯性测量单元节点、纯视觉手势识别装置、肌电传感器或脑电运动想象控制器中的至少一种;所述脑电运动想象控制器配置为通过脑电信号分类识别用户的运动意图并映射为虚拟角色动作。
15.根据权利要求3所述的多模态体感交互系统,其特征在于,所述脑机接口装置为非侵入式脑电信号采集装置、半侵入式脑机接口装置或侵入式脑机接口装置中的任一种;所述非侵入式脑电信号采集装置包括eeg脑电帽、fnirs近红外脑功能成像头带或tfus经颅聚焦超声刺激设备;所述半侵入式脑机接口装置包括硬脑膜外电极或血管内电极;所述侵入式脑机接口装置包括皮层电图电极阵列、皮层内微电极阵列或植入式神经信号采集装置。
16.根据权利要求6所述的多模态体感交互系统的多通道同步控制方法,其特征在于,步骤s2中,所述时序预补偿量还包括力反馈通道的指令传输延迟与力反馈执行器响应延迟之和;所述方法还包括:根据所述交互事件的力学交互参数计算力反馈指令,并按照所述力反馈通道的时序预补偿量发送所述力反馈指令至可编程力反馈装置。
17.根据权利要求6所述的多模态体感交互系统的多通道同步控制方法,其特征在于,所述预设时序容差不超过20毫秒。
18.根据权利要求6所述的多模态体感交互系统的多通道同步控制方法,其特征在于,步骤s2中计算时序预补偿量之前,还包括:
19.根据权利要求6所述的多模态体感交互系统的多通道同步控制方法,其特征在于,步骤s3中发送触觉触发指令之后,还包括:
20.根据权利要求3所述的多模态体感交互系统,其特征在于,还包括:
21.根据权利要求1所述的多模态体感交互系统,其特征在于,还包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com