一种虚拟现实交互系统、虚拟现实交互方法及电子设备

摘要: 本发明涉及神经科学及行为学,具体涉及一种虚拟现实交互系统、虚拟现实交互方法及电子设备。背景技术:1、在神经科学研究领域,小鼠作为重要的模式动物,被广泛应用于学习...
一种虚拟现实交互系统、虚拟现实交互方法及电子设备

本发明涉及神经科学及行为学,具体涉及一种虚拟现实交互系统、虚拟现实交互方法及电子设备。

背景技术:

1、在神经科学研究领域,小鼠作为重要的模式动物,被广泛应用于学习记忆、空间导航及认知行为等脑功能机制的研究。传统的小鼠行为学实验通常依赖真实物理环境,如水迷宫、t迷宫及开放场实验等,通过记录小鼠在物理空间中的运动轨迹及行为表现来评估其认知能力。然而,该类实验方法在实际应用中存在诸多局限性,例如实验环境参数难以精确控制、外界干扰因素较多、实验重复性较差以及实验场景灵活性不足等问题,从而在一定程度上限制了复杂认知行为机制的深入研究。

2、随着虚拟现实技术的发展,其在动物行为学研究中的应用逐渐兴起。虚拟现实技术通过构建可控的数字化环境,能够在受限空间内为实验动物提供连续变化的视觉刺激,并通过实时交互实现行为与环境之间的动态耦合。在现有技术中,通常将小鼠置于特定的运动平台(如球形跑台或滚轮跑台)上,通过传感器实时采集其运动信息,并将该信息输入计算机系统,用于驱动虚拟场景的更新,从而使小鼠在虚拟环境中完成空间导航或认知任务。此外,为增强行为训练效果,现有系统通常引入奖励机制,例如通过电控液体输送装置在小鼠完成预设任务后提供糖水奖励,以实现正向强化学习过程。

3、尽管上述虚拟现实小鼠实验系统在一定程度上提高了实验的可控性和灵活性,但在视觉呈现方面,多采用外部屏幕或投影系统向小鼠提供视觉刺激,该类方式在实际应用中由于显示设备与小鼠视野之间存在空间距离及角度偏差,难以完全匹配小鼠的视觉特性,从而影响虚拟环境的沉浸感。

技术实现思路

1、本发明提供了一种虚拟现实交互系统、虚拟现实交互方法及电子设备,以解决虚拟现实实验中小鼠沉浸感不强的问题。

2、第一方面,本发明提供了一种虚拟现实交互系统,包括支撑机构、跳台支撑机构、运动检测组件、头部固定机构和近眼显示机构,其中跑台支撑机构设置在支撑机架上,用于承载球形跑台,并在小鼠运动时产生多自由度位移;运动检测组件用于采集球形跑台的运动数据;头部固定机构用于对小鼠的头部进行空间限位;近眼显示机构包括显示支架、微型显示模组及光学罩,显示支架连接于头部固定机构,微型显示模组设置于显示支架上;光学罩设于微型显示模组外侧,且光学罩的出光端位于小鼠的眼部前方;微型显示模组用于根据运动数据生成并投射虚拟场景图像,光学罩用于对虚拟场景图像进行光路传导与视场适配,以在小鼠视野内构建与运动数据相匹配的沉浸式视觉环境。

3、本发明提供的虚拟现实交互系统,通过跑台支撑机构与运动检测组件的配合,支持高灵敏度地捕捉小鼠在球形跑台上的多自由度运动数据;利用头部固定机构对小鼠进行精准的空间限位,有效避免了实验过程中小鼠头部的微动与偏转,为近眼显示机构提供了稳定的视觉基准;近眼显示机构利用微型显示模组与光学罩的紧密配合,直接将虚拟图像经光路传导并精准适配至小鼠眼部前方,有效解决了相关技术中因空间距离及角度偏差导致无法影响小鼠沉浸感的问题。在一些可选的实施方式中,虚拟现实交互系统,还包括奖励输送机构、声光刺激机构、隔音屏蔽舱体和控制单元;奖励输送机构用于向小鼠提供奖励反馈;声光刺激机构用于向小鼠提供听觉刺激和/或环境光刺激;隔音屏蔽舱体用于包覆支撑机架,以对外部环境噪音和光线进行隔离屏蔽;控制单元分别与运动检测组件、微型显示模组、奖励输送机构及声光刺激机构电性连接,控制单元被配置为:实时接收运动检测组件采集的球形跑台的运动数据,并根据运动数据生成对应的虚拟场景渲染指令,以驱动微型显示模组实时刷新并投射与运动数据相匹配的虚拟场景图像;同时,控制单元还用于接收预设的实验控制指令,并根据实验控制指令协调控制奖励输送机构、声光刺激机构及微型显示模组的运行。

4、该实施方式通过集成奖励输送机构与声光刺激机构,实现了多模态感官刺激与行为反馈的闭环控制;通过隔音屏蔽舱体对外部声光干扰隔离,显著降低了环境噪声对实验数据的干扰,确保了实验环境的高度纯净与可控。

5、在一些可选的实施方式中,运动检测组件包括旋转编码器,旋转编码器与球形跑台传动连接;旋转编码器用于检测球形跑台的运动数据,并将运动数据作为运动数据发送至微型显示模组;和/或,头部固定机构包括连接杆以及设置于连接杆末端的夹持头座;支撑机架上还设有三维调节支架,连接杆通过三维调节支架安装于支撑机架上,以调节夹持头座在水平方向及垂直方向上的位置;夹持头座的下端设有用于对小鼠的头部进行限位的卡接槽,卡接槽的开口朝向球形跑台设置。

6、该实施方式通过旋转编码器与球形跑台的传动连接,能够高保真地反馈小鼠的位移信息;利用三维调节支架配合连接杆,能够精准适配不同体型小鼠的生理特征,确保卡接槽与小鼠头部的稳固限位。这种设计消除了小鼠头部晃动对近眼显示机构成像稳定性的干扰,保证了虚拟视觉环境的精准投射。

7、第二方面,本发明还提供了一种虚拟现实交互方法,应用于第一方面或第一方面任一实施方式的虚拟现实交互系统,方法包括以下步骤:获取小鼠在球形跑台上的实际运动数据;根据实际运动数据确定小鼠在虚拟场景中的位移增量和方向变化;调用基于预设的小鼠生理视觉特征及显示模组的光学参数构建的双目视觉模型;其中,双目视觉模型包括左眼虚拟相机和右眼虚拟相机;根据位移增量和方向变化,确定左眼虚拟相机的第一空间位姿和右眼虚拟相机的第二空间位姿;根据第一空间位姿确定左眼实时观测视角,根据第二空间位姿确定右眼实时观测视角;利用双目视觉模型,分别根据左眼实时观测视角和右眼实时观测视角对虚拟场景进行渲染,生成左眼渲染图像和右眼渲染图像;将左眼渲染图像和右眼渲染图像投射至微型显示模组。

8、本发明通过实时解算小鼠运动数据并映射至左、右眼虚拟相机的空间位姿,利用构建的双目视觉模型生成具有视差的立体渲染图像,确保了虚拟场景视角随小鼠运动实时同步变换,不仅实现了低延迟的流畅视觉反馈,更通过模拟真实双目视差构建了符合小鼠生理特性的立体沉浸环境,显著提升了虚拟现实交互实验的生态效度与数据可靠性。

9、在一些可选的实施方式中,根据实际运动数据确定小鼠在虚拟场景中的位移增量和方向变化包括:获取运动映射参数,其中运动映射参数包括以下中的至少一项:传感器灵敏度、位移映射比例、方向修正参数及运动增益参数;基于运动映射参数将实际运动数据映射为虚拟场景中的位移增量和方向变化。

10、该实施方式通过引入传感器灵敏度、位移映射比例等参数,实现了物理运动与虚拟位移的精准映射与灵活调节,在有效消除机械误差干扰的同时,确保了虚拟交互的流畅性与准确性。

11、在一些可选的实施方式中,利用双目视觉模型,分别根据左眼实时观测视角和右眼实时观测视角对虚拟场景进行渲染,生成左眼渲染图像和右眼渲染图像包括:基于双目视觉模型中的左眼虚拟相机,根据左眼实时观测视角计算左眼视锥;基于双目视觉模型中的右眼虚拟相机,根据右眼实时观测视角计算右眼视锥;分别在左眼视锥和右眼视锥的范围内对虚拟场景进行画面渲染,得到左眼渲染图像和右眼渲染图像。

12、该实施方式通过计算左右眼视锥并仅对锥内区域进行渲染,剔除了视场外的无效数据,在显著降低计算开销的同时,确保了双目图像的实时生成与精准呈现。

13、在一些可选的实施方式中,在将左眼渲染图像和右眼渲染图像投射至微型显示模组之前,还包括:获取系统适配参数,其中成像校正参数包括以下中的至少一项:小鼠视野范围、显示屏尺寸、近眼显示模组安装角度以及光学罩位置关系;根据系统适配参数对左眼渲染图像和右眼渲染图像进行光学适配处理。

14、该实施方式通过获取系统适配参数并对渲染图像进行光学适配处理,实现了虚拟画面与微型显示模组及光学组件的精准匹配,有效消除了因硬件安装误差或个体差异导致的图像畸变,确保了小鼠观测视觉的准确性与舒适度。

15、第三方面,本发明提供了一种电子设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的虚拟现实交互方法。

16、第四方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的虚拟现实交互方法。

17、第五方面,本发明提供了一种计算机程序产品,包括计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的虚拟现实交互方法。