沉浸式多显示面空间中虚拟对象跨显示层自动切换方法及系统与流程

本发明涉及沉浸式多显示面空间增强现实交互，更具体地，涉及一种沉浸式多显示面空间中虚拟对象跨显示层自动切换方法及系统。

背景技术：

1、沉浸式多显示面空间是由多个显示面（地面/墙面/弧面/半球面等）包围的投影空间，如cave、半球幕等。其中，地幕区域是沉浸式空间中地面投影/led显示屏覆盖的物理范围；地幕区域的边界由地面显示设备的物理外缘确定，或由预设的空间坐标范围定义；地幕区域的边界可以作为ar渲染的空间触发区域。显示层是虚拟对象可被渲染到的物理/虚拟显示面，包括但不限于墙面投影层（led/投影）、地幕投影层和ar眼镜叠加层。虚拟场景对象是沉浸空间中的任意虚拟物体，包括但不限于非玩家角色（npc）、远程玩家虚拟化身、虚拟道具、虚拟植被（树木/草丛）、虚拟建筑、虚拟地形元素等。空间锚定是指将ar中虚拟对象的三维影像位置绑定在物理空间坐标系的固定位置。ar眼镜是穿戴式透明光学增强现实显示设备，用户同时看到真实物理环境和叠加的虚拟影像，与封闭式、不可见真实环境的vr头显有着根本的区别。跨显示层切换是指同一虚拟对象在多个显示层之间基于空间位置关系自动迁移渲染。沉浸式多显示面空间通过多面投影（地面、墙面、弧面、半球面等）包围用户，营造沉浸式视觉体验；典型布局包括4面/5面/6面显示，地面投影（地幕）和墙面投影（led屏或投影）。ar眼镜（透明光学，非vr头显）可在用户视野中叠加虚拟影像，用户同时看到真实物理环境和叠加的虚拟内容。现有的相关技术存在以下问题：

2、（1）显示层割裂：地面投影、墙面投影、ar眼镜各自独立，虚拟物体在不同显示层之间没有自动切换机制；

3、（2）无区域触发：没有利用物理显示区域（如地幕范围）作为ar渲染的空间触发条件；

4、（3）无动态流转：同一虚拟物体无法根据其与玩家的相对位置在不同物理显示设备之间无缝迁移；

5、（4）ar交互缺失：现有方案中ar叠加层仅用于显示，不支持玩家在ar层对虚拟物体进行射击/近战/采集等交互；

6、（5）无跨空间映射：不同物理空间的玩家无法在同一ar视野中看到对方角色。

7、以上问题严重影响使用者的沉浸式体验，如何在沉浸式多显示面空间中进行虚拟对象跨显示层自动切换及ar交互，提升沉浸式体验，是亟待解决的技术问题。

技术实现思路

1、针对现有技术的缺陷，本发明的目的在于，提供一种沉浸式多显示面空间中虚拟对象跨显示层自动切换方法、ar交互方法与系统，能在沉浸式多显示面空间中进行虚拟对象跨显示层自动切换及ar交互，提升用户的沉浸式体验。

2、为实现上述目的，第一方面，本发明提供了一种沉浸式多显示面空间中虚拟对象跨显示层自动切换方法，包括如下步骤：

3、建立统一物理空间坐标系，配置多个显示层的沉浸式多显示面空间，所述显示层包括投影显示层和穿戴式增强现实显示设备；在沉浸式多显示面空间中，将虚拟场景对象在所述穿戴式增强现实显示设备中渲染并锚定在所述物理空间坐标系的对应位置，所述虚拟场景对象在所述穿戴式增强现实显示设备形成叠加显示层，与所述物理空间坐标系的多个显示层共同构成多显示层immersive空间；

4、实时追踪虚拟场景对象在所述物理空间坐标系中的位置；基于所述虚拟场景对象在所述物理空间坐标系中相对于用户的实时相对位置关系，与预设的显示层切换阈值进行比较，确定目标显示层，将所述虚拟场景对象的渲染在所述多个显示层之间自动切换；

5、响应于用户通过体感设备在物理空间中对所述虚拟场景对象执行交互操作，基于所述体感设备的实时位姿数据，在所述统一物理空间坐标系中构建射线或运动轨迹碰撞体，对所述虚拟场景对象的包围盒执行相交检测完成碰撞判定，根据碰撞判定结果执行对应的交互效果；其中，所述体感设备包括基于惯性传感器的体感枪、体感兵器、手势识别模块、身体动作捕捉设备中的至少一种。

6、作为进一步优选的，所述自动切换包括：确认所述虚拟场景对象进入地幕区域，在用户的穿戴式增强现实显示设备中自动渲染所述虚拟场景对象的三维虚拟影像，所述三维虚拟影像叠加在用户通过所述增强现实显示设备观察到的物理环境之上；在所述虚拟场景对象于穿戴式增强现实显示设备叠加层渲染期间，持续执行空间锚定，使所述三维虚拟影像稳定保持在所述物理空间坐标系的对应位置；其中，所述穿戴式增强现实显示设备为透明光学ar眼镜，用户可同时观察物理环境和叠加的虚拟影像。

7、作为进一步优选的，所述虚拟场景对象包括本地玩家虚拟化身、非玩家角色、远程玩家虚拟化身、虚拟道具、虚拟植被中的至少一种；

8、在沉浸式多显示面空间中，用户佩戴穿戴式增强现实显示设备，所述增强现实显示设备中渲染有虚拟场景对象的三维虚拟影像，所述三维虚拟影像的位置锚定在物理空间坐标系的对应位置；用户在物理空间中使用体感设备对所述增强现实显示设备中渲染的虚拟场景对象执行交互操作，所述交互操作包括射击、近战挥砍、徒手搏斗、资源采集中的至少一种；基于所述体感设备的实时位置数据与所述三维虚拟影像的锚定坐标，在所述物理空间坐标系中进行碰撞判定；根据碰撞判定结果执行对应的交互效果，所述交互效果包括伤害计算、物体破坏、资源获得中的至少一种；其中，所述碰撞判定在统一的物理空间坐标系中完成；

9、所述交互操作包括射击、近战挥砍、徒手搏斗、资源采集中的至少一种；

10、所述碰撞判定在物理空间坐标系中完成，包括：获取体感设备在物理空间坐标系中的实时位姿；对射击模式执行射线与虚拟对象aabb包围盒的相交检测，对近战模式执行体感设备的运动轨迹序列与虚拟对象aabb包围盒的逐帧碰撞检测；命中后根据交互类型执行伤害计算、物体破坏或资源获得；

11、所述交互结果同步到游戏引擎更新虚拟对象状态，并在穿戴式增强现实显示设备同步渲染反馈效果，包括受击动画、物体破坏动画、资源飘字特效中的至少一种；

12、所述徒手搏斗交互通过手势识别、身体动作捕捉或其他人体动作检测方式实现，碰撞判定基于手部/肢体的运动轨迹与虚拟对象的包围盒检测。

13、作为进一步优选的，所述切换通过渐隐渐显过渡、透明度渐变或双显示层同时渲染重叠实现视觉连续性过渡。

14、作为进一步优选的，所述沉浸式多显示面空间为cave多折幕空间和/或半球幕空间。

15、作为进一步优选的，所述多个显示层之间自动切换通过预设的透明度渐变函数实现，所述函数在过渡时长内使旧显示层透明度从1递减至0、新显示层透明度从0递增至1，包括线性渐变、非线性渐变或自定义缓动函数。

16、作为进一步优选的，所述基于相对位置的显示层自动切换采用分级距离阈值判定规则：虚拟对象与用户的距离大于远距阈值r_wall且在前方墙面视角范围内时，渲染在墙面投影层；距离小于等于远距阈值r_wall或虚拟对象在地幕区域内时，渲染在穿戴式增强现实显示设备；距离小于等于交互距离阈值r_interact时，标记为可交互状态；其中r_wall>r_interact，所述阈值为预设可配置参数。

17、作为进一步优选的，所述多个显示层之间自动切换设置滞回区间：进入ar层的触发距离为r_arenter，离开ar层的退出距离为r_arexit，r_arexit>r_arenter，仅当虚拟对象与用户的距离超出r_arexit的持续时间达到预设滞回时间t_hysteresis时，才执行从ar层切出的操作，防止在阈值边界处频繁切换。

18、作为进一步优选的，所述滞回区间的宽度为0.1m-1.5m，滞回时间为0.1s-5.0s。

19、作为进一步优选的，所述投影显示层包括地幕投影层和墙面投影层，当同一虚拟场景对象同时满足多个显示层的渲染条件时，按照预设优先级规则选择渲染层，所述优先级规则为穿戴式增强现实显示设备优先于地幕投影层、地幕投影层优先于墙面投影层，或基于距离、视角范围、对象类型的加权评分选择渲染层。

20、作为进一步优选的，所述虚拟场景对象为从虚拟建筑至草丛级别的全尺度三维物体。

21、作为进一步优选的，所述地幕区域为地面投影屏幕或led显示屏覆盖的物理范围，其边界由显示设备的物理外缘确定或由预设的空间坐标范围定义；虚拟对象进入地幕区域时自动触发穿戴式增强现实显示设备渲染流程，无需用户手动操作。

22、作为进一步优选的，所述空间锚定包括：当虚拟对象被决定在穿戴式增强现实显示设备渲染时，记录其物理空间坐标作为锚定点存入全局空间锚定表；基于ar眼镜的实时位姿，将锚定物理坐标通过四元数逆变换到ar眼镜的局部观察坐标系，确定虚拟影像在ar显示平面上的投影位置和缩放比例，每帧更新以保持影像锚定在物理空间原位。

23、作为进一步优选的，所述空间锚定还包括漂移补偿机制：通过物理空间中预设的已知坐标的校准标记点定期检测ar眼镜位姿追踪的累积漂移，当漂移幅度超过预设阈值时，对所有锚定坐标施加修正偏移，修正过程分多帧渐进完成以避免视觉跳变。

24、作为进一步优选的，还包括跨空间映射步骤：通过网络或本地通信方式接收其他沉浸式多显示面空间的远程玩家虚拟化身数据，将远程玩家的空间坐标变换到本地物理坐标系，使得本地用户在ar眼镜中看到远程玩家的虚拟形象，支持跨空间互动。

25、作为进一步优选的，还包括穿戴设备触觉反馈空间定位步骤：当检测到虚拟对象命中用户时，获取命中点在玩家身体模型上的三维坐标，确定距离命中点最近的穿戴设备振动单元，根据命中点与用户的空间距离动态调整反馈强度，空间距离越小反馈级别越高，向对应振动单元发送触觉驱动指令。

26、作为进一步优选的，所述多个显示层构成混合显示系统，各层内容在统一物理空间坐标系下对齐：墙面投影层渲染远景背景、大型虚拟对象轮廓；地幕投影层渲染近处地面信息、区域标记；穿戴式增强现实显示设备渲染近距立体可交互虚拟对象、ui信息，保障视觉一致性。

27、作为进一步优选的，还包括威亚弹跳场景的多层空间锚定逻辑：根据玩家的弹跳高度动态调整锚定位置，地面层锚定高度处于预设地面层锚定高度区间，低空层锚定高度处于预设低空层锚定高度区间，高空层锚定高度处于预设高空层锚定高度区间，弹跳过程中锚定位置平滑过渡，配合cave投影的俯瞰/飞行视角特效，ar眼镜渲染高度ui和空中战斗准星。

28、作为进一步优选的，还包括光影特效协同渲染逻辑：当玩家挥动体感兵器时，在兵器末端的物理空间坐标处生成特效，所述特效同时在穿戴式增强现实显示设备、墙面投影层、地幕投影层同步渲染，各层特效在统一坐标系下对齐，视觉风格根据兵器属性变化。

29、作为进一步优选的，所述虚拟场景对象的空间位置追踪还包括网络同步单元，用于接收其他沉浸式多显示面空间发送的远程玩家虚拟化身的实时坐标，纳入虚拟场景对象的追踪范围。

30、作为进一步优选的，所述显示层的路由的判定还包括水平方位角和俯仰角计算，仅当虚拟对象位于用户前方预设视角范围内时，才触发墙面投影层或ar层的渲染，位于视角范围外的虚拟对象不渲染或降低渲染优先级。

31、第二方面，本发明提供一种应用于上述任一方法的沉浸式多显示面空间中虚拟对象跨显示层自动切换系统，包括：

32、空间锚定模块，配置为：建立统一物理空间坐标系，配置多个显示层的沉浸式多显示面空间，所述显示层包括投影显示层和穿戴式增强现实显示设备；在沉浸式多显示面空间中，将虚拟场景对象在所述穿戴式增强现实显示设备中渲染并锚定在所述物理空间坐标系的对应位置，所述虚拟场景对象在所述穿戴式增强现实显示设备形成叠加显示层，与所述物理空间坐标系的多个显示层共同构成多显示层immersive空间；

33、显示层路由模块，配置为：实时追踪虚拟场景对象在所述物理空间坐标系中的位置；基于所述虚拟场景对象在所述物理空间坐标系中相对于用户的实时相对位置关系，与预设的显示层切换阈值进行比较，确定目标显示层，将所述虚拟场景对象的渲染在所述多个显示层之间自动切换；

34、ar体感交互模块：响应于用户通过体感设备在物理空间中对所述虚拟场景对象执行交互操作，基于所述体感设备的实时位姿数据，在所述统一物理空间坐标系中构建射线或运动轨迹碰撞体，对所述虚拟场景对象的包围盒执行相交检测完成碰撞判定，根据碰撞判定结果执行对应的交互效果；其中，所述体感设备包括基于惯性传感器的体感枪、体感兵器、手势识别模块、身体动作捕捉设备中的至少一种。

35、作为进一步优选的，所述显示层路由模块包括相对位置计算单元、显示层切换决策单元、过渡渲染单元和显示层优先级管理单元，所述相对位置计算单元用于计算所述虚拟场景对象与用户的实时距离和/或角度；所述显示层切换决策单元用于基于预设规则自动决定渲染的目标显示层；所述过渡渲染单元用于通过渐隐渐显、透明度渐变或跨层重叠渲染确保视觉连续性；所述显示层优先级管理单元用于，确认同一虚拟场景对象同时满足多个显示层的渲染条件时，按照预设优先级规则选择渲染层，所述优先级规则为穿戴式增强现实显示设备优先于地幕投影层、地幕投影层优先于墙面投影层，或按距离最近原则选择渲染层。

36、作为进一步优选的，还包括还包括校准标记点部署单元，用于在沉浸式多显示面空间的物理位置预设已知坐标的校准标记点，为ar眼镜的位姿追踪和漂移补偿提供基准。

37、实施本发明提供的沉浸式多显示面空间中虚拟对象跨显示层自动切换方法及系统，具有以下有益效果：

38、本发明的核心创新在于构建了"空间锚定→跨显示层切换→ar体感交互"的完整玩法链路——用户佩戴ar眼镜在cave多显示面物理空间中，虚拟对象通过空间锚定精准叠加在物理坐标系中，随用户位置变化自动跨显示层无缝切换，同时用户通过体感设备在物理空间中对ar叠加层的虚拟对象执行射击、近战、徒手等交互操作，碰撞判定基于统一物理空间坐标完成。三者缺一不可，构成区别于普通ar应用的完整沉浸式交互体验。

39、本发明针对现有技术无统一物理空间坐标系，各显示层坐标独立的缺陷，建立统一物理空间坐标系，配置墙面投影层、地幕投影层、穿戴式增强现实显示设备的空间范围，所有虚拟对象、设备、显示内容的坐标均对齐到该坐标系，解决了各显示层、交互设备坐标独立，无法实现空间对齐和联动的问题，为后续所有功能提供统一的坐标基准，保障显示内容、交互判定的空间一致性，是实现跨层路由、空间锚定、精准交互的基础；

40、本发明针对现有技术无相对位置计算和显示层路由逻辑，虚拟对象固定在单一显示层，切换无过渡的缺陷，实时计算虚拟对象与用户的三维距离、方位角、俯仰角，判定是否在地幕区域内；基于分级距离阈值+滞回区间的规则自动判定目标渲染层；采用透明度渐变+双图层重叠的过渡渲染逻辑，切换时旧层渐隐、新层渐显，解决了虚拟对象无法基于用户位置自动在多层间流转，切换时视觉跳变，边界频繁抖动的问题，实现虚拟对象在墙面、地幕、ar层之间的无缝自动迁移，全程无视觉断裂，用户无感知切换；滞回区间避免边界频繁跳变，体验稳定；

41、本发明针对现有技术无空间触发条件和锚定机制，ar无法自动激活，影像漂移的缺陷，以地幕区域为ar渲染的空间触发条件，虚拟对象进入地幕自动激活ar渲染，无需用户手动操作；建立空间锚定机制，将ar虚拟影像的坐标绑定到物理空间固定位置，结合ar眼镜位姿追踪做坐标系变换；可选加漂移补偿逻辑，通过预设校准标记点定期检测并修正累积漂移，解决了ar需要手动启动，虚拟影像随视角晃动、长时间漂移，无法锚定在物理空间原位的问题，ar虚拟影像始终固定在地面投影对应的真实物理位置，玩家移动时视角变化但物体位置不变；无需手动操作即可自动激活，长时间运行无“物体飘移”问题；

42、本发明针对现有技术无统一坐标系下的体感交互逻辑，ar层无法互动的缺陷，通过imu+外部追踪获取体感设备在物理空间的实时位姿；基于统一坐标系实现射线-aabb碰撞检测（射击）、运动轨迹碰撞检测（近战）；交互结果同步游戏引擎，驱动反馈动画，解决了ar层仅能显示，无法实现精准的体感交互，判定与视觉错位的问题，支持射击、近战、采集等体感交互，判定精准对齐物理空间，交互反馈及时，沉浸感大幅提升；

43、本发明针对现有技术无跨空间坐标映射逻辑，无法多场馆联动的缺陷，建立跨空间通信单元，同步其他场馆的远程玩家虚拟化身数据；将远程玩家的空间坐标变换到本地物理坐标系，解决了不同场馆玩家无法同屏，无法跨空间互动的问题，不同场馆的玩家可在同一ar视野中看到对方的虚拟形象，支持跨厅对战、互动，实现大范围的多用户沉浸式体验；

44、本发明针对现有技术未适配全尺度物体，无小尺度渲染逻辑的缺陷，虚拟对象支持从建筑到小草的全尺度3d物体；路由阈值、碰撞检测精度适配全尺度物体的空间范围，解决了仅支持大型虚拟对象，小尺度物体无法清晰显示和交互的问题，全尺度虚拟对象均可实现跨层切换和ar交互，支持草丛拨开、小道具采集等细粒度玩法，细节还原度高；

45、本发明针对现有技术无触觉反馈空间定位逻辑，反馈无沉浸感的缺陷，预先建立玩家身体模型与穿戴设备振动单元的映射关系；根据命中点坐标匹配最近的振动单元，结合虚拟对象与玩家的空间距离动态调整反馈强度；解决了触觉反馈无空间定位，强度固定，沉浸感弱的问题，触觉反馈与命中位置、距离精准匹配，距离越近反馈越强，实现“打中胳膊胳膊震、打中胸口胸口震”的空间化反馈，进一步提升沉浸感。