一种基于空间编码的MR复杂场景多渲染策略混合高效渲染方法与流程

本公开涉及场景渲染，尤其是涉及一种基于空间编码的mr复杂场景多渲染策略混合高效渲染方法。

背景技术：

1、目前，现有技术方案把车间画面划分为实景静态区域与虚拟动态区域，对实景静态区域施加轻量化光栅化渲染以节约算力，该处理方式在视频透视式设备上成立，在光学透视式头显上落空，即，真实车间画面由环境光穿过镜片直接进入人眼，终端从未生成该画面，不存在可降低的渲染负载。同时，该类显示器只向视野叠加虚拟光线，不削减真实设备表面反射的光线，空间边界与前后关系算准之后，真实物体仍从虚拟管线中透出、虚拟阴影仍压不暗真实表面。

2、例如，维修人员佩戴光学透视式头显查看一台不锈钢机床，虚拟内部管线需要压在机床外壳前方显示。现有技术方案完成空间编码，判定管线位于外壳前方，将外壳所在的实景静态区域交给轻量化光栅化渲染。渲染负载未下降，即，该外壳画面本就来自环境光透射，终端未曾为其生成像素；遮挡也未形成，即，车间顶灯在不锈钢外壳上形成一片高亮反射，该反射光与虚拟管线的叠加光同时进入人眼，管线呈半透明状浮在外壳之上，外壳的螺栓、焊缝仍清晰可辨，虚拟管线在外壳上投下的阴影未使反射区变暗。

技术实现思路

1、有鉴于此，为了解决现有技术带来的问题，本技术提供了一种基于空间编码的mr复杂场景多渲染策略混合高效渲染方法。

2、第一方面，本公开提供一种基于空间编码的mr复杂场景多渲染策略混合高效渲染方法，所述方法包括：

3、获取真实物体数据和虚拟物体数据，并根据所述真实物体数据和虚拟物体数据将真实物体与虚拟物体写入同一空间范围，以构建mr场景空间编码；

4、基于所述mr场景空间编码，划分真实光线透射区域和虚拟画面生成区域，并通过所述真实光线透射区域与虚拟画面生成区域的相对位置关系确定虚拟物体遮挡区域；

5、向所述虚拟画面生成区域分配虚拟画面生成任务，并在执行所述虚拟画面生成任务后，记录每帧虚拟画面中虚拟物体覆盖位置和虚拟光线强度；

6、将所述虚拟物体遮挡区域与虚拟物体覆盖位置进行重合检验，并结合真实物体反射光强和虚拟光线强度，确定光线衰减程度和光线衰减位置；

7、基于所述光线衰减程度和光线衰减位置，对所述虚拟画面生成区域的渲染精度进行实时调整，以输出混合渲染结果。

8、进一步的，所述获取真实物体数据和虚拟物体数据，并根据所述真实物体数据和虚拟物体数据将真实物体与虚拟物体写入同一空间范围，以构建mr场景空间编码，包括：

9、按照预设的采样周期获取人员头部位置、头显观察方向、真实物体空间边界、虚拟物体空间边界、真实物体表面反射光强度以及终端运行状态；

10、按照时间标识将所述人员头部位置、头显观察方向、真实物体空间边界、虚拟物体空间边界、真实物体表面反射光强度以及终端运行状态封装为同步采集帧；

11、从所述同步采集帧中选取多个实体标记点，并确定每个实体标记点在真实环境中的位置，以将所述实体标记点与三维应用中对应的虚拟标记点重合。

12、进一步的，所述获取真实物体数据和虚拟物体数据，并根据所述真实物体数据和虚拟物体数据将真实物体与虚拟物体写入同一空间范围，以构建mr场景空间编码，还包括：

13、将所述空间范围划分为多个空间编码单元，并在所述真实物体空间边界穿过所述空间编码单元时，在对应空间编码单元内写入真实物体占用状态；

14、在所述虚拟物体空间边界穿过所述空间编码单元时，在对应空间编码单元内写入虚拟物体占用状态；

15、在所述真实物体空间边界和虚拟物体空间边界同时穿过所述空间编码单元时，根据所述真实物体空间边界和虚拟物体空间边界与人员头部位置之间的距离写入虚拟物体在前状态或真实物体在前状态；

16、其中，所述mr场景空间编码由所述真实物体占用状态、虚拟物体占用状态、虚拟物体在前状态以及真实物体在前状态和对应空间编码单元构成。

17、进一步的，所述基于所述mr场景空间编码，划分真实光线透射区域和虚拟画面生成区域，并通过所述真实光线透射区域与虚拟画面生成区域的相对位置关系确定虚拟物体遮挡区域，包括：

18、从所述mr场景空间编码中提取处于头显视野内的第一空间编码单元，并将所述第一空间编码单元投影至双眼显示平面，以生成双眼投影单元表；

19、基于所述双眼投影单元表，将具有真实物体占用状态的投影轮廓写入所述真实光线透射区域，并将具有虚拟物体占用状态的投影轮廓写入所述虚拟画面生成区域。

20、进一步的，所述基于所述mr场景空间编码，划分真实光线透射区域和虚拟画面生成区域，并通过所述真实光线透射区域与虚拟画面生成区域的相对位置关系确定虚拟物体遮挡区域，还包括：

21、提取所述真实光线透射区域与虚拟画面生成区域之间的交叠像素，并根据所述交叠像素生成视野重叠区域；

22、在所述视野重叠区域内读取真实物体与虚拟物体之间的相对位置关系，并选取具有虚拟物体在前状态的交叠像素作为有效遮挡像素，以将所述有效遮挡像素转换为虚拟物体遮挡真实物体的遮挡区域坐标。

23、进一步的，所述向所述虚拟画面生成区域分配虚拟画面生成任务，并在执行所述虚拟画面生成任务后，记录每帧虚拟画面中虚拟物体覆盖位置和虚拟光线强度，包括：

24、将所述真实光线透射区域对应的区域坐标写入实景任务排除位置，并在所述实景任务排除位置设置禁止生成实景静态画面的约束；

25、将所述真实光线透射区域与虚拟画面生成区域之间的区域坐标交集定义为虚拟管线覆盖位置，并从所述虚拟画面生成区域的区域坐标中扣除所述虚拟管线覆盖位置；

26、按照设定的像素范围将所述虚拟管线覆盖位置拆分为多个分区，并对每个分区分配虚拟画面生成任务，以在执行所述虚拟画面生成任务后，生成虚拟画面以及每帧虚拟画面中虚拟物体覆盖位置和虚拟光线强度。

27、进一步的，所述将所述虚拟物体遮挡区域与虚拟物体覆盖位置进行重合检验，并结合真实物体反射光强和虚拟光线强度，确定光线衰减程度和光线衰减位置，包括：

28、将所述虚拟物体遮挡区域与虚拟物体覆盖位置的区域坐标交集定义为有效衰减位置，并从虚拟物体的覆盖轮廓中筛选出落入所述有效衰减位置的轮廓像素，以将所述轮廓像素输出为有效覆盖轮廓；

29、将所述有效衰减位置分别与真实物体反射光强和虚拟光线强度进行关联，并在所述有效覆盖轮廓内设置边界过渡带，以基于所述边界过渡带构建全视野光线衰减图；

30、按照双眼标识对所述全视野光线衰减图进行拆分，并将所述有效衰减位置映射至对应光线衰减层，以输出所述光线衰减程度和光线衰减位置。

31、进一步的，所述基于所述光线衰减程度和光线衰减位置，对所述虚拟画面生成区域的渲染精度进行实时调整，以输出混合渲染结果，包括：

32、从所述虚拟画面生成区域中扣除虚拟物体覆盖位置，并禁止所述真实光线透射区域生成实景画面，以构建渲染精度控制表；

33、按照所述渲染精度控制表对所述虚拟画面生成区域的渲染精度进行调整，并将调整后的虚拟画面与所述光线衰减程度和光线衰减位置写入统一的显示周期，以输出所述混合渲染结果。

34、第二方面，本公开提供一种电子设备，所述电子设备包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实现上述第一方面的方法。

35、第三方面，本公开提供一种计算机存储介质，其存储有计算机程序，所述计算机程序被执行时实现上述第一方面的方法。

36、本公开的有益效果在于，与现有技术相比，本公开具有以下优点：

37、（1）本发明通过获取真实物体数据和虚拟物体数据，并根据真实物体数据和虚拟物体数据将真实物体与虚拟物体写入同一空间范围，以构建mr场景空间编码。之后，基于mr场景空间编码，划分真实光线透射区域和虚拟画面生成区域，并通过真实光线透射区域与虚拟画面生成区域的相对位置关系确定虚拟物体遮挡区域。随后，向虚拟画面生成区域分配虚拟画面生成任务，并在执行虚拟画面生成任务后，记录每帧虚拟画面中虚拟物体覆盖位置和虚拟光线强度，把视野划分为真实光线透射区域与虚拟画面生成区域，为取得渲染负载下降与符合空间前后关系的真实遮挡结果奠定了基础。

38、（2）本发明在把视野划分为真实光线透射区域与虚拟画面生成区域的基础上，将虚拟物体遮挡区域与虚拟物体覆盖位置进行重合检验，并结合真实物体反射光强和虚拟光线强度，确定光线衰减程度和光线衰减位置。最后，基于光线衰减程度和光线衰减位置，对虚拟画面生成区域的渲染精度进行实时调整，以输出混合渲染结果。对由虚拟物体遮挡真实物体的区域施加定向光线衰减，并令光线衰减位置跟随虚拟物体覆盖位置同步移动，进而取得渲染负载下降与符合空间前后关系的真实遮挡两项结果。例如，在维修人员佩戴光学透视式头显查看一台不锈钢机床且虚拟内部管线需要压在机床外壳前方显示的应用场景下，使得外壳区域被划入需要遮挡的区域，头显在管线覆盖轮廓内对入射光施加定向衰减，反射光强度下降，管线呈现为不透明实体，人员随头部转动时衰减轮廓跟随管线位置移动。