裸眼3D光线追踪渲染方法、装置、参数设计方法及显示设备与流程

本发明涉及裸眼3d渲染及全息影像，尤其涉及裸眼3d光线追踪渲染方法、装置、参数设计方法及显示设备。

背景技术：

1、目前现有的裸眼3d渲染方法通常使用多个虚拟相机在不同角度拍摄虚拟3d场景视图，并对每个虚拟相机对应的3d场景视图采用相同分辨率进行渲染；渲染时，根据3d模型、显示屏幕坐标在世界坐标系下的投影关系将3d场景投影到2d平面。

2、目前现有的裸眼3d渲染及显示方法中，有的方法采用双目左右视图，根据追瞳得到的人眼坐标，使左视图、右视图分别排布于观看者左右眼视线经柱透镜阵列折射后的视图排布位置，但是当追瞳得到的人眼坐标与实际的人眼坐标存在一定差异时会导致晕眩。还有的方法将柱透镜阵列的周期分为多个视区，在每个视区内对不同角度的视图进行周期性排布，但是当人眼越过视区分界线时会导致3d成像存在畸变，并且，由于在多个视区进行分光，使同一视图间的等效像素距离增大，导致显示分辨率降低，显示清晰度较差。

3、综上所述，现有的裸眼3d渲染及显示方法存在如下缺点：

4、1、显示分辨率较低，显示清晰度较差。如何在不增加成本的情况下提高显示分辨率一直是裸眼3d渲染及显示方法设计的难点之一。

5、2、基于追瞳的双目裸眼3d渲染及显示方法，对追瞳性能(即追瞳系统时间分辨率)要求高，当追瞳得到的人眼坐标与实际的人眼坐标存在一定差异时会导致晕眩，另外还会因为角分辨率、球差等光学系统空间分辨率的因素导致左右眼视图重叠。

6、3、多视点裸眼3d渲染及显示方法，当人眼越过视区分界线时会导致3d成像存在畸变，另外还会因为光栅结构空间分辨率有限导致出入屏模糊、晕眩。

7、4、通常采用光栅化渲染的方式，生成多个子视图排布成宫格图，没有提供反映光场分布映射关系的光线级渲染，即便采用光线追踪渲染的方式，通常也是模拟虚拟相机生成子视图，没有根据光场分布映射关系直接生成光场图，造成严重资源浪费。

技术实现思路

1、鉴于上述的分析，本发明旨在提供一种裸眼3d光线追踪渲染方法、装置、参数设计方法及显示设备，用以解决目前裸眼3d渲染及显示方法显示分辨率较低、清晰度较差且会导致晕眩、跳变、视图重叠、出入屏模糊的问题。

2、本发明提供了裸眼3d光线追踪渲染方法、装置、参数设计方法及显示设备，所述裸眼3d光线追踪渲染方法包括以下步骤：

3、步骤s1、获取裸眼3d显示设备参数，包括2d显示设备参数、光学结构参数；基于所述光学结构参数获取光学结构对应的光场映射关系；基于所述2d显示设备参数、光学结构对应的光场映射关系得到光场分布模型；

4、步骤s2、实时获取人眼坐标，根据当前人眼坐标和光场分布模型得到光学结构的当前等效透镜节距、等效偏移量以及等效像素密度，基于当前等效透镜节距、等效偏移量得到当前可视区以及可视角，基于当前等效像素密度及应用场景得到当前可视区对应的光线总数，基于当前人眼坐标、可视角得到光线的参数空间；

5、步骤s3、设置所述光线的参数空间先验分布的概率密度函数，根据人眼特性建立与光线密度相关的人眼特性的概率密度函数，根据追瞳算法、追瞳系统延迟得到人眼坐标的概率密度函数；将上述三个概率密度函数连乘得到当前视差图对应的概率密度云，基于所述概率密度云以及光线总数得到每个观看者每只眼睛在观看位置处当前视差图对应的光线；

6、步骤s4、建立渲染模型，基于所述渲染模型对当前视差图对应的光线进行累和得到光场图，将所述光场图投影到显示屏幕实现裸眼3d渲染。

7、进一步地，所述根据当前人眼坐标和光场分布模型得到光学结构的当前等效透镜节距、等效偏移量以及等效像素密度，基于等效透镜节距、等效偏移量得到当前可视区以及可视角包括：

8、根据当前人眼坐标得到当前观看距离，根据当前观看距离和光场分布模型得到当前等效透镜节距；基于相机坐标系下当前人眼坐标在显示屏幕水平方向上的坐标、竖直方向上的坐标、观看距离以及子像素在屏幕坐标系上的坐标得到当前等效偏移量；根据当前人眼坐标得到当前人眼视差，基于所述2d显示设备参数、当前人眼视差得到当前等效像素密度；

9、根据当前等效透镜节距得到当前参考可视区以及可视角范围；将当前参考可视区按当前等效偏移量进行滑动得到当前可视区，将当前可视角范围按当前等效偏移量进行滑动得到当前可视角。

10、进一步地，所述设置所述光线的参数空间先验分布的概率密度函数包括：以观察空间坐标系对应的可视区的中心点为高斯分布均值位置，以可视区的大小作为高斯分布的3倍标准差大小，从而得到所述光线的参数空间先验分布的概率密度函数。

11、进一步地，所述根据追瞳算法、追瞳系统延迟得到人眼坐标的概率密度函数包括：由追瞳算法推理得到人眼位置的概率分布函数，对所述人眼位置的概率分布函数进行卡尔曼滤波得到平滑的实时追瞳曲线；基于追瞳设备出厂设定或人工标定得到追瞳系统延迟，根据所述追瞳系统延迟建立追瞳系统延迟的经验曲线；将实时追瞳曲线和追瞳系统延迟的经验曲线相乘，得到人眼坐标的概率密度函数。

12、进一步地，根据人眼特性得到色差模型，表示在瞳孔主视角一定角度内颜色色差与视角的关系，通过色差模型得到基于人眼视觉坐标系上空间分布的颜色校正矩阵。

13、进一步地，所述基于所述概率密度云以及光线总数得到每个观看者每只眼睛在观看位置处当前视差图对应的光线包括：

14、基于所述概率密度云得到参数空间中各点对应的概率，用参数空间中各点对应的概率乘以光线总数得到参数空间中各点对应的光线数量；基于参数空间中各点及其对应的光线数量得到每个观看者每只眼睛在观看位置处当前视差图对应的光线。

15、进一步地，对于一个观看位置，渲染模型的表达式为：

16、

17、其中，ress表示累和后光场图的分辨率，t表示时间；tracefield表示3d显示设备执行光线追踪的过程；nlight表示光线总数，oob、ow分别表示光线在观察空间坐标系obxyz下的真实位置、对应的3d虚拟空间世界坐标系wxyz下的起始点，dob(oob,fob(r'))表示光线从观察空间obxyz的起始点oob到光场结构表面fob(r')的归一化光线方向，dw(ow,sxy(r')表示光线经过光学结构在sxy(r')对应的3d虚拟空间世界坐标系wxyz下的归一化光线方向，χ(oob,dob(oob,fob(r')),t))、χ(ow,dw(ow,sxy(r'),t))分别表示观察空间坐标系下对应的概率密度云、3d虚拟空间坐标系下对应的概率密度云。

18、进一步地，应用于所述裸眼3d光线追踪渲染方法的裸眼3d显示设备光学结构的参数设计方法，所述方法包括：

19、步骤s21、根据光场屏尺寸、2d显示设备分辨率、应用场景确定对应的观看距离，根据所述观看距离和人眼瞳距得到所述观看距离正对光场屏中心时人双眼的张角为α0度；

20、步骤s22、根据工艺水平和经验估计得到对应的空间分辨率张角为α1度；

21、步骤s23、根据设定裸眼3d显示设备的成本和软硬件方案的总延迟、人眼移动速度经验函数、观看距离得到追瞳延迟导致的时间分辨率冗余张角为α2度，从而得到光场屏光栅的设计度数为度。

22、进一步地，基于光场分布的裸眼3d渲染装置，所述装置包括：

23、数据采集设备，用于获取裸眼3d显示设备参数以及实时人眼坐标并发送给控制模块；

24、控制模块，用于根据裸眼3d显示设备参数建立光场分布模型、人眼特性模型、渲染模型，基于当前人眼坐标、人眼特性模型、渲染模型得到光场图并发送给裸眼3d显示设备；

25、裸眼3d显示设备，用于对光场图实现裸眼3d显示、全息显示。

26、进一步地，裸眼3d显示设备，所述裸眼3d显示设备应用裸眼3d光线追踪渲染方法，包括：

27、2d显示设备或光源，用于提供2d图像；

28、光学结构，用于在同一时刻为观看者双眼提供不同视角的视图，从而实现裸眼3d显示、全息显示；

29、输入、输出接口，用于传输裸眼3d显示、全息显示所需的数据。

30、与现有技术相比，本发明至少可实现如下有益效果之一：

31、1、本发明通过实时追瞳获取六自由度人眼坐标，并基于人眼特性模型、裸眼3d显示设备参数、光学结构所导致的光场分布模型确定光场图每条光线的参数，考虑了当前刻每位观察者的每只眼睛在光场中的属性以及经过光学结构的全参数映射关系，调节屏幕对应子像素的等效偏移量，使可视区即使在人眼移动的情况下也总能对准人眼坐标中心，因此当人眼在超出正常可视角度范围时，依然能够看到清晰的3d场景且不产生跳变，用户的视区范围从原来比较小的可视区拓展到由实时追瞳或者屏幕、光栅的光学性能决定的更大范围。该方法在不增加成本的情况下显著提高了裸眼3d设备视场角、清晰度、分辨率，而且在同等计算量下提升全息体验，或是相近全息体验下大幅降低计算系统需求。

32、2、本发明直接生成人眼视差所需的光场图，无需生成子视图并对子视图进行交织，不存在子视图间的串扰，避免了3d成像撕裂等问题；；裸眼3d光线追踪渲染相对于2d光线追踪渲染额外消耗的性能几乎可以忽略不计，远远小于裸眼3d光栅化渲染相对于2d光栅化渲染额外消耗的性能。

33、3、本发明根据光场分布、人眼特性模型所需视差得到每个观看者所需光场图中光线各项参数的概率密度分布，根据追瞳延迟经验曲线调制所述概率密度分布得到所述光场图中的所有光线，进而生成光场图，增强了3d视觉效果的真实感，在保障裸眼3d显示效果的同时，有效降低了光场图在存储、传输、渲染方面的资源消耗，大幅节省带宽。

34、4、本发明通过裸眼3d光线追踪渲染方法得到裸眼3d显示设备光场屏的设计参数，通过动态的光场映射关系保证在确定的光学结构上达到可视角度、清晰度、成像质量的物理极限，为裸眼3d显示设备光学结构的设计提供了基础。

35、5、本发明同时考虑了所需光场图应采用的光线数量的密度和提供给用户的每个观察位置对应的虚拟空间位置，因此本发明提供的方法及系统既支持只提供双目的裸眼3d渲染，即为一位观看者在空间移动时提供3d显示效果；也支持同时提供多个观察位置，即同时为多位观看者在空间移动时提供3d显示效果，因此可以应用于全息通话、裸眼3d视频观看、全息直播、全息娱乐等场景。

36、6、本发明通过实时追瞳并结合无迹卡尔曼滤波预测人眼移动轨迹，在弱光等特殊条件下采用视觉特性经验曲线调制实时追瞳获取人眼坐标，使人眼坐标更接近真实值，减轻了眩晕、重影等问题。

37、7、本发明利用渲染的深度信息对待渲染目标进行基于深度的高斯模糊，对远离焦平面的物体施加景深效果，从而补偿远距离物体的观感，并减少串扰。

38、本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。