基于光场分布的裸眼3D渲染方法、装置、参数设计方法及显示设备与流程

本发明涉及裸眼3d渲染及全息影像，尤其涉及基于光场分布的裸眼3d渲染方法、装置、参数设计方法及显示设备。

背景技术：

1、目前现有的裸眼3d渲染方法通常使用多个虚拟相机在不同角度拍摄虚拟3d场景视图，并对每个虚拟相机对应的3d场景视图采用相同分辨率进行渲染；渲染时，根据3d模型、显示屏幕坐标在世界坐标系下的投影关系将3d场景投影到2d平面。

2、目前现有的裸眼3d渲染及显示方法中，有的方法采用双目左右视图，根据追瞳得到的人眼坐标，使左视图、右视图分别排布于观看者左右眼视线经柱透镜阵列折射后的视图排布位置，但是当追瞳得到的人眼坐标与实际的人眼坐标存在一定差异时会导致晕眩。还有的方法将柱透镜阵列的周期分为多个视区，在每个视区内对不同角度的视图进行周期性排布，但是当人眼越过视区分界线时会导致3d成像存在畸变，并且，由于在多个视区进行分光，使同一视图间的等效像素距离增大，导致显示分辨率降低，显示清晰度较差。

3、综上所述，现有的裸眼3d渲染及显示方法存在如下缺点：

4、1、显示分辨率较低，显示清晰度较差。如何在不增加成本的情况下提高显示分辨率一直是裸眼3d渲染及显示方法设计的难点之一。

5、2、基于追瞳的双目裸眼3d渲染及显示方法，对追瞳性能(即追瞳系统时间分辨率)要求高，当追瞳得到的人眼坐标与实际的人眼坐标存在一定差异时会导致晕眩，另外还会因为角分辨率、球差等光学系统空间分辨率的因素导致左右眼视图重叠。

6、3、多视点裸眼3d渲染及显示方法，当人眼越过视区分界线时会导致3d成像存在畸变，另外还会因为光栅结构空间分辨率有限导致出入屏模糊、晕眩。

7、4、对每个虚拟相机对应的视图采用相同分辨率进行渲染，具体实施时通常需要对几十路虚拟相机对应的视图进行渲染，由于采用相同分辨率同时渲染大量视图，尤其随着视点数量的上升，渲染产生的资源消耗将会大大增加，造成严重资源浪费。

技术实现思路

1、鉴于上述的分析，本发明旨在提供一种基于光场分布的裸眼3d渲染方法、装置、参数设计方法及显示设备，用以解决目前裸眼3d渲染及显示方法显示分辨率较低、清晰度较差且会导致晕眩、跳变、视图重叠、出入屏模糊的问题。

2、本发明提供了基于光场分布的裸眼3d渲染方法、装置、参数设计方法及显示设备，所述基于光场分布的裸眼3d渲染方法包括以下步骤：

3、步骤s1、获取裸眼3d显示设备参数，包括2d显示设备参数、光学结构参数；基于所述光学结构参数获取光学结构对应的光场映射关系；基于所述2d显示设备参数、光学结构对应的光场映射关系得到光场分布模型；

4、步骤s2、实时获取人眼坐标，根据当前人眼坐标和光场分布模型得到光学结构的当前等效透镜节距与等效偏移量，基于当前等效透镜节距得到当前参考可视区以及可视角范围，根据当前参考可视区得到每个观看者每只眼睛在观看位置处对应的虚拟相机数量；根据当前参考可视区以及可视角范围得到每个虚拟相机的渲染参数或视频纹理的渲染参数，对当前参考可视区内的视点进行排布；

5、步骤s3、基于当前等效偏移量得到每个观看者每只眼睛在观看位置处对应的每个虚拟相机的渲染参数或视频纹理的渲染参数，对当前可视区内的视点进行排布；根据当前参考可视区内的视点排布对当前可视区内的视点进行重排得到视点图；

6、步骤s4、建立渲染模型，基于所述渲染模型对所述视点图交织得到光场图，将所述光场图投影到显示屏幕实现裸眼3d渲染。

7、进一步地，根据人眼特性建立虚拟相机的渲染参数或视频纹理的渲染参数对应的人眼特性模型，对所述人眼特性模型进行傅里叶变换或高斯卷积，基于当前人眼坐标得到每个观看者每只眼睛在观看位置处对应的每个虚拟相机的渲染参数或视频纹理的渲染参数对应的权重或卷积核；

8、根据所述权重或卷积核更新步骤s3中每个观看者每只眼睛在观看位置处对应的每个虚拟相机的渲染参数或视频纹理的渲染参数，对当前可视区内的视点进行排布；根据当前参考可视区内的视点排布对当前可视区内的视点进行重排得到视点图，基于所述渲染模型对所述视点图交织得到光场图，将所述光场图投影到显示屏幕实现裸眼3d渲染。

9、进一步地，所述根据当前人眼坐标和光场分布模型得到光学结构的当前等效透镜节距与等效偏移量，基于当前等效透镜节距得到当前参考可视区以及可视角范围包括：

10、根据当前人眼坐标得到当前观看距离，根据当前观看距离和光场分布模型得到当前等效透镜节距；基于相机坐标系下当前人眼坐标在显示屏幕水平方向上的坐标、竖直方向上的坐标、观看距离以及子像素在屏幕坐标系上的坐标得到当前等效偏移量；根据当前等效透镜节距得到当前参考可视区以及可视角范围；

11、所述根据当前参考可视区得到每个观看者每只眼睛在观看位置处对应的虚拟相机数量包括：

12、根据当前参考可视区得到每个观看者每只眼睛在观看位置处对应的视点数量，一个视点对应一个虚拟相机，从而得到虚拟相机数量。

13、进一步地，所述基于当前等效偏移量得到每个观看者每只眼睛在观看位置处对应的每个虚拟相机的渲染参数或视频纹理的渲染参数，对当前可视区内的视点进行排布包括：

14、将当前参考可视区按当前等效偏移量进行滑动得到当前可视区，将当前可视角范围按当前等效偏移量进行滑动得到当前可视角；使当前人眼的中心位置对准当前可视区的中心点得到当前主视角；

15、基于当前主视角以及可视区、可视角调整所述每个虚拟相机的渲染参数或视频纹理的渲染参数得到每个观看者每只眼睛在观看位置处对应的每个虚拟相机的渲染参数或视频纹理的渲染参数；

16、基于所述每个虚拟相机的渲染参数或视频纹理的渲染参数进行光栅化生成待渲染目标的子视图；

17、将当前可视区对应的所有子视图按存储形式组织在一起，所述存储形式包括宫格图、多目差异编码、纹理数组；其中每个子视图对应当前可视区内的一个视点，每个子视图具有相应的编号。

18、进一步地，所述根据当前参考可视区内的视点排布对当前可视区内的视点进行重排得到视点图包括：

19、得到当前参考可视区与当前可视区的交叠区域以及非交叠区域，交叠区域对应的子视图编号保持不变，将当前可视区非交叠区域对应的子视图编号映射到当前参考可视区非交叠区域，对当前可视区内的视点进行重排得到视点图。

20、进一步地，所述基于当前人眼坐标得到每个观看者每只眼睛在观看位置处对应的每个虚拟相机的渲染参数或视频纹理的渲染参数对应的权重或卷积核包括：

21、根据当前人眼坐标将视觉坐标系变换到观察空间坐标系，从而将视觉坐标系下每个虚拟相机的渲染参数或视频纹理的渲染参数的权重或卷积核，变换为每个观看者每只眼睛在观看位置处对应的每个虚拟相机的渲染参数或视频纹理的渲染参数对应的权重或卷积核。

22、进一步地，对于一个观看位置，当不增强主视角效果时，渲染模型的表达式为：

23、其中，表示t时刻主视角为α对应的视点图中第i个子视图，表示第i个子视图的分辨率；λij表示第i个子视图各渲染参数的权重，其中，j＝0,......n，n表示虚拟相机的渲染参数或视频纹理的渲染参数的数量；γi表示第i个子视图的权重；

24、当增强主视角效果时，渲染模型的表达式为：

25、通过下述公式在所述渲染模型中针对主视角视图提供加权权重：

26、

27、其中，β表示非主视角子视图对应的视角，表示将视角β对应的子视图叠加到主视角对应的子视图。

28、进一步地，应用于所述基于光场分布的裸眼3d渲染方法的裸眼3d显示设备光学结构的参数设计方法，所述方法包括：

29、步骤s21、根据光场屏尺寸、2d显示设备分辨率、应用场景确定对应的观看距离，根据所述观看距离和人眼瞳距得到所述观看距离正对光场屏中心时人双眼的张角为α0度；

30、步骤s22、根据工艺水平和经验估计得到对应的空间分辨率张角为α1度；

31、步骤s23、根据设定裸眼3d显示设备的成本和软硬件方案的总延迟、人眼移动速度经验函数、观看距离得到追瞳延迟导致的时间分辨率冗余张角为α2度，从而得到光场屏光栅的设计度数为度。

32、进一步地，基于光场分布的裸眼3d渲染装置，所述装置包括：

33、数据采集设备，用于获取裸眼3d显示设备参数以及实时人眼坐标并发送给控制模块；

34、控制模块，用于根据裸眼3d显示设备参数建立光场分布模型、人眼特性模型、渲染模型，基于当前人眼坐标、人眼特性模型、渲染模型得到光场图并发送给裸眼3d显示设备；

35、裸眼3d显示设备，用于对光场图实现裸眼3d显示、全息显示。

36、进一步地，裸眼3d显示设备，所述裸眼3d显示设备应用基于光场分布的裸眼3d渲染方法，包括：

37、2d显示设备或光源，用于提供2d图像；

38、光学结构，用于在同一时刻为观看者双眼提供不同视角的视图，从而实现裸眼3d显示、全息显示；

39、输入、输出接口，用于传输裸眼3d显示、全息显示所需的数据。

40、与现有技术相比，本发明至少可实现如下有益效果之一：

41、1、本发明通过实时追瞳获取六自由度人眼坐标，并基于人眼特性模型、裸眼3d显示设备参数、光学结构所导致的光场分布模型重排待渲染目标的视点图，对交织结果进行改进，考虑了当前刻每位观察者的每只眼睛在光场中的属性以及经过光学结构的全参数映射关系，调节屏幕对应子像素的等效偏移量，使可视区即使在人眼移动的情况下也总能对准人眼坐标中心，因此当人眼在超出正常可视角度范围时，依然能够看到清晰的3d场景且不产生跳变，用户的视区范围从原来比较小的可视区拓展到由实时追瞳或者屏幕、光栅的光学性能决定的更大范围。该方法在不增加成本的情况下显著提高了裸眼3d设备视场角、清晰度、分辨率，而且在同等计算量下提升全息体验，或是相近全息体验下大幅降低计算系统需求。

42、2、本发明根据实时追瞳获取的人眼坐标得到观看距离，基于观看距离得到等效透镜节距并重新计算参考可视区以及可视区内视点数、视点分布。例如，当观看距离比标准距离更小、更大时，等效透镜节距变大、变小，可视区内视点数增多、减少，参与交织的视点数随之增多、减少，从而在视点图中对更多、更少的子视图进行重排，精准控制了每位观看者每只眼睛所需子视图的个数，从而降低了所需资源的消耗，避免了3d成像撕裂等问题。

43、3、本发明基于光学结构的空间分辨率以及追瞳系统的时间分辨率调整每个观看者每只眼睛在每个视角的子视图所应采用的虚拟相机的渲染参数的权重，来降低非主视角的子视图的分辨率、虚拟相机内参外参、对比度、亮度等，减小了视图间的串扰，增强了3d视觉效果的真实感，在保障裸眼3d显示效果的同时，有效降低了视点图在存储、传输、渲染方面的资源消耗，大幅节省带宽。

44、4、本发明基于光场分布的裸眼3d渲染方法得到裸眼3d显示设备光场屏的设计参数，通过动态的光场映射关系保证在确定的光学结构上达到可视角度、清晰度、成像质量的物理极限，为裸眼3d显示设备光学结构的设计提供了基础。

45、5、本发明既可以改变观察位置偏移后可视区中子视图的对应关系，也可以改变每个子视图对应的虚拟相机的内外参，同时考虑了视点图对应的交织方法和提供给用户的每个观察位置对应的虚拟空间位置，因此本发明提供的方法及系统既支持只提供双目的裸眼3d渲染，即为一位观看者在空间移动时提供3d显示效果；也支持同时提供多个观察位置，即同时为多位观看者在空间移动时提供3d显示效果，因此可以应用于全息通话、裸眼3d视频观看、全息直播、全息娱乐等场景。

46、6、本发明通过实时追瞳并结合无迹卡尔曼滤波预测人眼移动轨迹，在弱光等特殊条件下采用视觉特性经验曲线代替实时追瞳获取人眼坐标，使人眼坐标更接近真实值，减轻了眩晕、重影等问题。

47、7、本发明利用渲染的深度信息对待渲染目标进行基于深度的高斯模糊，对远离焦平面的物体施加景深效果，从而补偿远距离物体的观感，并减少串扰。

48、本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。