一种集成成像光场显示的实时渲染方法及装置与流程

1.本技术涉及三维显示技术与图像渲染技术领域，更具体地说，是涉及一种集成成像光场显示的实时渲染方法及装置。


背景技术：

2.虚拟现实(virtual reality,vr)与增强现实(augmented reality)三维显示技术广泛应用于军事、医疗、娱乐、教育等领域。传统的实现方法利用双目视差的原理，通过双目辐辏作用产生三维效果。但由于屏幕发出的光线缺乏深度信息，眼睛的焦点与纵深感不匹配，引发辐辏调节冲突(vergence
‑
accommodation conflict,vac)，使观看者产生视觉疲劳，长期观看后导致眩晕、不适感。
3.为了实现没有vac的真3d显示，人们发明了多种实现方法，按照成像原理可大致分为集成成像光场显示、全息显示、体3d显示、自适应变焦等方法。其中，集成成像光场显示由于具有硬件简单易实现、轻薄、深度连续可调等优势而成为下一代三维显示技术的焦点。
4.集成成像是一种自动立体(autostereoscopic)和多视角(multiscopic)的三维成像技术，通过使用小孔阵列或微透镜阵列(也称为蝇眼透镜)捕获并重现光场，通常无需借助较大的集成物镜或观察透镜。在捕获模式下，将胶片或检测器耦合到微透镜阵列，每个微透镜都允许获取从该透镜位置的角度观察到的被摄对象的图像。在再现模式下，每个微透镜允许每个观察眼睛只看到相关的微图像区域，该区域包含从该区域通过该空间可以看到的对象部分。
5.目前，请参阅图1，集成成像光场显示系统通常包括一块高分辨率的显示面板和一个微透镜阵列，在显示面板上显示的二维图像称为单元图像阵列(eia，elemental image array)，eia的不同部分通过微透镜阵列在三维空间中被投射到不同方位上，形成三维图像。
6.为了生成eia，一般基于追迹光线的视点进行映射，计算eia上每个像素对应光线所携带的图像信息，即映射对应的亮度、色度信息。这种算法运算量大，响应速度慢，无法满足人机实时交互的需求。
7.现有技术从硬件、算法以及兼顾二者的角度提出了各类改进，例如：基于蒙特卡洛光线及中心凹办法，模拟一定数量光线的传播，以实现快速渲染；利用透镜做多次折反射，实现远距离连续深度三维图像的重构；或者，利用不同采样及光线追迹算法，如vvr(viewpoint vector rendering)，提取多视角图，并依此进行三维光场的重建等。
8.然而，现有面向虚拟现实和增强现实的图像渲染技术，一方面，对硬件算力依赖过强，需结合高成本的计算技术，在可穿戴设备中难以实现；另一方面，渲染机器的单位渲染时间(渲染单个图片的时间)过长，难以实现实时渲染。


技术实现要素：

9.有鉴于此，本技术提供了一种集成成像光场显示的实时渲染方法及装置，以实现。
10.为实现上述目的，本技术第一方面提供了一种集成成像光场显示的实时渲染方法，包括：
11.根据预设的目标重建空间和待渲染的目标图像，确定至少两个目标重建平面以及目标重建平面的重建范围；
12.针对每个目标重建平面，根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取待渲染的目标图像在目标重建平面的纹理图；
13.根据各个目标重建平面的纹理图的体像素信息以及预设的第一索引矩阵，获取第二索引矩阵；其中，所述第一索引矩阵包含了各个可能的重建平面在其重建范围内的每一个体像素与显示面板上的二维像素的对应关系；所述第二索引矩阵包含各个目标重建平面的纹理图中的每一个体像素与显示面板上的二维像素的对应关系；
14.根据各个目标重建平面的纹理图的体像素信息以及所述第二索引矩阵，获取显示面板的单元图像阵列。
15.优选地，所述第一索引矩阵的计算方法，包括：
16.根据预设的目标重建空间，确定多个可能的重建平面以及所述重建平面的重建范围；
17.针对每个可能的重建平面，根据微透镜阵列的参数，结合显示面板、微透镜阵列以及所述重建平面三者之间的几何关系，计算所述重建平面在其重建范围内的每一个体像素对应于显示面板上的二维像素，得到第一索引矩阵。
18.优选地，所述根据微透镜阵列的参数，结合显示面板、微透镜阵列以及所述重建平面三者之间的几何关系，计算所述重建平面在其重建范围内的每一个体像素对应于显示面板上的二维像素的过程，包括：
19.针对微透镜阵列中的每个透镜，根据所述透镜的焦距，以及所述透镜与显示面板、重建平面三者之间的几何关系，通过高斯公式进行光线追迹，得到所述重建平面在其重建范围内的每一个体像素对应于显示面板上的二维像素。
20.优选地，所述根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取待渲染的目标图像在目标重建平面的纹理图的过程，包括：
21.根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取目标重建平面的采样频率；
22.根据目标重建平面的采样频率和重建范围，对待渲染的目标图像进行向下采样，得到目标重建平面的纹理图。
23.优选地，所述根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取目标重建平面的采样频率的过程，包括：
24.根据显示面板的参数，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，确定目标重建平面的体像素的尺寸；
25.根据目标重建平面的重建范围，结合所述目标重建平面的体像素的尺寸，确定所述目标重建平面的采样频率。
26.优选地，所述根据显示面板的参数，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，确定目标重建平面的体像素的尺寸的过程，包括：
27.通过如下公式来确定目标重建平面的体像素的尺寸：
[0028][0029]
其中，l
con_imgl_pix_i
为目标重建平面的体像素的尺寸，l
per_pixel
为显示面板上单个像素的尺寸，r为微透镜阵列到显示面板的距离，l
i
为目标重建平面到显示面板的距离。
[0030]
优选地，所述根据目标重建平面的重建范围，结合所述目标重建平面的体像素的尺寸，确定所述目标重建平面的采样频率的过程，包括：
[0031]
通过如下公式来确定所述目标重建平面的采样频率：
[0032][0033]
其中，f
pixel_i
为目标重建平面的采样频率，l
con_imgl
为目标重建平面的重建范围的尺寸，l
con_imgl_pix_i
为目标重建平面的体像素的尺寸。
[0034]
优选地，所述根据各个目标重建平面的纹理图的体像素信息以及预设的第一索引矩阵，获取第二索引矩阵的过程，包括：
[0035]
针对各个目标重建平面的纹理图，遍历所述纹理图中的每一个体像素，从所述第一索引矩阵中提取出与所述体像素对应的二维像素，以生成所述第二索引矩阵。
[0036]
优选地，所述根据各个目标重建平面的纹理图的体像素信息以及所述第二索引矩阵，获取显示面板的单元图像阵列的过程，包括：
[0037]
根据第二索引矩阵，获取各个目标重建平面的纹理图的体像素所对应的显示面板上的二维像素；
[0038]
针对每个目标重建平面的纹理图，遍历所述纹理图的体像素，获取所述体像素的颜色信息，并将所述体像素所对应的显示面板上的二维像素的颜色信息设置成与所述体像素的颜色信息一致，得到显示面板的单元图像阵列。
[0039]
本技术第二方面提供了一种集成成像光场显示的实时渲染装置，包括：
[0040]
重建区域获取单元，用于根据预设的目标重建空间和待渲染的目标图像，确定至少两个目标重建平面以及目标重建平面的重建范围；
[0041]
纹理图获取单元，用于针对每个目标重建平面，根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取待渲染的目标图像在目标重建平面的纹理图；
[0042]
第二索引矩阵获取单元，用于根据各个目标重建平面的纹理图的体像素信息以及预设的第一索引矩阵，获取第二索引矩阵；其中，所述第一索引矩阵包含了各个可能的重建平面在其重建范围内的每一个体像素与显示面板上的二维像素的对应关系；所述第二索引矩阵包含各个目标重建平面的纹理图中的每一个体像素与显示面板上的二维像素的对应关系；
[0043]
单元图像阵列获取单元，用于根据各个目标重建平面的纹理图的体像素信息以及所述第二索引矩阵，获取显示面板的单元图像阵列。
[0044]
经由上述的技术方案可知，本技术实施例预先计算出第一索引矩阵，所述第一索引矩阵包含了各个可能的重建平面在其重建范围内的每一个体像素与显示面板上的二维像素的对应关系。
[0045]
然后根据预设的目标重建空间和待渲染的目标图像，确定该目标图像的至少两个目标重建平面以及对应于该目标重建平面的重建范围。
[0046]
继而针对每个目标重建平面，根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取待渲染的目标图像在目标重建平面的纹理图。
[0047]
以及根据各个目标重建平面的纹理图中的体像素信息，以及所述第一索引矩阵，获取包含纹理图的体像素信息的第二索引矩阵。该第二索引矩阵包含了每一个目标重建平面的纹理图中的体像素与显示面板上的像素的对应关系。最后根据各个目标重建平面的纹理图的体像素信息以及所述第二索引矩阵，获取显示面板的单元图像阵列。
[0048]
本技术实施例通过将包含位置对应信息的第一索引矩阵与包含纹理图体像素对应信息的第二索引矩阵分开计算，对于不超出目标重建空间、且目标重建平面被包含在可能的重建平面之内的目标渲染图像，仅需要调用预先计算好的第一索引矩阵，就可以从中方便地计算出第二索引矩阵，也即，对于所有图片的整个渲染过程，仅需要预先进行一次关于第一索引矩阵的计算，避免了重复的计算，压缩了计算量并节约了单个目标渲染图片的计算时间。
[0049]
对于第二索引矩阵，针对不同内容的目标渲染图像，仅需计算其在各个目标重建平面的纹理图，并依据预先计算好的第一索引矩阵，就能计算出相应的第二索引矩阵，此过程涉及的计算具有较低的计算复杂度。最后根据各个目标重建平面的纹理图的体像素信息以及所述第二索引矩阵，获取显示面板的单元图像阵列。整个计算过程简单、快捷，不需要依赖于强大的硬件算力，压缩了计算量并节约了渲染单个图片的时间，使得图像渲染的速度达到视频级的水平。
附图说明
[0050]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0051]
图1示例了本技术实施例公开的集成成像光场显示系统的示意图；
[0052]
图2为本技术实施例公开的用于集成成像光场显示的实时渲染方法的示意图；
[0053]
图3为本技术实施例公开的具有6个可能的重建平面的集成成像光场显示的示意图；
[0054]
图4为本技术实施例公开的用于集成成像光场显示的实时渲染装置的示意图。
具体实施方式
[0055]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于
本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0056]
请参阅图2，本技术实施例提供的用于集成成像光场显示的实时渲染方法，可以包括如下步骤：
[0057]
步骤s100，确定目标重建平面及其重建范围。
[0058]
具体地，根据预设的目标重建空间和待渲染的目标图像，确定至少两个目标重建平面以及目标重建平面的重建范围。
[0059]
其中，目标重建空间为一预设的空间，一般地可以根据显示面板和微透镜阵列的位置关系，结合需要投影的范围，确定目标重建空间，以便在该目标重建空间中对待渲染图像进行重建。
[0060]
待渲染的目标图像为三维图像，其可以是深度图像，包含了不同深度的重建平面上的各个像素点(以下称为体像素)的信息。可以理解的是，对于任一个三维图像，其必然包含两个以上的重建平面。待渲染的目标图像在一个重建平面上的各个体像素构成该重建平面的纹理图。
[0061]
一般地，重建平面可以设置为平行于显示面板的平面；根据目标重建空间，可以进一步确定重建平面的重建范围。
[0062]
步骤s200，获取待渲染的目标图像在目标重建平面的纹理图。
[0063]
具体地，针对每个目标重建平面，根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取待渲染的目标图像在目标重建平面的纹理图。
[0064]
例如，根据显示面板的参数，可以获取显示面板所显示的图像的分辨率；根据目标重建平面的重建范围，可以获取目标重构平面上所重构的图像的尺寸；根据显示面板、微透镜阵列与目标重建平面三者之间的几何关系，可以获取显示面板所显示的图像与目标重构平面上所重构的图像的比值。根据上述的分辨率、尺寸以及比值以及获取目标重构平面上所重构的图像的尺寸及分辨率，然后结合待渲染的目标图像，可以获取目标重构平面上所重构的图像的具体的体像素信息，即待渲染的目标图像在目标重建平面的纹理图。
[0065]
步骤s300，获取目标重建平面的纹理图中的每一个体像素与显示面板上的二维像素的对应关系。
[0066]
具体地，根据各个目标重建平面的纹理图的体像素信息以及预设的第一索引矩阵，获取第二索引矩阵。
[0067]
其中，该第一索引矩阵包含了各个可能的重建平面在其重建范围内的每一个体像素与显示面板上的二维像素的对应关系。
[0068]
该第二索引矩阵包含各个目标重建平面的纹理图中的每一个体像素与显示面板上的二维像素的对应关系。
[0069]
具体地，重建平面上的每一个体像素在微透镜阵列的作用下，对应于显示面板上的多个二维像素，且体像素与二维像素的具体对应关系由体像素在重建平面的位置、微透镜阵列中的透镜参数以及重建平面与微透镜阵列、显示面板的相对位置关系所决定。
[0070]
由于第一索引矩阵包含了各个可能的重建平面在其重建范围内的每一个体像素与显示面板上的二维像素的对应关系，意味着通过第一索引矩阵可以获知各个目标重建平
面在其重建范围内的每一个体像素与显示面板上的二维像素的对应关系。再结合各个目标重建平面的纹理图中的体像素的位置信息，则可以获取各个目标重建平面的纹理图中的每一个体像素与显示面板上的二维像素的对应关系。
[0071]
步骤s400，获取显示面板的单元图像阵列。
[0072]
具体地，根据各个目标重建平面的纹理图的体像素信息以及所述第二索引矩阵，获取显示面板的单元图像阵列。
[0073]
例如，根据各个目标重建平面的纹理图中的每一个体像素的颜色信息，然后结合体像素与显示面板上的二维像素的对应关系，可以获知显示面板上的相应二维像素的颜色信息，从而得到显示面板的单元图像阵列。
[0074]
本技术实施例通过将包含位置对应信息的第一索引矩阵与包含纹理图体像素对应信息的第二索引矩阵分开计算，对于不超出目标重建空间、且目标重建平面被包含在可能的重建平面之内的目标渲染图像，仅需要调用预先计算好的第一索引矩阵，就可以从中方便地计算出第二索引矩阵，也即，对于所有图片的整个渲染过程，仅需要预先进行一次关于第一索引矩阵的计算，避免了重复的计算，压缩了计算量并节约了单个目标渲染图片的计算时间。
[0075]
对于第二索引矩阵，针对不同内容的目标渲染图像，仅需计算其在各个目标重建平面的纹理图，并依据预先计算好的第一索引矩阵，就能计算出相应的第二索引矩阵，此过程涉及的计算具有较低的计算复杂度。最后根据各个目标重建平面的纹理图的体像素信息以及所述第二索引矩阵，获取显示面板的单元图像阵列。整个计算过程简单、快捷，不需要依赖于强大的硬件算力，压缩了计算量并节约了渲染单个图片的时间，使得图像渲染的速度达到视频级的水平。
[0076]
在本技术的一些实施例中，对于上述预先计算的第一索引矩阵，其具体的计算方法可以包括：
[0077]
a1，根据预设的目标重建空间，确定多个可能的重建平面以及该重建平面的重建范围；
[0078]
a2，针对每个可能的重建平面，根据微透镜阵列的参数，结合显示面板、微透镜阵列以及该重建平面三者之间的几何关系，计算该重建平面在其重建范围内的每一个体像素对应于显示面板上的二维像素，得到第一索引矩阵。
[0079]
针对多个可能的重建平面以及该重建平面的重建范围，预先计算好第一索引矩阵，并将其保存起来。接下来对其他三维图像的渲染就可以直接调用该第一索引矩阵的数据，节省了计算步骤。
[0080]
在本技术的一些实施例中，上述a2根据微透镜阵列的参数，结合显示面板、微透镜阵列以及该重建平面三者之间的几何关系，计算该重建平面在其重建范围内的每一个体像素对应于显示面板上的二维像素的过程，可以包括：
[0081]
针对微透镜阵列中的每个透镜，根据所述透镜的焦距，以及所述透镜与显示面板、重建平面三者之间的几何关系，通过高斯公式进行光纤追迹，得到所述重建平面在其重建范围内的每一个体像素对应于显示面板上的二维像素。
[0082]
其中，高斯公式可以表示为：
[0083][0084]
其中，n与n
′
分别为透镜的物体侧和成像侧的介质的折射率，u为显示面板上的二维像素到微透镜阵列中的透镜的光心的距离，v为重建平面中的体像素到该透镜的光心的距离，r为该透镜的曲率半径。
[0085]
上述计算过程主要是根据透镜的成像定律获取与体像素相对应的多个二维像素，计算过程复杂度不高，易于实现。
[0086]
在本技术的一些实施例中，上述步骤s200根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取待渲染的目标图像在目标重建平面的纹理图的过程，可以包括：
[0087]
b1，根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取目标重建平面的采样频率；
[0088]
b2，根据目标重建平面的采样频率和重建范围，对待渲染的目标图像进行向下采样，得到目标重建平面的纹理图。
[0089]
上述计算过程实际是待渲染的目标图像向下采样到目标重建平面的过程，即将待渲染的目标图像这一三维图像降维至多个目标重建平面的二维图像。通过获取待渲染的目标图像在每一个目标重建平面的纹理图，为步骤s300计算显示面板上的二维像素准备好相关数据。
[0090]
在本技术的一些实施例中，上述b1根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取目标重建平面的采样频率的过程，可以包括：
[0091]
c1，根据显示面板的参数，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，确定目标重建平面的体像素的尺寸；
[0092]
c2，根据目标重建平面的重建范围，结合该目标重建平面的体像素的尺寸，确定目标重建平面的采样频率。
[0093]
其中，显示面板的参数可以是分辨率，采样频率等同于目标重建平面的纹理图的分辨率。通过上述计算过程确定目标重建平面的采样频率，以便计算纹理图的体像素信息。
[0094]
在本技术的一些实施例中，上述c1中根据显示面板的参数，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，确定目标重建平面的体像素的尺寸的过程，可以包括：
[0095]
通过如下公式来确定目标重建平面的体像素的尺寸：
[0096][0097]
其中，l
con_imgl_pix_i
为目标重建平面的体像素的尺寸，l
per_pixel
为显示面板上单个像素的尺寸，r为微透镜阵列到显示面板的距离，l
i
为目标重建平面到显示面板的距离。
[0098]
在本技术的一些实施例中，上述c2根据目标重建平面的重建范围，结合所述目标重建平面的体像素的尺寸，确定目标重建平面的采样频率的过程，可以包括：
[0099]
通过如下公式来确定所述目标重建平面的采样频率：
[0100][0101]
其中，f
pixel_i
为目标重建平面的采样频率，l
con_imgl
为目标重建平面的重建范围的尺寸，l
con_imgl_pix_i
为目标重建平面的体像素的尺寸。
[0102]
在本技术的一些实施例中，上述步骤s300根据各个目标重建平面的纹理图的体像素信息以及第一索引矩阵，获取该第二索引矩阵的过程，可以包括：
[0103]
针对各个目标重建平面的纹理图，遍历该纹理图中的每一个体像素，从该第一索引矩阵中提取出与该体像素对应的二维像素，以生成第二索引矩阵。
[0104]
由于第一索引矩阵实际包含了各个可能的重建平面在其重建范围内所有体像素相对于显示面板的二维像素的对应关系，而实际上目标重建平面往往仅是所有可能的重建平面的一个子集，而且重建平面上的纹理图不一定完全铺满整个重建区域。因此，上述计算过程实质是从第一索引矩阵中提取出与纹理图相关的体像素
‑
二维像素的对应关系，并以此作为第二索引矩阵。
[0105]
在本技术的一些实施例中，上述步骤s400根据各个目标重建平面的纹理图的体像素信息以及该第二索引矩阵，获取显示面板的单元图像阵列的过程，可以包括：
[0106]
d1，根据第二索引矩阵，获取各个目标重建平面的纹理图的体像素所对应的显示面板上的二维像素；
[0107]
d2，针对每个目标重建平面的纹理图，遍历纹理图的体像素，获取体像素的颜色信息，并将体像素所对应的显示面板上的二维像素的颜色信息设置成与该体像素的颜色信息一致，得到显示面板的单元图像阵列。
[0108]
其中，颜色信息包括色度信息和亮度信息中的至少一种。
[0109]
至此，从原理上介绍了本技术的用于集成成像光场显示的实时渲染方法多种变形的实施例。为便于理解，下面以两个具体的例子说明本技术实施例的用于集成成像光场显示的实时渲染方法的具体实施方式。
[0110]
例子一：
[0111]
请参阅图3，集成成像光场由一个显示面板、一个微透镜阵列组成。
[0112]
其中，光学器件参数如下：
[0113]
显示面板为矩形，对角线长度为0.7英寸，像素数为1920*1080(长边像素数*宽边像素数)；
[0114]
微透镜阵列尺寸必需满足不小于显示面板的尺寸，本例子中采用尺寸为160mm*80mm的微透镜阵列，并且微透镜阵列中单个微透镜直径为1mm，焦距为4mm。
[0115]
光场的位置参数如下：
[0116]
微透镜阵列到显示面板的距离r＝3mm；
[0117]
假设可能的重建平面为重建平面1至重建平面6这6个深度的重建平面，且该6个深度分别为l1＝200mm、l2＝500mm、l3＝800mm、l4＝1000mm、l5＝1500mm、l6＝2000mm。
[0118]
首先进行空间信息预处理过程，以预先计算出第一索引矩阵。
[0119]
依据集成光场中微显示器
‑
透镜
‑
重构虚拟平面之间的几何关系，根据高斯公式进行光线追迹，计算得到重建平面1中每个体像素对应于显示面板中多个二维像素的位置信息，并将其存储为矩阵，以生成第一索引矩阵。
[0120]
重复上述过程，分别针对重建平面2至重建平面6，遍历每个重建平面的体像素，计算出该体像素对应于显示面板中多个二维像素的位置信息，并将其更新至第一索引矩阵，并最终得到完整的第一索引矩阵。
[0121]
接着，开始对具体的待渲染的目标图像进行计算。
[0122]
相应地，假设待渲染的目标图像所包含的深度分别为200mm、500mm、800mm、1000mm、1500mm以及2000mm，也即待渲染的目标图像的目标重建平面的深度分别为200mm、500mm、800mm、1000mm、1500mm以及2000mm。
[0123]
根据公式(3)计算出各深度平面的采样频率，分别为f1＝360*203、f2＝346*195、f3＝343*193、f4＝343*193、f5＝341*192以及f6＝339*191。
[0124]
利用该采样频率对待渲染的目标图像进行向下采样，得到各个目标重建平面的纹理图。
[0125]
然后进行颜色信息实时处理过程。依据待渲染的目标图像在各个目标重建平面的纹理图，通过调用第一索引矩阵，生成对应于该纹理图的特定空间位置信息对应矩阵，即第二索引矩阵。对于一目标重建平面的纹理图，遍历其体像素，对色度信息和亮度信息进行一一映射，得到该目标重建平面的纹理图的完整的深度eia图。合并各目标重建平面的深度eia图得到最终输出图像。
[0126]
本技术实施例所提供的渲染方法只涉及eia图重构，其基于集成光场显示所必需的显示面板及微透镜阵列，不需要增加任何其他光学及电学器件，可以与任何在其基础上构建的光路结合而无需改变运算量，普适性极高；此外，计算过程不依赖于硬件性能，通用性强，稳定性好，易于与目前商业化虚拟现实及增强现实显示设备结合，具有广阔的市场前景。
[0127]
例子二：
[0128]
本例子对于用于具有准连续重建深度平面的的集成成像光场显示进行介绍。该集成成像光场由一个显示面板、一个微厚透镜阵列组成。
[0129]
其中，光学器件参数如下：
[0130]
显示面板为矩形，对角线长度为0.7英寸，像素数为1920*1080(长边像素数*宽边像素数)；
[0131]
微透镜阵列尺寸同样地必需满足不小于显示面板的尺寸，本例子中采用尺寸为160mm*80mm的微透镜阵列，并且微透镜阵列中单个微透镜直径为1mm，焦距为2.9mm。
[0132]
光场的位置参数如下：
[0133]
微透镜阵列到微显示器的距离r＝3mm；
[0134]
假设可能的重建平面为重建平面1至重建平面10这10个深度的重建平面，且该6个深度分别为l1＝200mm、l2＝300mm、l3＝500mm、l4＝700mm、l5＝900mm、l6＝1200mm、l7＝1500mm、l8＝2000mm、l9＝5000mm、l10＝10000mm。
[0135]
首先进行空间信息预处理过程，以预先计算出第一索引矩阵。
[0136]
依据集成光场中微显示器
‑
透镜
‑
重构虚拟平面之间的几何关系，根据厚透镜模型下的高斯公式进行光线追迹，计算得到重建平面1中每个体像素对应于显示面板中多个二维像素的位置信息，并将其存储为矩阵，以生成第一索引矩阵。
[0137]
重复上述过程，分别针对重建平面2至重建平面10，遍历每个重建平面的体像素，
计算出该体像素对应于显示面板中多个二维像素的位置信息，并将其更新至第一索引矩阵，并最终得到完整的第一索引矩阵。
[0138]
接着，开始对具体的待渲染的目标图像进行计算。
[0139]
相应地，假设待渲染的目标图像所包含的深度分别为200mm、300mm500mm、700mm、900mm、1200mm、1500mm、2000mm、5000mm以及10000mm，也即待渲染的目标图像的目标重建平面的深度分别为200mm、300mm 500mm、700mm、900mm、1200mm、1500mm、2000mm、5000mm以及10000mm。
[0140]
根据公式(3)计算出各深度平面的采样频率，并利用该采样频率对待渲染的目标图像进行向下采样，得到各个目标重建平面的纹理图。
[0141]
然后进行颜色信息实时处理过程。依据待渲染的目标图像在各个目标重建平面的纹理图，通过调用第一索引矩阵，生成对应于该纹理图的特定空间位置信息对应矩阵，即第二索引矩阵。对于一目标重建平面的纹理图，遍历其体像素，对色度信息和亮度信息进行一一映射，得到该目标重建平面的纹理图的完整的深度eia图。合并各目标重建平面的深度eia图得到最终输出图像。
[0142]
本技术实施例提供的用于集成成像光场显示的实时渲染方法既不需要依赖高性能的硬件算力、云计算等提高单位运算量的运算速度的方法，也不会影响分辨率和视角等由硬件决定的性能。通过预存储光线信息的方法优化了光线追迹过程，对于各个可能的重建平面中的体像素的空间位置信息进行预计算和存储，通过查表法进行调用；将固定的体像素空间分布信息和随输入图像改变的的3d图像信息分开处理，目标图像仅需要向下采样后直接投影到预存储位置实现输出，避免固定信息的重复计算，压缩运算量，成倍减少运算复杂度，可使得图像渲染速度达到视频级水平。
[0143]
下面对本技术实施例提供的用于集成成像光场显示的实时渲染装置进行描述，下文描述的用于集成成像光场显示的实时渲染装置与上文描述的用于集成成像光场显示的实时渲染方法可相互对应参照。
[0144]
请参见图4，本技术实施例提供的用于集成成像光场显示的实时渲染装置，可以包括：
[0145]
重建区域获取单元10，用于根据预设的目标重建空间和待渲染的目标图像，确定至少两个目标重建平面以及目标重建平面的重建范围；
[0146]
纹理图获取单元20，用于针对每个目标重建平面，根据显示面板的参数和目标重建平面的重建范围，以及显示面板、微透镜阵列与目标重建平面三者之间的几何关系，获取待渲染的目标图像在目标重建平面的纹理图；
[0147]
第二索引矩阵获取单元30，用于根据各个目标重建平面的纹理图的体像素信息以及预设的第一索引矩阵，获取第二索引矩阵；其中，所述第一索引矩阵包含了各个可能的重建平面在其重建范围内的每一个体像素与显示面板上的二维像素的对应关系；所述第二索引矩阵包含各个目标重建平面的纹理图中的每一个体像素与显示面板上的二维像素的对应关系；
[0148]
单元图像阵列获取单元40，用于根据各个目标重建平面的纹理图的体像素信息以及所述第二索引矩阵，获取显示面板的单元图像阵列。
[0149]
综上所述：
[0150]
本技术实施例通过将包含位置对应信息的第一索引矩阵与包含纹理图体像素对应信息的第二索引矩阵分开计算，对于不超出目标重建空间、且目标重建平面被包含在可能的重建平面之内的目标渲染图像，仅需要调用预先计算好的第一索引矩阵，就可以从中方便地计算出第二索引矩阵，也即，对于所有图片的整个渲染过程，仅需要预先进行一次关于第一索引矩阵的计算，避免了重复的计算，压缩了计算量并节约了单个目标渲染图片的计算时间。
[0151]
对于第二索引矩阵，针对不同内容的目标渲染图像，仅需计算其在各个目标重建平面的纹理图，并依据预先计算好的第一索引矩阵，就能计算出相应的第二索引矩阵，此过程涉及的计算具有较低的计算复杂度。最后根据各个目标重建平面的纹理图的体像素信息以及所述第二索引矩阵，获取显示面板的单元图像阵列。整个计算过程简单、快捷，不需要依赖于强大的硬件算力，压缩了计算量并节约了渲染单个图片的时间，使得图像渲染的速度达到视频级的水平。
[0152]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0153]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。
[0154]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。