可变深度的二维图像和三维图像的融合显示方法及装置

本发明涉及显示，尤其涉及一种可变深度的二维图像和三维图像的融合显示方法及装置。

背景技术：

1、随着显示技术的快速发展，三维显示能够为观察者提供深度信息，增强观察者的空间感知，正在逐渐成为研究和应用的热点领域。通过三维显示器，观察者可以更快速、准确地完成空间中与深度线索相关的任务。光场显示技术是一类重要的裸眼三维显示技术。该类显示系统通常由高分辨率二维显示面板与微透镜阵列或柱透镜光栅等光学调制元件组合构成，通过控制不同像素向不同方向出射光线，使观察者在不同视角下接收到对应的视差信息，从而形成三维感知。光场显示能够在无需佩戴额外设备的情况下提供双目视差、运动视差等自然深度线索，因而受到广泛关注。然而，现有光场显示技术仍存在限制。由于光场显示需要在同一物理显示面板上同时编码多个视角的信息，显示面板的像素资源需要在空间维度和角度维度之间分配。因此，在相同硬件分辨率条件下，光场三维显示的有效空间分辨率通常低于传统二维显示，难以满足文字、纹理、医学影像、精密结构等高细节内容对清晰度的要求。但单一的二维显示不具备立体感知，无法为用户提供空间信息。

2、因此为兼顾二维显示的高分辨率优势与三维显示的空间感知优势，已有技术提出了二维/三维切换显示或融合显示方案。例如，通过叠加液晶显示层、动态控制光学调制元件、电控微透镜阵列或柱透镜光栅等方式，在不同工作状态下切换二维显示模式与三维显示模式，或者在同一显示系统中同时呈现二维内容和三维内容。此类方法在一定程度上缓解了单一二维显示缺乏深度信息、单一三维显示空间分辨率不足的问题。

3、但是，现有的光场系统在处理二维/三维融合显示时，通常只能在物理屏幕的固定深度处直接输出二维内容，这导致二维图像的感知深度被锁定在物理屏幕表面，难以像三维内容一样根据场景需求在空间中调整显示深度，从而无法满足更多场景下的空间信息与显示清晰度需求。

技术实现思路

1、本发明提供一种可变深度的二维图像和三维图像的融合显示方法及装置，用以解决现有技术中二维图像的感知深度被锁定在物理屏幕表面，难以像三维内容一样根据场景需求在空间中调整显示深度，从而无法满足更多场景下的空间信息与显示清晰度需求的缺陷，实现将二维内容定义在目标显示深度上，并根据显示面板、光学调制元件与观察者视点之间的三维光路映射关系，使二维内容不再直接受限于物理屏幕深度。通过逆向追踪光线得到的底层目标图像，经光学调制元件传播后，可在观察者期望的目标深度位置形成二维感知图像，从而支持更多场景下的空间信息与显示清晰度需求。

2、本发明提供一种可变深度的二维图像和三维图像的融合显示方法，包括如下步骤：

3、基于光场显示系统在目标显示深度下的三维光路映射和逆向追踪光线，确定所述光场显示系统中显示面板上的二维图像至视网膜上的二维图像的投影矩阵，所述三维光路映射用于表征所述显示面板、所述光场显示系统中的光学调制元件和观察者视点位置三者之间的光路关系，所述逆向追踪光线用于表征在观察者视点位置上视网膜发散到所述光场显示系统中的光线；其中，所述目标显示深度为可变深度；

4、基于所述投影矩阵和所述视网膜上的目标二维图像，确定所述显示面板上的目标底层图像；

5、融合所述目标底层图像和所述目标底层图像对应的三维图像，得到目标显示图像。

6、根据本发明提供的一种可变深度的二维图像和三维图像的融合显示方法，所述基于所述投影矩阵和所述视网膜上的目标二维图像，确定所述显示面板上的目标底层图像，包括：基于所述投影矩阵和所述目标二维图像，构建以所述显示面板上的图像为变量的损失函数；对所述损失函数进行优化求解，得到所述目标底层图像。

7、根据本发明提供的一种可变深度的二维图像和三维图像的融合显示方法，所述基于所述投影矩阵和所述目标二维图像，构建以所述显示面板上的图像为变量的损失函数，包括：基于所述投影矩阵、所述目标二维图像和显示面板图像变量，构建重建误差项；基于所述显示面板图像变量和所述目标二维图像，构建附加约束项；基于所述重建误差项和所述附加约束项，构建所述损失函数。

8、根据本发明提供的一种可变深度的二维图像和三维图像的融合显示方法，所述基于所述显示面板图像变量，构建附加约束项，包括：确定所述显示面板图像变量的第一梯度式；确定所述显示面板图像变量映射至所述视网膜的感知图像的第二梯度式；确定所述目标二维图像的第三梯度式；基于所述第一梯度式、所述第二梯度式和所述第三梯度式，构建所述附加约束项。

9、根据本发明提供的一种可变深度的二维图像和三维图像的融合显示方法，所述基于光场显示系统在目标显示深度下的三维光路映射和逆向追踪光线，确定所述光场显示系统中显示面板上的二维图像至视网膜上的二维图像的投影矩阵，包括：将所述逆向追踪光线输入所述三维光路映射对应的逆向三维光路映射进行光线传输；在所述逆向追踪光线经过所述光学调制元件的情况下，基于所述光学调制元件与所述显示面板之间的距离，追踪所述逆向追踪光线；在所述逆向追踪光线与所述显示面板的发光面相交的情况下，将所述逆向追踪光线与所述发光面的交点坐标转换到显示面板坐标系中，得到所述显示面板的像素排列关系；基于所述显示面板的像素排列关系，确定像素索引；基于所述像素索引，确定所述投影矩阵。

10、根据本发明提供的一种可变深度的二维图像和三维图像的融合显示方法，在所述基于光场显示系统在目标显示深度下的三维光路映射和逆向追踪光线，确定所述光场显示系统中显示面板上的二维图像至视网膜上的二维图像的投影矩阵之前，所述方法还包括：以所述观察者视点位置为局部坐标系的原点；基于所述局部坐标系下所述视网膜的采样点经过瞳孔的光线局部方向，确定逆向局部空间射线；基于观察者视点位置的观察方向在世界坐标系中的方向向量，建立所述局部坐标系的三维正交基底；基于所述三维正交基底，将所述局部坐标系的原点和所述逆向局部空间射线转换到所述世界坐标系中，得到所述逆向追踪光线。

11、根据本发明提供的一种可变深度的二维图像和三维图像的融合显示方法，所述方法还包括：将所述目标底层图像和所述目标底层图像对应的所述目标二维图像、所述目标显示深度和所述观察者视点位置作为样本训练集；基于所述样本训练集，对初始底层图像生成模型进行训练，得到底层图像生成模型。

12、根据本发明提供的一种可变深度的二维图像和三维图像的融合显示方法，所述基于所述样本训练集，对初始底层图像生成模型进行训练，得到底层图像生成模型，包括：将所述样本训练集中的所述目标二维图像、所述目标显示深度和所述观察者视点位置输入所述初始底层图像生成模型中的编码器，得到所述目标二维图像对应的第一多尺度特征、所述目标显示深度对应的第二多尺度特征和所述观察者视点位置对应的第三多尺度特征；将所述第一多尺度特征、所述第二多尺度特征和所述第三多尺度特征输入所述初始底层图像生成模型中的解码器，得到所述初始底层图像生成模型生成的初始预测底层图像；将所述初始预测底层图像输入所述初始底层图像生成模型中的输出层，得到目标预测底层图像；基于所述目标预测底层图像和所述目标底层图像，对所述初始底层图像生成模型进行训练，得到底层图像生成模型。

13、根据本发明提供的一种可变深度的二维图像和三维图像的融合显示方法，所述基于所述目标预测底层图像和所述目标底层图像，对所述初始底层图像生成模型进行训练，得到所述底层图像生成模型，包括：基于所述目标预测底层图像和所述目标底层图像，确定监督误差；基于所述目标预测底层图像经所述投影矩阵得到的视网膜观测图像与所述目标二维图像，确定物理一致性误差；基于所述监督误差和所述物理一致性误差，确定所述初始底层图像生成模型的总损失值；基于所述总损失值，对所述初始底层图像生成模型进行训练，得到所述底层图像生成模型。

14、本发明还提供一种可变深度的二维图像和三维图像的融合显示装置，包括如下模块：

15、第一确定模块，用于基于光场显示系统在目标显示深度下的三维光路映射和逆向追踪光线，确定所述光场显示系统中显示面板上的二维图像至视网膜上的二维图像的投影矩阵，所述三维光路映射用于表征所述显示面板、所述光场显示系统中的光学调制元件和观察者视点位置三者之间的光路关系，所述逆向追踪光线用于表征在观察者视点位置上视网膜发散到所述光场显示系统中的光线；其中，所述目标显示深度为可变深度；

16、第二确定模块，用于基于所述投影矩阵和所述视网膜上的目标二维图像，确定所述显示面板上的目标底层图像；

17、融合模块，用于融合所述目标底层图像和所述目标底层图像对应的三维图像，得到目标显示图像。

18、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述可变深度的二维图像和三维图像的融合显示方法。

19、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述可变深度的二维图像和三维图像的融合显示方法。

20、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述可变深度的二维图像和三维图像的融合显示方法。

21、本发明提供的可变深度的二维图像和三维图像的融合显示方法及装置，基于光场显示系统在目标显示深度下的三维光路映射和逆向追踪光线，确定所述光场显示系统中显示面板上的二维图像至视网膜上的二维图像的投影矩阵，所述三维光路映射用于表征所述显示面板、所述光场显示系统中的光学调制元件和观察者视点位置三者之间的光路关系，所述逆向追踪光线用于表征在观察者视点位置上视网膜发散到所述光场显示系统中的光线；其中，所述目标显示深度为可变深度；基于所述投影矩阵和所述视网膜上的目标二维图像，确定所述显示面板上的目标底层图像；融合所述目标底层图像和所述目标底层图像对应的三维图像，得到目标显示图像。如此，将二维内容定义在目标显示深度上，并根据显示面板、光学调制元件与观察者视点之间的三维光路映射关系，使二维内容不再直接受限于物理屏幕深度。通过逆向追踪光线得到的底层目标图像，经光学调制元件传播后，可在观察者期望的目标深度位置形成二维感知图像，从而支持更多场景下的空间信息与显示清晰度需求。