基于双层显示结构的裸眼三维显示方法及装置

本发明涉及三维显示，尤其涉及基于双层显示结构的裸眼三维显示方法及装置。

背景技术：

1、现有裸眼三维显示技术主要通过采取不同的光场调制手段，营造裸眼双目视差，从而实现三维观看效果。

2、在具体实现中，一种常用方案是在二维液晶面板前方设置固定狭缝光栅，通过狭缝光栅控制二维液晶面板中各像素光线的通过与遮蔽，将不同像素点发出的光线分别定向投射至双眼位置，使得来自左眼图像像素点的光线进入左眼，来自右眼图像像素点的光线进入右眼，从而使得左眼及右眼分别看到不同的视差图，能够在无须配戴眼镜的情况下即可产生三维视觉。

3、但是采用上述方案，由于狭缝光栅位置是固定的，因此其光路也是固定的，这就要求观看者只能在固定位置观看，才能实现三维显示。如果观看者的位置发生变化，会出现双目方向光线经过狭缝光栅落在同一眼睛的情况，例如，左眼图像像素点及右眼图像像素点的光线均落入左眼或均落入右眼，从而导致视觉串扰，导致三维显示效果较差。

技术实现思路

1、本发明提供一种基于双层显示结构的裸眼三维显示方法及装置，用以解决现有技术中观看位置固定的问题，以提高三维显示效果。

2、本发明提供一种基于双层显示结构的裸眼三维显示方法，包括如下步骤：获取待显示的目标双目图像及人眼位置数据；将所述目标双目图像及人眼位置数据输入到预先训练的深度学习模型中，得到双层显示结构中第一显示面板的可学习图案，以及所述双层显示结构中第二显示面板的目标显示数据，其中，所述第一显示面板位于所述第二显示面板的出光侧；利用所述第二显示面板显示所述目标显示数据，以及利用所述第一显示面板显示所述可学习图案。

3、根据本发明提供的一种基于双层显示结构的裸眼三维显示方法，所述可学习图案为可学习非周期狭缝图像、可学习灰度图或可学习rgb图。

4、根据本发明提供的一种基于双层显示结构的裸眼三维显示方法，将所述目标双目图像及人眼位置数据输入到预先训练的深度学习模型中，得到双层显示结构中第一显示面板的可学习图案，以及所述双层显示结构中第二显示面板的目标显示数据，包括：利用预先训练的深度学习模型对所述目标双目图像及所述人眼位置数据进行编码及特征融合，得到第一特征数据；利用所述深度学习模型对所述第一特征数据进行解码，得到多通道显示数据；按照通道对所述多通道显示数据进行拆分，得到双层显示结构中第一显示面板的可学习图案，以及所述双层显示结构中第二显示面板的目标显示数据。

5、根据本发明提供的一种基于双层显示结构的裸眼三维显示方法，所述利用预先训练的深度学习模型对所述目标双目图像及所述人眼位置数据进行编码及特征融合，得到第一特征数据，包括：利用预先训练的深度学习模型对所述目标双目图像进行编码，得到第二特征数据；利用所述深度学习模型对所述人眼位置数据进行编码及维度扩展与重复，得到第三特征数据；对所述第二特征数据及所述第三特征数据进行融合，得到第一特征数据。

6、根据本发明提供的一种基于双层显示结构的裸眼三维显示方法，所述利用预先训练的深度学习模型对所述目标双目图像进行编码，得到第二特征数据，包括：将所述目标双目图像中的目标左眼图像及目标右眼图像进行拼接，得到拼接图像，其中，所述拼接图像的维度为[1，6，h1，w1]，1为所述拼接图像的图像数量，6为所述拼接图像的通道数，h1为所述拼接图像的高，w1为所述拼接图像的宽；利用预先训练的深度学习模型的编码层对所述拼接图像进行编码，得到第二特征数据，其中，所述第二特征数据的维度为[1，c，h2，w2]，1为所述第二特征数据的图像数量，c为所述第二特征数据的通道数，h2为所述第二特征数据的高，w2为所述第二特征数据的宽。

7、根据本发明提供的一种基于双层显示结构的裸眼三维显示方法，所述利用所述深度学习模型对所述人眼位置数据进行编码及维度扩展与重复，得到第三特征数据，包括：利用所述深度学习模型的轻量级多层感知机将所述人眼位置数据转换为位置编码特征，其中，所述人眼位置数据的维度为[1，3]，1表示所述人眼位置数据的数量，3表示通道数；所述位置编码特征的维度为[1，c]，1表示位置编码特征的数量，c表示通道数；对所述位置编码特征进行维度扩展与重复，得到第三特征数据，其中，所述第三特征数据的维度为[1，c，h2，w2]，1为所述第三特征数据的图像数量，c为所述第三特征数据的通道数，h2为所述第三特征数据的高，w2为所述第三特征数据的宽。

8、根据本发明提供的一种基于双层显示结构的裸眼三维显示方法，所述按照通道对所述多通道显示数据进行拆分，得到双层显示结构中第一显示面板的可学习图案，以及所述双层显示结构中第二显示面板的目标显示数据，包括：将所述多通道显示数据前一半通道对应的数据拆分为第一显示数据，将所述多通道显示数据后一半通道对应的数据拆分为第二显示数据；按照通道将所述第一显示数据拆分为预设数量幅显示数据，得到第一显示面板的可学习图案；按照通道将所述第二显示数据拆分为预设数量幅显示数据，得到第二显示面板的目标显示数据。

9、根据本发明提供的一种基于双层显示结构的裸眼三维显示方法，所述多通道显示数据维度为[1，6×n，h3，w3]，1为所述多通道显示数据的图像数量，6×n为所述多通道显示数据的通道数，h3为所述多通道显示数据的高，w3为所述多通道显示数据的宽，n为所述预设数量；所述第一显示数据及所述第二显示数据的维度均为[1，3×n，h3，w3]；所述第一显示面板的可学习图案的维度为[n，3，h3，w3]，所述第二显示面板的目标显示数据的维度为[n，3，h3，w3]。

10、根据本发明提供的一种基于双层显示结构的裸眼三维显示方法，所述双层显示结构的刷新率的取值范围为120hz—480hz，所述预设数量的取值范围为4—8。

11、根据本发明提供的一种基于双层显示结构的裸眼三维显示方法，所述深度学习模型通过如下方式训练：获取样本双目图像及样本人眼位置；将所述样本双目图像及所述样本人眼位置数据输入到深度学习模型中，得到双层显示结构中第一显示面板的预测可学习图案，以及所述双层显示结构中第二显示面板的预测显示数据；利用所述第二显示面板显示所述预测显示数据，以及利用所述第一显示面板显示所述预测可学习图案，并在所述样本人眼位置数据表示的位置处采集所述双层显示结构显示的实际双目图像；根据所述实际双目图像及所述样本双目图像计算深度学习模型的模型损失；按照所述模型损失对深度学习模型进行参数调整。

12、根据本发明提供的一种基于双层显示结构的裸眼三维显示方法，所述样本双目图像包括样本左眼图像及样本右眼图像，所述实际双目图像包括实际左眼图像及实际右眼图像；将同一训练批次分为左眼损失部分及右眼损失部分，在深度学习模型的左眼损失部分的训练过程中，模型损失为基于预设亮度调节系数、所述实际左眼图像及所述样本左眼图像计算的l2损失；在深度学习模型的右眼损失部分的训练过程中，模型损失为基于预设亮度调节系数、所述实际右眼图像及所述样本右眼图像计算的l2损失。

13、根据本发明提供的一种基于双层显示结构的裸眼三维显示方法，所述可学习图案为可学习非周期狭缝图像，在深度学习模型的训练过程中，所述第一显示面板显示的预测可学习图案被初始化为预设数量幅互补的狭缝图样。

14、本发明还提供一种基于双层显示结构的裸眼三维显示装置，包括如下模块：

15、人眼追踪模块，用于获取观看者的人眼位置数据；

16、控制与处理模块，用于将所述目标双目图像及人眼位置数据输入到预先训练的深度学习模型中，得到双层显示结构中第一显示面板的可学习图案，以及所述双层显示结构中第二显示面板的目标显示数据；

17、所述双层显示结构，用于利用所述第二显示面板显示所述目标显示数据，以及利用所述第一显示面板显示所述可学习图案，其中，所述第一显示面板位于所述第二显示面板的出光侧。

18、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述基于双层显示结构的裸眼三维显示方法。

19、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于双层显示结构的裸眼三维显示方法。

20、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于双层显示结构的裸眼三维显示方法。

21、本发明提供的基于双层显示结构的裸眼三维显示方法及装置，通过将人眼位置数据作为深度学习模型的输入，利用深度学习模型输出针对实际人眼位置的目标显示数据及可学习图案，结合双层显示结构，实现针对实际人眼位置的三维显示，能够解决现有技术中观看位置固定的问题，减少串扰情况，从而提高三维显示效果。