立体三维光场的显示方法、装置、电子设备及介质与流程

1.本技术中涉及图像处理技术，尤其是一种立体三维光场的显示方法、装置、电子设备及介质。


背景技术：

2.近年来，三维(3d)显示技术蓬勃发展，而桌面式三维显示技术因其能为设备周围的多个观察者同时提供具有正确深度信息的立体三维场景而引起了人们的广泛关注。
3.进一步的，现有的三维显示系统由于图像采集、传输和显示过程较为复杂，要想重建出大型真彩的三维图像仍很困难。可以理解的，由于部分显示方式导致的图像存在的透明度会导致难以构建正确的空间遮挡关系，同时，部分现有的三维显示系统只能显示有限种颜色和灰度。这也导致显示效果不强。
4.因此，如何设计一种可以实现全彩色具有真三维效果的自由立体显示方法，成为了需要解决的问题。然而，使用基于集成成像技术的光场显示可以有效地解决上述问题。


技术实现要素：

5.本技术实施例提供一种立体三维光场的显示方法、装置、电子设备及介质，其中，根据本技术实施例的一个方面，提供的一种立体三维光场的显示方法，其特征在于，包括：
6.获取初始合成图像；
7.将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中所述预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络；
8.将所述目标合成图像加载到定向扩散膜上，生成立体三维场景。
9.可选地，在基于本技术上述方法的另一个实施例中，在所述获取初始合成图像之前，还包括：
10.获取多个样本基元图像；
11.将所述样本基元图像输入至初始卷积神经网络模型，得到经过预处理的样本基元图像；
12.将所述经过预处理的样本基元图像与点扩散函数阵列进行卷积运算，得到显示基元图像；
13.计算所述显示基元图像与所述样本基元图像的结构相似性指标，并将所述结构相似性指标作为卷积神经网络的损失函数；
14.利用所述损失函数与所述初始卷积神经网络模型，训练得到所述预校正卷积神经网络。
15.可选地，在基于本技术上述方法的另一个实施例中，其中所述预校正卷积神经网络的学习率为3e^-4；以及，
16.所述样本基元图像由裁取框在16k分辨率的原始图像上随机裁取得到，其中所述
原始图像为128*128像素的图像。
17.可选地，在基于本技术上述方法的另一个实施例中，在所述获取初始合成图像之前，还包括：
18.利用虚拟相机阵列对三维场景的拍摄操作，采集得到所述三维场景对应的场景信息；
19.将所述场景信息合成得到所述初始合成图像。
20.可选地，在基于本技术上述方法的另一个实施例中，所述将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，包括：
21.将所述初始合成图像输入至所述预校正卷积神经网络的编码器中，得到图像编码特征，其中所述编码器包含有5个卷积层；
22.将所述图像编码特征输入至所述预校正卷积神经网络的解码器中，得到所述经过像差预校正后的目标合成图像，其中所述解码器包含有5个反卷积层。
23.可选地，在基于本技术上述方法的另一个实施例中，所述将所述目标合成图像加载到定向扩散膜上，生成立体三维场景，包括：
24.在光路上依次设置液晶显示面板、微透镜阵列以及所述定向扩散膜；
25.将所述液晶显示面板用于作为信息输入端，将所述目标合成图像的光场光线向所述微透镜阵列投射；
26.所述微透镜阵列用于对经过的光场光线进行折射调整后，投射至所述定向扩散膜上，得到所述立体三维场景。
27.可选地，在基于本技术上述方法的另一个实施例中，所述微透镜阵列以53*30的矩阵式进行排列；以及，
28.所述微透镜阵列中相邻透镜的中心间距为13毫米。
29.其中，根据本技术实施例的又一个方面，提供的一种立体三维光场的显示装置，其特征在于，包括：
30.获取模块，被配置为获取初始合成图像；
31.预校正模块，被配置为将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中所述预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络；
32.生成模块，被配置为将所述目标合成图像加载到定向扩散膜上，生成立体三维场景。
33.根据本技术实施例的又一个方面，提供的一种电子设备，包括：
34.存储器，用于存储可执行指令；以及
35.显示器，用于与所述存储器显示以执行所述可执行指令从而完成上述任一所述立体三维光场的显示方法的操作。
36.根据本技术实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述立体三维光场的显示方法的操作。
37.本技术中，可以获取初始合成图像；将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中所述预校正卷积神经网络为采用五
层卷积与反卷积结构而生成的卷积神经网络；将所述目标合成图像加载到定向扩散膜上，生成立体三维场景。通过应用本技术的技术方案，可以通过预先训练得到的预校正卷积神经网络训练模型以实现对合成图像的学习，从而达到对其进行预校正像差的目的，从而可以实现在不增加系统复杂度的前提下适用于抑制不同程度的透镜像差对光场显示设备显示质量的影响的目的。
38.下面通过附图和实施例，对本技术的技术方案做进一步的详细描述。
附图说明
39.构成说明书的一部分的附图描述了本技术的实施例，并且连同描述一起用于解释本技术的原理。
40.参照附图，根据下面的详细描述，可以更加清楚地理解本技术，其中：
41.图1为本技术提出的一种立体三维光场的显示方法示意图；
42.图2-图5为本技术提出的一种立体三维光场的系统架构示意图；
43.图6为本技术提出的立体三维光场的显示电子装置的结构示意图；
44.图7为本技术提出的立体三维光场的显示电子设备的结构示意图。
具体实施方式
45.现在将参照附图来详细描述本技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本技术的范围。
46.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
47.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本技术及其应用或使用的任何限制。
48.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
49.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
50.另外，本技术各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本技术要求的保护范围之内。
51.需要说明的是，本技术实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
52.下面结合图1-图5来描述根据本技术示例性实施方式的用于进行立体三维光场的显示方法。需要注意的是，下述应用场景仅是为了便于理解本技术的精神和原理而示出，本技术的实施方式在此方面不受任何限制。相反，本技术的实施方式可以应用于适用的任何场景。
53.本技术还提出一种立体三维光场的显示方法、装置、电子设备及介质。
54.图1示意性地示出了根据本技术实施方式的一种立体三维光场的显示方法的流程示意图。如图1所示，该方法包括：
55.s101,获取初始合成图像。
56.近年来，三维(3d)显示技术蓬勃发展，而桌面式三维显示技术因其能为设备周围的多个观察者同时提供具有正确深度信息的立体三维场景而引起了人们的广泛关注。
57.其中，现有的桌面三维显示系统可以分为三种基本类型：全息显示、体显示和光场显示。全息显示技术通过再现振幅和相位信息的方式重建空间中的三维物体，但由于图像采集、传输和显示过程较为复杂，要想重建出大型真彩的三维图像仍很困难。体显示技术多采用高速旋转屏幕和投影仪来生成有一定透明度的体填充三维图像。
58.然而，图像存在的透明度会导致难以构建正确的空间遮挡关系，同时，该系统只能显示有限种颜色和灰度。因此，能够复现三维场景中真实光线分布情况的光场显示技术中被认为是实现桌面三维显示最具前景的方法，使用该技术可以轻松实现全彩色具有真三维效果的自由立体显示。
59.需要说明的是，在光场三维显示技术中，通常存在基于微透镜阵列与定向扩散膜的集成成像技术，该技术使用圆透镜作为控光器件，将透镜一侧的入射光线按照透镜的光学特性在透镜另一侧重新排布，如图2a所示，为其系统构成示意图。液晶显示面板(lcd)用于显示基元图像阵列，lcd上显示的图像通过每个透镜及其对应的像素构成一个显示单元结构被投射到定向扩散膜上。然而，透镜的像差(像差为在实际光学系统中，由于制作过程非理想等原因，造成实际光学系统所成的像与近轴区所成的像的差异)会导致图像质量和观看视角的下降，且弥散斑(弥散斑为由于圆透镜存在像差，点光源经过光学系统后所成的衍射像的光强分布)的尺寸随着视角的增大而变大，图2b为弥散斑产生的示意图。
60.在相关技术中，可以使用优化光学结构的方法或增加逆滤波器来抑制像差为光场显示系统带来的不利影响。但是使用光学优化的方法因为需要增加设备中的光学结构，所以提升显示系统的结构复杂度和制造难度；使用逆滤波器优化的方法虽然不会引入新的硬件，但该类方法仅适用于像差较轻微的情况，当像差较严重时，使用逆滤波抑制像差的同时会产生严重的振铃效应，会大大降低图像质量。
61.针对上述问题，本技术采用一种通过卷积神经网络训练模型并完成合成图像的学习来预先校正圆透镜像差的方法。其中首先需要获取利用虚拟相机等对三维场景进行拍摄而采集到的信息，并由该采集信息得到初始的合成图像。
62.s102,将初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络。
63.进一步的，本技术可以利用预设的卷积神经网络对该合成图像进行预校正透镜像差的处理，以使在不增加系统硬件设备数量的同时也能在应对不同程度的像差时都有较好的表现。
64.具体的，为了尽可能地减小透镜像差对光场显示质量的影响，本技术需要利用采用五层卷积与反卷积结构而生成的卷积神经网络对初始合成图像进行重新编码，由此得到经过像差预校正后的目标合成图像。
65.具体而言，如图3所示，本技术可以将多个样本基元图像输入至初始的卷积神经网
络得到学习后的经预处理的合成图像。进一步的，为了与透镜成像的真实过程进行对应，本技术还可以利用模拟透镜成像过程中引入像差的过程原理，以将网络输出的经预处理的合成图像与点扩散函数阵列做卷积运算得到显示基元图像，并将显示基元图像(卷积运算结果)与原始基元图像对比，计算两幅图像的结构相似性指标(ssim)，并将该指标作为网络的损失(loss)函数传回到卷积神经网络中计算梯度进行反向传播。最终得到训练完成的预校正卷积神经网络模型。
66.还需要说明的是，本技术中的预校正卷积神经网络由编码器和解码器两部分组成。其中，编码器中包含五个卷积层，在图像经过每个卷积层时，特征的尺寸减小至原特征尺寸的0.5倍，特征的数量增加至原特征数量的2倍。
67.另外，预校正卷积神经网络结构中的解码器中包含五个反卷积层，使用反卷积操作来逐层增加特征的分辨率，最终得到学习后的目标合成图像。需要说明的是，本技术中在预校正卷积神经网的编码器与解码器之间，采用了跳跃连接的技术来提高网络的收敛性能。例如当网络训练次数迭代到50000次时，网络基本可以进入收敛状态。其中，图4为网络的训练次数同收敛性的变化曲线。图5所示的卷积神经网络结构。
68.s103,将目标合成图像加载到定向扩散膜上，生成立体三维场景。
69.可以理解的，本技术可以在获得多个初始合成图像后，将多个初始合成图像分别输入至预校正卷积神经网络中，得到对应的经过像差预校正后的多个目标合成图像，从而形成目标合成图像阵列，以使后续将该目标合成图像阵列经过透镜阵列投射到定向扩散膜上，以得到最终的立体三维场景。
70.需要注意的是，本技术中的透镜阵列的透镜单元是以53*30的矩阵式进行排列，且每个相邻透镜的中心间距为13毫米。
71.本技术中，可以获取初始合成图像；将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中所述预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络；将所述目标合成图像加载到定向扩散膜上，生成立体三维场景。通过应用本技术的技术方案，可以通过预先训练得到的预校正卷积神经网络训练模型以实现对合成图像的学习，从而达到对其进行预校正像差的目的，从而可以实现在不增加系统复杂度的前提下适用于抑制不同程度的透镜像差对光场显示设备显示质量的影响的目的。
72.可选的，在本技术一种可能的实施方式中，在所述获取初始合成图像之前，还包括：
73.获取多个样本基元图像；
74.将所述样本基元图像输入至初始卷积神经网络模型，得到经过预处理的样本基元图像；
75.将所述经过预处理的样本基元图像与点扩散函数阵列进行卷积运算，得到显示基元图像；
76.计算所述显示基元图像与所述样本基元图像的结构相似性指标，并将所述结构相似性指标作为卷积神经网络的损失函数；
77.利用所述损失函数与所述初始卷积神经网络模型，训练得到所述预校正卷积神经网络。
78.可选的，在本技术一种可能的实施方式中，其中所述预校正卷积神经网络的学习率为3e^-4；以及，
79.所述样本基元图像由裁取框在16k分辨率的原始图像上随机裁取得到，其中所述原始图像为128*128像素的图像。
80.可选的，在本技术一种可能的实施方式中，在所述获取初始合成图像之前，还包括：
81.利用虚拟相机阵列对三维场景的拍摄操作，采集得到所述三维场景对应的场景信息；
82.将所述场景信息合成得到所述初始合成图像。
83.可选的，在本技术一种可能的实施方式中，所述将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，包括：
84.将所述初始合成图像输入至所述预校正卷积神经网络的编码器中，得到图像编码特征，其中所述编码器包含有5个卷积层；
85.将所述图像编码特征输入至所述预校正卷积神经网络的解码器中，得到所述经过像差预校正后的目标合成图像，其中所述解码器包含有5个反卷积层。
86.可选的，在本技术一种可能的实施方式中，所述将所述目标合成图像加载到定向扩散膜上，生成立体三维场景，包括：
87.在光路上依次设置液晶显示面板、微透镜阵列以及所述定向扩散膜；
88.将所述液晶显示面板用于作为信息输入端，将所述目标合成图像的光场光线向所述微透镜阵列投射；
89.所述微透镜阵列用于对经过的光场光线进行折射调整后，投射至所述定向扩散膜上，得到所述立体三维场景。
90.可选的，在本技术一种可能的实施方式中，所述微透镜阵列以53*30的矩阵式进行排列；以及，
91.所述微透镜阵列中相邻透镜的中心间距为13毫米。
92.需要说明的是，本技术中的样本基元图像可以为128*128(单位：像素)的裁取框在16k的高分辨率原始图像上随机裁取的多个图像。另外，本技术中预校正卷积神经网络的学习率为3e^-4。且在预校正卷积神经网络的学习率每在训练次数到达5000次时，降为原学习率的0.99倍。
93.可选的，在本技术的另外一种实施方式中，如图6所示，本技术还提供一种立体三维光场的显示装置。其中包括：
94.获取模块201，被配置为获取模块，被配置为获取初始合成图像；
95.预校正模块202，被配置为将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中所述预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络；
96.生成模块203，被配置为将所述目标合成图像加载到定向扩散膜上，生成立体三维场景。
97.本技术中，可以获取初始合成图像；将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中所述预校正卷积神经网络为采用五
层卷积与反卷积结构而生成的卷积神经网络；将所述目标合成图像加载到定向扩散膜上，生成立体三维场景。通过应用本技术的技术方案，可以通过预先训练得到的预校正卷积神经网络训练模型以实现对合成图像的学习，从而达到对其进行预校正像差的目的，从而可以实现在不增加系统复杂度的前提下适用于抑制不同程度的透镜像差对光场显示设备显示质量的影响的目的。
98.在本技术的另外一种实施方式中，获取模块201，还包括：
99.获取模块201，被配置为获取多个样本基元图像；
100.预校正模块202，被配置为将所述样本基元图像输入至初始卷积神经网络模型，得到经过预处理的样本基元图像；
101.预校正模块202，被配置为将所述经过预处理的样本基元图像与点扩散函数阵列进行卷积运算，得到显示基元图像；
102.预校正模块202，被配置为计算所述显示基元图像与所述样本基元图像的结构相似性指标，并将所述结构相似性指标作为卷积神经网络的损失函数；
103.预校正模块202，被配置为利用所述损失函数与所述初始卷积神经网络模型，训练得到所述预校正卷积神经网络。
104.在本技术的另外一种实施方式中，还包括：其中所述预校正卷积神经网络的学习率为3e^-4；以及，
105.所述样本基元图像由裁取框在16k分辨率的原始图像上随机裁取得到，其中所述原始图像为128*128像素的图像。
106.在本技术的另外一种实施方式中，获取模块201，还包括：
107.获取模块201，被配置为利用虚拟相机对三维场景的拍摄操作，采集得到所述三维场景对应的场景信息；
108.获取模块201，被配置为将所述场景信息合成得到所述初始合成图像。
109.在本技术的另外一种实施方式中，获取模块201，还包括：
110.预校正模块202，被配置为将所述初始合成图像输入至所述预校正卷积神经网络的编码器中，得到图像编码特征，其中所述编码器包含有5个卷积层；
111.预校正模块202，被配置为将所述图像编码特征输入至所述预校正卷积神经网络的解码器中，得到所述经过像差预校正后的目标合成图像，其中所述解码器包含有5个反卷积层。
112.在本技术的另外一种实施方式中，获取模块201，还包括：
113.生成模块203，被配置为在光路上依次设置液晶显示面板、微透镜阵列以及所述定向扩散膜；
114.生成模块203，被配置为将所述液晶显示面板用于作为信息输入端，将所述目标合成图像的光场光线向所述微透镜阵列投射；
115.生成模块203，被配置为所述微透镜阵列用于对经过的光场光线进行折射调整后，投射至所述定向扩散膜上，得到所述立体三维场景。
116.在本技术的另外一种实施方式中，还包括：所述微透镜阵列以53*30的矩阵式进行排列；以及，
117.所述微透镜阵列中相邻透镜的中心间距为13毫米。
118.图7是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如，电子设备300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
119.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备处理器执行以完成上述立体三维光场的显示方法，该方法包括：获取初始合成图像；将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中所述预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络；将所述目标合成图像加载到定向扩散膜上，生成立体三维场景。可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
120.在示例性实施例中，还提供了一种应用程序/计算机程序产品，包括一条或多条指令，该一条或多条指令可以由电子设备的处理器执行，以完成上述立体三维光场的显示方法，该方法包括：获取初始合成图像；将所述初始合成图像输入至预校正卷积神经网络中，得到经过像差预校正后的目标合成图像，其中所述预校正卷积神经网络为采用五层卷积与反卷积结构而生成的卷积神经网络；将所述目标合成图像加载到定向扩散膜上，生成立体三维场景。可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。
121.图7为计算机设备30的示例图。本领域技术人员可以理解，示意图7仅仅是计算机设备30的示例，并不构成对计算机设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备30还可以包括输入输出设备、网络接入设备、总线等。
122.所称处理器302可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器302也可以是任何常规的处理器等，处理器302是计算机设备30的控制中心，利用各种接口和线路连接整个计算机设备30的各个部分。
123.存储器301可用于存储计算机可读指令303，处理器302通过运行或执行存储在存储器301内的计算机可读指令或模块，以及调用存储在存储器301内的数据，实现计算机设备30的各种功能。存储器301可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备30的使用所创建的数据等。此外，存储器301可以包括硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)或其他非易失性/易失性存储器件。
124.计算机设备30集成的模块如果以软件功能模块的形式实现并作为独立的产品销
售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
125.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。
126.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。