基于液晶D型光学元件的高清光场成像方法与流程

基于液晶d型光学元件的高清光场成像方法
技术领域
1.本发明属于光场成像领域，具体涉及一种基于液晶d型光学元件的高清光场成像方法。


背景技术：

2.研究光场成像系统，从捕获的光线信息中获取更多维信息，对于提升基于光场成像系统的图像信息研究有一定的意义。光场定义为空间中某点沿着一定方向的光辐射量，将光场理论与计算机视觉相结合，形成了全光场理论(plenoptic theory)，全光场理论用七维函数来表示空间中的光线，称之为全光函数(plenoptic function)。由于全光函数所含有的数据过于庞大难以收集，故全光函数简化至四维，并将光场参数化表示，提出了计算成像公式。
3.光场成像系统的限制主要是数据量和分辨率，但是优势是能记录更多信息，实际上，传统相机已经达到许多传统应用分辨率的极限，能记录四维光线信息的成像系统必然是流行趋势。常用的光场相机结构采用在成像探测器和主透镜之间加入微透镜阵列。
4.液晶是一种介于液态与结晶态的一种物质状态，具有液体的流动性的同时，还具有晶体的各向异性，在外加电场或磁场的作用下，液晶分子的指向会随所在电场或磁场发生摆动。它也一种双折射率材料，将液晶材料密封到特定的电场中，不同位置液晶分子的摆动角度的不同会造成折射率的不同，由于不同的电压会形成不同的电场，进而影响到折射率的分布。利用这种性质可以设计出一种新的液晶d型光学元件，并将其运用在光场成像中。
5.基于微透镜阵列的光场成像方法存在低空间带宽积等问题，在农业、军事、医疗等行业应用有待改进。而采用液晶d型光学元件获取高清光场是解决此问题的有效方法。该方法利用液晶的电控双折射效应，通过控制电压的状态来获取不同的光场图像，通过算法进行光场图像的复合，实现高清光场的获取。
6.为了解决光场成像空间带宽积低的问题，各国科研工作者采取了不同的方法，例如采用超分辨算法、深度学习等各种提升算法对光场图像进行提升；同时还有在光场获取的硬件上进行改进，例如采用相机阵列进行图像采集。这些方法虽然可以进行分辨率的提升，但是无论是从软件方面还是硬件方面都会消耗大量的资源。


技术实现要素：

7.本发明的目的在于，提供一种基于液晶d型光学元件的高清光场成像方法，实现高清光场的获取。
8.本发明所采用的技术方案为：一种基于液晶d型光学元件的高清光场成像方法，包括以下步骤：
9.在基于微透镜阵列的光场成像系统中，将液晶d型光学元件置于主透镜与微透镜阵列之间；
10.在液晶d型光学元件施加电压的情况下,获取目标场景的清晰光场图像；
11.在液晶d型光学元件未加电压的情况下,获取成像探测器的模糊光场图像；计算模糊光场图像各个通道的像素均值，取最大的像素均值作为大气光a；
12.确定未加电压时液晶d型光学元件的透射率，并结合模糊光场图像以及大气光a，复原目标场景的原始光场图像；
13.基于清晰光场图像和原始光场图像，合成高清光场图像。
14.优选地，液晶d型光学元件包括聚酰亚胺定向层、向列相液晶和氧化铟锡层；其中，聚酰亚胺定向层负责进行液晶分子的取向，氧化铟锡层用于输入外部电压，进而利用液晶的散射效应，通过输入不同的外部电压使得液晶分子发生不同角度的反转，形成许多不同的折射率。
15.优选地，获取目标场景的清晰光场图像具体为：
16.调整通电电压，获取不同电压下的光场图像，从中筛选清晰的光场图像。
17.优选地，目标场景的原始光场图像复原公式如下：
[0018][0019]
式中，l0(u,v,s,t)表示复原的原始光场图像，l0'(u,v,s,t)表示成像探测器获取的模糊光场图像，t(e
nlcext
)表示液晶d型光学元件的透射率，a表示大气光a。
[0020]
优选地，液晶d型光学元件的透射率t(e
nlcext
)的计算公式为：
[0021]
t(e
nlcext
)＝t
a exp[
‑
α(e
nlcext
)]
[0022]
α(e
nlcext
)＝χσ(e
nlcext
)d
[0023]
式中，t
a
为最大透过率，χ为液晶液滴的密度数，σ为平均散射截面，d为液晶d型光学元件的厚度，e
nlcext
为外加电压。
[0024]
优选地，获取多张清晰光场图像，结合原始光场图像合成高清光场图像。
[0025]
优选地，合成高清光场图像具体为：
[0026]
对清晰光场图像和原始光场图像进行最优值搜索匹配，获取高清光场图像。
[0027]
优选地，以原始光场图像作为模板，对清晰光场图像和模板进行匹配搜索，同时根据最优化原理选取对应区域的最优值并且重新覆盖。
[0028]
优选地，用液晶s型光学元件代替液晶d型光学元件。
[0029]
本发明的有益效果为：
[0030]
本发明主要是基于微透镜阵列的光场成像系统中在主透镜与微透镜阵列之间加入液晶d型光学元件，根据液晶分子指向矢与电压之间的关系，可以获取在不同电压下的光场图像，经过各电压下光场图像数据特征值的提取结合高清光场成像复合算法，实现高清光场的获取。
[0031]
相较于基于微透镜阵列的光场成像，本发明解决了基于微透镜阵列光场低空间带宽积的问题，在光场成像具有更好的应用前景。
附图说明
[0032]
图1是本发明的液晶d型光学元件的示意图。
[0033]
图2是基于液晶d型光学元件的光场成像光路图。
[0034]
图3是液晶d型光学元件通电与未通电时的工作机理示意图。
[0035]
图4是基于液晶d型光学元件的高清光场成像方法流程图。
[0036]
图中：1
‑
聚酰亚胺定向层，2
‑
向列相液晶，3
‑
氧化铟锡，4
‑
物体，5
‑
主透镜，6
‑
d型光学元件，7
‑
微透镜阵列，8
‑
成像探测器，9
‑
入射光，10
‑
衬底，11
‑
出射光。
具体实施方式
[0037]
下面将结合附图对本发明作进一步的说明：
[0038]
本发明提供一种基于液晶d型光学元件的高清光场成像方法，将液晶d型光学元件放置在主透镜镜头之后，微透镜阵列之前，高清光场图像获取包括以下步骤：
[0039]
在液晶d型光学元件未加电压的情况下，获取成像探测器的模糊光场图像数据；计算复原图像的透射率和大气光a；对未通电时模糊的光场图像数据进行处理，复原目标场景的原始光场数据。
[0040]
对液晶d型元件进行通电，获取较为清晰的光场图像；对获取的两幅光场图像进行直方图统计，对两幅图像进行最优值搜索匹配最终获取高清光场图像。
[0041]
本发明的基于液晶d型光学元件的高清光场成像方法主要是涉及液晶d型光学元件的光学快门特性。如图1所示，液晶d型光学元件包括pi
‑
layer聚酰亚胺定向层1、nlc向列相液晶2和ito氧化铟锡层3；其中，聚酰亚胺定向层1负责进行液晶分子的取向，氧化铟锡层3用于输入外部电压，进而利用液晶的散射效应，通过输入不同的外部电压使得液晶分子发生不同角度的反转，形成许多不同的折射率。液晶d型光学元件应放置在主镜头之后，微透镜阵列之前，其距离不限于固定的一倍焦距，可随光学元件的情况具体设置；微透镜阵列应放置在距离成像探测器一倍焦距处。
[0042]
基于液晶d型光学元件的高清光场成像方法揭示了利用液晶特性的光学元件在光场成像中的使用。如图2所示，光场成像光路图依次为物体4、main len主透镜5、lc
‑
d
‑
type液晶d型光学元件6、mla微透镜阵列7、cmos sensor成像探测器8。基于液晶d型光学元件获得的光场图像公式可表示为：
[0043]
i(x,y)＝∫∫l0(u,v,s,t)dudv
[0044]
其中，i(x,y)表示成像探测器获取的图像，l0(u,v,s,t)表示成像探测器的入射光。(u,v)、(s,t)表示光线经过双平面下的坐标点。
[0045]
基于液晶d型光学元件的高清光场成像方法包含的主要内容有液晶d型元件电压启/断状态下光场图像的获取、未通电情况下的原始光场数据的复原、高清光场的复合显示。
[0046]
1、液晶d型元件电压启/断状态下光场图像的获取
[0047]
液晶d型元件的光学特性在于液晶分子在电压关断状态下，如图3b所示，此时液晶液滴内指向矢的排列方向是随机取向，即光的有效折射率neff与聚合物网络np不同。因此，入射光将会沿着向前方向散射或直接被反射。而在电压开启状态下，向列相液晶分子将会沿电场方向重新排列，此时，向列相液晶no的寻常光折射率恰好此时与液晶分子层聚合物网络折射率一致，即np与no非常接近。因此，光通过液晶d型光学元件时将具有高透射率和较少散射现象。在这种情况下可以通过实现电压的启/断状态的转变获取两种情况下的光场数据。
[0048]
2、未通电情况下的原始光场数据的复原
[0049]
在没有外加电压作用的情况下，液晶d型元件中单个液滴中的向列相液晶倾向于平行于同一个方向进行排列。然而，每个液晶滴都有自己的方向。因此，在这些界面上会形成许多不同的折射率、并出现折射率不匹配的现象。所呈现界面可以有效地散射入射光9。出射光11进入成像探测器8，在这种情况下，所成像是模糊的。在外加电压作用下，液晶分子开始进行旋转，然后垂直于顶部和底部ito玻璃衬底10的表面。垂直入射光恰好与液晶折射率相同，此时这些界面恰似全部消失，光可以顺利通过液晶d型光学元件，出射光11进入成像探测器8，这时候成像变得清晰。由此可见，液晶d型光学元件的透射率可以通过外加电压来控制。液晶d型光学元件的透射率公式为：
[0050]
t(e
nlcext
)＝t
a
exp[
‑
α(e
nlcext
)]
[0051]
式中，α(e
nlcext
)＝χσ(e
nlcext
)d，t
a
为最大透过率，χ为液晶液滴的密度数，σ为平均散射截面，d为液晶d型光学元件的厚度，e
nlcext
为外加电压，σ(e
nlcext
)为不同的外加电压下的散射截面。
[0052]
3、高清光场的复合显示
[0053]
根据液晶散射效应理论以及液晶光学元件的电控特性。在对液晶d型光学元件不加入电压的情况下，其液晶分子方向分布无序，散射效应最大此时呈现的是模糊的状态，由此获取的图像也具有模糊的状态。可知此刻进入成像探测器的光场的光强度为直接衰减项与后向散射光的非相干性叠加。最终成像探测器获取的图像公式为：
[0054]
l0'(u,v,s,t)＝t(e
nlcext
)
·
l0(u,v,s,t) a
·
[1
‑
(e
nlcext
)]
[0055]
由上式恢复原始目标场景的光场强度：
[0056][0057]
l0(u,v,s,t)是表示复原的光场图像；l0'(u,v,s,t)表示此时探测器获取的图像。
[0058]
其中，筛选图像r,g,b三通道的最大均值作为该环境的大气光a：
[0059]
a＝max(mean(r)、mean(g)、mean(b))
[0060]
同样，也可以采用其他的颜色通道，例如cmky等。
[0061]
根据图4流程对液晶d型光学元件的有无外加电压的两种情况下，对获取的光场数据进行搜索匹配最优像素值，同时在复原的光场数据为模板进行最优像素点的插入，进行高清光场图像合成。
[0062]
高清光场的复合显示实现如下：
[0063]
step1、复原的原始光场图像作为需要进行处理的原始模板；
[0064]
step2、对液晶d型光学元件通电压情况下获取的不同电压的光场图像进行采集，同时进行光场数据的筛选；
[0065]
step3、对不同电压下获取的光场数据与原始模板进行匹配搜索，同时根据最优化原理选取对应区域的最优值并且重新覆盖；对重新复合成的光场图像运用图像处理技术获取高清光场图像。
[0066]
图4给出了基于液晶d型光学元件获取高清光场图像的算法流程图，具体包含以下步骤：
[0067]
在液晶d型光学元件未加电压的情况下,获取成像探测器的光场图像数据。由于液
晶分子的指向矢随机分布，此时获取的光场图像是模糊的。
[0068]
计算透射率。当通入不同电压时，其液晶d型元件的透射率会发生改变。在进行高清光场获取时先求出此刻的透射率。
[0069]
计算大气光a。将未加电压的光场图像划分到r,g,b三个通道中，同时将三个通道的像素值进行统计均值，最后利用最大值算法将三个通道中的最大的值作为大气光a。
[0070]
对未通电时模糊的光场图像数据进行处理，复原目标场景的原始光场数据。
[0071]
对液晶d型元件进行通电，当通入电压时，液晶分子方向发生偏转其透射率增强。获取的光场图像是清晰的。
[0072]
对获取的两幅光场图像进行直方图统计，对两幅图像进行最优值搜索匹配最终获取高清光场图像。
[0073]
此外，需要额外说明的是，在液晶d型光学元件的设计中，其设计结构不限于d型，也可是s型等其不规则图形。
[0074]
本领域的技术人员容易理解，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。