基于超透镜的光场相机及其算法的制作方法

1.本技术属于光学技术领域，具体涉及一种基于超透镜的光场相机及其算法。


背景技术：

2.光场，即所有传播方向和所有位置上的光线。光场成像是一种单次三维测量技术,由于其特殊的光学结构,可以在一次成像过程中完成对目标景物多个方向的光线采集，即同时对传播方向和位置信息进行采集。
3.现有的光场相机中，各透镜及传感器平面的平行度难以精确控制。各光学器件存在不平行导致切向误差，自身存在的径向误差以及光学器件自身的误差，导致镜头畸变。传统镜头的光场相机必须考虑畸变对成像的影响并进行修正，导致其算法较为复杂。


技术实现要素：

4.针对现有技术中的上述缺陷，本公开提供了一种光场相机以解决畸变问题，同时提供了适配上述光场相机的重聚焦计算方法。
5.上述基于超透镜的光场相机，包括：主镜头组件、超透镜阵列和成像单元；
6.其中，所述主镜头组件用于获取来自目标的辐射；所述超透镜阵列设置在所述主镜头组件的焦面；所述成像单元设置在所述超透镜阵列的焦面；
7.其中，所述主镜头组件包括多个透镜，其中至少一个为超透镜；所述超透镜阵列包括多个阵列排布的超透镜单元；所述主镜头组件和超透镜阵列以晶圆级封装的形式构成。
8.优选地，所述主镜头组件中的超透镜包括基底，以及阵列排布于所述基底表面的结构单元，所述结构单元由周期性排布的纳米结构组成。
9.优选地，所述超透镜单元设置在同一基底表面的不同区域，以及
10.所述超透镜单元包括阵列排布的结构单元，所述结构单元由周期性排布的纳米结构组成；
11.基于纳米结构的相位分布，各超透镜单元焦距相同。
12.优选地，所述结构单元为正六边形，所述正六边形各顶点和/或中心位置至少设置有一个纳米结构。
13.优选地，所述结构单元为正方形，所述正方形各顶点和/或中心位置至少设置有一个纳米结构。
14.优选地，所述纳米结构包括圆柱、方柱、鳍状柱或椭圆柱中的一种或多种组合。
15.优选地，基于纳米结构的相位分布，所述超透镜和超透镜单元光学性质不同地构成。
16.优选地，所述主镜头组件还包括折射透镜。
17.优选地，所述主镜头组件、超透镜阵列及成像单元以晶圆级封装的形式构成。
18.用于借助以上任一项所述的光场相机进行图像重聚焦的方法，该方法包括如下步骤：
19.输入光场图像和重聚焦参数；
20.对原始光场图像进行插值，得到光场；
21.计算重聚焦平面的像素值；
22.重复计算重聚焦平面的各像素值直至得到完整重聚焦图像。
23.优选地，还包括：
24.基于不同的重聚焦参数，重复获得不同焦深的重聚焦图像，输出不同焦深叠加的清晰图像。
25.优选地，所述计算重聚焦平面的像素值中，基于下式计算重聚焦平面的像素值：
[0026][0027]
其中，α为重聚焦位置控制参数，(u,v)为主光学器件平面坐标，(x,y)为超透镜阵列平面坐标，(x
′
,y
′
)为重聚焦面的像素坐标；主光学器件与超透镜阵列构成的光场表示为l(u,v,x,y)。
[0028]
上述技术方案至少能够实现如下的优点或效果：超透镜阵列可以与超透镜构成的主镜头晶圆级封装，更进一步地可以与成像单元一起采用晶圆级封装，平行度易于控制，避免了切向误差、径向误差以及主镜头的误差导致的镜头畸变，整体尺寸可以更小更轻，当用作手持式时或者微型系统时更有前景。
附图说明
[0029]
图1为本公开中所述的光场相机结构图；
[0030]
图2为本公开中所述的光场相机特定视角下的光路图；
[0031]
图3为多视角的光路示意图；
[0032]
图4示出了基于超透镜的光场相机光线筛选的过程；
[0033]
图5为本公开中所述的光场相机的重聚焦原理图；
[0034]
图6为本公开中基于超透镜的光场相机算法流程图；
[0035]
图7为超透镜阵列中的结构单元示例图；
[0036]
图8为纳米结构示例图。
[0037]
图中标注：
[0038]
1主镜头；2超透镜阵列；3成像单元。
[0039]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的和解释性的，并不能限制本技术。
具体实施方式
[0040]
将在下文中参照附图更全面地描述本公开，在附图中示出了各实施方式。然而，本公开可以以许多不同的方式实施，并且不应被解释为限于本文阐述的实施方式。相反，这些实施方式被提供使得本公开将是详尽的和完整的，并且将向本领域技术人员全面传达本公开的范围。通篇相同的附图标记表示相同的部件。再者，在附图中，为了清楚地说明，部件的厚度、比率和尺寸被放大。
[0041]
本文使用的术语仅用于描述具体实施方式的目的，而非旨在成为限制。除非上下
文清楚地另有所指，否则如本文使用的“一”、“一个”、“该”和“至少之一”并非表示对数量的限制，而是旨在包括单数和复数二者。例如，除非上下文清楚地另有所指，否则“一个部件”的含义与“至少一个部件”相同。“至少之一”不应被解释为限制于数量“一”。“或”意指“和/或”。术语“和/
[0042]
或”包括相关联的列出项中的一个或更多个的任何和全部组合。
[0043]
除非另有限定，否则本文使用的所有术语，包括技术术语和科学术语，具有与本领域技术人员所通常理解的含义相同的含义。如共同使用的词典中限定的术语应被解释为具有与相关的技术上下文中的含义相同的含义，并且除非在说明书中明确限定，否者不在理想化的或者过于正式的意义上将这些术语解释为具有正式的含义。
[0044]“包括”或“包含”的含义指明了性质、数量、步骤、操作、部件、部件或它们的组合，但是并未排除其他的性质、数量、步骤、操作、部件、部件或它们的组合。
[0045]
本文参照作为理想化的实施方式的截面图描述了实施方式。从而，预见到作为例如制造技术和/或公差的结果的、相对于图示的形状变化。因此，本文描述的实施方式不应被解释为限于如本文示出的区域的具体形状，而是应包括因例如制造导致的形状的偏差。例如，被示出或描述为平坦的区域可以典型地具有粗糙和/或非线性特征。而且，所示出的锐角可以被倒圆。因此，图中所示的区域在本质上是示意性的，并且它们的形状并非旨在示出区域的精确形状并且并非旨在限制权利要求的范围
[0046]
现有技术中，由于光场相机的主透镜，微透镜平面及ccd平面的平行度难以精确控制。尤其是，有厚度变化的传统透镜与球面微透镜阵列难以保证较高的对正精度和平行度。导致切向误差及径向误差，形成镜头畸变。基于上述，传统镜头的光场相机必须考虑畸变对成像的修正效果，算法比较复杂。
[0047]
针对现有技术中的缺陷，本公开提出了一种应用了超透镜阵列的光场相机。示例性的，包括主镜头组件，超透镜阵列和成像单元等结构，如图1所示，主镜头组件1用于获取来自目标的光学辐射；所述超透镜阵列2设置在所述主镜头组件1的焦面处；所述成像单元3设置在所述超透镜阵列2的焦面；
[0048]
超透镜阵列2包括多个超透镜单元组成的阵列，所述超透镜单元2包括基底，以及阵列排布于所述基底表面的结构单元，所述结构单元由周期性排布的纳米结构组成。
[0049]
对于上述实施例的补充说明如下：
[0050]
主镜头组件1可以包括单片超透镜，超透镜阵列，多片超透镜组，也可以是超透镜和传统透镜组。超透镜阵列2中每一个超透镜单元与被其覆盖的成像单元构成一个微型相机系统。成像单元可以选择ccd或cmos，并且可以是多个成像单元组成的阵列。超透镜阵列中每个超透镜的焦距f
array
相同，主透镜的焦距f远大于f
array
。
[0051]
对于上述实施例中的光场相机，其内部的光线的方向可以确定。光线通过主镜头组件1后，照在超透镜阵列2上并再次成像。超透镜阵列2和成像单元3相当于清晰记录了通过主镜头组件1的所有光线。后期处理时，对光线重新追迹完成重聚焦过程。简而言之，光场相机相当于直接记录了四维光场，不同焦深的图像是在做不同情况下的二维积分。
[0052]
具体的成像过程如下所示：
[0053]
主透镜平面(u,v)，超透镜阵列平面(x,y)，光场可表示为l(u,v,x,y)，当固定(u,v)时，对所有(x,y)即对超透镜阵列中的所有单元进行积分，就形成了一个某一特定视角的
图像，如图2所示。
[0054]
基于超透镜的光场相机采集的总信息量等于空间信息乘以角度信息。单个特定视角下光场图像的大小等于超透镜阵列中超透镜的个数。超透镜阵列中超透镜的个数越多，对应的成像清晰度越高。重复不同的(u,v)，就形成了多视角的图像，如图3所示。
[0055]
对于上述实施例中，结构单元及纳米结构的补充说明如下：
[0056]
实施例中的超透镜阵列2利用了超表面的技术特性。超表面是一层亚波长的人工纳米结构膜，可根据其上的超表面结构单元来调制入射光。其中超表面结构单元包含全介质或等离子的纳米天线，可直接调控光的相位、幅度和偏振等特性。本例中，纳米结构是全介质结构单元，在目标波段具有高透过率，可选的材料包括：氧化钛、氮化硅、熔融石英、氧化铝、氮化镓、磷化镓、非晶硅、晶体硅和氢化非晶硅等。纳米结构之间可是空气填充或者其他工作波段透明或半透明的材料，需要注意的是，此材料的折射率与纳米结构的折射率差值的绝对值需大于等于0.5。
[0057]
结构单元可以是纳米结构组成的六边形、正方形以及扇形等拓扑结构。
[0058]
纳米结构可为偏振相关的结构，如纳米鳍和纳米椭圆柱等结构，此类结构对入射光施加一个几何相位；纳米结构也可以是偏正无关结构，如纳米圆柱和纳米方柱等结构，此类结构对入射光施加一个传播相位。
[0059]
由于超表面的加工兼容了半导体的加工工艺，相比现有技术中使用的微透镜阵列，超透镜阵列更易于加工，尺寸量级更小，成本更低，而且，能够与同样是在晶圆表面制成的cmos或ccd进行晶圆级的封装，解决传统光场相机中的畸变问题。
[0060]
在优选实施例中，所述结构单元为正六边形，所述正六边形各顶点和中心位置至少设置有一个纳米结构。或者，所述结构单元为正方形，所述正方形各顶点和中心位置至少设置有一个纳米结构。理想状态下，结构单元应为六边形定点及中心排布的纳米结构，或者为正方形定点及中心排布的纳米结构，应当理解，实际产品可能因超透镜形状的限制，在超透镜边缘有纳米结构的缺失，使其不满足完整的六边形/正方形。具体的，如图7所示，所述结构单元由纳米结构按照规律排布而成，若干个结构单元成阵列排布形成超表面结构。
[0061]
如图7左侧中示出的一个实施例，包括一个中枢纳米结构，其周围环绕着6个与其距离相等的周边纳米结构，各周边纳米结构圆周均布，组成正六边形，也可理解为多个纳米结构组成的正三角形互相组合。
[0062]
如图7右侧中示出的一个实施例，为一个中枢纳米结构，其周围环绕着4个与其距离相等的周边纳米结构，组成正方形。
[0063]
在优选实施例中，阵列状的超透镜单元，是通过光刻等工艺，在同一片基底表面刻蚀出阵列状的结构单元，以及构成结构单元的纳米结构以形成的。也就是说，超透镜阵列2包括同一基底，且所述结构单元设置于所述同一基底的不同区域；基于纳米结构的相位分布，所述超透镜阵列中的各超透镜单元焦距相同。可以是超透镜阵列由一片整体晶圆构成，便于与主镜头或成像单元进行晶圆级的封装。
[0064]
在优选实施例中，纳米结构包括圆柱、方柱、鳍状柱或椭圆柱中的一种或多种组合。根据纳米结构在不同波长下所需的相位，在纳米结构数据库中查找相位最接近的纳米结构。
[0065][0066]
查找纳米结构可选用最小化加权误差的优化算法，可用如下的公式表示其原理：
[0067]
式中，δ(x,y)为超表面坐标(x,y)处的总误差，为波长λi下的理论相位，为数据库中第j个结构的在波长λi下的实际相位ci为此波长的权重系数，一般情况下，权重为1。通过在整个数据库的搜索，寻找使得总误差δ最小的结构放置在超表面(x,y)位置。
[0068]
在优选实施例中，所述主镜头为包括透镜和/或超透镜的镜组。应当理解，主镜头可以是单片传统透镜、或者单片超透镜；也可以是多片传统透镜组成的镜组，或者多片超透镜组成的镜组；也可以是传统透镜、超透镜混合组成的镜组。应理解，上述镜组中可以包括滤光片，偏光片等光学系统实际所需的光学器件。
[0069]
在优选实施例中，当主镜头为超透镜时，将其与超透镜阵列进行晶圆级封装，以实现更小的误差，改善现有技术中的畸变问题。
[0070]
在优选实施例中，主镜头、超透镜阵列及成像单元中的至少两个以晶圆级封装的形式构成。包括但不限于：主镜头-超透镜阵列的晶圆级封装，超透镜阵列-成像单元的晶圆级封装，以及主镜头-超透镜阵列-成像单元的晶圆级封装，同现有技术相比，不再需要考虑传统光场相机中主透镜带来的畸变问题，算法难度大幅降低。
[0071]
本公开还涉及一种适配于上述光场相机的计算方法，由于光场相机内部的光线的方向可以确定，因此不同像点的光线可以通过光线的筛选进行重聚焦，来实现像点的清晰成像。即光场相机通过重聚焦的过程对采集到的信息进行计算成像。基于超透镜及其阵列的光场相机进行光线筛选的过程如图4所示。
[0072]
数学上，重聚焦的原理图如图5所示。x为探测器平面上的坐标，l为主透镜到探测器的距离，x’为重聚焦后像平面上的坐标，l’为该平面到主透镜的距离，两者的关系差一个倍数关系，l’＝αl，α为重聚焦位置控制参数，对应不同光轴位置处的重聚焦图像。
[0073]
如图5所示，根据三角形相似关系，
[0074][0075][0076]
采集到l(u,v,x,y)后，光强可以表示为
[0077]
i(x,y)＝∫∫l(u,v,x,y)dudv
ꢀꢀꢀ
eq-3
[0078]
将eq-1和eq-2代入eq-3即可得到光场重聚焦积分关系式为
[0079][0080]
变换α得到不同深度上重聚焦平面的图像。
[0081]
示例性的，如图6，该算法包括如下步骤：
[0082]
s1.输入光场图像和重聚焦参数；
[0083]
s2.对原始光场图像进行插值，得到光场；
[0084]
s3.计算重聚焦平面的像素值；
[0085]
s4.重复执行步骤s3直至得到完整重聚焦图像。
[0086]
在优选实施例中，还包括：
[0087]
s5.基于不同的重聚焦参数，重复执行步骤s4，输出不同焦深叠加的清晰图像。
[0088]
在优选实施例中，所述步骤s3中，基于下式计算重聚焦平面的像素值：
[0089][0090]
其中，α为重聚焦位置控制参数，(u,v)为主光学器件平面坐标，(x,y)为超透镜阵列平面坐标，(x
′
,y
′
)为重聚焦面的像素坐标；主光学器件与超透镜阵列构成的光场表示为l(u,v,x,y)。
[0091]
上述基于超透镜及其阵列的光场相机，超透镜，超透镜阵列及探测元件可以采用晶圆级封装，不再需要考虑传统光场相机中主透镜带来的畸变问题，算法难度大幅降低。基于超透镜及其阵列的光场相机尺寸可以更小更轻，当用作手持式时或者微型系统时更有前景。
[0092]
以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。