成像装置和电子终端的制作方法

成像装置和电子终端
1.本技术基于并要求于2020年10月22日在韩国知识产权局提交的第10-2020-0137748号韩国专利申请的优先权，该韩国专利申请的公开通过引用整体包含于此。
技术领域
2.与示例实施例一致的方法和设备涉及一种成像装置。


背景技术：

3.随着光学技术和图像处理技术的最新发展，成像装置广泛用于各种领域(诸如，多媒体内容、安全和识别)。例如，成像装置可以设置在移动装置、相机、车辆和计算机上，以捕获图像、识别对象或获取用于控制装置的数据。成像装置的尺寸可以基于透镜的尺寸、透镜的焦距和传感器的尺寸来确定。然而，当透镜的尺寸减小时，透镜的焦距也可能减小。为了减小成像装置的尺寸，可以使用包括小透镜的多透镜。


技术实现要素：

4.一个或多个示例实施例可以至少解决以上问题和/或缺点以及以上未描述的其他缺点。此外，示例实施例不需要克服上述缺点，并且示例实施例可以不克服上述任何问题。
5.根据示例实施例，提供了一种成像装置，该成像装置包括：多个成像透镜阵列，包括多个成像光学透镜；以及感测阵列，包括被配置为感测穿过所述多个成像透镜阵列的光的多个感测元件，其中，所述多个成像透镜阵列之中的至少一个成像透镜阵列包括具有可变焦距的有源成像透镜。
6.有源成像透镜的焦距通过改变有源成像透镜的厚度或矢状值中的至少一个而是可调节的。
7.有源成像透镜包括有源湿透镜，有源湿透镜包括多个电极之间的空间中的极性液体和非极性液体，并且有源湿透镜的矢状值或厚度中的至少一个基于施加到所述多个电极的电压而是可改变的。
8.所述多个成像透镜阵列的有效焦距基于选择的目标放大率而是可调节的。
9.所述多个成像透镜阵列的有效焦距基于包括在所述多个成像透镜阵列中的成像光学透镜的焦距和所述多个成像透镜阵列之间的距离来确定。
10.有源成像透镜的焦距基于与选择的目标放大率对应的有效焦距而是可调节的。
11.成像还可以包括：存储器，被配置为存储与针对所述多个成像透镜阵列中的每个成像透镜阵列的多个先前定义的放大率对应的焦距相关信息，其中，有源成像透镜的焦距基于存储的焦距相关信息而是可调节地。
12.所述多个成像透镜阵列之中的包括有源成像透镜的成像透镜阵列的所有透镜能够变形为具有相同的焦距。
13.在所述多个成像透镜阵列之中，第一成像透镜阵列包括正透镜，并且第二成像透镜阵列包括负透镜。
14.包括在第一成像透镜阵列中的所有成像透镜是正透镜，并且包括在第二成像透镜阵列中的所有成像透镜是负透镜。
15.所述多个成像透镜阵列的阵列的数量为三个或更多个。
16.所述多个成像透镜阵列之中的另一成像透镜阵列包括具有固定焦距的无源成像透镜。
17.所述多个成像透镜阵列之间在光轴上的距离固定。
18.感测阵列与所述多个成像透镜阵列之中的最邻近感测阵列的成像透镜阵列之间在光轴上的距离固定。
19.成像还可以包括：处理器，被配置为基于由感测阵列中的感测穿过所述多个成像光学透镜中的每个成像光学透镜的光的感测元件感测到的感测信息，获取与所述多个成像光学透镜单独对应的第一分辨率的图像，并且重建比第一分辨率高的第二分辨率的图像。
20.所述多个成像光学透镜中的每个成像光学透镜被配置为将光聚焦到非整数感测元件。
21.当所述多个成像透镜阵列的视场超过超广阈值角度时，由所述多个成像透镜阵列形成的主平面位于感测阵列与所述多个成像透镜阵列之中的最邻近感测阵列的成像透镜阵列之间。
22.其中，组合所述多个成像透镜阵列的光学系统提供0.5倍与110倍之间且包括0.5倍与110倍的可变变焦放大率范围。
23.包括有源成像透镜的成像透镜阵列的所有成像透镜是有源成像透镜。
24.根据另一示例实施例，提供了一种电子终端，所述电子终端包括：多个成像透镜阵列，设置在电子终端的壳体中并且包括多个成像光学透镜；感测阵列，包括被配置为感测穿过所述多个成像透镜阵列的光的多个感测元件；以及处理器，被配置为基于感测到的光来生成与目标放大率对应的图像，其中，所述多个成像透镜阵列之中的至少一个成像透镜阵列包括具有可变焦距的有源成像透镜。
25.根据另一示例实施例，提供了一种成像装置，所述成像装置包括：至少一个第一成像透镜阵列，均包括多个成像光学透镜，每个成像光学透镜具有可调节的焦距；至少一个第二成像透镜阵列，均包括多个成像光学透镜，每个成像光学透镜具有不可调节的焦距；以及感测阵列，包括多个感测元件，所述多个感测元件被配置为感测穿过所述多个成像透镜阵列的光。
26.根据另一示例实施例，提供了一种成像装置，所述成像装置包括：存储器，存储一个或多个指令；以及处理器，执行所述一个或多个指令以：输出控制信号以通过改变成像装置中的多个有源成像透镜中的每个有源成像透镜的厚度或矢状值中的至少一个来调节所述多个有源成像透镜中的每个有源成像透镜焦距；基于所述多个有源成像透镜的调节后的焦距来获取第一分辨率的多个图像；以及生成比第一分辨率高的第二分辨率的图像。
27.根据另一示例实施例，提供了一种图像捕获方法，所述图像捕获方法包括：通过改变成像装置中的多个有源成像透镜中的每个有源成像透镜的厚度或矢状值中的至少一个来调节所述多个有源成像透镜中的每个有源成像透镜焦距；基于所述多个有源成像透镜的调节后的焦距来获取第一分辨率的多个图像；以及生成比第一分辨率高的第二分辨率的图像。
附图说明
28.通过参照附图描述特定的示例实施例，以上和/或其他方面将更加明显，在附图中：
29.图1a和图1b示出了根据示例实施例的成像装置的构造；
30.图2是示出根据示例实施例的通过透镜元件接收光线的感测元件的示图；
31.图3是示出根据示例实施例的感测元件的数量与透镜元件的数量之间的关系的示图；
32.图4示出了根据示例实施例的具有多个层的成像装置的构造；
33.图5a示出了根据示例实施例的成像装置的有效焦距，并且图5b示出了有效焦距与变焦放大倍率之间的关系；
34.图6至图8示出了根据示例实施例的基于有源成像透镜的驱动的有效焦距的调节；
35.图9a至图9d示出了根据示例实施例的成像透镜的示例；
36.图10a和图10b示出了根据示例实施例的有源成像透镜阵列的示例结构；
37.图11a和图11b示出了根据示例实施例的有源成像透镜阵列的布线结构；
38.图12示出了根据示例实施例的穿过成像装置的多个层的光线的光线追踪；
39.图13是示出根据示例实施例的成像装置的配置的框图；
40.图14是示出根据示例实施例的电子终端的配置的框图；以及
41.图15和图16是示出根据示例实施例的实现图像传感器的装置的示例的示图。
具体实施方式
42.以下结构或功能描述是仅描述示例实施例的示例，并且示例实施例的范围不限于本说明书中提供的描述。本领域普通技术人员可以对其进行各种改变和修改。
43.尽管术语“第一”或“第二”用于解释各种组件，但是组件不限于这些术语。这些术语应仅用于将一个组件与另一组件区分开。例如，在根据本公开的构思的权利的范围内，“第一”组件可以被称为“第二”组件，或者类似地，“第二”组件可以被称为“第一”组件。
44.应理解的是，当组件被称为“连接到”另一组件时，该组件可以直接连接或结合到所述另一组件，或者可以存在中间组件。
45.如在这里所使用的，除非上下文另有明确说明，否则单数形式也意图包括复数形式。还应理解的是，术语“包括”和/或“包含”在本说明书中使用时，说明存在所陈述的特征、整数、步骤、操作、元件、组件或它们的组合，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
46.除非在这里另有定义，否则在这里使用的所有术语(包括技术术语或科学术语)具有与本领域普通技术人员通常理解的含义相同的含义。除非在这里另有定义，否则通常使用的词典中定义的术语应被解释为具有与相关领域中的上下文含义匹配的含义，并且将不被解释为理想的含义或过于形式化的含义。
47.在下文中，现在将详细参照示例实施例，示例实施例的示例在附图中示出，其中，同样的附图标记始终表示同样的元件。下面通过参照附图描述示例实施例以说明本公开。
48.图1a和图1b示出了根据示例实施例的成像装置的构造。图1a是成像装置的透视图，图1b是成像装置的剖视图。
49.成像装置100包括透镜阵列110和图像传感器120。透镜阵列110可以包括透镜元件111，并且图像传感器120可以包括感测元件121a。透镜元件111可以沿着透镜阵列110的平面布置。感测元件121a可以沿着图像传感器120中的感测阵列121的平面布置。透镜阵列110的平面可以放置为与感测阵列121的平面平行。透镜阵列110可以是用于成像的多透镜阵列(mla)，并且也可以被称为“成像透镜阵列”。
50.图像传感器120可以包括感测阵列121、滤光器122和聚光透镜阵列123。然而，公开不限于此，并且照此，根据另一示例实施例，代替滤光器122，聚光透镜阵列123的个体聚光微透镜123a可以具有使预定波段通过并阻挡其余波段的光学特性。
51.聚光透镜阵列123可以包括用于将穿过透镜阵列110的光聚集到感测阵列121上的多个聚光微透镜。例如，聚光透镜阵列123可以包括与包括在感测阵列121中的感测元件的数量相同数量的聚光微透镜123a。多个聚光微透镜123a可以布置在成像光学透镜与感测阵列121之间，以聚集穿过成像光学透镜的光并将聚集的光透射到与聚光微透镜123a对应的感测元件121a。例如，如图1b中所示，聚光微透镜123a可以设置在感测阵列121的感测元件121a上，以将光聚集到位于聚光微透镜123a的下方的感测元件121a上。另外，如图1b中所示，滤色器122a可以设置在聚光微透镜123a与感测元件121a之间。
52.滤光器122可以是具有使特定波段通过并阻挡其余波段的光学特性的滤波器。特定波长可以是预定波长。例如，滤光器122可以被实现为包括沿着滤波器平面布置的多个滤色器的滤色器阵列(cfa)。滤色器122a可以是使与特定颜色对应的波段的光通过并阻挡其余波段的光的滤波器。特定颜色可以是预定颜色。例如，滤色器122a可以包括红通滤波器、绿通滤波器和蓝通滤波器。红通滤光器可以使与红色对应的波段的光通过并阻挡其余波段的光。绿通滤光器可以使与绿色对应的波段的光通过并阻挡其余波段的光。蓝通滤光器可以使与蓝色对应的波段的光通过并阻挡其余波段的光。在滤色器阵列中，各个使颜色光通过的滤色器可以沿着滤波器平面以拜耳(bayer)图案或其他图案布置。滤光器122也可以是使可见光波段通过并阻挡红外线波段的红外截止滤波器。
53.根据示例实施例，图像传感器120可以基于入射在感测元件121a上的光生成图像。根据示例实施例，由图像传感器120捕获和生成的图像的质量可以基于包括在感测阵列121中的感测元件的数量和入射在感测元件121a上的光的量来确定。例如，图像的分辨率可以基于包括在感测阵列121中的感测元件的数量来确定。此外，图像的灵敏度可以基于入射在感测元件121a上的光的量来确定。入射在感测元件121a上的光的量可以基于感测元件121a的尺寸来确定。随着感测元件121a的尺寸增大，入射光的量可以增大，这可以增大感测阵列121的动态范围。因此，随着包括在感测阵列121中的感测元件的数量增加，由图像传感器120获取的图像的分辨率可以增大。此外，随着感测元件121a的尺寸增大，图像传感器120可以更有利地操作以在低照度下捕获高灵敏度图像。
54.透镜阵列110的个体透镜元件111可以覆盖感测阵列121的与个体透镜元件111的透镜尺寸对应的预定感测区域129。感测阵列121中由透镜元件111覆盖的感测区域129可以基于透镜元件111的透镜尺寸来确定。感测区域129可以表示感测阵列121上的区域，其中，预定视场(fov)范围的光线在穿过对应的透镜元件111之后到达该区域。感测区域129的大小可以由从感测区域129的中心到最外点的距离或对角线长度表示。换句话说，穿过个体透镜元件111的光可以入射到感测阵列121的包括在感测区域129中的感测元件上。
55.感测阵列121的感测元件中的每个可以基于穿过透镜阵列110的透镜的光线而生成感测信息。例如，感测元件121a可以感测通过透镜元件111接收的光的强度的值作为感测信息。成像装置100可以基于由感测阵列121输出的感测信息来确定与包括在成像装置100的视场中的点相关的原始信号对应的强度信息，并且基于确定的强度信息来恢复捕获的图像。例如，感测阵列121的个体感测元件121a可以是包括互补金属氧化物半导体(cmos)、电荷耦合器件(ccd)、光电二极管等的光学感测元件。
56.另外，感测元件121a可以通过感测穿过滤色器122a的光来生成与期望颜色对应的颜色强度值作为感测信息。包括在感测阵列121中的多个感测元件中的每个可以设置为感测与由与其空间邻近地设置的邻近感测元件感测的颜色不同的颜色。
57.当充分确保感测信息的多样性并且在感测信息和与包括在成像装置100的视场中的点对应的原始信号信息之间形成满秩关系时，可以获取与感测阵列121的最大分辨率对应的捕获图像。感测信息的多样性可以基于成像装置100的参数(诸如，包括在透镜阵列110中的透镜的数量和包括在感测阵列121中的感测元件的数量)来确保。
58.在用于成像的多透镜阵列的结构中，成像光学透镜和感测阵列121可以基于分数对准(fractional alignment)结构来布置。例如，分数对准结构可以表示其中由个体透镜元件111覆盖的感测区域129包括非整数数量的感测元件的结构。
59.当包括在透镜阵列110中的透镜元件具有相同的透镜尺寸时，包括在透镜阵列110中的透镜元件的数量和包括在感测阵列121中的感测元件的数量可以是互质的关系。与透镜阵列110的一个轴对应的透镜元件的数量l和与感测阵列121的一个轴对应的感测元件的数量p之间的比率p/l可以被确定为实数。透镜元件中的每个可以覆盖与对应于p/l的像素偏移相同数量的感测元件。例如，图1a的感测区域129可以包括沿着竖直轴的2.3(＝7/3)个感测元件和沿着水平轴的3.67(＝11/3)个感测元件。此外，透镜元件111可以覆盖多个非整数聚光微透镜。换句话说，多个成像光学透镜中的每个可以将从外部接收的光传输到非整数感测元件。因此，在图像传感器120中，聚光微透镜的数量可以与感测阵列121的感测元件的数量相同。此外，透镜阵列110的透镜元件(例如，成像光学透镜)的数量可以比聚光微透镜的数量少。
60.在如上所述的成像装置100的分数对准结构中，每个透镜元件111的光学中心轴(oca)可以布置成相对于感测阵列121略微不同。换句话说，透镜元件111可以设置为与感测元件121a偏心。因此，透镜阵列110的每个透镜元件111可以接收不同的光场信息。参照图2更详细地描述由分数对准结构接收的光场信息。
61.图2是示出根据示例实施例的通过透镜元件接收光线的感测元件的示图。
62.光场可以从预定目标点发射，并且可以是表示在对象上的预定点处反射的光线的方向和强度的场。光场信息可以是通过使多个光场组合获得的信息。由于每个透镜元件的主光线的方向也改变，因此可以在感测区域中接收不同的光场信息。因此，成像装置可以在光学上获取更多的感测信息。
63.如图2中所示，感测阵列220可以接收和检测与各个点230(例如，x1至x10)对应的光线。从各个点230发射的多条光线可以形成光场。从第一点(例如，x1)发射的光线可以形成第一光场并且入射到第一感测元件(例如，s1)、第四感测元件(例如，s4)和第七感测元件(例如，s7)上。从其余点x2至x10发射的光线也可以形成对应的光场。各个点230可以是预定
对象(例如，目标)上的点。从各个点230发射的光线可以是诸如从对象反射的太阳光的光线。作为示出成像装置的示例的剖视图，为了便于描述，图2示出了包括沿着一个轴的三个透镜元件的透镜阵列210和包括十个感测元件s1至s10的感测阵列220。然而，这仅仅是示例，并且示例实施例不限于此。
64.感测元件s1至s10可以感测穿过多个透镜元件并彼此重叠的光线。感测元件s1可以生成重叠的感测信息(例如，从点x1至x3发射的光线的强度值)。同样地，感测元件s2至s10也可以生成重叠的感测信息。图像传感器可以恢复重叠的感测信息。
65.由图2中示出的感测元件s1至s10生成的感测信息可以根据下面的等式1被建模为原始信号信息(例如，与从点230入射的光线对应的强度值)。
66.[等式1]
[0067]
s＝t
·
x
[0068]
在等式1中，s表示指示感测信息(例如，由各个感测元件感测到的检测强度值)的矩阵。x表示表示与从各个点入射到感测元件s1至s10上的光线对应的信号值(例如，入射光线的颜色强度值)的矩阵。t表示变换矩阵，并且可以表示由感测元件s1至s10感测的感测信息与对应于入射光的信号信息之间的关系。在图2中示出的结构中，与各个点x1至x10、透镜元件和感测元件s1至s10对应的光线可以建模为如下面的等式2中所示。在等式2中，各个点x1至x10可以被建模为位于距图像传感器无穷远的焦点处。各个点x1至x10与图像传感器之间的距离可以各自大于阈值距离。
[0069]
[等式2]
[0070][0071]
在等式2中，为了便于描述，将与各个点x1至x10对应的光线信号信息(例如，光线强度值)分别表示为x1至x10。另外，将由感测元件s1至s10感测的感测信息(例如，感测强度值)分别表示为s1至s10。根据示例实施例，与包括在感测阵列220中的感测元件s1至s10对应的感测信息和与从各个点x1至x10入射的光线对应的原始信号之间的上述变换矩阵关系可以基于透镜元件和感测元件的布置、包括在透镜阵列210中的透镜元件的数量、包括在感测阵列220中的感测元件s1至s10的数量等来确定。
[0072]
等式2对应于其中各个点x1至x10是距图像传感器无穷远的焦点的情况。当各个点x1至x10位于距图像传感器有限的焦点处时，在每个感测元件中接收的原始信号可基于对象与图像传感器之间的距离以及图像传感器的几何结构而变化。
[0073]
如上所述，成像装置可以基于获取的各种感测信息获得多个低分辨率输入图像，并且从低分辨率输入图像恢复具有比低分辨率输入图像的分辨率高的分辨率的输出图像。
参照图3描述通过重新排列多个低分辨率输入图像来生成单个图像的方法。
[0074]
图3是示出根据示例实施例的感测元件的数量与透镜元件的数量之间的关系的示图。
[0075]
如上所述，成像光学透镜和感测阵列可以以分数对准结构布置。图3示出了透镜元件的数量l与感测元件的数量p之间的比率p/l为10/3的示例。
[0076]
在上述透镜阵列和感测阵列的几何结构中，由每个透镜元件覆盖的感测元件可以接收与由另一透镜元件覆盖的感测元件感测到的光场信息不同的光场信息。在图2的结构中，第一感测元件s1可以接收包括第一点x1的第一光场、第二点x2的第二光场和第三点x3的第三光场的组合的光场信息。相比之下，在图2的结构中，与第一感测元件s1相邻的第二感测元件(例如，s2)可以接收包括第四光场、第五光场和第六光场的组合的光场信息。这样，每个感测元件可以接收与在另一感测元件中感测到的光场信息不同的光场信息。
[0077]
为了生成高分辨率的图像，成像装置和/或图像传感器可以基于光场信息之间的相关性来重新排列多个捕获的低分辨率图像中的表示对象上的相同位置或邻近位置的像素的图像内像素位置。像素是图片元素，并且可以表示构成图像的单位元素。像素位置是像素在图像中的位置，并且可以包括像素的坐标。例如，成像装置和/或图像传感器可以通过将与接收类似光场信息的感测元件对应的像素的像素位置连续地重新排列为彼此相邻来构建高分辨率图像的像素信息。如上所述，每个感测元件可以接收其中多个光场重叠的光场信息。就由两个感测元件感测的两项光场信息而言，两项光场信息之间的相关性可以随着一个光场信息包括与另一光场信息更多相同的光场而增大。像素的像素位置的重新排列可以基于捕获对应像素的深度来执行。作为示例，可以将捕获像素的深度设定为通过立体图像匹配估计或由深度传感器测量的预定深度值。作为另一示例，像素的像素位置的重新排列也可以由神经网络执行，该神经网络被设计为基于捕获对象的深度来重新排列像素位置，而无需测量和/或估计捕获像素的深度。上述像素位置的重新排列也可以被称为像素混洗。例如，可以使用被设计为从输入复眼视觉图像输出单个输出图像的神经网络来重新排列像素的像素位置。可以基于通过在各种深度处捕获对象而获得的训练数据集来训练神经网络。
[0078]
图像传感器可以假设反射光线的点位于距图像传感器比阈值距离远的无穷远焦点处，并且确定要在每个感测元件中感测的光场信息。图像传感器可以基于感测元件与从比阈值距离远的点发射的光线之间的位置关系来确定发射在多个感测元件中的每个中感测到的光场的点。图像传感器可以重新排列像素的像素位置，使得与由感测元件输出的输出值对应的像素的像素位置相邻，该感测元件接收从对象上彼此空间相邻的点发射的光场。
[0079]
作为参照，图2以在无穷远的焦距处彼此空间相邻的顺序示出了各个点x1至x10。第一点x1可以与第二点x2相邻。第二点x2可以与第一点x1和第三点x3相邻。
[0080]
参照图3，在尚未重新排列的感测元件311之中，在第一感测元件s1中感测到的光场信息和在第八感测元件(例如，s8)中感测到的光场信息可以包括与第二点x2和第三点x3对应的光场。因此，第一感测元件s1和第八感测元件s8可以接收类似的光场信息。等式3表示通过根据上面的等式2重新排列与类似光场信息对应的像素的像素位置而获得的结果。在本公开中，像素位置可以为像素所定位的坐标。
[0081]
[等式3]
[0082][0083]
根据等式3重新排列的感测元件312可以如图3中所示。第一感测元件s1可以被第一透镜覆盖。第八感测元件s8可以被第三透镜覆盖。第五感测元件(例如，s5)可以被第二透镜覆盖。由于在每个感测元件中感测到的感测信息对应于构成图像的像素，因此图像传感器和/或成像装置可以重新排列像素，使得与穿过不同透镜的光线对应的感测信息相邻。重建图像325可以是其中具有通过感测元件获得的感测值的像素的像素位置被布置为相邻的图像，感测元件接收由各个透镜捕获的低分辨率图像321、322、323和324中的类似光场信息。
[0084]
图4示出了根据示例实施例的具有多个层的成像装置的构造。
[0085]
根据示例实施例，成像装置可以包括多个成像透镜阵列。多个成像透镜阵列可以包括传输从外部接收的光的多个成像光学透镜。多个成像透镜阵列可以布置在图像传感器420上。图像传感器420的感测阵列可以包括感测穿过多个成像透镜阵列的光的多个感测元件。由于图1a和图1b的描述可适用于图像传感器420，因此将省略冗余描述。
[0086]
就成像装置而言，光学变焦的改变与视场(fov)的改变相同。成像装置可以通过在保持图像传感器420的尺寸和从透镜到对象的工作距离的同时改变透镜的焦距来改变fov。这样，由于实现光学变焦不需要透镜之间的空间位置移动，因此可以不需要用于移动透镜的机械结构的空间。换句话说，即使不使用突出到相机主体的外部的突出部分与图像传感器420来容纳用于光学变焦的机械结构的情况下，成像装置也可以提供动态光学变焦。
[0087]
另外，由于成像装置的每个透镜阵列包括多个透镜元件，因此可以减小透镜元件中的每个实现目标分辨率所需的焦距。因此，成像装置可以是以各种变焦放大率捕获高分辨率图像的超薄相机装置。例如，成像装置可以被实现为具有若干毫米厚度的移动终端(诸如，智能电话、平板pc、可折叠智能电话等)。
[0088]
成像装置可以是多层多透镜阵列(mmla)结构。mmla结构可以具有若干毫米内的总轨道长度(ttl)。多个透镜阵列中的每个可以包括以阵列的形式布置的多个透镜元件。多个透镜阵列和多个透镜元件可以位于在装置中固定的位置处。成像装置可以通过改变多个透镜元件之中的一个或多个透镜元件的光焦度(optical power)来调节成像光学系统的有效焦距(efl)。成像装置可以连续地改变有效焦距。fov可以根据有效焦距的改变而改变。大的有效焦距可以通过多透镜阵列实现为小空间。
[0089]
根据示例实施例，成像装置中的多个成像透镜阵列之中的至少一个成像透镜阵列可以包括焦距可变的有源成像透镜。一个成像透镜阵列可以对应于一个层，并且多个成像
透镜阵列可以形成成像光学系统。多个成像透镜阵列也可以被称为多层或多透镜层。包括有源成像透镜的成像透镜阵列的所有成像透镜可以是有源成像透镜。例如，图4示出了沿着光轴分开的图像传感器420和多透镜层411至414。多个成像透镜阵列之中的一些成像透镜阵列可以包括有源透镜元件。有源透镜元件可以是焦距可调节的透镜元件。成像光学系统的有效焦距可以由有源透镜元件调节。
[0090]
以下描述将基于以下情况进行，在该情况下，成像装置包括四个成像透镜阵列，最邻近图像传感器420的第四成像透镜阵列414和位于距图像传感器420最远的第一成像透镜阵列411包括无源透镜元件，并且位于第一成像透镜阵列411与第四成像透镜阵列414之间的第二成像透镜阵列412和第三成像透镜阵列413包括有源透镜元件。然而，这仅仅是示例，并且成像装置的成像光学系统不限于此。例如，多个成像透镜阵列可以包括三个或更多个阵列。另外，在多个成像透镜阵列之中，最邻近图像传感器420的透镜阵列和距图像传感器420最远的透镜阵列可以包括有源透镜元件。此外，多个成像透镜阵列中的一些阵列可以被实现为有源透镜阵列，并且多个成像透镜阵列中的一些其他成像透镜阵列可以包括具有固定焦距的无源成像透镜。此外，所有阵列可以被实现为有源透镜阵列。
[0091]
图5a示出了根据示例实施例的成像装置的有效焦距，并且图5b示出了有效焦距与变焦放大率之间的关系。
[0092]
根据示例实施例，成像装置可以包括无源透镜阵列、有源透镜阵列和图像传感器520。无源透镜阵列可以是包括无源透镜元件的成像透镜阵列。有源透镜阵列可以是包括有源透镜元件的成像透镜阵列。包括有源成像透镜的成像透镜阵列的所有透镜可以变形为具有相同的焦距。每个成像透镜阵列可以包括相同类型的透镜元件。例如，包括在一个成像透镜阵列中的所有成像透镜元件可以是无源透镜或有源透镜。将参照图5a描述其中第一成像透镜阵列511和第四成像透镜阵列514是无源透镜阵列，并且第二成像透镜阵列512和第三成像透镜阵列513是有源透镜阵列的示例。
[0093]
每个透镜元件可以是正透镜或负透镜。正透镜可以是具有正光焦度的会聚透镜，并且可以是例如凸透镜。负透镜可以是具有负光焦度的发散透镜，并且可以是例如凹透镜。光焦度是透镜元件通过其改变光的方向的力，并且表示透镜的弯曲表面使光线会聚或发散的程度。另外，光焦度是焦距的倒数，并且可以以屈光度(d)为单位表示。每个成像透镜阵列可以包括具有相同符号的光焦度的透镜元件。例如，包括在一个成像透镜阵列中的所有成像透镜元件可以是正透镜或负透镜。尽管图5a将第一成像透镜阵列511和第四成像透镜阵列514示出为负透镜阵列并且将第二成像透镜阵列512和第三成像透镜阵列513示出为正透镜阵列，但是公开将不被视为限于此。另外，根据有源透镜的驱动，上述有源透镜阵列可以从正光焦度转换为负光焦度，或者相反地，从负光焦度转换为正光焦度。
[0094]
根据示例实施例，成像装置可以包括正透镜阵列和负透镜阵列。在多个成像透镜阵列之中，一个成像透镜阵列可以包括正透镜元件，并且另一成像透镜阵列可以包括负透镜元件。包括在一个成像透镜阵列中的所有成像光学透镜可以是正透镜，并且包括在另一成像透镜阵列中的所有成像光学透镜可以是负透镜。例如，如图5a中所示，第一成像透镜阵列511和第四成像透镜阵列514可以包括负透镜元件，并且第二成像透镜阵列512和第三成像透镜阵列513可以包括正透镜元件。
[0095]
正透镜阵列可以表示为p，负透镜阵列可以表示为n。在成像光学系统中，沿着光轴
的透镜阵列折射符号的组合可以由折射符号序列表示。折射符号序列可以表示从外部接收的光沿着光轴顺序地穿过的透镜的符号的顺序。例如，图5a中示出的成像光学系统的透镜阵列的折射符号序列可以是n-p-p-n型结构。光可以依次穿过负透镜阵列、两个正透镜阵列和负透镜阵列。然而，公开不限于此，并且因此，根据另一示例实施例，各种折射符号组合(诸如，n-p-n-n型结构、n-n-p-n型结构、p-n-n-p型结构、p-n-p-p型结构和p-p-n-p型结构)可以应用于成像光学系统。此外，尽管图5a示出了四个透镜阵列作为示例，公开不限于此。因此，根据另一示例实施例，在三个透镜阵列的情况下，成像光学系统中可以包括诸如p-n-p型结构、n-p-n型结构、p-p-n型结构、n-p-p型结构、n-n-p型结构和p-n-n型结构的组合。尽管为了方便而描述了四个透镜阵列的示例和三个透镜阵列的示例，但是公开不限于此。因此，根据示例实施例，可以提供三个或更多个透镜阵列，并且可以使用各种折射符号组合。以下将给出四个透镜阵列的描述。
[0096]
根据示例实施例，多个成像透镜阵列的有效焦距可以基于包括在多个成像透镜阵列中的成像光学透镜的焦距和成像透镜阵列之间在光轴上的间隔来确定。根据示例实施例，间隔可以是光轴上的成像透镜阵列之间的距离。有效焦距使用以下等式来描述。作为参照，在图5a中，包括在每个成像透镜阵列中的透镜元件可以具有相同的焦距并且以相同的距离与另一成像透镜阵列间隔开。
[0097]
[等式4]
[0098][0099]
在等式4中，f1表示通过第一成像透镜阵列511和第二成像透镜阵列512的成像光学系统501的有效焦距f
12
。这里，f1表示包括在第一成像透镜阵列511中的透镜元件的焦距，f2表示包括在第二成像透镜阵列512中的透镜元件的焦距，d
12
表示第一成像透镜阵列511与第二成像透镜阵列512之间的距离。
[0100]
[等式5]
[0101][0102]
在等式5中，f2表示通过成像光学系统501和第三成像透镜阵列513的成像光学系统502的有效焦距。这里，f3表示包括在第三成像透镜阵列513中的透镜元件的焦距，d
23
表示第二成像透镜阵列512与第三成像透镜阵列513之间的距离。
[0103]
[等式6]
[0104][0105]
在等式6中，f3表示通过成像光学系统502和第四成像透镜阵列514的成像光学系统503的有效焦距。这里，f4表示包括在第四成像透镜阵列514中的透镜元件的焦距，d
34
表示第三成像透镜阵列513与第四成像透镜阵列514之间的距离。如图5a中所示，成像光学系统包括四个透镜阵列，因此可以描述为等式6。包括n个阵列的成像光学系统的有效焦距可以概括为如下面的等式7中所示。
[0106]
[等式7]
[0107][0108]
在等式7中，n表示包括在成像光学系统中的成像透镜阵列的数量。这里，n是大于或等于3的整数，f
n-2
表示包括第一成像透镜阵列511至第n-1成像透镜阵列的成像光学系统的有效焦距，fn表示包括在第n成像透镜阵列中的透镜元件的焦距，d
n-1,n
表示第n-1成像透镜阵列与第n成像透镜阵列之间的距离，d
tot
表示成像透镜阵列之间的距离的总和。
[0109]
在成像装置的成像光学系统中，多个成像透镜阵列之间在光轴上的距离可以固定。另外，感测阵列与多个成像透镜阵列之中的最邻近感测阵列的成像透镜阵列之间在光轴上的距离可以固定。成像装置可以通过改变包括在成像透镜阵列之中的有源透镜阵列中的有源透镜的厚度和矢状值中的至少一个来改变有源成像透镜的焦距。在图5a的示例中，第二成像透镜阵列512和第三成像透镜阵列513是有源透镜阵列。成像装置可以通过改变第二成像透镜阵列512的焦距f2和第三成像透镜阵列513的焦距f3中的至少一个来调节整个成像光学系统的有效焦距f3。如上所述，有效焦距的改变可以对应于fov和变焦放大率的改变。如图5b的曲线图590中所示，有效焦距可以与变焦放大率近似线性地成比例。因此，成像装置可以通过有效焦距的改变以可变放大率捕获变焦图像，而不改变成像透镜在光轴上的位置。
[0110]
在根据示例实施例的成像装置中，可以基于目标放大率来调节多个成像透镜阵列的有效焦距。根据示例实施例，可以响应于选择的目标放大率来调节多个成像透镜阵列的有效焦距。例如，成像装置可以从用户接收表示目标放大率的操控。当成像装置是包括触摸显示器的电子终端(例如，智能电话)时，成像装置可以接收表示多个设定的放大率之中的一个放大率的操控和/或在执行相机应用程序的同时连续改变放大率的操控(例如，捏缩手势或捏放手势)。成像装置可以基于通过用户的操控选择的目标放大率来调节成像光学系统的有效焦距。
[0111]
图6至图8示出了根据示例实施例的基于有源成像透镜的驱动的有效焦距的调节。
[0112]
图6示出了实现摄远图像捕获的示例。图7示出了实现标准变焦图像捕获的示例。图8示出了实现广角图像捕获的示例。图6的成像装置的成像光学系统可以具有比图7的成像光学系统的有效焦距790大的有效焦距690。图6的成像装置的成像光学系统可以具有比图7的成像光学系统的fov小的fov。图7的成像光学系统可以具有有效焦距790，该有效焦距790是图6的成像光学系统的有效焦距690与图8的成像光学系统的有效焦距890之间的中间有效焦距。图7的成像光学系统可以具有在图6和图8的成像光学系统的fov之间的中间fov。图8的成像光学系统可以具有比图7的成像光学系统的有效焦距790小的有效焦距890，并且具有最大的fov。
[0113]
参照图6至图8，成像装置可以调节包括在第二成像透镜阵列612、712和812以及第三成像透镜阵列613、713和813中的透镜元件的焦距。第一成像透镜阵列611、711和811以及第四成像透镜阵列614、714和814可以是具有固定焦距的无源透镜阵列。在图6至图8中，可以调节包括在第二成像透镜阵列612、712和812以及第三成像透镜阵列613、713和813中的透镜元件的矢状值，使得与凸透镜对应的透镜元件的凸度从图6向图8增大。也就是说，与图
7中的凸透镜对应的透镜元件的凸度高于与图6中的凸透镜对应的透镜元件的凸度，并且与图8中的凸透镜对应的透镜元件的凸度高于与图7中的凸透镜对应的透镜元件的凸度。然而，这是因为根据实例实施例示出了n-p-p-n型结构，但公开不限于此。根据示例实施例，在其他折射符号组合和其他fov的情况下，透镜元件的矢状值和厚度可以以其他方式改变。如下所述，成像装置可以控制施加到有源透镜阵列的电压，从而改变有源透镜阵列的矢状值和厚度中的至少一个并调节焦距。
[0114]
作为参照，有效焦距690、790和890可以被定义为分别从主平面691、791和891到图像传感器620、720和820的距离。主平面691、791和891可以是入射光由于折射而在其处弯曲的虚拟平面。根据公开的示例实施例，在包括成像透镜阵列的组合的成像光学系统是单个光学透镜的假设下，主平面691、791和891可以是光折射在其上开始的虚拟透镜。
[0115]
为了以摄远变焦操作，成像装置可以将成像光学系统的主平面定位成与距图像传感器最远的成像透镜阵列相邻。例如，如图6中所示，成像装置可以调节作为有源透镜阵列的第二成像透镜阵列612和第三成像透镜阵列613的透镜元件的焦距，从而将主平面691定位在第一成像透镜阵列611与第二成像透镜阵列612之间。当成像光学系统的主平面691更靠近距图像传感器620最远的成像透镜阵列时，有效焦距690可以增大并且fov可以减小。通过此，成像装置可意捕获与摄远变焦对应的图像。
[0116]
为了以标准变焦操作，成像装置可以将成像光学系统的主平面791定位在中间成像透镜阵列附近。中间成像透镜阵列可以是除了最邻近图像传感器720的成像透镜阵列和距图像传感器720最远的成像透镜阵列之外的其余成像透镜阵列。例如，在图7中，成像装置可以将主平面791定位在第二成像透镜阵列712与第三成像透镜阵列713之间。图7的成像光学系统可以具有中间有效焦距和中间fov。换句话说，成像装置可以捕获对应于摄远变焦与广角变焦之间的标准变焦的图像。
[0117]
为了以广角变焦操作，成像装置可以将成像光学系统的主平面891定位成与最邻近图像传感器820的成像透镜阵列相邻。例如，如图8中所示，成像装置可以调节包括在第二成像透镜阵列812和第三成像透镜阵列813中的透镜元件的焦距，从而将成像光学系统的主平面891定位成与第四成像透镜阵列814相邻。此外，如果多个成像透镜阵列的视角超过超广阈值角度，则由多个成像透镜阵列811、812、813和814形成的主平面891可以位于感测阵列与多个成像透镜阵列811、812、813和814之中的最邻近感测阵列的成像透镜阵列之间。超广阈值角度可以是被设定为用于超广摄影的fov。由于fov根据有效焦距的减小而增大，因此成像装置可以捕获与广角变焦对应的图像。
[0118]
参照下面的表1描述其中第一成像透镜阵列和第三成像透镜阵列是正透镜阵列，并且第二成像透镜阵列和第四成像透镜阵列是负透镜阵列的结构。如表1中所示，成像装置可以通过改变第二成像透镜阵列和第三成像透镜阵列的焦距来改变变焦放大率。
[0119]
[表1]
[0120][0121]
在表1中，焦距、透镜之间的间隔距离和有效焦距中的每个可以以毫米(mm)为单位表示。描述了在具有p-n-p-n型结构的成像光学系统中改变第二成像透镜阵列和第三成像透镜阵列的焦距的示例。在表1中，当有效焦距为1mm时，成像装置可以捕获1x变焦图像。如参照图5b所述，有效焦距与变焦放大率成线性比例。因此，成像装置可以在摄远变焦中捕获与100倍或更多的光学变焦对应的图像。换句话说，其中组合了多个成像透镜阵列的光学系统可以提供在0.5倍与110倍之间(包括0.5倍和110倍)的可变变焦放大率范围。作为参照，表1的每个数值仅仅是示例，并且可以基于设计和操作而变化。尽管在表1中示出了第二成像透镜阵列的焦距在摄远变焦中为-5.19，在标准变焦中为-2.35，并且在广角变焦中为-1.48，但是焦距不限于此。第二成像透镜阵列的焦距可以基于设计在个体光学变焦范围内变化。
[0122]
根据示例实施例，可以基于与选择的目标放大率对应的有效焦距来调节有源成像透镜的焦距。成像装置还可以包括存储器，与多个预定义放大率对应的焦距相关信息针对多个成像透镜阵列中的每个被存储在该存储器中。成像装置可以加载与选择的目标放大率对应的焦距相关信息，并且基于所加载的焦距相关信息来调节有源成像透镜的焦距。与目标放大率对应的焦距相关信息可以包括例如要被设定用于形成目标放大率的每个成像透镜阵列的焦距，以及作为与要形成每个成像透镜元件以形成每个焦距的透镜形状相关联的信息的厚度和矢状值。
[0123]
图9a至图9d示出了根据示例实施例的成像透镜的示例。
[0124]
图9a和图9b示出正透镜元件的示例，图9c和图9d示出负透镜元件的示例。图9a的p型透镜可以是在一侧上具有凸形状的凸透镜。图9b的p型透镜可以是在两侧具有凸形状的凸透镜。图9c的n型透镜可以是在一侧具有凹形状的凹透镜。图9d的n型透镜可以是在两侧具有凹形状的凹透镜。
[0125]
成像装置可以使用例如图9a的凸透镜900a、图9b的凸透镜900b、图9c的凹透镜900c和图9d的凹透镜900d来实现上述成像透镜阵列的透镜元件。如下面参照图10a和10b所述，成像装置可以通过向对应的透镜元件施加外力(诸如，电压)来调节每个透镜元件的厚度和矢状值。作为参照，当在与光轴909垂直的方向上的高度表示为s时，矢状值可以是表示
沿着光轴从每个球面表面或非球面表面在高度s处的顶点处的切平面到每个球面表面或非球面表面的距离sag的值。ct表示透镜元件的中心厚度，et表示边缘厚度。
[0126]
图9a至图9d的描述给出了关于包括在上述成像透镜阵列中的成像透镜元件的示例形状，并且不被解释为限于此。透镜元件的表面可以被设计为具有非球面形状，并且非球面形状的矢状值和厚度可以通过外力(诸如，电压)来改变。
[0127]
图10a和图10b示出了根据示例实施例的有源成像透镜阵列的示例结构。
[0128]
根据公开的示例实施例，将其厚度和矢状值基于施加的电压来调节的电润湿透镜描述为有源透镜元件的示例结构。然而，公开不限于此，并且因此，根据另一示例实施例，有源透镜元件可以包括具有可变焦距的各种结构的透镜(诸如，液晶(lc)透镜)。在下文中，参照图10a和10b描述其中电润湿透镜被布置在平面上作为有源透镜元件的结构。
[0129]
图10a的有源透镜阵列1000可以包括以阵列图案(例如，网格图案)布置在平面上的电润湿透镜。如图10a的有源透镜阵列1000的放大部分1001所示，电润湿透镜1002可以包括四个侧壁、与侧壁中的每个对应的电极以及通过其向每个电极施加电压的金属线。
[0130]
图10b是示出参照图10a描述的电润湿透镜1002的示例结构的剖视图。电润湿透镜1002也可以被称为电润湿光学元件。电润湿透镜1002可以包括限定用于容纳流体的空间的四个侧壁、设置在侧壁上的上电极1021和设置在上电极1021上的玻璃基底1010。侧壁中的每个可以包括有机分隔壁1030、侧电极1022、介电材料1040和疏水性涂层1050。可以为每个电润湿透镜1002提供四个侧电极1022，但是侧电极的数量不限于此。电润湿透镜1002的分隔壁可以放置在钝化层(例如，层间绝缘层1060)上。层间绝缘层1060(例如，钝化层)可以阻挡线与除电极之外的其余元件之间的电连接。侧电极1022可以连接到金属线1070。电润湿透镜1002可以使光在与用于容纳流体的空间对应的光透射宽度(例如，ow)内通过。
[0131]
电润湿透镜1002可以包括在多个电极之间的空间中的极性液体1091和非极性液体1092。极性液体1091可以是例如水。非极性液体1092可以是例如油。电润湿透镜1002可以通过改变施加到包括侧电极1022和上电极1021的电极的电压的大小来改变折射面的梯度。如图10b中所示，极性液体(诸如，水)和非极性液体(诸如，油)可以包含在电润湿透镜1002之间的间隙中。折射面的梯度可以根据施加的电压而改变。折射面可以形成为棱镜或透镜。通过向电极施加电压的应用(例如，启用)、电压的不应用(例如，禁用)和电压大小的调节中的一个，可以改变折射面的形状，并且可以控制出射光方向。
[0132]
参照图10b，包括电极的分隔壁结构可以包括有机分隔壁1030、电极、介电材料1040和疏水性涂层1050。当在光入射部分和光出射部分的方向上观察电润湿透镜1002的结构时，该结构可以包括金属线1070、层间绝缘层1060、油、水、电极和玻璃基底1010。
[0133]
作为参照，在水-油系统中，电压v和接触角θ可以使用利普曼-杨(lipmann-young)方程(例如，下面的等式8)解释为根据施加的电压的接触角θ的变化。
[0134]
[等式8]
[0135][0136]
在等式8中，v表示施加到电极的外部电压，初始接触角θ0是在施加外部电压v之前获得的接触角，接触角θ是在施加外部电压v之后获得的接触角，c表示介电材料的每单位面积的电容，并且γ表示液体的表面张力。表面张力γ可以是例如水与油之间的界面张力
γ
wo
。作为参照，在图10b中，γ
sw
表示水与疏水性涂层1050之间的界面张力，并且γ
so
表示油与疏水性涂层1050之间的界面张力。根据等式8，可以建立施加的电压v与对应于折射面的梯度的接触角θ之间的关系。因此，可以基于施加到多个电极的电压来改变有源湿透镜的厚度和矢状值中的至少一个。
[0137]
折射面可以由极性液体1091与非极性液体1092之间的界面形成。界面可以形成为棱镜或透镜。电润湿透镜1002可以向每个电极施加(或启用)电压或不施加(或禁用)电压，并且通过控制电压的大小来控制光的出射光方向。电润湿透镜1002可以使光在没有偏振的情况下折射，从而实现高光学效率。另外，电润湿透镜1002可以施加恒定的驱动电压而不管单元间隙如何，应对小尺寸的感测元件，并且以高速驱动。
[0138]
作为参照，在图10b中，介电材料1040是极性液体1091是di水、nacl 0.005m、sds 0.1％，非极性液体1092是溴萘，并且驱动电压以dc幅度施加为120hz的方波。然而，这仅仅是示例，并且可以以各种方式设计介电材料、作为极性液体1091的电解质溶液的类型和组合以及作为非极性液体1092的油的类型。
[0139]
图11a和图11b示出了根据示例实施例的有源成像透镜阵列的布线结构。
[0140]
如图11a中所示，在有源透镜阵列1100a中的有源透镜元件1110之间可以存在间隙1180。有源透镜阵列1100a可以包括布置在间隙1180中的布线1172。当以光轴观察时，光可以穿过有源透镜元件1110。因此，布线不会布置在与有源透镜元件1110对应的平面区域中。相反，布线可以布置在有源透镜元件1110之间的区域中。例如，如图11b的俯视图1100b中所示，连接到包括在有源透镜元件1110中的多个侧电极的布线1172可以通过间隙1180连接到电源。电极和布线1172可以被配置为不与成像光学系统的有效孔径叠置。
[0141]
基于施加的电压，有源透镜元件1110可以具有基于光轴1109的平面折射面1121、具有第一焦距1192的折射面1122或者具有比第一焦距1192小的第二焦距1193的折射面1123。如上所述，可以响应于选择的放大率而调节有源透镜阵列1100a的焦距以形成与选择的放大率对应的有效焦距。此时，包括在有源透镜阵列1100a中的多个有源透镜元件可以通过同时接收与选择的放大率对应的电压来操作。
[0142]
图12示出了根据示例实施例的穿过成像装置的多个层的光线的光线追踪。
[0143]
在通过机械驱动支持可变光学变焦的光学系统1201、1202和1203中，透镜间距1209可以在摄远变焦中被调节为距离t1，在中间变焦中被调节为距离t2，并且在广角变焦中被调节为距离t3。相反，在根据公开的示例实施例的光学系统1211、1212和1213中，透镜间距1219可以固定为在任何变焦中相等(即，距离t1'、t2'、t3'相等)，而仅改变有源透镜的焦距。如图12中所示，光线追踪结果对于两个系统可以一致。换句话说，即使没有透镜的物理移动，仅通过改变有源透镜的折射力，也可以实现与物理移动的水平类似的水平的光学变焦。
[0144]
尽管图12示出了无源透镜阵列布置在成像光学系统中的入射光瞳和出射光瞳处以限制光学系统的总轨道长度(ttl)，但是光学系统的结构不限于此。
[0145]
图13是示出根据示例实施例的成像装置的配置的框图。
[0146]
成像装置1300可以包括透镜阵列1310和图像传感器。
[0147]
透镜阵列1310可以包括传输从外部接收的光的成像光学透镜。如上所述，透镜阵
列1310可以包括多个层。与每个层对应的光学透镜阵列可以是有源透镜阵列或无源透镜阵列。多个成像透镜阵列之中的至少一个成像透镜阵列可以包括具有可变焦距的有源成像透镜。图像传感器可以是感测穿过透镜阵列1310的光的传感器。图像传感器可以包括感测阵列1320和处理器1330。
[0148]
处理器1330可以基于由感测元件感测到的感测信息来生成图像。处理器1330可以基于在感测阵列中感测到的感测信息来重建与用户选择的放大率对应的图像。图像传感器的处理器1330也可以被称为例如图像信号处理器(isp)。处理器1330可以基于由感测穿过感测阵列1320中的多个成像光学透镜的光的感测元件感测到的感测信息来获取与多个成像光学透镜对应的第一分辨率的图像，然后根据第一分辨率的图像重建比第一分辨率高的第二分辨率的图像。感测信息不仅可以用于图像恢复，而且可以用于针对对象的深度估计、再聚焦、动态范围成像以及在低照明环境中捕获高灵敏度图像。
[0149]
存储器1340可以存储与针对多个成像透镜阵列中的每个的多个预定义放大率对应的焦距相关信息。处理器1330可以加载与选择的目标放大率对应的焦距相关信息，并且基于所加载的焦距相关信息来调节有源成像透镜的焦距。
[0150]
图14是示出根据示例实施例的电子终端的配置的框图。
[0151]
电子终端1400可以包括成像模块1410和处理器1420。
[0152]
成像模块1410可以包括透镜阵列1411和图像传感器。图像传感器可以包括感测阵列1412。与包括在如图13中所示的图像传感器中的处理器1330不同，图14示出了根据另一示例实施例的处理器与成像模块1410独立地或分开地放置。处理器1330可以基于在感测阵列中感测到的感测信息来生成与用户选择的目标放大率对应的图像。也就是说，处理器1330可以基于在感测阵列中感测到的感测信息来重建与用户选择的目标放大率对应的图像。由于上面已经描述了透镜阵列1411、图像传感器和处理器1420，因此将省略详细描述。图14的处理器1420可以是应用处理器(ap)。
[0153]
根据示例实施例，可以在电子终端1400中设置存储器和/或存储装置。根据示例实施例，存储器可以是随机存取存储器(ram)，并且处理器1420可以包括中央处理单元或微处理器等，并且可以控制电子终端1400的整体操作。根据示例实施例，存储器可以存储一个或多个指令，并且处理器1420可以执行一个或多个指令以执行一个或多个操作。根据示例实施例，操作可以包括控制成像模块1410。处理器1420可以输出指令以改变有源透镜的焦距。
[0154]
多个成像透镜阵列可以包括传输从外部接收的光的多个成像光学透镜，并且可以容纳在电子终端的壳体中。换句话说，即使当不存在从电子终端的表面突出到外部的部分时，也可以将多个成像透镜阵列容纳在壳体中。
[0155]
根据示例实施例，多个成像透镜阵列之中的有源透镜阵列可以具有通过外部施加的电力(例如，电压)在0.1mm至100mm的范围内变化的焦距。因此，有源透镜阵列的可变屈光力范围可以在10000m-1
至10m-1
的范围内。由多个成像透镜阵列形成的成像光学系统的有效焦距可以在例如0.1mm至100mm的范围内变化。另外，当将使用反射镜的折叠系统应用于上述成像光学系统时，光的包括从最外面的成像透镜到图像传感器的光路的ttl可以具有范围在0.1mm与1000mm之间的值。
[0156]
图15和图16是示出根据示例实施例的实现图像传感器的装置的示例的示图。
[0157]
图像传感器和/或成像装置可以应用于各种技术领域。由于包括多个透镜的透镜
阵列和包括多个感测元件的传感器可以被设计为以相对小的焦距分开，因此成像装置可以被实现为具有小厚度的超薄相机和能够进行高清晰度拍摄的大尺寸传感器。
[0158]
图像传感器和/或成像装置可以安装在移动终端上。移动终端可以是未固定在任何位置的可移动终端，并且可以包括例如车辆、人工智能扬声器和便携式装置(诸如，智能电话、平板pc和可折叠智能电话)。
[0159]
如图15中所示，成像模块1510可以应用于智能电话1500的前置相机或后置相机。成像模块1510可以具有其中大尺寸全帧传感器结合到多透镜阵列的结构，并且可以应用于智能电话相机。
[0160]
此外，成像模块1510可以以薄结构或弯曲结构在车辆中实现。如图16中所示，成像装置1610可以在车辆1600中实现为具有弯曲形状的前置相机或后置相机。另外，例如，成像装置1610可以应用于诸如dslr相机、无人机、cctv、用于网络摄像头的相机、360度拍摄相机、用于拍摄和广播的相机、vr/ar相机、柔性/可伸展相机、昆虫眼(insect-eye)相机、隐形眼镜型相机等领域。此外，成像装置也可以应用于多帧超分辨率图像恢复，以使用关于多个捕获帧的信息来增大分辨率。
[0161]
在这里描述的示例实施例可以使用硬件组件、软件组件和/或它们的组合来实现。例如，在这里描述的处理装置和组件可以使用一个或多个通用计算机或专用计算机(诸如，以处理器、控制器和算术逻辑单元(alu)、数字信号处理器、微计算机、现场可编程门阵列(fpga)、可编程逻辑单元(plu)、微处理器或者能够以定义的方式响应和执行指令的任何其他装置为例)来实现。处理装置可以运行操作系统(os)以及在os上运行的一个或多个软件应用。处理装置还可以响应于软件的执行来访问、存储、操控、处理和创建数据。为了简单的目的，处理装置的描述被用作单数；然而，本领域技术人员将理解的是，处理装置可以包括多个处理元件和/或多种类型的处理元件。例如，处理装置可以包括多个处理器或一个处理器以及控制器。另外，不同的处理配置(诸如，并行处理器)是可能的。
[0162]
软件可以包括计算机程序、代码段、指令或它们的某种组合，以独立地或共同地指示和/或配置处理装置以根据需要操作，从而将处理装置转换为专用处理器。软件和数据可以在任何类型的机器、组件、物理设备或虚拟设备、计算机存储介质或装置中永久地或临时地实现，或者在能够向处理装置提供指令或数据或者由处理装置解释的传播信号波中实现。软件还可以分布在网络结合的计算机系统上，使得软件以分布式方式存储和执行。软件和数据可以由一个或多个非暂时性计算机可读记录介质存储。
[0163]
根据上述示例实施例的方法可以记录在包括程序指令的非暂时性计算机可读介质中，以实现上述示例实施例的各种操作。介质还可以单独地或与程序指令组合地包括数据文件、数据结构等。记录在介质上的程序指令可以是为了示例实施例的目的而专门设计和构造的程序指令，或者它们可以是计算机软件领域的技术人员公知和可用的类型。非暂时性计算机可读介质的示例包括磁介质(诸如，硬盘、软盘和磁带)；光学介质(诸如，cd-rom盘、dvd和/或蓝光盘)；磁光介质(诸如，光盘)以及专门被配置为存储和执行程序指令的硬件装置(诸如，只读存储器(rom)、随机存取存储器(ram)、闪存(例如，usb闪速驱动器、存储卡、记忆棒等)等)。程序指令的示例包括机器代码(诸如，由编译器产生的机器代码)和包含可以由计算机使用解释器执行的高级代码的文件。
[0164]
上述硬件装置可以被配置为用作一个或多个软件模块，以执行上述示例实施例的
操作，反之亦然。
[0165]
虽然本公开包括具体的示例实施例，但是对于本领域普通技术人员明显的是，在不脱离权利要求及其等同物的精神和范围的情况下，可以在这些示例实施例中进行形式和细节上的各种改变。在这里描述的示例实施例将仅以描述性含义考虑，而不是为了限制的目的。每个示例实施例中的特征或方面的描述将被认为适用于其他示例实施例中的类似特征或方面。如果所描述的技术以不同的顺序执行，并且/或者如果所描述的系统、架构、装置或电路中的组件以不同的方式组合和/或由其他组件或其等同物替换或补充，则可以实现合适的结果。
[0166]
因此，公开的范围不是由具体实施方式限定，而是由权利要求及其等同物限定，并且在权利要求及其等同物的范围内的所有变化将被解释为包括在公开中。