使用液体透镜、嵌入式数字信号处理器和软件的增强成像设备的制作方法

使用液体透镜、嵌入式数字信号处理器和软件的增强成像设备
相关申请的交叉引用
1.本技术基于35 u.s.c.
§
119要求于2019年3月18日提交的美国临时申请第62/819,848号的优先权的权益，该临时申请的内容通过引用以其整体结合于此。
技术领域
2.本公开总体涉及用于利用和控制液体透镜以用于图像捕获的系统和方法。


背景技术：

3.相机系统(例如，具有小而紧凑的光学器件的蜂窝电话)存在景深(dof)浅、像差、动态范围小和低光性能不佳的问题。不足的dof使得近距离录像或摄像尤其具有挑战性。另外，对于诸如机器视觉之类的系统(例如在汽车系统、自动检查和分析、过程控制或机器人应用、相机蜂窝电话图像和视频捕获系统、或其他应用中)，需要具有大dof的清晰图像或视频。
4.当前相机系统的大部分挑战是由于近距离、高像素计数的图像传感器、紧凑的光学器件、以及创建非常高分辨率场景的期望。换言之，使用当前相机系统的近距离成像引起导致分辨率(即，解析细节的能力)的损失和图像模糊的挑战。对于机器视觉，期望整个场景都被对焦，并且对象不由于自动对焦而改变位置，然而，使用当前相机系统实现这点也具有挑战性。
5.一些相机系统采用软件系统实现被称为焦点堆叠(focus stacking)的技术。然而，应用于基于机械透镜的系统的焦点堆叠由于透镜的运动引起视场的变化而遭受伪影，因此像素根据对焦位置以及在连续图像之间移动的对象而改变位置，从而造成运动模糊。具有实现焦点堆叠的此类相机系统在计算上和存储器带宽上也是密集的，因此，阻止了焦点堆叠技术的实时嵌入式实现。


技术实现要素：

6.在第一方面a1中，一种包括光学系统的成像设备，该光学系统具有带有至少一个透镜元件的透镜堆叠、图像传感器、以及至少一个控制器。至少一个透镜元件被配置成在最小对焦距离与最大对焦距离之间转换。图像传感器在位置上固定为与透镜堆叠相距一距离。成像设备被配置成当至少一个透镜元件在最小对焦距离与最大对焦距离之间转换时捕获多个图像，以生成合成堆叠图像。
7.第二方面a2包括所述的成像设备a1，其中至少一个透镜元件是基于电润湿的液体透镜、基于膜的液体透镜、或其组合。
8.第三方面a3包括第一至第二方面a1
‑
a2中任一项所述的成像设备，其中至少一个透镜元件包括至少两个透镜元件。
9.第四方面a4包括第一至第三方面a1
‑
a3中任一项所述的成像设备，其中至少一个
透镜元件包括：至少一个可移动透镜、至少一个液体透镜、或其组合。
10.第五方面a5包括第一至第四方面a1
‑
a4中任一项所述的成像设备，其中成像设备被配置成在小于10毫秒(ms)的图像获取时间范围内生成合成堆叠图像。
11.第六方面a6包括第五方面a5所述的成像设备，其中图像获取时间在4ms至8ms的范围内。
12.第七方面a7包括第一至第六方面a1
‑
a6中任一项所述的成像设备，其中光学系统进一步包括以下各项中的至少一项：变焦透镜、固定对焦透镜、远心透镜、半自动透镜、机动透镜、微距透镜、物镜、目镜、聚光透镜、补偿透镜或定焦透镜。
13.第八方面a8包括第一至第七方面a1
‑
a7中任一项所述的成像设备，其中在所述最小对焦距离与所述最大对焦距离之间的转换通过以以下各项模式中的至少一项模式来驱动至少一个透镜元件来进行：正弦模式、阶梯模式、斜变模式、设定点之间的斜变模式、或其组合。
14.第九方面a9包括第八方面a8所述的成像设备，其中转换以连续循环或以固定位置的序列来进行。
15.第十方面a10包括第一至第九方面a1
‑
a8中任一项所述的成像设备，并且进一步包括传感器控制器，该传感器控制器被配置成在至少一个透镜元件的转换期间以预定时间间隔同步透镜堆叠与图像传感器。
16.第十一方面a11包括第十方面a10所述的成像设备，其中预定时间间隔被编程为每个图像捕获之间的时间。
17.第十二方面a12包括第十一方面a11所述的成像设备，其中预定时间间隔是可变的或恒定的。
18.第十三方面a13包括第一至第十二方面a1
‑
a12中任一项所述的成像设备，并且进一步包括焦点堆叠控制器，该焦点堆叠控制器被配置成组合多个图像以生成合成堆叠图像。
19.第十四方面a14包括第一至第十三方面a1
‑
a13中任一项所述的成像设备，其中图像传感器包括：至少一个数字信号处理器(dsp)、至少一个中央处理器(cpu)、以及至少存储器单元。
20.第十五方面a15，一种包括第一至第十四方面a1
‑
a14中任一项所述的成像设备的移动电话。
21.第十六方面a16包括第十五方面a15所述的移动电话，其中当以80cm距离测量时，至少一个透镜元件具有至少74cm的有效景深(dofeff)。
22.第十七方面a17，一种包括第一至第十四方面a1
‑
a14中任一项所述的成像设备的机器视觉。
23.第十八方面a18包括第十七方面a17所述的机器视觉，其中当以20cm距离测量时，至少一个透镜元件具有至少1.4mm的有效景深(dofeff)。
24.第十九方面a19，一种包括第一至第十四方面a1
‑
a14中任一项所述的成像设备的显微镜。
25.第二十方面a20包括第十九方面a19所述的显微镜，其中当以3mm距离测量时，至少一个透镜元件具有至少10μm的有效景深(dofeff)。
26.鉴于下面的详细描述，将结合附图更充分地理解由本文所描述的实施例提供的这些和其他特征。
附图说明
27.附图中阐述的实施例本质上是说明性的和示例性的，并且不旨在限制由权利要求所限定的主题。当结合以下附图阅读时，可以理解对说明性实施例的以下详细描述，其中，用类似的附图标记指示类似的结构，并且其中：
28.图1示意性地描绘了根据本文示出和描述的一个或多个实施例的与光学系统相关的对象、对焦距离以及像平面之间的关系；
29.图2示意性地描绘了根据本文示出和描述的一个或多个实施例的描绘系统的视场的示例光学系统；
30.图3a示意性地描绘了根据本文示出和描述的一个或多个实施例的示例光学系统，其中透镜焦度相对于点对象较低；
31.图3b示意性地描绘了根据本文示出和描述的一个或多个实施例的示例光学系统，其中透镜焦度相对于点对象被对焦；
32.图3c示意性地描绘了根据本文示出和描述的一个或多个实施例的示例光学系统，其中透镜焦度相对于点对象较强；
33.图3d示意性地描绘了根据本文示出和描述的一个或多个实施例的示例光学系统，其中透镜焦度相对于点对象比图3c所描绘的透镜更强；
34.图4示意性地描绘了根据本文示出和描述的一个或多个实施例的具有用于图像捕获的光学系统的示例设备；
35.图5a描绘了根据本文示出和描述的一个或多个实施例的液体透镜的示例实施例的横截面图；
36.图5b描绘了根据本文示出和描述的一个或多个实施例的液体透镜的示例实施例的横截面图；
37.图6a示意性地描绘了根据本文示出和描述的一个或多个实施例的具有光学系统的成像设备的示例实现，其中从最小对焦距离到最大对焦距离收集一系列图像数据；
38.图6b示意性地描绘了根据本文示出和描述的一个或多个实施例的具有光学系统的成像设备的示例实现，其中在不同焦平面处收集均匀组和非均匀组的图像数据；
39.图7a绘制了根据本文示出和描述的一个或多个实施例的被配置成在最小对焦距离与最大对焦距离之间振荡的图形化的透镜对焦距离，其中在斜变(ramp)期间或在周期内拍摄图像；
40.图7b绘制了根据本文示出和描述的一个或多个实施例的在预定的最小对焦距离与预定的最大对焦距离之间可控地斜变的图形化的透镜对焦距离，其中在受控斜变期间拍摄图像；
41.图8说明性地描绘了根据本文示出和描述的一个或多个实施例的实时地捕获、处理并生成具有期望的景深的合成图像的方法的过程流程图；
42.图9示意性地描绘了根据本文示出和描述的一个或多个实施例的示例图像传感器的分解图；
43.图10是针对本文示出和描述的一个或多个实施例的示出像素尺寸与对焦距离之间的关系的曲线；
44.图11是针对本文示出和描述的一个或多个实施例的示出景深与对焦距离之间的关系的曲线；
45.图12是针对本文示出和描述的一个或多个实施例的示出有效分辨率与对焦距离之间的关系的曲线；
46.图13是针对本文示出和描述的一个或多个实施例的示出由单个点覆盖的像素与对焦距离之间的关系的曲线；
47.图14是针对本文示出和描述的一个或多个实施例的示出特征尺寸与对焦距离之间的关系的曲线；
48.图15是示出通过本文示出和描述的一个或多个实施例的实现在策略对焦距离处拍摄的10个图像的可解析特征尺寸和对焦距离之间的关系的曲线；以及
49.图16是针对本文示出和描述的一个或多个实施例的示出在12.5mm的对焦距离处的最小特征尺寸的曲线。
具体实施方式
50.本公开总体涉及用于利用和控制液体透镜以用于图像和视频捕获的系统和方法。本文描述的实施例公开了产生增加的或自适应的景深(“dof”)的技术，该技术具有可选择或可调谐的像素误差函数，适合于实时视频和合成图像生成。实施例和技术利用可变焦度(power)液体透镜(“ll”)、图像传感器、嵌入式存储器、以及由控制器执行的使得各部件能够执行如本文描述的预定操作的软件。在一些实施例中，图像传感器可包括嵌入式数字信号处理器(“dsp”)，该嵌入式数字信号处理器(“dsp”)使得能够将捕获的图像实时焦点堆叠成具有期望的扩展的dof的合成图像。
51.在实施例中，液体透镜、具有嵌入式dsp的快速和高分辨率图像传感器、诸如dram之类的存储器、以及被配置成执行液体透镜焦度控制逻辑、焦点堆叠逻辑、和/或其他逻辑的控制器的组合使得能够在录像和摄影中实时控制和扩展dof。更一般地，本文描述的实施例通过提供可以递送深dof从而增强性能的紧凑模块来增强包括诸如移动电话、显微镜、机器视觉系统等成像设备的相机模块和/或设备。例如，本文更详细地描述的系统和方法可以实现：(i)在从100mm至无穷远的距离中具有增强dof的实时特写视频；(ii)从10mm或更近距离的具有厘米范围dof的实时超微距视频；(iii)在保持dof的同时，使用大光圈的扩展的低光性能；(iv)在蜂窝电话相机中具有非常高分辨率的微距照片或视频，其在3
‑
5μm分辨率的量级，具有比传统系统大10
‑
20倍的dof；(v)在没有自动对焦的情况下从近距离到远距离以数个量级扩展的“超焦距”(例如，从150mm至无穷远的蜂窝电话相机超焦距)；(vi)利用包括在对焦点周围的少量图像的简单操作来增加图像的锐度(sharpness)；以及(vii)后置蜂窝电话相机的图像的改善的图像质量，该后置蜂窝电话相机具有可能超过任何当前仅光学相机系统的可用微距照片能力和深dof两者。更具体地，通过本文描述的实施例，后置蜂窝电话相机可包括优于dslr相机系统的用于肖像模式的模糊功能、在紧凑相机中模仿dslr性能的改善的图像清晰度(crispness)和dof、以及在蜂窝电话/移动电子设备、紧凑类型相机系统中的超微距启用的视频。
52.与传统光学系统相比，由对具有固定视场(“fov”)的液体透镜的快速可控焦度变化造成的本文描述的实施例的其他优点是，减少了像素内插伪影，并且在对焦距离范围内(例如，在一位数毫秒时间帧内)可快速捕获一定数量的连续图像。由于fov可以是固定的，因此可以利用图像传感器的嵌入式dram和dsp部件来支持以高速率(也被称为帧每秒，“fps”)捕获图像，并且可直接应用焦点堆叠算法以实现实时处理，而无需外部通信或部件。更具体地，将固定fov快速对焦透镜堆叠(例如，包括可控液体透镜)与能够进行快速图像捕获的高灵敏度成像器以及嵌入式存储器和dsp组合，使得紧凑光学成像系统的性能能够达到新的水平。
53.现在将在下文参考附图进一步详细描述本公开的实施例并且特别是用于利用和控制液体透镜以用于图像和视频捕获的系统和方法。
54.图1
‑
2和图3a
‑
3d提供对在整个说明书中使用的术语的一些初步背景和参考。图1描绘了与本文描述的光学系统相关的对象、对焦距离以及像平面之间的关系。光学系统通常包括图像传感器10、一个或多个透镜20，该一个或多个透镜20能够对焦在对象30上，使得像平面40被图像传感器10生成、对焦和捕获。在传统光学系统中，诸如图1所描绘的光学系统，尽管是简化版本，但在任何时间仅有一个像平面40可被对焦。图像中的所有其他点将基于一个或多个透镜20和图像传感器10的几何形状而不同程度地失焦。对象30、对焦距离以及像平面40之间的关系通常通过以下关系来管控：1/f 1/o＝1/i，其中“f”是透镜20焦距，“o”是物距，并且“i”是当对象30被对焦时的像平面距离。
55.图2描绘了本文描述的具有光学系统的fov(a)的光学系统的示例实施例。光学系统的fov(a)是图像传感器10的边缘与透镜20的中心之间的几何关系。视场是在空间中的特定位置和取向处通过相机可见(即，对图像传感器可见)的场景的部分；拍摄图像时在fov之外的对象不被记录在图像/视频数据中。fov通常被表示为视锥(view cone)的角尺寸，具体地表示为视角。对于标准透镜，对角线视场可被计算为a＝2*arctan(d/(2*sd))，其中“sd”是焦距而“d”是图像传感器尺寸。视场的尺寸和图像传感器的尺寸可直接影响图像分辨率。fov还可被表示为由焦点和像平面形成的三角形，尽管对于可变焦度透镜而言距离不是固定值。
56.不在与透镜中心相距对焦距离(即，焦平面)上的点失焦，在投影到图像传感器上并由图像传感器捕获的像平面上产生所谓的弥散圆(circle of confusion)。图3a
‑
3d描绘了基本光学系统的示例，每个基本光学系统具有带有不同透镜焦度的透镜20a
‑
20d(例如，透镜20a
‑
20d中可能包括或不包括液体透镜)，透镜20a
‑
20d在由图像传感器10捕获的像平面40a
‑
40d中生成点对象30的各种投影50a
‑
50d。在图3a中，透镜20a具有小于将像平面40a投影在图像传感器10上所需的焦度的透镜焦度，从而导致点对象30的投影50a被涂抹(smear)在图像传感器10上。换言之，点对象30的投影50a失焦。在图3b中，透镜20b具有将像平面投影在图像传感器10上的透镜焦度，从而导致点对象30的被对焦的投影50b。在图3c中，透镜20c具有相对于透镜20a和透镜20b的透镜焦度增加的透镜焦度。透镜20c将像平面40c投影在图像传感器10的前面，从而导致点对象30的投影50c被放大并且失焦。图3d描绘了其中透镜20d的透镜焦度相对于透镜20c进一步增加的光学系统。透镜20d将像平面40d投影在图像传感器10的前面，从而导致点对象30的投影50d相对于图3a和图3c中的投影进一步被放大并且失焦。在对象空间中投影点对象30的虚拟像平面40a
‑
40d应变于透镜焦度而
移动。图像传感器10的固定传感器平面捕获应变于物距和透镜焦度的弥散圆。这意味着当透镜焦度不生成与图像传感器10的传感器平面相对应的像平面时，场景中在一距离处的点可被涂抹在应变于距离的面积上。
57.图像中的涂抹点降低了图像的锐度。这产生分辨率损失(较少的解析(resolved)像素)，使得最小可检测对象变得更大(即，角频率的损失增加)。可检测对象应变于视场、有源像素的数量、以及到对象的距离或者角分辨率。
58.如本文所使用的，景深(“dof”)定义为在图像中被可接受地清晰对焦的最近对象与最远对象之间的距离。该距离受来自点源的入射射线在远离焦平面(“pof”)移动时的角度变化率的影响。当查看由焦点(即，点对象30)和像平面40形成的三角形(图1所描绘的虚线)时，这转换为光圈尺寸、对焦距离、以及像平面与透镜之间的距离。例如，如图3c和图3d所描绘的，近距离产生角度上的快速变化和浅dof。大光圈也增大角度并产生浅dof。此外，图像传感器中增加的像素数量产生更大的角度(即，保持像素尺寸恒定)或有更多像素被相同弥散圆覆盖(即，缩小像素，保持图像传感器尺寸恒定)；这两个选项都产生浅dof。
59.本文描述的实施例利用改变透镜焦度的上述概念，通过一系列顺序图像来捕获在对象空间中不同距离处的点，然后使用焦点堆叠逻辑来组合该一系列顺序图像以生成具有扩展的dof的合成图像。在一些实施例中，如将在本文中更详细地描述的，液体透镜可被配置成通过经由施加到液体透镜的可控焦度变化而有效地改变液体透镜的焦度来从最小对焦距离转换(例如，振荡或可控地斜变)到最大对焦距离。
60.通过焦点堆叠来扩展dof建立在以下原理上：具有最高对比度(即，最快变化率)的像素是被涂抹最少(即，最被对焦)的像素并且将创建“正确的”图像。即场景中的每个点发射器(即，点对象)将是一点(即，当被对焦时具有最大变化率)，并且对象距离焦平面越远，该点将被越来越多地涂抹在几个像素上。本文的实施例通过以下方式来利用焦点堆叠：在不同焦平面处拍摄多个图像(例如，创建图像堆叠)，然后通过从堆叠中的每个图像中选择“最大对比度”像素并将该像素组合成单个帧或图像来创建合成图像。
61.当将焦点堆叠应用于由传统光学系统捕获的图像时，仅使用光学透镜产生若干挑战。例如，焦点堆叠需要大量计算要求、像素配准、像素内插(例如，当fov存在变化时)、以及解决伪影的存在。这些挑战阻止了传统光学系统实时地执行焦点堆叠。
62.然而，使用例如具有光学图像稳定(“ois”)的快速对焦、宽屈光度范围的液体透镜，结合快速图像传感器和分布式处理，可以减轻上述挑战并且可以实现实时焦点堆叠，从而产生具有扩展的dof和高分辨率的合成图像。
63.现在转到图4，描绘了包括用于图像捕获和生成具有扩展的dof和高分辨率的合成图像的光学系统101的设备100(诸如成像设备)。光学系统101包括液体透镜104或其他类型的可变焦透镜。光学系统101可被结合到移动电子设备中，诸如智能电话、蜂窝电话、平板计算机、膝上型计算机等中。在实施例中，光学系统101可在专用相机设备中，诸如傻瓜相机(point
‑
and
‑
shoot camera)、数字单透镜反射(dslr)相机或任何其他合适类型的相机中使用。在实施例中，光学系统101可被结合到其他设备或系统中，诸如轿车或其他汽车或机动交通工具、诸如显微镜之类的科学装备等中。
64.通常，光学系统101可包括透镜堆叠102，透镜堆叠102具有液体透镜104和封围在外壳110中的一个或多个透镜元件108。光学系统101可进一步包括图像传感器106和控制器
120，控制器120通信地耦合到图像传感器106和液体透镜104。光学系统101可进一步包括用户界面130、存储器140、运动传感器150、自动对焦系统160、电源170、以及数字信号处理器180，这些部件经由通信路径115彼此通信地耦合并与光学系统101的其他部件通信地耦合。
65.存储器140可以存储可由控制器120访问和执行的一个或多个逻辑单元(例如，机器可读指令)。一个或多个逻辑单元包括透镜控制逻辑142、传感器控制逻辑144、焦点堆叠逻辑146、以及系统逻辑148。
66.应理解，虽然以分布式方式描绘部件，但是光学系统101的部件可以彼此组合和/或集成以形成小区(cell)或模块或单个电子芯片。还应理解，虽然描绘了许多部件的仅一个实例，但是光学系统101可包括本文描绘和描述的部件的多于一个实例。
67.具体地参考光学系统101的部件，通信路径115可以由能够传输信号的任何介质形成，诸如例如，导电线，导电迹线、光波导等。通信路径115还可以是指其中电磁辐射及其对应的电磁波横穿的范围。此外，通信路径115可以由能够传输信号的介质的组合形成。在一个实施例中，通信路径115包括导电迹线、导电线、连接器和总线的组合，其协同以允许将电数据信号传输到诸如控制器、存储器、传感器、输入设备、输出设备和通信设备之类的部件。因此，通信路径115可包括总线。此外，应当注意术语“信号”是指能够穿过介质行进的波形(例如，电波形、光波形、磁波形、机械波形或电磁波形)，诸如dc、ac、正弦波、三角波、方波、振动等。通信路径115通信地耦合光学系统101的各种部件。如本文所使用的，术语“通信地耦合”是指耦合的部件能够与彼此交换信号，诸如例如，经由导体介质的电信号、经由空气的电磁信号、经由光波导的光信号等。
68.在一些实施例中，液体透镜104(或其他可变焦透镜)可将光引导到图像传感器106以产生图像。在实施例中，液体透镜104可以是如2015年12月1日公布的题为“liquid lens arrays(液体透镜阵列)”美国专利第9,201,174号(
“‘
174专利”)和2018年8月31日提交的题为“liquid lens(液体透镜)”的pct专利申请第pct/us2018/049092号(
“‘
092申请”)所公开的液体透镜，这些专利中的每一者通过引用以其整体结合于此。相对于描绘液体透镜104的示例实施例的横截面图的图5a和图5b简要地描述了液体透镜104。图5a和图5b的液体透镜104可具有与
‘
174专利中公开的液体透镜相同或类似的特征，并且可以使用与
‘
174专利中公开的那些技术类似的技术来制造。液体透镜104可以是基于电润湿的液体透镜、基于膜的液体透镜或其组合。液体透镜104可以具有腔体212，腔体212容纳至少两个基本上不混溶的流体(例如，液体)，诸如第一流体214和第二流体216，形成流体界面(例如，液体界面)215。第一流体214可以是导电的并且第二流体216可以是电绝缘的。在一些实施例中，第一流体214可以是极性流体和/或水溶液。在一些实施例中，第二流体216可以是油。第一流体214可以具有比第二流体216更高的介电常数。下部窗218(例如，有时被称为第一窗)可以在腔体212下方，下部窗218可包括透明板，并且上部窗220(例如，有时被称为第二窗)可以在腔体212上方，上部窗220也可包括透明板。尽管在本文中使用术语下部窗218和上部窗220，但应理解，液体透镜104可被定位成不同取向，该取向可以与示例附图中所示的取向不同，包括其中下部窗218定位在高于上部窗220的位置(例如，从图5a中所示的位置倒置)。至少一个电极(诸如电极222)可以通过绝缘材料224与腔体212中的流体214和流体216绝缘。第二电极226可以与第一流体214电连通。例如，在一些实施例中，第二电极可以与第一流体214直接电接触。而在其他实施例中，第二电极226可以诸如通过电容耦合来与第一流体214间接
电连通，而不存在第二电极226与第一流体214之间的直接接触。
69.电压可被施加在电极222与电极226之间以控制流体214与流体216之间的流体界面215的形状，诸如以改变液体透镜104的焦距(即，由此改变图像传感器的视场中的对焦距离和焦平面的位置)。图5a示出了处于第一状态的液体透镜104，在第一状态中没有电压施加在电极222与电极226之间，而图5b示出了处于第二状态的液体透镜104，在第二状态中电压被施加在电极222与电极226之间。腔体212可以具有由疏水材料制成的一个或多个侧壁。例如，绝缘材料224可以是疏水的。在一些实施例中，绝缘材料224可以是聚对二甲苯，聚对二甲苯可以是绝缘且疏水的。在一些实施例中，可以使用单独的疏水层。当没有施加电压时，在侧壁上的疏水材料可以排斥第一流体214(例如，水溶液)，使得第二流体216(例如，油)可以覆盖侧壁的相对较大的面积以产生图5a中所示的流体界面215形状。当电压经由第二电极226施加在第一电极222与第一流体214之间时，第一流体214可被吸引到第一电极222和/或第一流体214对侧壁上的疏水材料的润湿性可能增加，这可驱动流体界面215的位置沿侧壁向下，使得更多侧壁面积与第一流体214接触。可以通过在电极222与电极226之间施加不同量的电压来将流体界面215驱动到各种不同的位置。
70.在一些实施例中，控制器120可以向电极222和电极226施加电压序列(例如，电信号)，使得液体透镜104在最小对焦距离与最大对焦距离之间振荡，由此在受控斜变期间或在振荡周期内拍摄图像。在一些实施例中，控制器120可以向电极222和电极226施加电压，使得液体透镜104在预定的最小对焦距离与预定的最大对焦距离之间转换，其中在受控斜变期间拍摄图像。液体透镜104(例如，具有0屈光度的液体界面)可被驱动以在以下时间段内转换(例如，振荡或可控地斜变)通过期望的对焦距离范围：约500ms或更快、约400ms或更快、约300ms或更快、约200ms或更快、约100ms或更快、约80ms或更快、约70ms或更快、约60ms或更快、约50ms或更快、约40ms或更快、约30ms或更快、约20ms或更快、约10ms或更快、约5ms或更快、约1ms或更快、或其间的任何范围或值。此外，液体透镜104可具有为约0屈光度、0.5屈光度或更小、1屈光度或更小、2屈光度或更小、3屈光度或更小、4屈光度、5屈光度或更小、6屈光度或更小、7屈光度或更小、8屈光度或更小、9屈光度或更小、10屈光度或更小、20屈光度或更小、30屈光度或更小、40屈光度或更小、50屈光度或更小、或0.5屈光度与50屈光度之间的任何值的屈光度。
71.返回参考图4，光学系统101可包括一个或多个透镜元件108的堆叠，一个或多个透镜元件108可被固定就位，并且可被定位在液体透镜104与图像传感器106之间。一个或多个透镜元件108可包括各种透镜类型，诸如双凸透镜、平凸透镜、正弯月面、负弯月面、平凹透镜、双凹透镜、双合透镜(doublet)、非球面透镜和消色差透镜元件等的任意组合。光学系统101的一个或多个透镜元件108可以包括以下各项中的至少一项：变焦透镜、固定对焦透镜、远心透镜、半自动透镜、机动透镜、微距透镜、物镜、目镜、聚光透镜、补偿透镜或定焦透镜。在一些实施例中，至少一个透镜元件108包括至少两个透镜元件。例如，至少一个透镜元件108包括至少一个可移动透镜、至少一个液体透镜或其组合。一个或多个透镜元件108可以对被引导到图像传感器106的光执行各种光学操作，诸如对焦、散焦和减少光学像差。在一些实现中，一个或多个透镜元件106可被省略，并且液体透镜104可以在没有中间光学元件的情况下将光引导到图像传感器106。在一些实施例中，液体透镜104可被定位在一个或多个透镜元件108与图像传感器106之间。在一些实施例中，液体透镜104可被定位在一个或多
个光学元件108之间。在一些实施例中，光学系统101可包括第二液体透镜104，并且透镜系统可使用这两个液体透镜104来实现相机变焦功能(例如，光学变焦功能)。一个或多个透镜元件108的液体透镜104可具有的有效dof为：当以80cm的距离测量时为至少74cm，当以20cm的距离测量时为至少1.4mm，当以20cm的距离测量时为至少60mm，当以12.5mm的距离测量时为至少0.1mm，当以3mm的距离测量时为至少10μm，当以12.5mm的距离测量时为至少4μm，当以3mm的距离测量时为至少10μm，或另一有效dof。
72.外壳110可相对于图像传感器106定位液体透镜104和/或一个或多个透镜元件108。外壳110可以是封围结构，或者被配置成定位光学系统101的元件的任何其他合适的支撑结构。一个或多个透镜元件108的光轴112可以与液体透镜104的结构轴111对齐，当没有光学倾斜被施加到液体透镜104时，结构轴111还可与液体透镜104的光轴113对齐。当光学倾斜角114被施加到液体透镜104时，液体透镜104的光轴113可以相对于一个或多个透镜元件108的光轴112成角度。光轴112可以与图像传感器106相交，诸如在图像传感器106的中心区域处相交。在一些实施例中，诸如在液体透镜104与图像传感器106之间的一个或多个反射光学元件(例如，镜)可用于重定向光学系统101中的光。
73.仍参考图4，光学系统101可包括图像传感器106，图像传感器106可以是电荷耦合(ccd)传感器、或互补金属氧化物半导体(cmos)传感器、或任何其他合适类型的图像传感器10。图像传感器106可以接收光并生成电信号以产生电子图像。数字图像传感器106可具有多个传感器像素，该多个传感器像素可具有在约0.5微米与约10微米之间的像素尺寸。例如，图像传感器106的像素可具有的像素尺寸为约0.5微米、约0.6微米、约0.7微米、约0.8微米、约0.9微米、约1.0微米、约1.1微米、约1.2微米、约1.5微米、约2微米、约2.5微米、约5微米、约7.5微米、约8微米、约9微米、约10微米、或其间的任何值、或由这些值的任何组合界定的任何范围，尽管在一些实例中可以使用这些范围以外的值。图像传感器106可具有的像素密度为约1000像素每mm2、约1200像素每mm2、约1500像素每mm2、约2500像素每mm2、约5000像素每mm2、约10,000像素每mm2、约25,000像素每mm2、约50,000像素每mm2、约100,000像素每mm2、约250,000像素每mm2、约500,000像素每mm2、约750,000像素每mm2、约850,000像素每mm2、约900,000像素每mm2、约950,000像素每mm2、或约1,000,000像素每mm2、或约2,000,000像素每mm2、或约3,000,000像素每mm2、或约4,000,000像素每mm2、或约5,000,000像素每mm2、或其间的任何值、或由这些值的任何组合界定的任何范围，尽管在一些实例中可以使用这些范围以外的值。
74.此外，图像传感器106可被配置成具有快速图像获取功能，例如，获取速度为约30
‑
40帧每秒(“fps”)、50
‑
100fps、100
‑
500fps、500
‑
1000fps、或30fps、40fps、50fps、60fps、70fps、80fps、90fps、100fps、110fps、120fps、130fps、140fps、150fps、160fps、170fps、180fps、190fps、200fps、300fps、400fps、500fps、600fps、700fps、800fps、900fps、1000fps、1100fps、1200fps、1300fps、1400fps、1500fps、1600fps、1700fps、1800fps、1900fps、2000fps、或其间的任何值。
75.光学系统101可包括控制器120。控制器120可包括任何(多个)处理部件，诸如被配置成接收和处理编程指令(诸如来自存储器140的编程指令)的中央处理单元。指令可以是存储在存储器140中的机器可读指令集的形式。控制器120可被配置成操作液体透镜104，诸如被配置成调节焦距和/或对焦方向。例如，控制器120可被配置成用电压驱动液体透镜104
的电极，该电压被配置成实现特定焦距(例如，在对象空间中形成一个或多个焦平面)和/或对焦方向和/或在最大对焦距离至最小对焦距离之间或在其间的任何第一对焦距离与第二对焦距离之间转换液体透镜。
76.控制器120可以控制图像传感器106。例如，控制器120可以处理从图像传感器106接收的信号以产生图像。控制器120也可用于控制其他部件，诸如在所选择的时间启用图像传感器106以实现快门功能的快门(例如，图4中未示出的物理快门)或电子快门、或用户界面130等。在一些实施例中，控制器120可以操作结合了光学系统101的设备100的其他功能，诸如智能电话或平板计算机上的其他功能等。在一些实施例中，不同控制器可用于控制液体透镜104、图像传感器106、用户界面130、以及光学系统101或合并设备100的其他部件中的一者或多者。
77.光学系统101可包括用户界面130，用户界面130可被配置成从用户接收输入，诸如通过一个或多个按钮、开关、拨号、麦克风、触摸屏或其他用户输入元件。用户界面130可接收命令以生成图像、一系列图像、或视频、用于改变相机设置的输入、用于启用、禁用诸如自动对焦、光学图像稳定和/或变焦之类的特征或为该特征设置参数的命令。用户界面130可被配置成向用户输出信息，诸如通过一个或多个显示屏、扬声器、打印机、或其他信息输出元件。用户界面130可以显示通过相机系统拍摄的图像、或正在被成像的区域的预览、或关于相机系统的设置的信息。在一些实施例中，诸如对于触摸屏显示器，用户输入和输出元件可被组合。
78.光学系统101可包括存储器140(也被称为存储器单元、存储器部件、存储器模块等)，存储器140可以是非瞬态计算机可读存储器。存储器140可被配置成易失性和/或非易失性存储器并且因此可包括随机存取存储器(包括sram、dram和/或其他类型的随机存取存储器)、闪存、寄存器、致密盘(cd)、数字通用盘(dvd)和/或其他类型的存储部件。控制器120可包括一个或多个计算机硬件处理器，该一个或多个计算机硬件处理器可执行存储在存储器140中的机器可读指令以实现本文描述的操作和特征。存储器140可用于存储由图像传感器106和/或光学系统101生成的图像或视频。存储器140可用于存储关于光学系统101的设置和参数的信息和/或由此生成的图像的信息。在实施例中，光学系统101可包括多个存储器模块，该多个存储器模块可以是共享的或者可以专用于各类型的存储。例如，第一存储器模块可用于存储计算机可执行指令，在一些情况下第一存储器模块可以是只读的，而第二存储器模块可用于存储由光学系统101生成的图像。
79.附加地，存储器140可以被配置成存储透镜控制逻辑142、传感器控制逻辑144、焦点堆叠逻辑146、以及系统逻辑148(作为示例，其中的每一者可以被体现为计算机程序、固件、或硬件)。透镜控制逻辑142可包括用于控制到液体透镜104的功率(例如，电子信号)的指令。通过控制到液体透镜104的功率，可以在最大对焦距离至最小对焦距离之间或在其间的任何第一对焦距离与第二对焦距离之间循环地驱动焦距。透镜控制逻辑142可被配置成控制液体透镜到固定位置的序列或通过受控斜变。传感器控制逻辑144可包括用于同步诸如运动传感器150、距离或深度传感器、对焦传感器等的一个或多个传感器的指令，使得可在期望的时间和期望的对焦距离捕获图像。焦点堆叠逻辑146可包括用于组合以不同焦距(即，在不同焦平面处)拍摄的多个顺序图像，以生成具有期望的景深和分辨率的合成图像。在一些实施例中，机器可读指令集中的一个或多个机器可读指令集可通过采用经训练的神
经网络的机器学习模型来实现。例如，神经网络可被训练成自动地将期望的焦平面与用于将液体透镜驱动到期望的焦平面(即，焦距)的功率控制信号同步。在一些实施例中，光学系统101可包括焦点堆叠控制器，该焦点堆叠控制器被配置成组合多个图像以生成合成的经堆叠图像。焦点堆叠控制器可执行焦点堆叠逻辑146。系统逻辑148可包括操作系统和/或其他软件以用于管理光学系统101和/或包括光学系统101的设备100的部件。
80.光学系统101可包括运动传感器150，运动传感器150可提供与光学系统101的运动有关的信息。例如，运动传感器150可以是加速度计、陀螺仪传感器、或可以响应于光学系统101的运动而提供信息的任何其他类型的运动传感器150。运动传感器150可以与液体透镜104一起使用以实现光学图像稳定特征。运动传感器150可向控制器120提供运动信息，并且控制器120可以驱动液体透镜104以至少部分地补偿由运动传感器150检测到的光学系统101的运动。例如，如果光学系统101在使用期间摇动，则运动传感器150可以测量该运动并且向控制器120提供与光学系统101的移动有关的信息，诸如移动的方向和/或移动的量。作为示例，运动传感器150可以提供指示光学系统101已经在向下方向上旋转一些量的信息。控制器120可以确定用于驱动液体透镜104(例如，通过倾斜流体界面215)以至少部分地补偿相机运动的参数。本文公开的一些示例涉及倾斜流体界面215以产生0.6度的光学倾斜。控制器120可以使用查找表或公式来确定要施加到液体透镜104的四个电极222a
‑
d以产生光学倾斜(例如，在该示例中为0.6度的向上光学倾斜)的电压。在一定时间之后，运动传感器150可以(例如，周期性地)提供经更新的运动信息，并且控制器120可以相应地调节液体透镜104。物理倾斜与光学倾斜之间的关系可以至少部分地取决于第一流体214(例如，极性流体)的折射率与第二流体216(例如，非极性流体)的折射率之间的差异。
81.光学系统101可包括自动对焦系统160。例如，自动对焦系统160可以使用相位检测、图像对比度检测、或激光距离检测、或任何其他合适的技术，以提供信息以用于确定如何驱动液体透镜104的焦距。控制器120可接收信息并且可确定如何驱动液体透镜104以实现适当的焦距。作为示例，自动对焦系统160可以确定图像目标与光学系统101相距5米。控制器120可使用该信息以确定如何驱动液体透镜104，使得光学系统101实现5米的焦距。例如，控制器120可使用查找表或公式来确定要施加到液体透镜104的电极以实现液体透镜104的适当焦距的电压。控制器120可以使用液体透镜104来同时地控制焦距(例如，用于自动对焦)和对焦方向(例如，用于光学图像稳定)。光学系统101可包括电源170以用于向光学系统101的部件(诸如控制器120、液体透镜104、传感器等)提供电功率。在一些实施例中，电源170可以是电池。
82.光学系统101可包括数字信号处理器180。数字信号处理器(“dsp”)180是具有用于执行对数字信号的优化处理的架构从而使得能够实时地处理信号的专用控制器。dsp 180是被配置成对一系列数据样本(诸如来自图像传感器106的图像数据)快速且重复地执行大量数学运算的设备。在一些实施例中，dsp 180可以被集成到图像传感器106中，或者可以通信地耦合为光学系统101的部件。
83.现在参考图6a和图6b，在操作中，至少相对于图4详细地描述的光学系统101的控制器120被配置成在如图6a所描绘的最小对焦距离310与最大对焦距离320之间转换(例如，振荡或可控地斜变)液体透镜104和/或透镜堆叠102。通过将液体透镜104转换通过各种对焦长度(即，对焦距离)，生成了多个焦平面311
‑
313。图像传感器106可进一步被配置成以预
定帧率捕获图像数据，使得在液体透镜104在最小对焦距离310与最大对焦距离320之间振荡或从最小对焦距离310和最大对焦距离320可控地斜变时，在一个或多个焦平面311
‑
313处捕获图像数据。在一些实施例中，图像传感器106可被控制以在预定间隔处时捕获图像数据，在该预定间隔处，液体透镜104被配置成处于限定对象空间内的焦平面的预定焦距。
84.转到图6b，可以从焦平面331、333、335的非均匀组330、或从焦平面341、343、345、347的均匀组340捕获图像数据。例如，图像传感器106可被配置成在非均匀组330中捕获图像，使得在至少第一焦平面331与第二焦平面333之间的焦距变化和在至少第二焦平面333与第三焦平面337之间的焦距变化不同。可以例如通过机器视觉系统来利用焦平面331、333、335的非均匀组330，该机器视觉系统被特别地配置成捕获和分析环境中的特定距离处的图像数据。例如，交通工具的机器视觉系统可能需要在远离交通工具的距离处具有dof的高分辨率图像数据以分析即将到来的车流和交通工具的位置，但是可能还需要获取靠近该交通工具的高分辨率图像数据使得可以分析指示牌。同时，近对焦距离和远对焦距离之间的空间对于机器视觉系统可能没有很高价值，因此，那些部分的dof可能不以与其他部分一样高的分辨率或对焦来捕获。例如，在一些实施例中，lidar系统可以确定到驾驶环境内的对象的距离，并且光学系统101可以随后将图像传感器106配置成在与环境中的物距相对应的焦平面处捕获图像数据。可以使用焦点堆叠逻辑来自动地处理所收集的图像以生成具有可变dof的合成图像或视频帧，该可变dof与捕获图像数据的焦平面相对应。
85.在一些实施例中，图像传感器106可被配置成在均匀组340中捕获图像，使得相邻焦平面341、343、345、347中的每一者之间的焦距变化大体上相等。通过捕获图像的均匀组340，可以使用焦点堆叠逻辑来处理所收集的图像堆叠以生成具有扩展的或更大的dof的高分辨率合成图像。类似于上述示例，交通工具的机器视觉系统可能需要具有大dof的图像数据，以更好地将环境可视化并识别环境中的对象、交通工具、危险、标识牌等。
86.图7a和图7b描绘了图形化的(figurative)透镜对焦距离相对于时间的曲线。具体地，图7a绘制了被配置成在最小对焦距离与最大对焦距离之间振荡的形象的透镜对焦距离，其中在斜变期间或在一个或多个周期内拍摄图像。在一些实施例中，液体透镜被设置成在最小(
‑
1)对焦距离与最大(1)对焦距离之间振荡。图像传感器捕获在液体透镜振荡的同时对所选择的dof进行采样的图像序列。与液体透镜被固持在静态位置的配置相比，通过在预定位置之间振荡或可控地斜变液体透镜减小了液体透镜的波前误差。这是特别有用的，因为液体透镜的共同挑战是将它们驱动到特定焦距；然而，使用全周期减轻了此问题，因为图像传感器可以在液体透镜在对焦距离范围内振荡时捕获图像。然后，可以实现焦点堆叠逻辑以将图像组合成合成图像或视频帧以用于输出或由另一系统或程序进一步分析。所得图像可具有接近透镜在最小距离与最大距离之间的对焦范围的dof。附加地，所得合成图像可接近具有大得多的f数的相机。
87.在一些实例中，如上文描述的紧凑配置中的开环振荡透镜可以将超焦距扩展到更接近传统相机的超焦距。例如，超焦距可以从5m至无穷远扩展到30cm至无穷远。此外，当前的光学系统可用于在近距离微距或显微镜应用中将dof从几分之一毫米扩展到厘米范围。这可以进一步使得能够在蜂窝电话或手持式应用中进行非常近距离成像和视频检查。
88.图7b绘制了在预定的最小对焦距离与预定的最大对焦距离之间可控地斜变的图形化的透镜对焦距离，其中在受控斜变期间拍摄图像。在受控斜变应用中，液体透镜可从预
定的最小对焦距离被驱动到预定的最大对焦距离。液体透镜控制逻辑和传感器控制逻辑可被训练或校准以将跨斜变的对焦距离与已知距离同步。例如，光学系统可包括传感器控制器，该传感器控制器被配置成在至少一个透镜元件的振荡期间以预定时间间隔同步透镜堆叠与图像传感器。预定时间间隔被编程为每次图像捕获之间的时间。在一些实施例中，预定时间间隔是可变的或恒定的。然后，传感器可以捕获对与透镜运动和/或对象空间中的特定距离(即，光学系统的fov)同步的所选择的dof进行采样的图像序列。然后，可以实现焦点堆叠逻辑以将图像组合成合成图像或视频帧以用于输出或由另一系统或程序进一步使用。所得图像可具有接近透镜在最小距离与最大距离之间的对焦范围的dof。附加地，所得合成图像可接近具有大得多的f数的相机。
89.在一些实施例中，采用经训练以将跨液体透镜的斜变的特定焦距与实际距离同步的神经网络的机器学习模型可提供对图像传感器和图像捕获的距离控制。机器学习模型可有助于控制液体透镜和图像传感器的图像捕获定时，因为一些液体透镜在对焦距离范围内振荡时以非线性方式表现。可从诸如自动对焦系统和/或运动传感器之类的传感器输入实际距离。在一些实例中，通过机器学习的图像传感器的同步和校准以及液体透镜的受控斜变，可从合成图像中提取距离。
90.现在转到图8，现在将参考本文描绘的过程流程图400来描述实时地捕获、处理并生成具有期望的景深的合成图像的方法。该方法可包括，在框410处，获取图像。如本文描述的，控制器可将光学系统的液体透镜配置成在第一对焦距离与第二对焦距离之间振荡或可控地斜变。控制器可进一步使图像传感器在不同对焦距离处连续捕获图像序列。例如，液体透镜可从第一对焦距离(例如，靠近成像设备)被驱动到远焦点(例如，远离成像设备)，同时图像传感器以均匀或不均匀的时间间隔拍摄多个图像(例如，10个图像)的序列。在一些实施例中，图像传感器可被配置成以300fps捕获图像。在液体透镜振荡时，图像传感器可捕获10个图像，使得每个图像与唯一的对焦距离相对应并且图像形成图像堆叠。
91.在一些实施例中，期望的对焦距离被输入到光学系统中和/或由控制器计算，并被变换为图像传感器要为图像堆叠捕获图像的位置(即，焦平面)序列或时间间隔。期望的对焦距离可从所得的用于应用的合成图像的所需的精度、分辨率的水平、期望的dof、和/或其组合中确定。附加地，在确定要捕获的图像数量时，可考虑诸如最大曝光时间、图像中的运动量、光照条件等因素。
92.液体透镜的转换可由控制器控制，使得振荡或受控斜变是连续的，在预定焦距处停止或减慢，使得可以在期望的焦平面处捕获更清晰的图像。最小对焦距离与最大对焦距离之间的振荡可通过以以下各项模式中的至少一项模式来驱动至少一个透镜元件来进行：正弦模式、阶梯模式、斜变模式、设定点之间的斜变模式或其组合。可以以连续循环或以固定位置的序列来进行振荡。在一些实施例中，快门定时可被配置成与振荡或受控斜变速度相比为短的，使得可以在连续扫动期间捕获质量图像。
93.在一些示例中，液体透镜可被驱动以从第一对焦距离转换到第二对焦距离(即，从第一透镜焦度值到第二透镜焦度值)。即，透镜可被驱动以从第一对焦距离转换到中间对焦距离，其中液体透镜在被驱动到第二对焦距离之前被保持在中间对焦距离达预定时间量。例如，透镜可被配置成在第一斜变时间(例如，4ms)从第一对焦距离(即，第一透镜焦度值)斜升或斜降到中间对焦距离(即，在第一透镜焦度值与第二透镜焦度值之间的中间透镜焦
度值)。当由图像传感器捕获一个或多个图像或帧时，控制器可以使透镜保持在中间对焦距离达第一固持时间(例如，29ms)。然后，控制器可以在第二斜变时间(例如，5ms)内将透镜从中间对焦距离驱动到第二对焦距离。在一些实施例中，图像传感器可以连续地捕获图像或视频帧，而不管液体透镜是正从一个对焦距离转换到另一个对焦距离还是被固持在中间对焦距离。应理解，斜变时间和固持时间可被设置为0.5ms与60秒之间的任何值，例如但不限于，0.5ms、1ms、2ms、3ms、4ms、5ms 6ms、7ms、8ms、9ms、10ms、11ms、12ms、13ms、14ms、15ms、16ms、17ms、18ms、19ms、20ms、30ms、40ms、50ms、60ms、70ms、80ms、90ms、100ms、200ms、300ms、400ms、500ms、600ms、700ms、800ms、900ms、1s、10s、20s、30s、40s、50s或60s。
94.应理解，控制器可以驱动透镜以任何模式在对焦距离之间转换，例如，正弦模式、阶梯模式、斜变模式、设定点之间的斜变模式或其组合。
95.在框420处，当图像被捕获时，图像可通过低通滤波器处理以用于降噪(例如，也被称为高斯平滑)。可实现以100至500gops、200至600gops、300至700gops、400至800gops、100至800gops、200至800gops、或其任何组合或速度操作的dsp以处理图像，使得实时图像处理是可行的。在一些实施例中，具有光学系统101的设备100被配置成在小于500毫秒(ms)、小于400ms、小于300ms、小于200ms、小于100ms、小于90ms、小于80ms、小于70ms、小于60ms、小于50ms、小于40ms、小于30ms、小于20ms、小于10ms、小于5ms、小于1ms、或在500ms与1ms之间的任何值的图像获取时间范围内生成合成图像(在本文中也被称为“合成堆叠图像”)。在一些实施例中，图像获取时间可以在100ms至10ms的范围内、在50ms至10ms的范围内、在20ms至10ms的范围内、在10ms至1ms的范围内、在8ms至2ms的范围内、在8ms至4ms的范围内、在10ms至6ms的范围内、或在500ms与1ms之间的任何范围内。在一些实施例中，图像获取时间可以在1ms与100ms之间，例如并且不受限制，5ms、8ms、10ms、16.5ms、20ms、25ms、30ms、33ms、40ms、52ms、72ms、80ms、94ms、96ms、100ms、或1ms与100ms之间的任何值。
96.在框430处，可应用微分滤波器(例如，拉普拉斯滤波器)来识别图像中的每个图像的边缘(即，对比度)。在一些实施例中，高斯和拉普拉斯卷积可被折叠(collapsed)到单个滤波器：高斯差分(difference of gaussian)中，因为高斯和拉普拉斯卷积是可交换的。此外，滤波器的尺寸可取决于图像要求而变化。例如，低通滤波器的频率越高，检测器将会越清晰或越多噪声。在一些实施例中，可使用带通滤波器或自适应低通方案。
97.一旦处理了图像堆叠中的每个图像，就在框440处将图像堆叠组合成合成图像352。图像堆叠中的经滤波图像包含跨图像的“深度”图，其中最大对比度像素与该像素的最近对焦距离相对应。即，来自原始图像堆叠的在经滤波图像中具有最高对比度值的像素被选择用于合成图像352。另一方法可以是在观察到像素涂抹应变于物距、透镜堆叠和对焦距离的图像之间内插。然后，可以通过近似涂抹函数来估计实际像素位置。所选择的像素被组合成具有期望的分辨率和dof的合成图像352。在框450处，光学系统可以输出合成图像352或视频。合成图像352还可被传输到另一系统或设备。
98.通常，光学系统通过实现例如嵌入式dsp和/或控制器、存储器(例如，dram)以及快速对焦焦度变化液体透镜来实现对多个图像的实时焦点堆叠，使得实现用于生成(与由传统光学系统生成的那些图像相比)高分辨率和扩展的dof合成图像的独特解决方案。如上所述，传统光学系统，即不利用本文描述的光学系统的部件(诸如液体透镜或嵌入式dsp)的那些光学系统，面临着昂贵的像素配准过程、运动伪影和大计算负载的挑战。
99.例如，假设物距为15mm，单个图像dof 0.5和30fps，1ms获取时间，以及20m像素图像传感器。在这样的示例中，透镜将需要在10ms内移动通过对焦距离的范围，从而导致40gb/s的数据(2字节/像素)和大约200
‑
800gops的dsp性能，在传统光学系统中实现这些将是困难且昂贵的。此处，嵌入式dsp和液体透镜的快速对焦焦度变化的组合解决了与速度、带宽和计算性能要求相关的挑战。例如，图9描绘了与图像传感器共同定位的dsp和存储器的示例实现。
100.附加地，可通过液体透镜的振荡来实现低波前误差。此外，通过观察到光量因变于光圈尺寸的二次方，而dof遵循反正切函数，得到液体透镜的快速响应还可增加低光性能，同时保持深的或扩展的dof。换言之，这意味着可以通过用计算来换取灵敏度和dof而用焦点堆叠技术来补偿f数。
101.图9描绘了集成在芯片500上的图像传感器系统的说明性示例的分解图，芯片500用于在诸如蜂窝电话或其他设备之类的紧凑相机应用中使用。芯片500可包括电气地和机械地耦合在一起的第一层510、第二层520和第三层530，使得设置在每一层上的部件和系统通信地耦合并且被配置成实现光学系统，诸如本文所述的光学系统。在一些实施例中，第一层510可包括图像传感器106。第二层520可包括控制器120、dsp 180、和/或其他部件，诸如adc等。第三层530可包括可由第一层510和/或第二层520上的部件容易地访问的诸如dram之类的存储器。应理解，图9中描绘的芯片500仅是被配置成实现用于小型或紧凑相机系统的焦点堆叠的潜在光学系统的说明性示例。
102.参考图10和图11，图10示出了示出像素尺寸与对焦距离之间的关系的曲线，而图11示出了示出景深与对焦距离之间的关系的曲线。这里，系统具有高潜在分辨率和范围内的分辨率，但随着到相机的距离(即，在水平轴上描绘的距离)变短，dof变得越来越短。在该示例中，超焦距为6,000mm。由该曲线描绘的挑战示出即使当距离变得更短时，大部分对象在深度上仍具有显著扩展，因此，本文描述的系统和方法对于短距离图像捕获变得重要。例如，如曲线中所描绘的，左侧的像素尺寸以毫米(mm)为单位，并且在从12.5mm处的4μm至200m处的60mm的范围内。附加地，dof在12.5mm处的0.1mm至6m或更远处的数百米的范围内。图11进一步示出“困难”、“中等”和“容易”方形(quadrate)，这些方形指示在何种距离处利用紧凑相机实现扩展的dof是相对具有挑战性的。
103.参考图12、图13和图14，三个曲线描绘了查看分辨率的不同方式。图12示出了示出有效分辨率与对焦距离之间的关系的曲线。图13示出了示出由单个点覆盖的像素与对焦距离之间的关系的曲线。图14示出了示出特征尺寸与对焦距离之间的关系的曲线。假设图像在100mm处对焦，观察到在距焦点6.5mm处丢失了一半的分辨率，并且大于10mm的任何东西都严重模糊。通常，在与对焦距离不同的距离处的对象的涂抹功能迅速增加。因此，为了在不同对焦距离处都实现高分辨率，如本文描述的系统和方法可被配置成在其中对焦距离的变化很接近使得焦平面之间存在最小模糊量或仅可接受的模糊量的焦平面中捕获图像。此外，通过将“由单个点覆盖的像素”转换为图像分辨率示出，即使在距对焦距离短距离处，对象的有效图像分辨率也迅速下降。
104.焦点堆叠可以通过使用在不同对焦距离处拍摄的相同场景的多个图像来减轻上述影响。参考图15，拍摄了10个连续图像，拍摄在100mm处开始，并且继续使得最大像素涂抹小于2个像素。具有10个图像的图像堆叠组合成的合成图像将dof从约6.5mm(在100mm处对
焦)扩展到165mm；具有恒定的角分辨率的dof增加25倍。
105.作为示例，图16描绘了示出在12.5mm的对焦距离处的最小特征尺寸的曲线。当实现如本文描述的光学系统以用于对焦在12.5mm处时，潜在分辨率为4μm，尽管dof是浅的(即，在0.1mm的数量级)。但是，有能力利用高分辨率传感器在短距离处对焦使得能够在高分辨率成像中实现许多应用。这打开了精细细节成像的可能性，并且能够启用显微镜和其他高分辨率应用，但在没有焦点堆叠的情况下dof是浅的，对焦和捕获单个高质量图像是困难的。然而，使用焦点堆叠技术和液体透镜、10个或更多个图像堆叠，例如利用10
‑
30ms的获取时间可以将最大分辨率处的dof扩展到几毫米。图像堆叠可通过振荡的液体透镜或可控地斜变液体透镜来形成实时视频的帧或静止图像，其中在液体透镜的对焦距离的扫动期间捕获图像数据。在一些实例中，50μ的分辨率可被扩展到30
‑
50mm dof，从而创建有用的检查仪器。
106.换言之，焦点堆叠可将一系列浅dof图像组合成具有比图像堆叠中的任何单个图像或带有非均匀dof的合成图像(即，图像中的各种深度被对焦，而一个或多个深度可能失焦)更大的dof的合成图像。例如，光学系统具有为图像传感器提供更多光的大光圈，但具有浅dof，然而，通过在各种对焦距离处收集多个浅dof图像，与使用大光圈光学系统捕获的单独图像相比，采用焦点堆叠的系统可生成具有扩展的dof的合成图像。这种实现的附加结果是改善了光学系统的低光性能。
107.以下描述提供了用于本文描述的光学系统的每个操作模式的若干示例操作模式和应用。
108.在第一实施例中，可以利用使用固定的近对焦距离和远对焦距离的快速图像传感器来振荡液体透镜。诸如透镜控制逻辑之类的软件可以设置dof的近极限和远极限，并且相机通过在近位置与远位置之间转换透镜同时在扫动期间在设置位置处拍摄图像来产生扩展dof图像或视频。这种实施例的应用可包括：(i)在移动电话或固定应用上具有深dof的移动显微镜应用；(ii)用于从检查货币、查看小型机器结构、读取应用、协助诸如焊接、组装小型物品、检查印刷电路板或表面的精细任务的所有事物的移动放大应用等。其他应用可包括(i)具有大光圈和深dof的显微镜应用，减少衍射效应，增加光灵敏度，并且提供实时视频；(ii)皮肤扫描应用，其中准确距离和高分辨率图像可通过现成蜂窝电话来产生诊断工具，其中dof和分辨率可被设置成在可利用蜂窝电话对单个微米至数十微米范围内在皮肤表面或皮肤结构以及其他特征下成像。一些基于汽车的应用可包括针对环绕相机、前置相机、后置相机和内部座舱相机扩展dof，因为对于高级驾驶员辅助系统(“adas”)和/或自动驾驶(“ad”)模块而言，图像传感器具有高分辨率和0.3m至50m或其间的任何值的对焦范围可能是重要的。
109.在另一实施例中，操作模式可包括距离辅助式扩展的dof或多点式扩展的dof操作，其中相机由外部装置辅助以确定场景中感兴趣的对象位于何处。例如，诸如声呐、lidar、radar之类的一个或多个其他传感器或其他系统可辅助相机。相机软件可基于来自一个或多个其他传感器的传感器距离和位置数据来建立焦点堆叠方案以捕获被对焦的感兴趣的对象的图像。这可能导致接近交通工具的高分辨率捕获，或在多个不同距离处的对象需要被同时对焦的环境中使图像锐化。在一些实施例中，可通过内置的自动对焦系统或通过使用透镜的初始扫描来辅助相机距离测量。即，自动对焦系统可以提供图像的粗略深
度图，并且向焦点堆叠子系统给出关于对象在图像中何处的指示。图像处理系统可以对n个图像计算适当的焦平面距离，这将导致图像中的期望的细节水平。基于由传感器或用户提供的对焦距离，相机软件可建立图像的焦点堆叠以生成期望的合成图像。
110.在其他实施例中，小型图像系统可被启用以生成在其他情况下仅能够由大光圈相机系统生成的图像。由于光量随着光圈的平方而增加，而dof线性下降，因此焦点堆叠可用于补偿近区域dof，从而造成成像应用的改善的夜间和低光模式。
111.在一些实施例中，类似于上文描述的那些实施例，dof可被扩展到固定距离上以用于视频成像。在这种情况下，光学系统可被建立成通过具有在近焦平面与远焦平面之间的透镜转换来扩展dof，并且拍摄分布在这些端点之间的图像以提供合成dof。例如，可利用这种应用以将对于近范围至远范围(即，最小对焦距离至最大对焦距离)内的每个距离的像素涂抹数量中的平均角误差最小化。光学系统的该应用的另一目的可包括将最小可检测对象尺寸最小化，从而优选更远离相机的图像分布。另一目的可以是对焦在场景中检测到的对象距离周围的距离图像。例如，先前图像处理可以检测对象，并且现在可能需要在那些位置周围的进一步且更紧密地采样的图像。这些应用可改善医疗检查和成像系统、检查应用、低光条件下的眼睛跟踪或面部表情检测、或查看接近相机的对象。
112.现在应理解，本文描述的实施例涉及具有光学系统的成像设备，该光学系统包括具有至少一个透镜元件的透镜堆叠、图像传感器、以及至少一个控制器。至少一个透镜元件被配置成在最小对焦距离与最大对焦距离之间转换。图像传感器在位置上固定为与透镜堆叠相距一距离。成像设备被配置成当至少一个透镜元件在最小对焦距离与最大对焦距离之间转换时捕获多个图像，以生成合成堆叠图像。实施例总体包括用于利用和控制液体透镜以用于图像和视频捕获的系统和方法。实施例和技术利用可变焦度液体透镜(“ll”)、图像传感器、嵌入式存储器、以及由控制器执行的软件，该软件使得各部件能够执行如本文描述的预定操作。在一些实施例中，图像传感器可包括嵌入式数字信号处理器(“dsp”)，该嵌入式数字信号处理器(“dsp”)进一步使得能够将捕获的图像实时焦点堆叠成具有期望的扩展的dof的合成图像。
113.应注意，可以利用术语“基本上”和“约”来表示可归因于任何定量比较、数值、度量，或其它表示的固有不确定度。这些术语还在本文用来表明数量表示可以与所陈述的引用不同的程度，而不会导致所讨论的主题的基本功能的改变。
114.尽管本文示出和描述了特定实施例，但应理解可作出其他变更和修改而不偏离所要求保护主题的精神和范围。此外，虽然本文中已经描述了所要求保护的主题的各个方面，但不需要以组合的方式来利用这些方面。因此，所附权利要求旨在涵盖所要求保护的主题的范围内的所有此类变更和修改。