被配置为使用飞行时间成像和立体成像的成像系统的制作方法

被配置为使用飞行时间成像和立体成像的成像系统


背景技术：

1.深度相机可以使用各种类型的像素中的任何一种类型的像素来确定场景中的对象的深度。例如，深度相机可以包括立体像素阵列，并且可以实现被配置为从视差数据确定深度信息的被动成像方法。该被动成像方法可以被称为“立体”成像方法，其通过针对双目视觉的立体影像的方式在图像中产生深度幻觉。更具体地，立体像素通常包括由单个微透镜覆盖的相邻光敏二极管对。立体像素阵列可以使用由个体相邻光敏二极管对分开检测到的入射光，来生成两个偏移图像(例如，左图像和右图像)。视差数据包括两个偏移图像中的两个对应点之间的距离。立体成像方法使用光敏二极管对之间的已知距离，来获取针对两个偏移图像的视差数据，然后使用视差数据来确定深度信息。立体成像方法的优点在于不需要人工光源。图1a图示了具有共享单个微透镜108的光敏二极管对104、106的立体像素102。
2.备选地，深度相机可以包括飞行时间像素阵列并且可以实现使用相移数据确定深度信息的主动成像方法。该主动成像方法可以被称为“飞行时间”成像方法。飞行时间像素通常包括一个光敏二极管和两个光电门或两个传输门。更具体地，飞行时间成像方法用从人造光源发射的光来照射场景并且检测被反射的光。发射光和反射光之间的相移被测量，并且深度信息可以基于相移而被确定。图1b图示了在单个微透镜114后面的具有单个光敏二极管112的飞行时间(tof)像素110。
3.不幸地，立体成像方法和飞行时间成像方法两者都可能遇到关于准确地确定针对场景的深度信息的问题。当场景不包括可识别图案时，立体成像方法尽力以准确地确定深度信息，可识别图案使得能够在两个偏移图像的第一图像中的点和两个偏移图像的第二图像中的相同点之间有效地对应。当存在与反射光干扰的强环境光(例如，太阳光)时，飞行时间成像方法尽力准确地确定深度信息。
4.关于这些考虑和其它考虑而言，呈现了本文所提出的公开。


技术实现要素：

5.本文所公开的技术描述成像系统，该成像系统被配置为使用飞行时间像素阵列和对应控制器以基于飞行时间成像方法和/或立体成像方法来确定针对场景的深度信息。即，本文描述的技术允许以互补的方式使用飞行时间成像方法和立体成像方法，以提高关于确定针对场景的深度信息的准确度。
6.如上所述，立体成像方法需要场景中的可识别图案来有效地确定两个偏移图像中的对应点。如果不能识别图案，那么立体成像方法关于准确地确定深度通常是无效的。飞行时间成像方法不需要识别这样的图案来准确地确定深度。相反，当强环境光干扰反射光时，针对飞行时间成像方法的确定深度信息的准确度被影响。然而，环境光有助于曝光当被识别时使得两个偏移图像中的点之间能够有效对应的图案。因此，环境光对于立体成像方法是有好处的。
7.本文描述的飞行时间像素阵列和对应控制器解决了飞行时间成像方法和立体成
像方法两者中的缺陷。因此，本文描述的技术提高了关于确定深度信息的准确度，因为该技术可以适应影响深度的确定的变化条件。这些条件可以包括场景中可识别图案的变化程度、环境光的变化量、和/或可以从一个场景到下一场景变化的其它条件。
8.本文描述的成像系统可以包括利用集成电路配置的深度相机。该成像系统包括被配置为发射光以照射场景的光发射组件和用于检测反射光的光检测组件。光检测组件包括飞行时间像素阵列。飞行时间像素被配置为基于发射光和反射光之间的相移来确定相移数据。飞行时间像素阵列可以被用以经由使用由飞行时间像素测量的相移数据的飞行时间成像方法来确定深度信息。此外，飞行时间像素被配置为使用反射光的幅度来确定强度数据。
9.光检测组件还包括多个微透镜。每个微透镜由至少两个飞行时间像素共享。这使得多个飞行时间像素能够具有重叠的视场，从而可以使用由每个飞行时间像素测量的强度数据来生成至少两个偏移图像。可以基于对应于偏移图像中的相同点的强度值来确定视差数据。因此，经由其中至少两个飞行时间像素共享单个微透镜的配置，飞行时间像素阵列还可以被用以通过使用由飞行时间像素测量的强度数据的立体成像方法来确定深度信息。
10.成像系统还包括控制器。控制器被配置为使用飞行时间成像方法来生成场景的第一深度图像。即，控制器可以使用针对阵列中的每个飞行时间像素而被确定的相移数据来生成第一深度图像。控制器还被配置为基于由个体微透镜共享的至少两个飞行时间像素中的每个像素测量的强度数据来确定视差数据。控制器可以使用针对每个微透镜而被确定的视差数据来生成场景的第二深度图像。
11.因此，成像系统被配置为使用飞行时间成像方法和立体成像方法两者来生成深度数据。控制器可以使用经由飞行时间成像方法生成的第一深度图像或经由立体成像方法生成的第二深度图像中的一者或两者，来确定场景中的对象与成像系统之间的距离。在一个示例中，控制器可以通过对针对个体像素的对应深度值求平均来将第一深度图像中的深度数据与第二深度图像中的深度数据组合，以生成代表性深度图像。然后，控制器可以使用代表性深度图像来确定场景中的对象与成像系统之间的距离。
12.在另一示例中，控制器可以将第一深度图像的第一深度质量与第二深度图像的第二深度质量进行比较。为了确定质量，控制器可以对深度图像进行分割，并且执行分割分析，在分割分析中，对深度图像的分割之间的边缘锐度和/或均匀性进行评估。控制器可以确定深度图像中的一个深度图像具有较高质量，并且选择这样的深度图像作为被用以确定场景中的对象与成像系统之间的距离的深度图像。
13.除了以上讨论的那些技术好处之外，所公开的技术的实现可以产生相机的改进的聚焦。例如，场景中的对象与成像系统之间的所确定距离可以被用以将相机聚焦在对象上和/或选择(例如，激活)针对相机的预配置模式以捕获场景中的对象的照片。备选地，所公开的技术的实现可以产生改进的运动识别(例如，人体在物理空间中的位置和移动)，其可以用于对在诸如游戏控制台的计算系统上执行的应用的输入。还可以通过所公开的主题的实现来实现本文未具体提及的其他技术好处。
14.提供本概述以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本概述不旨在标识所要求保护的主题的关键或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。例如，术语“技术”可以指上述上下文和整个文档所允许的(多个)系统、(多个)方法、计算机可读指令、(多个)模块、算法、硬件逻辑、和/或(多个)操作。
附图说明
15.参考附图描述具体实施方式。在附图中，附图标记的最左边的(多个)数字表示附图标记首次出现的附图。不同附图中相同的附图标记表示相似项或相同项。对多个项中的单独项的引用可以使用具有字母序列中的字母的引用标记来指代每个单独项目。对于项的一般引用可以使用没有字母序列的特定引用标记。
16.图1a图示了传统的立体像素。
17.图1b图示了传统的飞行时间像素。
18.图2图示了可以在其中使用本文描述的成像系统的示例环境。
19.图3图示了经由集成电路实现的深度相机的示例。
20.图4图示了当两个飞行时间像素共享微透镜时，两个飞行时间像素如何具有对象的共同视场的示例，并且因此，除飞行时间成像方法之外，还可以使用配置以实现立体成像方法。
21.图5图示了在集成电路上实现的深度相机的另一示例。
22.图6图示了在其中成像系统可以以互补方式使用飞行时间成像方法和立体成像方法的示例环境。
23.图7是图示了用于使用立体成像方法和飞行时间成像方法中的一者或两者来确定场景中的对象的深度的例程的方面的流程图。
24.图8是图示了可以实现本文所公开的技术的方面的设备的配置和操作的方面的计算架构图。
具体实施方式
25.具体实施方式公开被配置为使用飞行时间像素阵列和对应控制器以基于飞行时间成像方法和/或立体成像方法来确定针对场景的深度信息的成像系统的方面。成像系统包括被配置为发射光以照射场景的光发射组件和用于检测反射光的光检测组件。光检测组件包括飞行时间像素阵列。飞行时间像素被配置为基于发射光和反射光之间的相移来确定相移数据。因此，飞行时间像素阵列可以被用以经由使用由飞行时间像素测量的相移数据的飞行时间成像方法来确定深度信息。此外，飞行时间像素被配置为使用反射光的幅度来确定强度数据。
26.光检测组件还包括多个微透镜。每个微透镜由至少两个飞行时间像素共享。这使得多个飞行时间像素具有重叠的视场，从而可以使用由每个飞行时间像素测量的强度数据来生成两个偏移图像。因此，经由其中至少两个飞行时间像素共享单个微透镜的配置，飞行时间像素阵列还可以被用以经由使用由飞行时间像素测量的强度数据的立体成像方法来确定深度信息。
27.图2图示了可以在其中有效地使用本文描述的成像系统202的示例环境200。成像系统202可以包括深度相机，深度相机可以是设备204的一部分或被连接到设备204。设备204可以被配置为以出于各种目的而使用场景208中的对象206(例如，该示例中的狗)的深度。例如，对象206的深度可以被用以聚焦针对照片的相机。备选地，对象206的深度可以被用以更好地检测在玩游戏时与游戏控制台交互的用户的运动。附加地，对象206的深度可以被用以经由头戴式显示设备呈现相关联的虚拟内容。因此，设备204可以包括智能电话、头
戴式显示设备、游戏控制台、平板设备、膝上型设备、相机等。场景208可以包括作为设备204前面的物理空间或围绕设备204的物理空间。
28.如示例环境200中所示，成像系统202包括被配置为发射光212以照射场景208和/或对象206的光发射组件210。成像系统202还包括光检测组件214以检测从物体206的反射光216。光检测组件214包括飞行时间像素阵列218。本文描述的技术可以与各种类型的间接飞行时间像素一起使用，间接飞行时间像素包括光电门飞行时间像素、传输门飞行时间像素、电流辅助飞行时间像素等。
29.飞行时间像素被配置为基于发射光212和反射光216之间的相移来确定相移数据。例如，光发射组件210可以使用产生脉冲波或连续波(例如，正弦波或方波)的调制光源来照射场景208。调制光源可以是工作在近红外范围(例如，～850nm)的固态激光器或发光二极管，调制光源对人眼不可见。光检测组件214可以观察反射。测量照射和反射之间的相移并且将其转换为距离。
30.在光发射组件210利用连续波照射场景208的示例中，光检测组件214照射场景一段时间，并且可以使用90度相位步进样本来测量反射能量。可以测量在这些样本(q1、q2、q3、q4)期间累积的电荷。照射和反射之间的相位角和距离(d)可以计算如下：
[0031][0032][0033]
在上述等式中，c是光速常数。进一步对于该示例，飞行时间像素被配置以基于以下计算确定强度数据a：
[0034][0035]
如本文参照图3进一步描述的，光检测组件214还包括多个微透镜。每个微透镜由至少两个飞行时间像素共享。换言之，共享单个微透镜的多个飞行时间像素具有重叠的视场，使得可以使用由每个飞行时间像素确定的强度数据来生成偏移图像。
[0036]
成像系统202还包括控制器220。控制器220被配置为使用来自飞行时间像素阵列218的相移数据222来生成场景208的第一深度图像224(例如，具有针对每个像素的深度值的深度映射)。因此，控制器220可以使用飞行时间成像方法或基于相移数据222而被确定的深度值来生成第一深度图像224。
[0037]
控制器220还被配置为使用来自飞行时间像素阵列218的强度数据来确定视差数据226(例如，偏移图像对中的两个对应点之间的可测量距离)。跨多个微透镜聚合的强度数据可以被用以生成场景208的偏移图像并且确定对应点之间的视差数据226。视差数据226被用以生成第二深度图像228。因此，控制器220可以使用如上所述不同于飞行时间成像方法的立体成像方法来生成第二深度图像228。
[0038]
使用上述技术，成像系统202可以适应变化的场景条件，因为成像系统202被配置为使用飞行时间成像方法和立体成像方法两者来生成深度数据。控制器220可以利用第一
深度图像224或第二深度图像228中的一者或两者来确定场景208中的对象206与成像系统202之间的距离230。例如，如果存在有限的环境光，则使用飞行时间方法生成的第一深度图像224更可能包括准确的深度信息。相反，如果存在强环境光，则使用立体方法生成的第二深度图像228更可能包括准确的深度信息。
[0039]
在一个示例中，控制器220可以通过对针对个体像素的深度值求平均，来将第一深度图像224中的深度数据与第二深度图像226中的深度数据进行组合，以生成代表性深度图像232。然后控制器220可以使用代表性深度图像232来确定对象206和成像系统202之间的距离230。
[0040]
在另一示例中，控制器220可以将第一深度图像224的第一深度质量与第二深度图像228的第二深度质量进行比较。为了确定质量，控制器220可以分割深度图像224、深度图像228，并且执行分割分析，在分割分析中，评估分割之间的边缘锐度和/或均匀性。控制器220可以确定深度图像224、深度图像228中的一个深度图像相对于包含对象206的(多个)分割具有更高的质量，并且选择这样的深度图像224、深度图像228作为被用以准确地确定场景208中的对象206与成像系统202之间的距离230的深度图像。也可以使用确定质量的其它方式。
[0041]
深度相机可以包括集成电路。图3图示经由集成电路(ic)300实现的深度相机的示例。深度相机包括飞行时间像素的二维阵列302(例如，图2中的飞行时间像素阵列218)。个体飞行时间像素包括用于处理检测电荷输出的专用电路。在特定示例中，飞行时间像素阵列302可以包括100*100像素，并且因此飞行时间像素阵列302可以包括100*100处理电路。
[0042]
为了用于深度相机实现除飞行时间成像方法之外的立体成像方法，单个微透镜304由多个飞行时间像素共享(例如，覆盖)。如图3的示例中所示，单个微透镜304由两个飞行时间像素306、308共享，并且该方法在整个飞行时间像素阵列302中传播。集成电路300还包括控制器310，诸如微处理器(例如，图2中的控制器220)，控制器310被配置为从飞行时间像素的处理电路接收数据，还包括存储器312(例如，随机存取存储器和/或只读存储器)，其被配置以存储飞行时间像素阵列302的数据，还包括时钟314和/或输入/输出(i/o)电路316。
[0043]
控制器310被配置为使得光发射组件(例如，激光二极管或led设备)经由透镜将光发射到场景208中和/或朝向目标对象206(诸如，图2中的狗)。如上所述，发射光中的一些发射光将从物体206反射并且落在飞行时间像素阵列302上。每个飞行时间像素被配置为在光从光发射组件行进到对象206并且接着返回到飞行时间像素阵列302时，测量反射光的幅度(例如，强度)和光的相移两者。
[0044]
图4说明当两个飞行时间像素共享微透镜时，两个飞行时间像素如何具有对象的共同视场的示例400。如图所示，单个微透镜402覆盖由距离408分开的第一飞行时间像素404和第二飞行时间像素406。单个微透镜402使得第一飞行时间像素404和第二飞行时间像素406能够共享视场(例如，覆盖狗的阴影区域)，并且因此可以基于由飞行时间像素测量的强度数据来生成两个偏移图像(例如，左图像和右图像)。然后，可以例如基于所测量的左图像和右图像之间的偏移和距离408来确定两个偏移图像之间的视差数据。
[0045]
图4还图示了示例飞行时间像素的构成。如图所示，图4左侧的飞行时间像素图可以包括光电二极管412、转移栅极晶体管或光电栅极晶体管414、复位晶体管416、浮动扩散
区418、放大器晶体管420、和/或选择晶体管422。
[0046]
图5图示了在集成电路(ic)500上实现的深度相机的另一示例。集成电路500类似于图3所示的集成电路。然而，在飞行时间像素的二维阵列302中，单个微透镜502共享四个飞行时间像素504、506、508、510。在该示例中，微处理器310可以被配置为使用基于四个偏移图像的视差数据来使用立体成像方法生成深度图像。
[0047]
图6图示了在其中成像系统可以以互补方式使用飞行时间成像方法和立体成像方法的示例环境600。如参照图2所述，成像系统202可以是被配置有相机的设备204的一部分。相机可以被配置为捕获针对照片的视场602。当被拍摄的对象604位于成像系统的特定距离606内时，飞行时间成像方法可以被用以将相机聚焦在对象604上，因为对象604足够接近以提供强反射光信号。强反射光信号不太可能由于环境光存在于其中的条件而被干扰。
[0048]
然而，当被拍摄的对象604位于距成像系统的特定距离606之外时(如由对象604的虚线形式和在聚焦距离608之外捕获的)，立体成像方法可以被用以将相机聚焦在对象604上，因为反射光信号由于较远的距离和环境光而减弱。
[0049]
图7是图示描述本公开的方面的例程700的流程图。在各种示例中，例程700的操作可以由成像系统202执行。关于图7中的任何一个流程，本文描述的逻辑操作可以被实现为(1)在计算设备上运行的计算机实现的动作或程序模块的序列，和/或(2)计算设备内的互连的机器逻辑电路或电路模块。
[0050]
为了便于理解，本公开中讨论的过程被描绘为表示为独立框的分离操作。然而，这些分离地描述的操作不应被解释为在它们的性能上必然是顺序相关的。描述过程的顺序不旨在被解释为限制，并且任何数目的所描述的过程框可以以任何顺序组合以实现该过程或备选过程。此外，还可以修改或省略所提供的操作中的一个或多个操作。
[0051]
本文所公开的技术的特定实现是取决于计算设备的性能和其它要求的选择问题。因此，本文描述的逻辑操作被不同地称为状态、操作、结构设备、动作、或模块。这些状态、操作、结构设备、动作、和模块可以用硬件、软件、固件、专用数字逻辑、及其任意组合来实现。应当理解，可以执行比图中所示和本文描述的更多或更少的操作。这些操作也可以以与本文描述的顺序不同的顺序执行。
[0052]
还应当理解，图示的方法可以在任何时间结束，并且不需要整体执行。可以通过执行包括在计算机可读介质上的计算机可读指令来执行方法的一些或全部操作和/或基本上等效的操作。在说明书和权利要求书中使用的术语“计算机可读指令”及其变型在本文中可扩展地用于包括例程、应用、应用模块、程序模块、程序、组件、数据结构、算法等。计算机可读指令可以在各种系统配置上实现，包括单处理器系统或多处理器系统中的处理单元、小型计算机、大型计算机、个人计算机、头戴式显示设备、手持式计算设备、基于微处理器的可编程消费电子产品及其组合等。
[0053]
例如，例程700的操作可以由动态链接库(“dll”)、静态链接库、由应用编程接口(“api”)产生的功能、编译的程序、解释的程序、脚本、网络服务或站点、或任何其它可执行指令集来实现。数据可以被存储在一个或多个存储器组件中的数据结构中。可以通过寻址到数据结构的链接或引用来从数据结构中取回数据。
[0054]
虽然以下图示可以参考附图的组件，但应当理解，例程700的操作也可以以许多其它方式来实现。例如，例程700可以至少部分地由另一远程计算机、处理器、或电路来实现。
此外，例程700的一个或多个操作备选地或附加地至少部分地由单独工作或与其它软件模块结合工作的芯片组来实现。在以下描述的示例中，计算系统的一个或多个模块可以接收和/或处理本文所公开的数据。用于提供本文所公开示的技术的任何服务、电路、或应用可以用于所描述的操作中。
[0055]
参照图7，例程700在操作702处开始，在操作702处，发射光以照射场景。在操作704处，由飞行时间像素阵列检测反射光，并且阵列中的个体飞行时间像素(i)基于发射光与反射光之间的相移来确定相移数据，以及(ii)基于反射光的幅度来确定强度数据。如上所述，飞行时间像素阵列包括多个微透镜，并且每个微透镜由至少两个飞行时间像素共享，使得立体成像方法可以被用作飞行时间成像方法的互补方法。在操作706处，使用针对阵列中的每个飞行时间像素而被确定的相移数据来生成场景的第一深度图像。
[0056]
在操作708处，使用由共享微透镜的至少两个飞行时间像素中的每个飞行时间像素确定的强度数据来确定视差数据。在操作710处，使用针对每个微透镜而被确定的视差数据生成第二深度图像。
[0057]
在操作712处，使用第一深度图像或第二深度图像中的至少一个深度图像来确定场景中的对象与包括飞行时间像素阵列的成像系统之间的距离。例如，该距离可以被用以将相机聚焦在对象上和/或选择(例如，激活)相机的预配置模式以捕获对象的照片。在另一示例中，距离可以被用以改进运动识别(例如，人体在物理空间中的位置和移动)，运动识别可以被用以对在诸如游戏控制台的计算系统上执行的应用的输入。在又一示例中，该距离可以被用以经由头戴式显示设备显示与对象相关联的虚拟内容。
[0058]
图8图示了能够执行本文描述的各种组件的计算设备的计算设备架构800。计算设备架构800适用于促进计算部分地由于形状因数、无线连通性、和/或电池供电的操作的计算设备。在一些配置中，计算设备包括但不限于头戴式显示设备、智能电话设备、平板设备、场记板设备、视频游戏设备等。
[0059]
计算设备架构800包括处理器802、存储器组件804、网络连通性组件806、传感器组件808、输入/输出组件810、和电源组件812。在图示的配置中，处理器802与存储器组件804、网络连通性组件806、传感器组件808、输入/输出(“i/o”)组件810、和功率组件812通信。
[0060]
处理器802可以包括中央处理单元(“cpu”)，中央处理单元被配置以处理数据、执行一个或多个应用的计算机可执行指令、以及与计算设备架构800的其它组件通信，以便执行本文描述的各种功能。处理器802可以用于执行本文所呈现的软件组件的各方面。
[0061]
在一些配置中，处理器802包含被配置以加速由cpu执行的操作的图形处理单元(“gpu”)，操作包括但不限于通过执行通用科学和/或工程计算应用以及图形密集型计算应用(诸如高分辨率视频(例如，720p、1080p、和更高分辨率)、视频游戏、三维(“3d”)建模应用等)来执行的操作。在一些配置中，cpu和gpu可以根据共处理cpu/gpu计算模型而被配置，其中应用的顺序部分在cpu上执行并且计算密集部分由gpu加速。
[0062]
在一些配置中，处理器802是片上系统(“soc”)或连同本文描述的其他组件中的一个或多个组件被包括在片上系统(“soc”)中。例如，soc可以包括处理器802、gpu、一个或多个网络连通性组件806、和/或一个或多个传感器组件808。在一些配置中，部分地利用封装体叠层(“pop”)集成电路封装技术来制造处理器802。处理器802可以是单核封装体叠层技术或多核处理器。
[0063]
存储器组件804包括随机存取存储器(“ram”)814、只读存储器(“rom”)816、集成存储存储器(“集成存储装置”)818、和/或可移除存储存储器(“可移除存储装置”)820。在一些配置中，ram 814或其部分、rom 816或其部分、和/或ram 814和rom 816的一些组合被集成在处理器802中。在一些配置中，rom 816被配置以存储固件、操作系统或其部分(例如，操作系统内核)、和/或用于从集成存储装置818和/或可移除存储装置820加载操作系统内核的引导加载器。
[0064]
集成存储装置818可以包括固态存储器、硬盘、或固态存储器和硬盘的组合。集成存储器818可以以焊接或以其它方式被连接到逻辑板，处理器802和本文描述的其它组件也可以被连接到逻辑板上。集成存储装置818可以被配置以存储操作系统或其部分、应用程序、数据、和本文描述的其它软件组件。
[0065]
可移除存储装置820可以包括固态存储器，硬盘，或固态存储器和硬盘的组合。在一些配置中，提供可移除存储装置820来代替集成存储装置818。在其它配置中，提供可移除存储装置820作为附加的可选存储。在一些配置中，可移除存储装置820在逻辑上与集成存储装置818组合，使得总可用存储被用作总组合存储容量。在一些配置中，集成存储器818和可移除存储装置820的总组合容量被显示给用户，而不是集成存储装置818和可移除存储装置820的单独存储容量。
[0066]
可移除存储装置820被配置以被插入到可移除存储存储器插槽或其他机构中，可移除存储装置820通过可移除存储存储器插槽或其他机构被插入并且被固定，以促进可移除存储装置820可以通过其与计算设备的其他组件(诸如处理器802)通信的连接。可移除存储装置820可以以各种存储卡格式来实现，包括但不限于pc卡、紧致闪存卡、记忆棒、安全数字(“sd”)、minisd、microsd、通用集成电路卡(“uicc”)(例如，订户身份模块(“sim”)或通用sim(“usim”))、专有格式等。
[0067]
网络连通性组件806包括无线广域网组件(“wwan组件”)822、无线局域网组件(“wlan组件”)824、和无线个域网组件(“wpan组件”)826。网络连通性组件806促进去往和来自网络856或另一网络(其可以是wwan、wlan、或wpan)的通信。尽管仅图示了网络856，但是网络连通性组件806可以促进与多个网络的同时通信。例如，网络连通性组件806可以促进经由wwan、wlan、或wpan中的一个或多个网络与多个网络的同时通信。
[0068]
网络856可以是wwan或可以包括wwan，诸如利用一种或多种移动电信技术来经由wwan组件822向利用计算设备架构800的计算设备提供语音和/或数据服务的移动电信网络。
[0069]
网络856可以是根据一个或多个电气和电子工程师协会(“ieee”)802.11标准操作的wlan，诸如ieee802.11a、802.11b、802.11g、802.11n等(这里统称为wi-fi)。在一些配置中，利用一个或多个无线wi-fi接入点来实现wlan。在一些配置中，无线wi-fi接入点中的一个或多个接入点是充当wi-fi热点的具有到wwan的连通性的另一计算设备。wlan组件824被配置以经由wi-fi接入点连接到网络856。这种连接可以通过各种加密技术来保护，包括但不限于wi-fi保护访问(“wpa”)、wpa2、有线等效保密(“wep”)等。
[0070]
网络856可以是根据红外数据关联(“irda”)、蓝牙、无线通用串行总线(“usb”)、z波、zigbee、或一些其它短距离无线技术操作的wpan。在一些配置中，wpan组件826被配置以促进经由wpan与其它设备(例如，其它设备)进行通信。
[0071]
传感器组件808包括磁力计828、飞行时间传感器830(例如，本文描述的飞行时间传感器阵列)、接近度传感器832、加速度计834、陀螺仪836、和全球定位系统传感器(“gps传感器”)838。可以设想，诸如但不限于温度传感器或震动检测传感器等其它传感器也可以被并入计算设备架构800中。
[0072]
磁力计828被配置为测量磁场的强度和方向。在一些配置中，磁力计828向存储在存储器组件804中的一个组件内的罗盘应用程序提供测量，以便向用户提供包括基本方向(北、南、东、和西)的参考系中的准确方向。类似的测量可以被提供给包括罗盘组件的导航应用程序。
[0073]
接近度传感器832被配置为在没有直接接触的情况下检测计算设备附近的物体或事物的存在。在一些配置中，接近度传感器832检测用户的身体(例如，用户的面部)的存在，并且将该信息提供给存储在存储器组件804中的一个存储器内的应用程序，应用程序利用接近度信息来启用或禁用计算设备的一些功能。例如，电话应用程序可以响应于接收到接近度信息来自动禁用触摸屏，使得用户的面部不会无意中结束呼叫或在呼叫期间启用/禁用电话应用程序内的其它功能。
[0074]
加速度计834被配置为测量适当的加速度。在一些配置中，来自加速度计834的输出由应用程序用作输入机构以控制应用程序的一些功能。例如，应用程序可以是视频游戏，其中响应于经由加速度计834接收的输入来移动或以其他方式操纵角色、角色的部分、或对象。在一些配置中，来自加速度计834的输出被提供给应用程序，用于在横向模式和纵向模式之间切换、计算坐标加速度、或检测跌倒。
[0075]
陀螺仪836被配置为测量方向和保持取向。在一些配置中，来自陀螺仪836的输出由应用程序用作输入机构以控制应用程序的一些功能。例如，陀螺仪836可以用于视频游戏应用或一些其它应用的3d环境内的运动的准确识别。在一些配置中，应用程序利用来自陀螺仪836的输出和加速度计834的输出来增强对应用程序的一些功能的控制。
[0076]
gps传感器838被配置为接收来自gps卫星的信号以用于计算位置。由gps传感器838计算的位置可以由需要或受益于位置信息的任何应用程序使用。例如，由gps传感器838计算的位置可以与导航应用程序一起使用以提供从位置到目的地的方向或从目的地到位置的方向。gps传感器838可以利用一个或多个网络连通性组件806来获取经由wi-fi、wimax、和/或蜂窝三角测量技术生成的位置信息，以帮助gps传感器838获取位置方位。
[0077]
i/o组件810包括显示器840、触摸屏842、数据i/o接口组件(“数据i/o”)844、音频i/o接口组件(“音频i/o”)846、视频i/o接口组件(“视频i/o”)848、和相机850。在一些配置中，显示器840和触摸屏842被组合。在一些配置中，数据i/o组件844、音频i/o组件846、和视频i/o组件848中的两个或更多个被组合。i/o组件810可以包括被配置以支持下面描述的各种接口的分立处理器，或者可以包括内置到处理器802的处理功能。
[0078]
显示器840是配置为以可视形式呈现信息的输出设备。具体地，显示器840可以呈现图形用户界面(“gui”)元素、文本、图像、视频、通知、虚拟按钮、虚拟键盘、消息数据、互联网内容、设备状态、时间、日期、日历数据、偏好、地图信息、位置信息、以及能够以可视形式呈现的任何其他信息。在一些配置中，显示器840是利用任何有源矩阵技术或无源矩阵技术和任何背光技术(如果使用)的液晶显示器(“lcd”)。在一些配置中，显示器840是有机发光二极管(“oled”)显示器。
[0079]
触摸屏842(本文中也称为“启用触摸的屏幕”)是被配置以检测触摸的存在和位置的输入设备。触摸屏842可以是电阻式触摸屏、电容式触摸屏、表面声波触摸屏、红外触摸屏、光学成像触摸屏、色散信号触摸屏、声脉冲识别触摸屏、或者可以利用任何其它触摸屏技术。在一些配置中，触摸屏842作为透明层被结合在显示器840的顶部，以使得用户能够使用一个或多个触摸来与显示器840上呈现的对象或其它信息交互。在其他配置中，触摸屏842是被结合在不包括显示器840的计算设备的表面上的触摸板。
[0080]
数据i/o接口组件844被配置以有助于向计算设备输入数据和从计算设备输出数据。在一些配置中，例如出于同步操作的目的，数据i/o接口组件844包括被配置以提供计算设备与计算机系统之间的有线连通性的连接器。连接器可以是专有连接器或诸如usb、micro-usb、mini-usb等的标准化连接器。在一些配置中，连接器是用于将计算设备与诸如扩展坞、音频设备(例如，数字音乐播放器)、或视频设备等另一设备对接的扩展坞连接器。
[0081]
音频i/o接口组件846被配置以向计算设备提供音频输入和/或输出能力。在一些配置中，音频i/o接口组件846包括被配置以收集音频信号的麦克风。在一些配置中，音频i/o接口组件846包括被配置以为耳机或其它外部扬声器提供连通性的耳机插孔。在一些配置中，音频i/o接口组件846包括用于输出音频信号的扬声器。在一些配置中，音频i/o接口组件846包括光学音频缆线输出。
[0082]
视频i/o接口组件848被配置为向计算设备提供视频输入和/或输出能力。在一些配置中，视频i/o接口组件848包括视频连接器，视频连接器被配置以接收视频作为来自另一设备的输入或将视频作为输出发送到另一设备(例如，监视器、电视、或一些其它外部显示器)。在一些配置中，视频i/o接口组件948包括高清多媒体接口(“hdmi”)、mini-hdmi、micro-hdmi、显示端口、或专有连接器以输入/输出视频内容。在一些配置中，视频i/o接口组件848或其部分与音频i/o接口组件846或其部分组合。
[0083]
相机850可以被配置为捕获静止图像和/或视频。相机850可以利用电荷耦合设备(“ccd”)或互补金属氧化物半导体(“cmos”)图像传感器来捕获图像。在一些配置中，相机850包括闪光灯以帮助在微光环境中拍照。相机850的设置可以实现为硬件或软件按钮。
[0084]
图示的功率组件812包括一个或多个电池852，电池852可以被连接到电池计量器854。电池852可以是可再充电的或一次性的。可再充电电池类型包括但不限于锂聚合、锂离子、镍镉、和镍金属氢化物。电池852中的每个电池可以由一个或多个单元构成。
[0085]
电池计量器854可以被配置为测量电池参数，例如电流、电压、和温度。在一些配置中，电池计量器854被配置为测量电池的放电速率、温度、老化、及其它因素的影响，以预测某一误差百分比内的剩余寿命。在一些配置中，电池计量器854向应用程序提供测量值，应用程序被配置为利用测量值来向用户呈现有用的电源管理数据。电源管理数据可以包括已使用的电池的百分比、剩余电池的百分比、电池状况、剩余时间、剩余容量(例如，以瓦特小时为单位)、电流消耗、和电压中的一个或多个数据。
[0086]
电源组件812还可以包括电源连接器，电源连接器可以与上述i/o组件810中的一个或多个组件进行组合。电源组件812可以经由i/o组件与外部电源系统或充电设备相接口。
[0087]
本文呈现的公开内容还包括以下条款中阐述的主题。
[0088]
示例条款a，一种成像系统，包括：光发射组件，被配置为发射光以照射场景；一种
光检测组件，光检测组件包括：飞行时间像素阵列，其中每个飞行时间像素被配置为基于发射光来检测反射光，并且(i)基于发射光与反射光之间的相移来确定相移数据，并且(ii)基于反射光的幅度来确定强度数据；以及多个微透镜，其中每个微透镜由阵列中的至少两个飞行时间像素共享；以及控制器，控制器被配置为：使用针对阵列中的每个飞行时间像素而被确定的相移数据来生成场景的第一深度图像；使用由个体微透镜共享的至少两个飞行时间像素中的每个飞行时间像素的强度数据来确定视差数据；使用针对多个微透镜中的每个微透镜而被确定的视差数据来生成场景的第二深度图像；以及使用第一深度图像或第二深度图像中的至少一个深度图像来确定场景中的对象与成像系统之间的距离。
[0089]
示例条款b，如条款a的成像系统，其中使用第一深度图像或第二深度图像中的至少一个深度图像来确定场景中的物体与成像系统之间的距离包括：通过对像素的深度值求平均来组合第一深度图像与第二深度图像，以生成代表性深度图像；以及使用代表性深度图像来确定场景中的对象与成像系统之间的距离。
[0090]
示例条款c，如条款a的成像系统，其中使用第一深度图像或第二深度图像中的至少一个深度图像来确定场景中的物体与成像系统之间的距离包括：将第一深度图像的第一深度质量与第二深度图像的第二深度质量进行比较；确定第一深度质量或第二深度质量中的一个深度质量优于第一深度质量或第二深度质量中的另一个深度质量；以及至少部分地基于确定第一深度质量或第二深度质量中的一个深度质量优于第一深度质量或第二深度质量中的另一深度质量，选择第一深度图像或第二深度图像中的一个深度图像，以确定场景中的对象与成像系统之间的距离。
[0091]
示例条款d，如条款c的成像系统，其中第一深度图像的第一深度质量和第二深度图像的第二深度质量是基于均匀性和边缘锐度的分割分析。
[0092]
示例条款e，如示例条款a至条款d中任一项条款的成像系统，其中距离被用于以相机镜头聚焦在场景中的对象上。
[0093]
示例条款f，如示例条款a至条款d中任一项条款的成像系统，其中距离被用以选择可用于捕获场景中的对象的照片的预配置模式。
[0094]
示例条款g，如示例条款a至条款f中任一项条款的成像系统，成像系统被配置为集成电路，集成电路是设备的一部分。
[0095]
示例条款h，如条款g的成像系统，其中设备使用距离来与场景中的对象相关联地显示虚拟内容。
[0096]
示例条款i，一种方法，包括：发射光以照射场景；由飞行时间像素阵列基于发射光来检测反射光，其中飞行时间像素阵列包括多个微透镜，并且每个微透镜由至少两个飞行时间像素共享；由单个飞行时间像素在阵列中(i)基于发射光与反射光之间的相移来确定相移数据，以及(ii)基于反射光的幅度来确定强度数据；使用针对阵列中的每个飞行时间像素而被确定的相移数据来生成场景的第一深度图像；使用由个体微透镜共享的至少两个飞行时间像素中的每个飞行时间像素的强度数据来确定视差数据；使用针对多个微透镜中的每个微透镜而被确定的视差数据来生成场景的第二深度图像；以及使用第一深度图像或第二深度图像中的至少一个深度图像来确定场景中的对象与包括飞行时间像素阵列的成像系统之间的距离。
[0097]
示例条款j，如示例条款i所述的方法，其中使用第一深度图像或第二深度图像中
的至少一个深度图像来确定场景中的物体与成像系统之间的距离包括：通过对像素的深度值求平均来组合第一深度图像与第二深度图像，以生成代表性深度图像；以及使用代表性深度图像来确定场景中的对象与成像系统之间的距离。
[0098]
示例条款k，如示例条款i所述的方法，其中使用第一深度图像或第二深度图像中的至少一个深度图像来确定场景中的物体与成像系统之间的距离包括：将第一深度图像的第一深度质量与第二深度图像的第二深度质量进行比较；确定第一深度质量或第二深度质量中的一个深度质量优于第一深度质量或第二深度质量中的另一深度质量；以及至少部分地确定基于第一深度质量或第二深度质量中的一个深度质量优于第一深度质量或第二深度质量中的另一深度质量，选择第一深度图像或第二深度图像中的一个深度图像，以确定场景中的对象与成像系统之间的距离。
[0099]
示例子句l，示例子句k的方法，其中第一深度图像的第一深度质量和第二深度图像的第二深度质量基于对均匀性和边缘锐度的分割分析。
[0100]
示例条款m，如示例条款i至条款l中的任一项条款的方法，其中距离被用以将相机镜头聚焦在场景中的对象上。
[0101]
示例条款n，如示例条款i至条款l中任一项条款的方法，其中距离被用以选择可用于捕获场景中的对象的照片的预配置模式。
[0102]
示例条款o，如示例条款i至条款n中任一项条款的方法，其中成像系统被配置集成电路，集成电路是包括相机的设备的一部分。
[0103]
示例条款p，示例条款o的方法，其中设备使用距离来与场景中的对象相关联地显示虚拟内容。
[0104]
示例条款q，一种成像系统，包括：光发射组件，被配置为发射光以照射场景；一种光检测组件，光检测组件包括：飞行时间像素阵列，其中每个飞行时间像素被配置为基于发射光来检测反射光，并且(i)基于发射光与反射光之间的相移来确定相移数据，以及(ii)基于反射光的幅度来确定强度数据；以及多个微透镜，其中每个微透镜由阵列中的至少两个飞行时间像素共享；以及控制器，控制器被配置为：使用由个体微透镜共享的至少两个飞行时间像素中的每个飞行时间像素的强度数据来确定视差数据；以及部分地基于针对阵列中的每个飞行时间像素而被确定的相移数据或针对多个微透镜中的每个微透镜而被确定的视差数据中的至少一项，来确定场景中的对象之间的距离。
[0105]
示例条款r，示例条款q的成像系统，其中距离被用以将相机镜头聚焦在场景中的对象上。
[0106]
示例条款s，示例条款q的成像系统，其中距离被用以选择可用于捕捉场景中的对象的照片的预配置模式。
[0107]
示例条款t，示例条款q的成像系统，成像系统被配置为集成电路，集成电路是设备的一部分，其中设备使用距离来与场景中的对象相关联地显示虚拟内容。
[0108]
在描述本发明的上下文中(特别是在所附权利要求书的上下文中)使用的术语“一”、“一个”、“该”、和类似指示物应被解释为涵盖单数和复数，除非本文另有说明或与上下文明显矛盾。术语“基于”、“依据”、和类似的指示物应被解释为意指“至少部分地基于”，其包括“部分地基于”和“整体地基于”，除非另有说明或与上下文明显矛盾。
[0109]
应当理解，在发明内容和/或具体实施方式中对“第一”、“第二”等元素的任何引用
都不旨在并且不应被解释为必须对应于权利要求中对“第一”、“第二”等元素的任何引用。相反，在发明内容、具体实施方式、和/或权利要求内的“第一”和“第二”的任何使用可以用于区分相同元素的两个不同示例(例如，两个不同深度图像、两个不同tof像素等)。
[0110]
应当理解，除非另有具体说明，否则本文中使用的条件性语言，例如“可以”、“能够”、“也许”、或“可能”在上下文中被理解为表示某些示例包括某些特征、元件、和/或步骤，而其他示例不包括某些特征、元件、和/或步骤。因此，这种条件性语言一般不旨在暗示一个或多个示例以任何方式需要某些特征、元素、和/或步骤，或者一个或多个示例必须包括用于在有或没有用户输入或提示的情况下，决定是否在任何特定示例中包括或执行某些特征、元素、和/或步骤的逻辑。除非另有明确说明，否则诸如短语“x、y、或z中的至少一个”连接语言应理解为表示项、术语等可以是x、y、或z、或其组合。
[0111]
还应当理解的是，可以对上述示例进行许多变型和修改，这些变型和修改的元素应被理解为其他可接受的示例。所有这些修改和变型旨在包括在本公开的范围内，并且由所附权利要求保护。
[0112]
最后，虽然已经用结构特征和/或方法动作专用的语言描述了各种配置，但是应当理解，在所附表示中限定的主题不必限于所描述的具体特征或动作。相反，这些具体特征和动作是作为实现所要求保护的主题的示例形式而被公开的。