3D感测系统和基于混合感测阵列提供图像的方法与流程

3d感测系统和基于混合感测阵列提供图像的方法
1.本技术要求于2020年4月17日提交的题为“用于改善3d深度信息的混合光电二极管和spad阵列以及传感器系统(a hybrid photodiode and spad array and sensor system to improve 3d depth information)”的第63/012,000号美国临时申请以及于2020年7月27日提交的第16/940,308号美国申请的优先权和权益，所述美国申请的全部内容通过引用包含于此。
技术领域
2.本公开的一个或多个实施例的方面涉及用于3d成像的混合传感器系统和方法。


背景技术：

3.近年来，越来越广泛地需要依赖于计算机视觉(诸如，高级驾驶员辅助系统(“adas”)、自主驾驶应用、增强现实(“ar”)和虚拟现实(“vr”)等)的应用。已经提供了不同的检测系统(诸如，光检测和测距(“lidar”)以及相机等)，以支持adas、自主驾驶应用、ar和vr等。这样的检测系统提供信息以辅助应用理解、修改和作用于来自真实世界的信息。
4.然而，由于可能不利地影响分辨率、检测范围、速度和/或稳定性的硬件和软件限制，可能难以满足adas、自主驾驶应用、ar和vr等的需求。例如，为adas和自主驾驶应用提供高分辨率和高质量的3d深度信息可以是具有挑战性的。作为另一示例，低形状因数对于ar和vr应用可以是期望的，在ar和vr应用中，装置的较长的检测范围(例如，超过10米的检测范围)和移动性可以是有用的。
5.通常，为了提供真实世界信息，可使用多个单独的检测系统。然而，将来自这些单独的检测系统的数据转换成高质量3d图像可能是困难的。例如，提供单独的2d图像数据集和单独的3d深度数据集的单独的检测系统可用于通过对齐来自单独的2d图像数据集和单独的3d深度数据集的对应点来提供3d图像。该处理可考虑可能占用大量计算资源的若干因数和/或校准。此外，未对齐或无能力对齐2d图像数据与3d深度数据之间的对应点可能破坏用于计算机视觉应用的单独的系统的有效性。
6.在本背景技术部分中公开的以上信息用于增强本公开的背景的理解，因此可包含不形成现有技术的信息。


技术实现要素：

7.本公开的一个或多个示例实施例涉及用于3d成像的系统和方法。
8.根据本公开的一个实施例，提供了一种3d感测系统。所述3d感测系统包括：光源，被配置为发射光；混合感测阵列，包括：2d感测区域和3d深度感测区域，2d感测区域被配置为检测从对象反射的环境光，3d深度感测区域被配置为检测由光源发射并从对象反射的光；超透镜，在混合感测阵列上，超透镜被配置为：将从对象反射的环境光引导到2d感测区域，并且将由光源发射并从对象反射的光引导到3d深度感测区域；和处理电路，被配置为：对通过2d感测区域提供的2d图像信息和通过3d深度感测区域提供的3d信息进行组合，以生
成组合的3d图像。
9.处理电路还被配置为：基于2d感测区域来确定对象的2d图像信息；基于3d深度感测区域来确定对象的3d深度信息；和用3d深度信息更新对象的2d图像信息。
10.所述的3d感测系统还可包括：行解码器和列放大器，行解码器和列放大器被堆叠在混合感测阵列下方。
11.超透镜可在形状上是圆形、圆柱形、矩形或正方形的，并且可以是偏振无关的。
12.2d感测区域可包括一个或多个光电二极管，3d深度感测区域可包括一个或多个apd或spad。
13.超透镜可被配置为：将nir光引导到3d深度感测区域。
14.处理电路还可被配置为：基于2d图像信息来检测对象；基于2d图像信息中的对象的坐标来生成感兴趣区域；和使用光源照射感兴趣区域。
15.处理电路还可被配置为：基于2d图像信息和3d深度信息来确定对象的身份；基于2d图像信息来跟踪对象；和响应于临界条件，用3d深度信息更新2d图像信息。
16.根据本公开的一个实施例，提供了一种基于混合感测阵列提供图像的方法。所述方法包括：从光源发射光；通过所述混合感测阵列的2d感测区域检测从对象反射的环境光；通过所述混合感测阵列的3d深度感测区域检测由光源发射并从对象朝向3d深度感测区域反射的光；通过所述混合感测阵列上的超透镜将环境光引导到2d感测区域；通过所述混合感测阵列的超透镜将由光源发射并从对象反射的光引导到3d深度感测区域；和通过处理电路对通过2d感测区域提供的2d图像信息和通过3d深度感测区域提供的3d信息进行组合，以生成组合的3d图像。
17.所述方法还可包括：通过处理电路基于2d感测区域来确定对象的2d图像信息；通过处理电路基于3d深度感测区域来确定对象的3d深度信息；和通过处理电路用3d深度信息更新对象的2d图像信息。
18.检测环境光和由光源发射的光的所述混合感测阵列可被堆叠在行解码器和列放大器上方。
19.将环境光引导到2d感测区域以及将由光源发射并从对象反射的光引导到3d深度感测区域的超透镜在形状上可以是圆形、圆柱形、矩形或正方形的，并且可以是偏振无关的。
20.2d感测区域可包括用于检测环境光的一个或多个光电二极管，3d深度感测区域包括用于检测由光源发射并从对象反射的光的apd或spad。
21.通过所述混合感测阵列上的超透镜将环境光引导到2d感测区域的步骤可包括：将可见光引导到2d感测区域，并且通过所述混合感测阵列的超透镜将由光源发射并从对象反射的光引导到3d深度感测区域的步骤包括：将nir光引导到3d深度感测区域。
22.所述方法还可包括：通过处理电路基于2d图像信息来检测对象；通过处理电路基于2d图像信息中的对象的坐标来生成感兴趣区域；和通过处理电路使用光源照射感兴趣区域。
23.所述方法还可包括：通过处理电路基于2d图像信息和3d深度信息来确定对象的身份；通过处理电路基于2d图像信息来跟踪对象；和通过处理电路响应于临界条件，用3d深度信息更新2d图像信息。
24.根据本公开的一个实施例，提供了一种3d感测系统。所述3d感测系统包括：光源，被配置为发射光；2d感测区域，用于检测从对象反射的可见光；3d深度感测区域，用于检测从对象反射的近红外光；超透镜，覆盖2d感测区域，超透镜被配置为：将从对象反射的可见光引导到2d感测区域，和将由光源发射并从对象反射的光引导到3d深度感测区域；和处理电路，被配置为：基于2d感测区域来确定对象的2d图像信息；基于3d深度感测区域来确定对象的3d深度信息；和用3d深度信息更新对象的2d图像信息。
25.所述3d感测系统还可包括：行解码器和列放大器，行解码器和列放大器被堆叠在2d感测区域和3d深度感测区域下方。
26.超透镜在形状上可以是圆形、圆柱形、矩形或正方形的，并且可以是偏振无关的。
27.2d感测区域可包括一个或多个光电二极管，3d深度感测区域包括一个或多个spad或apd。
附图说明
28.从下面参照附图对示例性实施例的详细描述，本公开的以上和其它方面和特征对于本领域技术人员将变得更加清楚。
29.图1是根据本公开的一个或多个实施例的3d感测系统的框图。
30.图2a是根据本公开的一个或多个实施例的包括混合传感器的框图。
31.图2b是根据本公开的一个或多个实施例的包括混合传感器的框图。
32.图3a至图3i是根据本公开的一个或多个实施例的混合感测阵列的部分的平面视图。
33.图4a至图4d是根据本公开的一个或多个实施例的在混合感测阵列上具有多个超透镜(metalens)的混合感测阵列的部分的平面视图。
34.图5a至图5c是根据本公开的一个或多个实施例的在混合感测阵列上具有超透镜和微透镜(microlens)的混合感测阵列的剖视图。
35.图6a是根据本公开的一个或多个实施例的包括超透镜和混合感测阵列上的超透镜的分解视图的框图。
36.图6b是根据本公开的一个或多个实施例的包括混合感测阵列上的透镜和超透镜的分解框图。
37.图7a是根据本公开的一个或多个实施例的混合传感器的平面视图和剖视图。
38.图7b是根据本公开的一个或多个实施例的混合传感器的剖视图。
39.图8是根据本公开的一个或多个实施例的用于对象检测和跟踪的方法的流程图。
40.图9是根据本公开的一个或多个实施例的用于提供高分辨率2d图像和高分辨率3d图像的方法的流程图。
具体实施方式
41.在下文中，将参照附图更详细地描述示例实施例，其中，相同的参考标号始终表示相同的元件。然而，本公开可以以各种不同的形式来实现，并且不应被解释为仅限于在此示出的实施例。不如说，提供这些实施例作为示例，使得本公开将是彻底的和完整的，并且将本公开的方面和特征充分传达给本领域技术人员。因此，可不描述对于本领域普通技术人
员完全理解本公开的方面和特征不是必须的处理、元件和技术。除非另外说明，否则贯穿附图和文字描述，相同的参考标记表示相同的元件，因此，它们的描述可不被重复。
42.通常，lidar系统(例如，诸如直接飞行时间(tof)lidar系统)通过朝向对象发射光脉冲(例如，激光脉冲)并且测量光脉冲从对象反射并被lidar系统的传感器检测到所花费的时间，来测量对象与其的距离(例如，深度)。一些lidar系统可使用包括光电检测器(诸如，单光子雪崩二极管(spad)和/或雪崩光电二极管(apd))的3d深度传感器来检测用于3d深度信息的光子。一些lidar系统还可使用包括光电检测器(诸如，光电二极管(pd))的单独的2d图像传感器来检测用于2d信息(例如，2d图像)的特定波长(例如，可见光波长)的光，并且可通过对齐3d深度传感器和2d传感器的不同视图之间的对应点来将3d深度信息与2d信息融合。通过将3d深度信息与2d信息融合，计算机视觉应用(诸如，用于自主驾驶应用和/或adas等的对象检测)可检测和识别真实世界中的对象。因此，提供融合的2d图像和3d深度数据的速度和分辨率对于实时计算机视觉应用可以是关键的。
43.然而，使用单独的2d图像传感器和3d深度传感器导致若干挑战。例如，2d图像和3d深度传感器可具有不同的视场(fov)、不同的分辨率和/或较大的形状因数等。因此，传感器可不期望庞大，准确的校准设置可被需要，并且大量的计算能力可专用于对齐3d深度信息与2d图像数据之间的对应点。
44.根据单独的2d图像传感器的fov和单独的3d深度传感器的fov，一些点可能由于fov不重叠的区域和/或传感器之一的障碍物等而不能够对应。此外，单独的2d图像传感器和单独的3d深度传感器可具有大的基线距离(即，2d图像传感器与3d深度传感器之间的距离)，这可使2d信息与3d信息之间的对齐更加困难。
45.个别地，组合来自单独的2d图像传感器和单独的3d深度传感器的数据可导致在对齐期间可能需要被解决的问题。例如，单独的3d深度传感器可具有噪声(诸如，时间、空间或飞行像素)，这可使得融合2d图像信息和3d深度信息更加困难。
46.此外，单独的2d图像传感器和3d深度传感器会扫描所有可用的感测像素以提供用于对齐的数据。然而，该处理可能占用大量的计算资源和功率，而扫描所有可用的感测像素针对计算机视觉应用可能不是期望的。在自主车辆的情况下，增加的功耗可降低可用功率，这可降低基于设置的电池电量的行驶里程。此外，与扫描更多感测像素相关联的增加的计算需求可降低可完成计算(诸如，tof)的速度。
47.无论如何，具有低形状因数的高分辨率和高质量3d深度信息对于用于检测环境中更远距离的对象并提供增强的移动性的计算机视觉应用可以是高度期望的。在adas和自主驾驶应用的情况下，增加可检测到对象的距离降低了对象造成的风险。因此，可期望检测多达大到至少100米至约200米或更大范围的对象。在vr应用和ar应用的情况下，低形状因数可提供更大的移动性，并且高质量3d深度信息可期望识别远的对象(例如，距感测系统超过10米的对象)。
48.根据本公开的一个或多个实施例，可提供包括混合感测阵列的紧凑型整体式混合传感器。混合感测阵列可包括2d感测区域和3d深度感测区域，2d感测区域(例如，互补金属氧化物半导体(“cmos”)感测区域)用于检测可见光特征，3d深度感测区域(例如，spad感测区域或apd感测区域)用于感测深度。混合感测阵列的2d感测区域和3d深度感测区域可共享彼此相同或基本相同的fov。通过共享fov，系统的校准需求可被减少，并且对齐可被简化。
49.在一个或多个实施例中，位于混合感测阵列与外部光之间的一个或多个超透镜(metalens)可将可见光引导(或聚焦)到2d感测区域，并且将近红外(“nir”)光引导(或聚焦)到3d深度感测区域，以增强可见光和nir检测。
50.此外，包括2d感测区域的pd的第一多个感测像素和包括3d深度感测区域的感测像素的第二多个感测像素可被布置，使得根据共享的fov用高质量3d深度信息更新或增强的高分辨率2d图像可被提供。换句话说，组合的3d图像可被提供。例如，在一个或多个实施例中，来自2d感测区域的2d图像数据可通过处理电路被用于检测高分辨率2d视图中的对象，从而允许更大距离处的对象检测。处理电路可通过将来自3d深度感测区域的3d深度信息映射到2d图像数据上，来用3d深度信息更新或增强高分辨率2d图像数据。例如，处理电路可对通过2d感测区域提供的2d图像信息和通过3d深度感测区域提供的3d深度信息进行组合，以生成组合的3d图像。例如，处理电路可基于2d感测区域来确定对象的2d图像信息，基于3d深度感测区域来确定对象的3d深度信息，并且用3d深度信息更新对象的2d图像信息。
51.在本公开的一个或多个实施例中，处理电路可通过将感兴趣区域(region of interest，“roi”)扫描机制应用于混合传感器的3d深度感测区域，来节省功率并减小计算负担。例如，处理电路的对象检测器可使用算法来基于2d图像识别和跟踪感兴趣对象(object of interest，“ooi”)。在一个或多个实施例中，基于所识别和跟踪的ooi，处理电路的roi控制器可与感测电路通信，使得3d深度感测区域的感测像素的一部分(例如，3d深度感测区的spad或apd的一部分)而不是3d深度感测区域的所有感测像素向处理电路提供3d深度信息。此外，在一个或多个实施例中，处理电路的roi控制器可直接或间接地与光源通信，以激活垂直腔面发射激光器(vertical
‑
cavity surface
‑
emitting laser，“vcsel”)阵列的一部分来照射所跟踪的ooi。例如，在adas和自主车辆应用的情况下，与可以是静态的树相比，行人可以是移动的，因此，行人的3d深度信息可使用roi扫描而被提供，而树的3d深度信息可不被收集以节省功率和/或计算资源。
52.现在将参照附图更详细地描述本公开的一个或多个示例实施例的以上和其它方面和特征。
53.图1是根据本公开的一个或多个实施例的3d感测系统102的框图100。
54.参照图1，根据本公开的一个或多个示例实施例，3d感测系统102可获取与其在环境中的周围事物对应的信息。在一个或多个实施例中，3d感测系统包括光源104(例如，vcsel的阵列)和混合传感器106。
55.混合传感器106可包括2d感测区域和3d深度感测区域，2d感测区域被配置为基于环境光生成2d信息(例如，具有或不具有颜色的2d图像信息)，3d深度感测区域被配置为基于从光源104发射的光根据tof测量来生成3d深度信息。
56.例如，混合传感器106的2d感测区域可检测从一个或多个目标反射的环境光以生成2d图像信息，混合传感器106的3d深度感测区域可检测从光源104发射(例如，发射的光脉冲)并朝向混合传感器106反射回的光(3d深度感测区域可包括一个或多个超透镜以将反射的光引导到3d深度感测区域)。根据从光源104发射光脉冲到通过3d深度感测区域检测到反射的光脉冲所经过的时间(即，tof)，3d感测系统102可确定到一个或多个对象108的表面的距离d(例如，深度)。
57.在一个或多个实施例中，2d信息可独立地用于以高分辨率检测和跟踪位于3d感测
系统102的合适接近度内的一个或多个对象108。在一个或多个实施例中，3d深度信息可用于更新一个或多个所跟踪的对象108的2d信息，以提供用3d深度信息补充或增强的高分辨率2d图像。
58.因此，3d感测系统102可使用混合传感器106在2d中以高分辨率识别和跟踪环境中的一个或多个对象108，并且可使用混合传感器106用3d深度信息增强或更新与一个或多个对象对应的2d信息。通过在2d中以高分辨率检测一个或多个对象108，3d感测系统102可增大对象检测距离并且可改善针对检测到的对象的深度估计。
59.图2a是根据本公开的一个或多个实施例的包括混合传感器106的框图。图2b是根据本公开的一个或多个实施例的包括混合传感器106的框图。
60.参照图2a至图2b，根据本公开的一个或多个示例实施例，混合传感器106包括感测电路202和处理电路204，感测电路202用于检测光，处理电路204包括处理器206和存储器208。处理器206可被实现为通用处理器、专用集成电路(asic)、一个或多个现场可编程门阵列(fpga)、一组处理组件或其它合适的电子处理组件。存储器208(例如，存储器、存储器单元和/或存储装置等)可包括用于存储用于完成或促进本技术中描述的各种处理的数据和/或计算机代码的一个或多个装置(例如，ram、rom、闪存和/或硬盘存储等)。存储器208可以是易失性存储器或非易失性存储器或者包括易失性存储器或非易失性存储器。存储器208可包括数据库组件、对象代码组件、脚本组件或用于支持本技术中描述的各种活动和信息结构的任何其它类型的信息结构。根据示例实施例，存储器208可经由处理电路204可通信地连接到处理器206，并且包括用于(例如，通过处理电路204和/或处理器206)执行在此描述的一个或多个处理的计算机代码。
61.如图2a至图2b中所示，处理电路204可在混合传感器106内实现为混合传感器106的内部处理电路204。然而，本公开不限于此。在一个或多个实施例中，处理电路204的功能可跨多个本地处理电路(例如，混合传感器106的处理电路204和可与混合传感器106分开的3d感测系统102的另一处理电路)被分开或共享。在一个或多个实施例中，3d感测系统102的处理电路可例如控制3d感测系统102的功能(例如，控制机动车辆的功能)并且与混合传感器106的处理电路204通信。因此，在一个或多个实施例中，混合传感器106的处理电路204可卸载可由3d感测系统102的处理电路执行的一些功能，从而释放3d感测系统102的处理电路以执行其它功能。
62.尽管一个或多个本地处理电路被描述为执行本公开中描述的功能，但是本公开不限于此。例如，在其它实施例中，处理电路204或处理电路204的一个或多个组件(例如，执行存储器208中的指令以执行本公开中描述的方法的组件)可跨(例如，可存在于分布式位置中的)多个服务器或计算机被分布。
63.在一个或多个实施例中，处理电路204可执行存储器208中的指令以用作图像信号处理器214、对象检测器212和/或roi控制器210。
64.图像信号处理器214可使用来自感测电路202的数据来提供或重建2d图像和/或3d图像。在一个或多个实施例中，图像信号处理器214通过对缺失的2d图像感测数据进行插值来提供或重建2d图像。图像信号处理器214可通过对缺失的3d深度感测数据进行插值并根据算法将3d深度信息应用于提供或重建的2d图像来提供或重建3d图像，以提供用3d深度信息(即，3d图像)补充、辅助或更新的高分辨率2d图像。
65.在一个或多个实施例中，图像信号处理器214可使用2d图像来改善3d质量。例如，图像信号处理器214可使用高分辨率2d图像来检测一个或多个ooi，并且可将3d深度感测引导到可检测到ooi的感兴趣区域(roi)。在这种情况下，2d图像可用于补充和/或验证3d图像的深度信息，例如，诸如填充与2d信息一致的ooi的缺失的3d信息。
66.对象检测器212可使用包括基于神经网络的对象检测系统的算法来基于来自2d感测区域的数据检测和跟踪2d图像数据中的对象。在一个或多个实施例中，对象检测器212可跟踪2d图像中的对象，并且基于roi扫描用3d信息(例如，3d深度信息)特定地更新所跟踪的对象的区域(例如，roi)。
67.roi控制器210可使用跟踪信息的对象检测器212来与感测电路202和/或光源104交互以实现基于roi的3d感测。例如，roi控制器210可将信号发送到感测电路202，使得行解码器218和/或列扫描器220根据行和列控制逻辑执行正常扫描或基于roi的扫描。在一个或多个实施例中，roi控制器210可使用来自对象检测器212的跟踪信息来引导光源特定地照射一个或多个ooi。例如，roi控制器可发送指令以仅激活光源的vcsel的阵列的朝向一个或多个所跟踪的ooi引导的部分。因此，电池功耗可被降低。
68.因此，图像信号处理器214、对象检测器212和roi控制器210通过用基于roi的跟踪的对象的扫描执行对象识别和跟踪来实现高分辨率、高质量3d图像。
69.参照图2a，在一个或多个实施例中，混合传感器106的感测电路202包括混合感测阵列216，混合感测阵列216包括2d感测区域和3d深度感测区域。2d感测区域包括布置成形成列和行的线的阵列的第一多个感测像素，3d深度感测区域包括布置成形成列和行的线的阵列的第二多个感测像素。行可在第一方向dr1上延伸，列可在与第一方向dr1交叉的第二方向dr2上延伸。
70.第一多个感测像素中的每个可包括pd，第二多个感测像素中的每个可包括spad或apd。在一个或多个实施例中，2d感测区域的pd中的每个可检测红光、绿光或蓝光，spad或apd中的每个可检测近红外光(即，具有在0.8微米与约1微米之间的波长(诸如，904纳米或940纳米)的光)。然而，本公开不限于此。例如，2d感测区域的pd中的一个或多个可检测可见光谱到nir光谱(例如，约0.4至约0.8微米)中的任何合适颜色的光，3d深度感测区域的感测像素中的一个或多个可检测任何合适光谱的光(例如，大于0.8微米(诸如，904纳米或940纳米)的波长的光)，以用于基于光源104测量tof。在2d感测区域的情况下，任何合适的布置可被使用，例如，2d感测区域可包括红色感测像素、绿色感测像素和蓝色感测像素中的一个或多个、红色感测像素和透明(clear)感测像素中的一个或多个、一个或多个透明感测像素或者一个或多个单色感测像素。
71.在一个或多个实施例中，如以下参照图3a至图3h更详细地示出和描述的，2d感测区域的感测像素和3d深度感测区域的感测像素可被交织(例如，以如图3a至图3d的实施例中所示的格状布置交织，或者以如图3e至图3h的实施例中所示的条纹布置交织)。换句话说，3d深度感测区域的每个感测像素可与2d感测区域的一个或多个感测像素直接相邻，使得2d感测区域的感测像素可在第一方向dr1或第二方向dr2上布置在3d深度感测区域的感测像素之间，或者3d深度感测区域的感测像素可在第一方向dr1或第二方向dr2上布置在2d感测区域的两个感测像素之间。然而，本公开不限于此。例如，如图2b、图3i、图6b和图7a至图7b的实施例中所示，2d感测区域和3d深度感测区域可并排(side
‑
by
‑
side)布置。
72.参照图2b，在一个或多个实施例中，混合传感器106的感测电路202包括混合感测阵列，混合感测阵列包括并排布置的2d感测区域230和3d深度感测区域232。2d感测区域230包括布置成形成列和行的线的阵列的第一多个感测像素，3d深度感测区域232包括布置成形成列和行的线的阵列的第二多个感测像素。行可在第一方向dr1上延伸，列可在与第一方向dr1交叉的第二方向dr2上延伸。
73.第一多个感测像素中的每个可包括pd，第二多个感测像素中的每个可包括spad或apd。在一个或多个实施例中，2d感测区域230的pd中的每个可检测红光、绿光或蓝光，spad或apd中的每个可检测近红外光。然而，本公开不限于此。例如，2d感测区域230的pd中的一个或多个可检测可见光谱至nir光谱(例如，约0.4至约0.8微米)中的任何合适颜色的光，3d深度感测区域232的感测像素中的一个或多个可检测任何合适光谱的光(例如，大于0.8微米(诸如，904纳米或940纳米)的波长的光)，以用于基于光源104测量tof。在2d感测区域230的情况下，任何合适的布置可被使用，例如，2d感测区域230可包括红色感测像素、绿色感测像素和蓝色感测像素中的一个或多个、红色感测像素和透明感测像素中的一个或多个、一个或多个透明感测像素、或一个或多个单色感测像素。
74.在一个或多个实施例中，一个或多个超透镜可位于图2a至图2b的实施例中的混合感测阵列上或上方，使得入射在一个或多个超透镜上的光可根据入射光的波长被引导到不同的感测区域。例如，可见光谱中的光(例如，红光、绿光和蓝光等)可通过一个或多个超透镜的纳米结构被引导(或聚焦)到2d感测区域的感测像素，而nir光谱中的光可被引导(或聚焦)到3d深度感测区域的感测像素。因此，一个或多个超透镜提高了混合感测阵列的感测像素用于检测回程光(inbound light)的能力。
75.参照图2a，在一个或多个实施例中，行解码器218和列扫描器220可用于对混合传感器106的感测像素进行寻址。行解码器218和/或列扫描器220可接收并输出驱动信号，使得选择的感测像素可检测入射光并且可响应于检测到的光而输出感测信号。来自像素行中的感测像素的感测信号可在被顺序地读出到例如处理电路204之前被存储在列存储器228中。在一个或多个实施例中，感测电路202可根据来自处理电路204的roi控制器210的信号向行解码器218和/或列扫描器220提供信号，以执行正常扫描(例如，普通扫描)或基于roi的3d扫描。
76.在一个或多个实施例中，感测电路202包括用于对信号进行放大的列放大器224、列模数转换器(“adc”)226和相关双采样(“cds”)单元222。列放大器根据感测像素的信号进行放大到具有cds功能的adc，以向处理电路204提供读出信号。在一个或多个实施例中，提供读出信号的电路和/或行和列控制逻辑可在2d感测区域与3d深度感测区域之间被共享。然而，本公开不限于此。例如，如图2b中所示，读出信号和/或行和列控制逻辑可通过分别连接到2d感测区域和3d深度感测区域的两个单独的电路被供应。
77.参照图2b，2d感测区域230可连接到第一电路，第一电路包括行解码器234和列电路系统236，列电路系统236包括具有cds功能的列放大器、具有数字双采样(“dds”)功能的列adc和行存储器(line
‑
memory)块。3d深度感测区域232可连接到第二电路，第二电路包括行解码器238和列电路系统240，列电路系统240包括列放大器(如果需要的话)、时间数字转换器(“tdc”)和行存储器块。在一个或多个实施例中，第一电路和第二电路与感测电路202的锁相环(“pll”)、可作为灰度计数器或二进制计数器的计数器、斜坡发生器和数字逻辑
(例如，用于重建2d图像和3d图像的数字逻辑)通信或包括感测电路202的锁相环、计数器、斜坡发生器和数字逻辑，以提供2d图像数据和3d深度信息。因此，如图2b中所示，在一个或多个实施例中，第一电路和第二电路可彼此分开，使得单独的读出以及单独的行和列控制逻辑被提供。
78.参照图2a至图2b，在一个或多个实施例中，混合感测阵列和其它块(诸如，以行解码器、cds电路、列放大器、列adc、列存储器、列扫描器、行存储器、tdc、pll、计数器、斜坡发生器、数字逻辑、处理电路204和/或处理电路204的组件等为例)可在同一封装件(例如，同一裸片)中实现和/或可以是堆叠结构(例如，堆叠裸片)的一部分。
79.在一个或多个实施例中，混合感测阵列和其它块可在同一封装件(例如，同一裸片)中并排。换句话说，混合感测阵列和其它块可在平面视图中彼此不重叠，并且可使用导电组件(例如，导电迹线等)连接。
80.在一个或多个实施例中，混合感测阵列和其它块可以是堆叠结构的一部分，其它块中的一个或多个可在混合感测阵列下方。其它块可使用导电组件(例如，混合接合和/或贯穿硅过孔(tsv，也称为，硅通孔)等)连接到混合感测阵列和/或彼此连接。
81.图3a至图3i是根据本公开的一个或多个实施例的混合感测阵列300a、300b、300c、300d、300e、300f、300g、300h、300i的部分的平面视图。
82.参照图3a至图3d，2d感测区域包括多个感测像素(例如，被配置为检测绿色的一个或多个绿色感测像素(g)301、被配置为检测红色的一个或多个红色感测像素(r)302以及被配置为检测蓝色的一个或多个蓝色感测像素(b)303)。在示出的实施例中，3d深度感测区域包括被配置为检测nir光的一个或多个感测像素304。2d感测区域的感测像素301、302、303和3d深度感测区域的感测像素304可以以各种合适的配置被交织。在一个或多个实施例中，2d感测区域包括第一感测像素行307和第二感测像素行305，第一感测像素行307具有交替的绿色感测像素301和红色感测像素302，第二感测像素行305包括交替的蓝色感测像素303和绿色感测像素301。第一感测像素行307可与第二感测像素行305直接相邻，以形成包括两个绿色感测像素301、一个红色感测像素302和一个蓝色感测像素303的2
×
2正方形段。2
×
2段可在行方向(例如，第一方向dr1)和列方向(例如，与第一方向dr1交叉的第二方向dr2)上被重复以形成拜耳(bayer)图像。然而，本公开不限于此。例如，2d感测区域可包括以具有颜色感测像素的任何合适布置的任何合适的形状布置的感测像素，以适合其它图像方案(例如，单色图像方案、红色和透明图像方案、或透明图像方案)。
83.根据本公开的一个或多个实施例，3d深度感测区域的感测像素与2d感测区域的感测像素之间的比率可适当地变化。例如，在一个或多个实施例中，3d深度感测区域的感测像素与2d感测区域的感测像素之间的比率可以是1：1(例如，包括spad的一个感测像素比一个单色感测像素)，并且在其它实施例中，3d深度感测区域的感测像素与2d感测区域的感测像素之间的比率可大于1：1(例如，如图3a至图3d中所示，每红色、绿色和蓝色感测像素301、302、303的组一个感测像素304)。如图3a至图3h中所示，3d深度感测区域的感测像素304与2d感测区域的感测像素301、302、303的比率可影响交织布置中的对应数据的分辨率。例如，增大每个3d深度感测区域的感测像素304的2d感测区域的感测像素301、302、303的数量提高了2d感测数据的分辨率，而降低了3d深度感测数据的分辨率。参照图3a至图3d，3d深度感测区域的感测像素304与2d感测区域的感测像素301、302、303的不同比率可被提供，以平衡
高分辨率2d图像和最小分辨率3d深度信息，这可使检测最小大小的对象可行。
84.在本公开的一个或多个实施例中，如图3a至图3d的实施例中所示，由3d深度感测区域的感测像素304占据的面积与由2d感测区域的感测像素301、302、303占据的面积的比率可以是1：4。然而，本公开不限于此。例如，由3d深度感测区域的感测像素304占据的面积与由2d感测区域的感测像素301、302、303占据的面积的比率可适当地变化(例如，1：1的面积比率或大于1：1的面积比率)。
85.如图3a中所示，2d感测区域的感测像素301、302、303可被3d深度感测区域的感测像素304中断(或取代)，使得2d感测区域和3d深度感测区域可被交织。换句话说，根据2d感测区域的感测像素列和/或感测像素行的图案，可存在3d深度感测区域的感测像素304代替2d感测区域的一个或多个感测像素301、302、303。在一个或多个实施例中，3d深度感测区域的感测像素304可在行方向(例如，第一方向dr1)上以第一间隔306被重复，并且在列方向(例如，第二方向dr2)上以第二间隔308被重复。在这种情况下，第一间隔306和第二间隔308可彼此相等，因此，3d深度感测区域的感测像素304可具有正方形布置。在图3a中所示的实施例中，3d深度感测区域的感测像素304与2d感测区域的感测像素301、302、303的比率可以是1：12，并且3d深度感测区域的每个感测像素304可通过2d感测区域的感测像素301、302、303中的两个与3d深度感测区域的另一感测像素304分开。然而，本公开不限于此。例如，伴随着对3d深度感测区域的感测像素304与2d感测区域的感测像素301、302、303的比率的对应影响，3d深度感测区域的多个感测像素304可通过2d感测区域的任何合适数量的感测像素301、302、303彼此分开。
86.如图3b中所示，在一个或多个实施例中，3d深度感测区域的感测像素304可针对行方向(例如，第一方向dr1)和列方向(例如，第二方向dr2)以行方向(例如，第一方向dr1)上的第三间隔310和列方向(例如，第二方向dr2)上的第四间隔312被重复。在这种情况下，第三间隔310和第四间隔312可彼此不同，因此，3d深度感测区域的感测像素304可具有矩形布置。在图3b中所示的实施例中，3d深度感测区域的感测像素304与2d感测区域的感测像素的比率可以是1：20，并且3d深度感测区域的每个感测像素304可在行方向(例如，第一方向dr1)上通过2d感测区域的感测像素301、302、303中的两个以及在列方向(例如，第一方向dr1)上通过2d感测区域的感测像素301、302、303中的四个与3d深度感测区域的另一感测像素304分开。然而，本公开不限于此。例如，伴随着对3d深度感测区域的感测像素304与2d感测区域的感测像素301、302、303的比率的对应影响，3d深度感测区域的感测像素304可在行方向(例如，第一方向dr1)和/或列方向(例如，第二方向dr2)上通过2d感测区域的任何合适数量的感测像素301、302、303彼此分开。
87.如图3c中所示，在一个或多个实施例中，3d深度感测区域的奇数编号的感测像素行315的感测像素304可具有第一矩形形状布置(由与第六间隔316不同的第五间隔314指示)，3d深度感测区域的偶数编号的感测像素行317的感测像素304可具有第二矩形形状布置(与第一矩形形状布置匹配)。第一矩形布置可在行方向(例如，第一方向dr1)和/或列方向(例如，第二方向dr2)上从第二矩形布置偏移。换句话说，3d深度感测区域的感测像素304可具有之字形(zig
‑
zag
‑
shape)布置。在图3c中所示的实施例中，每个2d感测区域的感测像素列可被3d深度感测区域的感测像素304中断(或取代)。此外，3d深度感测区域的感测像素304与2d感测区域的感测像素301、302、303的比率可以是1:12，并且3d深度感测区域的每个
感测像素可在行方向(例如，第一方向dr1)上通过2d感测区域的感测像素301、302、303中的两个和在列方向(例如，第二方向dr2)上通过2d感测区域的感测像素301、302、303中的六个与3d深度感测区域的另一感测像素分开。然而，本公开不限于此。例如，伴随着对3d深度感测区域的感测像素304与2d感测区域的感测像素301、302、303的比率的对应影响，3d深度感测区域的感测像素304可在行方向(例如，第一方向dr1)和/或列方向(例如，第二方向dr2)上通过2d感测区域的任何合适数量的感测像素301、302、303彼此分开。
88.如图3d中所示，在一个或多个实施例中，3d深度感测区域的奇数编号的感测像素行315的感测像素304可具有第一正方形布置(由与第八间隔320相同的第七间隔318指示)，并且3d深度感测区域的偶数编号的感测像素行317的感测像素304可具有第二正方形布置(与第一正方形布置匹配)。第一正方形布置可在行方向(例如，第一方向dr1)和/或列方向(例如，第二方向dr2)上以相同的间隔(即，第九间隔322等于第十间隔324)从第二正方形布置偏移。换句话说，3d深度感测区域的感测像素304可具有菱形布置。在图3d中所示的实施例中，2d感测区域的一些感测像素列可不被3d深度感测区域的感测像素304中断(或取代)。此外，3d深度感测区域的感测像素304与2d感测区域的感测像素301、302、303的比率可以是1：28，并且3d深度感测区域的每个感测像素304可在行方向(例如，第一方向dr1)上通过2d感测区域的感测像素301、302、303中的六个和在列方向(例如，第二方向dr2)上通过2d感测区域的感测像素301、302、303中的六个与3d深度感测区域的另一感测像素304分开。然而，本公开不限于此。例如，伴随着对3d深度感测区域的感测像素304与2d感测区域的感测像素301、302、303的比率的对应影响，3d深度感测区域的感测像素304可在行方向(例如，第一方向dr1)和/或列方向(例如，第二方向dr2)上通过2d感测区域的任何合适数量的感测像素301、302、303彼此分开。
89.参照图3a至图3d，各种布置中的每个可影响通过处理电路204的对象检测器212进行的对象检测和跟踪。例如，用于识别2d图像和3d图像中的对象(例如，人、车和障碍物等)的最小边界框大小可受3d深度感测区域的感测像素304与2d感测区域的感测像素301、302、303的布置和比率的影响。图3a可具有30
×
8的最小边界框大小，图3b可具有30
×
8的最小边界框大小，图3c可具有30
×
6的最小边界框大小，图3d可具有30
×
8的最小边界框大小。
90.参照图3e至图3h，混合感测阵列300e、300f、300g的感测像素行326、328、330、332、334、336可以是2d感测区域的感测像素行328、330、334、336或3d深度感测区域的感测像素行326、332，混合感测阵列300h的感测像素行326、328、330、332、334、336可以是2d感测区域的感测像素行328、332、336或3d深度感测区域的感测像素行326、330、334。换句话说，2d感测区域和3d深度感测区域可被布置为条纹布置中的交替水平条。然而，本公开不限于此。例如，2d感测区域的感测像素行328、330、334、336和3d深度感测区域的感测像素行326、332可根据其应用被布置为条纹布置中的交替垂直条。例如，在自主驾驶应用中，位于车辆的前方的对象可比位于车辆的侧部的对象更重要。因此，在这种情况下，3d深度感测区域的感测像素行326、332可被布置为条纹布置中的交替水平条。
91.如图3e中所示，在一个或多个实施例中，3d深度感测区域的感测像素304可在行方向(例如，第一方向dr1)上被连续重复，2d感测区域的感测像素301、302、303也可在行方向(例如，第一方向dr1)上被连续重复。在示出的实施例中，3d深度感测区域的感测像素304具有正方形形状。然而，本公开不限于此。例如，3d深度感测区域的感测像素304可具有任何合
适的形状(诸如，如图3f至图3h的实施例中所示的矩形形状)。
92.参照图3e，在列方向(例如，第二方向dr2)上，3d深度感测区域的感测像素行326可通过2d感测区域的两个感测像素行328、330与3d深度感测区域的另一感测像素行332分开。然而，本公开不限于此。例如，如图3g和图3h中所示，3d深度感测区域的感测像素行326、332可以以规则或不规则的间隔通过2d感测区域的任何数量的感测像素行彼此分开。
93.参照图3i，混合感测阵列300i可包括以并排布置彼此分开的2d感测区域338和3d深度感测区域340。
94.如图3i中所示，2d感测区域338整体上与3d深度感测区域340相邻。换句话说，3d深度感测区域340的感测像素304可彼此直接相邻，使得2d感测区域338的感测像素301、302、303在第一方向dr1或第二方向dr2上可不在3d深度感测区域340的感测像素304之间，并且2d感测区域338的感测像素301、302、303可彼此直接相邻，使得3d深度感测区域340的感测像素304在第一方向dr1或第二方向dr2上可不在2d感测区域338的感测像素301、302、303之间。如图3a至图3h的实施例中所示，与2d感测区域的感测像素301、302、303可与3d深度感测区域的感测像素304交织的布置相比，由于2d感测区域的感测像素301、302、303的密度的增大，2d感测区域338和3d深度感测区域340的并排布置可提供增强的2d图像分辨率。
95.图4a至图4d是根据本公开的一个或多个实施例的在混合感测阵列400a、400b、400c、400d上具有多个超透镜(例如，超透镜406)的混合感测阵列400a、400b、400c、400d的部分的平面视图。
96.参照图4a至图4d，在一个或多个实施例中，3d深度感测区域的奇数编号的感测像素行408、412的感测像素404可具有第一矩形形状布置(由彼此不同的第十一间隔414和第十二间隔416指示)，3d深度感测区域的偶数编号的感测像素行410的感测像素404可具有第二矩形形状布置。第一矩形布置可在行方向(例如，第一方向dr1)和/或列方向(例如，第二方向dr2)上以不同的间隔(例如，第十三间隔418不同于第十四间隔420)从第二矩形布置偏移。换句话说，3d深度感测区域的感测像素可具有之字形布置。然而，本公开不限于此，并且可使用任何合适的形状布置。例如，在一个或多个实施例中，可使用菱形、正方形或矩形形状布置。
97.在图4a至图4b中所示的实施例中，2d感测区域的一些感测像素列可不被3d深度感测区域的感测像素404中断(或取代)。此外，3d深度感测区域的每个感测像素404可在行方向(例如，第一方向dr1)上通过九个感测像素401、402、403或402、405与3d深度感测区域的另一感测像素404分开，并且在列方向(例如，第二方向dr2)上通过十七个感测像素401、402、403或402、405与3d深度感测区域的另一感测像素404分开。然而，本公开不限于此。例如，3d深度感测区域的感测像素404可在行方向(例如，第一方向dr1)和/或列方向(例如，第二方向dr2)上通过2d感测区域的任何合适数量的感测像素401、402、403或402、405彼此分开。在图4c至图4d中所示的实施例中，3d深度感测区域的每个感测像素404可在行方向(例如，第一方向dr1)上通过九个感测像素401、402、403或402、405与3d深度感测区域的另一感测像素404分开，并且在列方向(例如，第二方向dr2)上通过十五个感测像素401、402、403或402、405与3d深度感测区域的另一感测像素404分开。
98.尽管图4a至图4b中所示的3d深度感测区域的感测像素404具有特定大小和形状的面积(例如，具有3d深度感测区域的一个感测像素404与2d感测区域的九个感测像素401、
402、403或402、405的面积比率的正方形面积，但是3d深度感测区域的感测像素404可以是任何合适的大小或形状。例如，如图4c至图4d中所示，3d深度感测区域的感测像素404可具有更大的面积，并且该面积可以是矩形(例如，具有3d深度感测区域的一个感测像素404与2d感测区域的15个感测像素401、402、403或402、405的面积比率的矩形面积)。在具有矩形形状的3d深度感测区域的感测像素404的情况下，与具有正方形形状的3d深度感测区域的感测像素404相比，3d深度感测区域的感测像素404可更适合于检测窄对象。例如，正方形形状可更适合于检测具有正方形形状纵横比的对象，矩形形状可更适合于检测具有矩形形状纵横比的窄对象。此外，3d深度感测区域的感测像素404的较大面积可更适合于检测更大距离处的对象(例如，从对象反射的nir可更可能被引导(或聚焦)到3d深度感测区域的感测像素404的一部分上)。通过将3d深度感测区域的较大面积感测像素404设置成彼此相邻，由3d深度感测区域的每个感测像素404提供的感测信号可由3d深度感测区域的相邻感测像素404确认，以避免由于3d深度感测区域的单个感测像素404处的噪声等引起的假阳性3d深度信息。因此，根据应用，可期望具有合适大小和形状的3d深度感测区域的感测像素。
99.在一个或多个实施例中，如图4a至图4d中所示，多个超透镜(例如，超透镜406)可覆盖3d深度感测区域的每个感测像素404以及可与3d深度感测区域的感测像素404相邻的2d感测区域的一个或多个感测像素401、402、403或402、405。在这种情况下，入射在超透镜406上的光可根据波长而被引导到2d感测区域的感测像素401、402、403或402、405或者3d深度感测区域的感测像素404。例如，入射在超透镜406上的可见光可被引导(或聚焦)在2d感测区域的感测像素401、402、403或402、405上，入射在超透镜406上的nir光可被引导(或聚焦)在与2d深度感测区域的感测像素401、402、403或402、405相邻(例如，直接相邻)的3d深度感测区域的感测像素404上。
100.在一个或多个实施例中，如以下将参照图5a至图6b更详细地描述的，超透镜406基于纳米结构引导(或聚焦)光，纳米结构可被适当地修改以将设置波长光谱的入射光引导(或聚焦)到混合感测阵列的各个感测区域。在这种情况下，超透镜406的中心部分可被设计成引导(或聚焦)来自围绕超透镜406的中心部分的超透镜406的外部部分的不同波长的光。
101.尽管在示出实施例中，多个超透镜406各自覆盖3d深度感测区域的单个感测像素404和与3d深度感测区域的感测像素404相邻的2d深度感测区域的感测像素401、402、403或402、405，但是本公开不限于此。例如，超透镜406可仅覆盖2d感测区域的感测像素401、402、403或402、405，而不覆盖3d深度感测区域的感测像素404，使得超透镜406将可见光引导(或聚焦)到2d感测区域的感测像素401、402、403或402、405，将nir光引导(或聚焦)到3d深度感测区域的感测像素404，并且在其它实施例中，超透镜406可仅覆盖3d深度感测区域的感测像素404，而不覆盖2d感测区域的感测像素401、402。403或402、405，使得超透镜406将可见光引导(或聚焦)到2d感测区域的感测像素，将nir光引导(或聚焦)到spad。因此，超透镜406可以是任何形状，并且在对超透镜406进行适当调整的情况下覆盖混合感测阵列的任何数量或类型的感测像素。
102.尽管图4a至图4d示出多个超透镜，但是本公开不限于此。例如，任何数量的超透镜406可用于覆盖混合感测阵列，例如，其上具有纳米结构的全局透镜(即，单个超透镜)可在对全局透镜的纳米结构进行合适的改变的情况下用于覆盖整个混合感测阵列。尽管图4a和图4c的实施例包括红色感测像素、绿色感测像素和蓝色感测像素，但是本公开不限于此。例
如，如图4b和图4d中所示，感测像素可包括红色感测像素和透明感测像素，而不是红色感测像素、绿色感测像素和蓝色感测像素。
103.图5a至图5c是根据本公开的一个或多个实施例的在混合感测阵列上具有超透镜502和微透镜(microlens)504的混合感测阵列的剖视图500a、500b、500c。
104.参照图5a至图5c，根据本公开的一个或多个示例实施例，微透镜504和超透镜502可在混合感测阵列508上。超透镜502可包括设置在刚性或柔性透明基底上的多个纳米结构512、514、518、522、524、526(例如，多个薄介电纳米天线块或散射体)，刚性或柔性透明基底适于通过其透射一个或多个目标波长光谱的外部光。超透镜502(例如，超透镜502的柔性透明基底)可以是任何合适的形状(诸如，以圆形、圆柱形、矩形或正方形形状为例)。在一个或多个实施例中，超透镜502可具有偏振无关性质。
105.纳米结构512、514、518、522、524、526中的每个的形状、大小和位置可影响光的性质(诸如，相位、偏振和焦点)。因此，纳米结构512、514、518、522、524、526中的每个可在基底上被设置为具有不同的几何结构和/或布置，以将不同目标波长光谱的外部光引导(或聚焦)到混合感测阵列508的不同部分。在一个或多个实施例中，纳米结构512、514、518、522、524、526在形状上可以是圆形、圆柱形、矩形、正方形等，并且纳米结构512、514、518、522、524、526可被布置，使得一个或多个超透镜(例如，超透镜502)表现出偏振无关性质。
106.在一个或多个实施例中，如图5a中所示，超透镜502包括纳米结构的第一组510、纳米结构的第二组516和纳米结构的第三组520，纳米结构的第一组510(例如，第一纳米结构512和第二纳米结构514)与2d感测区域的第一感测像素511重叠(例如，在第三方向dr3上重叠)，纳米结构的第二组516(例如，第三纳米结构518)与2d感测区域的第二感测像素517重叠(例如，在第三方向dr3上重叠)，纳米结构的第三组520(例如，第四纳米结构522、第五纳米结构524和第六纳米结构526)与3d深度感测区域的感测像素519重叠(例如，在第三方向dr3上重叠)。
107.在一个或多个实施例中，纳米结构的第一组510(例如，第一纳米结构512和第二纳米结构514)可被配置为将不同波长光谱的外部光引导(或聚焦)到混合感测阵列508的不同部分。例如，与第一感测像素511重叠的第一纳米结构512可被配置为将nir光谱(例如，大于0.8微米)中的光引导(或聚焦)到与2d感测区域的第一感测像素511直接相邻的3d深度感测区域的感测像素519，与2d感测区域的第一感测像素511重叠的第二纳米结构514可被配置为将可见光谱至nir光谱(例如，约0.4微米至约0.8微米)中的光引导(或聚焦)到2d感测区域的第一感测像素511。因此，纳米结构的第一组510可通过将不同波长光谱引导(或聚焦)到混合感测阵列的不同感测区域而用作分束器。
108.在一个或多个实施例中，第二组516的每个纳米结构(例如，第三纳米结构518)可被配置为将相同波长光谱的外部光引导(或聚焦)到混合感测阵列508的相同部分。例如，第二组516的每个纳米结构(例如，第三纳米结构518)可被配置为将可见光谱至nir光谱(例如，约0.4微米至约0.8微米)中的光引导(或聚焦)到2d感测区域的第二感测像素517。换句话说，与2d感测区域的第二感测像素517重叠(例如，在第三方向dr3上重叠)的第二组516中的纳米结构中没有纳米结构将光引导(或聚焦)到相邻的感测像素。然而，本公开不限于此。例如，第二组516可具有将光引导(或聚焦)到相邻和/或直接相邻的感测像素以用作分束器的纳米结构。
109.在一个或多个实施例中，纳米结构的第三组520(例如，第四纳米结构522、第五纳米结构524和第六纳米结构526)可被配置为将不同波长光谱的外部光引导(或聚焦)到混合感测阵列508的不同部分。例如，与3d深度感测区域的感测像素519重叠的第四纳米结构522可被配置为将nir光谱(例如，大于0.8微米)中的光引导(或聚焦)到3d深度感测区域的感测像素519，与3d深度感测区域的感测像素519重叠的第五纳米结构524可被配置为将可见光谱至nir光谱(例如，约0.4微米至约0.8微米)中的光引导(或聚焦)到与3d深度感测区域的感测像素519直接相邻的2d感测区域的第一感测像素511，与3d深度感测区域的感测像素519重叠的第六纳米结构526可被配置为将可见光谱至nir光谱(例如，约0.4微米至约0.8微米)中的光引导(或聚焦)到与3d深度感测区域的感测像素519直接相邻的2d感测区域的第三感测像素521。因此，纳米结构的第三组520可通过将不同波长光谱中的光引导(或聚焦)到混合感测阵列的不同感测区域而用作分束器。在这种情况下，第三组520可将光引导(或聚焦)到三个不同的感测像素。然而，本公开不限于此，并且可使用纳米结构的任何合适的引导(或聚焦)布置。
110.尽管超透镜在图5a中被示出和描述为包括与每个感测像素重叠的纳米结构，但是本公开不限于此。例如，如图5b中所示，一些感测像素(例如，图5b的实施例中的3d深度感测区域的感测像素519)可不具有在第三方向上与3d深度感测区域的感测像素519重叠的纳米结构。
111.尽管超透镜在图5a中被示出和描述为包括与感测像素重叠的纳米结构，其中，分束涉及直接相邻的感测像素，但是本公开不限于此。例如，如图5b中所示，除了图5a的实施例中所示的第三纳米结构518之外，第二组516还可包括第七纳米结构528。如图5b中所示，第二组516的第三纳米结构518可被配置为将可见光谱至nir光谱(例如，约0.4微米至约0.8微米)中的光引导(或聚焦)到2d感测区域的第二感测像素517，第二组516的第七纳米结构528可被配置为将nir光谱(例如，大于0.8微米)中的光引导(或聚焦)到与2d感测区域的第二感测像素517相邻的3d深度感测区域的感测像素519，2d感测区域的第一感测像素511介于2d感测区域的第二感测像素517与3d深度感测区域的感测像素519之间。
112.在一个或多个实施例中，一个或多个微透镜(例如，微透镜504)可帮助将入射光聚焦到感测像素的目标部分。如图5a和图5b的实施例中所示，微透镜504可位于超透镜502下方，并且在其它实施例中，如图5c的实施例中所示，微透镜504可位于超透镜502上方。换句话说，在图5a和图5b的实施例中，微透镜504可在超透镜502与混合感测阵列之间，并且在其它实施例中，如图5c的实施例中所示，超透镜502可在微透镜504与混合感测阵列之间。
113.在一个或多个实施例中，多个滤色器506可过滤设置波长光谱的光。图5a至图5c的实施例中的每个滤色器506对应于通过在厚度方向(例如，第三方向dr3)上与滤色器506重叠的感测像素感测到的光的波长。例如，蓝光可透射通过与蓝色感测像素(例如，第一感测像素511)重叠的多个滤色器506中的蓝色滤色器，nir光可透射通过与感测像素519重叠的多个滤色器506中的nir滤色器。
114.因此，如图5a至图5c中所示，可基于一个或多个目标波长光谱将入射在包括一个或多个纳米结构(例如，用于不同波长光的散射波瓣(scatter lobe)的结构)的超透镜502上的外部光引导(或聚焦)到混合感测阵列508的2d感测区域和/或3d深度感测区域。
115.尽管微透镜504在图5a至图5c中被示出，但是微透镜504提供专用的光聚焦能力以
补充超透镜502聚焦和重新引导目标波长光谱的能力。因此，在一个或多个实施例中，可不存在微透镜504，其中，可能不需要额外的光聚焦。然而，在图5a至图5c的实施例中，可存在微透镜504以帮助解决2d感测区域和3d深度感测区域的主光线角度(“cra”)或fov的问题。
116.图6a是根据本公开的一个或多个实施例的包括全局超透镜602的一部分和混合感测阵列上的全局超透镜602的该部分的分解视图的框图。
117.在一个或多个实施例中，包括nir光和可见光的外部光600可被入射在全局超透镜602上。全局超透镜可包括一个或多个纳米结构608，该纳米结构608引导(或聚焦)不同波长光谱的外部光600，使得外部光600被分成可见光和nir光。在一个或多个实施例中，可见光可被引导(或聚焦)到包括pd的2d感测区域604的感测像素，nir光可被引导(或聚焦)到包括一个或多个spad的3d深度感测区域606的感测像素。
118.因此，全局超透镜602可覆盖整个混合感测阵列，全局超透镜602的不同部分可将可见光引导(或聚焦)到接近全局超透镜602的该部分的2d感测区域的部分，并且全局超透镜602的不同部分可将nir光引导(或聚焦)到接近全局超透镜602的该部分的3d深度感测区域的部分。
119.图6b是根据本公开的一个或多个实施例的包括混合感测阵列614上的透镜(例如，全局透镜)610和全局超透镜612的分解框图。
120.参照图6b，在一个或多个实施例中，混合感测阵列614可包括以并排布置彼此相邻的2d感测区域616和3d深度感测区域618，2d感测区域616和3d深度感测区域618由于一个主透镜而共享相同的fov。在一个或多个实施例中，全局超透镜612可居中以覆盖2d感测区域616，使得通过全局超透镜612被引导(或聚焦)到2d感测区域的红色感测像素、绿色感测像素和蓝色感测像素上的可见光导致高的2d图像质量。此外，全局超透镜612将足够的nir光引导(或聚焦)到3d深度感测区域618以提供3d深度信息。因此，使全局超透镜612居中以覆盖2d感测区域616有助于提供高分辨率2d图像，同时被重新引导(或聚焦)到相邻的3d深度感测区域618的nir为3d深度感测区域618的感测像素提供足够的nir光以检测nir光并提供3d深度信息。
121.图7a是根据本公开的一个或多个实施例的混合传感器106的平面视图和剖视图。图7b是根据本公开的一个或多个实施例的混合传感器106的剖视图。
122.参照图7a至图7b，在一个或多个实施例中，混合传感器106可包括混合感测阵列702、主透镜708、全局超透镜710和印刷电路板712(“pcb”)。混合感测阵列702可位于pcb 712上，并且包括并排布置的2d感测区域704和3d深度感测区域706。
123.如图7a中所示，主透镜708和全局超透镜710可覆盖混合感测阵列702或与混合感测阵列702重叠，使得主透镜708和全局超透镜710在2d感测区域704上居中。在一个或多个实施例中，混合感测阵列702的整个2d感测区域704和混合感测阵列的整个3d深度感测区域可与全局超透镜710和主透镜708重叠。然而，本公开不限于此。例如，如图7b中所示，混合感测阵列702的整个2d感测区域704可与全局超透镜710和主透镜708重叠，而小于整个3d深度感测区域706的区域可与全局超透镜710和主透镜708重叠。
124.在一个或多个实施例中，全局超透镜710可在主透镜708与2d感测区域704之间，使得入射在主透镜708上的外部光在被混合感测阵列702检测到之前穿过全局超透镜710。穿过全局超透镜710的光可由位于透明基底(例如，玻璃基底)716上的一个或多个纳米结构
714引导(或聚焦)。一个或多个纳米结构中的每个可将可见光引导(或聚焦)到2d感测区域704，或者将nir光引导(或聚焦)到3d深度感测区域706。因为由2d感测区域704和3d深度感测区域706监测到的光穿过共享的主透镜708，所以2d感测区域704和3d深度感测区域706二者具有相同的fov。因此，如以下更详细地讨论的，使主透镜708和全局超透镜710居中以覆盖2d感测区域704有助于提供可用3d深度信息增强的高分辨率2d图像。
125.如图7a中所示，主透镜708、全局超透镜710和混合感测阵列702之间的平面面积和距离d2、d3和d4可被设置，使得混合感测阵列702的每个感测像素可被暴露于引导的(或聚焦的)光。主透镜708的焦点可与主透镜708间隔距离d4，并且可与全局超透镜710间隔距离d3。在一个或多个实施例中，主透镜的焦点可在主透镜708与全局超透镜710之间。此外，混合感测阵列702可与全局超透镜710间隔距离d2，使得混合感测阵列702的每个感测像素可检测从主透镜708和/或全局超透镜710引导的(或聚焦的)光。
126.因此，紧凑型整体式混合传感器106提供有主透镜708和覆盖混合感测阵列702或与混合感测阵列702重叠的全局超透镜710，以提供来自共享fov的2d图像数据和3d深度信息。此外，因为3d深度感测区域706的感测像素不会中断(或取代)2d感测区域704的感测像素而导致“丢失”2d感测区域704的感测像素，所以2d感测区域704和3d深度感测区域706的并排布置有助于提供高分辨率2d图像。
127.图8是根据本公开的一个或多个实施例的用于对象检测和跟踪的方法800的流程图。
128.参照图8，处理电路204的对象检测器212可使用基于神经网络的对象检测系统来基于来自2d感测区域的数据检测和跟踪2d图像数据中的对象。
129.在一个或多个实施例中，对象检测器212可使用2d图像数据检测对象(802)。对象检测器212可确定检测到的对象是否是新的对象(804)。例如，对象检测器212可基于在2d图像数据中检测到的对象是否已经被存储在对象表810中，来确定该对象是否是新的对象。
130.如果该对象是先前或已经检测到的对象，则作为对象检测循环的一部分，对象检测器212继续检测图像中的其它对象。如果该对象不是在当前2d图像数据中先前或已经检测到的新的对象，则对象检测器212与处理电路204的roi控制器210一起工作以激活3d深度感测区域。例如，对象检测器212可使用2d图像数据来检测对象(例如，行人)(802)，并且识别2d图像数据中的对象(例如，行人)的坐标。基于2d图像数据中的对象的坐标，roi控制器210可激活光源104的部分(例如，vcsel的阵列的部分)以照射真实世界中的对象(例如，行人)。在一个或多个实施例中，roi控制器210可向感测电路202发送信号，以根据从2d图像识别的对象的坐标来选择3d深度感测区域的特定感测像素(例如，包括spad的一个或多个感测像素)。在一个或多个实施例中，由感测电路202驱动的3d深度感测区域的感测像素可与提供与对象(例如，行人)的2d图像数据对应的感测信号的2d感测区域的感测像素相邻或接近。
131.因此，3d深度感测信息可通过混合传感器106收集(即，3d深度感测开启(806))。通过响应于新的对象选择性地开启3d深度感测，电池电力使用可被减少并且较少的计算资源可被使用。基于2d图像数据和3d深度信息的组合，对象检测器212可根据2d感测信息估计关于新的对象的信息(诸如，形状、身份和/或2d大小信息)(808)并根据3d深度感测信息估计深度，并且在返回到检测其它对象(802)之前将估计的信息存储在对象表810中，从而完成
检测循环。在一个或多个实施例中，对象表810可指示对象是否是应被跟踪的ooi。
132.因此，在一个或多个实施例中，对象检测器212可基于检测循环来跟踪通过对象表识别的对象。例如，对于adas或自主车辆应用，树和行人可通过检测循环被识别。在该情况下，对象检测器212可确定背景中的树不应被跟踪。另一方面，对象检测器212可确定行人应被跟踪(例如，因为行人可移动)。因此，在2d图像数据中识别的行人可使用roi感测而被跟踪为ooi。尽管树和行人的示例被提供，但是本公开不限于此。根据应用，任何对象可基于若干因素(例如，位置、重要性、距离和移动性等)而被指定用于跟踪。
133.在一个或多个实施例中，对象检测器212可连续地跟踪2d图像数据中的对象(例如，跟踪对象的位置)(812)。如果对象检测器212丢失对2d图像数据中的所跟踪的对象的跟踪(例如，所跟踪的对象退出fov或发生错误)(814)，则对象跟踪结束，直到检测循环再次检测到另一对象或同一对象以进行跟踪(即，对象检测器212退出跟踪循环并且返回到检测循环)。因此，在检测循环中，存在丢失的所跟踪的对象将被重新识别并再次跟踪以校正任何可能的错误的可能性。
134.如果对象检测器212正在跟踪对象(例如，ooi)并且临界条件(例如，在adas应用中ooi在前方的条件)被遇到(816)，则对象检测器212可与处理电路204的roi控制器210一起工作以激活3d深度感测区域。roi控制器210可向感测电路202发送信号以选择3d深度感测区域的特定感测像素，和/或激活光源104的部分(例如，vcsel的阵列的部分)以照射真实世界中的检测到的对象。因此，3d深度感测信息可通过混合传感器106收集(即，3d深度感测开启(818))。通过响应于临界条件选择性地开启3d深度感测(818)，电池电力使用可被减少并且较少的计算资源可被使用。基于来自3d深度感测的新的信息，对象检测器可增强或更新所跟踪的对象的3d深度信息(820)。在一个或多个实施例中，2d图像数据和3d深度信息的组合还可使对象检测器能够在返回到跟踪对象之前根据对象表中的2d感测信息重新评估或更新对象信息(诸如，形状、身份和/或2d大小信息)(820)并根据对象表中的3d深度感测信息重新评估或更新深度，直到所跟踪的对象丢失(814)或另一临界条件被满足(816)。
135.尽管参照针对单个对象的检测循环和跟踪循环描述图8，但是本公开不限于此。例如，多个对象可根据需要被同时检测和跟踪。此外，由于对象可由对象检测器212指定用于跟踪(例如，指定为ooi)，因此在跟踪循环可以是激活的同时检测循环可始终是激活的。在一个或多个实施例中，由对象检测器212检测到的所有对象可被跟踪，并且在其它实施例中，数量少于由对象检测器212检测到的所有对象的对象可根据需要被跟踪。
136.图9是根据本公开的一个或多个实施例的用于提供高分辨率2d图像和高分辨率3d图像的方法的流程图900。
137.参照图9，根据本公开的一个或多个示例实施例，图像信号处理器214可使用来自感测电路202的数据来提供或重建2d和/或3d图像。
138.在一个或多个实施例中，图像信号处理器214可基于2d感测区域的感测像素和3d深度感测区域的感测像素的布置来提供或重建2d图像。例如，当2d感测区域的感测像素与3d深度感测区域的感测像素交织时，因为3d深度感测区域的感测像素占据混合感测阵列的中断(或取代)2d感测区域的感测像素行和/或感测像素列的区域，所以2d图像数据可能是2d图像数据的缺失的块(patch)。因此，通过2d感测区域生成的2d图像数据具有缺失的像素(例如，一个或多个缺失的绿色像素、一个或多个缺失的红色像素和/或一个或多个缺失的
蓝色像素)。然而，本公开不限于此。例如，在一个或多个实施例中，通过3d深度感测区域的感测像素中断(或取代)的任何感测像素可导致“缺失的”像素，因此，根据可通过3d深度感测区域的感测像素中断(或取代)的2d感测区域的感测像素，缺失的像素可以是任何颜色和/或类型。
139.在示出的实施例中，响应于来自2d感测区域的2d图像数据，图像信号处理器214可对缺失的绿色像素进行插值(902)，并且对缺失的红色像素和蓝色像素进行插值(904)。响应于对缺失的像素进行插值，图像信号处理器214可完成拜耳图像(906)。响应于完成拜耳图像，图像信号处理器214可使用去马赛克算法来重建全色图像(908)。因此，全色图像可被重建以用于各种应用(例如，通过处理电路204的对象检测器212使用)中(910)。
140.尽管参照对缺失的像素进行插值(902、904)来描述2d图像的重建，但是根据本公开的实施例，可跳过对缺失的像素进行插值(902、904)。例如，在2d感测区域的感测像素和3d深度感测区域的感测像素处于如图2b、图3i、图6b和图7a至图7b的实施例中所示的并排布置的情况下，可不存在将要插值的缺失的像素，因此可跳过对缺失的像素进行插值。换句话说，图2b、图3i、图6b和图7a至图7b的实施例可从步骤910开始。
141.在一个或多个实施例中，响应于重建全色图像，图像信号处理器214可通过加权平均来对缺失的深度像素进行插值(912)。换句话说，来自3d深度感测区域的3d深度信息可不具有与2d图像数据相同的分辨率，因此，缺失的3d深度信息可基于使用感测到的3d深度信息和加权平均的插值而被确定。因此，可提供包括作为基础或基本的高分辨率2d图像和增强或更新高分辨率2d图像的3d深度信息二者的高分辨率3d图像。
142.因此，如在此所公开的，本公开的实施例基于包括具有共享的fov的2d感测区域和3d深度感测区域的混合感测阵列来提供高分辨率2d和3d图像。此外，本公开的一个或多个实施例的系统和方法提供基于对象检测和跟踪算法的roi感测能力以节省功率和计算资源。
143.在附图中，为了清楚，可夸大和/或简化元件、层和区域的相对尺寸。
144.将理解，尽管在此可使用术语“第一”、“第二”、“第三”等来描述各种元件、组件、区域、层和/或部分，但是这些元件、组件、区域、层和/或部分不应被这些术语限制。这些术语用于将一个元件、组件、区域、层或部分与另一元件、组件、区域、层或部分进行区分。因此，在不脱离本公开的精神和范围的情况下，以上描述的第一元件、第一组件、第一区域、第一层或第一部分能够被称为第二元件、第二组件、第二区域、第二层或第二部分。
145.将理解，当元件或层被称为“在”另一元件或层“上”、“连接到”或“结合到”另一元件或层时，该元件或层可直接在另一元件或层上、直接连接到或直接结合到另一元件或层，或者可存在一个或多个中间元件或层。另外，还将理解，当元件或层被称为在两个元件或层“之间”时，该元件或层可以是两个元件或层之间的唯一元件或层，或者也可存在一个或多个中间元件或层。
146.在此使用的术语出于描述特定实施例的目的，并不意在限制本公开。如在此所用的，除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。还将理解，术语“包括”、“包含”和“具有”在本说明书中使用时，说明存在叙述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或它们的组。如在此所用的，术语“和/或”包括相关所列项中的一个或多个的任何一个和全部
组合。诸如
“……
中的至少一个”的表述在位于一列元素之后时，修饰整列元素，而不修饰列中的单个元素。
147.此外，在描述本公开的实施例时“可”的使用表示“本公开的一个或多个实施例”。如在此所用的，术语“使用”、“正在使用”和“被使用”可分别被认为与术语“利用”、“正在利用”和“被利用”同义。
148.如在此所用的，术语“基本上”、“约”和类似术语用作近似术语而不是程度术语，并且意在解释本领域普通技术人员将认识到的测量值或计算值的固有偏差。
149.在此所列的任何数值范围意在包括归入所列的范围内的相同数值精度的全部子范围。例如，“1.0至10.0”的范围意在包括所列的最小值1.0与所列的最大值10.0之间(并且包括所列的最小值1.0和所列的最大值10.0)的全部子范围(即，具有等于或大于1.0的最小值以及等于或小于10.0的最大值(诸如，以2.4至7.6为例))。在此所列的任何最大数值限制意在包括归入其中的全部较低数值限制，并且本说明书中所列的任何最小数值限制意在包括归入其中的全部较高数值限制。因此，申请人保留修改本说明书(包括权利要求书)的权利，以明确列出在此明确所列的范围内的任何子范围。
150.除非另有定义，否则在此使用的所有术语(包括技术术语和科学术语)具有和本公开所属领域的普通技术人员普遍理解的含义相同的含义。还将理解，除非在此明确地如此定义，否则术语(诸如，在通用字典中定义的术语)应该被解释为具有与它们在相关领域的上下文和/或本说明书中的含义一致的含义，而不应被理想化或过于形式化地解释。
151.尽管已经描述了一些示例实施例，但是本领域技术人员将容易理解，在不脱离本公开的精神和范围的情况下，可对示例实施例进行各种修改。将理解，除非另有说明，否则每个实施例内的特征或方面的描述通常应被认为可用于其它实施例中的其它类似特征或方面。因此，应理解，前述是各种示例实施例的说明，并且不应被解释为对在此公开的特定示例实施例的限制，并且对公开的示例实施例的各种修改以及其它示例实施例意在被包括在所附权利要求及其等同物中限定的本公开的精神和范围内。