相机系统的制作方法

1.这里公开的主题涉及多相机系统。更具体地，这里公开的主题涉及一种包括单个传感器芯片的多相机系统。


背景技术：

2.许多成像和感测系统使用多个相机。通常，多相机系统的多个相机具有不同的视场(fov)和不同的功能。例如，多相机系统可以包括二维(2d)广角fov、2d超广角fov、2d望远镜视图(2d telescopic view)和3d飞行时间(tof)功能。这种多相机系统通常包括高成本、大尺寸、大数据带宽和高操作功耗。另外，会通过多相机系统中的所有相机产生大量数据，这也会消耗大量输入/输出(io)电力以将数据发送到中央处理芯片用于进一步处理。相机的对准增加了相机模块制造和组装工艺的复杂性。此外，相机对准可能容易受到振动和物理失真的干扰，并且可能需要相机校准来融合来自于具有不同fov的多个相机的图像，这进一步增加了处理电力和复杂性。此外，在高度振动条件下可能需要实时校准。


技术实现要素：

3.示例实施例提供了一种相机系统，该相机系统可以包括两个或更多个传感器阵列和光路。所述两个或更多个传感器阵列可以在同一裸片上，在所述两个或更多个传感器阵列中，每个传感器阵列可以包括感测光的像素的阵列，并且在所述两个或更多个传感器阵列中，每个传感器阵列可以与每个其他传感器阵列包括相同的fov。光路可以包括主透镜、超透镜以及两个或更多个微透镜阵列。主透镜和超透镜可以由每个传感器阵列共享，并且每个微透镜阵列可以与对应的传感器阵列相关联。超透镜可以将入射在超透镜上的光分成不同的光谱并将每个相应的光谱定向到对应的传感器阵列。在一个实施例中，不同的光谱可以包括可见光、近红外光、短波红外和长波红外中的至少两种。在另一实施例中，至少一个传感器阵列可以包括单光子雪崩二极管。在又一实施例中，超透镜可以包括形成在基底上的至少一层纳米结构，其中，所述至少一层纳米结构可以将入射在超透镜上的光的至少一个光谱衍射和/或聚焦到相应的传感器阵列。
4.示例实施例提供了一种相机系统，该相机系统可以包括两个或更多个传感器阵列、光路和图像处理器。所述两个或多于两个传感器阵列可以在同一裸片上，在所述两个或多于两个传感器阵列中，每个传感器阵列可以包括感测光的像素的阵列，并且在所述两个或多于两个传感器阵列中，每个传感器阵列可以与每个其他传感器阵列包括相同的fov。光路可以包括主透镜、超透镜以及两个或更多个微透镜阵列。主透镜和超透镜可以由每个传感器阵列共享，并且每个微透镜阵列可以与对应的传感器阵列相关联。超透镜可以将入射在超透镜上的光分成不同的光谱并将每个相应的光谱定向到对应的传感器阵列。图像处理器可以与传感器阵列位于同一裸片上。图像处理器可以提供来自于所述两个或更多个传感器阵列的至少一个输出的图像处理、对象识别和对象跟踪以及来自于所述两个或更多个传感器阵列的输出的图像融合中的至少一者。在一个实施例中，超透镜可以包括形成在基底
上的至少一层纳米结构，其中，所述至少一层纳米结构可以将入射在超透镜上的至少一个光谱衍射和/或聚焦到相应的传感器阵列。所述至少一层纳米结构的纳米结构可以包括折射率大于1.9的材料。基底可以包括平坦表面和弯曲表面中的一种。
5.示例实施例提供了一种相机系统，该相机系统可以包括两个或更多个传感器阵列和光路。所述两个或更多个传感器阵列可以位于同一裸片上。每个传感器阵列可以包括感测光的像素的阵列。每个传感器阵列可以与每个其他传感器阵列包括相同的fov，并且至少一个传感器阵列可以包括单光子雪崩二极管。光路可以包括主透镜、超透镜以及两个或更多个微透镜阵列。主透镜和超透镜可以由每个传感器阵列共享，并且每个微透镜阵列可以与对应的传感器阵列相关联。超透镜可以将入射在超透镜上的光分成不同的光谱并将每个相应的光谱定向到对应的传感器阵列。在一个实施例中，不同的光谱可以包括可见光、近红外光、短波红外和长波红外中的至少两种。在另一实施例中，超透镜可以包括形成在基底上的至少一层纳米结构，其中，所述至少一层纳米结构可以将入射在超透镜上的至少一个光谱衍射和/或聚焦到相应的传感器阵列。所述至少一层纳米结构的纳米结构可以包括折射率大于1.9的材料，并且基底可以包括平坦表面和弯曲表面中的一种。
附图说明
6.在下面的部分中，将参照图中示出的示例性实施例来描述这里公开的主题的多个方面，在附图中：
7.图1描绘了用于包括两个2d相机和一个lidar相机的传统多相机系统的示例的主透镜的传统布置；
8.图2a描绘了用于根据这里公开的主题的多相机系统的示例光学堆叠；
9.图2b描绘了根据这里公开的主题的通过将可见光聚焦到rgb像素阵列上并将nir聚焦到spad/apd像素阵列上来分离可见光和nir光的超透镜的示例实施例；
10.图3描绘了根据这里公开的主题的可以包括可以将可见光(400nm
‑
700nm)衍射并聚焦到rgb像素阵列的纳米结构的布置的超透镜；
11.图4a描绘了根据这里公开的主题的具有单独的r/g/b子阵列以及可以将不同的光谱衍射并/或聚焦到子阵列上的超透镜的rgb传感器的示例实施例构造；
12.图4b描绘了根据这里公开的主题的可以均感测不同的光带(即，r、g、b、nir、短波红外(swir)、长波红外(lwir)等)的多个像素阵列的示例实施例的平面图；
13.图5描绘了根据这里公开的主题的芯片上多相机架构(单芯片多相机传感器)的示例实施例；以及
14.图6描绘了根据这里公开的主题的包括包含单个传感器芯片的多相机系统的电子装置。
具体实施方式
15.在下面的详细描述中，阐述了许多具体细节以提供对公开的透彻的理解。然而，本领域技术人员将理解的是，可以在没有这些具体的细节的情况下实践公开的多个方面。在其他情况下，没有详细描述公知的方法、程序(过程)、组件和电路，以免使这里公开的主题模糊。
16.贯穿本说明书提及“一个(one)实施例”或“一(an)实施例”是指结合该实施例描述的特定特征、结构或特性可以包括在这里公开的至少一个实施例中。因此，贯穿本说明书在各种位置出现的短语“在一个(one)实施例中”或“在一(an)实施例中”或“根据一个实施例”(或具有相似含义的其他短语)可以不必须都指同一实施例。此外，特定特征、结构或特性可以在一个或更多个实施例中以任何合适的方式组合。就这一点而言，如这里所使用的，词语“示例性”是指“用作示例、实例或说明”。这里描述为“示例性”的任何实施例将不被解释为必然优于其他实施例或比其他实施例具有优势。另外，特定特征、结构或特性可以在一个或更多个实施例中以任何合适的方式组合。此外，根据这里讨论的上下文，单数术语可以包括对应的复数形式，并且复数术语可以包括对应的单数形式。
17.此外，根据这里讨论的上下文，单数术语可以包括对应的复数形式，并且复数术语可以包括对应的单数形式。还注意的是，这里示出和讨论的各种图(包括组件图)仅出于说明性目的，并且未按比例绘制。相似地，仅出于说明性目的示出了各种波形和时序图。例如，为了清楚起见，一些元件的尺寸可以相对于其他元件被夸大。此外，如果认为适当，则在多幅图间重复附图标记以指示对应的和/或类似的元件。
18.这里使用的术语仅出于描述一些示例实施例的目的，并且不旨在限制所要求保护的主题。如这里所使用的，除非上下文另有清楚地指出，否则单数形式“一”、“一个(种/者)”和“该(所述)”也旨在包括复数形式。还将理解的是，当在本说明书中使用术语“包括”和/或其变型时，说明存在所陈述的特征、整体、步骤、操作、元件和/或组件，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。如这里所使用的术语“第一”、“第二”等被用作它们后面的名词的标签，并且不意指任何类型的排序(例如，空间、时间、逻辑等)，除非明确地如此定义。此外，可以在两幅或更多幅图间使用相同的附图标记来指具有相同的或相似的功能的部分(部件)、组件、块、电路、单元或模块。然而，这样的用法仅是为了简化说明和易于讨论；这并不意指：这样的组件或单元的构造或架构细节在所有的实施例中是相同的，或者这些共同参照的部分/模块是实施这里公开的一些示例实施例的唯一方式。
19.将理解的是，当元件或层被称为“在”另一元件或层“上”、“连接到”或“结合到”另一元件或层时，该元件或层可以直接在所述另一元件或层上、直接连接到或直接结合到所述另一元件或层，或者可以存在中间元件或中间层。相反，当元件被称为“直接在”另一元件或层“上”、“直接连接到”或“直接结合到”另一元件或层时，不存在中间元件或中间层。同样的附图标记始终指同样的元件。如这里所使用的，术语“和/或”包括相关所列项中的一个或更多个的任何组合和所有组合。
20.除非另有定义，否则这里使用的所有术语(包括技术术语和科学术语)具有与本主题所属领域的普通技术人员通常理解的意思相同的意思。还将理解的是，术语(诸如在常用词典中定义的术语)应当被解释为具有与它们在相关领域的背景下的意思一致的意思，并且将不以理想化或过于形式化的含义来解释，除非在这里明确地如此定义。
21.如这里所使用的，术语“模块”指被配置为提供这里结合模块描述的功能的软件、固件和/或硬件的任何组合。例如，软件可以体现为软件包、代码和/或指令集或指令，并且如在这里描述的任何实施方式中使用的术语“硬件”可以例如单独地或以任何组合地包括组件、硬布线电路、可编程电路、状态机电路和/或存储由可编程电路执行的指令的固件。模
块可以共同地或单独地体现为形成较大系统的一部分的电路，例如但不限于集成电路(ic)、芯片上系统(soc)、组件等。
22.这里公开的主题提供了可以集成在同一传感器芯片上并且可以覆盖不同的光谱的多个相机。传感器芯片上的每个相机具有相同的fov，这避免了可能与传统多相机系统相关联的对准和校准问题。不需要将不同的像素阵列交织成一个混合阵列，因为针对不同的相机提供了完美的对准。可以在传感器芯片上实施图像处理和融合功能，这可以节省电力并且可以减少延迟。
23.在一个实施例中，这里公开的多相机系统的光学堆叠包括主透镜(一个单个透镜或一组透镜)、超透镜和微透镜。传感器芯片上的每个相机可以包括具有像素的阵列的图像传感器。同一传感器芯片上的不同的像素阵列可以设置有不同的读出路径，使得每个像素阵列及其对应的读出电路可以形成单独的图像传感器。
24.多相机系统的不同的图像传感器可以包括(但不限于)红色、绿色、蓝色和近红外(rgb nir)图像传感器、rgb和单光子雪崩二极管(rgb spad)图像传感器、2d和短波长ir(2d swir)图像传感器和/或高光谱图像传感器。穿过主透镜的光可以被超透镜分离并且被重新定向到芯片上的对应的图像传感器。每个图像传感器具有相同的fov。
25.在一个实施例中，超透镜可以与主透镜组件或模块集成。在另一实施例中，超透镜可以形成为传感器芯片的盖。在又一个实施例中，超透镜可以形成为单独的件。可以在可以由玻璃或另一透明材料(诸如塑料或在可见nir(400nm
‑
1000nm)中光学透明的任何低折射率有机/无机材料)形成的平坦或弯曲表面上制造超透镜。超透镜可以包括单层纳米结构或多层纳米结构。
26.图1描绘了用于包括两个2d相机101和102以及一个lidar相机103的传统多相机系统的示例的主透镜的传统布置100。lidar相机103包括用于垂直腔表面发射激光器(vcsel)阵列的透镜103a和用于基于spad的lidar传感器的透镜103b。每个相机具有不同的fov和单独的主透镜。另外，需要对每个相机进行校准以进行图像融合。
27.图2a描绘了用于根据这里公开的主题的多相机系统的示例光学堆叠200。光学堆叠200可以包括主透镜201、超透镜(超光学器件)202和微透镜阵列203，微透镜阵列203可以与每个(像素)阵列204相关联并形成在每个(像素)阵列204上。如图2a中描绘的，两种类型的微透镜203a和203b分别与像素阵列204a和204b相关联并且分别形成在像素阵列204a和204b上，并且两个像素阵列204a和204b形成在单个传感器芯片205上。在一个实施例中，像素阵列204可以是单独的2d和3d传感器。在另一实施例中，像素阵列204可以是混合2d和3d传感器。支撑像素阵列204的外围组件206也可以形成在单个传感器芯片205上。
28.主透镜201可以包括单个透镜或一组透镜。超透镜202可以包括形成在基底208(诸如玻璃或另一透明基底(诸如塑料或在可见nir(400nm
‑
1000nm)中光学透明的任何低折射率有机/无机材料))上的一层或多层纳米结构207。纳米结构207在这里可以被称为散射体和/或纳米天线。超透镜202的基底208可以是平坦的或弯曲的并且可以形成为例如传感器芯片205的盖，可以形成为主透镜201的一部分，或者如图2a中描绘的形成为单独的件。
29.图2b描绘了根据这里公开的主题的通过将可见光聚焦到rgb像素阵列204a上并将nir聚焦到spad/apd像素阵列204b上来分离可见光和nir光的超透镜202的示例实施例。
30.图3将超透镜202描绘为包括可以将可见光(400nm
‑
700nm)衍射并聚焦到rgb像素
阵列204a的纳米结构207的布置。超透镜202还可以将宽带或窄带nir光(700nm
‑
900nm)聚焦和/或衍射到spad/apd像素阵列204b。超透镜202可以包括形成在基底208的表面上的纳米结构207的单个层301。可选地，超透镜202可以包括纳米结构207的可以形成在基底208的相对表面上的多个层301和302。纳米结构207可以由tio2、si3n4或在可见光谱和nir光谱(400nm
‑
1000nm)中都是透明的任何其他高折射率(在期望的波长下>1.9)半导体或氧化物形成，并且可以形成为具有各种尺寸的圆柱形状303和/或长方体形状304。
31.图4a描绘了rgb传感器400的示例实施例构造，rgb传感器400具有分开的r/g/b子阵列401a、401b和401c以及可以将不同的光谱衍射和/或聚焦到子阵列401a至401c上的超透镜202。图4b描绘了可以各自感测不同的光带(即，r、g、b、nir、短波红外(swir)、长波红外(lwir)等)的多个像素阵列402a、402b、402c、402d、402e、402f、402g、402h和402i的示例实施例的平面图。像素阵列402a至402i的不同的灰色阴影可以表示像素阵列被配置为感测的不同的光谱或光带。像素阵列402a至402i中的一个或更多个可以是用于飞行时间(tof)测量的spad传感器。对于该示例实施例，超透镜(图4b中未示出)将分离每个不同的光带并将其定向到对应的像素阵列。
32.图5描绘了根据这里公开的主题的芯片上多相机架构(单芯片多相机传感器)500的示例实施例。单芯片多相机传感器500可以在同一裸片上包括多个像素阵列，在所述多个像素阵列中，每个像素阵列可以是单独的相机，并且每个相机可以具有相同的fov。每个相机可以具有光路，该光路具有主透镜(单个透镜或一组透镜)、超透镜(单层或多层)和微透镜(见图2)。主透镜和超透镜可以由所有的相机共享。超透镜可以分离来自于主透镜的入射光，并且将不同的光谱重新定向到对应的像素阵列上。图像处理和融合功能可以在不经过io的情况下在芯片上完成，使得可以减少系统电力并且还可以减少处理延迟。
33.单芯片多相机传感器500可以包括像素阵列501a和501b、行驱动器(行drvr)502a和502b、偏置电路503a和503b、读出电路504a和504b、锁相环(pll)电路505、数字块506和io电路507。
34.像素阵列501a由行驱动器502a以公知的方式驱动。偏置电路503a向像素阵列501a和行驱动器502a提供偏置电压和偏置电流。相似地，像素阵列501b由行驱动器502b以公知的方式驱动，并且偏置电路503b向像素阵列501b和行驱动器502b提供偏置电压和偏置电流。pll电路505向芯片上多相机架构500的各种电路提供同步信号和控制信号。读出电路504a和504b分别将从像素阵列501a和501b输出的信号结合到数字块506。
35.数字块506提供芯片上图像处理、芯片上图像融合、芯片上对象识别和/或芯片上对象跟踪功能而无需校准，因为芯片上多相机架构500的每个相机具有相同的fov。另外，来自于多个相机(即，像素阵列501a和501b)的数据不必传输到芯片的外部，因为芯片上多相机架构500包括芯片上融合和芯片上处理，这节省io电力并减少了延迟。
36.尽管图5中描绘了两个像素阵列501a和501b，但是应理解的是，在另一实施例中，多于两个像素阵列可以包括在芯片上多相机架构500中，在这种情况下，附加的行驱动器502a和502b、偏置电路503a和503b以及读出电路504a和504b还将被包括。还应理解的是，其上形成有多个像素阵列的单个裸片未在图5中示出。
37.图6描绘了根据这里公开的主题的包括包含单个传感器芯片的多相机系统的电子装置600。电子装置600可以用在但不限于计算装置、个人数字助理(pda)、膝上型计算机、移
动计算机、网络平板电脑、无线电话、蜂窝电话、智能电话、数字音乐播放器或者有线或无线电子装置中。电子装置600还可以是但不限于adas、移动装置成像系统、工业成像系统、机器人等的一部分。电子装置600可以包括通过总线670彼此结合的控制器610、输入/输出装置620(诸如但不限于小键盘、键盘、显示器、触摸屏显示器、相机和/或图像传感器)、存储器630、接口640、gpu 650和图像处理单元660。控制器610可以包括例如至少一个微处理器、至少一个数字信号处理器、至少一个微控制器等。存储器630可以被配置为存储用户数据或将由控制器610使用的命令代码。
38.电子装置600和电子装置600的各种系统组件可以包括图像处理单元660。在一个实施例中，图像处理单元660可以是根据这里公开的主题的包括单个传感器芯片的多相机系统的一部分。接口640可以被构造为包括无线接口，该无线接口被配置为使用rf信号向无线通信网络发送数据或从无线通信网络接收数据。无线接口640可以包括例如天线、无线收发器等。电子装置600还可以用在通信系统(诸如但不限于码分多址(cdma)、全球移动通信系统(gsm)、北美数字通信(nadc)、扩展时分多址(e
‑
tdma)、宽带cdma(wcdma)、cdma2000、wi
‑
fi、城市wi
‑
fi(muni wifi)、蓝牙、数字增强无绳电信(dect)、无线通用串行总线(无线usb)、具有无缝切换的快速低延迟接入正交频分复用(flash
‑
ofdm)、ieee 802.20、通用分组无线服务(gprs)、iburst、无线宽带(wibro)、wimax、高级wimax、通用移动电信服务
‑
时分双工(umts
‑
tdd)、高速分组接入(hspa)、演进数据优化(evdo)、高级长期演进(lte
‑
advanced)、多信道多点分发服务(mmds)等)的通信接口协议中。
39.本说明书中描述的主题和操作的实施例可以在数字电子电路中实施，或者在计算机软件、固件或硬件(包括本说明书中公开的结构和它们的结构等同物)中实施，或者在它们中的一个或更多个的组合中实施。本说明书中描述的主题的实施例可以被实施为编码在计算机存储介质上用于由数据处理设备运行或控制数据处理设备的操作的一个或更多个计算机程序，即，计算机程序指令的一个或多个模块。可选地或另外地，程序指令可以编码在被生成以编码信息用于传输到合适的接收器设备用于由数据处理设备运行的人工生成的传播信号(例如，机器生成的电、光或电磁信号)上。计算机存储介质可以是计算机可读存储装置、计算机可读存储基板、随机或串行存取存储器阵列或装置或它们的组合，或者包括在计算机可读存储装置、计算机可读存储基板、随机或串行存取存储器阵列或装置或它们的组合中。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是编码在人工产生的传播信号中的计算机程序指令的源或目的地。计算机存储介质也可以是一个或更多个单独的物理组件或介质(例如，多个cd、磁盘或其他存储装置)，或者被包括在一个或更多个单独的物理组件或介质(例如，多个cd、磁盘或其他存储装置)中。另外，本说明书中描述的操作可以被实现为由数据处理设备对存储在一个或更多个计算机可读存储装置中或从其他源接收的数据执行的操作。
40.虽然本说明书可以包含许多具体的实施细节，但是这些实施细节不应被解释为对任何所要求保护的主题的范围的限制，而是应被解释为特定于特定实施例的特征的描述。在单独的实施例的上下文中的在本说明书中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实施例中实施。此外，尽管特征可以在以上描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下可以从组合中删除来自于所要求保护的组合的一个或
更多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。
41.相似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求以示出的特定顺序或按连续的顺序执行这样的操作，或者执行所有示出的操作，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离，并且应当理解的是，所描述的程序组件和系统通常可以一起集成在单个软件产品中或打包为多个软件产品。
42.因此，这里已经描述了主题的特定实施例。其他实施例在权利要求书的范围内。在一些情况下，权利要求中阐述的动作可以以不同的顺序执行，并且仍然实现期望的结果。另外，附图中描绘的过程不一定需要示出的特定顺序或连续的顺序来实现期望的结果。在某些实施方式中，多任务和并行处理可能是有利的。
43.如本领域技术人员将认识到的，这里描述的创新构思可以在遍及应用的宽范围进行修改和变化。因此，所要求保护的主题的范围不应限于以上讨论的任何具体的示例性教导，而是由权利要求限定。