利用彩色网格阵列的图像子采样的制作方法

利用彩色网格阵列的图像子采样
1.相关申请的交叉引用
2.本技术要求2021年1月5日提交的标题为“method and system for image sub-sampling with color grid array”的美国专利申请第63/133,899号和2021年12月23日提交的美国非临时专利申请第17/645，904号的优先权，其全部内容通过引用结合于此。
3.背景
4.典型的图像传感器包括像素单元阵列。每个像素单元可以包括光电二极管，以通过将光子转换成电荷(例如，电子或空穴)来感测光。由光电二极管阵列生成的电荷然后可以由模数转换器(adc)量化为数字值以生成数字图像。数字图像可以从传感器输出到另一个系统(例如，用于观看数字图像的观看系统、用于解释数字图像的处理系统、用于编辑一组数字图像的编辑系统等)。
5.概述
6.描述了利用彩色网格阵列进行图像子采样(sub-sampling)的各种示例。一种用于利用彩色网格阵列进行图像子采样的示例传感器装置包括：超像素，其包括像素阵列，每个像素包括被配置为响应于入射光产生电荷的光电二极管、被定位成过滤入射光的滤光器(filter)、将电荷转换为电压的电荷存储器件、行选择开关和列选择开关；模数转换器(“adc”)，其经由相应的行选择开关和列选择开关连接到超像素的电荷存储器件中的每一个，并且被配置为响应于控制信号选择性地将每个相应的存储电压转换成像素值；并且其中，用于像素的每个行选择开关和列选择开关被配置成选择性地允许电荷或电压传播到相应的adc，行选择开关和列选择开关被串联布置。
7.在另一方面，每个像素与阵列中的其他像素具有不同的滤光器。在另一方面，像素阵列的滤光器包括传感器装置中的红色滤光器、绿色滤光器、蓝色滤光器、红外线滤光器或紫外线滤光器中的一个或更多个。
8.在一个方面，传感器装置包括布置成阵列的多个超像素。在另一方面，每个超像素包括传感器装置中的2x2像素阵列。
9.在另一方面，传感器装置包括像素配置控制器，其被配置为接收针对一个或更多个超像素的像素控制信息；选择性地控制用于所述一个或更多个超像素中的每一个超像素的行选择开关和列选择开关；并将控制信号传输到每个超像素。
10.在另一方面，对于每个像素，行选择开关或列选择开关中的至少一个连接在光电二极管和电荷存储器件之间。在另一方面，对于每个像素，行选择开关或列选择开关中的至少一个连接在电荷存储器件和传感器装置的adc之间。另一方面，每个像素包括抗晕光晶体管(anti-blooming transistor)。在另一方面，像素形成在半导体衬底的第一层中，adc形成在半导体衬底的第二层中。
11.另一示例传感器装置包括：布置成行和列的超像素阵列，超像素阵列的每个超像素包括布置成行和列的像素阵列和连接到每个像素的模数转换器(adc)，每个像素包括被配置为响应于入射光产生电荷的光电二极管、被定位成过滤入射光的滤光器、将电荷转换为电压的电荷存储器件、行选择开关以及列选择开关，其中用于像素的每个行选择开关和
列选择开关被配置成选择性地允许电荷或电压传播到相应的adc，行选择开关和列选择开关串联布置；多条行选择线，每条行选择线对应于超像素阵列中的一行超像素内的一行像素，每条行选择线连接到相应一行像素内的像素的行选择开关；多条列选择线，每条列选择线对应于超像素阵列中的一列超像素内的一列像素，每条列选择线连接到相应一列像素内的像素的列选择开关；和多条adc启用线，每条adc启用线被配置为提供控制信号以启用至少一个adc。
12.在另一方面，每个像素阵列包括在传感器装置中布置成2x2阵列的四个像素。在另一方面，每个像素阵列的第一滤光器包括红色滤光器，每个像素阵列的第二滤光器包括绿色滤光器，并且每个像素阵列的第三滤光器包括蓝色滤光器。
13.在另一方面，对于每个像素，行选择开关或列选择开关中的至少一个连接在光电二极管和电荷存储器件之间。在另一方面，对于每个像素，行选择开关或列选择开关中的至少一个连接在电荷存储器件和相应的adc之间。在另一方面，对于每个像素，传感器方面包括抗晕光晶体管。在另一方面，每个超像素的像素形成在半导体衬底的第一层中，并且每个超像素的adc形成在半导体衬底的第二层中。
14.一种使用包括超像素阵列的传感器装置执行的示例方法，每个超像素包括多个像素并连接到模数转换器(adc)，其中超像素的每个像素具有串联布置的相应行选择开关和列选择开关，以允许信号在两个开关都被启用时传播到adc，该方法包括由像素的光电二极管将入射光转换成电荷；启用第一行选择线，第一行选择线耦合到超像素阵列的第一组超像素中的第一组像素中的行选择开关；启用第一列选择线，第一列选择线耦合到超像素阵列的第二组超像素中的第二组像素中的列选择开关；以及使用对应于第一组超像素和第二组超像素两者中的超像素的adc，为相应的超像素中的行选择开关和列选择开关都闭合的每个像素生成像素值。
15.在另一方面，每个超像素包括布置成2x2像素阵列的四个像素，并且其中，每个2x2像素阵列的第一滤光器包括红色滤光器，每个2x2像素阵列的第二滤光器包括绿色滤光器，并且每个2x2像素阵列的第三滤光器包括蓝色滤光器，并且该方法还包括启用仅对应于具有第一颜色滤光器的像素的多条行选择线和列选择线。
16.在另一方面，每个超像素包括布置成2x2像素阵列的四个像素，并且其中，每个2x2像素阵列的第一滤光器包括红色滤光器，每个2x2像素阵列的第二滤光器包括绿色滤光器，并且每个2x2像素阵列的第三滤光器包括蓝色滤光器，并且该方法还包括启用仅对应于具有红色滤光器的像素的第一多条行选择线和列选择线；启用仅对应于具有绿色滤光器的像素的第一多条行选择线和列选择线；以及启用仅对应于具有蓝色滤光器的像素的第一多条行选择线和列选择线。
17.提及这些说明性示例不是为了限制或限定本公开的范围，而是为了提供示例来帮助理解本公开。在提供进一步描述的详细描述中讨论了说明性示例。通过检查本说明书，可以进一步理解各种示例提供的优点。
18.附图简述
19.并入本说明书并构成其一部分的附图示出了一个或更多个特定示例，并且与示例的描述一起用于解释特定示例的原理和实现。
20.图1a和图1b是近眼显示器的实施例的示意图。
21.图2是近眼显示器的横截面的实施例。
22.图3示出了具有单个源组件的波导显示器的实施例的等轴视图。
23.图4示出了波导显示器的实施例的横截面。
24.图5是包括近眼显示器的系统的实施例的框图。
25.图6示出了能够利用彩色网格阵列执行图像子采样的成像系统的示例。
26.图7示出了利用彩色网格阵列进行图像子采样的像素阵列的示例。
27.图8-图10示出了利用彩色网格阵列进行图像子采样的示例超像素。
28.图11a-图11c示出了包括以2x2网格布置的四个超像素的示例像素阵列。
29.图12-图13示出了利用彩色网格阵列进行图像子采样的时序图。
30.图14示出了利用彩色网格阵列进行图像子采样的示例方法。
31.图15示出了稀疏图像感测的示例，该稀疏图像感测使用利用彩色网格阵列进行图像子采样的示例像素阵列。
32.详细描述
33.本文在利用彩色网格阵列进行图像子采样的上下文中描述了示例。本领域普通技术人员将认识到，以下描述仅是说明性的，并不旨在以任何方式进行限制。现在将详细参考如附图所示的示例的实现。在整个附图和以下描述中将使用相同的参考标记来指代相同或相似的项目。
34.为了清楚起见，没有示出和描述本文描述的示例的所有常规特征。当然，应该理解，在任何这样的实际实现的开发中，必须做出许多特定于实现的决定，以实现开发者的特定目标，例如符合应用相关和业务相关的约束，并且这些特定目标将因实现和开发者而异。
35.典型的图像传感器包括像素单元阵列。每个像素单元包括光电二极管，用于通过将光子转换成电荷(例如，电子或空穴)来感测入射光。然后，由像素单元阵列的光电二极管生成的电荷可以由模数转换器(adc)量化成数字值。adc可以通过例如使用比较器将表示电荷的电压与一个或更多个量化电平进行比较来量化电荷，并且可以基于比较结果产生数字值。然后，数字值可以存储在存储器中以生成数字图像。
36.数字图像数据可以支持各种可穿戴应用，例如对象识别和跟踪、定位跟踪、增强现实(ar)、虚拟现实(vr)等。这些和其他应用可以利用提取技术来从数字图像的像素子集中提取数字图像的方面(即，光照水平、景物、语义区域)和/或数字图像的特征(即，数字图像中表示的对象和实体)。例如，应用可以识别反射的结构光的像素(例如，点)，将从像素提取的图案与发射的结构光进行比较，并基于该比较执行深度计算。
37.该应用还可以识别来自相同像素单元的2d像素数据，这些像素数据提供提取的结构光图案以执行2d和3d感测的融合。为了执行对象识别和跟踪，应用还可以识别对象的图像特征的像素，从像素中提取图像特征，并基于提取结果执行识别和跟踪。这些应用通常在主处理器上执行，主处理器可以与图像传感器电连接，并经由互连接收像素数据。主机处理器、图像传感器和互连可以是可穿戴设备的一部分。
38.当代数字图像传感器是将光转换成数字图像数据的复杂装置。可编程或“智能”传感器是强大的数字图像传感器，其可以使用控制器或其他处理单元来改变从模拟光信号生成数字图像数据的方式。这些智能传感器能够改变在单独像素级别生成更大的数字图像的方式。
39.智能传感器可能消耗大量能量来起作用。影响像素级别处数字像素数据的生成的基于传感器的过程需要将高频信息传输到传感器上、传感器外以及在传感器的部件之间传输。功耗对于智能传感器来说是一个令人困扰的问题，当以单个像素级别的粒度执行任务时，智能传感器会消耗相对高水平的功率。例如，操纵单独像素值的智能传感器可以消耗功率来接收关于像素地图(pixel map)的信号、从像素地图中确定单独像素值、基于单独像素值捕获模拟像素值、将模拟像素值转换成数字像素值、将该数字像素值与其他数字像素值组合、将数字像素值输出到智能传感器之外等。这些过程的功耗与可以由智能传感器捕获并输出到传感器之外的每个单独的像素有关。例如，传感器每秒至少捕获30次或更多次由超过二百万个像素组成的数字图像并不罕见，并且捕获和输出每个像素都消耗能量。
40.本公开涉及一种智能传感器，其采用将“像素”分组为“超像素”以提供每个超像素的可配置子采样。每个超像素向其组成像素提供共享的模数转换(“adc”)功能。此外，可以单独选择超像素内的每个像素进行采样。这种可配置性可以使智能传感器能够动态地配置传感器，以在特定时间选择性地仅从感兴趣的传感器的特定部分捕获信息，或者组合由相邻超像素捕获的信息。如果针对给定帧，对少于超像素内的所有像素进行采样，则可以进一步降低采样和adc功耗。
41.在某些情况下，设备可能只需要来自图像传感器的有限图像数据。例如，只有某些像素可以捕获图像帧中感兴趣的信息，例如基于对象检测和跟踪。或者，诸如对象识别、slam功能(即时定位与地图构建(simultaneous localization and mapping))等的某些计算机视觉(“cv”)功能可能不需要全色(full color)通道信息。因此，在每一帧处捕获全分辨率和全色的图像可能是不必要的。
42.为了实现支持子采样的可配置图像传感器，同时还降低传感器内部件的能量消耗和面密度，示例图像传感器包括像素阵列，每个像素具有连接到电荷存储器件的光感测元件，例如光电二极管。超像素包括多个像素，这些像素的电荷存储器件连接到公共的模数转换(“adc”)电路。为了允许单独的像素被选择用于adc操作，针对每个像素包括行选择开关和列选择开关，这些开关可以被选择性地启用或禁用，以允许存储的电荷或电压从像素转移到adc电路用于转换。
43.在曝光周期期间，每个像素的光电二极管捕获入射光并将其转换成电荷，该电荷存储在电荷存储器件(例如浮置扩散(“fd”)区域)中。在量化期间，行和列选择信号被传输到传感器中的一些(或所有)像素，以选择性地将超像素中的单独像素连接到adc电路，用于转换成数字值。然而，因为多个像素共享相同的adc电路，所以可以按顺序发送多个行和列选择信号来选择超像素内的不同像素，以便在单个量化周期内进行转换。
44.因此，在操作中，在曝光周期完成之后，量化开始，并且通过启用一组行和列选择线来对一组像素进行采样。选定像素处的电荷或电压被采样并转换成像素值，这些像素值被存储然后被读出。如果要对额外的像素进行采样，则通过启用不同组的行和列选择线来进行额外的采样和转换操作，随后是adc、存储和读出操作。一旦所有要采样的像素都被采样，像素就被重置，并且下一个曝光周期开始。
45.因为每个像素都可以被单独寻址，所以能够只对感兴趣的特定像素进行采样。因此，示例图像传感器可以实现“稀疏感测”，其中可以仅对捕获来自感兴趣对象的光的像素进行采样，例如仅对预期捕获由飞行中的球反射的光的像素进行采样，而不对其余像素采
样。此外，由于像素被分组为超像素，超像素内的每个像素可以被配置有不同的滤光器，以捕获不同的可见色带(例如，红、绿、蓝、黄、白)、不同的光谱带(例如，近红外(“ir”)、单色、紫外(“uv”)、ir截止(ir cut)、ir带通(ir band pass))或类似的。因此，对于某些计算机视觉(“cv”)功能，可能不需要全色信息，因此可以每个超像素仅一个像素被采样。此外，因为adc电路由像素组共享，所以可以减小图像传感器的尺寸和复杂性。
46.在另一个示例中，来自相邻超像素的像素可以被采样和组合以提供下采样图像(downsampled image)。例如，如果每个超像素包括2x2像素阵列，使用rggb滤色器，来自四个相邻超像素的单独像素可以被采样以获得全色像素，但是每个超像素仅使用单个采样和adc操作，而捕获全分辨率的全色图像将需要每个超像素有三个或四个采样和adc操作。
47.因此，根据本公开的示例图像传感器可以以降低的功耗和复杂性提供具有可配置的每像素子采样的高度可配置的图像捕获。
48.给出该说明性示例是为了向读者介绍本文讨论的一般主题，并且本公开不限于该示例。以下部分描述了各种附加的非限制性示例和利用彩色网格阵列的图像子采样的示例。
49.图1a是近眼显示器100的实施例的示意图。近眼显示器100向用户呈现媒体。由近眼显示器100呈现的媒体的示例包括一个或更多个图像、视频和/或音频。在一些实施例中，音频经由外部设备(例如，扬声器和/或头戴式耳机(headphone))呈现，该外部设备从近眼显示器100、控制台或两者接收音频信息，并基于音频信息来呈现音频数据。近眼显示器100通常被配置成作为虚拟现实(vr)显示器进行操作。在一些实施例中，近眼显示器100被修改为作为增强现实(ar)显示器和/或混合现实(mr)显示器来进行操作。
50.近眼显示器100包括框架105和显示器110。框架105耦合到一个或更多个光学元件。显示器110被配置成让用户看到由近眼显示器100呈现的内容。在一些实施例中，显示器110包括波导显示组件，用于将来自一个或更多个图像的光导向用户的眼睛。
51.近眼显示器100还包括图像传感器120a、120b、120c和120d。图像传感器120a、120b、120c和120d中的每一个可以包括像素阵列，该像素阵列被配置为生成表示沿着不同方向的不同视场的图像数据。例如，传感器120a和120b可以被配置为提供表示沿着z轴朝向方向a的两个视场的图像数据，而传感器120c可以被配置为提供表示沿着x轴朝向方向b的视场的图像数据，并且传感器120d可以被配置为提供表示沿着x轴朝向方向c的视场的图像数据。
52.在一些实施例中，传感器120a-120d可以被配置为输入设备，以控制或影响近眼显示器100的显示内容，从而向佩戴近眼显示器100的用户提供交互式vr/ar/mr体验。例如，传感器120a-120d可以生成用户所处物理环境的物理图像数据。物理图像数据可以被提供给定位跟踪系统，以跟踪用户在物理环境中的定位和/或移动路径。然后，系统可以基于例如用户的定位和定向来更新提供给显示器110的图像数据，以提供交互式体验。在一些实施例中，当用户在物理环境内移动时，定位跟踪系统可以运行slam算法来跟踪在物理环境中且在用户的视场内的一组对象。定位跟踪系统可以基于该组对象来构建和更新物理环境的地图(map)，并且跟踪用户在该地图内的定位。通过提供对应于多个视场的图像数据，传感器120a-120d可以向定位跟踪系统提供物理环境的更全面的视图，这可以导致更多的对象被包括在地图的构建和更新中。利用这种布置，可以提高跟踪用户在物理环境内的定位的精
确度和鲁棒性。
53.在一些实施例中，近眼显示器100还可以包括一个或更多个有源照明器130，以将光投射到物理环境中。投射的光可以与不同的频谱(例如，可见光、红外光、紫外光)相关联，并且可以用于各种目的。例如，照明器130可以在黑暗环境中(或者在具有低强度的红外光、紫外光等的环境中)投射光，以帮助传感器120a-120d捕获黑暗环境内不同对象的图像，从而例如实现对用户的定位跟踪。照明器130可以将某些标记(marker)投射到环境内的对象上，以帮助定位跟踪系统识别对象用于地图构建/更新。
54.在一些实施例中，照明器130还可以实现立体成像。例如，传感器120a或120b中的一个或更多个可以包括用于可见光感测的第一像素阵列和用于红外(ir)光感测的第二像素阵列两者。第一像素阵列可以覆盖有彩色滤光器(例如，bayer滤光器)，第一像素阵列的每个像素被配置为测量与特定颜色(例如，红色、绿色或蓝色之一)相关联的光的强度。第二像素阵列(用于ir光感测)也可以覆盖有仅允许ir光通过的滤光器，第二像素阵列的每个像素被配置为测量ir光的强度。像素阵列可以生成对象的rgb图像和ir图像，其中ir图像的每个像素被映射到rgb图像的每个像素。照明器130可以将一组ir标记投射到对象上，该对象的图像可以被ir像素阵列捕获。基于图像中所示的对象的ir标记的分布，系统可以估计对象的不同部分离ir像素阵列的距离，并基于该距离生成对象的立体图像。基于对象的立体图像，系统可以确定例如对象相对于用户的相对位置，并且可以基于相对位置信息来更新提供给显示器100的图像数据，以提供交互式体验。
55.如上面所讨论的，近眼显示器100可以在与非常宽的光强度范围相关联的环境中操作。例如，近眼显示器100可以在室内环境或室外环境中和/或在一天中的不同时间操作。近眼显示器100也可以在开启或不开启有源照明器130的情况下操作。结果，图像传感器120a-120d可能需要具有宽的动态范围，以便能够在与近眼显示器100的不同操作环境相关联的非常宽的光强度范围上正确操作(例如，生成与入射光的强度相关的输出)。
56.图1b是近眼显示器100的另一个实施例的示意图。图1b示出了近眼显示器100的面向佩戴近眼显示器100的用户的眼球135的一侧。如图1b所示，近眼显示器100还可以包括多个照明器140a、140b、140c、140d、140e和140f。近眼显示器100还包括多个图像传感器150a和150b。照明器140a、140b和140c可以朝向方向d(与图1a的方向a相反)发射某个频率范围(例如nir)的光。发射的光可以与某种图案相关联，并且可以被用户的左眼球反射。传感器150a可以包括像素阵列，以接收反射的光并生成反射图案的图像。类似地，照明器140d、140e和140f可以发射携带图案的nir光。nir光可以被用户的右眼球反射，并且可以被传感器150b接收。传感器150b还可以包括像素阵列，以生成反射图案的图像。基于来自传感器150a和150b的反射图案的图像，系统可以确定用户的凝视点，并基于所确定的凝视点来更新提供给显示器100的图像数据，以向用户提供交互式体验。
57.如上面所讨论的，为了避免损害用户的眼球，照明器140a、140b、140c、140d、140e和140f通常被配置为输出非常低强度的光。在图像传感器150a和150b包括与图1a的图像传感器120a-120d相同的传感器设备的情况下，当入射光的强度非常低时，图像传感器120a-120d可能需要能够生成与入射光的强度相关的输出，这可能进一步增加图像传感器的动态范围要求。
58.此外，图像传感器120a-120d可能需要能够以高速度生成输出来跟踪眼球的移动。
例如，用户的眼球可以进行非常快速的移动(例如，眼跳运动(saccade movement))，其中可以从一个眼球位置快速跳跃到另一个眼球位置。为了跟踪用户的眼球的快速移动，图像传感器120a-120d需要以高速度生成眼球的图像。例如，图像传感器生成图像帧的速率(帧速率)至少需要匹配眼球的移动速度。高的帧速率要求生成图像帧所涉及的所有像素单元的总曝光时间要短，并且要求将传感器输出转换成用于图像生成的数字值的速度要快。此外，如上面所讨论的，图像传感器也需要能够在具有低光强度的环境下操作。
59.图2是图1所示的近眼显示器100的横截面200的实施例。显示器110包括至少一个波导显示组件210。出射光瞳(exit pupil)230是当用户佩戴近眼显示器100时，用户的单个眼球220在视窗(eyebox)区域中的定位。为了说明的目的，图2示出了与眼球220和单个波导显示组件210相关联的横截面200，但是第二波导显示器用于用户的第二只眼睛。
60.波导显示组件210被配置成将图像光导向位于出射光瞳230处的视窗，并导向眼球220。波导显示组件210可以由具有一个或更多个折射率的一种或更多种材料(例如，塑料、玻璃)组成。在一些实施例中，近眼显示器100包括在波导显示组件210和眼球220之间的一个或更多个光学元件。
61.在一些实施例中，波导显示组件210包括一个或更多个波导显示器的堆叠，该一个或更多个波导显示器包括但不限于堆叠式波导显示器、变焦波导显示器等。堆叠式波导显示器是多色显示器(例如，红-绿-蓝(rgb)显示器)，其通过堆叠波导显示器来创建，这些波导显示器的相应单色源具有不同的颜色。堆叠式波导显示器也是可以被投射在多个平面上的多色显示器(例如，多平面彩色显示器)。在一些配置中，堆叠式波导显示器是可以被投射在多个平面上的单色显示器(例如，多平面单色显示器)。变焦波导显示器是可以调节从波导显示器发射的图像光的焦点位置的显示器。在替代实施例中，波导显示组件210可以包括堆叠式波导显示器和变焦波导显示器。
62.图3示出了波导显示器300的实施例的等轴视图。在一些实施例中，波导显示器300是近眼显示器100的部件(例如，波导显示组件210)。在一些实施例中，波导显示器300是将图像光导向特定定位的某个其他近眼显示器或其他系统的一部分。
63.波导显示器300包括源组件310、输出波导320和控制器330。为了说明的目的，图3示出了与单个眼球220相关联的波导显示器300，但是在一些实施例中，与波导显示器300分离或部分分离的另一波导显示器向用户的另一只眼睛提供图像光。
64.源组件310生成图像光355并将其输出到位于输出波导320的第一侧面370-1上的耦合元件350。输出波导320是向用户的眼球220输出扩展的图像光340的光波导。输出波导320在位于第一侧面370-1上的一个或更多个耦合元件350处接收图像光355，并将接收到的输入图像光355引导至导向元件360。在一些实施例中，耦合元件350将来自源组件310的图像光355耦合到输出波导320中。耦合元件350可以是例如衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件(prismatic surface element)、和/或全息反射器阵列。
65.导向元件360将接收到的输入图像光355重定向到去耦元件(decoupling element)365，使得接收到的输入图像光355经由去耦元件365从输出波导320去耦出去。导向元件360是输出波导320的第一侧面370-1的一部分，或固定到输出波导320的第一侧面370-1。去耦元件365是输出波导320的第二侧面370-2的一部分，或固定到输出波导320的第
二侧面370-2，使得导向元件360与去耦元件365相对。导向元件360和/或去耦元件365可以是例如衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件、和/或全息反射器阵列。
66.第二侧面370-2表示沿x维度和y维度的平面。输出波导320可以由有助于图像光355的全内反射的一种或更多种材料组成。输出波导320可以由例如硅、塑料、玻璃和/或聚合物组成。输出波导320具有相对较小的形状因子。例如，输出波导320可以沿x维度宽约50mm，沿y维度长约30mm，以及沿z维度厚约0.5mm-1mm。
67.控制器330控制源组件310的扫描操作。控制器330确定源组件310的扫描指令。在一些实施例中，输出波导320将扩展的图像光340以大视场(fov)输出到用户的眼球220。例如，扩展的图像光340以(x和y中的)60度和/或更大和/或150度和/或更小的对角fov被提供给用户的眼球220。输出波导320被配置成提供视窗，该视窗长度为20mm或更大和/或等于或小于50mm；和/或宽度为10mm或更大和/或等于或小于50mm。
68.此外，控制器330还基于由图像传感器370提供的图像数据来控制由源组件310生成的图像光355。图像传感器370可以位于第一侧面370-1上，并且可以包括例如图1a的图像传感器120a-120d。图像传感器120a-120d可以被操作来执行对例如用户前方(例如，面向第一侧面370-1)的对象372的2d感测和3d感测。对于2d感测，图像传感器120a-120d的每个像素单元可以被操作来生成表示由光源376生成并被对象372反射的光374的强度的像素数据。对于3d感测，图像传感器120a-120d的每个像素单元可以被操作来生成表示由照明器325生成的光378的飞行时间测量结果的像素数据。例如，图像传感器120a-120d的每个像素单元可以确定当照明器325被启用以投射光378的第一时间和当像素单元检测到从对象372反射的光378的第二时间。第一时间和第二时间之间的差可以指示图像传感器120a-120d和对象372之间的光378的飞行时间，并且飞行时间信息可以用于确定图像传感器120a-120d和对象372之间的距离。图像传感器120a-120d可以被操作来在不同的时间执行2d和3d感测，并且将2d和3d图像数据提供给远程控制台390，远程控制台390可以(或者可以不)位于波导显示器300内。远程控制台可以组合2d和3d图像，以例如生成用户所处环境的3d模型，以跟踪用户的定位和/或定向等。远程控制台可以基于从2d和3d图像导出的信息来确定要向用户显示的图像的内容。远程控制台可以向控制器330传输与所确定的内容相关的指令。基于这些指令，控制器330可以控制源组件310生成并输出图像光355，以向用户提供交互式体验。
69.图4示出了波导显示器300的横截面400的实施例。横截面400包括源组件310、输出波导320和图像传感器370。在图4的示例中，图像传感器370可以包括位于第一侧面370-1上的一组像素单元402，以生成用户前方的物理环境的图像。在一些实施例中，可以在该组像素单元402和物理环境之间插入机械快门404和光学滤波器阵列406。机械快门404可以控制该组像素单元402的曝光。在一些实施例中，如下面将讨论的，机械快门404可以由电子快门(electronic shutter gate)代替。如下所述，光学滤波器阵列406可以控制该组像素单元402暴露于的光的光学波长范围。每个像素单元402可以对应于图像的一个像素。尽管图4中未示出，但应当理解，每个像素单元402也可以覆盖有滤光器，以控制要由像素单元感测的光的光学波长范围。
70.在从远程控制台接收到指令之后，机械快门404可以在曝光周期中打开并曝光该
组像素单元402。在曝光周期期间，图像传感器370可以获得入射到该组像素单元402上的光样本，并且基于由该组像素单元402检测到的入射光样本的强度分布来生成图像数据。图像传感器370然后可以向远程控制台提供图像数据，该远程控制台确定显示内容，并向控制器330提供显示内容信息。控制器330然后可以基于显示内容信息来确定图像光355。
71.源组件310根据来自控制器330的指令生成图像光355。源组件310包括源410和光学系统415。源410是生成相干光或部分相干光的光源。源410可以是，例如，激光二极管、垂直腔面发射激光器和/或发光二极管。
72.光学系统415包括一个或更多个光学部件，光学部件调节来自源410的光。调节来自源410的光可以包括例如，根据来自控制器330的指令来扩展、准直和/或调整定向。一个或更多个光学部件可以包括一个或更多个透镜、液体透镜、反射镜、光圈和/或光栅。在一些实施例中，光学系统415包括具有多个电极的液体透镜，该液体透镜允许用阈值的扫描角度来扫描光束，以将光束移到液体透镜外部的区域。从光学系统415(还有源组件310)发射的光被称为图像光355。
73.输出波导320接收图像光355。耦合元件350将来自源组件310的图像光355耦合到输出波导320中。在耦合元件350是衍射光栅的实施例中，衍射光栅的栅距(pitch)被选择成使得在输出波导320中发生全内反射，并且图像光355在输出波导320中(例如，通过全内反射)朝向去耦元件365进行内部传播。
74.导向元件360将图像光355重定向到去耦元件365，用于从输出波导320去耦。在导向元件360是衍射光栅的实施例中，衍射光栅的栅距被选择成使得入射图像光355以相对于去耦元件365的表面倾斜的角度离开输出波导320。
75.在一些实施例中，导向元件360和/或去耦元件365在结构上类似。离开输出波导320的扩展的图像光340沿着一个或更多个维度被扩展(例如，可以沿着x维度被拉长)。在一些实施例中，波导显示器300包括多个源组件310和多个输出波导320。每个源组件310发射对应于原色(例如，红色、绿色或蓝色)的特定波段的单色图像光。每个输出波导320可以以一定的间隔距离堆叠在一起，以输出多色的扩展的图像光340。
76.图5是包括近眼显示器100的系统500的实施例的框图。系统500包括近眼显示器100、成像设备535、输入/输出接口540以及图像传感器120a-120d和150a-150b，它们各自耦合到控制电路510。系统500可以被配置为头戴式设备、移动设备、可穿戴设备等。
77.近眼显示器100是向用户呈现媒体的显示器。由近眼显示器100呈现的媒体的示例包括一个或更多个图像、视频和/或音频。在一些实施例中，音频经由外部设备(例如，扬声器和/或头戴式耳机)呈现，该外部设备从近眼显示器100和/或控制电路510接收音频信息，并基于音频信息来向用户呈现音频数据。在一些实施例中，近眼显示器100也可以充当ar眼镜。在一些实施例中，近眼显示器100利用计算机生成的元素(例如，图像、视频、声音)来增强物理、真实世界环境的视图。
78.近眼显示器100包括波导显示组件210、一个或更多个位置传感器525和/或惯性测量单元(imu)530。波导显示组件210包括源组件310、输出波导320和控制器330。
79.imu 530是一种电子设备，其基于从一个或更多个位置传感器525接收的测量信号生成快速校准数据，该快速校准数据指示相对于近眼显示器100的初始位置的近眼显示器100的估计位置。
80.成像设备535可以生成用于各种应用的图像数据。例如，成像设备535可以根据从控制电路510接收的校准参数来生成图像数据以提供慢速校准数据。成像设备535可以包括例如图1a的图像传感器120a-120d，用于生成用户所处物理环境的图像数据，用于执行用户的定位跟踪。成像设备535可以进一步包括例如图1b的图像传感器150a-150b，用于生成用于确定用户注视点的图像数据，以识别用户感兴趣的对象。
81.输入/输出接口540是允许用户向控制电路510发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始应用或结束应用，或者是在应用内执行特定动作。
82.控制电路510根据从成像设备535、近眼显示器100和输入/输出接口540中的一个或更多个接收的信息来向近眼显示器100提供媒体以呈现给用户。在一些示例中，控制电路510可以被容纳在被配置为头戴式设备的系统500内。在一些示例中，控制电路510可以是与系统500的其他部件通信耦合的独立控制台设备。在图5所示的示例中，控制电路510包括应用储存器545、跟踪模块550和引擎555。
83.应用储存器545存储用于由控制电路510执行的一个或更多个应用。应用是一组指令，该组指令当由处理器执行时生成用于呈现给用户的内容。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。
84.跟踪模块550使用一个或更多个校准参数来校准系统500，并且可以调整一个或更多个校准参数以减小近眼显示器100的位置确定中的误差。
85.跟踪模块550使用来自成像设备535的慢速校准信息来跟踪近眼显示器100的移动。跟踪模块550还使用来自快速校准信息的位置信息来确定近眼显示器100的参考点的位置。
86.引擎555执行系统500内的应用，并从跟踪模块550接收近眼显示器100的位置信息、加速度信息、速度信息和/或预测的未来位置。在一些实施例中，引擎555接收的信息可以用于产生信号(例如，显示指令)给波导显示组件210，该信号确定呈现给用户的内容类型。例如，为了提供交互式体验，引擎555可以基于(例如，由跟踪模块550提供的)用户的定位、(例如，基于由成像设备535提供的图像数据的)用户的凝视点、(例如，基于由成像设备535提供的图像数据的)对象与用户之间的距离来确定要呈现给用户的内容。
87.图6示出了成像系统600的示例，该成像系统600可以利用彩色网格阵列执行图像子采样。如图6所示，成像系统600包括图像传感器602和主处理器604。图像传感器602包括控制器606和像素阵列608。在一些示例中，控制器606可以被实现为专用集成电路(asic)、现场可编程门阵列(fpga)或者执行指令以利用彩色网格阵列实现图像子采样的硬件处理器。此外，主处理器604包括可以执行应用614的通用中央处理单元(cpu)。
88.像素阵列608的每个像素接收入射光并将其转换成电荷，该电荷作为电压存储在电荷存储器件上。此外，像素阵列608中的每个像素都可以使用行选择线和列选择线单独寻址，这使对应的行选择开关和列选择开关闭合，从而从像素向adc电路提供电压，在adc电路处电压被转换成像素值，该像素值可以被读出例如提供给控制器606或应用614。
89.在像素阵列608中，像素被分组在一起以形成超像素，超像素为分组的像素提供公共的adc电路。例如，超像素可以包括布置成2x2网格的四个像素。因此，使用这种配置的128x128像素阵列将创建64x64超像素阵列。为了提供不同的颜色或频率感测，超像素内的
不同像素可以配置有不同的滤光器，例如以捕获不同的可见色带(例如，红、绿、蓝、黄、白)、不同的光谱带(例如，近红外(“ir”)、单色、紫外(“uv”)、ir截止、ir带通)或类似的。因此，通过启用或禁用不同的像素，每个超像素可以提供这样的信息的任何子集。此外，通过仅采样某些超像素，稀疏图像感测可以用于仅捕获对应于像素阵列608中的像素子集的图像信息。
90.图7示出了像素阵列608的示例。如图7所示，像素单元阵列608可以包括列控制器704、行控制器706和像素选择控制器720。列选择控制器704与列选择线708(例如，708a、708b、708c、...708n)连接，而行选择控制器706与行选择线710(例如，710a、710b、...708n)连接。标有p00、p01、p0j、
…
、pij的每个框代表一个像素。每个像素连接到列选择线708之一、行选择线710之一和用于输出像素数据的输出数据总线(图7中未示出)。每个像素可由列选择控制器704提供的列选择线708上的列启用信号730和行选择控制器706提供的行选择线710上的行启用信号732单独寻址。列启用信号730和行启用信号732可以基于从控制器606或主处理器604接收的信息来生成。
91.图8示出了示例超像素800，其具有布置成2x2网格的四个像素810a-810d，但是可以使用将像素分组成超像素的任何合适的分组(例如，3x3、4x1)。每个像素810a-810d包括光感测元件812a-812d，在这个例子中，光感测元件是光电二极管。光感测元件812a-812d各自都连接到电荷存储器件，在这个例子中，电荷存储器件是浮置扩散(“fd”)区域。在曝光周期期间，光感测元件812a-812d接收入射光并产生电荷，该电荷作为电压存储在对应的电荷存储器件上。
92.每个像素810a-810d还包括行选择开关814a-814d和列选择开关816a-816d。行选择开关814a-814d和列选择开关816a-816d连接到图7所示的行启用线r1-rj和列启用线c1-ci。在这个例子中，四个像素连接到行启用线r1和r2以及列启用线c1和c2的不同组合，导致根据哪些特定的线被启用，不同的像素将电压转移到adc 820。
93.行开关和列开关串联布置，以防止来自电荷存储器件的电压转移，除非对应的行启用线和列启用线都被启用。例如，如果r1和c1都被启用，但是r2和c2被禁用，则像素810a将把它的电压转移到adc 820。然而，其他像素810b-810d都不能，因为在每个像素中至少有一个开关是断开的。
94.应当理解，虽然行选择开关814a-814d和列选择开关816a-816d连接在电荷存储器件和adc 820之间，但是在一些示例中，一个或两个开关可以连接在光感测元件812a-812d和对应的电荷存储器件之间，或者任何其他配置，其中防止信号从特定像素传播到adc，除非该像素的行和列选择开关都闭合。此外，应当理解，其他部件可以集成在像素内，例如抗晕光晶体管。
95.例如，图9示出了示例超像素900，其中像素910a-910d具有位于光感测元件912a-912d和电荷存储器件之间的行选择开关914a-914d，以及位于电荷存储器件和adc 920之间的列选择开关916a-916d。尽管在一些示例中，行选择开关914a-914d和列选择开关916a-916d可以互换，使得列选择开关916a-916d位于相应的光感测元件912a-912d和电荷存储器件之间，并且行选择开关914a-914d位于相应的电荷存储器件和adc 920之间。图10示出了另一种配置，其中行选择开关1014a-1014d和列选择开关1016a-1016d都位于相应的光感测元件1012a-1012d和相应的电荷存储器件之间。
96.再次参考图8，除了像素810a-810d之外，超像素包括adc 820、激活存储器830和多
路复用控制逻辑840。adc 820连接到像素810a-810d中的每一个，以从其行选择开关814a-814d和列选择开关816a-816d都闭合的像素接收电压v
pix
。它将电压转换成像素值，像素值然后被存储在存储器850中。因为adc 820最多向存储器写入四个不同的像素值，每个像素值必须存储在不同的位置。因此，多路复用控制逻辑840确保来自超像素的每个像素值被存储在对应于像素的存储器位置中。此外，配置信息被存储在激活存储器830中，该配置信息指示有多少像素将被转换(其可用于仅针对要被采样的像素来激活adc 820)，以及哪个(哪些)像素可以被激活，例如以选择每个超像素的特定颜色通道或启用诸如稀疏采样或中央凹采样(foveated sampling)的功能。
97.在adc 820转换了像素的值之后，通过断开相应像素的行选择开关和列选择开关中的一个或两个来重置输入电压。然后可以启用下一个要读取的像素的行启用线和列启用线。通过按顺序逐步通过一些或所有像素，尽管对于超像素仅使用单个adc，也可以输出离散像素值。然而，在少于所有像素的值被读取的使用情况下，功率优势可能会增加。
98.此外，可以通过在衬底的一层上形成像素的部分而在第二层上形成其他部分来提高面密度。例如，衬底的第一层可以包括像素，而第二层可以包括adc 820、激活存储器830、多路复用控制逻辑840和存储器850。通过在不同的衬底层中堆叠不同的部件，可以增加像素密度。
99.参考图11a-图11c，图11a示出了示例像素阵列1100，其包括布置成2x2网格的四个超像素1110a-1110d。每个超像素1110a-1110d包括布置成2x2网格的四个像素1120。该示例中的每个超像素1110a-1110d根据图8所示的示例来配置；然而，可以采用任何其他合适的超像素配置。例如，超像素可以被配置为采用2x1、4x1、3x3等尺寸的像素阵列。
100.该示例中的每个像素1120还包括用于过滤入射光的滤光器。每个超像素1110a-1110d具有相同的像素布置，具有提供红色、绿色、绿色和蓝色过滤像素的滤光器，如图所示。通过在任何特定的帧周期期间选择性地对像素的不同组合进行采样，图像阵列1100可以捕获不同种类的像素信息。
101.在该示例中，每个超像素1110a-1110d中的所有像素1120被采样并被转换为像素值，这由超像素1110a中的所有像素被着色为较暗的颜色来指示。为了生成这样的图像，按顺序为每个像素启用对应的行启用线和列启用线，以闭合对应的行选择开关和列选择开关，从而对对应的像素电压进行采样并生成像素值。
102.图12示出了图8所示的超像素的时序图1200，以捕获超像素800的所有像素值。如果超像素配置有图11a所示的滤光器布置，则这样的技术可以用于生成全色的、全分辨率的图像。时序图1200开始于tpix1，这发生在像素的曝光周期完成之后。在tpix1，将r1和c1宣称有效以闭合对应的行选择开关和列选择开关。然而，只有像素810a的行选择开关和列选择开关都闭合。因此，像素810a的电压作为vpix呈现给adc。随后，启用adc 820和vb，并且adc 820将电压转换成像素值，该像素值被存储在存储器850中。最后，r1和c1被宣称无效。
103.在tpix2处，r1和c2被宣称有效，其将来自像素810b的电压呈现给adc，在adc处根据与像素810a相同的过程将电压转换为像素值。然后，通过将对应的行启用线和列启用线宣称有效并转换810c-810d各自的电压，来按顺序转换像素810c-810d。这样的配置为每个超像素提供全色像素值(具有红色、绿色和蓝色通道)，从而生成全分辨率的全色图像。然而，在所有示例中，可能不需要这样全面的像素信息。
104.例如，参考图11b，相同的像素阵列1100已经被配置为仅从具有红色滤光器的像素采样和转换像素值。因此，对应于具有红色滤光器的像素的行启用线和列启用线已经被采样，但是其他的没有被采样。因此，捕获了全分辨率图像，但只有部分颜色通道信息。这样的配置可以使某些cv功能产生可用的结果，而没有捕获全色图像的功率开销。
105.图13示出了捕获超像素1110a之一中的红色通道像素的时序图1300，其可以应用于像素阵列608中的其他像素，以实现部分颜色(例如，红色)的全分辨率图像。因为只有一个像素值被转换，所以r1线和c1线被宣称有效并且像素的电压被转换成像素值，如上参考图12所述的。然而，因为没有其他像素被读取，所以不再发生adc操作，从而大大降低了功耗。
106.图11c示出了像素阵列1100的进一步配置。在此示例中，捕获了全色图像；然而，因为不同的颜色通道由不同的超像素提供，所以得到的图像不是全分辨率的。因此，每个超像素1110a-1110d贡献一个像素值，导致每个超像素的单个adc操作。结果，可以实现相当大的功率节省，并且尽管捕获的图像从像素阵列的全分辨率下采样四倍，但是这样的下采样的图像对于某些cv功能(例如对象跟踪)可能是有用的。
107.应当理解，虽然这些示例中所示的超像素1110a-1110d提供了rggb颜色通道，但是根据不同的示例，可以使用任何合适的滤光器组合。例如，绿色滤光器之一可以由ir滤光器或uv滤光器代替。在一些示例中，可以采用完全不同的滤光器集合，例如白色、黄色、ir、uv等。因此，像素的数量、对应的滤光器以及超像素内的像素布置可以是用于特定应用的任何合适的配置。
108.现在参考图14，图14示出了利用彩色网格阵列进行图像子采样的方法1400。将参照图6-图7所示的图像传感器602、图8所示的超像素和图11a-图11c所示的滤光器布置来描述示例方法1400；然而，应当理解，可以采用任何合适的超像素或滤光器布置。
109.在框1410，在曝光周期期间，超像素800中的每个像素810a使用光电二极管来接收入射光并将其转换成电荷。在这个例子中，电荷被存储在电荷存储器件(例如浮置扩散)中。然而，可以采用任何合适的电荷存储器件。此外，在一些示例中，在稍后将光电二极管连接到分立电荷存储器件(例如通过闭合一个或更多个开关以将光电二极管连接到电荷存储器件，例如图9-图10所示的)之前，电荷可以在光电二极管处累积。
110.在框1420，图像传感器启用一条或更多条行选择线706，例如r
0-rj。如上面参考图7讨论的，行选择线706连接到位于像素阵列602的相应行中的像素。当启用行选择线(例如r0)时，相应像素中的行选择开关被闭合。这提供了像素和adc 820之间的电通路的一部分。然而，如上面所讨论的，行选择开关814a-814d可以位于电荷存储器件和adc 820之间，或者位于光电二极管812a和电荷存储器件之间。因此，取决于像素配置，特定的行选择开关可以(至少部分地)实现电荷从光电二极管到电荷存储器件的转移，或者电压从电荷存储器件到adc 820的转移。
111.在框1430，图像传感器启用一条或更多条列选择线704，例如c
0-ci。类似于行选择线，每条列选择线704连接到位于像素阵列602的相应列中的像素。当启用列选择线(例如c0)时，相应像素中的列选择开关被闭合。这提供了像素和adc 820之间的电通路的另一部分。然而，如上面所讨论的，列选择开关816a-816d可以位于电荷存储器件和adc 820之间，或者位于光电二极管812a和电荷存储器件之间。因此，取决于像素配置，特定的列选择开关
可以(至少部分地)实现电荷从光电二极管到电荷存储器件的转移，或者电压从电荷存储器件到adc 820的转移。
112.在块1440，adc 820为超像素中的行选择开关和列选择开关都闭合的每个像素生成像素值。如上面参考图8所讨论的，如果像素的行选择开关或列选择开关中只有一个闭合，则没有建立从像素810a-810d到adc 820的电通路。因此，不能确定像素的像素值。然而，因为超像素中的每个像素具有连接到行和列选择线704、706的不同组合的行和列选择开关814a-814d、816a-816d，所以每个像素可以单独连接到adc 820，以将其电压转换成像素值。
113.在块1450，像素值被存储在存储器850中。
114.因为每个超像素800具有多于一个像素，所以根据行和列选择线704、706的附加组合是否被顺序启用，对于超像素中的附加像素可以重复块1420-1450。例如，如以上关于图12所讨论的，行选择线r1-r2和列选择线c1-c2的不同组合在不同的时间t
pix1-t
pix4
被启用，以为超像素800中的每个像素810a-810d生成像素值。然而，如参考图11a-图11c所讨论的，每个超像素只有像素子集可以用于生成像素值。例如，图11b示出了仅使用具有红色滤光器的像素来生成像素值的示例。为了获得这些像素，每个超像素的顶行像素的行选择线可以被启用，而每个超像素的左列像素的列选择线可以基本上同时被启用。这样的配置启用每个超像素的对应于红色滤光器的一个像素。
115.替代地，不同的超像素可以具有为特定图像选择的不同像素子集。例如，图11c示出了相邻超像素内的不同像素被启用以降低的分辨率捕获全色图像的示例。因此，由图11b-图11c所示的配置捕获的图像所需的所有像素可以使用每个超像素的单个像素来生成，这意味着每个超像素只需要单个adc操作。相反，图11a中的配置对于超像素1130需要四次adc操作。
116.虽然这些示例示出了捕获像素阵列内像素的重复图案，但是在一些示例中，仅像素阵列602内的超像素子集可以用于生成图像，这被称为“稀疏”图像感测。例如，参考图15，图15示出了包括感兴趣对象1502的场景1500。图像传感器602可以仅使用与像素阵列608上将接收来自对象的光的位置相对应的超像素，而不是使用像素阵列608中的每个超像素800来捕获图像。图像传感器602可能已经从先前捕获的图像(例如，使用每个超像素的像素的缩减子集捕获的全分辨率图像)中确定了要使用哪些超像素。
117.为了仅使用对应于对象1502的超像素800，图像传感器602可以仅启用对应于超像素集合1504内预期从对象1502接收光的各像素的行选择线704和列选择线706。因此，不是启用所有行和列选择线704、706，而是仅启用那些线的子集。此外，图像传感器602还可以确定是捕获全色稀疏图像还是部分彩色稀疏图像。根据选择，图像传感器602可以启用超像素集合1504中的每个超像素内的一些或所有像素。因此，图像传感器602可以选择性地仅捕获适应图像传感器602内或由连接到图像传感器602的设备进行的其他处理所需的特定像素信息。
118.一些示例的前述描述仅出于说明和描述的目的被呈现，并不旨在穷举或将本公开限制于所公开的精确形式。在不脱离本公开的精神和范围的情况下，对本领域技术人员来说，其许多修改和改编将是明显的。
119.本文对示例或实现的引用意味着结合该示例描述的特定特征、结构、操作或其他特性可以包括在本公开的至少一个实现中。本公开不限于如此描述的特定示例或实现。短
语“在一个示例中”、“在示例中”、“在一个实现中”或“在实现中”或其在说明书中不同地方的变体的出现不一定指相同的示例或实现。本说明书中描述的与一个示例或实现相关的任何特定特征、结构、操作或其他特性可以与针对任何其他示例或实现而描述的其他特征、结构、操作或其他特性相结合。
120.本文对“或”一词的使用旨在涵盖包括和不包括or条件。换句话说，a或b或c包括以下任何或所有适合特定用途的替代组合：单独a；单独b；单独c；仅a和b；仅a和c；仅b和c；以及a和b和c。