图像捕获模式自适应的制作方法

图像捕获模式自适应
1.本技术要求2019年10月29日提交的、美国申请第16/667,662号的优先权，该申请要求2019年9月9日提交的、美国临时专利申请第62/897,697号的权益，其中每个申请的全部内容通过引用并入本文。
技术领域
2.本公开涉及图像捕获和处理。


背景技术：

3.图像捕获设备通常被合并到各种各样的设备中。在本公开中，图像捕获设备指的是能够捕获一个或多个数字图像的任何设备，包括能够捕获静止图像的设备和能够捕获图像序列以记录视频的设备。例如，图像捕获设备可以包括独立的数码相机或数字视频摄像机、配备有相机的无线通信设备手持机，诸如具有一个或多个相机的移动电话、蜂窝或卫星无线电话、配备有相机的个人数字助理(pda)、面板或平板电脑、游戏设备、包括相机(诸如所谓的“网络摄像头”)的计算机设备，或任何具有数字成像或视频能力的设备。
4.某些数码相机具有捕获相机的潜在视场(fov)的特定部分的能力，诸如具有放大、缩小、全景、望远镜、长焦或潜望镜特征。这些特征允许数码相机使用图像传感器和相机处理器，以根据用户设置和/或操纵(例如，缩放、闪光灯设置、宽高比设置等)来增强或以其他方式改变场景(或视频情况下的图像序列)的捕获。在一些示例中，潜在的视场(fov)是指特定图像传感器可以用来感测场景或图像序列的全部像素。
5.另外，某些图像捕获设备可以包括多个图像传感器和/或多个镜头，这些图像传感器和/或镜头可以彼此配合使用，或者以其他方式，可以从一个相机切换到另一个相机。示例镜头类型包括广角镜头、超广角镜头、长焦镜头、望远镜镜头、潜望镜变焦镜头、鱼眼镜头、微距镜头、主镜头或其各种组合。例如，双相机配置可以包括宽镜头和长焦镜头两者。类似地，除了宽镜头和长焦镜头之外，三相机配置可以包括超宽镜头。通过使用多个镜头和/或图像传感器，图像捕获设备能够捕获具有不同fov和/或光学变焦级别的图像。然后，图像传感器可以将多个像素和像素值输出到相机处理器以进行进一步处理。


技术实现要素：

6.一般而言，本公开描述了涉及具有图像传感器的数码相机、具有相应光学变焦的镜头和相机处理器的图像捕获技术。相机处理器可以被配置为使图像传感器使用各种图像捕获模式来捕获图像数据(诸如视频数据帧和/或静止图像照片)。例如，相机处理器可以使图像传感器使用像素分箱来捕获图像数据的一个或多个帧。图像传感器通过将图像传感器的多个像素组合成较少的像素以输出到相机处理器来执行像素分箱(例如，4
×
4分箱、3
×
3分箱、2
×
2分箱、水平分箱、垂直分箱等)。
7.图像传感器可以将组合像素输出到相机处理器以进行进一步处理。基于期望的变焦级别或变焦比，相机处理器可以执行数字变焦技术，诸如数字裁剪、上采样、下采样、缩放
或其组合。然而，随着变焦级别的增加，相机处理器执行的上采样或缩放的量也会增加。因此，由于为实现期望的数字变焦级别而执行的上采样或缩放的量，从增加的变焦级别得到的图像数据往往提供失真的图像或视频。
8.在一些示例中，当用户请求的数字变焦级别超过相机转换阈值时，相机处理器可以被配置成在具有不同光学变焦级别和/或不同有效焦距的相机之间进行转换。然而，在相机之间的转换之前，相机处理器可以继续增加用于实现期望数字变焦级别的上采样或缩放的量。在某些情况下，直到发生了大量的变焦增加(例如，从1.0倍变焦到5.0倍变焦，或更多)，才可能发生相机之间的转换。
9.为了在如此宽的间隙之间进行桥接，某些相机可以使用具有越来越高的像素计数(例如，48mp、64mp、108mp)的图像传感器，以便为相机处理器提供尽可能多的输出像素以执行数字变焦操作。由于像素分箱随后与如此大的图像传感器一起使用，相机处理器将仍然具有较少的像素来使用，以便在期望数字分辨率下实现期望数字变焦级别。因此，相机处理器将使用上采样或缩放来桥接相机转换之间的间隙，并且由上采样或缩放引起的图像失真量将继续恶化，直到相机转换发生。因此，有了相机转换之间的宽间隙，由采样或缩放引起的图像失真量会严重降低图像或视频质量，并且因此，当用户试图执行达到每个相机外部极限的变焦操作时，用户体验将受到影响。
10.此外，在相机转换发生的时刻，鉴于第二相机的不同光学变焦级别，由于相机处理器执行的上采样或缩放量的突然减少，图像或视频质量将突然改变。这种突然改变是不希望的，因为当数字变焦级别增加和相机之间发生转换时，它提供了不一致的图像或视频质量。
11.根据本公开的各种技术，当那些变焦级别满足预定义的分箱转换阈值或相机转换阈值时，相机处理器可以在该相机处理器检测到期望变焦级别的变化时使图像传感器改变分箱级别。因此，响应于期望数字变焦级别的增加或减少，图像传感器可以利用不同的分箱级别来捕获图像数据的帧，无论其是视频数据、静态照片还是它们的组合。在一些示例中，期望变焦级别可以由用户指定，或者可以是自动变焦操作的结果。然后，相机处理器可以根据各种分箱级别转换以被分箱或未被分箱的像素信息的形式从图像传感器接收图像数据。
12.在某些情况下，取决于转换分箱级别之间的差异，图像传感器可以确定在将那些像素输出到相机处理器之前在转换的分箱级别上被分箱的减少量的输出像素。例如，图像传感器可以确定像素的中心部分被使用第二、较低级别的像素分箱来进行分箱，并将该像素的中心部分输出到相机处理器，而不是将在第二级别上分箱的全部量的像素输出到相机处理器。在一些示例中，可以这样做，以便在分箱转换之间保持对相机处理器的恒定或接近恒定的吞吐量或比特率。然后，相机处理器可以执行附加的数字变焦操作，以使用接收的输出像素来实现期望变焦级别。
13.根据本公开的技术，当用户增加期望变焦级别时，相机处理器可以接收一致的图像质量。另外，相机处理器可以使用更少的上采样和缩放来在期望输出分辨率下实现期望变焦级别。本公开的技术还提供了用于相机处理器的扩展的变焦范围，这是由于用于图像传感器在分箱级别之间转换的及时的分箱转换、减少相机处理器执行的上采样量以在转换之间实现期望变焦级别等。
14.在一个示例中，本公开的技术涉及一种被配置为捕获图像数据的装置，该装置包
括：被配置为存储图像数据的存储器，以及与该存储器进行通信的一个或多个处理器，该一个或多个处理器被配置为：在数字变焦级别小于第一预定义阈值的情况下，使第一图像传感器使用第一图像捕获模式来捕获图像数据的一个或多个帧，其中，第一图像捕获模式包括针对该图像数据的每个输出像素使用第一图像传感器的两个或更多个像素的第一分箱级别；确定所请求的数字变焦级别大于该第一预定义阈值；以及使第一图像传感器使用第二图像捕获模式来捕获该图像数据的一个或多个帧，其中，第二图像捕获模式包括针对该图像数据的每个输出像素使用相对于第一分箱级别更少的该第一图像传感器的像素的第二分箱级别。
15.在另一示例中，本公开的技术涉及一种捕获图像数据的方法，该方法包括：在数字变焦级别小于第一预定义阈值的情况下，使第一图像传感器使用第一图像捕获模式来捕获图像数据的一个或多个帧，其中，第一图像捕获模式包括针对该图像数据的每个输出像素使用第一图像传感器的两个或更多个像素的第一分箱级别；确定所请求的数字变焦级别满足该第一预定义阈值；以及使第一图像传感器使用第二图像捕获模式来捕获该图像数据的一个或多个帧，其中，第二图像捕获模式包括针对该图像数据的每个输出像素使用相对于第一分箱级别更少的该第一图像传感器的像素的第二分箱级别。
16.在另一示例中，本公开的技术涉及一种被配置为捕获图像数据的装置，该装置包括：用于在数字变焦级别小于第一预定义阈值的情况下，使图像传感器使用第一图像捕获模式来捕获图像数据的第一一个或多个帧的部件，其中，第一图像捕获模式包括针对该图像数据的每个输出像素使用该图像传感器的两个或更多个像素的第一分箱级别；用于确定所请求的数字变焦级别满足该第一预定义阈值的部件；以及用于使该图像传感器使用第二图像捕获模式来捕获该图像数据的第二一个或多个帧的部件，其中，第二图像捕获模式包括针对该图像数据的每个输出像素使用相对于第一分箱级别更少的该图像传感器的像素的第二分箱级别。
17.在另一示例中，本公开的技术涉及一种在其上存储指令的非暂时性计算机可读存储介质，所述指令在被执行时使一个或多个处理器：在数字变焦级别小于第一预定义阈值的情况下，使第一图像传感器使用第一图像捕获模式来捕获图像数据的一个或多个帧，其中，第一图像捕获模式包括针对该图像数据的每个输出像素使用第一图像传感器的两个或更多个像素的第一分箱级别；确定所请求的数字变焦级别满足该第一预定义阈值；以及使第一图像传感器使用第二图像捕获模式来捕获该图像数据的一个或多个帧，其中，第二图像捕获模式包括针对该图像数据的每个输出像素使用相对于第一分箱级别更少的该第一图像传感器的像素的第二分箱级别。
18.在附图和下面的描述中阐述一个或多个示例的细节。从该描述、附图以及权利要求，其他特征、目的和优势将显而易见。
附图说明
19.图1是被配置为执行本公开中描述的示例技术中的一种或多种技术的设备的框图。
20.图2a是描述根据本公开中描述的技术的各个方面的图1的图像传感器可以如何使用将像素组合起来的第一分箱级别来捕获图像的示例图示。
21.图2b是描述根据本公开中描述的技术的各个方面的图1的图像传感器可以如何转换到第二分箱级别的示例图示。
22.图3a和图3b是示出根据本公开中描述的技术的各个方面的图1的图像传感器可以如何执行各种分箱操作。
23.图4a是示出根据本公开中描述的技术的各个方面的图1中所示的相机处理器和图像传感器执行变焦操作时的示例操作的示例流程图。
24.图4b是示出根据本公开中描述的技术的各个方面的图1中所示的相机处理器和图像传感器执行变焦操作时的示例操作的示例流程图。
25.图5a-图c示出了图示根据本公开中描述的技术的各个方面的涉及多个相机的各种复杂变焦操作的附加示例图像。
26.图6是示出根据本公开中描述的技术的各个方面的图1中所示的相机处理器和图像传感器在变焦操作期间执行多个分箱转换的示例操作的示例流程图。
27.图7示出了根据本公开中描述的技术的各个方面在分箱级别之间进行转换的另一示例。
具体实施方式
28.图像传感器可以在各种情况下使用各种捕获模式，以使用各种分箱级别来捕获图像数据(诸如视频数据或快照)的帧。例如，某些相机处理器可以通过将图像传感器的多个像素组合成更少数量的像素来使图像传感器使用各种分箱技术来捕获图像数据。然后，图像传感器可以将组合像素输出到相机处理器。在相机处理器与高分辨率或超高分辨率图像传感器(例如，1200万像素(mp)、48mp、64mp、108mp、120mp、144mp，等等)相连接的情况下，分箱技术可能特别有优势。例如，这样的图像传感器上的像素可以具有小的物理尺寸。在这样的示例中，每个像素上的入射光可以如此有限，特别是在低光条件下，并且因此，每个单独像素可以变得越来越容易受到噪声的影响。
29.因此，分箱技术通过各种组合方案将像素组合在一起，包括针对每个输出像素将多个像素平均或求和，从而改善信噪比(snr)。另外，例如，在记录视频或经由显示设备向用户提供图像预览的情况下，分箱技术可以为数码相机提供更高的帧速率。另外，分箱技术可以减少对相机处理器的处理负担和要求，从而减少对从图像传感器接收的图像数据执行的处理量，并且还提高系统的总体效率。此外，当图像传感器在特定变焦级别上使用分箱技术时，人眼可能无法感知图像传感器正在使用像素分箱，更不用说图像传感器是否正在使用4
×
4分箱、2
×
2分箱或非分箱等。也就是，直到变焦级别增加到特定高的变焦级别，人眼可能都不会感知由于分箱而导致的退化。尽管分箱技术可能以空间分辨率为代价，但由于某些图像传感器的像素密度，输出分辨率仍然可以很高。
30.然后，图像传感器可以将组合像素输出到相机处理器。使用来自图像传感器的输出像素，相机处理器可以执行数字变焦技术以在期望输出分辨率(例如，1080p、4k、8k等)下实现期望数字变焦级别。为了这样做，相机处理器可以执行任何数量的数字变焦技术，包括下采样、裁剪、上采样、缩放或其组合。在一些示例中，相机处理器可以首先对从图像传感器接收的像素进行裁剪，以移除落在变焦场之外的那些像素，然后对剩余像素进行上采样或下采样。然而，随着缩放级别的增加，上采样或缩放往往会降低所得到的图像质量。这是因
为上采样或缩放涉及使用从图像传感器接收的已知像素值以及在这些像素值之间插值的过程，以便人工创建新的像素值，直到达到期望输出分辨率。因此，执行大量的上采样会使得到的图像或视频失真。随着上采样量的增加，图像质量可能继续降低并变得失真。
31.另外，相机处理器可以在具有不同有效焦距的多个相机之间切换。例如，相机处理器可以响应于检测到相机转换触发(诸如满足相机转换阈值的特定变焦级别)而在相机之间进行切换。然而，在一些示例中，在满足特定相机转换阈值之前，增加的变焦级别的量可能相当高。例如，第一相机可用于1.0倍至5.0倍变焦之间的数字变焦级别，而第二相机用于大于5.0倍变焦的变焦级别。因此，为了桥接各种相机之间的间隙，可以使用越来越大的图像传感器，以努力向相机处理器提供尽可能多的像素，直到发生下一个相机转换。
32.在这种情况下，由于相机处理器使用数字上采样或数字缩放技术，图像质量将继续降低，直到相机处理器切换到下一个相机，这可能在达到足够高的变焦级别之前不会发生。此时，相机处理器可能由于转换相机的有效焦距的差异而执行更少的上采样。因此，相机之间的切换也给用户提供了不一致的图像质量。例如，当相机处理器使用上采样或缩放时，图像质量将继续降低，直到期望变焦级别达到相机转换阈值，在该点，图像质量将突然改善，然后一旦相机处理器使用新相机再次开始上采样，图像质量将再次开始降低。当在以高帧速率记录高分辨率视频时使用数字变焦时，图像质量中的这些失真和不一致可能特别明显，当用户在记录视频时试图放大和缩小场景时，数字变焦可能在多个相机之间切换。
33.上述问题以及其他问题可以通过提供能够在各种变焦级别上利用各种像素分箱级别的相机而由所公开的捕获模式自适应技术来解决。具体地，取决于所使用的分箱技术，相机处理器可以确定使图像传感器改变图像传感器处的像素分箱级别的分箱转换阈值。在一个示例中，相机处理器可以使图像传感器从一个分箱级别(例如，2
×
2、3
×
3、4
×
4、8
×
8等)转换到提供比第一分箱级别更少的分箱的第二分箱级别(例如，非分箱)。应当注意的是，对于要输出到相机处理器的图像数据的每个输出像素，“非分箱”或“不分箱”通常涉及使用图像传感器的一个像素而不是使用多个像素的图像传感器。换句话说，非分箱可能意味着在输入像素与输出像素之间存在1对1的对应关系。
34.在一些示例中，一旦满足预定义的分箱转换阈值(例如，特定的缩放级别)，图像传感器就可以从一个分箱级别转换到较低的分箱级别。有利的是，人眼可能感知不到使用分箱技术捕获的图像之间的差异，或者不是在低变焦级别(诸如低于分箱转换阈值量的变焦级别)处捕获的图像之间的差异。这允许图像捕获设备在不影响用户体验的情况下利用特定较低变焦级别的分箱。也就是说，图像传感器可以以一个分箱级别开始，然后随着变焦级别的增加而转换到较低的分箱级别，以便减少所使用的上采样量并尽可能多地保持用户体验。另外，相机转换，加上这样的分箱转换，可以允许用户平滑地跨越整个变焦光谱，而不容易注意到相机转换何时发生。由于在特定相机转换之前发生的分箱级别之间的变化，与如果对于相同变焦跨度使用统一的分箱级别相比，相机处理器可以减少在相机转换阈值附近使用的上采样或缩放的量。
35.如下文详细描述的，相机处理器可以响应于满足预定义分箱转换阈值的特定变焦级别，或者在某些情况下，当变焦级别接近预定义分箱转换阈值时引起这种转换。然后，图像传感器可以将组合像素、非分箱像素、分箱或非分箱像素的部分输出到相机处理器，然后相机处理器可以使用从图像传感器接收的像素执行数字变焦。
36.图1是被配置为执行本公开中描述的示例技术中的一种或多种技术的设备的框图。计算设备10的示例包括计算机(例如，个人计算机、台式计算机或膝上型计算机)、诸如平板计算机的移动设备、无线通信设备(诸如移动电话、蜂窝电话、卫星电话和/或移动电话手持机)、互联网电话、数码相机、数字录像机、诸如便携式视频游戏设备或个人数字助理(pda)的手持设备、无人机设备或可以包括一个或多个相机的任何设备。
37.如图1的示例所示，计算设备10包括一个或多个图像传感器12。图像传感器12在本文中在某些情况下可以简单地被称为“传感器12”，而在其他情况下适当地可以被称为多个“传感器12”。计算设备10还包括一个或多个镜头13和相机处理器14。如图1中所示，相机15可以指的是包括一个或多个图像传感器12、一个或多个镜头13和至少一个相机处理器14的集合设备。在任何情况下，多个相机15可以被包括在单个计算设备10(例如，具有一个或多个正面相机和一个或多个背面相机的移动电话)中。在非限制性示例中，一个计算设备10可以包括：包括16mp图像传感器12的第一相机15、包括108mp图像传感器12的第二相机15、具有12mp图像传感器12的第三相机15等，以及双“前置”相机。应当注意，虽然本文中的一些示例技术可以参考所谓的“背部”相机或多个背部相机来讨论，但本公开的技术不限于此，本领域技术人员将理解，本公开的技术可以针对任何类型的相机15以及针对计算设备10所包括的相机15之间的任何转换来实现。
38.在某些情况下，相机15可以包括多个相机处理器14。在某些情况下，多个相机处理器14可以指的是在各种情况下使用各种处理算法的图像信号处理器(isp)。在一些示例中，相机处理器14可以包括图像前端(ife)和/或图像处理引擎(ipe)作为处理流水线的一部分。另外，相机15可以包括单个传感器12或单个镜头13。
39.如图所示，计算设备10还可以包括中央处理单元(cpu)16、编码器/解码器17、图形处理单元(gpu)18、gpu 18的本地存储器20、用户接口22、提供对系统存储器30的访问的存储器控制器24、以及输出使图形数据显示在显示器28上的信号的显示接口26。
40.虽然本文关于单个传感器12描述了一些示例技术，但是示例技术不限于此，并且可以适用于用于捕获图像/视频的各种相机类型，包括包含多个图像传感器、多个镜头类型和/或多个相机处理器的设备。例如，计算设备10可以包括双镜头设备、三镜头设备等。因此，每个镜头13和图像传感器12组合可以提供各种光学变焦级别、视角(aov)、焦距、fov等。在一些示例中，可以为每个镜头13分配一个图像传感器12。也就是，多个图像传感器12可以各自被分配给不同的镜头类型(例如，宽镜头、超宽镜头、长焦镜头和/或潜望镜镜头等)。例如，宽镜头可以对应于第一尺寸(例如，108mp)的第一图像传感器12，而超宽镜头可以对应于不同尺寸(例如，16mp)的第二图像传感器12。在另一示例中，长焦镜头可以对应于第三尺寸(例如，12mp)的图像传感器12。在说明性示例中，单个计算设备10可以包括两个或更多个相机15，其中至少两个相机15对应于具有相同尺寸的图像传感器12(例如，两个12mp传感器、三个108mp传感器、三个12mp传感器、两个12mp传感器和一个108mp传感器等)。在任何情况下，图像传感器12可以对应于不同的镜头13，以便为计算设备10提供多个相机15。
41.在一些示例中，单个图像传感器12可以对应于多个镜头13。在这些示例中，光导可用于将镜头13上的入射光引导到相应的图像传感器12。示例性光导可以包括棱镜、移动棱镜、反射镜等。以这种方式，从单个镜头接收的光可以被重定向到特定传感器12，诸如远离一个传感器12并朝向另一个传感器12。例如，相机处理器14可以使棱镜移动并重定向入射
到镜头13之一上的光，以便有效地改变接收光的焦距。在任何情况下，计算设备10可以包括对应于单个图像传感器12的多个镜头13。另外，计算设备10可以包括对应于分开的图像传感器12的多个镜头13。在这种情况下，分开的图像传感器12可以具有不同的尺寸(例如，12mp传感器和108mp传感器)，或者在一些示例中，分开的图像传感器12中的至少两个可以具有相同的尺寸(例如，两个12mp传感器、三个108mp传感器、三个12mp传感器、两个12mp传感器和108mp传感器等)。
42.在一些示例中，单个相机处理器14可以被分配给一个或多个传感器12。然而，在一些实例中，多个相机处理器14可以被分配给一个或多个传感器12。例如，相机处理器14可以在各种情况下使用多个处理算法来执行数字变焦操作或其他处理操作。在包括多个相机处理器14的示例中，相机处理器14可以共享传感器12，其中每个相机处理器14可以与每个传感器12相连接，而不管任何处理器到图像传感器分配规则。例如，每个相机处理器14可以彼此协调以有效地将处理资源分配给传感器12。
43.另外，虽然相机15可以被描述为包括一个传感器12和一个相机处理器14，但相机15可以包括多个传感器和/或多个相机处理器。在任何情况下，计算设备10可以包括多个相机15，该多个相机15可以包括一个或多个传感器12、一个或多个镜头13和/或一个或多个相机处理器14。在一些示例中，相机15可以将传感器12称为相机设备，使得相机15例如是耦合到(例如，经由通信链路)相机处理器14和/或镜头13的传感器12。
44.而且，尽管各种组件被示为分开的组件，但在一些示例中，组件可以被组合以形成片上系统(soc)。作为示例，相机处理器14、cpu 16、gpu 18和显示接口26可以形成在公共集成电路(ic)芯片上。在一些示例中，相机处理器14、cpu 16、gpu 18和显示接口26中的一个或多个可以处于分开的ic芯片中。各种其他排列和组合是可能的，并且本公开的技术不应被认为限于图1所示的示例。
45.图1中所示的各种组件(无论是形成在一个设备上还是不同设备上)，包括传感器12和相机处理器14可以形成为固定功能或可编程电路或者两者的组合中的至少一个，诸如在一个或多个微处理器、专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)或其他等效的集成或离散逻辑电路中。本地存储器20的示例包括一个或多个易失性或非易失性存储器或存储设备，诸如随机存取存储器(ram)、静态ram(sram)、动态ram(dram)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、闪存、磁数据介质或光存储介质。
46.图1中所示的各种结构可以被配置为使用总线32彼此进行通信。总线32可以是各种不同总线结构中的任何一种，诸如第三代总线(例如，超级传输总线或infiniband总线)、第二代总线(例如，高级图形端口总线、外围组件互连(pci)快速总线或高级可扩展接口(axi)总线)或另一类型的总线或设备互连。需要注意的是，图1中示出的总线的具体配置和不同组件之间的通信接口仅是示例性的，并且具有相同或不同组件的计算设备和/或其他图像处理系统的其他配置可以用于实现本公开的技术。
47.相机处理器14被配置为从传感器12接收图像帧(例如，像素数据)，并且对图像帧进行处理以生成图像和/或视频内容。例如，图像传感器12可以被配置为捕获单个帧、帧突发、用于生成视频内容的帧序列、在记录视频时捕获的照片剧照、图像预览或来自静态照片的之前和/或之后捕获的运动照片。cpu 16、gpu 18、相机处理器14或一些其他电路可以被
配置为将传感器12捕获的图像和/或视频内容处理成用于在显示器28上显示的图像或视频。在说明性示例中，cpu 16可以使图像传感器12使用像素分箱来捕获图像帧和/或可以从图像传感器12接收像素数据。在本公开的上下文中，图像帧通常可以指静止图像的数据帧或视频数据帧或其组合(诸如具有运动照片)。相机处理器14可以接收任何格式的图像帧的像素数据。例如，像素数据可以包括不同的颜色格式，诸如rgb、ycbcr、yuv等。
48.在一些示例中，相机处理器14可以包括图像信号处理器(isp)。例如，相机处理器14可以包括在传感器12与相机处理器14之间相连接的相机接口。相机处理器14可以包括处理图像内容的附加电路。相机处理器14可以被配置为对传感器12捕获的图像数据执行各种操作，包括自动白平衡、颜色校正或其他后处理操作。
49.另外，相机处理器14可以被配置为对像素数据进行分析和/或经由存储器控制器24将得到的图像(例如，每个图像像素的像素值)输出到系统存储器30。每个图像可以被进一步处理以生成用于显示的最终图像。例如，gpu 18或包括相机处理器14本身的某个其他处理单元可以执行颜色校正、白平衡、混合、合成、旋转或其他操作以生成用于显示的最终图像内容。
50.另外，计算设备10可以包括视频编码器和/或视频解码器17，其任一个可以被集成为组合视频编码器/解码器(codec)的一部分。编码器/解码器17可以包括对由一个或多个相机15捕获的视频进行编码的视频编码器或可对压缩或编码的视频数据进行解码的解码器。在一些实例中，cpu 16可以被配置为对视频数据进行编码和/或解码，在这种情况下，cpu 16可以包括编码器/解码器17。
51.cpu 16可以包括控制计算设备10的操作的通用处理器或专用处理器。用户可以向计算设备10提供输入以使cpu 16运行一个或多个软件应用。在cpu 16上运行的软件应用程序可以包括例如相机应用程序、图形编辑应用程序、媒体播放器应用程序、视频游戏应用程序、图形用户界面应用程序或另一程序。例如，相机应用程序可以允许用户控制相机15的各种设置。用户可以经由诸如键盘、鼠标、麦克风、触摸板或经由用户接口22耦合到计算设备10的另一输入设备的一个或多个输入设备(未示出)向计算设备10提供输入。例如，用户接口22可以接收来自用户的输入以调整期望数字变焦级别、改变图像数据的宽高比、记录视频、在记录视频的同时拍摄快照、将滤波器应用于图像捕获、选择用于自动对焦操作的感兴趣区域、记录慢动作视频或超慢动作视频、应用夜间拍摄设置、捕获全景图像数据等。
52.软件应用程序的一个示例是相机应用程序。cpu 16运行相机应用程序，并且作为响应，相机应用程序使cpu 16生成显示器28输出的内容。例如，显示器28可以输出诸如光强度、是否启用闪光灯以及其他此类信息的信息。计算设备10的用户可以与显示器28相连接(例如，经由用户接口22)以配置生成图像的方式(例如，使用或不使用闪光灯、焦点设置、曝光设置和其他参数)。相机应用程序还使cpu 16指示相机处理器14以用户定义的方式对由传感器12捕获的图像进行处理。例如，cpu 16可以指示相机处理器14对传感器12捕获的图像执行变焦操作。在一些示例中，cpu 16可以从用户接收变焦请求(例如，捏合变焦命令、离散输入，诸如0.5倍变焦按钮、2倍变焦按钮、3倍变焦按钮、10倍变焦按钮等的操作、滑块输入，或其一些组合)。在一些示例中，变焦操作可以包括数字变焦，其包括变焦场。例如，数字变焦场可以包括小于传感器12的全视场的一部分。然后，cpu 16可以相应地指示相机处理器14执行数字变焦操作。在一些示例中，相机处理器14可以直接接收来自用户的变焦请求
(例如，通过检测来自用户的某些输入，诸如在相机应用程序处于活动和/或运行在计算设备10的前台期间)。
53.在任何情况下，相机处理器14可以使图像传感器12使用各种分箱级别来捕获图像数据(例如，视频数据)的帧，所述分箱级别将图像传感器的多个像素组合成更少的输出像素，如分箱的情况，或针对每个输出像素使用一个像素，如非分箱的情况。当相机处理器14接收到变焦请求时，相机处理器14可以确定变焦请求是否满足预定义的分箱转换阈值，在该点处相机处理器14可以使图像传感器12使用改变的分箱级别来捕获后续帧。在非限制性示例中，图像传感器12最初可以使用2
×
2分箱级别捕获图像数据，其中四个像素被组合成一个输出像素。因此，108mp图像传感器12(诸如对应于广角镜头的108mp图像传感器12)可以针对每个输出像素使用四个像素，从而将27mp分箱像素传送到相机处理器14。在另一示例中，图像传感器12最初可以使用3
×
3分箱级别捕获图像数据，其中九个像素被组合成一个输出像素。因此，108mp图像传感器12可以针对每个输出像素使用九个像素，从而将12mp分箱像素传送到相机处理器14。
54.相机处理器14可以接收超过第一预定义阈值的期望数字变焦级别。因此，相机处理器14可以使图像传感器12从2
×
2分箱转换到非分箱，其中现在图像传感器12针对图像数据的每个输出像素使用图像传感器12的一个像素。因此，图像传感器12可以潜在地向相机处理器14输出108mp。然而，在一些实例中，相机处理器14可以另外使图像传感器12保持恒定或接近恒定的吞吐量级别。因此，相机处理器14可以使图像传感器12输出潜在108mp的25％，以达到恒定或接近恒定的吞吐量，在此特定示例中为27mp。
55.在一些示例中，摄相机处理器14可以设置各种转换参数(例如，分箱转换阈值、减少的输出部分、相机转换阈值等)，以便将数据吞吐量或比特率保持在避免吞吐量或比特率尖峰的特定范围内。例如，上述场景中的范围可以是27mp
±
1mp，使得吞吐量可以变化，同时限制从图像传感器12到相机处理器14的吞吐量数据的大波动。本技术在视频的上下文中可能特别有有优势，视频可能希望以高分辨率和高的每秒帧数(fps)被捕获。如果处理器负担过重(诸如输入像素数据的大波动)，则相机处理器14将可能无法实现高fps。在这种情况下，视频中任何捕获的运动都将显示为波浪起伏，或者运动将显示为不那么平滑。因此，所公开的技术在变焦并保持高吞吐量的同时减少失真和潜在的起伏。
56.另外，相机处理器14可以进一步使用数字裁剪、下采样、上采样或变焦以在用于显示的期望像素数量(例如，期望分辨率参数)下实现期望数字变焦级别。在一个说明性示例中，具有带一个镜头13的48mp图像传感器12的相机15可以捕获大约8000
×
6000像素的最大像素阵列。使用48mp图像传感器12的相机15可以被配置为捕获所谓的4k图片或视频，其中这种图片或视频的分辨率大约为4000
×
2000像素或～8mp。因此，在数字变焦操作的情况下，48mp图像传感器12可以潜在地向相机处理器14输出48mp非分箱像素，其中相机处理器14可以在使用其他技术之前执行8000
×
6000像素的数字裁剪，以实现期望数字变焦级别，诸如数字裁剪之后剩余的像素数量大于期望分辨率的情况下的下采样，或者数字裁剪之后剩余的像素数量小于期望分辨率的情况下的上采样。
57.在图像传感器12使用2
×
2分箱的示例中，48mp图像传感器12可以潜在地向相机处理器14输出12mp分箱像素，其中相机处理器14可以在使用下采样、上采样或缩放技术以在期望分辨率下实现期望数字变焦级别之前执行12mp的数字裁剪以实现期望数字变焦级别。
58.在一些示例中，48mp图像传感器12可以向相机处理器14输出小于所有可用像素(分箱或非分箱)的像素，诸如要输出的可用像素的预定百分比。也就是，相机处理器14可以基于图像传感器12的潜在fov的减少的部分(例如，图像传感器12的所有被分箱或非分箱的像素)来执行任何数量的数字变焦技术。在一个示例中，48mp图像传感器12可以将2
×
2分箱像素的减少的部分或非分箱像素的减少的部分输出到相机处理器14。例如，48mp图像传感器12可以输出25％的非分箱像素，等于12mp非分箱像素。在使用下采样、上采样或缩放技术以在期望分辨率下实现期望数字变焦级别之前，相机处理器14可以执行12mp非分箱像素的数字裁剪以实现期望数字变焦级别。
59.在另一示例中，48mp图像传感器12可以向相机处理器14输出被分箱像素的减少的部分，诸如在相机处理器14正在使图像传感器12执行多个分箱转换的情况下。例如，48mp图像传感器12可以根据从针对图像数据的每个输出像素使用图像传感器12的多个像素的第一分箱级别到针对图像数据的每个输出像素使用相对于第一分箱级别更少的图像传感器12的像素的第二分箱级别的分箱转换，将预定百分比的分箱像素输出到相机处理器14，但是第二分箱级别针对图像数据的每个输出像素使用图像传感器12的至少两个像素。因此，相机处理器14可以在使用其他数字变焦技术之前，使用减少数量的分箱像素来执行数字裁剪以实现期望数字变焦级别。本领域技术人员将理解，48mp图像传感器12在本文仅用作说明性示例，并且本公开的技术可以使用任何数量的图像传感器12来执行本公开的技术。
60.在一些实例中，相机处理器14或cpu 16可以例如基于变焦级别激活各种镜头。在一些示例中，相机处理器14可以确定期望数字变焦级别超过相机转换阈值。然后，相机处理器14可以从一个相机15切换到另一个相机15，以便适应期望数字变焦级别。在一个这样的示例中，相机处理器14可以通过从一个镜头切换到另一个镜头在某些时间转换镜头13，或者在另一个示例中，相机处理器14可以通过从一个传感器12切换到另一个传感器12来转换传感器12。在涉及各种镜头13之间转换的一个示例中，一个相机15可以包括长焦镜头13，而另一个相机15可以包括广角镜头13。因此，在从广角镜头13到长焦镜头13的转换期间，相机处理器14可以在请求的数字变焦级别(例如，五倍变焦(5x)、10倍变焦、15倍变焦等)下激活长焦镜头13，并且暂停广角镜头13。各种镜头13可以具有用于每个镜头13的专用图像传感器12，或者在某些情况下，用于每个图像传感器12的多个镜头13。例如，单个传感器12可以与多个镜头13一起使用，使得单一光线可以在到达单个传感器12之前穿过多个镜头13。
61.在一些示例中，对应于第一相机的第一图像传感器12可以是对应于第二相机的相同图像传感器12。也就是，对应于第二相机的图像传感器12也可以是对应于第一相机的第一图像传感器。在这样的示例中，第一相机和第二相机仍然可以提供不同的有效焦距，例如，由于使用不同的镜头、移动棱镜的激活等。
62.存储器控制器24促进进入和离开系统存储器30的数据传输。例如，存储器控制器24可以接收存储器读和写命令，并且关于存储器30服务这样的命令，以便为计算设备10中的组件提供存储器服务。存储器控制器24通信地耦合到系统存储器30。尽管存储器控制器24在图1的计算设备10的示例中被示出为与cpu 16和系统存储器30两者分开的处理电路，但是在其他示例中，存储器控制器24的一些或全部功能可以在cpu 16和系统存储器30中的一个或两者上实现。
63.系统存储器30可以存储可由相机处理器14、cpu 16和gpu18访问的程序模块和/或
指令和/或数据。例如，系统存储器30可以存储用户应用程序(例如，用于相机应用程序的指令)、从相机处理器14得到的图像等。系统存储器30可以另外存储由计算设备10的其他组件使用和/或由其生成的信息。例如，系统存储器30可以用作相机处理器14的设备存储器。系统存储器30可以包括一个或多个易失性或非易失性存储器或存储设备，诸如随机存取存储器(ram)、静态ram(sram)、动态ram(dram)、只读存储器(rom)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、闪存、磁数据介质或光存储介质。
64.在一些示例中，系统存储器30可以包括使相机处理器14、cpu 16、gpu 18和显示接口26执行本公开中赋予这些组件的功能的指令。因此，系统存储器30可以是具有存储在其上的指令的计算机可读存储介质，所述指令在被执行时使一个或多个处理器(例如，相机处理器14、cpu 16、gpu 18和显示接口26)执行各种功能。
65.在一些示例中，系统存储器30是非暂时性存储介质。术语“非暂时性”指示存储介质不体现在载波或传播信号中。然而，术语“非暂时性”不应解释为意味着系统存储器30是不可移动的或其内容是静态的。作为一个示例，系统存储器30可以从计算设备10被移除，并移动到另一设备。作为另一示例，基本上类似于系统存储器30的存储器可以被插入到计算设备10中。在某些示例中，非暂时性存储介质可以存储能够随时间改变的数据(例如，在ram中)。
66.相机处理器14、cpu 16和gpu 18可以将图像数据等存储在系统存储器30内被分配的相应缓冲器中。显示接口26可以从系统存储器30取回数据，并且配置显示器28以显示由所生成的图像数据表示的图像。在一些示例中，显示接口26可以包括数模转换器(dac)，其被配置为将从系统存储器30取回的数字值转换为可由显示器28消费的模拟信号。在其他示例中，显示接口26可以将数字值直接传递到显示器28以进行处理。
67.显示器28可以包括监视器、电视机、投影设备、液晶显示器(lcd)、等离子体显示面板、发光二极管(led)阵列、有机led(oled)、阴极射线管(crt)显示器、电子纸、表面传导电子发射显示器(sed)、激光电视显示器、纳米晶体显示器或另一类型的显示单元。显示器28可以被集成在计算设备10内。例如，显示器28可以是移动电话手持机、平板计算机或膝上型计算机的屏幕。可替代地，显示器28可以是经由有线或无线通信链路耦合到计算设备10的独立设备。例如，显示器28可以是经由电缆或无线链路连接到个人计算机的计算机监视器或平板显示器。
68.传感器12是图像传感器，其可以包括处理电路、用于捕获光的表示的像素传感器(例如，多个像素)阵列、存储器、可调节镜头以及用于调节镜头的致动器。在一些实例中，计算设备10可以包括多个传感器，并且因此，传感器12可以表示一个或多个传感器(以及伴随的镜头13、光圈、闪光等)，其中一个传感器可以为一个镜头13捕获图像，而另一个分开的传感器12可以为另一个镜头13捕获图像。类似地，相机15可以包括多个相机处理器14。
69.在一些示例中，多个传感器12可以用于单个相机15。例如，单个相机15可以包括单色传感器(例如，“清晰”像素传感器)和颜色传感器(例如，bayer传感器)。在这样的示例中，对单色像素传感器的引用可以是指具有放置在像素传感器上的单色滤波器的像素传感器，而在一些实例中，对彩色像素传感器的引用可以是指具有放置在传感器12上的颜色滤波器(例如bayer滤波器)的传感器12。作为示例，红色滤波器、绿色滤波器或蓝色滤波器可以被放置在传感器12上。存在各种其他滤波器模式，诸如红、绿、蓝、白(“rgbw”)滤波器阵列；青
色、品红、黄、白(cmyw)滤波器阵列；和/或其变体，包括专有或非专有滤波器模式。尽管本公开依据特定滤波器模式讨论了某些示例，但是根据本公开的技术可以使用其他滤波器模式。
70.在一些示例中，传感器12可以包括一组彼此配合操作的两个或更多个不同传感器。例如，传感器12可以包括两个彼此配合操作的不同“颜色”传感器。在这样的示例中，不同传感器12中的每个传感器可以支持不同的分箱类型和/或分箱级别。在一些示例中，不同的传感器12可以彼此独立地操作。例如，尽管彼此配合操作，但不同传感器12中的每个传感器可以关于特定范围的变焦级别进行操作。在任何情况下，在每个变焦级别范围内，传感器12可以在各种分箱级别之间进行转换(例如，从分箱到非分箱转换)。例如，相机处理器14可以响应于满足预定义的分箱转换阈值，使彼此配合地进行操作的两个或更多个不同的传感器12独立地在各种分箱级别之间进行转换。
71.在一些示例中，第一一个或多个传感器12可以被分配给第一镜头13(例如，宽镜头相机、超宽镜头相机、长焦镜头相机、潜望镜镜头相机等)，而第二一个或多个传感器12可以被分配给不同于第一镜头13的第二镜头13。例如，单个计算设备10可以包括多个镜头13，每个镜头包括一个或多个相应传感器12。多个镜头13可以各自发挥由相机的各种属性(例如，镜头属性、光圈属性、视角属性、热成像属性等)提供的相应功能。因此，用户可以利用每个镜头13的各种属性来捕获一个或多个图像或图像序列，正如在视频记录中。
72.在包括多个镜头13的示例中，cpu 16和/或相机处理器14可以响应于接收用户输入(例如，经由用户接口22)来激活特定镜头13或镜头13的组合。例如，cpu 16和/或相机处理器14可以经由用户接口22接收用户输入，该用户输入包括用户对特定镜头13(例如鱼眼镜头相机)的选择。在一些示例中，cpu 16可以自动确定要激活哪个镜头13，以及是选择初始镜头13以激活还是从一个镜头13转换到另一个镜头13。例如，cpu 16和/或相机处理器14可以在检测到满足某些镜头选择标准(例如，满足预定义相机转换阈值的数字变焦级别、照明条件的改变、来自用户的请求特定镜头13的输入等)的操作条件时确定激活哪个镜头13。在一些示例中，多个相机可以彼此配合使用以捕获一个合成图像或合成图像流，使得相机处理器14或cpu 16可以基于来自传感器12的图像捕获来处理一个合成图像或合成图像流。
73.在操作中，相机处理器14可以使用传感器12的多个像素传感器来发起场景的视频或图像的捕获。在一些示例中，视频可以包括单个帧的序列。因此，视频的单个帧可以类似于图2a所示的示例场景的图像(见下文)。在一些示例中，图2a中示出的示例场景也可以是静态镜头和/或在视频记录期间进行的图像捕获。因此，相机处理器14使传感器12使用多个像素传感器来捕获图像。然后，传感器12可以向相机处理器14输出像素信息(例如，像素值、亮度值、颜色值、电荷值、模数单元(adu)值等)，该像素信息表示每个传感器12的捕获图像或捕获图像序列。在一些示例中，相机处理器14可以处理单色图像和/或彩色图像以获得场景的增强彩色图像。
74.图2a-图2b提供描述图像传感器12如何使用各种图像捕获模式(例如，分箱、部分分箱、非分箱等)来捕获图像数据帧的示例说明。如将描述的，存在各种类型的分箱模式，但通常，图像传感器12可以将多个像素组合成更少的输出像素，如在分箱的情况中，或者针对每个输出像素使用一个像素，如在非分箱的情况中。作为示例，图像传感器12可以使用图2a的示例中的第一分箱级别以将多个像素组合成更少的输出像素(206)。
75.在非限制性示例中，第一分箱级别可以包括2
×
2分箱级别，在这种情况下，图像传感器12可以针对图像数据的每个输出像素(206)将图像传感器12的四个像素(202)组合起来。然而，在图2b的示例中，图像传感器12可以使用与第一分箱级别相比对更少像素进行组合的第二分箱级别(212)。在非限制性示例中，第二分箱级别可以包括不分箱，在这种情况下，图像传感器12针对未分箱的图像数据的每个输出像素使用一个像素(212)。图像传感器12可以将像素(组合或未组合的)输出到相机处理器14以用于进一步处理。
76.在图2a的示例中，图像传感器12可以捕获场景202。场景202的捕获最初可以包括图像传感器12的总数量的像素。例如，在图像传感器12包括多个像素传感器的情况下，场景202的捕获最初将包括图像传感器12的每个像素传感器的值。也就是，当图像数据(例如，光)进入图像传感器12时，任何场景、视频的捕获或静止捕获将包括100％的像素传感器或图像传感器12的全fov。
77.相机处理器14可以使图像传感器12使用第一图像捕获模式(204a/204b)来捕获图像数据(例如，场景202的视频数据)的一个或多个帧。第一图像捕获模式可以包括分箱操作。在一些示例中，第一图像捕获模式包括针对每个输出像素使用图像传感器12的两个或更多个像素的第一分箱级别。
78.在一个示例中，相机处理器14可以使图像传感器12使用针对每个输出像素将图像传感器12的四个像素组合起来的第一分箱级别来捕获场景202的第一一个或多个帧。例如，图像传感器12可以使用将每个相邻的2
×
2像素组合成输出像素的2
×
2分箱级别来捕获帧。在这些示例中，图像传感器12可以向相机处理器14输出比最大可能像素少25％的像素，如第一分箱帧206是场景捕获202大小的一倍所示。作为分箱过程的结果，以空间分辨率为代价，输出像素可能具有更高的信噪比。相机处理器14还可以从使用分箱的传感器12接收较少量的数据，这对于具有高像素传感器计数的传感器是有优势的。以此方式，来自图像传感器12的像素数据量可以更好地匹配相机处理器14的数据吞吐量。本领域技术人员将理解，图2a和图2b中示出的像素分箱类型仅仅是为了说明目的，并且任何数量的像素分箱类型都可以工作。
79.在说明性示例中，具有108mp的图像传感器可以执行2
×
2分箱，在这种情况下，四个相邻像素中的每一个被组合成单个输出像素并作为组合像素值被传送到相机处理器。因此，代替从图像传感器接收每帧的108mp，相机处理器可以接收并因此可以处理每帧的27mp作为压缩数据流。以此方式，108mp传感器可以在分箱时提供27mp图像，为相机处理器提供减少的处理负担和/或改进的信噪比(snr)。图像传感器可以使用任何数量的已知分箱技术，诸如专有或非专有像素分箱技术，其中一些实现可以实现不同于其他实现的质量结果。虽然在本文描述了某些示例分箱技术，但是示例分箱技术并不限于此，因此，图像传感器可以根据特定像素传感器模式和/或分箱技术中的其他进步而采用各种分箱技术。
80.在一些示例中，相机处理器14可以使用被分箱的像素数据206来执行数字变焦技术。根据图像数据的期望分辨率，相机处理器14可以使用裁剪、上采样、下采样、缩放或其组合。例如，相机处理器14可以对被分箱的像素数据206进行分箱以实现期望数字变焦级别，然后可以根据与期望分辨率相比较的裁剪像素的数量来进行上采样或下采样。例如，如果被裁剪的像素的数量小于期望分辨率，则相机处理器14可以进行上采样以在被裁剪的像素206之间进行内插，以数学上在像素之间插入像素并膨胀像素的数量，直到达到期望分辨
率。
81.如前所述，在大多数情况下，上采样是不被期望的，诸如当记录高分辨率视频时，或者例如当快速地在场景中平移相机时。这是因为上采样可能不能准确地捕获视频或图像的每一帧的细节，因为上采样试图进行有根据的猜测，以努力膨胀高分辨率显示的像素数量。
82.图2b示出了执行变焦操作的图像传感器12，其中变焦级别满足预定义的分箱转换阈值。因此，相机处理器14可以响应于变焦操作使图像传感器12从第一分箱级别转换到第二分箱级别。在该示例中，相机处理器14已经接收到期望数字变焦级别，该数字变焦级别包括由变焦场208表示的场景206的一部分。
83.变焦场208被可视地图示为虚线框，虚线框可以根据变焦级别而变大或变小。在一些示例中，变焦场208具有与图像传感器12相同的几何形状(例如，矩形)。然而，变焦场208可以具有与图像传感器12的几何形状不同的几何形状。例如，变焦场208可以是正方形、圆形或者可以包围像素传感器子集的某个其他形状。在一些示例中，变焦场208可以由用户经由用户接口22来指定，或者可以是自动变焦操作的结果。
84.另外，变焦场208可以包括图像传感器12的任何部分。例如，相机处理器14可以接收在图像的上部进行放大的指令。在一个示例中，用户可以例如在拍摄图片之前的图像预览期间、在视频捕获期间等在显示器28的上部区域使用捏合变焦操作。在这些示例中，变焦场208可以包括图像传感器12的像素的上部部分，其对应于显示器28的上部区域处的捏合变焦。因此，图像传感器12可以向相机处理器14输出分箱或非分箱像素的已减少的部分，其中已减少的部分对应于上部区域。在一些示例中，图像传感器12可以向相机处理器14输出分箱或非分箱像素的已减少的部分，其中相机处理器14可以执行数字变焦操作以在期望分辨率(例如，1080p等)下实现期望数字变焦级别。虽然本文使用显示器28的上部区域作为示例，但本公开的技术并不限于此，本领域技术人员将理解，可将其他感兴趣的区域用于这种变焦操作。
85.另外，相机处理器14可以对帧206的分箱像素执行数字变焦操作。在图2b的示例中，相机处理器14已经从用户接收到期望的2倍变焦的数字变焦级别。在该示例中，相机处理器14已经预定义了2倍变焦级别作为使从第一分箱级别到第二分箱级别(210a/210b)的转换的分箱转换阈值。箭头210a/210b示出了使用第一分箱级别捕获的图像数据的大小与使用第二分箱级别捕获的图像数据的大小的差值。在一些示例中，图像数据可以是视频数据的帧。
86.在一些示例中，变焦级别可以由用户设置，例如，通过执行捏合变焦操作、使用滑动变焦条，或者被配置为引起变焦操作的一些其他输入，诸如可视或可听手势(例如，语音命令或可视提示)、远程信号，或者相机的操纵(例如，扭转镜头片)。在一些示例中，可以将变焦级别设置为响应于用户设置而自动改变，诸如基于定时器设置或编程例程。
87.在图2b的示例中，相机处理器14可以接收当前相机15将执行满足预定义的分箱转换阈值的变焦操作的指示。例如，当数字变焦级别大于或等于预定义的分箱转换阈值时，相机处理器14可以确定期望数字变焦级别满足预定义的分箱转换阈值。在一个示例中，变焦场208可以对应于包括相对于当前使用的镜头的光学变焦的变焦级别的变焦请求。在一些示例中，随着用户增大变焦，变焦场208变小，直到它满足预定义的分箱转换阈值。图2b的示
例示出达到满足分箱转换阈值的变焦级别的变焦场208。
88.根据本公开的技术，相机处理器14可以使图像传感器12从第一图像捕获模式(例如，2
×
2像素分箱或其他分箱模式)转换到第二图像捕获模式(210a/210b)。例如，相机处理器14可以使图像传感器12使用第二图像捕获模式来捕获图像数据的第二一个或多个帧，其中，第二图像捕获模式包括针对图像数据的每个输出像素使用相对于第一分箱级别更少的图像传感器的像素的第二分箱级别。
89.在一个示例中，第二分箱级别可以是非分箱级别。在图像传感器12从第一分箱级别转换到另一分箱级别的这样的示例中，相机处理器14可以确定从第一分箱级别转换到下一分箱级别将导致的输出像素数量的差值。
90.然后，相机处理器14可以基于两个分箱级别之间的差值来确定像素减少量。例如，减少量可以被设置为使得来自第一分箱级别的输出像素数量近似于来自第二分箱级别的输出像素数量。在非限制性示例中，图像传感器12可以是从2
×
2分箱切换到非分箱的48mp图像传感器，相机处理器可以将减少量确定为未分箱输出像素的25％，因为这将在分箱级别转换之前和之后实现12mp的数据吞吐量。然后，相机处理器14可以使图像传感器12在分箱转换之后输出减少的像素量。
91.在一些示例中，相机处理器14可以使用输出像素的已减少的部分来在使用各种数字变焦技术的分箱级别转换之后实现期望数字变焦级别。例如，相机处理器14可以使用裁剪和下采样来实现第一期望数字变焦级别，使用裁剪来实现大于第一期望数字变焦级别的第二期望数字变焦级别，以及使用裁剪和上采样来实现大于第二期望数字变焦级别的第三期望数字变焦级别。也就是，相机处理器14可以确定期望数字变焦级别满足各种数字变焦阈值，诸如上采样阈值，其中相机处理器14将执行上采样技术以在期望分辨率下实现期望数字变焦级别。在一些示例中，上采样阈值对应于相机处理器14能够裁剪的阈值像素数量，以便实现期望数字分辨率下的期望数字变焦级别，在一些示例中，该期望数字分辨率可以依据近似该阈值像素数量的阈值数字变焦级别来定义。在一些示例中，上采样阈值可对应于小于预定义的分箱转换阈值或相机转换阈值的数字变焦级别。
92.相机处理器14可以响应于上采样阈值被满足而执行上采样，直到通过用户增大或减小数字变焦级别满足分箱转换阈值或相机转换阈值为止。在任何情况下，上采样阈值可以被设置为对应于相机15或计算设备10的期望分辨率参数，使得相机处理器14可以通过对从图像传感器12接收的输出像素进行上采样来实现期望分辨率下的期望数字变焦级别。本领域技术人员将理解，上采样(或下采样)可以与数字裁剪技术结合使用，以实现期望分辨率下的期望数字变焦级别。
93.在一些示例中，相机处理器14将作为数字变焦的一部分执行的裁剪、下采样和上采样的量取决于图像传感器12的大小和期望输出分辨率。例如，在图像传感器12能够提供比期望输出分辨率更多的输出像素的情况下，相机处理器14可以执行裁剪和下采样以实现期望输出分辨率下的期望变焦级别。随着变焦级别增加，相机处理器14可以裁剪，然后随着变焦级别增加得更多，相机处理器14可以执行裁剪和上采样以实现期望输出分辨率下的期望变焦级别。
94.在非限制性示例中，预定义的分箱转换阈值是2倍变焦转换阈值，使得当期望数字变焦级别相对于由正在使用的当前镜头13提供的光学变焦级别处于或高于2倍变焦时，相
机处理器14可以确定变焦级别满足预定义的分箱转换阈值。在其他示例中，预定义阈值是1.5倍变焦级别、3倍变焦级别、5倍变焦级别等。在一些示例中，相机处理器14可以基于相机处理器14使用数字变焦技术(诸如上采样、下缩放、裁剪和/或缩放)的变焦级别来设置预定义的分箱转换阈值，以达到超过期望量的程度。例如，相机处理器14可以基于最大允许上采样量来设置预定义的分箱转换阈值。
95.在图2b的示例中，相机处理器14可以使图像传感器12使用非分箱级别来捕获第二帧212。例如，图像传感器12可以使用非分箱模式(210a/210b)来捕获第二帧212。在这样的示例中，图像传感器12可以使用非分箱来捕获帧212，使得输出帧比分箱帧206大四倍。这通过从第一一个或多个帧206到第二一个或多个帧212的转换来图示说明，其中考虑到图像传感器12从4像素分箱模式转换到非分箱模式，帧212比帧206大四倍。
96.在一些示例中，图像传感器12然后可以确定捕获像素的已减少的部分214，以输出到相机处理器14。图像传感器12可以将减少的部分214输出为分箱像素值，或者在某些情况下输出为非分箱像素值。在图2b的示例中，图像传感器12可以根据非分箱级别将减少的部分214输出为未分箱像素。在这样的示例中，图像传感器12可以简单地忽略某些外部像素，然后将像素214的减少的部分传递到相机处理器14。在一些示例中，相机处理器可以在从图像传感器12接收到减少的部分的像素之后执行数字变焦操作(例如，裁剪、上采样、缩放等)。
97.减少的部分214的大小可以取决于第一分箱级别和第二分箱级别之间的差值。在一些示例中，图像传感器12可以确定输出像素的差值，并且基于像素数量的差值之间的比率来确定减少的部分。作为说明性示例，减少的部分214的大小与帧206的分箱场景相等。如图2b的示例中示出的，图像传感器12可以从4像素分箱转换到非分箱，在这种情况下，图像传感器12可以将减少的部分确定为全帧212的25％。另外，减少的部分214可以包括第二帧212的中心(例如，帧212的中心25％)。在一些示例中，减少的输出部分214具有与如图2b中示出的图像传感器12相同的宽高比。
98.在说明性示例中，相机处理器14可以接收两倍(2x)变焦的变焦请求，2倍变焦请求是对应于操作中的当前镜头13的光学变焦级别的变焦的2倍。例如，2倍变焦请求可以是指移动设备的第一镜头的光学变焦级别的2倍。作为响应，相机处理器14可以使图像传感器12转换分箱级别，使用转换后的分箱级别来捕获图像数据，确定所捕获像素的减少的部分，并将减少的部分的像素传递到相机处理器14。
99.在一些示例中，图像传感器12可以在从一个分箱级别转换到另一个分箱级别之后将分箱像素的减少的部分输出到相机处理器14。例如，执行2
×
2分箱的16mp图像传感器12通常可以向相机处理器14输出4mp分箱像素。然而，图像传感器12可以仅将分箱像素的内部部分输出到相机处理器14，以便保持从图像传感器12到相机处理器14从一个分箱级别到另一个分箱级别的恒定或接近恒定的数据吞吐率。
100.作为另一非限制性示例，图像传感器12可以从4像素分箱转换到2像素分箱(例如，水平分箱)，在这种情况下，图像传感器12可以将减少的输出部分214确定为全帧212的50％(两个像素除以四个像素)。在任何情况下，可以将预定义的分箱转换阈值设置为使得相机处理器14的最大带宽在分箱级别之间是相似的。这是因为图像传感器12在分箱转换之后不输出全部量的像素，因此，较少的像素被传递到相机处理器14。
101.如上所讨论的，在某些情况下，分箱级别之间的差值可能取决于相机处理器14的期望分辨率和/或带宽。相机处理器14可以设置分箱级别之间的差值，以便根据图像传感器12的大小与期望分辨率相比，限制所使用的上采样和/或缩放量，而不会使相机处理器14负担过重。如前所述，上采样导致视频和其他图像数据中的失真，因为像素值之间的插值并不总是准确的，因此，不正确的像素值可能被引入图像数据中。这些失真会降低以高帧速率拍摄的高分辨率视频，并且因此，相机处理器14执行尽可能少的上采样是有优势的。所公开的技术改善了变焦时的失真，并且还在一定范围内保持高吞吐量，以避免吞吐量级别中的峰值。
102.图3a和图3b是示出图1的图像传感器可以如何在像素传感器级别处执行各种分箱操作。图3a首先示出图像传感器12(302a)的像素传感器的一部分。彩色像素传感器由红色“r”块、绿色“g”块和蓝色“b”块表示。尽管示出了特定的阵列图案，但所示图案仅仅是一个示例，并且阵列图案可以根据任何其他图案、方向以及包括其他颜色来排列。也就是，本公开的技术可以用于各种其他阵列配置和分箱技术，如图6的其他可视化描述中所示。
103.图3a示出了图像传感器12的第一分箱级别。在一些示例中，潜在的分箱级别可以包括以下至少一个：垂直分箱模式、水平分箱模式、2
×
2分箱模式、3
×
3分箱模式、4
×
4分箱模式、8
×
8分箱模式等或其组合。在这样的示例中，可以基于针对每个分箱级别的每个输出像素使用的像素数量之间的差值来对分箱级别中的差值进行分类。例如，2
×
2分箱模式涉及组合四个像素，而3
×
3分箱模式涉及组合九个像素，并且因此，差值为每九个像素的五个像素。在一些示例中，图像传感器12可以通过对每个像素传感器的像素值进行平均来组合像素。例如，图像传感器12可以使用像素的加权平均值。图像传感器12还可以在确定组合像素值时确定像素值的总和。本领域技术人员将理解，可以使用任何数量的已知的分箱技术来组合像素。在任何情况下，与包括第二分箱级别的第二图像捕获模式相比，包括第一分箱级别的第一捕获模式提供更低的像素密度。
104.在图3a的示例中，分箱级别可以是2
×
2像素分箱中的一个，在这种情况下，图像传感器12将四个相邻像素(例如，r、g和g、b像素的2
×
2方块)组合成一个输出像素(302b)。图3a的示例示出了四个像素被组合成单个像素的过程中。在一些例子中，图3a示出将多个像素组合成较少输出像素(302b)的中间阶段。例如，图像传感器12左上部的四个相邻的r、g、b、g像素可以被平均以到达单个r输出像素。最终减少的大小没有在图3a中显示，但是在组合输出像素(302b)时，由于2
×
2分箱(或4到1分箱)，输出像素(302b)将包括比图像12(302a)少25％的像素。
105.图3b示出了针对图像数据的每个输出像素使用相对于第一分箱级别更少的图像传感器12的像素的示例分箱级别。如所讨论的，当变焦级别满足预定义的分箱转换阈值时，相机处理器14可以使图像传感器12从第一分箱级别转换到第二分箱级别。在图3b的示例中，第二分箱级别可以是非分箱级别，在这种情况下，图像传感器12可以针对图像数据的每个输出像素(304c)使用图像传感器12(304b)的一个像素。图像传感器12可以将输出像素(304c)传递到相机处理器14。
106.应当注意，虽然本公开的某些示例涉及某些像素分箱类型和像素分箱级别，但本公开的技术不限于此，并且根据本公开的技术可以利用任何数量的专有或非专有像素分箱类型，以及这些像素分箱类型内的级别或程度。
107.图4a是示出图1中所示的相机处理器14和图像传感器12使用各种分箱级别执行变焦操作的示例操作的示例流程图。相机处理器14可以接收小于分箱转换阈值的第一变焦级别(38)。在一些示例中，变焦级别可以是用户定义的。在一些示例中，可以诸如通过相机应用程序和/或在人工智能(ai)的支持下自动定义变焦级别。第一变焦级别可以是相对于由当前使用的任何一个镜头13提供的光学变焦大于1.0倍的变焦级别。在一些示例中，变焦级别可以是相对于默认镜头13的。在一些示例中，变焦级别可以是1.0倍，这向相机处理器14指示当前不存在数字变焦请求。在另一示例中，该变焦级别可以包括自动满足分箱转换阈值的所请求的变焦级别，诸如在默认变焦级别大于或等于特定分箱转换阈值的情况下。
108.在任何情况下，相机处理器14然后可以确定第一数字变焦级别是否小于、大于或等于分箱转换阈值(40)。例如，分箱转换阈值可以被预定义为当数字变焦级别相对于由特定镜头13提供的光学变焦大于或等于2倍变焦级别时被满足。因此，相机处理器14可以执行数字变焦级别与分箱转换阈值的比较，以确定是否满足分箱转换阈值。如果第一数字变焦级别小于分箱转换阈值，则相机处理器14可以使图像传感器12使用第一图像捕获模式来捕获诸如视频数据的图像数据的第一一个或多个帧(42)。
109.在一些示例中，第一图像捕获模式可以包括用于多个图像传感器12的分箱级别，其中分箱级别对于每个图像传感器12可以是不同的，或者对于两个或更多个图像传感器12可以是相同的。例如，第一图像捕获模式的第一分箱级别可以包括关于第一图像传感器12的4
×
4分箱，而第一图像捕获模式还可以包括关于第二图像传感器12的2
×
2分箱级别。在一些示例中，第一图像捕获模式的第一分箱级别可以包括关于第一图像传感器12的4
×
4分箱和关于第二图像传感器12的4
×
4分箱级别。本领域技术人员将理解，例如提供了这些分箱级别。在各种其他示例中，分箱级别可能不同。在任何情况下，第一图像捕获模式可以包括针对图像数据的每个输出像素使用相应图像传感器12的两个或更多个像素。
110.在一个示例中，第一图像捕获模式可以包括针对图像数据的每个输出像素使用图像传感器12的两个或更多个像素的第一分箱级别。例如，第一分箱级别可以包括8
×
8像素分箱，其中图像传感器12针对图像数据的每个输出像素使用64个像素；4
×
4像素分箱，其中图像传感器12针对图像数据的每个输出像素使用16个像素；2
×
4像素分箱，其中图像传感器12针对图像数据的每个输出像素使用8个像素，2
×
1像素分箱，其中图像传感器12针对图像数据的每个输出像素使用2个像素，等等。图像传感器12可以将分箱的像素输出到相机处理器14以进行进一步处理，以实现期望数字变焦级别。
111.在一些示例中，相机处理器14可以接收第二数字变焦级别(44)。例如，用户可以将数字变焦级别从第一级别增加到第二级别。在其他示例中，相机处理器14可以在相机应用程序初始化时接收第二数字变焦级别作为默认变焦级别。尽管根据用户增加变焦级别来进行描述，但本领域技术人员将理解，这些技术并不限于此，并且类似的过程可用于相反的用户降低期望数字变焦级别的场景。例如，相机处理器14可以接收第二数字变焦级别，并且可以将数字变焦级别降低到小于第二数字变焦级别的随后请求的数字变焦级别。在这样的示例中，随后请求的数字变焦级别可以包括导致相机处理器14使图像传感器12使用第一图像捕获模式来捕获图像数据帧的第一级别。
112.在一些示例中，第二数字变焦级别可以包括所请求的数字变焦级别。所请求的数字变焦级别可以包括由相机处理器14接收作为用户输入而确定的所请求的变焦级别。在一
些示例中，所请求的数字变焦级别可以包括诸如由相机处理器14或相机应用程序自动请求的所请求的数字变焦级别。例如，所请求的数字变焦级别可以是相机应用程序在初始启动该相机应用程序时使用的默认变焦级别。在非限制性示例中，所请求的数字变焦级别可以包括用作特定相机应用程序的默认变焦级别的2倍数字变焦级别。
113.相机处理器14可以确定第二数字变焦级别是否小于、大于或等于分箱转换阈值(46)。如果第二数字变焦级别大于或等于分箱转换阈值，则相机处理器14可以使图像传感器12使用第二图像捕获模式来捕获诸如视频数据的图像数据的第二一个或多个帧(48)。
114.在说明性和非限制性示例中，分箱转换阈值可以定义2被变焦级别的变焦阈值。第二数字变焦级别(例如，所请求的数字变焦级别)可以包括对2倍变焦级别的默认请求。在这样的示例中，相机处理器14可以通过第二数字变焦级别大于或等于分箱转换阈值来确定满足该分箱转换阈值。也就是，相机应用程序在默认情况下可能会打开到特定的放大级别，诸如2倍变焦级别。在这样的示例中，相机可以通过使用第二图像捕获模式(例如，非分箱级别)来开始。在这样的示例中，相机处理器14可以确定包括期望缩小级别(例如，到《2倍变焦级别)的第二请求变焦级别。因此，相机处理器14可以使图像传感器12使用第一图像捕获模式来捕获后续帧。在这些示例中，可以首先使用第二图像捕获模式捕获图像数据帧。在满足分箱转换阈值的该说明性示例的缩小请求之后，相机处理器14可以使图像传感器12使用第二图像捕获模式来捕获图像数据的后续帧。在一些示例中，图像数据可以包括视频数据或静态图像数据。例如，相机处理器14可以至少部分地使用捕获的帧来记录视频数据。在这样的示例中，摄像机处理器14可以对视频数据进行编码和/或存储该视频数据(诸如存储到系统存储器30)。在另一示例中，相机处理器14可以至少部分地使用所捕获的帧来经由显示器28上的用户接口22提供图像预览。
115.在一些示例中，第二图像捕获模式可以包括用于多个图像传感器12的第二分箱级别或非分箱级别。例如，第二图像捕获模式的第二分箱级别可以包括关于第一图像传感器12的非分箱以及还包括关于第二图像传感器12的非分箱。本领域技术人员将理解，例如提供了非分箱级别。在一些示例中，第二分箱级别可以包括使用相应图像传感器12的两个或更多个像素的分箱级别。在任何情况下，第二图像捕获模式包括针对图像数据的每个输出像素，相对于第一图像捕获模式，使用更少的相应图像传感器12的像素。
116.第二图像捕获模式可以包括针对图像数据的每个输出像素使用相对于第一分箱级别更少的图像传感器12的像素的第二分箱级别。例如，第一分箱级别可以包括8
×
8像素分箱。因此，第二分箱级别可以包括例如4
×
4像素分箱、3
×
3像素分箱、2
×
4像素分箱、2
×
1像素分箱、1
×
1像素分箱或非分箱级别。在非限制性示例中，图像传感器12可以使用非分箱作为第二分箱级别来捕获图像数据的第二一个或多个帧。
117.在一些示例中，图像传感器12可以将所有或部分被分箱或非分箱的像素输出到相机处理器14，用于进一步处理以实现期望数字变焦级别。例如，图像传感器12可以根据第一像素分箱级别与第二像素分箱级别之间的差值来输出分箱或非分箱像素的一部分。在图像传感器12从4
×
4像素分箱转换到2
×
1像素分箱的一个示例中，图像传感器12可以向相机处理器14输出分箱像素的一部分，该部分等于2
×
1分箱像素的～12.5％。因此，输出百分比可以通过取第二分箱级别的每个组合像素的像素数量(例如，2
×
1分箱时为2)，并除以第一分箱级别的每个组合像素的像素数量(例如，4
×
4分箱时为16)来确定。在这样的示例中，图像
传感器12可以输出2
×
1分箱像素的中心～12.5％。在一些示例中，输出部分可以是涉及图像传感器12的尺寸的任何尺寸(例如，矩形、正方形等)。
118.在图像传感器12从2
×
2像素分箱转换到非分箱的另一示例中，图像传感器12可以向相机处理器14输出非分箱像素的一部分，该部分等于25％(例如，中心25％)。作为图像传感器12从3
×
3像素分箱转换到非分箱的另一示例，图像传感器12可以向相机处理器14输出等于非分箱像素的～11.1％(例如，中心～11.1％)的分箱像素的一部分。
119.图4b是示出相机处理器14和图像传感器12使用具有多个镜头13的各种分箱级别执行变焦操作的示例操作的示例流程图。在包括多个相机15的示例中，相机处理器14可以确定期望变焦级别是否超过当前相机15的光学变焦级别(50)。在一些示例中，当前相机15可以包括相机15例如在启动相机应用程序时启动的镜头13。例如，镜头可以是具有1.0倍光学变焦级别的镜头。在一些示例中，相机可以是已经基于超过相机转换阈值的期望数字变焦级别从另一相机转换而来的相机。在非限制性示例中，当前相机可以是从具有1.0倍光学变焦的相机转换而来的3.0倍光学变焦相机、5.0倍光学变焦相机或10.0倍光学变焦相机。
120.在一些示例中，相机处理器14可以确定期望变焦级别等于或近似等于当前镜头的光学变焦。例如，期望变焦级别可以是1.0倍，其中当前镜头具有1.0倍光学变焦级别。在这种情况下，相机处理器14可以使图像传感器12使用第一分箱级别简单地捕获诸如视频数据的图像数据(60)。例如，第一分箱级别可以包括将多个像素组合成较少的像素。图像传感器12可以将已分箱的像素输出到相机处理器14(66)。由于在该示例中期望变焦级别等于或近似等于当前镜头13的光学变焦，因此相机处理器14可以放弃执行任何数字变焦操作。
121.然而，如果期望变焦级别不等于当前相机15的光学变焦，则相机处理器14可以确定已经请求了期望变焦级别。例如，用户可以请求相对于当前相机15的光学变焦级别》1.0倍的变焦级别。
122.相机处理器14可以确定期望变焦级别是否满足相机转换阈值(54)。相机转换阈值可以与镜头13的特定配置相关，使得每个镜头13可以在各种变焦级别下使用。例如，如果相机转换阈值是3倍变焦级别以转换到另一相机，则相机处理器14可以将期望变焦级别与相机转换阈值进行比较，以确定是否应该切换相机。如果变焦级别没有超过相机转换阈值，则相机处理器14可以继续使用当前相机。
123.如果期望变焦级别满足相机转换阈值，则相机处理器14可以在相机之间进行转换(56)。在一些示例中，第一相机15的相机处理器14可以引起从第一相机15到第二相机15的转换。在一些示例中，第二相机15可以包括不同的相机处理器14，或者可以包括相同的相机处理器14。在非限制性示例中，第一相机15可以有第一镜头13和第一传感器12，而第二相机15可以有第二镜头13和第二图像传感器12。在另一示例中，第二相机15还可以包括第一镜头13。例如，第二相机15可以包括光导(例如，移动棱镜、反射镜等)，其将光从至少第一镜头13重定向到第二图像传感器12。在另一示例中，第二相机15可以包括与不同镜头13配对的第一图像传感器12。在另一示例中，第一相机15可以与第一镜头13和第二镜头13的组合配对，而第二相机15可以与第二镜头13或第二镜头13和第三镜头13的组合配对等等。尽管提供了几个示例，但是本领域技术人员将理解，各种组合可用于对一个或多个镜头13和一个或多个图像传感器12进行组合以实现用于配置相机15的各种有效焦距。
124.相机处理器14可以确定期望变焦级别是否满足分箱转换阈值(58)。如果期望变焦
级别不满足分箱转换阈值，则相机处理器14可以使图像传感器12使用针对图像数据的多个输出像素中的每个像素使用图像传感器12的两个或更多个像素的第一分箱级别(60)。然而，如果期望变焦级别确实满足分箱转换阈值，则相机处理器14可以使图像传感器12转换到针对图像数据的每个输出像素使用相对于第一分箱级别更少的图像传感器12的像素的第二分箱级别(62)。例如，当期望数字变焦级别大于或等于预定义阈值变焦级别时，相机处理器14可以确定对预定义分箱转换阈值的满足程度。
125.在一些示例中，相机处理器14可以响应于所请求的变焦级别来确定已经满足相机转换阈值。在确定已经满足相机转换阈值时，相机处理器14可以从第一相机15转换到第二相机15。在一些示例中，第一相机15和第二相机15可以基于所使用的图像传感器12、所使用的镜头13或其某些组合而不同。在转换到第二相机15时，相机处理器14可以使对应于第二相机的图像传感器12使用使被传递到相机处理器14的输出像素的数量与从先前图像传感器12传递到相机处理器14的输出像素的数量匹配的分箱级别。在一些示例中，第二相机15的图像传感器12可以使用非分箱级别。
126.在一个说明性示例中，第一相机15可以具有包括108mp的第一图像传感器12。第一图像传感器12可以响应于满足第一预定义分箱阈值(例如，2倍变焦)而从2
×
2分箱转换到非分箱。108mp传感器12可以将非分箱像素的减少的部分(诸如非分箱像素的中心四分之一)传递到相机处理器14。因此，第一图像传感器12可以在第一预定义的分箱阈值处向相机处理器14输出27mp。随着变焦级别进一步增加，假设期望像素分辨率不会导致上采样量超过阈值上采样量，则第一图像传感器12可以将与增加的变焦级别成比例的较小数量的非分箱像素输出到相机处理器14。
127.在一个示例中，在相对于第一相机15的光学变焦级别3倍变焦时，第一图像传感器12可以将未分箱像素的中心九分之一输出到相机处理器。也就是，第一图像传感器可以向相机处理器输出12mp的非分箱像素。如果相机转换阈值将导致以3倍变焦从第一相机15转换到具有包括12mp的第二图像传感器12的第二相机15，则在转换到第二相机15之后，第二图像传感器12可以使用与先前输出像素数量相匹配的分箱级别。例如，第二图像传感器12可以针对每个输出像素使用图像传感器的一个或多个像素，诸如2
×
2分箱级别或非分箱级别。在该特定示例中，由于第二图像传感器12包括与正要从第一图像传感器12传递到相机转换(例如，12mp)相同数量的像素，所以第二图像传感器12可以在相机转换之后使用非分箱级别。因此，对应于第二相机15的用于每个输出像素的图像传感器12的像素数量可以基于每个图像传感器12可用的总像素数量之间的差值，使得吞吐量可以保持恒定或接近恒定。
128.在一些示例中，图像传感器12可以在检测到向不同相机(例如，5倍变焦相机、10倍变焦相机等)的转换时转换回分箱，并且当关于转换的镜头满足下一个分箱转换阈值时，可以重复改变分箱级别的过程。示例性相机转换可以包括从包括18mp图像传感器12的第一相机15转换到包括108mp图像传感器12的第二相机15。在这样的示例中，在从第一相机15到第二相机15的相机转换之后，相机处理器14可以使对应于第二相机15的108mp图像传感器使用6到1像素分箱级别(例如，3
×
2分箱)，以便在18mp的相机转换之间保持恒定的比特率。根据本公开的技术，108mp图像传感器12然后可以随着数字变焦级别的增加而转换到不同的分箱级别，并将减少的部分的像素输出到相机处理器14。
129.在说明性示例中，相机处理器14可以根据第一相机转换阈值使从包括12mp图像传感器(例如，广角镜头)的第一相机15转换到包括12mp图像传感器(例如，超广角镜头)的第二相机15。在非限制性示例中，所请求的小于或等于0.5倍变焦级别的数字变焦级别可以满足第一相机转换阈值。另外，相机处理器14可以根据第二相机转换阈值引起从第二相机15到包括12mp图像传感器(例如，长焦镜头)的第三相机15的转换。在非限制性示例中，第二相机转换阈值可以是大于1.0倍变焦的变焦级别，诸如1.2倍变焦、2.0倍变焦、5.0倍变焦、10.0倍变焦等。
130.在该示例中，相机处理器14可以使第一相机15使用第一分箱级别(例如，2
×
2分箱)来捕获图像数据，并将分箱像素输出到相机处理器14。相机处理器14可以确定满足第一相机转换阈值并转换到第二相机15，其中相机处理器14可以使第二相机15使用第一分箱级别来捕获图像数据并将分箱像素输出到相机处理器14。相机处理器14可以响应于确定满足第二相机转变阈值而从第二相机15转换到第三相机15，或者在一些示例中，可以响应于确定满足第一相机转换阈值而从第二相机15转换到第一相机15。应当理解，无论转换是从第一相机15到第三相机15，还是从第二相机15到第三相机15，计算设备10仍然可以利用本公开的技术，使得相机处理器14可以确定各种分箱级别、分箱转换阈值、减少的输出部分和相机转换阈值，以用于在各种期望数字变焦级别下各种相机的实现。
131.例如，在上述说明性示例中，第一相机15可以使用4像素的分箱级别来捕获图像数据。当数字变焦级别超过分箱转换阈值时，第一相机15可以转换到第二分箱级别(例如，非分箱级别)，并将25％的分箱像素输出到相机处理器14。当数字变焦级别超过相机转换阈值时，在本示例中，第一相机15可以转换到第三相机15。相机处理器14可以使对应于第三相机15的12mp图像传感器使用4像素分箱级别来捕获图像数据。
132.在这样的示例中，图像传感器12可以在相机转换之间保持对相机处理器14的接近恒定的吞吐量。也就是，使用非分箱作为第二分箱级别的第一相机15的12mp图像传感器12可以将非分箱像素的减少的部分输出到相机处理器14。在减少的部分为25％的示例中，第一相机15的图像传感器12可以针对图像数据的每一帧向相机处理器14输出3mp。同样地，在相机转换到第三相机15之后，相机处理器14可以使第三相机15的12mp图像传感器12使用2
×
2分箱来捕获图像数据，并输出100％的分箱像素。在该说明性示例中，相机处理器14可以在相机转换之前和之后从两个12mp图像传感器12接收每帧的3mp。
133.本领域技术人员将认识到，上述示例是示出图像传感器12之间的转换的一个示例，该转换可以导致相机处理器14使转换后的传感器12使用针对每个输出像素使用多于一个像素的分箱级别来捕获图像数据，并且本公开的技术可以用于以下示例中，其中特定相机转换之后的分箱级别是非分箱级别，或者如在本公开的其他示例中，是针对每个输出像素使用多于一个像素的分箱级别。在一些示例中，相机处理器14可以基于所转换的相机的目的来确定在相机转换之后要使用的像素分箱量。例如，转换的相机可用于执行极端变焦操作，其中由于人眼感知高变焦级别的分箱的能力，极端变焦级别的分箱可能是不需要的。因此，当转换到被配置为执行极端变焦操作(例如，5.0倍光学变焦、10.0倍光学变焦等)的相机时，相机处理器14可以不执行分箱。
134.在使用第二分箱级别捕获图像数据时，图像传感器12可以在将像素传递到相机处理器14之前减少捕获像素的量(64)。例如，图像传感器12可以忽略外部75％的像素，并将内
部25％的像素输出到相机处理器14。图像传感器12可以减少使用第二分箱级别捕获的像素的量，以便在图像传感器12与相机处理器14之间保持恒定或接近恒定的吞吐率。在一些示例中，在分箱转换之后传递未分箱像素的减少的部分的上述操作可以允许相机处理器14放弃执行数字裁剪，因为接收到的像素与期望变焦级别对准。然而，相机处理器14可能仍然需要根据与期望分辨率相比较的图像传感器12的大小来执行上采样、下采样或缩放。
135.然后，图像传感器12可以将分箱像素或非分箱像素输出到相机处理器14(66)。在使用第二分箱级别的情况下，图像传感器12可以将像素的减少的部分输出到相机处理器14。在一些示例中，相机处理器14可以执行数字变焦操作，包括裁剪、上采样、缩放和/或其组合，以实现期望数字变焦级别(68)。相机处理器14可以对从图像传感器12接收的减少的像素量执行数字变焦操作。可选地，相机处理器14可以对从图像传感器12接收的减少的像素量执行数字变焦操作，以实现期望数字变焦级别(68)。例如，相机处理器14可以执行裁剪、上采样、缩放等和/或其组合。
136.本领域技术人员将理解，图像捕获可以包括快照捕获或视频流捕获。例如，计算设备10的一个或多个相机15可以在记录视频、提供图像预览(例如，在用户拍摄照片之前)、静态照片、动态图片、运动照片等时实现图4a-4b所示的操作。
137.图5a-5c是示出图1中所示的相机处理器在执行某些变焦技术和在分箱级别之间进行转换时的附加示例操作的示意图。首先参考图5a的示例，相机处理器14可以使图像传感器12使用第一分箱级别来捕获图像数据作为第一帧502。在说明性示例中，图像传感器12可以是108mp图像传感器，其执行2
×
2分箱以实现502的27mp帧。箭头504表示相对于当前镜头13的光学变焦的期望的2倍变焦级别。例如，用户可以将变焦级别增加到2倍变焦(506)，在图5a的示例中，2倍变焦表示预定义的分箱转换阈值。结果，相机处理器14可以使图像传感器使用第二分箱级别(508a/508b)来捕获下一帧。
138.图5b示出了来自图5a的帧502，其中图像传感器12响应于满足预定义分箱转换阈值的变焦级别而使用第二分箱级别(508a/508b)来捕获帧510。与108mp图像传感器的示例保持一致，如果图像传感器12从2
×
2分箱转换到非分箱，则帧510将包括108mp作为非分箱像素。在这一点上，图像传感器12可以将减少的部分确定为图像传感器12的全fov的25％的预定百分比，使得减少的部分表示图像传感器12的部分fov。在一些示例中，图像传感器12的全fov包括图像传感器12的所有像素，其中像素要么在分箱模式下被分箱，要么在非分箱模式下不被分箱。图像传感器12可以基于分箱级别差值来确定减少的部分。在一些示例中，图像传感器12可以将减少的部分512输出到相机处理器14。被裁剪的部分可以与分箱级别的差值成比例。作为整个fov的25％的裁剪部分512将导致图像传感器12输出具有27mp图像数据大小的帧512。
139.在一些示例中，计算设备10可以包括多个镜头13和/或多个图像传感器12，其可在各种变焦级别或相机转换阈值处激活。例如，计算设备10可以是三镜头相机。在一些示例中，三镜头相机可以包括宽镜头和传感器组合(例如，108mp)、超宽镜头和传感器组合(例如，16mp)以及长焦镜头和传感器组合(例如，12mp)。在非限制性示例中，相机处理器14可以在相对于先前镜头13的光学变焦级别的3倍变焦级别处激活长焦镜头13。在图5c的示例示出将要达到3倍变焦相机转换阈值的变焦级别的同时，图5c示出了在相机转换到提供3倍变焦的另一相机15之前的当前相机15的图像传感器12。图5c意在示出在达到相机转换阈值之
前，108mp镜头的图像传感器12仍可在3倍变焦(516)下输出12mp，使得在相机15之间的转换期间，图像传感器12与相机处理器14之间的吞吐量(例如，比特率)保持恒定或接近恒定。
140.在图5c的示例中，箭头514表示3倍变焦的变焦增加，其中向长焦镜头的转换被设置为将要发生。在这种情况下，当前镜头的图像传感器12可以包括108mp图像传感器12，在这种情况下，在3倍变焦时，图像传感器12可以将像素的减少的部分516确定为12mp或图像传感器12的未分箱像素的全部数量的九分之一。因此，在相机处理器14转换到长焦镜头进行3倍变焦之前，108mp宽的相机仍然可以在3倍变焦时输出12mp，使得在转换期间吞吐量保持恒定或接近恒定。
141.在成像设备(例如，镜头、图像传感器等)之间发生转换时，相机处理器14可以使图像传感器12使用另一个分箱级别来捕获图像数据帧。例如，相机处理器14可以使图像传感器12使用与用于先前镜头的分箱级别相对应的分箱级别。在非限制性示例中，用于第一个镜头13的图像传感器12可以从2
×
2分箱转换到非分箱，其中用于第二个镜头13的图像传感器12可以在相机转换之后转换回2
×
2分箱。该过程可以在相机处理器14可以确定变焦级别满足大于相机转换阈值的另一预定义分箱转换阈值中继续进行。作为响应，相机处理器14可以使图像传感器12使用第二图像捕获模式(例如，各种分箱级别、非分箱等)来捕获图像数据的附加帧。
142.图6是示出图1中所示的相机处理器14和图像传感器12使用多个分箱转换执行变焦操作的示例操作的示例流程图。相机处理器14可以接收小于第一分箱转换阈值的第一变焦级别(600)。在一些示例中，变焦级别可以是用户定义的。第一变焦级别可以是相对于由当前使用的任何一个镜头13提供的光学变焦大于1.0倍的变焦级别。在一些示例中，变焦级别可以是相对于默认镜头13的。在一些示例中，变焦级别可以是1.0倍，这向相机处理器14指示当前不存在数字变焦请求。
143.如果第一数字变焦级别小于第一分箱转换阈值，则相机处理器14可以使图像传感器12使用第一图像捕获模式来捕获诸如视频数据的图像数据的第一一个或多个帧(602)。第一图像捕获模式可以包括针对图像数据的每个输出像素使用图像传感器12的两个或更多个像素的第一分箱级别。例如，第一分箱级别可以包括8
×
8像素分箱，其中图像传感器12针对对图像数据的每个输出像素使用64个像素；4
×
4像素分箱，其中图像传感器12针对图像数据的每个输出像素使用16个像素；2
×
4像素分箱，其中图像传感器12针对图像数据的每个输出像素使用8个像素等等。图像传感器12可以将分箱的像素输出到相机处理器14以进行进一步处理，以实现期望数字变焦级别。
144.在一些示例中，相机处理器14可以接收第二数字变焦级别(604)。例如，用户可以将数字变焦级别从第一级别增加到第二级别。尽管根据用户增加变焦级别来进行描述，但本领域技术人员将理解，这些技术并不限于此，并且类似的过程可用于相反的用户降低期望数字变焦级别的场景。
145.相机处理器14可以确定第二数字变焦级别是否小于、大于或等于第一分箱转换阈值(606)。如果第二数字变焦级别大于或等于第一分箱转换阈值，则相机处理器14可以使图像传感器12使用第二图像捕获模式来捕获诸如视频数据的图像数据的第二一个或多个帧(608)。第二图像捕获模式可以包括针对图像数据的每个输出像素使用相对于第一分箱级别更少的图像传感器12的像素的第二分箱级别。例如，第一分箱级别可以包括3
×
3像素分
箱。因此，第二分箱级别可以包括例如2
×
2像素分箱、2
×
1像素分箱等。在非限制性示例中，图像传感器12可以使用2
×
2像素分箱作为第二分箱级别来捕获图像数据的第二一个或多个帧。
146.在一些示例中，相机处理器14可以接收第三数字变焦级别(610)。例如，用户可以将数字变焦级别从第二级别增加到第三级别。尽管根据用户增加变焦级别来进行描述，但本领域技术人员将理解，这些技术并不限于此，并且类似的过程可用于相反的用户降低期望数字变焦级别的场景。
147.相机处理器14可以再次确定第三数字变焦级别是否小于、大于或等于分箱转换阈值(612)。如果第二数字变焦级别大于或等于第二分箱转换阈值，则相机处理器14可以使图像传感器12使用第三图像捕获模式来捕获诸如视频数据的图像数据的第三一个或多个帧(614)。第三图像捕获模式可以包括针对图像数据的每个输出像素使用相对于第二分箱级别更少的图像传感器12的像素的第三分箱级别。例如，第二分箱级别可以包括2
×
2像素分箱。因此，第三分箱级别可以包括例如2
×
1像素分箱、1
×
1像素分箱或非分箱级别。在非限制性示例中，图像传感器12可以使用不分箱(例如非分箱)作为第三分箱级别来捕获图像数据的第三一个或多个帧。
148.在一些示例中，图像传感器12可以将所有或部分被分箱或非分箱的像素输出到相机处理器14，用于进一步处理以实现期望数字变焦级别(例如，第一、第二或第三数字变焦级别)。例如，图像传感器12可以根据第一像素分箱级别与第二像素分箱级别之间的差值来输出分箱或非分箱像素的一部分。
149.图7示出了在多个分箱级别之间转换的示例。在一些示例中，图像传感器12可以使用第一分箱级别来捕获图像数据。在一些示例中，第一分箱级别可以包括针对图像数据的每个输出像素使用图像传感器12的至少预定数量的像素(诸如图像传感器12的五个像素)，使得与第二分箱级别相比，第一分箱级别可以针对每个输出像素使用更多的像素。在该说明性示例中，图像传感器12可以使用4
×
4分箱技术作为第一分箱级别(702a)。在该示例中，图像传感器12可以包括具有r、g和b像素传感器的交替图案的r、g和b像素传感器的像素阵列。在这个4
×
4分箱的说明性示例中，16个相邻像素中的每一个被组合以形成单个输出像素。
150.相机处理器14可以使图像传感器12使用针对图像数据的每个输出像素使用相对于第一分箱级别更少的图像传感器的像素的另一分箱模式来捕获图像数据(702b)。相机处理器14可以响应于满足第一分箱转换阈值的期望数字变焦级别而引起分箱级别之间的转换。在说明性示例中，图像传感器12可以使用2
×
2分箱级别作为第二分箱级别来捕获图像数据。第一分箱转换阈值可以是相对于由正在使用的当前镜头13提供的光学变焦级别的2倍变焦级别。也就是，在该示例中，相机处理器14可以响应于2倍变焦的变焦级别请求，使图像传感器12从4
×
4分箱转换到2
×
2分箱。
151.接下来，相机处理器14可以响应于满足另一预定义分箱转换阈值(702c)的变焦级别，使图像传感器12使用另一分箱级别来捕获图像数据。在图7的示例中，图像传感器12使用水平分箱(2
×
1)来捕获图像数据。类似地，相机处理器14可以响应于满足不同分箱转换阈值(702d)的变焦级别，使图像传感器使用另一分箱级别来捕获图像数据。在一些情况下，相机处理器14可能不适应超过一定次数的分箱级别。例如，相机处理器14可能仅适应从
702a到702b到702d的分箱级别，简单地使用在最大分箱级别和其他分箱级别之间较少的中间分箱级别。在非限制性示例中，图像传感器12可以不使用2
×
2分箱和非分箱之间的中间分箱级别。应当注意，像素图702a-702d不必按比例显示为分箱像素。例如，一旦对像素进行组合，702a的大小将比702d的大小大16倍，因为702a显示4
×
4像素分箱，而702d显示非分箱。
152.在一个或多个示例中，所描述的功能可以以硬件、软件、固件或其任何组合来实施。如果以软件实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质传输，并由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于诸如数据存储介质的有形介质。以此方式，计算机可读介质通常可以对应于有形的计算机可读存储介质，其是非暂时性的。数据存储介质可以是可由一个或多个计算机或一个或多个处理器访问以取回指令、代码和/或数据结构以实施本公开中描述的技术的任何可用介质。计算机程序产品可以包括计算机可读介质。
153.作为示例而非限制，这样的计算机可读存储介质可以包括ram、rom、eeprom、cd-rom或其他光盘存储器、磁盘存储器或其他磁存储设备、闪存、高速缓冲存储器或可用于以指令或数据结构的形式存储所需程序代码并且可由计算机访问的任何其他介质。应当理解，计算机可读存储介质和数据存储介质不包括载波、信号或其他暂时性介质，而是指向非暂时性的有形存储介质。如本文所使用的磁盘和光盘包括压缩盘(cd)、激光盘、光盘、数字通用盘(dvd)、软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上述的组合也应包括在计算机可读介质的范围内。
154.指令可以由一个或多个处理器执行，诸如一个或多个数字信号处理器(dsp)、通用微处理器、专用集成电路(asic)、现场可编程逻辑阵列(fpga)或其它等效的集成或分立逻辑电路。因此，本文所使用的术语“处理器”可以指任何前述结构或适合于实施本文所述技术的任何其它结构。另外，在一些方面，本文描述的功能可在配置用于编码和解码的专用硬件和/或软件模块内提供，或并入组合编解码器中。并且，所述技术可以在一个或多个电路或逻辑元件中完全实施。
155.本公开的技术可以以包括无线手持机、集成电路(ic)或一组ic(例如芯片组)的多种设备或装置来实施)。在本公开中描述各种组件、模块或单元以强调被配置为执行所公开的技术的设备的功能性方面，但不一定需要由不同的硬件单元来实施。相反，如上所述，各种单元可以结合合适的软件和/或固件组合在编解码器硬件单元中或由包括如上所述的一个或多个处理器的互操作硬件单元的集合提供。
156.已经描述了各种实例。这些和其它示例在以下权利要求的范围内。