计算用光学器件的制作方法

计算用光学器件
1.本技术是申请号为201710898984.3、申请日为2017年9月28日、发明名称为“计算用光学器件”的发明专利申请的分案申请。


背景技术：

2.在计算机对图像的处理中，已经尝试管理和控制光束以便改进对所接收的光的处理。为了控制和管理光束，已经尝试经由焦平面处理而在传感器位置处设置格栅式处理。这类解决方案经证明是难以编程的并且提供有限的功能。其他解决方案使用自适应光学器件来消除包括大气干扰的全体伪影。然而，需要在图像捕获的位置处提供或有效地提供对像素级数据的高性能处理和相关联的光学器件功能。
附图说明
3.可以从以下通过结合附图举例而给出的描述中获得更详细的理解，在附图中：
4.图1示出系统方框图，所述系统方框图示出在其中可以实施本公开的一个或多个特征的示例系统；
5.图2是在其中可以实施本公开的一个或多个特征的示例装置的方框图；
6.图3是示出其他细节的图2的装置的方框图；
7.图4示出从图1的物体发出的光场的图；
8.图5示出体现光学器件的示例系统，所述光学器件提供局部光调制来处理高动态范围(hdr)，以实现对色调映射的下游管理；
9.图6示出体现光学器件的示例系统，所述光学器件在光学器件的增益在整个视野内不一致的情况下提供噪声管理控制；
10.图7示出体现提供孔径控制的光学器件的示例系统；
11.图8示出体现提供孔径控制的光学器件的示例系统；并且
12.图9示出在图1的系统内执行来用于控制收集的图像数据的特性的方法。
具体实施方式
13.在光学器件级上整合了gpu型处理能力以在使用传感器捕获图像之前对光束进行预处理。具体而言，向每个光束分派处理元件(计算单元(cu)，simd)以在每个光束光路上提供对光束的管理和控制并提供相关联的机构。这种分派在处理资源可用时进行，或者可替代地通过匹配机构和cu来预先设定。
14.公开了用于控制收集的图像数据的特性的系统和方法。所述系统和方法包括：使用gpu来对图像执行预处理；基于预处理而对光学器件进行配置，所述配置被设计成考虑到经过预处理的图像的特征；使用已配置光学器件来获取图像；使用gpu来对所获取的图像进行处理；以及确定经过处理的获取的图像是否考虑到经过预处理的图像的特征，并且如果确定是肯定的，则输出图像，其中如果确定是否定的，则重复对光学器件进行配置并且重新获取图像。
15.图1示出系统方框图，所述系统方框图示出在其中可以实施本公开的一个或多个特征的示例系统10。系统10用于对至少一个物体20成像并且包括至少一个光路机构30、一个或多个焦平面元件40和多个gpu 50。为了清晰起见，本系统10被展示为使用单一光路机构30、单一焦平面元件40和gpu 50来对单一物体20进行成像，但是将理解，可以利用物体20、光路机构30、焦平面元件40和gpu 50中任一个的任何数目。
16.至少一个物体20是由光学系统，诸如系统10观察到的任何物体。物体20可以包括被拍摄的场景或来源，诸如苹果、山脉、茎、或甚至是被拍摄的一群朋友。物体20从其反射众多光线，所述光线将在本文中在下文进行描述。
17.至少一个光路机构30包括与系统诸如系统10中包括的射线束发生的任何相互作用。此至少一个光路机构30包括但不限于：光学元件、反向数字微型反射镜装置(dmd)元件、纳机电系统(nems)结构、微机电系统(mems)结构、碳纳米管以及如多个gpu 50所控制般操纵光的其他装置。以下包括有关光路机构30的其他细节。
18.一个或多个焦平面元件40包括任何数目的焦平面阵列或传感器，包括图像系统中的检测器和其他聚焦元件。以下包括有关焦平面元件40的其他细节。
19.多个gpu 50包括用于对像素级数据进行处理和/或控制焦平面元件和/或光路机构的任何处理装置和/或计算资源。多个gpu 50用于将处理能力整合在光路机构处以在焦平面元件40捕获之前对光束进行预处理。例如，可以分派多个gpu 40的每个处理元件(如下文将描述)以控制在光场(如下文将描述)内发现的特定光束。
20.可替代地，多个gpu 50用于与通常存在于图像传感器中的焦平面元件40的阵列一起整合，以使得每个焦平面元件40能够被视作是多个gpu 50中的有待进行相应的调度和管理的处理元件的局部元件(在本文中被称为计算单元)。以下包括有关多个gpu 50的其他细节。
21.图2是在其中可以实施本公开的一个或多个特征的示例装置100的方框图。装置100可以包括例如计算机、游戏装置、手持式装置、机顶盒、电视机、移动电话或平板计算机。装置100包括处理器102、存储器104、存储体106、一个或多个输入装置108以及一个或多个输出装置110。装置100还可以任选地包括输入驱动器112和输出驱动器114。应理解，装置100可以包括图2未示出的其他部件。
22.在各种替代方案中，处理器102包括中央处理单元(cpu)、图形处理单元(gpu)、位于同一芯片上的cpu和gpu或者一个或多个处理器核心，其中每个处理器核心可以是cpu或gpu。在各种替代方案中，存储器104位于与处理器102相同的芯片上，或者位于与处理器102分开的位置。存储器104包括易失性或非易失性存储器，例如，随机存取存储器(ram)、动态ram或高速缓存。
23.存储体106包括固定或可移除存储体，例如硬盘驱动器、固态驱动器、光盘或闪存驱动器。输入装置108包括但不限于：键盘、小键盘、触摸屏、触摸板、检测器、麦克风、加速度计、陀螺仪、生物扫描仪或网络连接件(例如，用于发送和/或接收无线ieee 802信号的无线局域网卡)。输出装置110包括但不限于：显示器、扬声器、打印机、触觉反馈装置、一个或多个灯、天线或网络连接件(例如，用于发送和/或接收无线ieee 802信号的无线局域网卡)。
24.输入驱动器112与处理器102和输入装置108进行通信，并且允许处理器102从输入装置108接收输入。输出驱动器114与处理器102和输出装置110进行通信，并且允许处理器
102向输出装置110发送输出。应注意到，输入驱动器112和输出驱动器114是任选部件，并且装置100在输入驱动器112和输出驱动器114不存在的情况下将以相同方式操作。输出驱动器116包括联接至显示装置118的加速处理装置(apd)116。apd被配置用来从处理器102接收计算命令和图形渲染命令，以对所述计算和图形渲染命令进行处理，并且向显示装置118提供像素输出以供显示。如下文进一步详细所描述，apd 116包括一个或多个并行处理单元，所述并行处理单元被配置用来根据单指令多数据(simd)范例而执行计算。因此，虽然各种功能在本文中被描述为由apd 116执行或结合所述apd来执行，但是在各种替代方案中，被描述为由apd 116执行的功能另外或可替代地可由具有类似能力的其他计算装置执行，所述其他计算装置并不由主处理器(例如，处理器102)驱动并且被配置用来向显示装置118提供图形输出。例如，应预期，根据simd范例来执行处理任务的任何处理系统都可以被配置用来执行本文描述的功能。可替代地，应预期，未根据simd范例来执行处理任务的计算系统也可执行本文描述的功能。
25.图3是装置100的方框图，所述方框图示出与apd 116上的处理任务的执行相关的其他细节。处理器102在系统存储器104中对一个或多个控制逻辑模块进行维护以供处理器102执行。控制逻辑模块包括操作系统120、内核模式驱动器122和应用程序126。这些控制逻辑模块控制处理器102和apd 116的操作的各种特征。例如，操作系统120直接与硬件进行通信，并且为处理器102上执行的其他软件提供硬件接口。内核模式驱动器122通过例如向处理器102上执行的软件(例如，应用程序126)提供应用程序接口(“api”)以访问apd116的各种功能来控制apd 116的操作。内核模式驱动器122还包括即时编译器，所述即时编译器编译可供apd 116的处理部件(诸如在下文中进一步详细论述的simd单元138)执行的程序。
26.apd 116执行选定功能的命令和程序，诸如可能适于并行处理的图形操作和非图形操作。apd 116可以用于执行图形管线操作，诸如像素操作、几何计算，并且基于从处理器102接收到的命令而将图像渲染到显示装置118。apd 116还基于从处理器102接收到的命令而执行并不与图形操作直接相关的计算处理操作，诸如与视频相关的操作、物理模拟、计算流体动力学或其他任务。
27.apd 116包括计算单元132，所述计算单元包括一个或多个simd单元138，所述simd单元被配置用来在处理器102的请求下根据simd范例以并行方式执行操作。simd范例是多个处理元件共用单一程序控制流单元和程序计数器并因此执行相同程序但能够用不同数据执行所述程序的一种范例。在一个实例中，每个simd单元138包括十六个通道，其中每个通道与simd单元138中的其他通道同时执行相同指令，但是可以用不同的数据执行所述指令。在预测到并不需要所有通道执行给定指令的情况下，可以关闭通道。预测还可以用于利用发散控制流执行程序。更确切地说，对于具有条件分支或控制流是基于个别通道所执行的计算的其他指令的程序，对与当前未被执行的控制流路径对应的通道的预测以及不同控制流路径的串行执行允许存在任意控制流。
28.计算单元132中的基本执行单元是工作项目。每个工作项目表示有待在特定通道中并行执行的程序的单一例示。工作项目可以作为“波前”在单一simd处理单元138上同时执行。一个或多个波前被包括在“工作组”中，所述工作组包括被设计来执行相同程序的工作项目的集合。工作组可以通过执行构成工作组的波前中的每一个来执行。在替代方案中，所述波前可以在单一simd单元138上顺序地执行，或者在不同的simd单元138上部分或完全
并行地执行。波前可以被视作是可以在单一simd单元138上同时执行的最大工作项目集合。因此，如果从处理器102接收到的命令指示特定程序即将并行化到一定程度，以致于所述程序无法在单一simd单元138上同时执行，则将所述程序划分为多个波前，所述波前在两个或更多个simd单元138上并行化或者在同一个simd单元138上串行化(或者根据需要来实现并行化和串行化两者)。调度器136被配置用来执行与将各种波前调度在不同的计算单元132和simd单元138上相关的操作。
29.由计算单元132提供的并行性适合于与图形相关的操作，诸如像素值计算、顶点变换和其他图形操作。因此，在一些情况下，从处理器102接收图形处理命令的图形管线134向计算单元132提供可供并行执行的计算任务。
30.计算单元132还用于执行与图形不相关或不作为图形管线134的“正常”操作的一部分执行的计算任务(例如，被执行来对为了操作图形管线134而执行的处理进行补充的自定义操作)。在处理器102上执行的应用程序126或其他软件将限定这类计算任务的程序传输至apd 116以供执行。
31.图4示出从图1的物体20发出的光场的图。物体20由众多光源(未示出)进行照明，所述光源包括但不限于：太阳、人工光源和照射在物体20上的其他光线。对物体20的照明被物体20从所有方向反射出来。被物体20反射的所有射线(其实例由实线或虚线箭头指示)表示从物体20发出的光场400。
32.光场400的某些射线402、404、406、408(示出为虚线箭头)入射在光路机构30上。射线402、404、406、408包括信息诸如物体20的颜色、强度和方向。这个信息提供了感知物体20所必需的信息。光路机构(opm)30基于光路机构30的尺寸和多个有利位置上的捕获的光而提供物体20的立体视图。也就是说，捕获光线的角度方向。这个立体视图允许感知物体20有多远。
33.光路机构30将射线402、404、406、408以射线412、414、416、418的形式中继至焦平面元件40。射线402、404、406、408内所包含的颜色、强度和方向由光路机构30经由射线412、414、416、418而传达给焦平面元件40。
34.通过控制光路机构30，提供了物体20的不同视点。如将在以下特定实例中所示，物体20的不同视点通过以多种不同方式使用光路机构30来提供。
35.对于给定的光捕获装置，gpu 50向光场400中的至少一个光束以及所述光束的光路机构30或光路机构30的一部分分派处理元件。gpu 50诸如通过使用线程支持来向光路机构30的特定部分分派特定处理元件。线程支持的使用允许gpu 50资源在gpu 50资源准备好时或在所述资源变得可用时进行分派。可替代地，如果可用，特定gpu 50资源则向光路机构30的特定部分分派严格排序的特定处理元件。gpu 50的处理元件可以基于由处理元件接收到的反馈而抑制或扩大光场400中的个别光束。在实例中，用来处理高动态范围(hdr)和局部动态范围变化的局部光调制使得色调映射的下游管理变得更为容易，并且诸如在局部色调映射(ltm)过程中产生更少的噪声。图5中的实例示出了局部光调制。
36.这个整合等级的另一个方面是噪声管理。具体而言是暗电流、渐晕(镜头阴影)、色差以及其他噪声源。这种噪声管理中的一些可以通过使用处理元件并在光学器件级进行时间调制，诸如操纵焦距和孔径或其他特性来减轻或消除。时间调制的一个实例是多景深(dof)捕获。在这个实例中，对光束进行调制以实现多孔径捕获，从而带来局部选择dof的能
力。这个多孔径捕获减少了对下游锐化的需求。图6的实例中示出了多孔径捕获的概念。
37.仅作为举例，光路机构30被设计成提供通/断元件转换。也就是说，gpu 50的处理元件并网/离网地控制光路机构30，从而允许光场400的某些光束传递到或不传递到系统10内。这等同于为每个光束都产生了快门机构。这个快门机构通过将开关和模拟数字转换器(adc)添加至每个像素来产生独特的像素曝光。这种方法的颗粒细腻度不太好但是效率却很高。在正常的图像获取中，对每个像素进行个别快门控制的想法是不必要的，相反对像素区域如此操作对于图像收集而言可能就足够了。
38.在另外或替代实例中，光路机构30被设计成提供孔径控制。也就是说，gpu 50的处理元件通过控制光路机构30来控制光系统的孔径，从而允许光场400的某些光束传递到或不传递到系统10内。孔径控制可用于动态范围、dof和曝光/运动的折衷。图7的实例中示出了孔径控制的概念。
39.在另外或替代实例中，光路机构30被设计成提供焦距控制。也就是说，gpu 50的处理元件通过控制光路机构30来控制光系统的焦距，从而允许光场400的某些光束传递到或不传递到系统10内。焦距控制的实例是计算机视觉。由于存在感兴趣区域(roi)，因而人工“裁剪”图像以及消除捕获中的不必要区域变得很有意义。这节省了存储、带宽以及对整个图像进行处理的不必要的计算。基于本文论述的实例，这些不必要的捕获区域正好可以中断其中的光束。图8的实例中示出了焦距控制的概念。
40.图5示出体现光学器件510的示例系统500，所述光学器件提供局部光调制来处理hdr，以实现对色调映射的下游管理。如上文至少相对于图1所描述，系统500包括物体20、光学器件30和焦平面40。光学器件510是光学器件30的示例光学器件。系统500中并未示出图1的gpu 50，但是gpu 50控制光学器件30(其配置)并且从焦平面40提供反馈以实现由光学器件30提供的所希望的效果。
41.一般而言，在焦平面40处的传感器负责捕获图像数据的系统500中执行hdr和局部色调映射的过程中，在下游提取hdr信息以局部控制对比度，这被称为局部色调映射(ltm)。通常，在中心级执行这种控制，因此传感器捕获图像的能力在大多数情况下必须远远超出其自然或固有捕获能力。在本发明配置中，在系统500的通常为光学器件30的光采集部分处对hdr和局部对比度进行调制。通过使用局部光调制，传感器40能够在其固有动态范围能力内捕获hdr信息。一旦使用光束来对光进行调制，就可以将光束分派给传感器40中的相应位置。由于光在光学器件30处被调制，因此传感器40现在或多或少相同的动态范围内观察物体20，就好像它在看非hdr图像一样。
42.作为非限制性实例，光学器件510被分为四个同心矩形区域
–
内部区域520、外部区域550、第二外部区域540以及第二内部区域530。在实例中，内部区域520被设计成使光束衰减10倍，第二内部区域被设计成使光束衰减5倍，第二外部区域540被设计成衰减2倍，并且外部区域550被设计成提供零衰减。可以利用其他衰减值和/或。也可以利用其他衰减配置。还可以利用更多或更少的区域。
43.接着在了解了光学器件30处赋予的局部光调制的情况下对传感器40处的所得信息进行处理。换言之，在传感器中的某一位置处，存在光学器件510对调制增益的分派并且所述增益带来了hdr功能。考虑到所赋予的衰减，之后对图像中选定像素处的值进行处理，同时重要的是适当地曝光传感器40的所有部分。
44.在另一个说明性实例中，通过控制光学器件510来控制像素上的光量，诸如将所述光学器件配置成透射50％的光束。传感器在所述处理考虑到对仅透射50％的光的了解的情况下捕获光。检测器的常规设施用于使用例如80％的像素就能很好地捕获光，但是系统500了解到所收集的光量需要例如以数倍于所投射的光量的方式赋予。
45.这个实例证实了具有对比度的局部区域在高动态范围场景中的使用，例如，如果雪或其他类似特征中存在背光场景，则这项技术提供一种方式来提取对比度但是不会破坏场景的总动态范围和总对比度。通过使用这种光路抑制，高动态范围捕获和局部对比度管理都是受控的。
46.另外，系统500在这个实例中可以用于将单一像素减小两倍，并且接着将另一像素调低三倍。了解这些调低因子允许由处理器调整每个像素的值，并且还允许外推至图像内和识别出的像素周围的其他像素。由于有捕获到信息，而不是使所述像素饱和或具有很少引起噪声增加的信息或进行丧失了局部色调映射的其他技术，因此可以执行局部色调映射。在本质上，这表示羽化。
47.图6示出体现光学器件610的示例系统600，所述光学器件在光学器件的增益在整个视野内不一致的情况下提供噪声管理控制。系统600像上文至少相对于图1所描述的那样进行配置并且包括物体20、光学器件30和焦平面40。系统600中并未示出图1的gpu 50，但是gpu 50控制光学器件30(其配置)并且从焦平面40提供反馈以实现由光学器件30提供的所希望的效果。
48.光学器件610被配置用来考虑图像中心处存在的噪声。例如，如果存在噪声，则存在一个值，并且图像边缘处的像素的值由于例如渐晕而减小。边缘处的这个像素具有不同的噪声值，并且当存在渐晕效应时，尝试调整和管理整个视野内的噪声是相当困难的在这类条件下在整个视野内维持一致的噪声管理也是困难的。
49.类似地，横向色差也会呈现出类似问题。当从图像的中心(轴向中心)进行到图像的边缘时，色差校正的噪声会变得更加严重，并且因此图6所示的调制技术实际上会使镜头看起来非常平坦并最小化渐晕和轴向的横向色差。
50.如图6所示，光学器件30由gpu 50控制来阻尼中心处的光束。作为举例，曲线610展示如经由光学器件30进行水平缩减过程中显示出来的阻尼曲线。曲线620展示如经由光学器件30进行垂直缩减过程中显示出来的阻尼曲线。这两条曲线(水平610、垂直620)被示出为相同的，但是在所述曲线之间可以利用任何变化。类似地，虽然每条曲线围绕光学器件30的中心是对称的，但是可以利用其他不对称的配置。
51.在这个图示中，在光学器件30的中心处施加的阻尼因子是5，同时按照从中心到边缘减小的抛物线施加所述阻尼因子。边缘不包括阻尼。
52.图7示出体现提供孔径控制的光学器件710的示例系统700。系统700像上文至少相对于图1所描述的那样进行配置并且包括物体20、光学器件30和焦平面40。系统700中并未示出图1的gpu 50，但是gpu 50控制光学器件30(其配置)并且从焦平面40提供反馈以实现由光学器件30提供的所希望的效果。
53.孔径控制为焦平面40中的像素或像素组产生了快门机构。光学器件710是光学器件30的实例。这使用光学器件通过对光学器件30的单一区域进行操作或者通过将光学器件的部分分组为光学器件30的较大区段来实现。如在光学器件30的分解图710中所示，可以进
行分组来产生光学器件的较大区域，所述较大区域被分在一组，诸如群组720、730、740、750、760。可以特别地控制其他部分，诸如单一区域715、725、735、745、755、765。这些分组720、730、740、750、760和区域715、725、735、745、755、765提供了控制每个光束的快门机构的能力。快门机构通过将开关和模拟数字转换器(adc)有效地添加至每个像素来产生独特的像素曝光。
54.这通过使用这种开关和adc类型的布置，通过为视野内的局部区域提供快门机构而为每个区域715、725、735、745、755、765或群组720、730、740、750、760提供了单独定时的曝光。虽然实际上并未使用开关和adc，但是区域715、725、735、745、755、765和群组720、730、740、750、760中的快门控制可操作来控制光束部分或所述光束的曝光。区域715、725、735、745、755、765或群组720、730、740、750、760可以是小的或大的以及所需的任何大小。每个区域715、725、735、745、755、765通常是独立的，并且向所述群组720、730、740、750、760分派了相同的快门和定时允许选择性控制图像的小区域中的小光束。
55.这些定时曝光还可以用于消除图像或帧中的运动。存在两种类型的运动-帧间运动，其为视频的各帧之间的运动；以及帧内运动，其为捕获的一个帧之内的运动。孔径控制是用于控制帧内运动的工具之一。孔径控制也用于控制帧间运动，因为这种类型的运动是时间性质的。
56.在空间类型的帧内捕获中，孔径控制是用于允许运动或不允许运动的主要机制。存在希望有模糊元素处于运动中的效果，但是这种愿望往往无法实现的情况。替代地，即使涉及一点运动，也可能希望能使画面看起来清晰一些。
57.景深可以借助于孔径控制来限定，即提供对孔径的全局控制并因此缩小光学器件的孔径。可以在光束内控制孔径。这提供了控制景深的双重机制。也就是说，景深可以通过控制孔径来全局地控制，或者可以使用个别景深控制来控制光束内的个别区域或小区域。
58.例如，如果你有非常亮的物体正对着非常暗的背景(其不在移动)移动，则可能希望用尽可能多的孔径来使暗背景曝光。通常，这会使物体因其亮度而饱和。使用光束来控制动态范围，解决了这些问题并且可以控制曝光。景深和曝光控制提供了在图像内或在帧内进行个别或局部控制的选项。
59.可以拍摄和处理初始图像或子图像以提供有关图像场景的反馈或信息。这种反馈可以通过从初始图像或子图像捕获一组初始信息来产生以了解场景。一旦已知所述初始信息，gpu的能力就足以(当前操作是每个像素接近200至1000次运算)能够进行所有计算并且使用多种不同技术，诸如γ滤波器(跟踪滤波器)或其他技术，前提是空间和时间行为要在这个视野内。这在概念上与通过先拍摄初始图像和闪光图像，后拍摄所希望的图像来使用红眼消除或自动曝光算法是类似的。收敛算法用于收敛于目标并且在本领域中通常是很好理解的，在此处应用方式如下；通过本文描述的方案中的这些光束调制类型使用越来越窄且颗粒越来越细腻的图像区域来扩展控制。这实际上在镜头内产生了数千个相机，其中gpu控制每个相机。
60.图8示出体现提供孔径控制的光学器件810的示例系统800。系统800像上文至少相对于图1所描述的那样进行配置并且包括物体20、光学器件30和焦平面40。系统800中并未示出图1的gpu 50，但是gpu 50控制光学器件30(其配置)并且从焦平面40提供反馈以实现由光学器件30提供的所希望的效果。
61.在修改光学器件30的过程中，修改了焦距。这在光学器件的放大率(包括空间放大率)方面改变了所述光学器件。作为举例，存在远摄镜头(镜头的一部分)，诸如移动处于远摄镜头中间的一组镜头来影响镜头的焦距。重要的是，维持镜头的后焦距，即镜头后侧相对于焦平面的距离。镜头的这种移动具有改变进入到光学器件中的每个光线的轨迹的效果。
62.在图8的配置中，无需移动任何镜头就可具有摄远镜头的数字视觉。作为举例，光学器件30是数字镜810。数字镜810提供了个别控制光束并引导每个光束的能力。如上所述，孔径实例对穿过其中或包括在光束中的光量进行调制。在这种情况下，虽然代替对光束中的光进行调制，但是可对光束进行调制或引导。这将光束投射到焦平面上的另一个像素(另一个位置)处，并且具有借助于改变有效焦平面来放大或缩小视野的效果。也就是说，存在无需改变或无需更改光学器件的物理位置就可实现虚拟缩放的机制。
63.在光学器件810中，部分820大致处于中心。例如，对这个部分820的角度进行修改以将光束从焦平面40的中心移动至边缘。光束的这种动态角度调整基于由后焦距形成的三角形以及图像在焦平面内移动的量而改变焦距。在所形成的三角形的其余边上实现焦距的改变，同时维持从光学器件中的最后面元件到传感器的距离。
64.类似地，可以在整个焦平面40上移动在位置830、840、850、860处照射在光学器件810上的光束。例如，光束照射部分830可以移动来寄存在焦平面40中光束照射部分840在未修改状态下照射在焦平面40上的点处，反之亦然。类似地，光束照射部分850可以移动来寄存在焦平面40中光束照射部分860在未修改状态下照射在焦平面40上的点处，反之亦然。
65.在另外或替代实例中，光路机构30用于提供色彩控制。也就是说，gpu 50的处理元件通过控制光路机构30来控制光系统的色彩响应，从而允许光场400的某些光束传递到或不传递到系统10内。低光情况提供了需要色彩控制的实例。在低光下，最困难的任务之一是提取色度信息。为了使画面呈现这种情况，设想在晚上拍摄视频，这往往具有色度噪声。一般而言，更容易使具有足够的色度采样(dr)的图像变暗。可以例如像在图5中一样利用光学器件20的部分。这些部分可以用于根据每个像素的阱的适当阱容来对每个部分进行曝光。应理解，基于本文的公开内容，许多连接变化是可能的。虽然上文以特定组合描述了特征和元素，但是每个特征或元素可以在不具有其他特征和元素的情况下单独使用，或者在具有或不具有其他特征和元素的情况下以各种组合使用。
66.图9示出在图1的系统内执行来用于控制收集的图像数据的特性的方法900。方法900包括在步骤910处通过拍摄至少一个初始图像并使用gpu对所述图像进行处理来执行预处理。这个初始图像可以是允许较少数据简化的子图像或部分图像。在步骤920处，根据步骤910的处理来对光学器件进行配置。对光学器件进行的配置可以符合任何数目的如本文中上文所描述操作光束的技术，并且可以被设计来提供改进色差、信噪和动态范围(仅作为非限制性实例)的益处。在步骤930处，可以拍摄所希望的图像。一旦拍摄好，就使用gpu，即通过向每个光束分派gpu或者通过使用gpu处理技术来根据需要向光束分派可用的gpu而对图像进行处理。一旦被处理好，就形成到步骤920处对光学器件进行配置的循环。这种循环提供了提供其他配置的能力并且可以在步骤910处的预处理未能产生恰当结果的情况下使用。一旦经过处理的图像变少并且所要求的效应被消除，则在步骤950处输出所述图像。
67.所提供的方法可以在通用计算机、处理器或处理器核心中实施。合适的处理器作为举例包括通用处理器、专用处理器、常规处理器、数字信号处理器(dsp)、多个微处理器、
与dsp核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(asic)、现场可编程门阵列(fpga)电路、任何其他类型的集成电路(ic)和/或状态机。可以通过使用经过处理的硬件描述语言(hdl)指令以及包括网表的其他中间数据(这类指令能够存储在计算机可读介质中)的结果来对制造工艺进行配置而制造这类处理器。这类处理的结果可以是掩模作品，所述掩模作品之后被用在半导体制造工艺中以制造实施本公开的特征的处理器。
68.本文提供的方法或流程图可以实施在计算机程序、软件或固件中，它们结合在非暂态计算机可读存储介质中以供通用计算机或处理器执行。非暂态计算机可读存储介质的实例包括只读存储器(rom)、随机存取存储器(ram)、寄存器、高速缓冲存储器、半导体存储器装置、磁性介质诸如内部硬盘和可移除盘、磁光介质以及光学介质诸如cd-rom盘和数字通用盘(dvd)。