光场成像系统的校准的制作方法

光场成像系统的校准
1.相关申请
2.本技术要求2019年2月1日提交的美国申请no.16/265,220的优先权，该美国申请的内容通过引用整体并入本文。


背景技术：

3.与常规显微镜相比，光场显微镜在一个光场图像中从不同角度记录同一物体的多个视图。这些记录的视图允许重建物体的不同部分的深度信息。深度信息使得能够实现各种应用，诸如所计算的二维投影的数字重新聚焦或物体的三维重建，这两种应用都不可能用常规显微镜实现。然而，与常规显微镜图像相比，利用光场显微镜执行的这种投影和重建通常伴随较低空间分辨率的折衷。
4.通过用相机阵列代替常规图像传感器或者通过在图像传感器前面插入微透镜阵列，可以将常规的显微镜转换成光场显微镜。由于微透镜阵列的成本较低并且能够容易地对现有的常规显微镜进行改装，因此使用微透镜阵列通常是优选的选择。根据微透镜阵列相对于显微镜的物镜和图像传感器的位置，可以限定具有不同特性的两种配置。在第一种配置(被称为“lf1.0”)中，微透镜阵列位于物镜和图像传感器之间的中间像平面中，并且图像传感器位于微透镜阵列的后焦平面中。在第二种配置(被称为“lf2.0”)中，这些限制被去除，并且微透镜阵列可以具有在物镜和图像传感器之间的任意位置。因此，在lf2.0中，可以选择微透镜阵列的位置以优化光场显微镜的期望性能标准(例如，横向和轴向分辨率以及焦深)。
5.为了能够根据光场显微镜图像执行三维物体空间(x，y，z)的定量重建，需要知道光场图像的每个微透镜子图像(x
″
k
，y
″
k
)的物体空间和二维光场空间之间的关系。映射函数被定义为映射函数原则上可以基于实验装置的几何参数值，诸如相关光学元件的基面到图像传感器的相对距离来计算。在实践中，这些基面的精确位置是未知的，并且光场显微镜内部的相对距离不能容易地确定成所需的精确度。对于lf2.0配置来说，缺少精确的几何信息更成问题，在lf2.0配置中不存在用于在光场显微镜内部定位微透镜阵列的明确定义的光学标准(诸如物镜的中间像面和微透镜阵列的焦平面)。另外，实际透镜系统的光学效应(例如，由微透镜阵列的透镜或光场显微镜的其它光学元件引起的像差或误差)可能导致实际光学几何结构与外部测量的假设光学几何结构相比的偏差。除了根据外部测量确定相关几何结构的这些固有困难之外，用户引起的几何结构的变化(例如，由于显微镜的重新聚焦或无意的未对准)可能也会经常发生。假设几何结构相对于实际几何结构的所有偏差都会导致投影和重建错误，从而导致不正确的深度信息、对比度损失或重建完全失败。
6.需要用于校准光场显微镜或相机的系统、方法和装置，以能够在光场空间和物体空间之间进行映射。


技术实现要素：

7.本公开提供了校准光场成像系统的方法、执行校准方法的光场成像系统、用于校
准方法的校准对象、以及使用经校准的光场成像系统将物体的光场图像投影到物体空间中的方法。使用包括微透镜阵列和图像传感器的光场成像系统来执行示例性校准方法。当校准对象位于多个不同的z位置处时，可以使用图像传感器来捕获校准对象的光场图像的z堆叠。可以根据z堆叠的每个光场图像来确定成像系统的总放大率和微透镜阵列的微透镜放大率。
附图说明
8.图1是包括光场显微镜的示例性光场成像系统的示意图，在校准光场显微镜时，光场显微镜支撑示例性校准对象。
9.图2是用图1的光场显微镜的所选组件产生的光线图，并且示出了示例性光线从位于物体空间的平面中的点物体到二维光场空间中的传感器平面的传播。
10.图3是用于图2的光场显微镜的示例性微透镜阵列大致沿图2的线3
‑
3截取的正视图。
11.图4是类似于图2的光线图，除了物平面具有更靠近显微镜的物镜的z位置。
12.图5是类似于图2的光线图的另一光线图，除了物平面具有更远离显微镜的物镜的z位置。
13.图6a是光场显微镜的示意图，并且用代表性光线示出了由微透镜阵列进行的真实倒像的成像，并且还示出了将物体空间中的点关联到光场空间中的多个点的映射函数的基础。
14.图6b是光场显微镜的另一示意图，并且用代表性光线示出了由微透镜阵列进行的虚拟倒像的成像，并且还示出了将物体空间中的点关联到光场空间中的多个点的映射函数的基础。
15.图7是用于图1的光场成像系统的示例性校准对象的平面图，其中透光区域以黑色示出，而阻光区域以白色示出。
16.图8a是图7的校准对象的大致在图7中的“8a”处指示的区域周围截取的局部视图。
17.图8b是图8a的局部视图，其中标记限定的矩形栅格叠加在校准对象上。
18.图9是图8a的校准对象大致沿图8a的线9
‑
9截取的剖视图。
19.图10是可以利用光场成像系统捕获的图7的校准对象的示例性负光场图像。
20.图11是图10的负光场图像大致在图10的“11”处指示的区域周围截取的放大局部视图。
21.图12是在图10的负光场图像中存在的单独子图像中的一个处的、图10的负光场图像大致在图11的“12”处指示的区域周围截取的另一放大局部视图。
22.图13是图12的子图像的叠加形式，并且对图13的特征和属性进行识别。
23.图14是类似于图12的子图像的叠加形式，除了该子图像表现出由光场成像系统的微透镜阵列的相应微透镜产生的径向畸变。
24.图15是用于校准光场成像的另一示例性校准对象的局部平面图，其中透光区域以黑色示出，并且阻光区域以白色示出。
25.图16是用于校准光场成像系统的又一示例性校准对象的平面图。
26.图17是用于校准光场成像系统的又一示例性校准对象的平面图，其中透光区域以
黑色示出，并且阻光区域以白色示出。
27.图18是图17的校准对象大致在图17中的“18”处指示的区域周围截取的局部视图。
28.图19和图20是绘制了放大值作为z位置的函数的曲线图，其是利用校准对象和光场显微镜的物理实施例测量的。
具体实施方式
29.本公开提供了校准光场成像系统的方法、执行校准方法的光场成像系统、用于校准方法的校准对象、以及使用经校准的光场成像系统将物体的光场图像投影到物体空间中的方法。使用包括微透镜阵列和图像传感器的光场成像系统来执行示例性校准方法。当校准对象位于多个不同的z位置处时，可以使用图像传感器来捕获校准对象的光场图像的z堆叠。可以根据z堆叠的每个光场图像来确定成像系统的总放大率和微透镜阵列的微透镜放大率。本文公开的系统和方法能够实现更高的样品处理量和三维中的微观物体的低成本映射和跟踪。
30.光场(全光)成像允许从单个光场图像重建三维物体，或者至少数字地重新聚焦物体。先决条件是获得精确的光场校准信息。本公开提供了一种作为算法的过程，以自动校准光场成像系统的光场特性，即使在成像系统具有“黑盒“光学器件时。提供了映射函数和能够使用映射函数的光场成像系统的光路的简单但精确的校准。校准可以是自动的，并且因此可以根据需要重复，以总是将正确的几何结构作为物体(例如，感兴趣的样品)使用映射函数的高质量重构的基础。
31.校准方法可用于利用单独的相机阵列执行的光场摄影术，但是光场显微术的实验环境和挑战显著不同。首先，与光场摄影术相比，在显微术中从物体到像平面的成像几何结构相对固定。这种几何结构仅可以在主要由显微镜的机械结构(主要通过改变物体和物镜之间的距离)确定的预定范围内改变。由于现代显微镜配备有用于调节该物镜距离的高精确度xyz载台，所以给定显微镜的任何特定测量几何结构可以以对于显微镜的高精确度重复地再现。第二，对于显微术，物平面中的空间分辨率需要比摄影术高得多。同时，与摄影术相比，显微术中的视场和焦深要小得多。这意味着需要校准的物体体积的尺寸在显微术中要小得多，而且校准的质量需要高得多。第三，在典型的显微镜几何结构中，物体位于靠近物镜的前焦平面处。这导致物体放大率和物体到物镜距离(也称为物体的z位置)之间的高度非线性关系。在校准期间需要考虑放大率的这种轴向依赖性。
32.本公开提供了一种简单而精致的校准构思，其主要针对光场显微术和光场微距摄影术。该构思允许使用适当校准对象的测量光场数据和微透镜阵列的间距的值进行校准。根据校准对象的光场图像，可以针对校准对象的一系列不同的z位置确定系统的总放大率以及仅由于微透镜阵列而导致的放大率。这些放大率的值能够唯一地确定三维物体空间与二维光场空间之间的映射几何结构。可以在三维中校准成像路径中的微透镜阵列的特性以及微透镜阵列与整个成像系统的相互作用，以使得能够将光线追溯回它们在物体空间中的原点。
33.本公开的方法可以与具有不同光场配置(例如，lf1.0和lf2.0类型)的光场成像系统一起使用。特别地，该方法应用于具有非远心几何结构的光场成像系统，其中放大率取决于横向物平面到物镜的距离(即，物平面的z位置)。该方法可以用于确定映射函数的全局参
数的值，而且还可以用于校正任何局部像差，诸如由透镜误差引起的那些局部像差。由于可以以自动化方式针对一系列z位置捕获(即，记录)和分析校准数据，因此可以根据需要重复使用这些方法以确定和适应系统的光学几何结构的任何变化。
34.本文公开的方法可以应用于被构造为执行宏观物体的光场摄影术的光场成像系统，只要校准对象的参数被相应地适配，并且采用用于可再现的z定位的适当校准载台。通常需要校准载台来精确地调节校准对象到物体空间中的感兴趣体积内的光场相机的距离。出于实际原因，除了在光场显微术中使用之外，该方法可能最适合于相对特写、宏观摄影术，其中物体空间中的感兴趣体积的轴向长度通常小于约1厘米至100厘米。
35.本文公开的方法可以用于基于透镜的光场系统可行的所有波长范围。例如，波长范围可以包括紫外、可见、近红外等的光辐射。
36.本公开描述了一种校准方法，该校准方法确定根据光场图像进行投影和物体重建所需的系统参数的值。该方法可以利用专用校准对象，该专用校准对象可以包括两个周期性图案的叠加。利用校准对象，可以根据校准对象的捕获光场图像来确定物体重建所需的局部参数的值。根据局部值，通过对局部参数的值进行平均以及对由于光学伪影导致的局部像差进行平均，可以高精确度地计算全局参数的值。
37.该校准方法可以直接测量将三维物体空间与二维光场空间相关联的映射函数的相关参数。这些参数可以包括在物体空间中的所感兴趣的z位置的整个范围上的总放大率及归因于微透镜阵列的放大率。校准方法还可以测量至少一个微透镜的径向畸变(例如，微透镜阵列的多个微透镜中的每一个的相应径向畸变和/或微透镜阵列的平均径向畸变)和/或点扩散函数(例如，多个微透镜中的每一个的相应点扩散函数和/或微透镜阵列的平均点扩散函数)。除了微透镜阵列的间距之外，所有这些信息可以从捕获的光场图像中提取，而无需任何关于系统的光学器件的明确配置的预先假设(诸如系统中的光学元件的类型、它们的光学参数以及它们彼此的相对距离)。还可以在不需要迭代优化过程来确定复杂光学模型的自由参数的情况下提取信息。
38.即使这些放大率具有显著不同的绝对值，也可以从相同的光场图像测量总系统放大率和微透镜阵列的放大率。仅光场图像必须被评估；不必记录在光束路径中的其它位置处(例如，在微透镜阵列前面的中间像平面中)的其它图像。换言之，整个光场成像系统可以被视为黑盒。
39.本文公开的方法捕获校准对象的光场图像，其中校准对象位于若干z位置(例如，多于两个)。这些z位置(也称为轴向位置)可以以足够的精确度相对于彼此已知，以确定作为z位置的函数的总放大率和微透镜放大率的非线性相关性。z位置的精确度通常优于用于物体空间中的物体重建的期望轴向分辨率。原则上，这种潜在的限制不构成光场显微术的缺点，因为显微镜系统通常配备有精确的xyz载台。
40.本文公开的方法和系统可以使得能够在筛选应用中快速确定三维细胞群集(例如，球状体、类器官)的结构。目前，这些筛选应用的处理量受到在每个感兴趣部位获取z系列图像(通常多于十个图像)所需的时间的限制。如果使用共焦显微镜对该部位的三维体积成像，则处理量甚至更有限。相反，本公开的方法和系统在校准之后可以从单个光场图像生成关于细胞群集的三维信息。
41.在以下章节中描述本公开的其它方面：(i)定义，(ii)光场成像系统，(iii)物体空
间与光场空间之间的几何映射，(iv)实现几何映射的校准对象，(v)校准和映射的方法，以及(vi)示例。
42.i.定义
43.本公开中使用的技术术语具有本领域技术人员通常认可的含义。然而，以下术语可以进一步定义如下。
44.计算机——用于根据可由可变程序提供的指令来存储和处理通常为二进制形式的数据的电子装置。示例性计算机(也称为计算设备)包括台式计算机、笔记本电脑、平板电脑、智能手机等。
45.检查区域——与光场成像系统的光轴相交的体积，在该光场成像系统中，可以利用图像传感器对诸如校准对象或样品(例如，生物细胞)等物体进行成像。
46.特征——校准对象的标记，或者在相对于校准对象的有组织的一组标记可通过外推法和/或内插法精确限定的位置处不存在标记。
47.图像——物体和/或视场的光学或数字表示。如果是光学的，则该表示可以由空间中的平面(例如，中间像平面)处或表面(例如，图像传感器的表面)上等的光形成。如果是数字的，则该表示可以是由图像传感器捕获的原始光场图像、原始光场图像的处理形式、或者使用至少一个光场图像创建的物体空间中的二维或三维图像。
48.图像传感器——能够在二维上检测光的空间变化(例如，强度变化)的光学传感器，其中光入射在传感器的光敏检测区域上。图像传感器可以是二维阵列传感器，诸如电荷耦合器件(ccd)传感器、有源像素传感器(例如，互补金属氧化物半导体(cmos)传感器)、混合ccd
‑
cmos传感器等。图像传感器可以创建作为像素的矩形阵列的光栅图像(即，位图)，并且可以被配置为创建彩色图像、灰度(单色)图像或两者。
49.透镜阵列——二维透镜阵列。在阵列内可适用于光场显微术的示例性透镜是微透镜，即，每个透镜具有小于约一毫米的直径。对于每个微透镜，可适用于微透镜阵列的示例性微透镜直径包括小于约750微米、500微米、400微米、300微米、200微米或100微米等。用于光场微距摄影术的示例性透镜直径包括具有至少一毫米直径的透镜，或者在一些情况下，包括如上所述的微透镜。
50.阵列可以具有任何合适的特性。阵列的间距(透镜到透镜的间隔)可以(或可以不)类似于透镜直径，诸如比透镜直径大不超过约50％、25％、20％或10％。透镜可以形成矩形栅格或六边形栅格等。阵列可以包含任何合适数量的透镜，通常至少四个。在一些实施例中，阵列可以包含至少25个、50个或100个透镜等。例如，阵列可以包含沿着由阵列限定的一对正交轴线中的每个轴线的至少2个、3个、4个、5个、6个、7个或10个透镜。阵列的透镜可以在尺寸和/或形状上彼此基本相同，或者可以在尺寸和/或形状上不同。此外，阵列可以是集成单元，和/或阵列的透镜可以彼此集成地形成。
51.光——光辐射，包括紫外线辐射、可见光辐射(即，可见光)和/或红外线辐射。
52.光场图像——光学图像或者其捕获(数字)形式，该光学图像由图像传感器上的微透镜阵列利用光形成并且由与阵列的微透镜相对应的子图像的二维阵列构成。子图像通常不会彼此显著重叠，如果有的话。子图像可以基本上聚焦或可以基本上不聚焦。
53.光源——产生光(可选地为光束)并可选地由电力供电的装置。光源包括至少一个发光元件，并且还可以包括任何相关的光学元件，以便对发光元件发射的光进行成形、尺寸
调整、过滤、偏振、散射、引导和/或以其它方式与发光元件发射的光相互作用。这些光学元件可以包括至少一个波导(例如，光纤或液体光导)、透镜、反射镜、滤光器、漫射器、掩模、光圈、分束器、光栅、棱镜、偏振器和/或类似物的任何组合。示例性的发光元件包括半导体器件、激光器(例如，准分子激光器、气体激光器、染料激光器、固态激光器、半导体晶体或二极管激光器、自由电子激光器等)、弧光灯和/或类似物。示例性半导体发光元件包括激光二极管、发光二极管(led)和超发光二极管等。
54.物镜——收集来自物体和/或视场的光并聚焦所收集的光的单个光学元件或光学元件的组合。如本文所使用的，物镜可以包括沿着光轴位于光场成像系统的检查区域和微透镜阵列之间的每个光学元件。
55.光学器件——成像系统的一组光学元件，其可以沿着光源和检查区域(照明光学器件)之间的光路和/或沿着检查区域和图像传感器(采集光学器件)之间的光轴布置。光学元件可以是与光相互作用的任何装置或结构，例如以采集、引导、聚焦、过滤、偏振、散射、准直和/或部分阻挡光。光学元件可以通过任何合适的机制来起作用，诸如反射、折射、散射、衍射、吸收和/或滤波等。示例性的光学元件包括透镜、反射镜、漫射器、光栅、棱镜、滤光器、光圈、掩模、分束器、波导、偏振器等。
56.针孔——直径或宽度小于约一毫米的孔或开口。可适于产生本文所公开的校准对象的特征的示例性针孔具有小于约100微米、50微米、20微米或10微米等的直径或宽度。针孔可以具有任何合适的形状。例如，针孔可以是圆形、矩形等。
57.样品——具有任何合适特性的试样。样品可以是有机的和/或无机的、天然的和/或制造的，并且可以包括任何合适的组件、材料、物质、分离物、提取物、颗粒等。在示例性实施例中，样品包括生物细胞(诸如分离的细胞或一个或多个细胞群集)。生物细胞可以是真核的(例如哺乳动物细胞)或原核的(例如细菌细胞)。示例性的生物细胞包括已建立的细胞(细胞系)、原代细胞、组织样品的细胞、转染的细胞、来自临床样品(例如，血液样品、流体抽吸物、组织切片等)的细胞、克隆的细胞和/或类似物。细胞可以被样品保持器容纳，可选地与任何合适的液体介质接触(例如，浸入)。液体介质可以是水性介质，其可以包括水、盐、缓冲液、葡萄糖、洗涤剂、染料、蛋白质、氨基酸或其任意组合等。液体介质可以是用于细胞的生长介质。
58.样品保持器——用于保持至少一个样品或任何空间隔离的样品阵列的装置，并且可选地允许通过该装置的水平透明壁(例如，孔的底壁)对样品成像。用于光场显微术的示例性样品保持器包括微板、培养皿、培养瓶、载玻片、流式芯片等。
59.光场图像的z堆叠——在物体(例如，校准对象)位于物体空间中的不同z位置处时捕获的物体的一系列光场图像，可选地，不改变物体空间中的物体的横向位置。
60.z位置——沿着光场成像系统的光轴的可以布置物体的位置之一。z位置可以被定义为平行于光轴测量的、在物体和光场成像系统的物镜之间的距离，并且可以通过平行于光轴移动物体或物镜来改变。
61.ii.光场成像系统
62.本章节提供了本公开的光场成像系统的概述，如光场成像系统50所例示的；参见图1至图5。
63.光场成像系统50包括光场显微镜52(或用于光场宏观摄影术的光场相机)和校准
对象54。光场显微镜52(和/或光场相机)具有载台56，以支撑校准对象54或其它感兴趣对象(例如，包含一个或多个样品的样品保持器)。校准对象或其它物体被支撑在位于由物镜62限定的光轴60上的检查区域58中。当校准对象54由载台56可操作地支撑时，校准对象54可以限定与光轴60(z轴)正交的物平面64(xy平面)，并且物平面64可以位于物镜62(特别是其光采集模块66)的前焦平面附近。校准对象54可以用由光源68产生的光辐射(例如可见光)照射，并且只有光辐射的空间受限部分可以通过校准对象54传输到物镜62的采集模块66。所传输的光辐射可以例如传播通过采集模块66、可选的镜筒透镜70和微透镜阵列72，该微透镜阵列具有以二维阵列布置的任何合适数量的微透镜74。微透镜阵列72的各个微透镜74可以至少部分地将光辐射聚焦到图像传感器76上，以形成分别对应于微透镜中的不同微透镜的各个子图像。图像传感器76捕获子图像的光场图像，该光场图像被传送到计算机78以进行处理(例如，参见章节iii至vi等)。在其它实施例中(例如，对于光场微距摄影术)，微透镜阵列72可以由透镜阵列代替，该透镜阵列由不一定是微透镜的透镜组成。在其它实施例中，校准对象54可以反射或发射形成光场图像的光。
64.光场显微镜52允许通过驱动机构80来调整校准对象54沿光轴60的z位置。更具体地说，驱动机构可以操作以改变校准对象54和光采集模块66之间沿光轴60的距离。因此，如图1所示，驱动机构80可以联接到载台56，以驱动载台的移动(例如，竖直移动)，同时采集模块66的z位置(例如，高度)保持固定。作为选择，驱动机构80可联接到采集模块66(和/或物镜62)，以驱动采集模块66(和/或物镜62)的移动(例如，竖直移动)，同时载台56的z位置(例如，高度)保持固定。驱动机构80可以包括电机82(或者可以手动驱动)，并且可以由计算机78控制，以在执行全自动校准方法期间进行z定位。
65.光轴60可具有任何合适的取向和特性。光轴在采集模块66处通常是竖直的，并且可以从采集模块66竖直向上(如这里所示的)或竖直向下延伸通过检查区域58和物平面64(以及校准对象54或布置在其中的其它物体)。换言之，光场显微镜52可以具有倒置配置，其中采集模块66在检查区域58下方，如这里所示的，或者具有非倒置配置，其中采集模块66在检查区域58上方。然而，在其它实施例中，光轴60在采集模块66处可以是水平的或倾斜的(既不基本水平也不基本竖直)。光轴60可以是非折叠的，如这里所示的，或者可以在沿着光轴的一个或多个位置处是折叠的(例如，利用反射镜)。
66.光源68可以被布置为利用任何合适的光源提供对检查区域58的任何合适的照明(例如，参见章节i)。照明可以是透射照明(如这里所示的)、落射照明、倾斜照明或其组合等。任何合适的光学元件可以可操作地定位在光源68和检查区域58之间的照明路径上，以引导和/或调节由检查区域上游的光源产生的光辐射。位于照明路径中的示例性光学元件可以包括漫射器、光谱滤波器、准直透镜或反射镜、折叠反射镜、采集模块66、光导和/或类似物。
67.图2示出了仅具有光场显微镜52的选定部件的光线图。该图描绘了光辐射如何从物体空间的物平面64中的物点84传播到图像传感器76上的多个分离的光场图像点/斑点86。该光辐射由在二维光场空间中从物点84延伸到中间像平面92中的中间点90的上游边缘光线88、以及从中间点90延伸到图像传感器76所限定的传感器平面96的下游边缘光线94表示。在该示例性配置中，物平面64、中间像平面92、以及传感器平面96彼此共轭，使得光辐射被精确地聚焦到光场图像点86。
68.图3示出了示例性微透镜阵列72的平面图。微透镜74可以布置成二维阵列。如图所示，微透镜可以沿着阵列平面中的一对正交轴线分布，以限定矩形栅格，但是也可以使用微透镜的非矩形布置。在一些实施例中，微透镜74可以沿着该一对轴线的每个正交轴线彼此均匀地间隔开，且可选地可以沿着两个轴线具有彼此相同的间隔：间距d，如图所示。
69.由于视差，图像点86之间的距离可以大于微透镜74的间隔(例如，图3中的间距d)(见图2)。来自中间点90的光辐射可以以对于每个微透镜不同的角度入射到微透镜阵列72的各个微透镜74的至少一个子集上。换言之，从中间点90传播通过该子集的每个微透镜的每条主光线具有不同的取向。如图所示，来自中间点90的光辐射可以仅入射到微透镜阵列72的微透镜的子集上，因为从中间点90传播的光辐射的圆锥尺寸可能受到位于上游(例如，在光采集模块66中)的光圈(例如，光阑元件97)的限制。(然而，光场显微镜52通常具有非远心光学配置，使得放大率随着距采集模块66的距离而变化)。当物点84在物平面64中充分横向移动时，微透镜的不同子集可以接收来自物点84的光辐射。因此，物平面64中充分间隔的物点84的集合可以由微透镜的不同子集成像，并且可以具有在由图像传感器76捕获的光场图像中的子图像的不同子集中的共轭点/光斑。
70.在其它情况下，图像点86之间的距离可以小于微透镜74的物理间隔(例如，图3中的间距d)。例如，在超中心(hypercentric)伽利略型装备中，微透镜在图像传感器上的投影图像的间距可以小于微透镜阵列的物理间距。同样，在该装备中，图像点86之间的距离小于微透镜阵列的(投影的和物理的)间距。
71.图2所示的光场显微镜52的物镜62用无限远校正采集模块66来准直上游的光辐射，并用下游的镜筒透镜70来聚焦该准直后的辐射。在其它实施例中，可以去除镜筒透镜70，并且例如可以用采集模块66来采集和聚焦光辐射。
72.在一些实施例中，载台可以由手动装置代替，以将校准对象或其它物体保持在不同的z位置。例如，用户可以利用手动放置在物镜顶部的一个或多个已知尺寸的间隔物来设置和调整z位置。每个间隔物可以是例如约5微米、10微米、15微米、20微米、25微米、30微米、40微米、50微米或100微米厚等。
73.图2示出了位于z位置z1处的物平面64，该z位置z1与传感器平面96精确共轭。然而，物体位置的这种精确关系不是必须的。更具体地说，对于在z位置z2处的更靠近采集模块66的物平面64以及在z位置z3处的更远离采集模块66的物平面64(分别参见图4和图5)，图像传感器76都可以捕获适合于本公开的方法的光场图像。在任一情况下，来自中间点90的光辐射在传感器平面96处的聚焦度都低于图2中，使得图2的图像点86在图4和图5中变成更大的图像斑点。
74.可能合适的光场成像系统50、光场显微镜52(或光场宏观摄影系统)和校准对象54的其它示例性方面在本文其它地方描述，例如在章节i以及章节iii至章节vi中描述。
75.iii.物体空间与光场空间之间的几何映射
76.本章节描述了对于在沿着光轴的给定z位置处的物平面，将物体空间和光场空间彼此关联的几何映射函数的基础；参见图6a和图6b。映射函数可以与光场显微镜或光场微距摄影系统等一起使用。
77.图6a和图6b的光场显微镜52可以如图1和图2中那样构造，但是以稍微不同的形式描绘。物镜62被示为单个透镜，而不是单独的采集模块和镜筒透镜，并且以更程式化的形式
示出了微透镜阵列72。这些简化强调了，除了下面描述的相关参数之外，物镜和微透镜可以具有“黑盒”结构。此外，已被选择来说明映射的微透镜74中的一个微透镜已被标记为第k个微透镜“74k”。物点84位于如图2、图4和图5中的物平面64中，但相对于光轴60横向偏移(与图2相比)。边缘光线88和主光线98从物点84通过物镜62延伸到中间点90。边缘光线被示为在像点90的下游延伸，以指示从物点84入射到微透镜阵列72上的光辐射的圆锥的边界。主光线98被示为在图6a中的中间点90处过早地结束，以降低从中间点90的下游绘制的复杂性。
78.关于微透镜74k，可以如下定义将三维物体空间与二维光场空间相关联的映射函数：
79.r
″
k,xy
＝m
总
·
r
xy
r
k,xy
(1
‑
m
ml
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
80.其中下标xy表示相关矢量的横向分量。不管成像系统是否显示倒像(反转图像)，以及微透镜阵列是成像真实图像(倒像或非倒像)还是虚拟图像(倒像或非倒像)，该等式都成立。反转的存在或不存在包含在如下所述的相应放大率值的符号中。
81.图6a和图6b示出了等式1的映射几何结构的示意图，图6a和图6b分别示出了微透镜阵列对真实倒像和虚拟倒像的成像。矢量是表示三维物体空间的物平面64中的物点84的矢量，是表示微透镜74k的光轴的位置的矢量，m
总
是系统的总放大率(例如，由物镜62和微透镜阵列72的组合产生的)，m
ml
是仅由于微透镜阵列72而导致的放大率，并且是表示二维光场空间(传感器平面96)中与物体空间中的相对应的点的矢量。下面在章节iv至章节vi中描述了利用等式1从光场图像映射到物体空间以创建正投影图像的其它方面。
82.向量和中的每一个具有在光轴60处的尾部。然而，用于映射的光轴不必是实际的光轴，而是可以根据光场图像定义为虚拟的全局光轴，如本文别处所述(例如，参见章节v)。下游主光线100从中间图像点90通过微透镜74的至少二维子集而延伸到达图像传感器76上的相应数量的光场图像点，如以上针对图2、图4和图5所述。主光线100之一穿过微透镜74k，并在处入射到传感器平面96上。
83.等式1可以如下导出。根据等式2，物平面64中的物点映射到由向量表示的中间图像点90：
84.r
′
xy
＝m
物镜
·
r
xy
ꢀꢀꢀꢀ
(2)
85.其中，m
物镜
是光场显微镜52的物镜62在中间物平面64处提供的集合放大率，并且r
′
xy
为矢量的横向分量。在图6a和图6b的情况下，m
物镜
将是负数。
86.中间图像点根据等式3经由微透镜74k映射到二维光场空间(即，传感器平面96)的
87.r
″
k，xy
＝r
k，xy
m
m
l(r
′
xy
‑
r
k，xy
)
ꢀꢀꢀꢀꢀ
(3)在图6a的情况下，m
ml
将是负的，因为它将再次反转显微镜产生的实像，而在图6b的情况下，m
ml
将是正数。
88.等式3可以被重新排列和重新分组以产生等式4和等式5：
89.r
″
k，xy
‑
r
k，xy
＝m
ml
·
r
′
xy
‑
m
ml
·
r
k，xy
ꢀꢀꢀꢀꢀꢀꢀ
(4)
90.r
″
k，xy
＝r
k，xy
(1
‑
m
ml
) m
ml
·
r
′
xy
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
91.根据等式2替换等式5中的产生等式6：
92.r
″
k,xy
＝r
k,xy
(1
‑
m
ml
) m
ml
·
m
物镜
·
r
xy
ꢀꢀꢀꢀꢀ
(6)
93.光场显微镜52内的放大率可以由等式7描述：
94.m
总
＝m
物镜
·
m
ml
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
95.根据等式7在等式6的右手项内进行替换得到等式1。
96.一旦总放大率和微透镜放大率已知(例如，被测量)，则映射几何结构被充分地定义。通常，这些放大率中的每一个取决于物平面64和采集模块66之间的距离(即，物平面64的z位置)。局部像差(例如，由于微透镜阵列导致的)可以由随着每个微透镜图像而变化的总放大率来表示。这导致等式8和等式9：
97.m
总
＝m
总
(z，x
″
k
，y
″
k
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
98.m
ml
＝m
ml
(z)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
99.通过使用等式10来评估校准对象的同一物点的相邻视图之间的视差(也称为虚拟深度)，可以利用校准对象来确定由于微透镜阵列而导致的放大率：
[0100][0101]
其中d
mla
是微透镜阵列的间距，并且x
″
i
(z)是第i个微透镜的图像中的公共物点的(z相关)位置。为了确定m
ml
的正确符号，必须知道微透镜阵列是放置在显微镜像平面的像平面的上游还是下游。在第一种情况下，微透镜阵列成像为虚拟图像，而在第二种情况下，微透镜阵列成像为真实图像。通常，这并不限制该方法的适用性，因为显微镜像平面的位置或者位于原始(native)图像传感器位置处，或者可以通过沿着显微镜物镜下游的z轴相对于微透镜阵列移动图像传感器而容易地定位。注意，m
总
的符号也可以根据m
物镜
和m
ml
的反转特性和相关符号而变化。然而，总放大率的符号改变仅导致物体空间的反转，这通常是无关紧要的。换言之，仅需要知道微透镜阵列是插入在显微镜的原始像平面与上游光学器件之间还是插入在原始像平面的下游。不必知道微透镜阵列和原始像平面之间的精确距离。
[0102]
将在以下章节iv至章节vi进一步描述示例性校准对象的其它方面以及校准对象用于测量总放大率值和微透镜放大率值、径向畸变值和点扩散函数的用途。
[0103]
iv.实现几何映射的校准对象
[0104]
本章节描述了示例性校准对象，如校准对象54的实施例102所例示的；参见图7、图8a、图8b和图9。
[0105]
校准对象54可以包括位于背景层中和/或背景层上的至少一个光学可检测标记。该至少一个标记和背景层在至少一个光学特性方面(诸如透射率、反射率、光致发光和/或类似特性)彼此不同。例如，响应于来自光场成像系统的光源的光辐射的照射，每个标记可以比背景层具有基本上更大的透射率、反射率和/或光致发光性，以允许标记与背景层光学地区分。可互换地将每个标记或标记定义的特征称为基准。
[0106]
在一些实施例中，校准对象可以包括布置成二维阵列的多个光学可检测标记，该二维阵列平行于由背景层限定的平面。这些标记可以是单一类型，或者在光场成像系统中诸如通过尺寸、形状和/或光学特性而彼此光学可区分的至少两种类型。
[0107]
标记的至少子集可以沿着多个平行线和/或沿着多个非平行线(例如，彼此正交的线)布置，以形成栅格。因此，标记的该至少子集可以限定栅格和/或可以布置成其中心在栅
格的节点处。栅格可以是矩形的或六边形的等。栅格的相邻节点之间的周期(即，间隔)可以沿着栅格的至少一个轴线和/或沿着由栅格限定的一对非平行(例如，正交)轴线是均匀的。相同的第一类型的标记(例如，具有相同的尺寸和/或形状)可以仅位于栅格内的节点的子集处，以创建具有第一周期的第一重复结构。栅格内的其它节点处可以存在第二类型的标记或不存在标记，以限定具有第二周期的第二重复结构。第二周期可以是第一周期的整数倍。
[0108]
每个标记可以具有任何合适的尺寸和形状，并且这些标记可以共同地限定任何合适的间隔和/或周期。每个标记的尺寸可以被限定并且可以是已知的。示例性标记尺寸包括小于约100微米、50微米、25微米、20微米、15微米、10微米、5微米或2微米等的宽度和/或直径。至少一种类型的标记的尺寸可以小于由标记限定的周期，例如，周期是尺寸的至少2倍、3倍或4倍。
[0109]
每个标记可以具有通过任何合适的加工形成的任何合适的结构。标记可以是背景层中的开口，诸如针孔或狭缝等。开口可以通过材料去除，诸如激光钻孔(例如，激光诱导的向前转移)、光刻等在背景层中产生。在其它实施例中，标记可以是背景层的化学改变区域，诸如漂白区域等。在其它实施例中，可以通过将材料沉积到背景层上来创建标记。沉积的材料可以是例如光致发光的或反射的等。
[0110]
校准对象54可满足本段落中所述的第一要求。校准对象可以包含明确限定尺寸的至少一个光学可检测标记，或者明确限定周期(或间隔)的至少两个标记的布置，以使得能够针对z位置的范围测量光场系统的总放大率。标记的最大适当尺寸或布置的周期仍然允许标记或布置在被明确校准的z位置的整个轴向范围上全部成像在单个微透镜子图像中。标记的最小尺寸或布置可以由光场系统的横向分辨率确定。更具体地说，标记或布置应当足够大，使得标记或布置可以被解析用于物体空间中的所有明确校准的z位置。
[0111]
校准对象54可满足本段落中所述的第二要求。校准对象可以包含标记的特定实例，或者由至少两个标记限定的特征的特定实例，校准对象被成像在光场图像的至少两个微透镜子图像中，并且校准对象的位置可以利用像素分辨率或更好地被确定，以使得能够测量物体空间中的多个z位置的微透镜放大率。该位置可以是例如标记或特征的边缘、拐角或质心。用于测量总放大率的标记或特征的类型或实例可以与用于测量微透镜放大率的类型或实例相同或不同。
[0112]
校准对象可以通过包含仅单一类型标记的一个实例、仅一种类型标记的多个副本、或至少两种不同类型的可区别标记的多个副本等来满足上述第一要求和第二要求。例如，校准对象可以具有单个周期性布置或者由一种或多种类型的标记的副本形成的两个或更多个不同周期性布置的叠加。在叠加的两个周期性布置的情况下，至少一个布置的周期应当是精确已知的，并且该结构应当满足第一要求和第二要求。只要满足上述第一要求和第二要求，不同布置的周期彼此之间不必具有明确的关系。
[0113]
校准对象不需要覆盖整个视场。如果已知尺寸的相关标记或标记布置可以在相关z位置的整个范围上成像在两个微透镜图像中就足够了。为了能够确定放大参数中的局部像差并提高精确度，使其校准对象的标记分布或延伸跨越大部分或全部视场是有利的。换言之，校准对象的至少一个标记可以在校准对象的所捕获的每个光场图像的至少50％、75％、80％、90％或所有子图像中表示，以便校准光场成像系统。
[0114]
在图7、图8a、图8b和图9中示出了示例性的校准对象102，其中透光区域以黑色表示，而阻光区域以白色表示(除了图9中之外)。校准对象可以包括具有平坦的顶部或底部表面106的平坦基板104。背景层108可以结合或以其它方式附接到表面106。背景层形成或支撑至少一个或多个光学可检测标记110，每个光学可检测标记具有上述特性的任何合适的组合。在所描绘的实施例中，标记110由针孔112产生，这些针孔对于用于照明和/或成像的光辐射的波长是光学透射的(参见图9)。此外，基板104对于光辐射可以是基本上透射的或透明的，并且背景层108对于光辐射可以是基本上非透射的(即，阻挡或不透明的)。在一些实施例中，可以从校准对象102省略基板104，使得背景层108和/或校准对象102仅是单层。
[0115]
为了能够以高精确度确定放大参数(通过对若干测量结果求平均值)并且能够根据平均值来表征局部像差(例如，由于光学像差)，校准对象102可以包括在整个视场上延伸的至少两个周期性布置的叠加。例如，在图8a中，两个周期性布置是可见的，两个周期性布置即，限定标记周期114(其沿着一对正交横向轴线可以是相同的)的标记110的第一周期性布置，以及周期性地缺失标记110的特征116的第二周期性布置(通常用虚线框指示)。特征116限定特征周期118，该特征周期沿着一对正交横向轴线可以是相同的。图8b示出了由标记110的第一周期性布置限定的并且叠加在校准对象上的矩形栅格120。如图8b所示，标记110可以从栅格120的节点122周期性地缺失，以创建第二周期性布置。在其它实施例中，不同类型的标记可以存在于这些节点处(例如，参见示例1)。在其它实施例中，第二周期性布置可以相对于栅格120偏移和/或可以具有与栅格120的节点间隔无关的特征周期118。
[0116]
标记周期114可用于确定总放大率。可以优化该周期，使得对于每个z位置，由每个微透镜对多个相邻的标记110对成像，这可以允许以高精确度确定总放大率及其任何局部像差。在一些情况下，可以在每个微透镜图像的每个横向维度上对标记周期114的至少2个、3个、4个或更多个实例进行成像。
[0117]
校准对象102具有有固定周期的二维阵列的标记110，标记110可以用于确定(即，作为z位置和微透镜/位置的函数的总放大率)，并且校准对象102满足上述第一要求。在该周期性结构中，每第n个标记110省去(例如，其中n至少为2、3、4、5或更大)。这些省去标记110构成第二周期性特征116，第二周期性特征116用于确定作为z位置的函数的微透镜的放大率，并且满足上述第二要求。可以通过相邻栅格节点之间的高精确度内插(或从相邻栅格节点外推)来确定栅格120省去标记110的每个节点122的精确位置。如果标记110的尺寸与衍射极限分辨率类似或小于衍射极限分辨率，则也可以提取系统的点扩散函数。
[0118]
用于确定微透镜放大率的值的特征116的周期性布置满足上述第二要求。通常选择特征的周期，使得相邻子图像134中的特征的特定实例的对应性被唯一地限定。为了满足这个标准，如果每个微透镜仅对特征116的一个实例成像就足够了。如果每一微透镜对特征的多个实例成像，则应选择周期以使得可通过简单假设(例如，从两个子图像之间的对应性的所有可能组合提取的m
ml
的所有可能值中m
ml
的正确值是最接近于零的值)来建立相邻视图中的特征的实例之间的对应性。
[0119]
各种其它校准对象可以适合于光场成像系统，并且可以满足上述第一要求和第二要求。例如，校准对象可以包括用于确定要求。例如，校准对象可以包括用于确定的限定尺寸的标记110的仅单
个实例，诸如圆等。圆的质心可以用于确定m
ml
(z)。在其它示例中，校准对象可以具有形成具有已知周期的周期性线光栅的标记，以允许确定为了确定m
ml
(z)，可以使用光栅的一个线的拐角。
[0120]
v.校准和映射的方法
[0121]
本章节描述了校准光场显微镜以及在校准之后在光场空间与物体空间之间映射的示例性方法。可以使用本公开的系统部件、校准对象和/或其它方面中的任何方面以任何合适的顺序和组合来执行在本章节中描述的方法步骤。本文公开的方法步骤中的每一个可由计算机执行和/或在计算机的控制下执行。该方法步骤以校准对象102和配备有微透镜74的十乘十阵列72的光场成像系统50为例示；参见图10至图14(还参见图1、图2以及图7至图9)。
[0122]
校准对象可以放置在光场成像系统50的载台56上，并且位于物体空间中的相关z位置处。在相关的z位置，校准对象与物体空间内的感兴趣的体积相交，在该物体空间中，将放置样品或其它感兴趣物体以用于成像。为了校准，可以记录校准对象的光场图像的z堆叠。更具体地，通过沿z轴线(即，平行于光轴60)调节光场显微镜52的载台56或采集模块66的位置，可以在物体空间中的校准对象的至少两个、三个或更多个相关z位置中的每一个处利用光场成像系统的图像传感器76捕获校准对象的相应光场图像。校准对象的横向位置(与光轴60正交)对于所捕获的光场图像可以相同或不同，但是通常没有动机在利用相同校准对象进行校准期间改变该横向位置。
[0123]
图10至图12示出了校准对象102的示例性负光场图像130，校准对象102可以在校准对象由载台56支撑在z位置之一处的同时由光场成像系统50的图像传感器76捕获(还参见图7至图9)。光场图像130由子图像134的阵列132组成，每个子图像134对应于阵列72的不同微透镜74并由不同微透镜74产生。子图像134可以彼此分开(即，不重叠)以便于随后的图像处理，或者可以稍微重叠。相邻子图像134之间的间隔距离通常被最小化以使每个子图像所包含的图像数据量最大化。
[0124]
子图像134表示校准对象102的重叠视图，并且沿着由光场图像130限定的横向轴线136、138布置。因此，校准对象102的给定标记110和/或特征116可以由沿每个轴线136、138的至少两个相邻子图像134中的相应(成像的)标记140和/或(成像的)特征142表示。例如，在所描绘的实施例中，在光场图像130中更居中成像的校准对象102的标记110和特征116各自可以呈现在约三乘三的子图像134阵列中，但是在其它实施例中，每个标记/特征可以呈现为光场图像130的更小或更大的子图像134的二维阵列。
[0125]
给定的成像标记140或成像特征142的位置由于视差而在相邻子图像134中沿着每个轴线136、138移位。如本文中别处所描述的，该移位的程度可用于计算微透镜74的放大率。图11示出了表示校准对象102中的特征116的相同实例的特征142a如何在沿着轴线136的连续子图像之间偏移大约两列标记140，以及在沿着轴线138的连续子图像之间偏移大约两行标记140。
[0126]
可以为每个光场图像限定光轴。真实光轴与微透镜阵列和光场图像的实际交叉通常是未知的。相反，虚拟(全局)光轴可以在光场图像的预处理期间通过任何合适的方法来限定。例如，光场图像可以被居中并被裁剪，使得每个横向维度中的两个中央子图像在子图像阵列的中间精确地相遇，即，在子图像阵列的四个中心像素相遇的地方。该点可以被定义
为虚拟光轴与微透镜阵列到光场空间中的正交投影相交的点。(可以假设这样定义的虚拟光轴也在四个微透镜之间的居中的点处与物理微透镜阵列相交)。光轴的这种限定对于校准(其中仅评估光场图像中的距离)以及从光场空间映射到物体空间(例如，基于等式1)来说都是足够的(还参见章节iii)。利用光轴的这种限定，映射足够精确，因为真实光轴和虚拟光轴之间的移位对应于物体空间中的全局移位，这对于大多数应用并不重要。图10和图11示出了根据该方法限定的光场图像130中的虚拟光轴144。
[0127]
可以识别每个校准光场图像的子图像。例如，可以通过处理光场图像来确定每个子图像的中心点、尺寸和/或边界。图13示出子图像134之一，对于该子图像识别中心146和边界148。
[0128]
可以检测每个子图像134内的标记/特征的位置。例如，可以针对每个标记140(和/或特征142，如果该特征是由与标记140不同类型的标记创建的(例如，参见示例1))确定质心或最大强度点。
[0129]
可以使用检测到的标记/特征的位置通过四边形法(quadrangulation)为每个子图像创建网格。图13示出了由四边形法创建的示例性网格150。网格150对应于由校准对象102限定的栅格120的一部分。如果系统光学器件(例如，微透镜阵列)没有产生实质上的畸变，则网格可以是矩形的，如图所示。图14示出了校准对象102的示例性子图像152，其中枕形径向畸变由微透镜阵列72的相应微透镜74产生。这里，网格150不是矩形的。在其它情况下，径向畸变可以是桶形畸变。
[0130]
可以检测校准对象的成像特征。例如，可以识别表示成像特征142的网格150的节点(其中标记140从其周期性布置中省去)并且确定它们的位置(参见图13)。在其它实施例中，可以检测由不同类型的标记(例如，参见示例1)产生的成像特征，并且确定它们的位置。
[0131]
可以确定光场成像系统的总放大率。该总放大率可以根据等式11来计算：
[0132][0133]
其中dist
lf
是光场图像的子图像内的两个点之间的距离，并且dist
ob
是物体空间中的相同的两个点之间的距离。这两个点由校准对象在物体空间和二维光场空间中限定，并且可以由校准对象的单个标记(例如，限定尺寸的标记的特征尺寸(诸如直径或长度))或相邻的标记对(例如，标记对之间的中心到中心或边缘到边缘距离)等提供。在示例性实施例中，物体空间中的距离是已知的标记周期114(例如，参见图8a)，并且二维光场空间中的对应距离是测量周期156(参见图12)。
[0134]
在一些实施例中，测量周期156可以通过将成像标记140的位置拟合到规则栅格来确定。栅格的周期提供了用于等式11的dist
lf
。
[0135]
可以确定全局总放大率。例如，全局总放大率可以被计算为在已知周期114上的测量周期156的平均值。局部像差可以以约一个周期的分辨率来确定，并且因此可以被并入到重建过程中(例如，参见章节iii)，诸如通过采用局部变化的总放大率或者通过在预处理步骤中校正所捕获的光场图像。
[0136]
可确定至少一个微透镜放大率。例如，可以确定微透镜阵列的平均微透镜放大率，然后用于从光场空间到物体空间的映射，或者可以确定微透镜特定放大率并将其用于映射。通过测量校准对象的相同物点的不同视图之间的视差来确定微透镜阵列的放大率。只
要对相同的物点成像，视图不必由彼此相邻的子图像提供。例如，微透镜放大率可以如等式12所示计算：
[0137][0138]
其中δ是基准物点的视差，n
‑
1是所考虑的两个视图之间的微透镜子图像的数量，并且d是微透镜阵列的周期。类似地，可以根据等式10确定微透镜放大率。例如，可以确定相邻子图像134中的给定特征142a之间的距离158(参见图11)，并且可以计算距离158与微透镜间距d
mla
的比率。微透镜阵列的(标称)间距的值可以从阵列的制造商处获得，或者可以由用户测量，等等。
[0139]
然后，可以对如上所述在限定的z位置处获得的总放大率值和微透镜放大率值进行内插或外推，以获得在未被特别校准的其它z位置处的相应放大率值。
[0140]
可以测量渐晕分布。例如，渐晕分布可以根据横向位置来描述成像标记140的强度。强度可以是每个成像标记的峰值强度、总强度等。
[0141]
可以确定每个光场图像的场畸变。场畸变可以是由光场图像的对应子图像中的微透镜阵列72的各个微透镜74引起的径向畸变，诸如枕形畸变或桶形畸变等。给定微透镜的径向畸变可以例如被计算为(i)对应子图像的测量标记位置与(ii)由标记位置限定的最小二乘拟合规则栅格的偏差。可以计算平均径向畸变，或者可以使用微透镜特定的径向畸变来进行映射。当从光场空间映射到物体空间(即，从样品或其它感兴趣物体的捕获的光场图像)时，可以在映射函数(例如，等式1)中考虑径向畸变。例如，可以使用取决于子图像点到微透镜子图像中心的径向距离的校正因子来考虑径向畸变。物镜的全局径向畸变也可以或替代地被评估，通常具有每个微透镜的尺寸的量级的分辨率。可以评估跨微透镜阵列的每个微透镜的平均总放大率的值的变化以确定全局径向畸变。
[0142]
可以根据每个校准光场图像的子图像中的至少一个来确定点扩散函数。例如，可以利用子图像中的成像标记140和校准对象的对应标记110执行去卷积操作，以计算创建子图像的微透镜的点扩散函数。可以针对微透镜阵列计算平均点扩散函数，以与光场图像中捕获的所有子图像一起使用，以便映射到物体空间中。作为选择，可向每个微透镜指定将用于映射的不同点扩散函数。
[0143]
可以基于一阶光学(共线变换)(诸如在等式1中)来执行物体空间和光场图像空间之间的几何映射。该映射可以允许通过将光场图像从光场空间正向投影到物体空间的一个或多个平面来至少部分地重构物体。作为替代地或另外地，该映射可以允许通过将物体从物体空间向后投影到光场空间来重构光场图像(或其一部分)。形成二维图像或三维重建物体的正向投影可以校正由成像系统的微透镜和/或其它光学元件(例如物镜)产生的畸变(例如径向畸变)。作为替代地或另外地，正向投影可利用至少一个点扩散函数(例如，微透镜的平均点扩散函数)来减少模糊。
[0144]
vi.示例
[0145]
本章节描述本公开的光场成像系统、校准对象、校准方法和映射方法的所选实施例和方面。这些实施例和方面仅用于说明，而不应限制本公开的整个范围。
[0146]
示例1.其它校准对象
[0147]
该示例描述了可以适用于本公开的系统和方法的其它示例性校准对象54；参见图
15至图18。
[0148]
图15示出了校准对象54的示例性实施例170，该校准对象54具有位于同一矩形栅格的节点处的两种类型的周期性标记110、172。校准对象170类似于校准对象102(参见图7和图8a)，除了标记172代替了特征116(其通过在由标记110限定的栅格的节点处不存在任何标记而产生)。标记172的每个副本具有使其与标记110的每个副本在光学上可区分的尺寸和/或形状，并且可以周期性地重复以限定标记的特征周期118。
[0149]
图16示出了校准对象54的另一示例性实施例180，该校准对象54仅具有单一类型的标记110。校准对象180与校准对象102相同，除了每第十个标记110省去(而不是每第五个标记省去)，以形成特征116。
[0150]
图17和图18示出了校准对象54的又一示例性实施例190。校准对象54具有由彼此垂直布置的两组光栅194、196组成的重复单元192。在其它实施例中，校准对象可以仅提供一个单元192。
[0151]
示例2.校准数据
[0152]
该示例描述了作为z位置的函数测量的总放大率值和微透镜放大率值以及光场显微镜和校准对象的工作实施例；参见图19和图20。
[0153]
每个放大参数m(z)的测量的放大率值可以拟合为下面等式13中所示形式的函数，以允许外推和内插到未明确校准的其它z位置：
[0154][0155]
其中a和b是常数。其它拟合函数也可以合适的替代。
[0156]
示例3.所选实施例
[0157]
该示例将本公开的所选实施例描述为一系列带索引的段落。
[0158]
段落1.一种校准具有透镜阵列(例如，微透镜阵列)和图像传感器的光场成像系统的方法，该方法包括：(a)在校准对象位于多个不同的z位置处时，使用图像传感器捕获校准对象的光场图像的z堆叠；以及(b)根据z堆叠的每个光场图像确定光场成像系统的总放大率和透镜阵列的透镜放大率，可选地，成像系统具有载台，并且校准对象在每个z位置处由载台支撑。
[0159]
段落2.根据段落1所述的方法，还包括使用光场图像的z堆叠来计算作为校准对象的z位置的函数的点扩散函数。
[0160]
段落3.根据段落2所述的方法，其中，z堆叠的每个光场图像包括多个子图像，并且其中，计算点扩散函数包括根据光场图像的多个子图像计算平均点扩散函数。
[0161]
段落4.根据段落2或3所述的方法，其中，计算点扩散函数的步骤包括对z堆叠的每个光场图像的至少一部分执行去卷积操作。
[0162]
段落5.根据段落1至4中的任一项所述的方法，还包括使用光场图像的z堆叠来确定作为校准对象的z位置的函数的透镜阵列的至少一个透镜的径向畸变。
[0163]
段落6.根据段落5所述的方法，其中，径向畸变是作为校准对象的z位置的函数的透镜阵列的透镜的平均径向畸变。
[0164]
段落7.根据段落1至6中任一项所述的方法，其中，确定透镜放大率使用透镜阵列的间距来针对z位置中的每一个计算透镜阵列的至少一个透镜放大率。
[0165]
段落8.根据段落1至7中任一项所述的方法，其中，校准对象具有至少一种类型的被布置成形成第一周期性重复部和第二周期性重复部的标记，其中，第一周期性重复部用于确定在z位置中的每一个处的总放大率，并且其中，第二周期性重复部用于确定在z位置中的每一个处的至少一个透镜放大率。
[0166]
段落9.根据段落8所述的方法，其中，z堆叠的每个光场图像由子图像的二维阵列组成，并且其中子图像中的第一周期重复的周期小于每个子图像的直径。
[0167]
段落10.根据段落8或9所述的方法，其中，第一周期性重复部由重复多次以限定栅格的标记形成，并且其中，第二周期性重复部由标记从栅格的节点的周期性地缺失形成。
[0168]
段落11.根据段落1至10中任一项所述的方法，其中，校准对象包括针孔的二维阵列。
[0169]
段落12.根据段落11所述的方法，其中，针孔位于栅格的节点处。
[0170]
段落13.根据段落12所述的方法，其中，针孔从栅格的节点周期性地缺失。
[0171]
段落14.段落1至13中任一项所述的方法，其中，校准对象具有标记的阵列，每个标记位于同一栅格的不同节点处，其中，每个标记是透光的或发光的(例如，光致发光的)，并且其中栅格内的节点的子集是不具有透光的或发光的标记的非透光节点或非发光节点。
[0172]
段落15.根据段落14所述的方法，其中，非透光节点或非发光节点在栅格内的两个维度上周期性地重复。
[0173]
段落16.根据段落1至15中的任一项所述的方法，该方法还包括捕获物体的光场图像；以及使用对应于物体空间的平面的成像系统的总放大率和对应于该平面的透镜阵列的至少一个透镜放大率将光场图像投影到该平面中。
[0174]
段落17.根据段落16所述的方法，其中，投影使用至少一个点扩散函数来减少模糊，并且其中至少一个点扩散函数根据z堆叠的光场图像中的一个或多个光场图像来计算。
[0175]
段落18.根据段落16或17所述的方法，其中，投影包括校正由透镜阵列的透镜产生的径向畸变。
[0176]
段落19.一种光场成像系统，包括：(a)校准对象；(b)可选的载台，其用于支撑校准对象；(c)光源，其照射校准对象；(d)物镜，其采集来自被照射的校准对象的光；(e)透镜阵列(例如，微透镜阵列)，其位于物镜的下游；(f)图像传感器，其用于捕获校准对象的光场图像；以及(g)计算机，其被配置为根据光场图像确定透镜阵列的总放大率和透镜放大率。
[0177]
段落20.根据段落19所述的系统，其中，计算机被配置为根据光场图像计算至少一个点扩散函数。
[0178]
段落21.根据段落20所述的方法，其中，计算机被配置为对光场图像的至少一部分执行去卷积操作以计算至少一个点扩散函数。
[0179]
段落22.根据段落19至21中任一项所述的系统，其中，计算机被配置为根据光场图像确定透镜阵列的至少一个透镜的径向畸变。
[0180]
段落23.根据段落22所述的系统，其中，计算机被配置为根据光场图像确定透镜阵列的透镜的平均径向畸变。
[0181]
段落24.根据段落19至23中任一项所述的系统，其中，校准对象包括至少一种类型的被布置成用于形成第一周期性重复部和第二周期性重复部的标记，其中，计算机被配置为使用第一周期性重复部来确定总放大率，并且其中，计算机被配置为使用第二周期性重
复部来确定透镜放大率。
[0182]
段落25.根据段落24所述的系统，其中，第一周期性重复部由重复多次以定义栅格的标记形成，并且其中，第二周期性重复部由标记从栅格的节点的周期性地缺失形成。
[0183]
段落26.根据段落24或25所述的系统，其中，校准对象限定针孔的二维阵列。
[0184]
段落27.根据段落26所述的系统，其中，针孔的二维阵列是矩形阵列。
[0185]
段落28.根据段落27所述的系统，其中，针孔位于栅格的节点处，并且其中针孔从栅格内的其它节点周期性地缺失。
[0186]
段落29.根据段落28所述的系统，其中，针孔周期性地缺失的其它节点不是透光的。
[0187]
段落30.根据段落26至29中任一项所述的系统，其中，针孔的二维阵列中的针孔具有基本上相同的尺寸。
[0188]
段落31.根据段落19至30中任一项所述的系统，其中，校准对象具有位于同一矩形栅格的节点处的标记的阵列，其中标记中的每一个是透光的或发光的，并且其中矩形栅格内的节点的子集缺少标记中的一个并且不是透光的或发光的。
[0189]
段落32.一种用于光场成像系统的校准对象，该校准对象包括：基本上阻挡至少一个预定波长的光辐射的透射并且限定对于该光辐射透射的多个开口的层，该开口限定栅格；其中栅格内的节点的周期性二维子集中的每个节点(i)在该层中没有开口并且对于光辐射是不透射的，或者(ii)具有在尺寸和/或形状上与多个开口中的每个开口可区分的不同类型的开口。
[0190]
段落33.根据段落32所述的校准对象，其中，该层被结合到对于光辐射是透射的基板。
[0191]
段落34.根据段落32或33所述的校准对象，其中，至少一个预定波长包括紫外辐射、可见光和/或红外辐射。
[0192]
段落35.一种使用光场成像系统将物体的光场图像投影到物体空间中的方法，该方法包括：(a)捕获被支撑在物体空间中的物体(可选地通过载台)的光场图像；以及(b)使用与物体空间的平面相对应的显微镜的总放大率的值以及与该平面相对应的透镜放大率的至少一个值，将光场图像的像素几何地映射到该平面。
[0193]
段落36.根据段落35所述的方法，其中，映射使用点扩散函数来减少模糊。
[0194]
段落37.根据段落35或36所述的方法，其中，光场成像系统包括透镜阵列，并且其中，映射校正由透镜阵列在光场图像中产生的径向畸变。
[0195]
段落38.根据段落35至37中任一项所述的方法，其中，映射包括在三维中重构物体。
[0196]
段落39.根据段落35至38中任一项所述的方法，还包括根据由光场成像系统的图像传感器捕获的光场图像来限定成像系统的虚拟的全局光轴的位置，其中，在光场空间和物体空间中相对于虚拟的全局光轴执行映射。
[0197]
段落40.根据段落35至39中任一项所述的方法，其中，物体包括多个生物细胞。
[0198]
本公开中使用的术语“示例性”意味着“说明性的”或“用作示例”。类似地，术语“例示”意味着“通过给出示例来说明”。这些术语既不意味着可取性也不意味着优越性。
[0199]
上述公开内容可以涵盖具有独立效用的多个不同的发明。尽管这些发明中的每一
个都以其优选形式公开，但是这里公开和示出的其具体实施例不应被认为是限制性的，因为许多变化是可能的。本发明的主题包括这里公开的各种元件、特征、功能和/或特性的所有新颖和非显而易见的组合和子组合。本公开的权利要求特别指出了被认为是新颖的和非显而易见的某些组合和子组合。在特征、功能、元件和/或特性的其它组合和子组合中实施的发明可以在要求本技术或相关申请的优先权的申请中要求保护。无论是针对不同的发明还是针对相同的发明，并且无论是比原始权利要求的范围更宽、更窄、相等或不同，这样的权利要求也被认为包括在本公开的发明的主题内。此外，除非另外具体说明，否则用于所标识的元件的诸如第一、第二或第三的顺序指示符用于区分元件，而不指示这些元件的特定位置或顺序。