增加结构化照明显微术的计算效率的制作方法

增加结构化照明显微术的计算效率
1.优先权申请
2.本技术要求以下美国临时专利申请的权益并且这些美国临时专利申请以引用方式并入本文：2019年10月21日提交的名称为“systems and methods for structured illumination microscopy”(代理人案卷号illm 1012-1)的美国临时专利申请号62/924,130以及2019年10月21日提交的名称为“increased calculation efficiency for structured illumination microscopy”(代理人案卷号illm 1022-1)的美国临时专利申请号62/924,138。本技术还要求以下美国非临时专利申请的优先权并且这些美国非临时专利申请以引用方式并入本文：2020年10月21日提交的名称为“systems and methods for structured illumination microscopy”(代理人案卷号illm 1012-2)的美国非临时专利申请号17/075,692以及2020年10月21日提交的名称为“increased calculation efficiency for structured illumination microscopy”(代理人案卷号illm 1022-2)的美国非临时专利申请号17/075,694，这两者均要求前述临时申请的权益。
3.文献并入
4.以下文献以引用方式并入，即如同在本文完整示出一样，以用于所有目的：2018年6月29日提交的名称为“device for luminescent imaging”的美国临时申请号62/692,303(未公开)和2019年6月29日提交的名称为“device for luminescent imaging”的美国非临时专利申请(代理人卷案号ip-1683-us)。
技术领域
5.本发明所公开的技术涉及结构化照明显微术(sim)。特别地，本发明所公开的技术涉及实时捕获和处理大图像平面上的大量图像区块，将它们划分为子区块，有效地处理这些子区块，以及从这些子区块产生增强分辨率的图像。这些增强分辨率的图像可组合成增强图像，并且可用于后续分析步骤。
6.本发明所公开的技术涉及结构化照明显微术。特别地，本发明所公开的技术涉及减少实时处理大图像平面上的大量图像区块所需的计算，以及从图像区块/子区块产生增强分辨率的图像。在sim处理链中的一些中间变换期间，原本需要的几乎一半的乘法和除法可通过使用所描述的对称性的特定利用的查找操作来替换。


背景技术：

7.本部分中讨论的主题不应仅因为在本部分中有提及就被认为是现有技术。类似地，在本部分中提及的或与作为背景技术提供的主题相关联的问题不应被认为先前在现有技术中已被认识到。本部分中的主题仅表示不同的方法，这些方法本身也可对应于受权利要求书保护的技术的具体实施。
8.十多年前，结构化照明显微术的先驱们获得了诺贝尔物理学奖。增强图像分辨率，超出阿贝衍射极限，是一项杰出的发展。
9.2d和3d sim两者均已应用于对生物样本(诸如单个细胞的一部分)进行成像。在研
究细胞内部的努力中，已经付出了很多努力，并产生了许多另选的技术变化。
10.对分布在图像平面上的数百万个源进行分辨与查看细胞内部相比呈现了很大不同的问题。例如，已出现的新方法中的一种方法将大量图像与镜面照明结合，以在大量计算之后产生增强分辨率的图像。在资源不多的情况下实时处理大图像平面，需要采取与最近此类工作完全不同的方法。
11.因此，出现了引入新方法和系统的机会，这些新方法和系统适于处理具有减少的计算资源要求的大图像平面。
附图说明
12.优先权申请中的彩图对应于本技术中的黑白图，可经由补充内容选项卡从美国专利商标局的pair中获得。在附图中，在所有不同视图中，类似的参考符号通常是指类似的部件。另外，附图未必按比例绘制，而是重点说明所公开的技术的原理。在以下描述中，参考以下附图描述了所公开的技术的各种具体实施，其中：
13.图1a示出了通过使用具有一维(1d)调制的光栅形成的莫尔条纹。
14.图1b呈现了由二维(2d)结构化照明图案产生的照明强度的图示。
15.图1c示出了纳米孔排列的示例几何图案。
16.图2示出了可利用空间结构化的激发光对样本进行成像的结构化照明显微术成像系统。
17.图3是示出双臂sim图像系统的示例光学配置的光学系统图。
18.图4a和图4b是示出双光栅滑动sim成像系统的光学配置的示例示意图。
19.图5a示出了可能在sim成像系统中发生的间距参数的不希望的变化。
20.图5b示出了可能在sim成像系统中发生的相位参数的不希望的变化。
21.图5c示出了可能在sim成像系统中发生的取向角度参数的不希望的变化。
22.图6示出了可通过sim成像系统的竖直和水平光栅投影到样本平面上的简化照明条纹图案。
23.图7示出了可通过双光栅滑动sim成像系统的第一光栅和第二光栅投影到平面上的简化照明条纹图案。
24.图8a是由于放大的透镜的失真而使平行线弯曲的简化描述。
25.图8b和图8c示出了标称平行线之间的间距。
26.图8d示出了全视场(fov)图像的子区块或子场的示例。
27.图9大致描绘了颜色编码的表面，该颜色编码的表面很好地拟合了以红色指示的观察到的数据点。
28.图10a和图10b示出了相对于近中心子场中的间距的测量间距的倒置碗形状。
29.图11a、图11b和图11c将测量间距失真与二次和三次表面拟合进行比较。
30.图12a示出了未通过曲线拟合平滑的测量数据点。
31.图12b示出了与二次拟合表面比较的实际数据。
32.图13a至图13e示出了通过沿传感器边界裁剪来改善曲线拟合。
33.图14a图解示出在不同收缩因子下均方误差(mse)的减少。
34.图14b至图14g示出了通过递增地增加应用于全fov图像数据的收缩因子来改善角
度失真模型的二次拟合。
35.图14h是示出当收缩因子的值为六时二次表面拟合的小幅改善的图表。
36.图15a和图15b示出了通过拟合全fov图像数据上的条纹间距失真(a)和条纹角度失真(b)而获得的响应表面的二次拟合。
37.图16a示出了子区块相位偏置从子区块坐标系到全fov图像坐标系的转换。
38.图16b示出了子区块中的点相对于子区块坐标系和全fov图像坐标系的位置。
39.图17是全fov图像中的子区块的示例相位偏差查找表。
40.图18是非冗余子区块sim图像重建算法中处理步骤的高级概述。
41.图19示出了具有偶数和奇数行和列的矩阵的傅立叶空间中的对称性。
42.图20示出了频域中的全矩阵的表示以一个照明峰值角度获取的三个获取的图像的非冗余半部分和冗余半部分。
43.图21示出了频域中的三个矩阵的表示以一个照明峰值角度获取的三个图像的非冗余半部分的再成形。
44.图22示出了通过将频带分离逆矩阵与来自图21的重成形矩阵相乘的频带分离过程。
45.图23a示出了应用于矩阵的(1,1)偏移操作的示例。
46.图23b和图23c示出了在非冗余sim图像重建中的第一列和中间列的平均。
47.图24是可用于实施本发明所公开的技术的计算机系统的简化框图。
48.图25a和图25b呈现了随着sim图像重建算法的更新，错误率和簇通过滤波的百分比(％pf)量度的改善。
49.图26a至图26c呈现了在测序运行中的多个循环中错误率的改善的图示。
50.图26d呈现了通过在baseline sim算法中包括相位学习和拼接固定技术而改善错误率的图表。
具体实施方式
51.呈现以下讨论以使得本领域的任何技术人员能够实现和使用所公开的技术，并且在特定应用及其要求的上下文中提供以下讨论。对所公开的具体实施的各种修改对于本领域的技术人员而言将是显而易见的，并且在不脱离所公开的技术的实质和范围的情况下，本文所定义的一般原理可应用于其他具体实施和应用。因此，所公开的技术并非旨在限于所示的具体实施，而是要符合与本文所公开的原理和特征一致的最广范围。
52.简介
53.二维和三维结构化照明显微术有助于研究人员研究活细胞的内部结构，并且甚至是生物材料的分子排列，因为它改善了图像捕获系统的分辨率。参见例如：sydor,andrew和czymmek,kirk和puchner,elias和mennella,vito(2015年)，“super-resolution microscopy:from single molecules to supramolecular assemblies”，trends in cell biology，第25卷，10.1016/j.tcb.2015.10.004；还有lal等人2015，a.,shan,c.和xi,p.，(2015年)“structured illumination microscopy image reconstruction algorithm”，ieee journal of selected topics in quantum electronics，第22卷第4期，第50-63页。对于希望重温sim处理的读者，lal等人2015年是插图和数学阐述的完美结合，只是没有推
导出所使用的方程。本公开将sim技术扩展到具有可单独使用或组合使用的几种技术的流动池的图像处理。
54.sim具有分辨来自流动池的密集填充样本的潜力，该流动池具有来自数百万个样本点的荧光信号，从而减少了处理所需的试剂并提高了图像处理的吞吐量。诀窍是使用sim技术分辨密集填充的荧光样本，它们之间的距离甚至比分辨相邻光源的阿贝衍射极限更靠近。这些样本可以是规则间距的纳米孔，或者它们可以是随机分布式簇。以下的大部分描述针对图案化纳米孔，但是sim技术也适用于随机分布式簇。
55.与透镜失真和所需计算资源相关的技术问题出现在分辨密集填充源时。本公开解决了那些技术问题。
56.结构化照明可产生具有比正常照明多几倍的分辨照明源的图像。无法简单创建信息。相反，使用具有结构化照明的不同角度和相位位移的多个图像将紧密间距的、否则无法分辨的高空间频率特征变换为可被光学系统感测的较低频率信号，而不违反阿贝衍射极限。该限制是由光和光学的性质物理上强加给成像的，并表示为照明波长和最终物镜的数值孔径(na)的函数。应用sim重建，将来自多个图像的信息从空间域变换为傅立叶域、组合并处理，然后重建成增强图像。
57.在sim中，在照明源和样本之间使用光栅或产生干涉图案，以产生照明图案，诸如强度根据正弦函数或余弦函数变化的图案。在sim上下文中，“光栅”有时用于指投影的结构化照明图案，此外还有产生结构化照明图案的表面。结构化照明图案可另选地生成为分裂相干光束的部分之间的干涉图案。
58.将结构化照明投影到样本平面上，例如在图1中，将照明图案与样本中的荧光(或反射)源混合以诱导新信号，有时称为莫氏条纹或混叠。这些新信号将高空间频率信息偏移到可在不违反阿贝衍射极限的情况下捕获的较低空间频率。在捕获用1d强度调制图案(如图1a所示)或用2d强度调制图案(如图1b所示)照明的样本的图像之后，求解线性方程组，并用于从莫尔条纹或混叠的多个图像中提取包含从较高空间频率偏移到较低空间频率的信息的新信号的一部分。为了解决线性方程，用逐步偏移或移位的结构化照明图案来捕获三个或更多个图像。通常，捕获每个角度(具有一个到五个角度)的不同相位(3个到7个相)的图像以用于分析，并且然后通过带分离以进行傅里叶域偏移和重组。增加图像的数量可通过增强信噪比来改善重建图像的质量。然而，它还可增加计算时间。对带分离的图像的傅立叶表示进行偏移并求和以产生重建总和。最终，逆快速傅里叶变换(fft)重建来自重建总和的新高分辨率图像。
59.应用该多图像和偏移方法仅增强1d结构化照明图案沿其偏移的特定方向的图像信息，因此旋转结构化照明或光栅图案，并重复偏移过程。可应用1d图案的旋转诸如45度、60度、90度或120度来以三步为一组生成六个或九个图像。环境因素，诸如蓝色和绿色激光对流动池表面分子的破坏、流动池表面区块的倾斜等，可能会导致全视场(fov)图像的图像子区块或子窗口的相位偏差估计失真。它们还可导致基底上的区块之间的差异。可执行sim图像重建参数的更频繁估计以补偿这些环境因素。例如，可针对每个区块、每个重建循环重新估计子区块的相位偏差以最小化这些误差。角度和间距参数不会像相位偏差那样频繁变化，并且因此，增加它们的估计频率可能会引入不必要的额外计算。然而，如果需要，可更频繁地计算角度和间距参数。
60.sim在流动池图像分析中的应用
61.对具有数百万个荧光样本的流动池进行成像更像是用望远镜扫描空间，而不是研究活细胞的微观结构。用经济型光学系统扫描流动池更像是用静态相机捕获图像，而不是使用帕洛玛山天文台的自适应光学系统。扫描流动池或天空涉及覆盖目标区块的大量图像，而不是在透镜的最佳位置对活细胞进行成像。覆盖任何目标所需的图像数量取决于每个图像区块的视场和重叠程度。经济型透镜在视场边缘会出现失真，这会使生成增强图像变得复杂。
62.sim重建中使用的计算对透镜失真、特定图像集中的图案对准以及在持续数小时的成像周期中对图案对准的热效应敏感。使用透镜的大部分而不是中心的最佳位置来增加视场使得sim图像的重建容易受到透镜像差引起的失真的影响。这些像差(诸如彗形象差)使结构化照明图案失真，并使得照明峰值的平行线看起来弯曲，如图8a中大致所示，改变了图案的亮度峰值和表观图案角度之间的距离。
63.实际仪器需要对区块的子区块上的失真和偏置进行映射的表征。由于流动池成像在循环中的持续时间，一些仪器将受益于在运行开始时甚至在运行期间更新的表征。在数百个循环中，经过数小时的流动池成像中的热变形，可使偶尔或定期再表征结构化照明的角度、间距和相位(偏移)非常有用。
64.当表征仪器时，可通过条纹峰值估计来确定投影结构化照明图案的角度(旋转)和间距(比例)。重复图案沿步进方向的估计相位或位移可表示为0度至360度的空间偏移，或者可以弧度表示。透镜上的失真使参数估计复杂化，从而导致从大量图像中进行计算上成本高昂的重建的提议。参见例如，ayuk等人(2013年)，“structured illumination fluorescence microscopy with distorted excitations using a filtered blind-sim algorithm”，optics letters，第38卷，第4723-4726页，10.1364/ol.38.004723；以及mudry等人，2012年，“structured illumination microscopy using unknown speckle patterns”，nature photonics，第6卷，第312-315页。本发明所公开的技术简化了重复参数估计并减少了重复估计循环所需的计算。
65.用于sim重建的实时参数估计在计算上是具有挑战性的。sim重建所需的计算能力随着图像场或子场中像素数量的三次关系而增加。例如，对于具有m个像素宽度和n个像素高度的图像，傅里叶变换可具有k*m*n(log(m*n))的计算复杂性。因此，sim图像重建的资源数量阶可随着图像中像素数量的增加而在二次o(n2)和三次o(n3)之间增加。因此，图像维度增加两倍(诸如从512
×
512到1024
×
1024)可导致计算成本增加多达八倍。在扫描进行时，以每0.3秒一次完整重建的速率，在cpu上从六个或九个2000万个像素的图像重建增强图像尤其具有挑战性。随着扫描和测序的进行，需要实时处理来减少存储需求，并经过数小时跟踪流动池处理的质量。本发明所公开的技术使用傅立叶域系数矩阵中的对称性和近似对称性减少了一些核心计算大约一半。
66.解决透镜失真
67.本发明所公开的技术通过将捕获的图像区块细分为子区块并以与其他子区块不同的方式处理近中心子区块，解决了对于在经济制造公差内的光学系统而言不太严重的透镜失真。由光学传感器捕获的图像可被称为区块。流动池的成像循环捕获了具有一些重叠的许多图像区块。每个图像区块被划分为独立评估的子区块。子区块可彼此独立地重建，甚
至并行地重建。可将来自增强的子区块的重建拼接在一起以创建具有增强的空间分辨率的重建区块。
68.本发明所公开的用于将近中心子区块的重建参数与其他子区块相关联的内推技术通过分段逼近来逼近非线性函数，诸如二次曲线。本发明所公开的技术将图像区块细分为子区块，使得峰值线在子区块内大致均匀地间隔开，从而从透镜的视场上的重建子区块获得更好的图像质量。
69.这种减轻条纹失真的子区块化方法创建了一个新问题：必须为每个子区块估计重建参数。参数估计是sim重建中最昂贵的设置，并且子区块化使参数估计运行时间增加了至少一个数量阶，例如，将图像划分为5
×
5子区块将创建慢25倍的算法。划分为8
×
11子区块的区块需要88组重建参数而不是仅一组。
70.本发明所公开的技术学习了映射失真的函数，从而减少了重复循环中的重新计算。学习的函数在循环和图像集之间保持有效，因为它映射了光学系统的光学表征，这些光学表征在光学系统发生变化时会发生变化，例如，通过重新对准。在估计循环期间，在仪器表征之间，昂贵的参数估计计算集中于单个近中心子区块。每个子区块的参数映射了从近中心、参考子区块和到其他子区块的循环的测量。
71.为子区块映射三个参数：照明峰值角度、照明峰值间距和相位位移。照明峰值角度也被称为光栅角度。照明峰值间距也被称为光栅间距。本发明所公开的技术使用二次表面失真模型来映射角度和间距。相位位移或简称为相位是投影到样本平面上的结构化照明图案或光栅的偏移。
72.可重复使用的间距和角度失真模型是使用子区块化方法先验计算的，以表征全fov。窗口或子区块方法将区块划分为图像的重叠窗口或子区块，并对每个子区块执行sim参数估计。然后将子区块参数估计结果馈送到最小二乘回归法中，这生成了失真的二次表面。然后，存储的方程系数可用于外推子区块或全视场图像中的任何位置处的参数。在另选具体实施中，可存储和使用系数，或者可将系数转换为子区块，即将近中心子区块与其他子区块相关的查找表。使用近似中心子区块作为参考，因为透镜的中心比边缘的失真更少。
73.对于子区块之间的相位关系，查找表优于曲线拟合，如下所呈现。
74.在持续数小时的运行过程中，可应用定期再表征以防止热不稳定性和由此产生的漂移。在已经重新确定外推因子之后，该过程继续通过外推将近中心子区块的参数估计外推到其他子区块，而无需对其他子区块进行昂贵的参数估计。
75.利用对称性来降低计算成本
76.当对单个池进行成像时，通常在专用硬件诸如gpu、fpga或cgra上对大量图像进行sim重建。使用丰富的计算资源，重建算法以完全冗余、中心偏移的傅里叶变换工作。相反，使用合理价格的cpu，我们公开了使用傅立叶变换图像的非冗余系数的sim重建。基于角偏移傅里叶变换空间中数据的对称性来描述具体实施。使用某些对称性会增加程序的复杂性，但可将核心计算集中的计算数据数量减少一半，并且所需的计算数量减少一半，同时保持几乎相同的精度。我们还减少了偏移组合的图像的傅立叶表示所需的计算。
77.适应2d照明图案
78.当与2d调制照明图案一起使用时，1d调制照明的标准算法需要修改。这包括照明峰值间距和照明峰值角度估计，这需要2d频带分离而不是1d。其还包括wicker相位估计，这
必须从两个点(而不是一个)工作，以便在2维中估计相位。1d干涉图案可由如图1a所示的一维衍射光栅产生，或者作为两个光束的干涉图案的结果。
79.图1b示出了可通过二维(2d)衍射光栅或通过四个光束的干涉产生的强度分布。两个光束沿y轴产生强度图案(水平亮线和暗线)，并且因此称为y对入射光束。另外两个光束沿x轴产生强度图案(竖直亮线和暗线)，并且被称为x对入射光束。y对与x对光束的干涉产生了2d照明图案。图1b示出了这种2d照明图案的强度分布。
80.图1c示出了位于矩形的角处的流动池表面处的纳米孔排列。当使用1d结构化照明时，选择照明峰值角度，使得沿连接矩形的成对角线的相对的角的线拍摄图像。例如，可以 45度和-45度角度拍摄两组三个图像(总共六个图像)。由于沿对角线的距离大于矩形任意两侧之间的距离，因此我们能够实现更高的分辨率图像。纳米孔可按其他几何布置(诸如六边形)来布置。然后可沿六边形的三个对角线中的每个对角线拍摄三个或更多个图像，从而产生例如九个或十五个图像。
81.本发明所公开的新技术和专用技术可单独或组合使用以改善扫描性能，同时在多个循环内检测分布在流动池上的数百万个样本的荧光。在以下章节中，我们介绍了术语，描述了可使用本发明所公开的技术改善的成像仪器，并且公开了可单独或组合使用的新图像增强技术。
82.术语
83.如本文所用以指代结构化照明参数时，术语“频率”旨在指结构化照明图案(例如，条纹或网格图案)的条纹或线之间的间距的倒数，因为频率和周期是逆相关的。例如，条纹之间具有更大间距的图案将具有比条纹之间具有较低间距的图案更低的频率。
84.如本文所用以指代结构化照明参数时，术语“相位”旨在指对样本进行照明的结构化照明图案的相位。例如，可通过相对于照明样本转换结构化照明图案来改变相位。
85.如本文所用以指代结构化照明参数时，术语“取向”旨在指结构化照明图案(例如，条纹或网格图案)和由图案照明的样本之间的相对取向。例如，可通过相对于照明样本旋转结构化照明图案来改变取向。
86.如本文所用以指代结构化照明参数时，术语“预测”(“predict”或“predicting”)旨在意指计算参数的值而不直接测量参数或从对应于该参数的捕获的图像估计参数。例如，可通过在时间t2和t3处直接测量或估计(例如，从捕获的相位图像)的相位值之间的内推，在时间t1处预测结构化照明图案的相位，其中t2《t1《t3。又如，可通过在时间t2和t3处直接测量或估计(例如，从捕获的相位图像)的频率值外推，在时间t1处预测结构化照明图案的频率，其中t2《t3《t1。
87.如本文所用以指代由衍射光栅衍射的光时，术语“阶”或“阶数”旨在意指整数波长的数量，其表示来自用于相长干涉的衍射光栅的相邻狭缝或结构的光的路径长度差。入射光束在重复系列的光栅结构或其他光束分离结构上的相互作用可将光束的部分从原始光束重定向或衍射成可预测的角方向。术语“零阶”或“零阶最大值”旨在指由不存在衍射的衍射光栅发射的中央亮条纹。术语“一阶”是指衍射到零阶条纹任一侧的两条亮条纹，其中路径长度差为
±
1个波长。较高阶从原始光束衍射成较大的角度。可操纵光栅的特性以控制多少光束强度被引导到不同阶。例如，可制造相位光栅，以最大化
±
1阶光束的透射，并且最小化零阶光束的透射。
88.如本文所用以指代样本时，术语“特征”旨在表示图案中的点或区域，其可根据相对位置区别于其他点或区域。单个特征可包括一种或多种特定类型的分子。例如，特征可包含具有特定序列的单个靶核酸分子，或者特征可包含具有相同序列(和/或其互补序列)的若干核酸分子。
89.如本文所用，术语“xy平面”旨在表示由笛卡尔坐标系中的直线轴x和y限定的2维区域。当参考检测器和检测器所观察的对象使用时，该区域可被进一步指定为与光束轴正交，或与检测器和所检测的对象之间的观察方向正交。
90.如本文所用，术语“z坐标”旨在表示指定沿着正交于xy平面的轴的点、线或区域的位置的信息。在特定具体实施中，z轴正交于检测器所观察的对象的区域。例如，光学系统的焦点方向可沿z轴指定。
91.如本文所用，术语“光学耦合”旨在指一个元件适于将光直接或间接地赋予另一个元件。
92.sim硬件
93.本章节基于申请人先前在2018年6月29日提交的美国临时申请号62/692,303(未公布)中所做的公开。结构化照明显微术(sim)描述了一种技术，通过该技术，空间结构化(即，图案化)光可用于对样本进行成像以将显微镜的横向分辨率增加两倍或更多。图1a示出了通过使用具有1d调制的光栅形成的莫尔条纹(或莫尔图案)。包含样本的表面通过光强度的结构化图案(通常为正弦的)照明，以实现莫尔条纹形成。图1a示出了当它们的频率矢量在频率或倒易空间中(a)平行和(b)不平行时的两个正弦模式。图1a是将高频空间信息偏移到可光学检测到的较低频率的典型图示。新信号被称为莫尔条纹或混叠。在一些情况下，在样本成像期间，以各种图案相位(例如，0
°
、120
°
和240
°
)获取样本的三个条纹图案图像，使得样本上的每个位置均暴露于一系列照明强度下，其中通过将图案取向围绕光轴旋转到2个(例如，45
°
、135
°
)或3个(例如0
°
、60
°
和120
°
)单独的角度来重复该过程。捕获的图像(例如，六个或九个图像)可组装成具有延伸空间频率带宽的单个图像，该单个图像可被重新变换为真实空间以生成具有比常规显微镜捕获的分辨率更高的分辨率的图像。
94.在sim系统的一些具体实施中，线性偏振光束被引导通过光束分束器，该光束分束器将光束分成两个或更多个单独阶，这些阶可被组合并作为具有正弦强度变化的干涉条纹图案投影到成像样本上。衍射光栅是可产生具有高度相干性和稳定传播角度的光束的分束器的示例。当组合两个此类光束时，它们之间的干涉可创建均匀、规则重复的条纹图案，其中间距由包括干涉光束之间的角度的因素确定。
95.图1b呈现了2d结构化照明的示例。2d结构化照明可由彼此叠加的两个正交1d衍射光栅形成。如同在1d结构化照明图案的情况下，可通过使用2d衍射光栅或通过创建规则重复的条纹图案的四个光束之间的干涉来生成2d照明图案。
96.在捕获和/或随后将图像组装或重建成具有延伸空间频率带宽的单个图像期间，可能需要考虑以下结构化照明参数：也被称为相对于照明样本的照明峰值角度的条纹图案的取向或角度、被称为照明峰值间距(即，条纹图案的频率)的相邻条纹之间的间距和结构化照明图案的相位位移。在理想的成像系统中，不受因素诸如机械不稳定性和热变化的影响，这些参数中的每一者将不会随时间推移而漂移或以其他方式改变，并且与给定图像样本相关联的精确sim频率、相位和取向参数将是已知的。然而，由于因素诸如激发光束路径
的机械不稳定性和/或成像样本的热膨胀/收缩，这些参数可随时间推移而漂移或以其他方式改变。
97.因此，sim成像系统可能需要估计结构化照明参数以考虑其随时间推移的变化。由于许多sim成像系统不实时执行sim图像处理(例如，它们离线处理捕获的图像)，因此此类sim系统可花费相当大量的计算时间来处理sim图像以估计该图像的结构化照明参数。
98.图2至图4b示出了三个此类示例sim成像系统。应当指出的是，虽然主要在生成1d照明图案的sim成像系统的上下文中描述了这些系统，但本文所公开的技术可用生成较高尺寸照明图案的sim成像系统(例如，二维网格图案)来实施。
99.图2示出了根据本文所述的一些具体实施的可实施结构化照明参数预测的结构化照明显微术(sim)成像系统100。例如，系统100可以是结构化照明荧光显微术系统，其利用空间结构化的激发光来对生物样本进行成像。
100.在图2的示例中，光发射器150被配置为输出由准直透镜151准直的光束。准直光由光结构光学组件155结构化(图案化)，并通过二向色镜160通过物镜142引导到定位在运动台170上的样本容器110的样本上。在荧光样本的情况下，样本响应于结构化激发光而发荧光，并且所得光由物镜142收集并引导到相机系统140的图像传感器以检测荧光。
101.光结构光学组件155包括一个或多个光学衍射光栅或其他光束分离元件(例如，分束器立方体或板)，以生成投影到样本容器110的样本上的光的图案(例如，条纹，通常为正弦的)。衍射光栅可以是一维或二维透射或反射光栅。衍射光栅可以是正弦振幅光栅或正弦相位光栅。
102.在一些具体实施中，衍射光栅可不利用旋转台来改变结构化照明图案的取向。在其他具体实施中，衍射光栅可安装在旋转台上。在一些具体实施中，衍射光栅可在成像系统的操作期间固定(即，不需要旋转或线性运动)。例如，在下文进一步描述的特定具体实施中，衍射光栅可包括彼此垂直取向的两个固定一维透射衍射光栅(例如，水平衍射光栅和竖直衍射光栅)。
103.如图2的示例中所示，光结构光学组件155输出衍射光束的一阶(例如，m＝
±
1阶)，同时阻断或最小化所有其他阶，包括零阶。然而，在另选具体实施中，可将额外的光阶投影到样本上。
104.在每个成像循环期间，成像系统100利用光结构光学组件155来获取各个相位的多个图像，其中条纹图案在调制方向上横向移位(例如，在x-y平面中并且垂直于条纹)，其中通过围绕光轴旋转图案取向(即，相对于样本的x-y平面)来重复该过程一次或多次。然后在计算上可重建捕获的图像以生成较高分辨率图像(例如，具有约两倍于单个图像的横向空间分辨率的图像)。
105.在系统100中，光发射器150可以是非相干光发射器(例如，发射由一个或多个激发二极管输出的光束)或相干光发射器(诸如由一个或多个激光器或激光二极管输出的光的发射器)。如系统100的示例中所示，光发射器150包括用于引导待输出的光束的光纤152。然而，可使用光发射器150的其他配置。在利用多通道成像系统(例如，利用多个波长的光的多通道荧光显微镜)中的结构化照明的具体实施中，光纤152可光学耦合到多个不同的光源(未示出)，每个光源发射不同波长的光。尽管系统100被示出为具有单个光发射器150，但在一些具体实施中，可包括多个光发射器150。例如，可在利用多个臂的结构化照明成像系统
的情况下包括多个光发射器，在下文进一步论述。
106.在一些具体实施中，系统100可包括镜筒透镜156，该镜筒透镜可包括透镜元件以沿z轴进行关节运动以调整结构化束形状和路径。例如，镜筒透镜的部件可进行关节运动以考虑容器110中样本的一系列样本厚度(例如，不同的盖玻片厚度)。
107.在系统100的示例中，流体递送模块或设备190可将试剂(例如，荧光标记的核苷酸、缓冲液、酶、裂解试剂等)流引导到(并通过)样本容器110和废液阀120。样本容器110可包括在其上提供样本的一个或多个基底。例如，在用于分析大量不同核酸序列的系统的情况下，样本容器110可包括待测序的核酸在其上结合、附着或相关的一个或多个基底。该基底可包括核酸可附着到其上的任何惰性基底或基质，例如玻璃表面、塑料表面、胶乳、葡聚糖、聚苯乙烯表面、聚丙烯表面、聚丙烯酰胺凝胶、金表面和硅晶片。在一些应用中，该基底在位于样本容器110上以矩阵或阵列形成的多个位置处的通道或其他区域内。系统100还可包括可任选地调节样本容器110内的流体条件的温度的温度站致动器130和加热器/冷却器135。
108.在特定具体实施中，样本容器110可被实施为图案化流动池，包括半透明盖板、基底和包含在其间的液体，并且生物样本可位于半透明盖板的内表面或基底的内表面处。流动池可包括大量(例如，数千、数百万或数十亿)的孔(也被称为纳米孔)或区域，这些孔或区域在基底上被设计成限定阵列(例如，六边形阵列、矩形阵列等)。每个区域可形成可例如使用边合成边测序来测序的生物样本(诸如dna、rna或另一个基因组材料)的簇(例如，单克隆簇)。流动池可进一步被划分为多个间隔开的泳道(例如，八个泳道)，每个泳道包括六边形阵列的簇。
109.样本容器110可安装在样本台170上，以提供样本容器110相对于物镜142的移动和对准。样本台可具有一个或多个致动器，以允许其以三个维度中的任一者移动。例如，就笛卡尔坐标系而言，可提供致动器以允许该样本台相对于物镜在x、y和z方向上移动。这可允许样本容器110上的一个或多个样本位置定位成与物镜142光学对准。样本台170相对于物镜142的移动可通过移动样本台本身、物镜、成像系统的一些其他部件或前述的任何组合来实现。另外的具体实施还可包括将整个成像系统移动到固定样本上。另选地，可在成像期间固定样本容器110。
110.在一些具体实施中，可包括聚焦(z轴)部件175以控制光学部件在聚焦方向(通常称为z轴或z方向)上相对于样本容器110的定位。聚焦部件175可包括一个或多个物理耦合到光学台或样本台或两者的致动器，以相对于光学部件(例如，物镜142)移动样本台170上的样本容器110，以为成像操作提供适当的聚焦。例如，致动器可物理耦合到相应样本台，例如通过机械、磁性、流体或其他附着或者直接或间接接触该样本台或与其接触。该一个或多个致动器可被配置为在z方向上移动样本台，同时将样本台维持在同一平面中(例如，维持垂直于光轴的水平或水平姿态)。该一个或多个致动器还可被配置为使该样本台倾斜。例如，这可以进行，使得样本容器110可动态地调平以考虑其表面上的任何斜率。
111.在成像的样本位置处从测试样本发出的结构化光可通过二向色镜160引导到相机系统140的一个或多个检测器。在一些具体实施中，可包括具有一个或多个发射滤波器的滤波器切换组件165，其中该一个或多个发射滤波器可用于通过特定发射波长并阻挡(或反射)其他发射波长。例如，该一个或多个发射滤波器可用于在成像系统的不同通道之间切
换。在特定具体实施中，发射滤波器可被实施为将不同波长的发射光引导到相机系统140的不同图像传感器的二向色镜。
112.相机系统140可包括一个或多个图像传感器，以监测和跟踪样本容器110的成像(例如，测序)。相机系统140可例如作为电荷耦合设备(ccd)图像传感器相机来实施，但可使用其他图像传感器技术(例如，有源像素传感器)。
113.来自相机系统140的输出数据(例如，图像)可被传送到可被实施为软件应用程序的实时sim成像部件191，如下文进一步描述，该软件应用程序可重建在每个成像循环期间捕获的图像以创建具有较高空间分辨率的图像。重建的图像可考虑随时间推移而预测的结构照明参数的变化。另外，sim成像部件191可用于跟踪预测的sim参数和/或在给定先前估计的和/或预测的sim参数的情况下对sim参数进行预测。
114.可提供控制器195以控制结构化照明成像系统100的操作，包括使系统100的各种光学部件同步。控制器可被实施以控制系统操作的各方面，例如，光结构光学组件155的配置(例如，衍射光栅的选择和/或线性转换)、镜筒透镜156的移动、聚焦、台移动和成像操作。控制器还可被实施以控制系统100的硬件元件，以随时间推移而校正结构化照明参数的变化。例如，控制器可被配置为将控制信号传输到控制光结构光学组件155、运动台170或系统100的一些其他元件的配置的马达或其他设备，以校正或补偿结构化照明相位、频率和/或取向随时间推移的变化。在具体实施中，可根据使用sim成像部件191预测的结构化照明参数来传输这些信号。在一些具体实施中，控制器195可包括用于存储对应于不同时间和/或样本位置的预测和/或估计的结构化照明参数的存储器。
115.在各种具体实施中，控制器195可使用硬件、算法(例如，机器可执行指令)或前述的组合来实施。例如，在一些具体实施中，控制器可包括一个或多个cpu、gpu或具有相关联存储器的处理器。又如，控制器可包括硬件或其他电路以控制操作，诸如计算机处理器和其中存储有机器可读指令的非暂态计算机可读介质。例如，该电路可以包括以下中的一者或多者：现场可编程门阵列(fpga)、专用集成电路(asic)、可编程逻辑设备(pld)、复杂可编程逻辑设备(cpld)、可编程逻辑阵列(pla)、可编程阵列逻辑(pal)和其他类似处理设备或电路。又如，控制器可包括该电路与一个或多个处理器的组合。
116.图3是示出根据本文所述的一些具体实施的可实施结构化照明参数预测的双臂sim成像系统200的示例光学配置的光学图。系统200的第一臂包括光发射器210a、用于准直由光发射器210a输出的光的第一光学准直器220a，相对于光轴的第一取向中的衍射光栅230a、旋转镜240a和第二光学准直器250a。系统200的第二臂包括光发射器210b、用于准直由光发射器210b输出的光的第一光学准直器220b，相对于光轴的第二取向中的衍射光栅230b、旋转镜240b和第二光学准直器250b。尽管在该示例中示出了衍射光栅，但在其他具体实施中，其他光束分离元件诸如分束器立方体或板的可用于分离在sim成像系统200的每个臂处接收的光。
117.每个光发射器210a至210b可以是非相干光发射器(例如，发射由一个或多个激发二极管输出的光束)或相干光发射器(诸如由一个或多个激光器或激光二极管输出的光的发射器)。在系统200的示例中，每个光发射器210a至210b是光纤，其输出由相应准直器220a至220b准直的光束。
118.在一些具体实施中，每个光纤可光学耦合到对应的光源(未示出)，诸如激光器。在
成像期间，可使用定位在光纤和光源之间的光学路径中的高速快门(未示出)或通过在成像期间以预先确定的频率对光纤的对应光源进行脉冲来开启或关闭每个光纤。在一些具体实施中，每个光纤可光学耦合到相同的光源。在此类具体实施中，分束器或其他合适的光学元件可用于将来自光源的光引导到光纤中的每一者中。在此类示例中，可使用定位在光纤和分束器之间的光学路径中的高速快门(未示出)来开启或关闭每个光纤。
119.在示例sim成像系统200中，第一臂包括固定竖直光栅230a，以将结构化照明图案或光栅图案投影到样本上的第一取向(例如，竖直条纹图案)上，并且第二臂包括固定水平光栅230b，以将结构化照明图案或光栅图案投影到样本271上的第二取向(例如，水平条纹图案)上。sim成像系统200的光栅不需要机械地旋转或转换，这可提供改善的系统速度、可靠性和可重复性。
120.在另选的具体实施中，光栅230a和230b可安装在相应线性运动台上，这些线性运动台可被转换以改变由光栅230a和230b发射的光的光学路径长度(并且因此改变相位)。这些台的线性运动的运动轴可垂直于或以其他方式偏置它们相应光栅的取向，以实现光栅的图案沿样本271的转换。
121.光栅230a至230b可以是透射衍射光栅，包括形成为玻璃基底或其他合适表面的多个衍射元件(例如，平行狭缝或凹槽)。光栅可被实施为提供光栅材料的折射率的周期性变化的相位光栅。可选择凹槽或特征间距以合适的角度衍射光并且调谐到成像样本的最小可分辨特征尺寸以用于sim成像系统200的操作。在其他具体实施中，光栅可以是反射衍射光栅。
122.在sim成像系统200的示例中，竖直和水平图案偏置约90度。在其他具体实施中，光栅的其他取向可用于创建约90度的偏置。例如，光栅可被取向成使得它们投影与样本271的x或y平面偏置
±
45度的图像。示例sim成像系统200的配置在具有矩形网格上的特征的规则图案化样本271的情况下可能特别有利，因为可仅使用两个垂直光栅(例如，竖直光栅和水平光栅)来实现结构化分辨率增强。
123.在系统200的示例中，光栅230a至230b被配置为将输入光束衍射成多个阶(例如，0阶、
±
1阶、
±
2阶等)，其中
±
1阶可投影在样本271上。如在该示例中所示，竖直光栅230a将准直光束衍射成一阶衍射光束(
±
1阶)，在页面的平面上展开一阶，并且水平光栅230b将准直光束衍射成一阶衍射光束，在页面的平面上方和下方(即，在垂直于页面的平面中)展开这些阶。为了改善系统的效率，可阻挡零阶光束和所有其他更高阶光束(即，
±
2阶或更高)(即，滤除投影在样本271上的照明图案)。例如，可在每个衍射光栅阻挡0阶光束和更高阶光束之后将光束阻挡元件(未示出)诸如阶滤波器插入光学路径中。在一些具体实施中，衍射光栅230a至230b可被配置为仅将光束衍射成仅一阶，并且0阶(未衍射光束)可被一些光束阻挡元件阻挡。
124.每个臂包括光学相位调制器或相移器240a至240b，以相位偏移由光栅230中的每一者输出的衍射光。例如，在结构化成像期间，每个衍射光束的光学相位可偏移结构化图案的每个条纹的间距(λ)的一部分(例如，1/2、1/3、1/4等)。在图3的示例中，相位调制器240a和240b被实施为可使用电流计或其他旋转致动器旋转并调节每个衍射光束的光学路径长度的旋转窗口。例如，窗户240a可围绕竖直轴旋转，以将由竖直光栅230a投影在样本271上的图像向左或向右偏移，并且窗口240b可围绕水平轴旋转，以将由水平光栅230b投影在样
本271上的图像向上或向下偏移。
125.在其他具体实施中，可使用改变衍射光的光学路径长度(例如线性转换台、楔形物等)的其他相位调制器。另外，尽管光学相位调制器240a至240b被示出为放置在光栅230a至230b之后，但在其他具体实施中，它们可放置在照明系统中的其他位置。
126.在另选的具体实施中，单相位调制器可在两个不同的方向上操作，用于不同的条纹图案，或者单相位调制器可使用单个运动来调整两个路径长度。例如，可在具有孔261的镜260之后放置大的旋转光学窗口。在这种情况下，可使用大窗口来代替窗口240a和240b，以调节由竖直和水平衍射光栅输出的两组衍射光束的相位。大旋转窗口的旋转轴不是关于光栅中的一者的光轴平行，而是可与竖直和水平光栅中的每一者的光轴偏置45度(或一些其他角度偏置)，以允许沿大窗口的一个公共旋转轴沿两个方向偏移相位。在一些具体实施中，可由围绕标称光束轴旋转的楔形光学器件替换大旋转窗口。
127.在示例系统200中，具有孔261的镜260以无损方式将两个臂组合到光学路径中(例如，除反射涂层中的小吸收之外，不显著损失光学功率)。镜260可定位成使得来自光栅中的每一者的衍射阶在空间上被分辨，并且可阻挡不需要的阶。镜260使第一臂输出的一阶光通过孔261。镜260反映由第二臂输出的一阶光。因此，通过打开或关闭每个发射器，或者通过打开和关闭引导光源的光穿过光纤电缆的光学快门，可将结构化照明图案从竖直取向(例如，光栅230a)切换到水平方向(例如，光栅230b)。在其他具体实施中，可通过使用光学开关来切换结构化照明图案，以改变照明样本的臂。
128.在示例成像系统200中还示出了镜筒透镜265、半反射镜280、物镜270和相机290。例如，镜筒透镜265可被实施以沿z轴进行关节运动以调整结构化光束的形状和路径。半反射镜280可以是二向色镜，以将从每个臂接收到的结构化照明光向下反射到物镜270中，以投影到样本271上，并使样本271发射的光(例如，荧光，其以与激发不同的波长发射)通过到相机290上。
129.来自相机290的输出数据(例如，图像)可被传送到可被实施为软件应用程序的实时sim成像部件(未示出)，如下文进一步描述，该软件应用程序可重建在每个成像循环期间捕获的图像以创建具有较高空间分辨率的图像。重建的图像可考虑随时间推移而预测的结构照明参数的变化。另外，实时sim成像部件可用于跟踪预测的sim参数和/或在给定先前估计的和/或预测的sim参数的情况下对sim参数进行预测。
130.可提供控制器(未示出)以控制结构化照明成像系统200的操作，包括使系统200的各种光学部件同步。控制器可被实施为控制系统操作的各方面，例如，每个光学臂的配置(例如，在捕获相位图像期间打开/关闭每个光学臂、相位调制器240a至240b的致动)、镜筒透镜265的移动、样本271的台移动(如果使用任何台的话)和成像操作。控制器还可被实施以控制系统200的硬件元件，以随时间推移而校正结构化照明参数的变化。例如，控制器可被配置为将控制信号传输到控制每个光学臂或系统100的一些其他元件的配置的设备(例如，相位调制器240a至240b)，以校正或补偿结构化照明相位、频率和/或取向随时间推移的变化。又如，当光栅230a至230b安装在线性运动台上时(例如，代替使用相位调制器240a至240b)，控制器可被配置为控制线性运动台以校正或补偿相位变化。在具体实施中，可根据使用sim成像部件预测的结构化照明参数来传输这些信号。在一些具体实施中，控制器可包括用于存储对应于不同时间和/或样本位置的预测和/或估计的结构化照明参数的存储器。
131.应当指出的是，为简单起见，可从前述讨论中省略sim成像系统200的光学部件。另外，尽管在该示例中将系统200示出为单通道系统，但在其他具体实施中，它可被实施为多通道系统(例如，通过使用两个不同的相机和在两个不同的波长中发射的光源)。
132.尽管系统200示出了包括以两个不同的角度取向的两个光栅的双臂结构化照明成像系统，但应当指出的是，在其他具体实施中，本文所描述的技术可使用多于两个臂来实施。在具有矩形网格上特征的规则图案化样本的情况下，可仅使用两个垂直角度(例如，竖直光栅和水平光栅)来实现分辨率增强，如上所述。另一方面，对于其他样本(例如，六角形图案化样本)的所有方向上的图像分辨率增强，可使用三个照明峰值角度。例如，三臂系统可包括三个光发射器和三个固定衍射光栅(每臂一个)，其中每个衍射光栅围绕系统的光轴取向，以在样本上投影相应图案取向(例如，0
°
图案、120
°
图案或240
°
图案)。在此类系统中，可使用具有孔的附加镜以无损方式将附加光栅的附加图像组合到该系统中。另选地，此类系统可利用一个或多个偏振分束器来组合光栅中的每一者的图像。
133.图4a和图4b是示出根据本文所述的一些具体实施的可实施结构化照明参数预测的双光学光栅滑动sim成像系统500的示例光学配置的示意图。在示例系统500中，可通过沿单个运动轴线性转换运动台530来进行对样本570上投影的结构化照明图案或光栅图案的所有改变(例如，图案相位偏移或旋转)，以选择光栅531或532(即，选择光栅取向)或相位偏移光栅531至532中的一者。
134.系统500包括光发射器510(例如，光学耦合到光源的光纤)、用于准直由光发射器510输出的光的第一光学准直器520、安装有第一衍射光栅531(例如，水平光栅)和第二衍射光栅532(例如，竖直光栅)的线性运动台530、镜筒透镜540、半反射镜550(例如，二向色镜)、物镜560、样本570和相机580。为简单起见，图4a中可省略sim成像系统500的光学部件。另外，尽管在该示例中将系统500示出为单通道系统，但在其他具体实施中，它可被实施为多通道系统(例如，通过使用两个不同的相机和在两个不同的波长中发射的光源)。
135.如图4a所示，光栅531(例如，水平衍射光栅)可将准直光束衍射成一阶衍射光束(在页面的平面上)。如图4b所示，衍射光栅532(例如，竖直衍射光栅)可将光束衍射成一阶(在页面的平面上方和下方)。在这种配置中，仅需要具有单个发射器510(例如，光纤)和单个线性运动台的单个光学臂来对样本570进行成像，这可提供系统优势，诸如减少移动系统部件的数量以改善速度、复杂性和成本。另外，在系统500中，没有偏振器可提供先前提及的高光学效率优势。示例sim成像系统200的配置在具有矩形网格上的特征的规则图案化样本570的情况下可能特别有利，因为可仅使用两个垂直光栅(例如，竖直光栅和水平光栅)来实现结构化分辨率增强。
136.为了改善系统的效率，可阻挡每个光栅输出的零阶衍射光束和所有其他更高阶衍射光束(即
±
2阶或更高)(即，滤除投影在样本570上的照明图案)。例如，可在运动台530之后插入光束阻挡元件(未示出)，诸如阶滤波器。在一些具体实施中，衍射光栅531至532可被配置为仅将光束衍射成仅一阶，并且零阶(未衍射光束)可被一些光束阻挡元件阻挡。
137.在系统500的示例中，两个光栅可被布置成与运动轴成约
±
45
°
(或者与运动轴成其他角度偏置，诸如约 40
°
/-50
°
、约 30
°
/-60
°
等)，使得对于每个光栅531和532，可沿线性运动的单个轴实现相位偏移。在一些具体实施中，两个光栅可被组合到一个物理光学元件中。例如，物理光学元件的一侧可具有在第一取向上的结构化照明图案或光栅图案，并且物
理光学元件的相邻侧可具有与第一取向正交的第二取向的结构化照明图案或光栅图案。
138.单个轴线性运动台530可包括一个或多个致动器，以允许其相对于样本平面沿x轴移动，或者相对于样本平面沿y轴移动。在操作期间，线性运动台530可提供足够的行进(例如，约12mm至15mm)和准确度(例如，约小于0.5微米的可重复性)以导致准确的照明图案被投影以进行有效的图像重建。在自动成像系统诸如荧光显微镜中利用运动台530的具体实施中，其可被配置为提供高速操作、最小振动产生和长工作寿命。在具体实施中，线性运动台530可包括交叉滚子轴承、线性马达、高精度线性编码器和/或其他部件。例如，运动台530可被实施为可使用控制器转换的高精度步进器或压电运动台。
139.来自相机580的输出数据(例如，图像)可被传送到可被实施为软件应用程序的实时sim成像部件(未示出)，如下文进一步描述，该软件应用程序可重建在每个成像循环期间捕获的图像以创建具有较高空间分辨率的图像。重建的图像可考虑随时间推移而预测的结构照明参数的变化。另外，实时sim成像部件可用于跟踪预测的sim参数和/或在给定先前估计的和/或预测的sim参数的情况下对sim参数进行预测。
140.可提供控制器(未示出)以控制结构化照明成像系统500的操作，包括使系统500的各种光学部件同步。控制器可被实施以控制系统操作的各方面，例如，线性运动台530的转换、镜筒透镜540的移动、样本570的台移动(如果使用任何台的话)和成像操作。控制器还可被实施以控制系统500的硬件元件，以随时间推移而校正结构化照明参数的变化。例如，控制器可被配置为将控制信号传输到设备(例如，线性运动台530)，以校正或补偿结构化照明相位、频率和/或取向随时间推移的变化。在具体实施中，可根据使用sim成像部件预测的结构化照明参数来传输这些信号。在一些具体实施中，控制器可包括用于存储对应于不同时间和/或样本位置的预测和/或估计的结构化照明参数的存储器。
141.尽管图4a至图4b的示例示出了双光学光栅滑动成像系统，其可实施结构化照明参数预测，但结构化照明参数预测可在使用安装有多于两个衍射光栅的线性运动致动器的sim成像系统中实施。
142.投影参数估计
143.可能需要用于sim图像处理的参数估计，以随时间推移而校正结构化照明参数中的不期望的变化。举例来说，图5a至图5c示出了在规则图案化的样本上投影一维结构化照明图案的sim成像系统中，频率或照明峰值间距(图5a)、相位或相位位移(图5b)以及取向或照明峰值角度(图5c)可随时间推移而发生的不期望变化。特别地，图5a示出了样本50，其中在频率偏移之前和之后由具有条纹60的一维结构化照明图案照明的特征51。在任何频率偏移之前，相邻条纹60具有对应于初始频率f的间距或中心至中心间距p。随时间推移，随着系统中的温度变化，间距p可增加或减少。例如，热膨胀可导致间距p增加至p δp1，相应地将频率f降低至f-δf1。相反，热收缩可导致间距p减小至p-δp1，相应地将频率f增加至f δf2。
144.图5b示出了在相位变化之前和之后由具有条纹60的一维结构化照明图案照明的样本50。如图所示，在相位漂移之前，第一相位状态φ可对应于完全照明样本50的每隔一列的特征51的条纹。随时间推移，条纹60相对于样本50的位置可偏移，使得所有相位图像均偏置δφ。例如，sim成像系统中的机械振动(例如，在激发光束路径中)、由光栅或样本台使用的转换台中的不精确性、热变化和/或其他因素可导致相位中不期望的漂移。在相位漂移δ
φ之后，第一相位状态变为φ δφ，并且条纹不再以每隔一列的特征为中心。
145.图5c示出了在取向变化之前和之后由具有条纹60的一维结构化照明图案照明的样本50。如图所示，在取向变化之前，条纹相对于样本50的取向是完全竖直的。随时间推移，取向可能由于因素诸如激发光束路径的变化、样本的移动、热变化和/或其他因素而改变。在取向旋转角度δθ之后，条纹相对于样本不再完全竖直。
146.在sim成像过程期间的参数估计以精确考虑如上所述的结构化照明参数的变化，有助于确保从一组采样图像中对图像进行无伪影且准确的重建。然而，这种过程在计算上可能是昂贵，并且经常在图像采集之后执行。对于涉及图像的实时处理和重建的时间-关键sim成像系统，并且因此实时估计参数诸如频率、相位、取向和调制阶数，这些计算要求可能导致数据吞吐量损失(例如，每单位时间可能处理的数据更少)。在此类系统中，对样本进行成像的速率可超过可从采样图像直接估计结构化照明参数的速率。因此，需要一种生成具有低复杂性和低处理时间的参数估计的方法。
147.为此，本文所公开的技术的具体实施针对使用从由结构化照明系统捕获的图像获得的结构化照明参数的估计来预测特定时间点、空间点和/或温度点的结构化照明参数。特定具体实施针对预测结构化照明频率、相位、取向和/或调制阶数参数。
148.根据一些具体实施，可通过对来自图像捕获的结构化照明参数的估计进行内推来针对给定的时间点、空间点和/或温度点预测结构化照明参数。例如，可从第一采样图像估计第一频率，可从第二采样图像估计第二频率，并且可通过使用至少确定的第一捕获图像和第二捕获图像之间的频率变化率进行内推来预测对应于第一捕获图像和第二捕获图像之间的时间点的频率(例如，在第一图像和第二图像之间拍摄的图像的频率)。
149.根据一些具体实施，可通过使用从两个图像捕获获得的结构化照明参数的估计进行外推来针对给定的时间点、空间点和/或温度点预测结构化照明参数。例如，可从第一采样图像估计第一取向，可从第二采样图像估计第二取向，并且可通过使用至少确定的从第一捕获图像到第二捕获图像的取向变化率进行外推来预测对应于在第一捕获图像和第二捕获图像之后的时间点的取向(例如，在第一图像和第二图像之后拍摄的第三图像的取向)。作为第二示例，可从第一采样图像估计第一取向，可从第二采样图像估计第二取向，并且可通过保持来自第二捕获图像的值来预测对应于在第一捕获图像和第二捕获图像之后的时间点的取向(例如，在第一图像和第二图像之后拍摄的第三图像的取向)。
150.在具体实施中，估计和预测的结构化照明参数可用于缩小预测的其他结构化照明参数的搜索空间。例如，给定第一时间、空间和/或温度点的结构化照明参数的估计值，考虑到第一时间点、空间点和/或温度点的预测或估计值，可预测第一时间点、空间点和/或温度点附近的第二时间点、空间点和/或温度点的结构化照明参数的值。
151.在具体实施中，估计和预测的结构化照明参数可存储在结构化照明系统的存储器中以供系统稍后使用。例如，预测和估计的参数可存储在历史文件(诸如查找表)中。存储在存储器中的预测参数可根据估计参数确定，或者可基于结构化照明系统的物理表征来设置它们。例如，可存储结构化照明系统的标称网格间距。此后可参考存储的参数以执行操作，诸如：校准图像重建，向硬件部件提供反馈以校正结构化照明参数的变化，并且在预测附加的结构化照明参数时缩小搜索空间。
152.照明条纹图案
153.图6示出了可在一个成像循环期间通过sim成像系统200的竖直光栅230a和水平光栅230b投影到样本271的平面上以使用结构化光来创建高分辨率图像的简化照明条纹图案。在该示例中，可使用竖直光栅230a捕获具有竖直照明取向的三个相位图像，并且可使用水平光栅230b捕获具有水平照明取向的三个相位图像。对于每个取向，投影条纹的位置可以1/3λ的阶跃相位偏移(例如，通过将相位调制器230a或230b设置到三个不同的位置)以捕获取向图案的三个相位图像。
154.在每个相位图像的捕获期间，由样本发射的任何光均可由相机290捕获。例如，位于样本271的不同特征处的荧光染料可发荧光，并且所得光可由物镜270收集并被引导到相机290的图像传感器以检测荧光。捕获的六个图像可用于对整个样本或较大样本的位置进行成像。
155.一旦已经针对成像循环捕获了所有图像(在该示例中，六个图像)，就可由捕获的图像构建高分辨率图像。例如，可从图6中所示的六个图像中重建高分辨率图像。合适的算法可用于组合这些各种图像以合成具有比任何单个分量图像显著更好的空间分辨率的样本的单个图像。
156.在构建高分辨率图像期间，结构化照明参数(例如，角度、间距和相位)中的不期望的偏移或变化可使用根据本公开预测的结构化照明参数(例如，角度、间距或相位的预测变化)在算法上进行补偿。例如，可补偿竖直照明图像和/或水平照明图像的相位、角度和/或间距的偏置。
157.在一些具体实施中，通过控制系统200的一个或多个硬件元件来补偿sim成像系统中的那些变化，可在图像捕获之前补偿结构化照明参数的不希望的偏移或变化。例如，在成像序列之前和/或在成像序列的图像捕获之间，可通过调整相位偏移元件(例如，旋转镜、线性致动器等)来补偿每个光学臂的相位漂移。在一些具体实施中，可实施硬件和算法补偿的组合。
158.图6示出了图案化流动池包含对称图案化的纳米孔的具体实施。在一些具体实施中，纳米孔可被不对称地图案化，例如，纳米孔可被成形或配置为形成细长结构。细长结构是指沿第一轴的尺寸大于沿第二轴的尺寸的形状。不对称形状的纳米孔可以是椭圆形的、矩形的等。在此类具体实施中，可沿较长侧的方向或轴分辨样本，并且sim用于增加沿较短侧的分辨率。如果纳米孔的较短侧沿x轴并且较长侧沿y轴，则不对称图案化流动池的间距px是窄的或紧密的，从而导致分辨率增加，而沿y轴，间距py较大。因此，分辨率沿x轴增加，并且仅捕获三个图像以便充分分辨包含在流动池的纳米孔内的样本。
159.图7示出了在结构化照明成像循环的图像捕获期间可通过双光栅滑动sim成像系统500的第一衍射光栅和第二衍射光栅投影到样本570的平面上的简化照明条纹图案。例如，sim成像系统500可使用第一衍射光栅531和第二衍射光栅532来生成图7所示的照明图案。如图7的示例所示，两个光栅在样本570的表面上投影垂直条纹图案，并被布置成与线性运动台530的运动轴成约
±
45
°
。
160.例如，第一光栅(例如，光栅531)可在样本570上投影第一阶照明条纹。由样本发射的任何光可由相机580捕获，并且可捕获第一图案(例如，45
°
图案)的第一相位图像以创建第一相位图像。为了捕获另外的相位偏移图像，通过转换线性运动台可相位偏移由光栅投影的图案。这些相位偏移运动被示出为图7中的步骤1和步骤2。相位偏移运动可提供小的
(例如，约3微米至5微米或更小)的光栅移动，以稍微偏移投影在光栅上的条纹图案。
161.在捕获用于衍射光栅的所有相位偏移图像之后，系统500可通过转换线性运动台530以切换衍射光栅来将另一个衍射光栅光学耦合到成像系统的光源(例如，从图4a至图4b的转变)。在图7的示例中，该运动被示出为步骤3。在衍射光栅改变的情况下，线性运动台可提供相对较大的转换(例如，大约12mm至15mm)。
162.然后可针对下一光栅捕获一系列相位图像。例如，如图7所示，第二衍射光栅可在样本上投射一阶照明条纹，并且所投影的条纹可通过转换线性运动台530来偏移，以捕获光栅图案的三个相位图像(例如，图7的步骤4和步骤5)。
163.一旦已经针对成像循环捕获了所有图像(在该示例中，六个图像)，就可由捕获的图像构建高分辨率图像。例如，可从图7中所示的六个图像中重建高分辨率图像。合适的算法可用于组合这些各种图像以合成具有比任何单个分量图像显著更好的空间分辨率的样本的单个图像。
164.在构建高分辨率图像期间，结构化照明参数(例如，角度、间距和相位)中的不期望的偏移或变化可使用根据本公开估计的结构化照明参数(例如，角度、间距或相位的预测变化)在算法上进行补偿。例如，可补偿竖直照明图像和/或水平照明图像的相位、角度和/或间距的偏置。在一个具体实施中，可定期(诸如在测序运行的第一循环中)计算图像的相位、角度和/或间距的偏置中的一者或多者。这些估计的频率可基于影响过程稳定性的环境因素而增加或减少。
165.在一些具体实施中，通过控制系统500的一个或多个硬件元件来补偿sim成像系统中的那些变化，可在图像捕获之前补偿结构化照明参数的不希望的偏移或变化。例如，在成像序列之前和/或在成像序列的图像的捕获之间，可通过转换线性运动台530来补偿相位漂移。在一些具体实施中，可实施硬件和算法补偿的组合。
166.根据本文所述的具体实施，可使用从该时间点之前和/或之后捕获的图像获得的结构化照明参数的估计来预测特定时间点的结构化照明参数。例如，计算资源限制可限制sim成像系统(例如，系统100、200或500)可从捕获的图像直接估计结构化照明参数(诸如相位、频率和/或取向)的速率。在一些情况下，sim成像系统可直接估计或测量每个相位图像的结构化照明参数，在这种情况下，可能不需要预测结构化照明参数。然而，在其他情况下，sim成像系统可以仅能够直接估计或测量成像循环的某个相位图像的结构化照明参数，每个成像循环一次或甚至更不频繁(例如，每3个、5个、10个、50个或100个成像循环一次)。在此类情况下，为了跟上系统的图像采样速率，利用针对特定时间和/或空间点获得的结构化照明参数的直接估计来对其他时间点和/或空间点的结构化照明参数进行预测可能是有利的。
167.为了在数学上说明这一原理的一个示例，与参考的相关性是估计结构化照明参数的一种方式。
168.相关输出＝∑rc(x)h(x-f)
ꢀꢀꢀ
(1)
169.其中h(x)是可能已知的或从图像数据导出的参考，c(x)是从与参考相关的图像数据导出的，f是待估计的值(在该示例中，为频率)。应当指出的是，根据本公开可利用其他另选估计技术。
170.在方程(1)的示例中，可针对多个f假设值中的每一者生成一个相关性输出。可作
为最大化相关量级的f的值获得参数估计f。然而，在许多情况下，可能需要尝试大量的f假设值以便最大化相关输出。大搜索空间可增加计算要求，并且因此可能导致系统吞吐量减少(即，每单位时间处理的数据更少)。
171.光学感测(特别是透镜)失真
172.在以下两个章节中，我们呈现了用于估计sim图像重建的参数的技术。本发明所公开的一些技术补偿了由于透镜缺陷而失真或弯曲的条纹峰值线。本应平行的图案线在图像中心附近开始时是平行的，但倾向于在透镜的边缘附近会聚或不平行。这影响照明峰值角度或取向、照明峰值间距和相位偏置。在图8a中，我们示出了将图像区块划分为被称为子区块或子窗口或子场的重叠区域。子区块足够小，使得可设置将为整个子区块给出令人满意的重建的参数。参数估计可以两个步骤执行。首先，可针对图像的近中心子区块执行参数估计。然后，可对其他子区块执行参数估计，并且与近中心子区块进行比较，以相对于近中心子区块的参数确定失真和对失真的校正。
173.为了示出这些技术的具体实施，我们呈现了用于“子区块角度和间距映射”算法(也称为算法2a)和“子区块相位映射”算法(也称为算法2b)中参数估计的示例伪码。我们还呈现了示例伪码，以确定与“最终失真校准算法”(也称为算法1)中的近中心子区块相比，用于非中心子区块的估计参数中的失真和对失真的校正。
174.图8a至图8c示出了全视场(fov)的物理方面。在一个具体实施中，使用为5472个像素
×
3694个像素的矩形传感器。当然，可使用方形传感器或不同大小的传感器，例如5472个像素
×
5472个像素或4800个像素
×
4800个像素。当使用矩形传感器时，最靠近透镜边缘的失真最大。透镜通常是圆形的，因此矩形传感器在长边上不会像在短边上那样靠近透镜边缘。
175.图8a呈现了示出全视场(fov)上的条纹间距失真的两个图示。左侧的图801是由于放大的透镜变形而引起的弯曲平行线的简化描绘801。所描绘的线旨在图像平面中平行。通过透镜观察，相对于中心的间距，它们似乎在左右两端处会聚。右侧的图805是另一个夸张的示例。在该图中，条纹线在左上角和右下角之间对角取向。条纹间距被夸大以使其更容易看到。相对于中心，条纹线在左上角和右下角处会聚。对于特定制造商的透镜，条纹图案可以是不均匀的。
176.图8b和图8c描绘了对于绿色和蓝色激光照明，图像平面中的标称平行条纹峰值之间的图像中的间距的测量。颜色标度指示在2.08和2.22之间的间距变化(传感器像素)。在两个附图中，颜色标度指示平行线之间的中心间距为大约2.14。在图8b的右上角看到绿色波长照明下的不规则性。在图8c中，沿右边缘和左边缘可看到蓝色波长照明下的更显著的不规则性。在这些图中，条纹图案是从图的左上到右下的一系列平行线。因此，间距是正交于图8c中箭头的总体方向测量的。这些图促动了对由透镜引起的失真的校正。由于透镜是单独制造和安装的，因此需要在组装之后对各个系统进行校准和校正。
177.以灰度绘制的图8b包括三个概念轮廓椭圆，其主轴沿从左上角到右下角的对角线。轮廓线大致指示在平行线之间具有不同间距的区域。在优先权临时申请中，利用彩图，彩色图表提供了估计变化的更清晰的细节。条纹图案是角度为45
°
的一系列平行线，从图的左下角到右上角。平行线之间的间距在中心区域中增加，如浅灰色阴影所示。当我们从中心区域移动到右上区域或左下区域时，条纹线之间的间距失真会减少。三个轮廓线的主轴大
致正交于条纹线的方向。当我们从中心轮廓线的区域移出时，间距失真会减少。图8c的灰度还包括轮廓线。图8c中的轮廓线具有与上文所解释相同的含义，并且指示具有不同间距失真范围的区域。
178.图8d示出了图像区块中的全视场(fov)的子区块或子场。在该图中，所示的子区块为512个像素
×
512个像素。这些子区块可细分视野，显示出来或可重叠。子区块可更大或更小。例如，400个像素
×
400个像素和1024个像素
×
1024个像素子区块已经被示出为可行的。该图示出了5
×
7个子区块。上文所述的较大传感器可具有8
×
11个子区块。可使用子区块的其他配置，诸如3
×
3、5
×
5、5
×
7、9
×
9、9
×
16。较大的传感器可划分为更多个子区块。子区块可与光学传感器重叠至少2个像素。较大和较小数量的像素可用于子区块之间的重叠。例如，对于512个像素宽的子区块，可使用至多256个像素的重叠，并且对于1024个像素宽的子区块，可使用至多256个像素的重叠。与图8b和图8c一致，存在几个候选的近中心子区块803，都在透镜的最佳位置，包括奇数
×
奇数子区块阵列中的中心子区块。如本文所用，近中心子区块包括传感器的中心像素或邻接包括中心像素的子区块。在一些平坦且具有小误差的光学系统中，可将远离与中心子区块相邻的子区块用作参考，而不会影响整体失真补偿。
179.本发明所公开的技术包括在基本上由传感器捕获的全视场上测量的映射失真。来自规则结构化照明的增强的分辨率sim重建所依赖的三个参数包括条纹间距、条纹角度和条纹图案的相位位移。这些变量也被称为结构化照明或光栅图案的间距、角度和相位偏置。可使用多项式表面在全视场上拟合与中心子区块值的间距和角度偏差。已经研究了二次表面和三次表面两者。也可使用更高阶多项式。
180.可通过二次表面拟合图像区块上的条纹间距和条纹角度两者。灵敏度分析示出，二次表面与三次表面的拟合非常接近。二次表面拟合方程：
181.f(x,y)＝c0 (c1*x) (c2*y) (c3*x*y) (c4*x2) (c5*y2)
ꢀꢀꢀ
(2)
182.在成像的稍后循环中，我们可表征由于温度变化而导致的距中心子区块的间距的收缩或扩展，并且对图像的其余部分应用相同的偏差校正。取决于近中心子区块的收缩和扩展，可相应地缩放和转换偏差校正。我们观察到子区块中的相对偏差相对于用作参考的中心或近中心子区块是恒定的。
183.图9描绘了与用红色指示的测量数据点拟合的颜色编码的表面。由于该表面是三维的，因此建议参考该图的彩色版本以了解轮廓。以灰度绘制的图9的深色阴影部分表示三维绘图顶部和底部的深色。例如，在图的彩色版本中，图9中图表的右上部分的深色阴影表示深红色，并且底部的深色阴影部分表示蓝色。美国专利商标局(uspto)在提交优先权申请时，将彩色版本保存到pair在线系统的补充内容选项卡中，并在适当的时候公开提供。
184.在实践中，已经观察到，视场上的间距失真可表示为碗或倒置碗形状，而角度失真表征为鞍形形状。图10a和图10b示出了相对于近中心子区块中的间距的测量间距的倒置碗形状。图12a和图12b示出了测量角度相对于近中心子区块中的条纹图案角度的鞍形形状。
185.在图10a和图10b中，x轴沿传感器的长度。y轴沿传感器的宽度。x轴和y轴上的标签是子区块索引。竖直轴间距被标准化为在近似中心子区块中观察到的规则间距的条纹之间的z轴上的1.000间距。图10a描绘了未通过曲线拟合平滑的测量数据点。其示出了在传感器中心和右下部分的测量之间观察到的条纹间距有大约1.2％的变化。在图10b中，将以蓝色描绘的实际数据点与二次拟合表面进行比较。在以下章节中，与近中心子区块相比，我们呈
现了在全fov上测量间距和角度失真。图10a和图10b的灰度版本在图表的顶部和底部处具有深色阴影部分。顶部部分的深色阴影表示红色，并且底部部分的深色阴影表示蓝色。
186.间距和角度失真的校准
187.在该章节中，我们进一步描述了在应用于捕获结构化照明的传感器上校准全视场(fov)以及提供由透镜失真引起的非线性效应的拟合函数的技术。结构化照明涉及将规则间距且成角度的图案投影到图像平面上。捕获投影的结构化照明图案的图像区块。从全视场选择近中心子区块。测量子区块上的图案间距和角度，包括子区块内的变化。我们进一步确定了在全视场上其他子区块上的间距和图案角度。我们表示了在全视场上的间距和图案角度相对于近中心子区块中的间距和图案角度。我们在基本上全视场上重复地将多项式表面拟合到间距和图案角度。
188.图11a、图11b和图11c将测量间距失真与二次和三次表面拟合进行比较。在这三幅图中，颜色变化是微妙的，因为在所有三幅图中，在视场上的间距变化小于2％。这些图的视觉分析和拟合误差的计算表明二次多项式为间距失真提供了足够良好的拟合。本公开的精神和教导涵盖了可能产生比二次多项式稍好或稍差的结果的更高阶多项式和另选拟合方案。图11a、11b和11c的灰度版本包括中心部分的深色阴影，代表深红色，并且右上和左下的外部部分具有较浅的灰色阴影，代表浅红色到接近边界处过渡为橙色和黄色。
189.图12a和图12b与图10a和图10b共享x轴和y轴配置。这些图中的竖直轴指示在视场上观察到的条纹的取向角度。名义上，该角度可能是45
°
。测量角度的范围为44.85度至45.15度，这是0.6％的变化。图12a描绘了未通过曲线拟合平滑的测量数据点。在图12b中，将以蓝色描绘的实际数据点与二次拟合表面进行比较。图12a和图12b的灰度版本在图表的顶部和底部处具有深色阴影部分。顶部的深色阴影表示深红色，并且底部的深色阴影表示深蓝色。
190.图13a至图13e以及图14b至图14h示出了如何沿传感器边界裁剪可如何改善传感器上的间距和条纹角度的曲线拟合。这些图中的图的x轴和y轴表示沿传感器的长度和宽度的像素位置。参考图8c，裁剪由传感器的边缘附近的边界指示。该图示出了这种裁剪或收缩去除了由传感器捕获的图像的边缘附近的失真。下图示出了图像的这种收缩如何实现fov数据与表面模型的良好拟合。收缩因子或收缩单位可等于将图像收缩一个滑动窗口步幅。可选择步幅值来匹配子区块的大小，或者根据可能导致失真的传感器边缘处的像素数量凭经验选择。例如，如果将步幅值选择为200个像素，则一个收缩单位可去除图像数据的外部200个像素，这些像素在图像的所有侧面都具有较差的数据质量。可使用小于200个像素(诸如25个像素、50个像素或100个像素)或大于200个像素(诸如225个像素、250个像素或300个像素)的步幅值。
191.图13a用蓝点示出了拟合全视场(fov)图像数据的空间失真的二次模型表面，没有裁剪。没有对该全fov图像数据应用任何收缩因子，即，收缩因子为零。如图13a所示，全fov数据不能良好地拟合模型。由于收缩因子从1递增增加至4(图13b至图13e)，因此模型和未裁剪数据点之间的拟合得到改善。由于裁剪消除了异常的数据点，因此沿z轴的标度收缩，从而指示子区块之间的变化较少。重新参照图8c，看到异常数据点位于传感器边缘，其中应用了裁剪。在图13c中，比在图13d至图13e中有明显更多的异常蓝色数据点。在图13e中，mse已经下降到0.000001，并且z标度已经拉伸得比图13d中的稍低。图13a至图13e、图14b至图
14h以及图15a至图15b的灰度版本在图表的顶部和底部处具有深色阴影部分。顶部处的深色阴影表示图表的顶部和底部处的深色。这些图表中的一些图表具有定位在图表上或接近图表的浅色圆圈和深色圆圈。圆圈的浅色和深色不指示这些圆圈之间的任何差异。一些圆圈以深色绘制，以使它们可见。
192.图14b至图14h示出了通过递增地增加应用于全fov图像数据的收缩因子来改善角度失真的二次表面拟合。随着收缩因子的增加，沿z轴的标度再次收缩，从而使数据点主体靠近拟合表面。排除传感器边缘上的异常失真值极大地改善了表面拟合。在图14b至图14e中，从拟合表面下方的平面蓝色数据点可明显看出失真。当收缩因子从“1”(图14c)增加至“3”(图14e)时，沿z轴的标度从[-45,-20]收缩一半至[-44,-40]。在图14f中，裁剪最终似乎使数据点和拟合表面靠得更近。在图14f中，mse下降至0.000033。用于角度失真的二次表面模型现在与显示为蓝点的测量数据拟合匹配。在图14h中，将收缩因子增加为“6”，产生小幅改善。从图中看，“4”或更大的收缩因子似乎是合理的。基于百分比或绝对mse改善的阈值可用于选择收缩因子或可确定收缩因子对分辨能力的影响。可使用比率或阈值方法自动选择收缩因子。
[0193]
可在仪器操作之前和/或期间执行通过拟合失真表面来表征成像系统，方法是偶尔重新估计近中心子区块中的间距和图案角度，并使用外推因子来确定全视场中的间距和图案角度。可应用外推因子而无需估计超出近中心子区块的间距和图案角度。全视场的子区块可重叠。在校准期间，对于重叠的子区块独立地计算间距和图案角度。这种方法可使用结构化照明图案的两个取向角度，使得这两个角度基本上与纳米孔的矩形或四边形图案的相对角对准。
[0194]
因此，本发明所公开的技术包括校准和重新校准仪器以表征区块法子区块之间的变化。可通过大大减少在仪器操作期间对参数估计需要的方式捕获间距和角度的表征失真。可通过裁剪掉传感器边缘处失真到无法拟合映射表面的像素，裁剪掉干涉拟合的像素来增强表征/校准。
[0195]
校准间距和角度的应用
[0196]
本发明所公开的技术可在基本上全视场上有效地重建增强图像。为此目的，我们将全视场划分为至少九个子区块或子场，用于在子区块基础上进行独立重建。我们可通过查看近中心子区块的规则间距和成角度的结构化照明图案来估计或访问已经估计的间距参数和图案角度参数。我们应用外推因子将近中心子区块参数延伸到视场上的其他子区块。我们使用近中心子区块估计参数和其他子区块外推参数来从多个图像执行增强图像重建。通过向多个图像应用结构化照明显微术(sim)分析，以多个图案角度和相应图案角度的定期移位图案相位观察该多个图像。在一个具体实施中，上述技术可进一步估计相应图案角度的相位的定期移位图案。通过识别沿拼接边界的规则噪声模式并减轻噪声，上述技术可扩展到将子区块拼接在一起。
[0197]
图15a和图15b是根据从测序仪器收集的真实数据拟合的失真模型的示例。图15a示出了通过拟合全视场(fov)上的条纹间距失真而获得的二次拟合响应表面。图15b示出了通过拟合fov上的条纹角度失真而获得的二次拟合响应表面。
[0198]
相位位移的估计
[0199]
相位位移是用于sim图像重建的剩余第三输入参数。该章节采用现有技术来估计
相位位移。本发明所公开的技术对子区块执行估计，因此我们进一步呈现了一种技术来建立共同参照系，用于相对于全fov区块的子区块上的估计相位位移。相位估计的一个具体实施采用由wicker等人2013年在他们名称为“phase optimisation for structured illumination microscopy”的论文第3章节中提出的技术。lal等人2015年名称为“structured illumination microscopy image reconstruction algorithm”的方程和wicker等人2013年的方程有助于解释wicker相位估计。
[0200]
下文的方程(3)摘自lal等人2015年的文章，它将频率分量分为三个频段：来自获取的图像的混合矩阵使用使用对应于图案角度或取向θ的正弦照明强度图案i
θ,φ
(r)捕获的图像的相位φ1、φ2和φ3的估计。wicker等人2013年将某一取向的第n个图像的相位称为φn。如果不是以足够的精度知道相位，则解混或频带分离过程将会不完全地在频域中从观察到的图像中分离出空间频率分量。实际上，三个空间频率分量将包含来自其他分量的或多或少的残差信息，如噪声项所表示的。
[0201][0202]
其中具有三个分量的这个公式来自正弦或余弦照明的傅里叶变换。不同的照明函数将改变方程。
[0203]
因此，照明正弦强度图案相位的精确知识是重要的。由于在实验设置中并不总是可能精确控制这些相位，因此需要从获取的图像数据中确定照明图案相位。wicker等人2013年呈现了一种相位估计技术，用于在选定频率下使用相干正弦照明获取的sim数据。相干照明从具有非常小的照明峰值间距“s”的精细光栅产生良好的图案对比度，这提高了重建的分辨率。我们使用照明图案的峰值频率检索第n个图像的照明图案相位。照明图案的峰值频率也称为傅立叶峰值。
[0204]
下文来自wicker等人2013年的方程(4)呈现了方程(3)的广义形式，其中在频域中的频率上获取了图像每个图像由三个分量组成，分别称为并叠加不同的相位。请注意，这三个分量与方程(4)中的是相同的三个分量。
[0205][0206]
请注意，方程(4)中的“c”被称为照明图案的对比度。在没有噪声的情况下，“c”与方程(3)中混合矩阵m中的调制因子“m”相同。为了确定φn，将方程(4)中的频率替换为照明图案的峰值频率p
→
，从而得到方程(5)。
[0207][0208]
方程(5)示出，图案相位φn近似等于在频率上获取的图像的相位。当遵循三个准则时，这种图案相位φn的近似估计会产生良好的结果。首先，照明图案的对比度c应足够大。其次，随着频率的增加，样本功率谱应足够快地下降。当遵循这两个准则时，方程(5)由最后一项主导，并且因此可简化为：
[0209][0210]
对于任何真实值样本，中心频率将是实际值。此外，如果点扩散函数(psf)是实数且对称的，则光学传递函数(otf)将是实数。otf是点扩散函数(psf)的卷积。点扩散函数是成像系统的光学传递函数的空间域版本。“点扩散函数”这个名称指示所有物理光学系统都会在一定程度上模糊(扩散)一个光点，其中模糊的程度取决于光学元件的质量。成像系统的分辨率受到psf的大小的限制。对于不对称psf，必须考虑otf的相位。
[0211]
第三，图案频率处的otf应足够大以克服噪声。如果otf太小，则获取的图像中的噪声可显著改变在处测量的相位。这种相位估计方法不能用于图案频率p
→
外部以支持检测otf。对于此类频率，
[0212]
可通过实验确定光学系统的otf。例如，lal等人2015年通过获得几个具有稀疏分布的100nm荧光微球的样本图像来计算otf。然后将对应于100多个微球的强度分布叠加并平均以获得系统psf的近似值。该psf的傅里叶变换提供了系统otf的估计。利用该背景，我们可将所述相位估计技术应用于子区块。
[0213]
将子区块相位转换为公共参照系
[0214]
估计区块相对于全视场(fov)的相位位移是有用的，使得一个子区块中的相位的测量可被外推到区块上的其他子区块。可使用如上所呈现的二次模型从子区块的照明峰值角和照明峰值间距估计用于全fov的照明峰值角度和照明峰值间距。相位位移不太规则，因为其取决于子区块的像素几何形状，这可产生不规则的阶跃函数，而不是平滑函数。每个相位估计具有锚定到用于估计相位的图像的左上角的“参照系”。因此，当我们希望对图像上的相位差异进行几何校正时，需要将从每个子区块估计的相位与公共参照系中的参考相位(来自中心估计子窗口或子区块)进行比较。我们将每个子区块的相位估计转换为相同的几何位置以实现公共参照系。转换相位需要准确估计每个子区块的条纹角度和间距。可从根据失真校准过程校准的二次表面失真模型获得条纹角度和间距。
[0215]
我们使用全fov图像的子区块上的公共参照系来表示相位估计。子区块坐标空间被映射到全fov坐标空间。在该章节中，我们示出了点坐标从一个空间到另一个空间的转换。图16a示出了全fov图像窗口的子区块窗口的一般设置和相关变量以及校正相位偏置公式，该校正相位偏置公式使局部和全局参考之间的坐标转换。图16a示出了代表全视场的边界1603，该边界包含由边界1605示出的子区块。裁剪角度α由连接全fov窗口1603的左上角和子区块窗口1605的左上角的线1606限定。线1606的长度以像素测量并且标记为“a”。
[0216]
照明峰值角度β形成在传感器(窗口1603)的顶部边界和垂直于子区块窗口1605左
上角的条纹峰值线1609的线1607之间。该条纹峰值线将平行于实际条纹峰值并可能从峰值偏置。从1603的左上角到1609的线1607的长度是投影距离“b”。区块1603的左上角和子区块1605之间的相位差φ是间距s和距离b的函数。在公式(7)中，照明峰值间距以像素为单位表示为“s”，以度为单位表示为相位：
[0217]
φo＝([b (φs/360*s)]％s)/s*360
ꢀꢀꢀ
(7)
[0218]
下面推导和解释的这个公式可用于将相位偏置从子区块坐标转换到全fov坐标。坐标系之间的转换在以下两个示例中示出。
[0219]
在sim重建中，可通过强度函数描述一维(1d)光栅，诸如：
[0220][0221]
其中参数具有以下均值：
[0222]
·
m是调制深度
[0223]
·
s是照明相位间距
[0224]
·
是单位矢量
[0225]
·
β是照明峰值角度
[0226]
等式中的粗体x,u表示矢量：x是图像空间中的矢量，表示图像空间中确定强度的位置；u是单位矢量。正弦照明的强度值是正的，在 m(亮)至-m(暗)的标度范围内。
[0227]
一旦子区块之间的相位位移差已经被表征，就需要估计近中心子区块处的相位位移，因为可从近中心子区块外推出另一子区块的相位位移。
[0228]
以下计算与相位偏置φ的估计相关。不是使用整个图像的数据(全fov)估计相位偏置，而是可使用仅来自图像的子区块的数据。子区块的相位偏置与全fov的相位偏置相关但不与其相同。为了从子区块相位偏置恢复全fov的相位偏置，有必要表征相位偏置在空间转换下如何变换。以下数学模型呈现了这种从子区块到全fov的空间转换。
[0229]
推导坐标变换
[0230]
考虑下述函数，该函数在如图16a所示的取向上产生光栅线。全fov的二维(2d)空间由具有坐标(x1,x2)的坐标空间o
x
表示，如图16b所示。我们用相对于o
x
的位置(x1,x2)表示点1611。函数f(x1,x2)可如方程(9)所示定义如下。该函数可用于在如图16a所示的取向生成照明图案线。
[0231][0232]
上述函数f的一维周期性由方程(10)中的函数表示。参考图16a，该函数表示当我们沿垂直于照明图案线的图16a中的线1607移动时照明图案线的重复。该函数可通过确定重复特定强度值的位置来确定两条线之间的间距“s”。方程(10)示出了照明图案强度的周期性。在方程(10)中，正交于强度峰值的线呈45度角度，从左上角向下向右延伸，因此点(x1,x2)的强度在沿线1607向下和向右的连续点处重复。
[0233][0234]
由上述函数定义的照明峰值间距“s”如方程(11)所示。为方便起见，坐标系可缩放
以匹配照明图案的间距，如方程(11)所示。
[0235][0236]
照明峰值角度由方程(12)定义。如图16a所示，照明峰值角度形成在全fov的顶部边界(水平线)和垂直于照明图案线的线之间。方程(12)示出了对于由方程(9)中的1d周期性函数生成的结构化照明图案，该角度为-45度。
[0237][0238]
由方程(9)中呈现的周期性函数形成的图案线的零集是线的并集，并且由方程(13)表示。
[0239][0240]
零集包括以距离“s”彼此间隔开的结构化照明图案线。这些图案线由方程(9)中的1d函数f(x1,x2)的值为零的点形成。与光栅正交的单位矢量由方程(14)定义。
[0241][0242]
我们现在呈现了将子区块的相位偏置从由坐标(y1,y2)定义的子区块坐标空间oy转换到全fov坐标空间o
x
的两个示例。图16b示出了点1611，其可在子区块坐标中由源自子区块窗口1605的左上角的矢量表示。相同的点1611可在全fov坐标中由源自全fov图像的左上窗口1603的矢量表示。如图16b所示，矢量将全fov图像窗口1603的左上角连接到子区块窗口1605。在以下章节中，我们将呈现点1611的位置可从一个坐标系转换到另一个坐标系的示例。
[0243]
第一示例
[0244]
设表示图16b中子区块1605的左上角。这意味着子区块1605的左上角从全fov窗口1603的左上角沿水平轴x1移位距离“a”，沿竖直轴x2移位距离
“‑
a”。我们现在将全fov坐标空间o
x
中的点(x1,x2)转换为子区块坐标空间oy中的点(y1,y2)。考虑给定的坐标变化：
[0245]
(y1,y2)＝t(x1,x2)＝(x
1-a,x2 a)
ꢀꢀꢀ
(15)
[0246]
我们现在可将方程(10)的1d周期性函数在子区块坐标空间oy中表示为：
[0247][0248]
我们可看到，坐标变化引入的相位偏置给定为：
[0249][0250]
第二示例
[0251]
现在让我们考虑子区块相对于全fov窗口左上角的另一个位置。设a＝(2a,-a)∈r^2，在这种情况下坐标的变化给定为：
[0252]
(y1,y2)＝t(x1,x2)＝(x
1-2a,x2 a)
ꢀꢀꢀ
(18)
[0253]
方程(10)的1d周期性函数现在可在子区块坐标空间oy中表示为：
[0254][0255]
在这种情况下，坐标变化引入的相位偏置给定为：
[0256][0257]
然而《u,a》表示矢量u与矢量a的点积。该点积被定义为这两个矢量的对应分量之和。
[0258]
一般情况
[0259]
定理1。
[0260]
设s》0、，φ0∈r，并且设u∈r2为单位矢量。考虑函数
[0261][0262]
a)f的光栅间距为s。
[0263]
b)对于任何a∈r2，存在φa∈r，使得
[0264][0265]
方程(21)示出了关于全fov坐标空间ox的周期性函数，并且具有相位偏置φ0。方程(22)示出了子区块坐标空间的周期性函数，并且具有相位偏置φ0。
[0266]
c)任何此类φa满足方程
[0267][0268]
检验(a)照明峰值间距是f的基本周期的长度。矢量su是长度为s的周期，因为
[0269][0270][0271]
f(x su)＝f(x)
ꢀꢀꢀ
(26)
[0272]
任何较小的周期都意味着sin的周期小于2π。
[0273]
(b)一种解决方案是
[0274][0275]
因为
[0276][0277][0278]
c)如果sin(t-a)＝sin(t-b)，对于所有t∈r，则a≡b mod 2π(30)
[0279]
上述推导出的关系可用于将在第一坐标空间中估计的相位位移转换为第二坐标空间，诸如在子区块和全fov图像区块之间。这很有用，因为相位位移也会受到近中心子区块和透镜边缘之间的失真的影响。在以下章节中，我们呈现了相位偏差查找表，它可捕获非中心子区块相对于中心子区块的相位位移值之间的关系。
[0280]
相位偏差的估计
[0281]
本发明所公开的技术包括估计每个子区块的相位，并且然后将相位偏置转换为全fov坐标，使得估计的相位位移值在公共参照系中表示。对于照明图案的每个角度，我们将非中心子区块和近中心子区块的相位位移值之间的差值存储在相位偏差或相位差查找表中。在一些情况下，环境因素的影响可增加系统的不稳定性。在此类情况下，会更频繁地生成相位偏差查找表以补偿增加的系统不稳定性。例如，可在每个测序运行的第一循环中产生相位偏差表。可根据系统的稳定性增加或减小相位偏差查找表的生成频率。
[0282]
图17呈现了示例相位偏差查找表1701，其中对来自3,5处的近中心子区块的相位差进行颜色编码，该子区块具有零值。查找表1701包含与全fov图像数据中的子区块数量相同数量的池，本示例中为7
×
9的子区块。表1701中的池的位置可对应于全fov图像数据中的子区块的位置。相位查找表存储子区块中的每一者相对于中心窗口(3,5)估计相位之间的相位差。示例表包含结构化照明的一个角度的相位偏差。将针对结构化照明图案的每个角度存储类似的相位偏差表。相位值对其他参数(角度和间距)的估计值中的累积误差敏感。请注意，相位值从0度卷绕到360度。中心子区块的相位在示例表中显示为0度。颜色编码指示对应于中心子区块的子区块的相位的差异程度。对相位偏差进行估计需要中心子区块或子窗口的条纹角、间距、相位，以及失真模型(我们假设其不改变)。在以下章节中，我们呈现了用于估计角度、间距和相位参数的示例算法。
[0283]
在以上章节中，我们描述了用于估计全fov图像中子区块的参数的技术。在以下伪码中，我们进一步示出了用于子区块的角度、间距和相位参数。以下呈现了用于估计角度和间距参数的示例伪代码，并且被称为“子区块角度和间距映射”(也称为算法2a)。我们使用二次或三次多项式拟合来估计子区块的角度和间距参数的失真系数。实现相位估计技术的示例伪代码如下所呈现，并且被称为“子区块相位映射”算法(也称为算法2b)。对于照明图案的每个角度或取向，相位偏置的估计可存储在相位偏差查找表中。在一个具体实施中，单独的查找表可用于流动池上的每个测序区块，以考虑流动池取向、表面缺陷和可能偏斜估计结果的其他非理想性的微小差异。最后呈现了用于最终失真校准的示例算法的伪码，并且该伪码被称为“利用二次拟合和查找表的最终失真校准”(也被称为算法1和算法2c)。
[0284]
算法1：利用二次拟合的最终失真校准
[0285]
在第一伪码中，我们可应用裁剪以去除图像边缘附近的失真。这使得能够在校准/表征期间将全fov数据良好地拟合到二次表面模型，以用于角度和间距估计。
[0286]
输入：图像集合，例如2个角度和每角度3个相位
[0287]
输出：失真模型系数
[0288]
算法：
[0289]
1.构建以下图像/滤波器(大小被设计成以与子区域匹配)
[0290]
a.otf
[0291]
2.将图像划分为大小相等但重叠的子区域，例如使用滑动窗口方法划分为512
×
512
[0292]
3.使用例如512
×
512窗口估计图像中心的参数(参见下文的子区块角度和间距映射算法和子区块相位映射算法)
[0293]
a.估计每个角度的照明峰值角度和间距
[0294]
b.估计每个角度的调制
[0295]
c.估计每个图像的相位
[0296]
4.对于每个子区域
[0297]
a.执行步骤3参数估计
[0298]
b.将wicker相位估计的子区块中心x,y坐标、条纹角度(每个角度)、间距(每个角度)和相位0(每个角度)保存到阵列(2d阵列)中
[0299]
5.对于条纹间距和角度
[0300]
a.用步骤3中的中心窗口估计值减去步骤4中的表值。
[0301]
b.执行二次表面的最佳收缩估计
[0302]
i.对于步骤4中的每个阵列(例如，称之为z，从角度0开始的条纹间距)，经由最小二乘回归将二次表面拟合到函数形式f(x,y)＝a b*x2 c*y2 d*xy e*x f*y(使用相同的输入阵列x和y，其对应于子区域中心x,y坐标)。
[0303]
ii.评估步骤i的r2确定系数。
[0304]
iii.收缩x、y、z阵列(去除外边缘元素)，并且重复步骤(i)，直到已经执行n次收缩(n＝3至5，并且是可调谐参数)。
[0305]
iv.当阵列朝向数据的中心部分收缩时，预期拟合质量得到改善，我们选择肘点处的系数(最小化收缩量，同时最大化r2)，其中模型拟合足够良好(当前标准被定义为r2值的相对改善小于5％)。
[0306]
此处可使用的其他接受标准包括：
[0307]
·
对拟合的均方误差的改善(均方误差的下一次迭代比均方误差的当前迭代小一些预定义的阈值)
[0308]
·
对二次表面的最大拟合误差的改善(如果我们检测到连续的改善处于平稳状态，则每次逐次迭代都应减少该误差并增加拟合)
[0309]
·
使用与前两个标准类似的改善阈值对误差(诸如mae(平均绝对误差)而不是mse(均方误差))进行正则化测量。
[0310]
6.步骤5的最佳系数是最终失真校准算法的输出。
[0311]
算法2a：子区块角度和间距映射
[0312]
在上述步骤3至步骤4中和操作期间使用的用于实施子区块的照明峰值角度和间距估计的伪码如下所示：
[0313]
输入：相同角度的图像集合，使得每个图像的相位从0度至360度均匀分布
[0314]
输出：
[0315]
1.傅立叶空间中峰值的位置(或光栅的间距和角度)
[0316]
2.傅立叶峰值的调制
[0317]
3.第一图像的相位偏置
[0318]
算法：
[0319]
1.每个图像的快速傅里叶变换
[0320]
2.执行频带分离
[0321]
3.采用两个分量图像：
[0322]
a.0(宽场)和 1(高分辨率部分)
[0323]
b.屏蔽每个图像的所有不重叠的傅立叶分量(也称为公共区域)
[0324]
c.屏蔽dc附近和估计条纹峰值附近的低频分量
[0325]
d.应用倒置otf
[0326]
4.在开始点周围重复更精细的网格
[0327]
a.对于10
×
10网格中的每个点，均匀采样某个范围
[0328]
i.将相位偏移应用于两个图像相位中的一者
[0329]
ii.将一个图像与另一个图像的共轭相乘
[0330]
iii.对结果求和
[0331]
iv.相对于宽场掩蔽傅立叶图像的总和进行归一化
[0332]
v.保存偏移提供归一化复相关的绝对值的最大值
[0333]
1.这个数的绝对值就是调制
[0334]
2.这个复数的角度就是相位偏置
[0335]
算法2b：子区块相位映射
[0336]
下文是用于子区块的相位偏移估计的示例具体实施的伪码。本发明所公开的技术可使用该映射的间距和角度参数值的最近最佳估计。该系统还可使用失真模型和中心子窗口或子区块参数获得估计的间距和角度参数值。
[0337]
输入：
[0338]
1.单个角度的图像集合
[0339]
2.从先前描述的算法估计的照明峰值间距和角度
[0340]
输出：集合中每个图像的相位偏置
[0341]
算法：
[0342]
1.执行每个图像的快速傅里叶变换(fft)
[0343]
2.创建fft图像的副本
[0344]
3.将otf应用于每个图像
[0345]
4.偏移一个图像
[0346]
5.使用共轭将两个图像相乘，并对每个复数的绝对值求和
[0347]
6.相位是所得复数的角度
[0348]
算法2c：相位偏差查找学习
[0349]
对于相位偏差，在测序运行的第一循环成像期间，对流动池上的每个区块执行以下步骤。
[0350]
输入：图像集合，例如对于来自测序流动池的每个区块的2个角度和每个角度3个相位，来自算法1的校准失真模型
[0351]
输出：相位偏差查找表
[0352]
算法：
[0353]
·
对于每个测序区块(不要由sim重建子区块混淆)
[0354]
i.应用算法1的步骤3以估计区块的中心窗口sim参数(每个角度-通道对的间距、角度、相位)
[0355]
ii.将图像划分为子区块，对于每个子区块：
[0356]
a.经由算法2a应用失真模型以获得子区块的子区块条纹间距和角度
[0357]
b.使用步骤a.中给定的条纹参数在局部子区块上对每个通道-角度对的第一相位图像执行wicker相位估计
[0358]
c.计算步骤iib中获得的相位和步骤i中获得的中心窗口相位0之间的差异，并将相位偏差保存到对应的2d阵列中用于相位偏差
[0359]
iii.将完成的相位偏差查找表存储在内存中，其中将区块id作为条目以供以后使用
[0360]
·
对于整个流动池中遇到的每个其他测序区块重复步骤1。
[0361]
请注意：出于性能原因，我们在测序运行的第一循环中估计每个区块的相位偏差查找，但是，如果存在稳定性问题，也可调整学习频率以在每n个循环学习一次。
[0362]
在这些伪码中，我们呈现了估计和映射照明峰值角度、照明峰值间距和相位位移参数的技术。所估计的参数用作结构化照明显微术(sim)图像重建的输入。在以下章节中，我们呈现了提议的sim图像重建算法，该算法可有效地重建子区块的高分辨率图像，并且然后将这些子区块图像组合起来重建全fov的高分辨率图像。
[0363]
sim图像重建
[0364]
本发明所公开的sim图像重建技术使用子区块的角度、间距和相位估计来重建高分辨率图像。本发明所公开的技术可在两个步骤中构建fov高分辨率图像。首先，使用子区块参数为子区块重建高分辨率sim图像。其次，子区块的高分辨率图像可拼接在一起以构建全fov图像。另选地，可在没有拼接的情况下处理高分辨率子区块。该章节开始于用于子区块的sim图像重建的示例伪码。这被称为“子区块重建”算法。本发明所公开的技术通过使用频域中的非冗余数据来利用傅立叶空间中的对称性。这将某些核心操作所需的计算量减少了近一半。该章节还呈现了用于组合子区块的sim图像以重建全图像的高分辨率图像的示例伪码。这被称为“全视场重建”算法。请注意，上述公开的参数估计技术可与传统冗余或本发明所公开的非冗余sim图像重建技术一起使用。
[0365]
算法3：子区块重建
[0366]
用于重建高分辨率结构化照明显微术图像子区块的一个具体实施的伪码遵循。
[0367]
输入：
[0368]
a.具有某种光栅轮廓(
角度、相位
)的样本图像集合。对于每个角度，我们需要至少3个相位图像，从0度至360度均匀间距开。
[0369]
b.参数：
[0370]
i.与角度对应的一组图像的照明峰值间距和角度
[0371]
ii.对于每个图像的相位
[0372]
输出：用于子区块的一个高分辨率重建图像
[0373]
算法：
[0374]
1.预处理图像(例如高通滤波器)
[0375]
2.创建大的傅立叶图像缓冲区(其大小将取决于所需的最终上采样因子)并初始
化为0
[0376]
3.对于每个角度
[0377]
a.对于图像集，每个图像对于给定角度的光栅都有一个独特的相位
[0378]
i.对每个图像执行快速傅里叶变换
[0379]
b.对图像集合执行频带分离(n≥3个输入图像
→
3个输出或分量图像)
[0380]
i.三个输出图像中的两者包含更高分辨率的信息。
[0381]
ii.剩余图像具有所有标准信息(原始分辨率图像)
[0382]
iii.需要了解每个图像的相位和整个集的调制
[0383]
c.将mtf应用于每个分量图像
[0384]
d.将每个分量图像从频带分离偏移到更大的傅里叶图像缓冲区中的适当位置，并对分量求和。
[0385]
4.通过将2d mtf图像偏移并求和为大的傅立叶图像，从输入mtf构建维纳滤波器
[0386]
a.我们对每个角度的输入图像中的每一者执行该操作
[0387]
b.不必为每次重建都执行此该作，可执行一次并作为输入参数提供
[0388]
5.将傅里叶空间中的维纳滤波器和变迹滤波器应用于重建图像的大的傅里叶表示
[0389]
6.在大的傅立叶图像缓冲区上执行逆快速傅里叶变换，得到高分辨率图像
[0390]
由于本发明所公开的技术不能通过参考现有技术来解释，因此与其他伪码相比，提供了对这种非冗余子区块重建伪码的更多描述。本发明所公开的技术利用傅立叶空间中的对称性来增加sim图像重建中的效率并减少计算负载。图18呈现了我们的非冗余子区块构建技术的高级视图。针对每个角度的每个子区块获取三个图像1811、1813、1815，优选地具有均匀间距的相位。我们应用离散快速傅里叶变换(fft)将图像数据从空间域(实际空间)转换为频域(复杂空间)。我们利用表示频域中三个图像的数据的fft对称性。我们通过在频域中的图像数据的非冗余部分上操作来改善重建子区块的高分辨率sim图像的效率。下述呈现了非冗余子区块重建算法的处理步骤的细节。
[0391]
输入
[0392]
1-a.图像集合
[0393]
将划分为子区块的样本的图像作为子区块重建算法的输入给定。图像被划分为预定义大小例如512个像素
×
512个像素的子区块或子窗口或子区域。可使用其他大小的子区块。
[0394]
图像区块的集合扩展了现有技术，因为需要如此多的区块来捕获和图像平面。在一个具体实施中，用产生正弦照明强度图案i
θ,φ
(r)的衍射光栅来获取图像区块。强度根据位置(x,y)变化，由矢量r表示，该矢量是二维空间位置市量。针对比较，lal等人2015年呈现了一种基本的结构化照明显微术重建算法，该算法被标记为“算法1sim-ra”。为了解释我们的sim图像重建算法的步骤，我们已经使用了来自lal等人2015年的数学公式。请注意，lal等人2015年呈现的重建算法适用于全图像，而我们的子区块重建技术重建高分辨率sim图像子区块。
[0395]iθ,φ
(r)的数学公式在lal等人2015的方程(1)中呈现。对于正弦照明图案的每个取向θ，对应于三个不同的照明相位获取标本的三个sim图像。在一个实施方案中，使用正弦照
明图案的两个取向角度获取两个图像集，即分别为θ1＝45
°
以及θ2＝135
°
。取向角度θ也称为照明峰值角度β。在此类实施方案中，纳米孔可定位在方形的角处或更一般地，定位在矩形或四边形的角处。选择取向角度使得沿连接矩形的相对角的线拍摄图像。这增加了纳米孔之间的表观距离。
[0396]
在另一个具体实施中，可以三个取向角度拍摄三个图像集，例如θ1＝0
°
、θ2＝60
°
、θ3＝120
°
或θ1＝30
°
、θ2＝90
°
、θ3＝150
°
。在该实施方案中，纳米孔可布置在六边形的相对角处。沿连接六边形几何形状的相对端的线拍摄图像。通常，可选择图像集以匹配连接布置有纳米孔的几何形状的相对端的对角线的数量。
[0397]
对于每个取向θ，对应于三个不同的照明相位φ1＝0
°
、φ2＝120
°
和φ3＝240
°
获取至少三个图像，间距从0
°
至360
°
。优选均匀的相位间距。通过使用更小的相位阶跃，可获取更多图像，例如五个、六个或七个。
[0398]
1-b(i)结构化照明图案角度和间距参数
[0399]
定义光栅的周期性或正弦强度图案i
θ,φ
(r)的照明的照明峰值间距“s”也作为输入给定。使用上述呈现的“子区块角度和间距映射”算法(也称为算法2a)来估计子区块的照明峰值间距和照明峰值角度θ。应用“利用二次拟合和查找表的最终失真校准”算法(也称为算法1)来补偿由于光学传感失真而导致的非中心子区块的角度和间距参数估计误差。上述呈现了用于“子区块角度和间距映射”和“利用二次拟合和查找表的最终失真校准”的示例伪码。
[0400]
1-b(ii)相位位移参数
[0401]
结构化照明强度图案i
θ,φ
(r)的相位位移(也称为光栅相位)也作为输入给定。使用“子区块相位映射”算法(也称为算法2b)来估计子区块的相位值。应用“利用二次拟合和查找表的最终失真校准”算法(也称为算法1)来补偿由于光学传感失真而导致的非中心子区块的相位参数估计误差。非中心子区块的相位和每个角度的中心子区块之间的差异存储在查找表中。上述呈现了用于“子区块相位映射”算法的示例伪码。通过描述这些输入，我们转向处理。
[0402]
处理步骤1：预处理图像(高通滤波器)
[0403]
用于子区块重建的处理可开始于图像预处理。通常对应于本说明书的伪码在解释之后。在傅立叶空间中执行增强图像的重建。但在应用傅里叶变换将图像数据从空间域转换为频域之前，我们可应用如下所述的预处理步骤到图像区块。以下描述是基于沿一个角度具有不同相位值的三个图像。如上所述，将使用两个或更多个取向。
[0404]
可预处理获取的图像以去除噪声。噪声具有许多来源。例如，暴露于强烈的激发光可产生减少来自荧光团的发射强度的光漂白。lal等人2015年的图6示出了获取的sim图像中的噪声说明。图6的左上角图像(标记为(a))示出了带有背景荧光模糊的原始sim图像。这会在零或dc频率附近的一个小邻域中的原始sim图像的频率含量中引入很大的误差。高通滤波器，诸如高斯高通量或巴特沃斯高通滤波器，可用于预处理原始sim图像。图6中的第二张图像(标记为(b))示出了减去背景后的原始sim图像。图像(a)和(b)两者的傅立叶光谱与所示相同。有关高通滤波器的详细讨论，请读者参阅gonzales和woods 2008年第4章，“digital image processing”，第3版。在第4章中，gonzales和woods在图4.52中呈现了一个图示，其中包括理想的、巴特沃斯和高斯高通滤波器的透视图、图像表示和横截面。
[0405]
处理步骤2：创建大的傅立叶图像缓冲区
[0406]
存储器中的缓冲区可被保留并初始化以接收增强的傅立叶图像。存储器缓冲区的大小取决于上采样因子、增强程度。sim图像重建技术理论上可沿三个图像的每个角度或取向产生增强的分辨率，该分辨率是沿该取向的获取的图像分辨率的高达2倍。对于两组或三组三个图像，我们可保留缓冲区来存储上采样因子为2的高分辨率图像。
[0407]
处理步骤3：对于每个角度θ循环步骤3-a至3-d
[0408]
循环执行处理步骤3-a至3-d。在一个迭代中，针对每个角度获取的子区块的三个图像执行处理步骤。我们现在描述循环中处理步骤的详细信息。
[0409]
步骤3-a(快速傅里叶变换)：
[0410]
将离散快速傅里叶变换(fft)应用于以相同角度或取向“θ”获取的图像集。如上所述，我们沿每个取向获取具有不同相位的至少三个图像。每个图像都从空间域变换到频域。对于n
×
n图像，计算2d离散傅里叶变换(dft)的复杂度为o(n4)，通过利用行到行和列到列的公共子表达式，可将该复杂度降低到o(n3)。如果n是2的幂，则可实现进一步的加速。当n是2的幂时，对于n
×
n图像，快速傅里叶变换(fft)算法可实现复杂度o(n2log2n)。利用行和列中的常用表达式的一个示例是通过使用“蝶形计算”。有关详细信息，请参见heckbert 1995年，“fourier transforms and the fast fourier transform(fft)algorithm”，网址为http://www.cs.cmu.edu/afs/andrew/scs/cs/15-463/2001/pub/www/notes/fourier/fourier.pdf。因此，选择子区块大小诸如512个像素
×
512个像素会在频率分辨率和计算的时间增加之间进行权衡。可使用边长为128个像素、256个像素、512个像素、1024个像素、2048个像素、4096个像素或在128个像素至4096个像素范围内的子区块。
[0411]
空间域中的图像数据表示为实数。当我们执行傅里叶变换时，频域中的所得数据表示为复数。复数z可表示为z＝x iy，其中x和y是其实部和虚部。复数z的共轭表示为z*＝x-iy。
[0412]
图19示出了两个示例角偏移傅立叶域矩阵，描绘了具有n值为偶数(1910)和奇数(1920)的矩阵，以示出傅立叶空间中的对称性。频域中的这些图像由n
×
n矩阵表示。两个矩阵1910和1920的顶行和左列被称为对应于零或dc频率分量的dc行和dc列。与这些值的角偏移矩阵相比，频域中的图通常在圆圈处显示零或dc频率。
[0413]
图19中的矩阵在傅立叶或频域中表现出对称性。矩阵1910和1920中的dc行和dc列具有左右和上下的共轭对称性。具有偶数行和列的矩阵1910具有也具有上下共轭对称性的中间列。留出顶行和左列(1910,1920)以及偶数矩阵中的中间列(1910)，每个矩阵的剩余部分具有180度旋转共轭对称性。这两个1910和1920的这些部分以粗线示出。
[0414]
将频域中的完整矩阵划分为两半，在留出行和列之后，产生一个右半部分，在旋转180度之后，它是左半部分的共轭。图19示出了偶数和奇数维矩阵(1910,1920)的半矩阵(1911,1912)和(1921,1922)。可从左半部的数据中查找右半部分的值。考虑到这种查找，左半矩阵是所谓的非冗余数据，右半矩阵是冗余数据。左半部分的列数(略大于一半)为((n/2) 1)，并且右半部分的列数为(n-(n/2)-1)。本发明所公开的技术保持跟踪对称性以减少计算负载。
[0415]
当重建sim图像时，我们在傅立叶空间中的全图像矩阵的非冗余左半部上操作。随着所需计算数量显著降低，这增加了效率。在以下sim重建步骤中，我们将呈现关于如何利
用傅立叶空间中的对称性的进一步细节。
[0416]
步骤3-b(频带分离)：
[0417]
在每个捕获的图像中呈现偏移和未偏移频率分量，因为源的位置相对于照明的条纹峰值随机分布。该步骤使用频带分离矩阵m-1
分离获取的图像的频域表示中的偏移和未偏移频率分量。频带分离矩阵也称为逆混合矩阵(wicker等人，2013年)或重建矩阵(lal等人，2015年)。gustafsson等人2000年在他们名称为“doubling the lateral resolution of wide-field fluorescence microscopy using structured illumination”的论文中示出了论文图5中的频带分离过程。该图示出了来自观察到的图像的分离频率分量。频带分离可从下述方程(31)中理解，摘自lal等人2015年。该方程表明，三个分量从方程右侧的三个观察到的图像中分离出来。使用照明图案的角度θ获取三个图像。
[0418][0419]
从方程(31)中提取的第一分量是所谓的dc分量这是具有未偏移空间频率的分量。当使用精确的相位和调制参数进行分离时，该分量不包括超出阿贝衍射极限的高频率含量。第二分量和第三分量高频率含量。第二分量和第三分量包含偏移到阿贝衍射极限的带通区域的高频率含量。
[0420]
如图20至图22所示，频带分离步骤利用了本发明所公开的非冗余sim图像重建技术。假设傅立叶空间中每个子区块图像的全矩阵具有512行和512列，如图20所示。如上所述，我们将对应于在三个相位上针对一个角度获取的三个图像的三个频域矩阵中的矩阵位置分成非冗余和冗余两半。每个非冗余半矩阵具有512行和257列，包括两列和一行dc分量，并且由在冗余半矩阵中具有互补共轭系数的非冗余系数主导。我们将每个非冗余左半矩阵重成形为矢量，并将三个半矩阵的三个矢量组合成具有3行和131,584列的矩阵，如图21所示。然后，我们将频带分离矩阵m-1
的逆矩阵与组合矩阵相乘，以得到相同大小的所得分量分离矩阵，也具有3行和131,584列。分量分离矩阵对应于方程(31)的左侧。然后我们对所得矩阵的三行进行重成形，以获得对应于三个频率分量阵的三行进行重成形，以获得对应于三个频率分量的矩阵的非冗余左半部分。图22(和图18)中示出了三个非冗余矩阵1831、1833和1835。在我们的情况下，分离分量呈非冗余左半矩阵的形式。
[0421]
现在参考图18，在处理步骤3-b之后，所谓的dc频率分量的全矩阵可表示为方形距阵，该方阵组合了非冗余半矩阵1831(左半部分)和冗余半矩阵1832(右半部分)，或者它可以是矩形矩阵。dc频率矩阵不经历与高频矩阵相同的偏移，因此dc半部可更早或更晚地组装而不会造成计算损失。对于两个高频分量，对称性的处理不同，以减少计算负载。
[0422]
在处理步骤3-b之后，高频分量的全矩阵被组织以组合来自两个频带的部分，诸如来自第一高频图像的非冗余半矩阵(1)1843和来自第二高频图像的冗余半矩阵(2')1844。等效地，可组合来自第二高频分量的非冗余半矩阵(2)1845和来自第一高频分量的冗余半矩阵(1')1846。
[0423]
虽然在图18中示出了dc和高频分量的三个全矩阵，但可利用对称性来处理步骤3b、3c和3d中的操作，从而通过使用一半数据来处理频率分量的频带。
[0424]
类似的过程可应用于具有沿某一角度的相位阶跃的1d结构化照明的五个图像，分成频率分量，或沿某一角度的大量图像。可使用除正弦或余弦变化照明以外的函数。本发明所公开的技术还可应用于用2d结构化照明创建的图像集。
[0425]
步骤3-c(应用调制传递函数)：
[0426]
描述了用于应用调制传递函数(mtf)和/或光学传递函数(otf)的两个另选方案：独立mtf的两步应用，随后是维纳滤波器以减少噪声，以及内置到维纳滤波器中的mtf的一步应用。这两个另选方案都可利用本发明所公开的非冗余计算技术。
[0427]
在这两步具体实施中，我们将(mtf)(其是光学传递函数(otf)的幅度或绝对值)与在步骤3-b之后获得的三个分量b之后获得的三个分量中的每一者相乘。请注意，步骤3-b和步骤3-c在图18中合并，因为mtf的应用不会影响矩阵中的对称性。
[0428]
透镜的调制传递函数是其在特定分辨率下将对比度从对象传递到图像的能力的测量。换句话说，mtf是将分辨率和对比度合并到单个规范中的方式。分辨率是成像系统区分对象细节的能力。它可用每毫米线对(lp/mm)来表示，其中线对是一条黑线和一条白线的序列。每毫米线对的这种量度也称为频率。频率的倒数产生两个分辨线之间以毫米为单位的间距。具有一系列同样空间、交替白条和黑条的条形目标(也称为1951usaf目标或ronchi规则)通常用于测试系统性能。随着行距的减小(即目标上的频率增加)，透镜越来越难以有效地传递这种对比度的降低；结果，mtf减少。
[0429]
有关调制传递函数的更多详细信息，请读者参阅名称为“introduction to modulation transfer function”的文章，网址为https://www.edmundoptics.com/resources/application-notes/optics/introduction-to-modulation-transfer-function/。上述参考文章中的图5示出了随着线的空间频率增加，图像的对比度减小。为了使图像看起来清晰，黑色必须是真正的黑色，并且白色必须是真正的白色，两者之间的灰度最少。该文章的图6绘制了使用矩形透镜的无像差图像的mtf。mtf随着空间分辨率的增加而减小。重要的是注意实际系统并非没有完全像差。
[0430]
这种mtf和维纳滤波的两步应用可用单步方法代替，该方法在lal等人2015年的sim-ra算法1的第15步骤中呈现。同样，步骤3-c是算法的第一部分，分两步执行维纳滤波。另选地，该步骤可在步骤3-d之后执行，而对sim重建图像的质量没有任何影响。
[0431]
sim图像重建文献中推荐了这种两步方法(即，将mtf与维纳滤波分开应用)。例如，m.g.l.gustafsson在他的名称为“surpassing the lateral resolution limit by factor of two using structured illumination microscopy”的论文中推荐了这种两步方法，该论文发表在journal of microscopy，第198卷第2期，2000年5月，第82-87页。对于sim图像重建，该论文建议将三个频率分量中的每一者乘以显微镜的otf。在此之后，将分量添加在它们重叠之处。最后，分量总和除以otf和小常数的平方和。该论文进一步表明该过程等同于一步维纳滤波。
[0432]
方程32、33和34中三个分量的维纳滤波如下所示(摘自lal等人2015年)：
[0433]
[0434][0435][0436]
lal等人2015年将方程32、33和34左侧获得的三个频率分量lal等人2015年将方程32、33和34左侧获得的三个频率分量称为通过应用维纳滤波对噪声估计称为通过应用维纳滤波对噪声估计进行所谓的未分级估计。术语未分级似乎是从有限元分析的未分级网格中借用的。lal等人2015年的sim-ra算法1在原始sim图像被白噪声破坏的假设下运行。方程32、33和34中的方形括号中的表达式被称为维纳滤波器，并且m是调制因子。
[0437]
gonzales和woods在他们的书“数字图像处理”第351页第5.7章节中将噪声估计称为退化图像。gonzales和woods将otf称为退化函数。在无噪声的理想系统中，可应用简单的“逆滤波器”来检索未分级图像。然而，在所获取的图像中呈现大多数实际的系统噪声。因此，逆滤波器不能用于恢复未分级分量和和维纳滤波器恢复分级图像，使得退化图像和分级图像之间的均方误差最小化。因此，维纳滤波器也称为“最小均方误差”滤波器。维纳滤波器的进一步细节在gonzales和woods的“digital image processing”第352页第5.8章节中呈现。
[0438]
维纳滤波或gustafsson的两步法使我们能够恢复未分级分量的近似值，这些分量在lal等人2015年的方程32、33和34的左侧被称为未分级估计，如上所示。
[0439]
lal等人2015年的方程32、33和34的另一个重要观察是方程32、33和34的分子是otf的共轭。如果光学系统的点扩散函数(psf)h(r)是实数且对称，则意味着otf是实数。对于实数值，otf等于其共轭，即此外，如果otf为正，则mtf(otf的绝对值)等于otf，即根据我们之前的观察，这进一步意味着这一观察表明，mtf可用作方程32、33、34中的分子(当otf为实数且为正时)，这意味着该过程步骤3-c等效于将方程32、33和34的分子分别与三个方程32、33和34中的三个退化分量相乘。
[0440]
在非冗余sim子区块重建算法中，我们将频带分离步骤(步骤3-b)之后获得的非冗余矩阵1831、1833和1835相乘。这是按元素标量的乘法，并且不会改变所得的非冗余矩阵的维度。在该乘法之后，我们获得三个非冗余左半矩阵1831、1833和1835，在图18中示出。在应用otf之后，如频带分离步骤中所解释的，三个全矩阵中的对称性维持不变。
[0441]
第一列和中间列平均
[0442]
我们现在呈现的计算特征可使用非冗余sim图像重建算法改善重建图像的质量。在图23b中，我们示出了两个高频图像的傅立叶空间矩阵。在非冗余算法中，我们使用标记为1843(左半块1)和1845(左半块2)的两个矩阵的左半部分。这两个矩阵与分离的右半矩阵
1846(右块1')和1844(右半块2')一起显示在图23b的顶行中。两个矩阵左右两半的标记与图18一致(从上数第四行)。非冗余算法在图像重建期间使用两个高频矩阵的左半部分。由于傅立叶空间对称性，可使用对应的左半矩阵的查找来重建右半矩阵。图23b中的第二行矩阵示出了在图像重建期间将一个高频图像的左半矩阵拼接到第二高频图像的右半矩阵。这些拼接矩阵也显示在图18的第3行和第4行中。
[0443]
在该具体实施中，两个高频图像的左半矩阵比它们的对应的右半矩阵多两列。这两列是第一列和中间列，它们在图23b中以阴影图案示出。1843和1845的第一列和中间列代表dc分量，它们将通过完美的仪器和测量来匹配。由于用于捕获图像(在不同相位)的仪器存在缺陷，并且在该过程中也会引入噪声，因此两个高频矩阵的第一列和中间列可能具有不同的值。可通过强制1843和1845的第一列和中间列具有相同的值来改善重建。
[0444]
对两个高频分量的矩阵的非冗余分量的第一列和中间列进行平均是匹配1843和1845中这些列的一种方式，以通过在这些列的值中引入对称性来改善重建图像的质量。图23c示出了傅里叶空间中两个高频图像的左半矩阵的第一列和中间列的平均。两个矩阵的第一列和中间列中的平均值使所得矩阵满足傅立叶空间对称性。平均后的第一列和最后一列在图23c中以交叉影线图案示出。
[0445]
也可使用其他技术来匹配1843和1845的这些列的值。例如，我们可在第一或第二高频图像的第一列和中间列中使用值，并在矩阵1843和1845中使用这些值。或者也可使用两个高频图像的第一列和中间列的值的加权组合。例如，通过将三分之二的权重分配给一个高频图像的值并将三分之一的权重分配给另一个高频图像的值来组合这些值。应当理解，可分配不同的相对权重来组合相应列的值。
[0446]
步骤3-d(子像素偏移)：
[0447]
在该步骤中，高频分量中的每一者被偏移以克服离散快速傅里叶变换的量化效应。因为傅里叶空间矩阵中的像素位置对应于离散的频率区间，我们将其称为子像素偏移。为了解释这一点，karras等人2019年在他们发表在optics communications上的论文“successful optimization of reconstruction parameters in structured illumination microscopy
–
a practical guide”中，阐述了当使用结构化照明图案时，较高频率的分量偏移到otf的通带中(参见karras等人的图1，2019年)。在子像素偏移期间，高频分量的真实位置分别以频域中的频率p
θ
和p
θ
为中心。取自lal等人2015年的方程35和36示出了这种偏移。
[0448][0449][0450]
在现有技术sim图像重建算法中，诸如在lal等人2015中呈现的sim-ra算法1，每个高频图像执行两个傅立叶变换操作，以将高频含量偏移到其正确位置，如方程35和36所示。傅立叶变换的偏移特性使我们能够对信号进行偏移。可通过将信息从频域带到空间域然后应用乘法(也称为应用转换矢量)来完成偏移。然后将傅里叶变换应用于空间域中的该偏移信号，以将其带回频域。关于傅立叶变换的偏移性质的更多信息可访问http://www.thefouriertransform.com/transform/properties.php。高频含量的偏移实际上是在真实空间中通过对未分级图像执行逆傅里叶变换来执行的，以便在离散傅里叶变换中不将
转换矢量限制为整个像素。因此，我们可在真实空间中实现子像素偏移。然后通过应用傅里叶变换将偏移的高频分量变换为频域。
[0451]
我们通过使用傅里叶空间中的对称性来改善sim图像重建的效率并减少所需的计算资源。所谓的dc频率分量不需要像在参考位置中那样进行子像素偏移，如图18所示。高频分量矩阵相对于dc频率分量矩阵偏移。
[0452]
在本发明所公开的非冗余算法中，在组合高频分量的互补相位偏移矩阵的非冗余半部之后，我们仅偏移了一个高频分量矩阵，如图18所示。高频分量的组合半部显示为左半部分1833和右半部分1834，或者在图18的第三行的中间列中被标记为1|2’矩阵。该矩阵从傅立叶域偏移到空间域并再次返回，而不是现有技术sim图像重建算法中的两个矩阵。偏移矩阵1|2'示出在图18中第四行的中间列中，其中两个箭头对角向上指向左上角。该矩阵由左半矩阵1843和右半矩阵1844构成。使用1|2'矩阵的傅里叶空间对称性和共轭获得由左半矩阵1845和1846构成或标记为2|1'的第二偏移高频矩阵。我们偏移它的量与偏移1|2'的量相同，但方向相反，这由两个对角指向右下角的箭头表示。
[0453]
出来步骤3a至步骤3d在照明峰值角度的循环中重复。在该示例中，我们使用两个角度或取向，因此我们执行以结构化照明图案的第二取向获取的第二组三个图像的上述步骤。
[0454]
处理步骤4：重建总和以及构建维纳滤波器
[0455]
维纳滤波器可构建一次，并且然后即使参数改变也重复应用于滤波器图像。karras等人2019年的论文的补充材料名称为“successful optimization of reconstruction parameters in structured illumination microscopy
–
a practical guide”，发表在optics communications上，示出了维纳滤波器参数(w)的调谐，该参数是方程32、33和34中分母的常数部分。karras等人2019年的补充材料的图s1示出了维纳滤波器参数(w)的不同值对检索到的图像光谱的影响。维纳滤波器参数的低值可能会导致检索到的光谱中出现噪声。太高的值可能导致图像数据损失。维纳滤波器的参数值可根据经验选择，如lal等2015年和karras等人2019年的补充材料中所述。其他类型的傅立叶空间低通滤波器可另选地用于降低噪声。例如，高斯低通滤波器、巴特沃斯低通滤波器或汉明低通滤波器。这些滤波器的详细信息的网址为http://fourier.eng.hmc.edu/e101/lectures/fourier_analysis/node10.html。
[0456]
仅包括高频分量的矩阵的部分与所谓的dc频率矩阵重叠。来自该多个傅里叶域频率矩阵的系数组合的扩展矩阵比组合之前的单个矩阵更宽更高了一个上采样因子，这反映了图像分辨率的增强。上采样因子可在单独矩阵的宽度和高度的1.0至2.0之间。当上采样因子为1.0时，不存在图像分辨率增强。不存在高频分量，并且在沿某一取向的所有相位拍摄的图像彼此重叠。当上采样因子为2.0时，高频分量的偏移矩阵彼此分离，使得其边缘(或边界)接触到未偏移矩阵的中心。这意味着高分辨率重建图像的宽度和高度增加了个别图像矩阵的两倍。该组合矩阵被示出为图18中的大矩阵1850。矩阵1850被示出为比标记为1|2’和2|1’的单独矩阵的两倍宽和高，以示出重建图像增强。当用于图像分辨率增强的上采样因子大于1.0且小于2.0时，偏移矩阵1|2’和2|1’在大矩阵1850的中心处定位成更靠近且彼此重叠。
[0457]
在图18中，我们示出了在第一角度的三个图像的矩阵中构建矩阵1850。用于第一
角度的dc分量的非冗余半部示出为图18中的1841。然后，我们将一个高频图像的子像素偏移系数放置在矩阵1850的左上部分，并将另一个高频图像的子像素移位系数放在右下部分。可在互补的非冗余分量中查找完成1850所需的冗余共轭分量，从而保持跟踪互补分量(系数)的矩阵位置，并将改变的符号应用于复制系数的任何虚部。
[0458]
添加第二正交角度和另外三个图像(未示出)将填充方形。我们将第二角度的一个高频分量的全矩阵放置在矩阵1850的左下部分，并将第二高频分量的全矩阵放置在右上部分。
[0459]
lal等人2015年中示出了对九个图像进行组合。在矩阵1850中组合重叠矩阵位置处的系数。这是六个图像的变化，为两个角度而不是三个角度。
[0460]
当系数被描绘为中心偏移时，组合矩阵的可视化最清楚，其中频率范围的中间值在矩阵的中心，但实际上可使用角偏移矩阵来执行计算，例如，其中最低频率分量在左上角或右下角。在图18中通过将低频分量放置在中心而高频分量远离中心来示出增强分辨率的图像矩阵1850的重建。频率含量的这种排列被称为中心偏移光谱。将快速傅里叶变换(fft)应用于空间域中的图像数据导致角偏移光谱，其中低频分量的振幅在傅立叶空间(或频域)中的二维光谱的角处终止。高频分量定位成更靠近二维光谱的中心。为了便于理解，可将频域中的频率含量视为中心偏移光谱，其中低频分量定位成靠近中心，并且高频分量定位成远离中心。在角偏移光谱中象限的对称性允许对角地交换象限，以使低频分量更靠近中心。因此，可以直接方式将角偏移光谱转换为中心偏移光谱，并且反之亦然。在角偏移和中心偏移光谱两者中保持结合对称性和冗余区域。为了便于读者理解，呈现了图18中的中心偏移光谱。
[0461]
对于步骤3-c中的频带分离图像，可使用上述呈现的一步(lal等人2015年)或两步(gustafsson 2000年)技术为组合图像构建维纳滤波器。例如，在一个具体实施中，可使用是otf(光学传递函数)的振幅或绝对值的mtf(调制传递函数)来构建维纳滤波器。在该具体实施中，我们执行重建过程以在计算上模拟维纳滤波器中的重叠频率信息。我们将频带分离图像的维纳滤波器权重应用于组合图像的otf，以为维纳滤波器构建组合图像。维纳滤波器应用于下一步骤中的组合图像。
[0462]
处理步骤5：应用维纳滤波器和变迹滤波器
[0463]
在该步骤中，我们将维纳滤波器或先前步骤中建立的另选滤波器应用于傅立叶空间中的组合图像。在步骤3-c中，我们通过应用独立的mtf将维纳滤波分为两个步骤。参见步骤3-c中的方程32、33和34。作为两步滤波过程，该步骤涉及将维纳滤波器的剩余部分(在方程32、33和34中呈现)应用于傅里叶空间中的组合图像。在另选实施方案中，我们可将维纳滤波器应用于每个角度的三个频率分量的傅里叶空间表示，然后将它们组合以形成组合图像。当在早期应用时，我们可将维纳滤波器仅应用于频带分离频率分量的矩阵的非冗余半部。
[0464]
维纳滤波器的应用增强了信号，但它也可增加图像中的噪声。适当设计的变迹滤波器可避免由于高频含量而引入的图像中引入的硬边缘。变迹滤波器是低通滤波器，其可去除傅立叶空间中预定义半径之外的频率含量。变迹滤波器减少了维纳滤波器引入的误差。也可应用其他低通滤波器，诸如真实空间汉明低通滤波器或高斯低通滤波器，以减少维纳滤波器引入的误差。请注意，变迹滤波器是任选的，并且不被某些sim重建算法(诸如lal
等人2015年的sim-ra算法1)使用。另选地，变迹滤波器可仅应用于流水线中较早的三个频率分量的矩阵的非冗余半部。
[0465]
处理步骤6：执行逆fft
[0466]
在该步骤中，我们将逆傅里叶变换应用于频域中的全图像的矩阵1850。应用逆快速傅里叶变换(ifft)将傅立叶域中的矩阵分量变换为空间域中的图像(在实际空间中)。该所得矩阵1860是高分辨率sim重建图像。当使用子区块时，它是较大区块的一部分。
[0467]
用于全fov图像的sim图像重建
[0468]
可组合高分辨率sim图像的子区块以重建全fov的高分辨率图像。以下呈现了用于本发明所公开技术的一个具体实施的伪码，以从多个子区块图像重建高分辨率全视场图像。下述呈现的算法被称为“全视场重建”算法(也称为算法4)。它扩展了算法3以用于子区块重建。它将获取的图像和应用估计参数的失真系数作为输入。上述呈现了角度和间距参数(输入2)和相位偏差查找表(输入3)的失真系数的估计。该算法将全fov图像划分为大小相等的区域的子区块。如上述算法3中所呈现，为子区块重建sim图像。最后，组合子区块的高分辨率sim图像来重建全fov数据的高分辨率sim图像(算法步骤4b)。
[0469]
算法4：全视场重建
[0470]
输入：
[0471]
1.图像集合，例如2个角度和每角度3个相位
[0472]
2.角度/间距的失真系数(参见利用二次拟合和查找表算法的最终失真校准)
[0473]
3.用于相位的失真查找表(参阅利用二次拟合和查找表算法的最终失真校准)
[0474]
4.维纳滤波器和变迹参数
[0475]
输出：重建输出
[0476]
算法
[0477]
1.构建以下图像/滤波器(大小被设计成以与子区域匹配)
[0478]
a.otf
[0479]
b.维纳法
[0480]
c.变迹法
[0481]
2.将图像划分为大小相等的子区域，例如512
×
512
[0482]
a.如果图像不能被子区域大小整除，则在右边缘或底部，将子区域向左(或向上)偏移，使其落在图像上。
[0483]
b.为边界子区域设置簿记，以确保仅将非重叠部分复制到右侧或底部边缘子区域
[0484]
3.使用例如512
×
512窗口估计图像中心的参数(参见子区块角度和间距映射算法和子区块相位映射算法)
[0485]
a.估计每个角度的照明峰值角度和间距
[0486]
b.估计每个角度的调制
[0487]
c.估计每个图像的相位
[0488]
4.对于每个子区域
[0489]
a.使用子区块重建算法重建更高分辨率的子区域
[0490]
i.使用步骤3中找到的光栅和角度，以及给定的失真系数来估计局部光栅和角度
[0491]
ii.使用在步骤3中找到的相位和给定的失真查找表来估计正确的相位
[0492]
iii.鉴于先前为子区域构建的otf、维纳法和变迹法
[0493]
b.将来自(a)的输出复制到大图像
[0494]
i.如果是边界子区域，则仅复制缺失的数据
[0495]
在先前描述的上下文中，该伪码应该是自解释性的。
[0496]
对sim图像重建算法的潜在改善
[0497]
我们在以下专利中呈现了对sim图像重建算法(sir)的潜在改善：美国临时专利申请号62/924,130，名称为“systems and methods for structured illumination microscopy”(代理人案卷号illm1012-1)；以及美国临时专利申请号62/924,138，名称为“increased calculation efficiency for structured illumination microscopy”(代理人案卷号illm 1022-1)。两项临时申请均于2019年10月21日提交。
[0498]
第一潜在改善与相位偏差查找表相关。baseline sir算法使用静态偏差查找表。baseline模型中的假设是相位偏差和失真可学习一次并存储在查找表中。假设查找表中的值是稳定的并且适用于多个测序运行。baseline sir算法假设相位偏差查找表(lut)在空间域中保持稳定。这意味着可在流动池的区块上应用相同查找表。我们在baseline算法中的第二假设是lut在多个测序运行中保持稳定。实验显示，这些假设对于所有流动池和测序运行可能不是真的。流动池中的区块可具有不同的倾斜或其他失真。查找表中的值可能受多个测序运行中改变的各种环境因素影响。
[0499]
因此，“all in”sim算法包括在将新的流动池加载到测序仪中并启动测序运行时，为每个区块的每次测序运行学习相位偏差查找表。这可增加测序运行的第一循环所需的处理时间。然而，观察到错误率和通过滤波(或％pf)量度的簇的百分比的显著改善，如以下段落所示。
[0500]
第二潜在改善涉及几何失真，这导致平行线弯曲或以其他方式失真。几何失真可能会导致成像或光路以及流动池中的失真。在一些情况下，流动池中的所有或一些区块可具有倾斜并且可能不是平坦的。这可能导致几何失真。对流动池中的所有区块进行表征是优选的，因为流动池中区块与区块之间可能存在变化。早期版本的校正假设几何失真可学习一次并在多次测序运行中使用。实验表明，这种假设对于所有测序运行可能不是真的。因此，“all in”算法包括在测序运行的第一循环中学习流动池中每个区块的几何失真。
[0501]
第三潜在改善涉及子区块图像的拼接以形成全视场(fov)图像。在baseline sim算法中，当将逆快速傅里叶变换(ifft)应用于频域中的子区块时，子区块的边缘在空间域中是显而易见的。因此，全视场中的拼接子区块示出了子区块边缘处的拼接线。拼接线问题导致深色伪影沿子区块的边界出现。all-in sim算法通过使用子区块之间的重叠来解决拼接线问题。例如，子区块可具有5个像素至15个像素的重叠。在一个具体实施中，子区块沿边界具有8个像素的重叠。在重建全视场(fov)图像时，“all-in”算法可丢弃子区块的外部8个像素，并使用内部区域在空间域重建全视场图像。在该具体实施中，通过在每侧添加边框像素(例如，8个像素)，子区块的大小可大于512个像素
×
512个像素。在另一个具体实施中，子区块的边界像素可被平均而不是丢弃边界像素。
[0502]
第四潜在改善涉及优化变迹滤波器和维纳滤波器。滤波器参数取决于上采样。baseline sim算法使用1.2倍上采样，这可剔除部分像素。当子区块图像在空间域中拼接在一起时，这可能导致图像的偏移和对准问题。像素剔除是由于产生非整数像素的上采样因
子(即1.2)。all-in sim算法使用1.5倍上采样，通过使用产生整数像素的上采样因子来克服部分像素剔除问题。因此，提供用于拼接在一起的更清晰的子区块图像。在其他具体实施中，可使用其他上采样因子值，诸如1.25倍上采样，其也可产生整数像素。
[0503]
在一些具体实施中，本发明所公开的技术可使用剂量斜升来补偿对测序运行中由暴露循环引起的对核苷酸的损坏。在剂量斜升时，蓝色和绿色通道激光的激光功率增加。
[0504]
性能比较结果
[0505]
我们比较了baseline sim算法与all-in sim算法的性能。使用由错误率和簇通过滤波的百分比(％pf)指示的测序结果质量来比较这两种算法。错误率量度测量在测序过程中与已知参考基因组进行比较时发生错误的碱基检出百分比。簇通过滤波或％pf量度是来自流动池上的每个分子簇的信号质量的指示。期望较低的错误率和较高的％pf值，因为它们表明具有高质量碱基检出的良好测序输出。在流动池上的一百多个区块中，我们为每次测序运行选择最佳区块结果来比较算法。流动池中的区块可在平坦度、倾斜、表面抛光和其他环境因素方面具有可变性。从100多个区块中选择最佳区块进行比较的原因是通过统计汇总来减少由这些其他外部因素引起的可变性。
[0506]
图25a呈现了用于三个测序运行(标记为a、b和c)的baseline和all-in算法的错误率。对于每个测序运行，为两个算法呈现最佳区块的错误率。顶栏表示all-in算法中最佳区块的错误率，并且底栏表示baseline算法中相应测序运行中最佳区块的错误率。图表底部的表列出了使用all-in算法时最佳区块错误率的定量改善。例如，当使用baseline算法时，测序运行a的最佳区块错误率为1.85％。当使用all-in算法时，测序运行a的最佳区块错误率为1.18％，从而指示具有更少错误率的更高质量测序过程。当使用all-in算法时，对于测序运行b和c，在降低错误率方面也观察到了类似的改善。
[0507]
图25b呈现了在这两种算法的三个测序运行中的最佳区块的簇通过滤波(或％pf)结果。下表呈现了两种算法在各自测序运行中用于最佳区块的％pf值。all-in算法导致所有测序运行的％pf值更高。具体来说，测序运行a中最佳区块的％pf值为82.7，这表明流动池区块上82.7％的簇被认为是良好簇，可为其生成碱基检出信息。测序运行中最佳区块的％pf值仅为70.1。较高的％pf值导致更多簇通过滤波，从而提高测序通量。图案化流动池可对簇的数量具有理论最大限制，该数量等于可在其中形成分子簇的纳米孔的数量。图25a和图25b中的结果示出，与baseline算法相比，all-in算法导致更低的错误率和更高的通量(由于较高的％pf值)。
[0508]
图26a、图26b和图26c分别呈现了测序运行a、b和c中循环的最佳区块错误率。为baseline和all-in算法呈现了测序运行中错误率的单独时间序列。图26a至图26c中的结果示出all-in算法降低了测序运行中的错误率。使用all-in算法对最佳区块的错误率的改进可能因循环而异。在图26a中，对于初始25个循环，baseline和all-in算法的错误率几乎相同，然而，随着测序运行进行，all-in算法的错误率与baseline算法的错误率相比减少。图26b示出了初始循环中all-in算法的错误率略微更好。在测序运行的后续循环中，all-in算法优于baseline算法。图26c示出了两种算法的测序运行c中的循环的最佳区块错误率。对于大多数循环，all-in算法的性能显著优于baseline算法。这些图还示出了all-in算法具有更高错误率的特定循环。这些结果可帮助技术人员或研究人员专注于导致特定循环的错误率增加的质量问题。
[0509]
图26d呈现了与baseline算法相比通过对all-in算法的特定更新实现的错误率的改善。例如，左图通过一一包括相位学习和拼接修复，呈现了测序运行a错误率的改善。相位学习是指相位偏差的估计，其可捕获非中心子区块相对于中心子区块的相位位移值之间的关系。为流动池的每个区块生成并存储单独的相位偏差查找表。用于测序运行a的baseline算法的错误率为1.85，如图24a中的表中的第一列所示。当相位学习包括在baseline算法中时，错误率改善为0.65或32％，并且当拼接固定包括在baseline模型中时，baseline算法的错误率改善为0.19或10％。该图还可解释为在baseline算法中分别将错误率降低了0.65的相位学习和将错误率降低了0.19的拼接固定。包含两种技术之后的残余错误率为1.18。
[0510]
图26d右侧的图表呈现了由用于测序运行b的相位学习和拼接固定技术引起的错误率的改善。在baseline算法中包含相位学习将错误率降低0.227或33％。在baseline算法中包含拼接固定将错误率降低0.039或6％。包含两者技术之后的残余错误率为0.414。我们现在呈现了当本发明所公开的sim参数估计和图像重建技术应用于处理来自测序运行的图像时所公开的技术的影响的讨论。
[0511]
对本发明所公开的技术的影响
[0512]
呈现了简化的示例以示出本发明所公开的技术如何可在多个循环和若干小时内减少流动池上结构化照明图像增强的计算资源要求。机器功能各不相同，因此选择了约整数以使示例计算易于遵循。记住，本发明所公开的技术可独立应用、单独或组合应用。在一些具体实施中，可更频繁地估计参数，以补偿由于环境因素导致的系统不稳定性。例如，如上所述，“all-in”sim算法在每个测序运行的第一循环中估计相位偏差查找表。这可增加第一循环的持续时间达至多30％。然而，可实现错误率和％pf量度的显著性能改善。
[0513]
假设测序运行涉及150个分析循环，其中两个照明频率以每个循环6分钟的速率进行。150个循环中的基本图像区块捕获需要15小时。假设两个角度( /-45度)用于结构化照明，每个循环中每个角度有三个图像。150个循环内每个区块的图像数量是1800个图像。假设在7
×
10网格中存在70个子区块。处理要求为900分钟内126,000个子区块。
[0514]
在第一具体实施中，假设系统在运行之前已校准，并且在整个运行中可使用二次拟合加上针对间距、角度和相位差生成的查找表。在该具体实施中，近中心子区块将受到条纹峰值估计1800次。这是流动池位置或照明激光源或投影结构化照明相位发生变化的次数。
[0515]
在该第一示例中，系统将避免70次中的69次条纹峰值估计。对于124,200个图像子区块，其他子区块将使用预先计算的与近中心子区块的关系来确定重建参数。重建参数的估计在计算上比实际重建更昂贵。所述计算要求减少超过一半。使用概述的对对称性的依赖可进一步减少。
[0516]
对称性的应用允许查找共轭对值，而不是通过fft和其他方法计算。需要特别注意具有反射对称性的子区块部分，而不是占主导地位的180度旋转和符号更改操作对称性。在角偏移的傅立叶变换空间中的行数和列数为偶数的情况下，由于反射对称性而不是旋转对称性，顶行和左侧和中间 1列的处理不同。参见图19。在角偏移的傅立叶变换空间中的行数和列数为奇数的情况下，由于反射对称性而不是旋转对称性，顶行和左列的处理不同。参见图19和图23a。其他对称性可应用于中心偏移的傅里叶变换空间。
[0517]
图18的中心列示出如何通过关注非冗余数据在各个步骤中避免一半的频域计算。
假设这在这些步骤中减少了40％的计算和50％的图像系数存储，直到在1850、1860处重建整个图像。在步骤3b至步骤3d期间，共轭对不需要包括在计算中，因为当共轭对在1850、1860中需要值时，可应用值查找。
[0518]
因此，本发明所公开的一种技术可节省50％的所需计算资源，并且另一个可节省40％。累积起来，sim重建的计算开销可减少三分之二以上。
[0519]
在第二具体实施中，假设系统在运行开始时校准，并在中点再次校准，以更新二次拟合和查找表。假设该校准需要8分钟，因为它涉及对所有70个子区块进行条纹峰值估计，然后进行拟合和查找表生成。该估计将运行时间从15小时延长到15小时16分钟。如果不应用本发明所公开的技术，而是对每个子区块和曝光频率进行估计，对每个图像三个一组进行一次，总计300个参数估计，运行时间将超过三倍。
[0520]
在第二具体实施中，应用对称性的影响将不会改变。
[0521]
预计本发明所公开的技术的组合影响将是允许使用cpu执行图像区块的实时处理，而无需向系统添加gpu、fpga或cgra。另选地，即使选择gpu、fpga或cgra具体实施，也可使用更简单的计算资源。这可降低系统复杂性并便于保持现有机器的形状因子，同时增加其实时处理能力。
[0522]
特定具体实施
[0523]
由传感器捕获的全视场的子区块
[0524]
可使用校准的扫描仪从校准和/或生产的角度来描述本发明所公开的子区块化技术。
[0525]
在本发明所公开的技术的一个校准具体实施中，描述了一种用于校准或表征扫描仪的方法，该扫描仪在多个循环内收集的图像中检测分布在流动池或更一般地成像平面上的数百万个样本的荧光。结构化照明用于改善荧光样本之间的分辨率，它们之间的距离被定位成比光学分辨率的阿贝衍射极限更靠近。这种校准扫描仪以使用由透镜投影到扫描仪中的光学传感器上的基本上全视场的方法包括在结构化照明下以结构化照明的多个角度和相位位移来捕获图像区块。该方法的变化可使用2d结构化照明和不同的相位位移阶跃模式。该方法涉及计算图像区块中的光学失真，包括测量图像区块的至少9个子区块(包括近中心子区块)中的强度峰值之间的间距和强度峰值的角度，并且分别将间距表面和角度表面拟合到所测量的间距和角度。当然，可使用用于划分图像区块的其他配置，诸如3
×
3、5
×
5、5
×
7、9
×
9、8
×
11、9
×
16子区块。由较大传感器捕获的图像被划分为更多子区块，不限于列出的子区块阵列。拟合的间距表面和拟合的角度表面表示对图像区块上的子区块的失真的校正。保存所得拟合系数，包括将至少9个子区块上的强度峰值的间距和强度峰值的角度与近中心子区块相关的拟合结果。校准进一步包括以子场内的多个角度和相位位移来测量结构化照明的相位位移，以及保存查找表，该查找表表示图像区块的近中心子区块中的相位位移和其他子区块中的相位位移之间的差异。该校准使扫描仪为生产做好准备，用于在多个循环内收集的图像中分析分布在流动池或成像平面上的数百万个样本的荧光。
[0526]
在生产具体实施中，该方法从在多个循环收集的图像中生产分布在流动池或成像平面上的数百万样本的荧光的增强图像。这包括在多个循环内处理覆盖流动池上的位置的捕获的图像区块，这些图像区块以结构化照明的多个角度和相位位移捕获。该处理针对每个图像区块的子区块。它包括访问已保存的估计拟合结果或生成估计拟合结果，这些拟合
结果表示近中心子区块和其他子区块之间的间距和角度失真关系。这些拟合结果可以是多项式表面拟合的系数或查找表中的值。该方法还包括访问保存的查找表或生成查找表，该查找表表示近中心子区块和其他子区块之间的相位位移差异。对于每个捕获的图像区块的近中心区块，拟合结果和查找表与强度峰值之间的间距、强度峰值的角度和结构化照明的相位位移的测量相结合。在每个子区块的基础上确定每个捕获的图像区块的重建参数，然后将其应用于sim重建。该方法在多个循环内为流动池或成像平面上的位置处的子区块产生分辨能力优于阿贝衍射极限的增强分辨率的图像。
[0527]
例如，对于划分为9个子区块的图像区块，该方法包括为图像区块的至少8个附加子区块以及近中心子区块推导出估计的重建参数。通过将近中心子区块的访问或估计参数与保存的拟合结果相结合来推导出附加子区块的估计间距和角度重建参数，这些保存的拟合结果将至少8个附加子区块上的间距参数和角度参数与近中心子区块相关。通过将近中心子区块的访问或估计参数与至少8个附加子区块上的相对于近中心子区块的相位位移测量的保存的查找表相结合来推导出附加子区块的估计相位位移重建参数。如上所述，可使用用于划分图像区块的其他配置，而不影响上述参数估计过程。
[0528]
增强分辨率的图像可用于对多个循环中的样本进行测序，或以其他方式用于研究由数十、数百或甚至数千个图像区块捕获的图像平面上的荧光。
[0529]
在组合校准和生产具体实施中，将上述动作组合，因此校准扫描仪，并且然后用于生产。本发明所公开的技术包括改善扫描仪的性能的方法具体实施，该扫描仪在多个循环收集的图像中检测分布在流动池上的数百万个样本的荧光。结构化照明用于改善荧光样本之间的分辨率，它们之间的距离被定位成比光学分辨率的阿贝衍射极限更靠近。应用该技术，使用由透镜投影到扫描仪中的光学传感器上的基本上全视场来校准扫描仪，包括在结构化照明下以结构化照明的多个角度和相位位移来捕获图像区块。它涉及计算图像区块中的光学失真，包括测量图像区块的至少9个子区块(包括近中心子区块)中的强度峰值之间的间距和强度峰值的角度，并且分别将间距表面和角度表面拟合到所测量的间距和角度。当然，如上所述，图像区块可划分为更多的子区块。拟合的间距表面和角度表面表示对图像区块上的子区块的失真的校正。保存所得拟合系数。校准进一步包括以子场内的多个角度和相位位移来测量结构化照明的相位位移，以及保存查找表，该查找表表示图像区块的近中心子区块中的相位位移和其他子区块中的相位位移之间的差异。
[0530]
该方法在多个循环内通过处理覆盖流动池上的位置的捕获图像区块，以结构化照明的多个角度和相位位移捕获图像区块进行。对于近中心区块中的每个捕获的图像区块，这样做包括将保存的拟合结果和保存的查找表与强度峰值之间的间距、强度峰值的角度和结构化照明的相位位移的测量相结合，以在每个子区块的基础上确定每个捕获的图像区块的重建参数。其进一步包括在该多个循环内为流动池上的位置处的子区块产生分辨能力优于阿贝衍射极限的增强分辨率的图像，并使用增强分辨率的图像对多个循环的样本进行测序。
[0531]
上述呈现的组合校准和生产具体实施的具体实施中的每一者具有单独的效用。例如，第一实体可递送和校准扫描仪以供第二实体使用。第一实体可使用不同的校准方法来确定和表示近中心子区块与其他子区块之间的间距和角度失真关系以及相位位移差异，并且仍然可使用所描述的生产技术。可使用所描述的校准技术，然后第二实体可以不同的方
式使用经校准的扫描仪。因此，本发明所公开的技术包括校准和/或生产具体实施。
[0532]
该方法和本发明所公开的技术的其他具体实施可各自任选地包括以下特征中的一者或多者和/或结合本发明所公开的附加方法描述的特征。为了简洁起见，本技术中公开的特征的组合不是单独列举的，并且不与每个基本特征组一起重复。读者将理解在该章节中识别的特征可如何容易地与在具体实施中识别的基本特征集组合。
[0533]
当成像平面是流动池时，样本可分布在流动池上的数百万个纳米孔中。至少一些相邻对的纳米孔可被定位成比光学分辨率的阿贝衍射极限更靠近。结构照明允许此类紧密定位。另选地，样本可随机分布在流动池上。
[0534]
子区块各自包括光学传感器的至少512个像素
×
512个像素。可使用更大或更小的数字，包括256个像素、400个像素、1024个像素、2048个像素和4096个像素或在256个像素至4096个像素的范围内。当子区块的维度是2的幂时，性能可改善，我们发现效果很好的实际范围是512个像素和1024个像素。
[0535]
子区块可与光学传感器重叠至少2个像素。可使用更大或更小的数字。例如，对于512个像素的宽窗口，可使用至多256个像素的重叠，并且对于1024个像素的宽窗口，可使用至多512个像素的重叠。
[0536]
间距表面和角度表面的拟合结果可存储为二次、三次或更高阶表面的系数，或者存储在根据间距和角度表面的多项式拟合计算的查找表中。
[0537]
在一些具体实施中，可在测序运行期间执行一次或多次重新测量子区块中强度峰值之间的间距和强度峰值的角度，重新拟合间距表面和角度表面，以及保存重新拟合结果以用于处理随后捕获的图像区块。例如，这可在至少100个循环中的中间循环诸如第50个循环或更晚的循环处完成。在一些具体实施中，当计算资源可用时，诸如在测序运行结束时或在两次读取之间的时间内当化学步骤正在进行下一次读取时，可执行重新测量。
[0538]
纳米孔可按规则重复图案布置。对于矩形图案，可使用两个结构化照明角度，基本上沿连接图案中矩形的相对角的两条对角线，使得结构化照明的强度峰值基本上正交于这两条对角线取向。对于纳米孔的重复六边形图案，其中三个对角线连接图案中六边形的相对角，可使用三个结构化照明角度，其中强度峰值基本正交于三个对角线。另选地，样本可随机分布在没有纳米孔的成像平面上。或者，可通过除纳米孔之外的一些方式将样本规则布置在成像平面上。
[0539]
该方法可进一步包括将用于子区块的增强分辨率的图像聚合成用于区块的增强分辨率的图像，并且使用增强分辨率的图像区块进行进一步分析。进一步的分析可包括对样本进行测序，每个循环一个位置。
[0540]
作为对表面拟合的改善，该方法可进一步包括在将间距表面和角度表面拟合到测量的间距和角度之前，确定裁剪裕度并应用该裁剪裕度以不加考虑的从计算中去除传感器边缘周围的像素。该裕度在传感器边缘周围可以是均匀的，或者也可随边缘而变化，诸如在矩形传感器的末端比沿长边缘更宽。
[0541]
该方法可进一步包括测量图像区块的至少8
×
11个子区块上的强度峰值之间的间距和强度峰值的角度。如上所述，可使用用于将图像区块划分为子区块的其他配置。
[0542]
本发明所公开的子区块化技术可用于从在结构化照明下捕获的目标图像产生增强分辨率的图像。在本发明所公开的技术的一个图像重建具体实施中，描述了一种用于将
由光学传感器捕获的目标的捕获图像划分为9个或更多个子区块并且在这9个或更多个子区块中的每一者上独立操作的方法。如上所述，可使用更多子区块来细分捕获的图像。该方法包括在相应子区块中变换目标的至少三个图像到傅立叶域中以产生相应子区块的至少三个频域矩阵。这些图像由空间域中的传感器捕获，同时沿一个角度应用结构化照明的至少三个相位位移。使用估计的重建参数计算逆混合矩阵。将逆矩阵应用于频域矩阵以在傅立叶域中产生至少三个相位分离的矩阵，这些矩阵是未偏移和偏移矩阵。对至少一个偏移矩阵执行子像素偏移。子像素偏移包括将偏移矩阵从傅立叶域变换到空间域，将转换矢量应用于空间域中的数据，以及从空间域数据变换转换的数据。子像素偏移在傅立叶域中产生两个或更多个重新对准的偏移矩阵。该方法包括对准并求和未偏移矩阵和重新对准的偏移矩阵的重叠值以产生扩展的频率覆盖矩阵。扩展的频率覆盖矩阵从傅里叶域进行逆变换，以在空间域中产生增强分辨率的子区块。任选地，可通过合并9个或更多个子区块的增强分辨率的子区块来产生目标的增强分辨率的图像。
[0543]
该方法和本发明所公开的技术的其他具体实施可各自任选地包括以下特征中的一者或多者和/或结合本发明所公开的附加方法描述的特征。为了简洁起见，本技术中公开的特征的组合不是单独列举的，并且不与每个基本特征组一起重复。读者将理解在该章节中识别的特征可如何容易地与在具体实施中识别的基本特征集组合。
[0544]
可重复应用方法的处理步骤以产生增强分辨率的图像的序列。增强分辨率的图像的序列可用于在多个循环内对由传感器成像的样本进行测序。
[0545]
子区块各自包括光学传感器的至少512个像素
×
512个像素。可使用更大或更小的数字，包括256个像素、1024个像素、2048个像素和4096个像素或256个像素至4096个像素。当子区块的维度是2的幂时，性能可改善，我们发现效果很好的实际范围是512个像素和1024个像素。
[0546]
子区块可与光学传感器重叠至少2个像素。可使用更大或更小的数字，例如对于512，256个像素的重叠将是合适的，并且对于1024，512个像素的重叠将是合适的。
[0547]
该方法可进一步包括将子区块的增强分辨率的图像聚合成增强分辨率的聚合图像，并使用该增强分辨率的聚合在多个循环内对样本进行测序。
[0548]
该方法可进一步应用于流动池上的位置处的图像区块，这些图像区块捕获分布在流动池上的数百万个样本的荧光。该方法的此类应用产生流动池的增强图像。
[0549]
当成像平面是流动池时，样本可分布在流动池上的数百万个纳米孔中。至少一些相邻对的纳米孔可被定位成比光学分辨率的阿贝衍射极限更靠近。结构照明允许此类紧密定位。另选地，样本可随机分布在流动池上。在此类具体实施中，该方法进一步包括产生流动池的增强图像的序列并使用这些增强图像的序列来调用样本的序列。
[0550]
上述计算机实施的方法可在包括计算机硬件的系统中实践。该计算机实施的系统可实践上述方法中的一种或多种。该计算机实施的系统可并入紧接上述或贯穿本技术描述的方法的任何特征，这些特征适用于该系统实现的方法。为了简洁起见，没有单独枚举系统特征的替代组合。适用于系统、方法和制品的特征对于每组法定分类的基本特征并不重复。读者将理解在本部分中识别的特征可如何容易地与在其他法定分类中的基本特征组合。
[0551]
作为制品而不是方法，非暂态计算机可读介质(crm)可加载有处理器可执行的程序指令。当执行程序指令时，实施上述计算机实现的方法中的一种或多种。另选地，程序指
令可加载在非暂态crm上，并且当与适当的硬件组合时成为实践本发明所公开的方法的计算机实现系统中的一者或多者的部件。
[0552]
在该方法具体实施的该特定具体实施部分中所讨论的特征中的每个特征同样适用于crm和系统具体实施。如上所示，为简洁起见，所有方法特征在此处不再重复，并且应被视为以引用方式重复。
[0553]
非冗余sim图像重建应用
[0554]
本发明所公开的技术涉及减少从目标的结构化照明产生增强分辨率的图像所需的计算资源。
[0555]
在本发明所公开的技术的一个具体实施中，描述了一种用于从在结构化照明下捕获的目标的图像产生增强分辨率的图像的方法。该方法将一个或多个变换应用于非冗余数据，并且然后在变换之后从非冗余数据恢复冗余数据。
[0556]
该方法包括变换由空间域中的传感器捕获的目标的至少三个图像。该传感器沿一个角度从结构化照明的至少三个相位位移捕获图像。空间域中的三个捕获的图像被变换到傅立叶域以产生至少三个频域矩阵。这些频域矩阵包括至少非冗余分量和冗余共轭分量。冗余共轭分量是非冗余分量在互补矩阵位置上的共轭。该方法进一步包括使用估计的重建参数来生成逆混合矩阵并将逆混合矩阵应用于至少非冗余分量。这在傅立叶域中产生至少三个相位分离的矩阵，这些矩阵是未偏移和偏移矩阵。这些矩阵包括通过将逆混合矩阵应用于频域矩阵的非冗余分量来推导出的非冗余未偏移分量和非冗余偏移空间频率分量；
[0557]
该方法还包括在至少相位分离的矩阵的非冗余分量上执行一个或多个中间变换。一个中间操作是子像素偏移。这包括至少将偏移矩阵的非冗余偏移空间频率分量从傅立叶域变换到空间域。然后将转换矢量应用于空间域中的数据，并将转换的数据从空间域数据变换回傅里叶域中的一个或多个重新对准的偏移矩阵。与离散傅立叶变换的整个矩阵位置相比，应用转换矢量有效地将傅立叶域中的偏移矩阵的重叠值与未偏移矩阵更精确地重新对准。在中间变换之后，通过将来自非冗余分量的变换值复制到冗余共轭分量的互补矩阵位置，并改变复制值的虚部的符号以产生变换的冗余共轭分量，可从非冗余分量中恢复冗余共轭分量。这减少了中间变换期间所需的资源。构建增强分辨率的图像进一步包括对准并求和未偏移矩阵和偏移矩阵的重叠值以产生扩展的频率覆盖矩阵，然后扩展的频率覆盖矩阵从傅立叶域进行逆变换以在空间域中产生增强分辨率的图像。
[0558]
在一些具体实施中，通过重复应用前述动作来产生一系列增强分辨率的图像。任选地，例如在边合成边测序中，本发明所公开的技术可应用于使用这些系列增强分辨率的图像，以在多个循环中对由传感器成像的序列样本进行测序。
[0559]
该方法和本发明所公开的技术的其他具体实施可各自任选地包括以下特征中的一者或多者和/或结合本发明所公开的附加方法描述的特征。为了简洁起见，本技术中公开的特征的组合不是单独列举的，并且不与每个基本特征组一起重复。读者将理解在该章节中识别的特征可如何容易地与在具体实施中识别的基本特征集组合。
[0560]
本发明所公开的技术可应用于布置在角偏移矩阵中的分量，冗余共轭分量的互补矩阵位置从非冗余分量的矩阵位置旋转180度。
[0561]
该方法可进一步包括在中间操作期间应用一步或两步维纳滤波以减少噪声。当应用两步维纳滤波时，可将独立的调制传递函数应用于相位分离的矩阵作为中间变换，以通
过物镜补偿对比度的光学传递，这些物镜具有随空间频率增加而降低传递对比度的能力。稍后可单独应用维纳滤波的噪声去除部件。中间操作可进一步包括应用变迹滤波。
[0562]
在一些具体实施中，傅立叶域中的相位分离矩阵包括偶数行和偶数列。对于这些偶数维度矩阵，列平均可用作中间操作，以对dc分量的dc列进行平均，其中中间列超出偶数维度矩阵的中心一列。该列平均可在子像素偏移之前。
[0563]
在一些具体实施中，在傅立叶域中的相位分离矩阵中是角偏移的。然后，dc分量出现在矩阵的顶行或底行和左列或右列，并且冗余共轭分量出现在从非冗余分量的取向旋转180度的块中。
[0564]
在一些具体实施中，傅立叶域中的相位分离矩阵包括奇数行和奇数列，不具有非冗余分量块和冗余共轭分量块之间的列。在奇数矩阵中，冗余共轭分量还出现在从非冗余分量的取向旋转180度的块中。
[0565]
在其中目标包括按矩形图案布置的规则间距的纳米孔的具体实施中，该方法可应用于来自沿目标的结构化照明的两个角度的相位位移的至少三个图像的集，其中这两个角度沿矩形的相对角之间的对角线。另选地，在其中目标包括按六边形图案布置的规则间距的纳米孔的具体实施中，该方法可应用于来自沿目标的结构化照明的三个角度的相位位移的至少三个图像的集，其中这三个角度沿六边形的相对角之间的对角线。
[0566]
该方法可进一步包括在两个步骤中在中间操作期间施加维纳滤波。当以两个步骤执行时，包括将独立的调制传递函数应用于相位分离的矩阵以通过物镜将结构化照明下的目标传递到传感器来补偿对比度的光学传递，该对比度的光学传递随着空间频率的增加而降低。它进一步包括应用维纳滤波或另一个等效滤波器的噪声去除部件。
[0567]
该方法可进一步包括在中间操作期间应用变迹滤波器。
[0568]
傅立叶域中的相位分离矩阵可包括偶数行和偶数列。对于此类偶数矩阵，该方法可进一步包括在中间操作期间应用列平均以对dc分量的dc列进行平均，其中中间列在非冗余分量块和冗余共轭分量块之间。列平均可在子像素偏移之前。
[0569]
当傅立叶域中的相位分离矩阵是左上角偏移的时，dc分量可出现在矩阵的顶行和左列中，并且冗余共轭分量作为非冗余分量出现在从其取向旋转180度的块中。另选地，相位分离的矩阵可以是右下角偏移的。
[0570]
傅立叶域中的相位分离矩阵可另选地包括奇数行和奇数列。此类奇数矩阵不包括非冗余分量的块和冗余共轭分量的块之间的中间列。
[0571]
该方法可进一步应用于由传感器在空间域中从沿目标的结构化照明的两个角度的相位位移通过透镜捕获的目标的至少三个图像的集。当目标包括规则间距的纳米孔时，这两个角度可基本上沿规则间距的纳米孔中四边形的相对角之间的对角线取向。这些四边形可以是方形的，并且两个角度可以基本上正交，在一度至三度内。另选地，该方法可应用于来自沿目标的结构化照明的三个角度的相位位移的图像集。当目标包括以六边形图案规则间距开的间距纳米孔时，这很有用。利用该图案，三个角度可沿图案中六边形的相对角之间的对角线。
[0572]
上述计算机实施的方法可在包括计算机硬件的系统中实践。该计算机实施的系统可实践上述方法中的一种或多种。该计算机实施的系统可并入紧接上述或贯穿本技术描述的方法的任何特征，这些特征适用于该系统实现的方法。为了简洁起见，没有单独枚举系统
特征的替代组合。适用于系统、方法和制品的特征对于每组法定分类的基本特征并不重复。读者将理解在本部分中识别的特征可如何容易地与在其他法定分类中的基本特征组合。
[0573]
作为制品而不是方法，非暂态计算机可读介质(crm)可加载有处理器可执行的程序指令。当执行程序指令时，实施上述计算机实现的方法中的一种或多种。另选地，程序指令可加载在非暂态crm上，并且当与适当的硬件组合时成为实践本发明所公开的方法的计算机实现系统中的一者或多者的部件。
[0574]
在该方法具体实施的该特定具体实施部分中所讨论的特征中的每个特征同样适用于crm和系统具体实施。如上所示，为简洁起见，所有方法特征在此处不再重复，并且应被视为以引用方式重复。
[0575]
呈现前述描述以使得能够制造和使用所公开的技术。对所公开的具体实施的各种修改将是显而易见的，并且在不脱离所公开的技术的实质和范围的情况下，本文所定义的一般原理可应用于其他具体实施和应用。因此，所公开的技术并非旨在限于所示的具体实施，而是要符合与本文所公开的原理和特征一致的最广范围。所公开的技术的范围由所附权利要求限定。
[0576]
计算机系统
[0577]
图24是可用于实施本发明所公开的技术的计算机系统的简化框图。计算机系统通常包括经由总线子系统与多个外围设备通信的至少一个处理器。这些外围设备可包括存储子系统，该存储子系统包括例如存储器设备和文件存储子系统、用户界面输入设备、用户界面输出设备和网络界面子系统。输入设备和输出设备允许用户与计算机系统进行交互。网络界面子系统提供到外部网络的界面，包括到其他计算机系统中的对应界面设备的界面。
[0578]
在一个具体实施中，估计三个参数(角度、间距和相位偏置)的参数估计器2401可通信地链接到存储子系统和用户界面输入设备。
[0579]
用户界面输入设备可包括键盘；指向设备，诸如鼠标、轨迹球、触摸板或图形输入板；扫描仪；结合到显示器中的触摸屏；音频输入设备，诸如语音识别系统和麦克风；以及其他类型的输入设备。一般来讲，使用术语“输入设备”旨在包括将信息输入到计算机系统中的所有可能类型的设备和方式。
[0580]
用户界面输出设备可包括显示子系统、打印机、传真机或非视觉显示器诸如音频输出设备。显示子系统可包括阴极射线管(crt)、平板设备诸如液晶显示器(lcd)、投影设备或用于产生可见图像的一些其他机构。显示子系统还可提供非视觉显示器，诸如音频输出设备。一般来讲，使用术语“输出设备”旨在包括将信息从计算机系统输出到用户或输出到另一机器或计算机系统的所有可能类型的设备和方式。
[0581]
存储子系统存储提供本文所述的一些或全部模块的功能和方法的编程和数据构造。这些软件模块通常由处理器单独或与其他处理器组合执行。
[0582]
在存储子系统中使用的存储器可包括多个存储器，包括用于在程序执行期间存储指令和数据的主随机存取存储器(ram)和其中存储固定指令的只读存储器(rom)。文件存储子系统可为程序文件和数据文件提供持久性存储，并且可包括硬盘驱动器、软盘驱动器以及相关联的可移动介质、cd-rom驱动器、光盘驱动器或可移动介质磁带盘。实现某些具体实施的功能的模块可由文件存储子系统存储在存储子系统中，或存储在处理器可访问的其他机器中。
[0583]
总线子系统提供用于使计算机系统的各种部件和子系统按照预期彼此通信的机构。尽管总线子系统被示意性地示出为单个总线，但总线子系统的替代具体实施可使用多条总线。
[0584]
计算机系统本身可具有不同类型，包括个人计算机、便携式计算机、工作站、计算机终端、网络计算机、电视机、主机、服务器群、一组广泛分布的松散联网的计算机或任何其他数据处理系统或用户设备。由于计算机和网络的不断变化的性质，对图24中描绘的计算机系统的描述仅旨在作为用于示出所公开的技术的具体示例。计算机系统的许多其他配置是可能的，其具有比图24中描绘的计算机系统更多或更少的部件。
[0585]
深度学习处理器可为gpu或fpga并且可以由诸如google cloud platform、xilinx和cirrascale的深度学习云平台托管。深度学习处理器的示例包括google公司的张量处理单元(tpu)、架装解决方案(如gx4架装系列、gx8架装系列)、nvidia dgx-1、微软(microsoft)公司的stratix v fpga、graphcore公司的智能处理器单元(ipu)、高通(qualcomm)公司的具有骁龙(snapdragon)处理器的第零平台(zeroth platform)、英伟达(nvidia)公司的volta、英伟达公司的drive px、英伟达公司的jetson tx1/tx2 module、英特尔(intel)公司的nirvana、movidius vpu、fujitsu dpi、arm公司的dynamiciq、ibm truenorth等。