亚像素线扫描的制作方法

亚像素线扫描
1.相关申请的交叉引用
2.本专利申请要求于2019年10月14日提交的美国临时专利申请no.62/914,879的优先权权益，其内容在此通过引用并入本文，如同全部阐述一样。
技术领域
3.本发明总体上涉及全载物片成像，并且更具体地涉及显微镜载物片上的样本的亚像素扫描。


背景技术：

4.当前像素移位技术通过以长度小于像素的宽度的增量移动图像传感器来提高分辨率。例如，为了对像素的大小的四分之一的亚像素进行采样，对包括该亚像素的第一图像成像，图像传感器向左移动半个像素并且对包括该亚像素的第二图像成像，图像传感器向上移动半个像素并且对包括该亚像素的第三图像成像，图像传感器向右移动半个像素并且对包括该亚像素的第四图像成像。四幅图像中的强度然后被组合以生成亚像素。


技术实现要素：

5.在实施例中，公开了一种载物片扫描设备，其包括：载物台，其支撑具有样本的显微镜载物片；多个线传感器，其中多个线传感器中的每个线传感器包括多个像素传感器，并且其中多个线传感器中的每个线传感器在线传感器的纵向方向上相对于多个线传感器中的相邻的一个线传感器偏移每个像素传感器的长度的分数；物镜，其将样本的相同视野连续地提供到多个线传感器中的每个线传感器，使得针对样本上的多个位置中的每个位置，多个线传感器中的每个线传感器感测位置的相同视野并且在线传感器的相应偏移处生成位置的相同视野的线图像；以及至少一个硬件处理器，其针对样本上的多个位置中的每个位置，组合由多个线传感器在它们的相应偏移处生成的相同视野的线图像，以产生针对相同视野的线图像内的像素的至少子集中的每个像素的多个亚像素，并且生成该位置的包括所产生的多个亚像素的上采样线图像，并且将样本上的多个位置中的每个位置的上采样线图像组合成图像。多个线传感器可以包括n个线传感器，其中多个线传感器中的每个线传感器与相邻线传感器偏移的每个像素传感器的长度的分数是n分之一。针对样本上的多个位置中的每个位置，相同视野的线图像可以包括针对从零到(n-1)/n的n个偏移的线图像。针对样本上的多个位置中的每个位置，组合相同视野的线图像可以包括针对像素的至少子集中的每个像素，对来自线图像的处于它们的相应偏移处的的每个线图像的像素的强度值求和。至少一个硬件处理器可以：将样本上的多个位置中的每个位置的上采样线图像组合成多个图像条带；并且将多个图像条带中的每个图像条带与多个图像条带中的至少一个相邻的图像条带排列成连续的数字图像。
6.在实施例中，公开了一种方法，其包括使用至少一个硬件处理器：从多个线传感器接收图像数据，其中多个线传感器中的每个线传感器包括多个像素传感器，并且其中多个
线传感器中的每个线传感器在线传感器的纵向方向上相对于多个线传感器中的相邻的一个线传感器偏移每个像素传感器的长度的分数；控制物镜，使得针对样本上的多个位置中的每个位置，多个线传感器中的每个线传感器感测位置的相同视野并且在线传感器的相应偏移处生成位置的相同视野的线图像，该物镜将样本的相同视野连续地提供到多个线传感器中的每个线传感器；针对样本上的多个位置中的每个位置，组合由多个线传感器在它们的相应偏移处生成的相同视野的线图像，以产生针对相同视野的线图像内的像素的至少子集中的每个像素的多个亚像素，并且生成该位置的包括所产生的多个亚像素的上采样线图像，并且将样本上的多个位置中的每个位置的上采样线图像组合成一幅图像。
7.在实施例中，公开了一种非瞬态计算机可读介质，其具有存储于其上的指令，其中指令当由处理器执行时使得处理器：从多个线传感器接收图像数据，其中多个线传感器中的每个线传感器包括多个像素传感器，并且其中多个线传感器中的每个线传感器在线传感器的纵向方向上相对于多个线传感器中的相邻的一个线传感器偏移每个像素传感器的长度的分数；控制物镜，使得针对样本上的多个位置中的每个位置，多个线传感器中的每个线传感器感测位置的相同视野并且在线传感器的相应偏移处生成位置的相同视野的线图像，该物镜将样本的相同视野连续地提供到多个线传感器中的每个线传感器；针对样本上的多个位置中的每个位置，组合由多个线传感器在它们的相应偏移处生成的相同视野的线图像，以产生针对相同视野的线图像内的像素的至少子集中的每个像素的多个亚像素，并且生成该位置的包括所产生的多个亚像素的上采样线图像，并且将样本上的多个位置中的每个位置的上采样线图像组合成一幅图像。
8.在实施例中，公开了一种载物片扫描设备，其包括：载物台，其支撑具有样本的显微镜载物片；线扫描相机，其包括像素传感器的二维阵列，其中二维阵列包括平行于第一轴的列和平行于与第一轴正交的第二轴的行；物镜，其将样本的相同视野连续地提供到二维阵列中的多个行中的每个行，使得针对样本上的多个位置中的每个位置，多个行中的每个行感测位置的相同视野并生成位置的相同视野的线图像；以及至少一个硬件处理器，其针对样本上的多个位置中的每个位置，控制载物台、物镜和线扫描相机中的一个或多个，使得被提供到二维阵列中的多个行的样本的视野以相对于第一轴和第二轴的非零角跨二维阵列中的多个行移动，使得多个行中的每个行在等于每个像素传感器的长度的不同分数的偏移处感测相同视野，组合由二维阵列中的多个行在它们的相应偏移处生成的相同视野的线图像，以产生针对相同视野的线图像内的像素的至少子集中的每个像素的多个亚像素，并且生成该位置的包括所产生的多个亚像素的上采样线图像，并且将样本上的多个位置中的每个位置的上采样线图像组合成一幅图像。载物台可以是电动载物台，并且控制载物台、物镜和线扫描相机中的一个或多个可以包括控制电动载物台以相对于物镜移动。多个行可以包括n个行，其中相对于第一轴的角等于1/n的反正切。针对样本上的多个位置中的每个位置，相同视野的线图像可以包括针对从零到(n-1)/n的n个偏移的线图像。
9.在实施例中，公开了一种方法，该方法包括使用至少一个硬件处理器：从包括像素传感器的二维阵列的线扫描相机接收图像数据，其中二维阵列包括平行于第一轴的列和平行于与第一轴正交的第二轴的行；控制物镜，使得针对样本上的多个位置中的每个位置，多个行中的每个行感测位置的相同视野并生成位置的相同视野的线图像，该物镜将样本的相同视野连续地提供到二维阵列中的多个行中的每个行；针对样本上的多个位置中的每个位
置，控制载物台、物镜和线扫描相机中的一个或多个，使得被提供到二维阵列中的多个行的样本的视野以相对于第一轴和第二轴的非零角跨二维阵列中的多个行移动，使得多个行中的每个行在等于每个像素传感器的长度的不同分数的偏移处感测相同视野，组合由二维阵列中的多个行在它们的相应偏移处生成的相同视野的线图像，以产生针对相同视野的线图像内的像素的至少子集中的每个像素的多个亚像素，并且生成该位置的包括所产生的多个亚像素的上采样线图像；并且将样本上的多个位置中的每个位置的上采样线图像组合成一幅图像。
10.在实施例中，公开了一种非瞬态计算机可读介质，具有存储于其上的指令，其中指令当由处理器执行时使得处理器：从包括像素传感器的二维阵列的线扫描相机接收图像数据，其中二维阵列包括平行于第一轴的列和平行于与第一轴正交的第二轴的行；控制物镜，使得针对样本上的多个位置中的每个位置，多个行中的每个行感测位置的相同视野并且生成位置的相同视野的线图像，该物镜将样本的相同视野连续地提供到二维阵列中的多个行中的每个行；针对样本上的多个位置中的每个位置，控制载物台、物镜和线扫描相机中的一个或多个，使得被提供到二维阵列中的多个行的样本的视野以相对于第一轴和第二轴的非零角跨二维阵列中的多个行移动，使得多个行中的每个行在等于每个像素传感器的长度的不同分数的偏移处感测相同视野，组合由二维阵列中的多个行在它们的相应偏移处生成的相同视野的线图像，以产生针对相同视野的线图像内的像素的至少子集中的每个像素的多个亚像素，并且生成该位置的包括所产生的多个亚像素的上采样线图像；并且将样本上的多个位置中的每个位置的上采样线图像组合成一幅图像。
11.本发明的其他特征和优点将在本领域普通技术人员审阅了以下详细描述和附图之后变得显而易见。
附图说明
12.本发明的结构和操作将从以下详细描述和附图的审阅来理解，在附图中相同的附图标记指代相同的部分，并且在附图中：
13.图1a图示了根据第一实施例的偏移线传感器的阵列；
14.图1b图示了根据实施例的包括图1中的传感器的数字成像设备的各种部件之间的关系；
15.图2图示了根据第二实施例的传感器；
16.图3a和图3b图示了根据实施例的形成亚像素的像素的堆叠；
17.图4图示了根据实施例的生成针对数字图像的亚像素分辨率的过程；
18.图5a图示了根据实施例的可以用于与本文描述的各种实施例有关的处理器使能设备；
19.图5b图示了根据实施例的具有单个线性阵列的线扫描相机；
20.图5c图示了根据实施例的具有三个线性阵列的线扫描相机；以及
21.图5d是图示了根据实施例的具有多个线性阵列的线扫描相机的框图。
具体实施方式
22.通常，数字成像设备的分辨率受传感器的像素大小和成像光学器件的分辨率限
制。然而，本文公开的某些实施例提供了一种数字成像设备(例如，数字载物片扫描器)，其利用像素移位来有效地捕获处于比否则可以由它的(多个)像素传感器中的像素生成元件的大小捕获的分辨率更高的分辨率的图像，同时以合理的成本利用标准成像光学器件。另外，所公开的方案可以提供用于克服通常与数字载物片扫描器的所要求的像素分辨率相关的视野限制的解决方案，由此得到更快的扫描，尤其是在线扫描机制中。
23.在阅读了本说明书之后，对本领域技术人员将显而易见的是，如何将本发明实现于各种替代实施例和替代应用中。然而，尽管本发明的各个实施例将在本文描述，但是应当理解，这些实施例仅通过举例并且不是限制的方式呈现，。因此，各种替代实施例的该详细描述不应当被理解为限制如随附权利要求书中所阐述的本发明的范围或广度。
24.1.偏移线扫描器
25.在第一实施例中，图像传感器包括在它们的纵向方向上逻辑上与彼此偏移等于像素长度的分数的距离的多个线传感器。因此，当每个连续线传感器接收到来自样本的相同部分的光时，该线传感器生成与从前面的线传感器生成的图像数据的线稍微地偏移(即，像素长度的分数)的图像数据的线(还在本文被称为“线图像”)。尽管该偏移可以是空间中的多个线传感器的物理偏移，但是在替代实施例中，该偏移可以代替地通过以定义的时间间隔在空间上移位单个线传感器来引发。
26.图1a图示了根据实施例的传感器100，其包括三个偏移线传感器110。在与扫描运动的方向正交的方向上，线传感器110中的每个线传感器相对于它的(多个)相邻的线传感器偏移像素长度的分数。扫描运动的方向指示正被成像的视野相对于传感器100移动的方向。扫描运动可以通过将样本相对于提供到图像传感器的光学路径移动(例如，通过移动样本被支撑于其上的电动载物台)和/或通过将光学路径相对于样本移动(例如，通过移动扫描设备的图像传感器和/或物镜)来实现。
27.尽管图1a示出了针对每个线传感器110的一条线，但是每个线传感器110可以包括多个线传感器的集合。例如，每个线传感器110可以包括三个颜色传感器(例如，表示三线传感器的三条线)的集合。另外，尽管传感器100被图示为具有三个偏移线传感器(即，线传感器110a、110b和110c)，但是传感器100可以具有任何数量的多线传感器110。一般，如果使用n个偏移线传感器110，那么n个线传感器110中的每个线传感器应当相对于它的(多个)相邻的线传感器110偏移像素传感器112的长度的n分之一。应当理解，每个线传感器110捕获与其他线传感器110中的每个线传感器相同的线图像，但是相对于由每个相邻的线传感器110捕获的相同线图像偏移像素长度的n分之一。这针对全载物片图像中的每个线图像产生相同图像数据的n条线，但是同样，其中每个线图像中的图像数据相对于由相邻的线传感器捕获的线图像中的图像数据偏移像素长度的n分之一。
28.在图示的具有三个偏移线传感器110(即，110a、110b和110c)的实施例中，线传感器110b与线传感器110a偏移像素长度的三分之一，并且线传感器110c与线传感器110b偏移像素长度的三分之一并且与线传感器110a偏移像素长度的三分之二。在具有两个偏移线传感器110的实施例中，每个线传感器将与另一个线传感器偏移像素长度的一半。类似地，在具有四个偏移线传感器110的实施例中，每个线传感器将相对于它的(多个)相邻的线传感器偏移像素长度的四分之一。
29.尽管传感器100被图示为具有偏移向特定侧(即，朝向图1a的右侧)的偏移线传感
器，但是偏移线传感器可以备选地偏移向另一侧(即，朝向图1a的左侧)而没有对本文描述的技术的任何改变。
30.图1b图示了根据实施例的偏移像素如何由像素传感器112捕获。相较于具有用于低分辨率(即，原生像素或非亚像素)成像的相同光学器件的单个线传感器，利用n个偏移线传感器用于高分辨率(即，亚像素)成像的传感器100的扫描运动的速度应当慢n倍。这是因为，每个线图像需要在n个不同的偏移处被捕获n次。因此，在图示的具有三个线传感器110的实施例中，为了实现与仅具有单个线传感器的传感器相同的线速率，扫描运动的速度应当比针对仅具有单个线传感器的传感器的扫描运动的速度慢三倍。
31.图1b图示了在时间t1、t2和t3，像素传感器112a、112b和112c相对于透镜130(例如，本文其他地方描述的物镜)和载物片120上的样本122的逻辑位置。如以上所讨论的，用于高分辨率成像的传感器100的扫描速度可以被设置为比仅包括用于低分辨率成像的单个线传感器的传感器的扫描速度慢三倍，使得时间t1、t2和t3中的每个花费单个线传感器的时间来捕获图像数据的单条线。
32.如图1b中所图示的，在时间t1处，样本122的位置x1在由透镜130提供的视野内，而透镜130在焦点高度z1处。样本122上的位置x1的视图由透镜130经由光学路径提供到线传感器110a，包括线传感器110a的像素传感器112a。因此，像素传感器112a生成表示在位置x1处的样本122的像素大小部分的图像数据的第一像素。
33.在时间t2处，样本122的位置x1保持在由透镜130提供的视野内，而透镜130保持在焦点高度z1处。然而，样本122上的位置x1的视图已经在扫描运动的方向上移动，使得样本122上的位置x1的视图由透镜130经由光学路径提供到线传感器110b，包括线传感器110b的像素传感器112b。因此，像素传感器112b生成表示在位置x1处的样本122的像素大小部分的图像数据的第二像素。该第二像素与第一像素偏移像素长度的三分之一。
34.在时间t3处，样本122的位置x1保持在由透镜130提供的视野内，而透镜130保持在焦点高度z1处。然而，样本122上的位置x1的视图已经在扫描运动的方向上移动，使得样本122上的位置x1的视图由透镜130经由光学路径提供到线传感器110c，包括线传感器110c的像素传感器112c。因此，像素传感器112c生成表示在位置x1处的样本122的像素大小部分的图像数据的第三像素。该第三像素与第一像素偏移像素长度的三分之二，并且与第二像素偏移像素长度的三分之一。
35.因此，在具有三个偏移线传感器110的传感器100中，被捕获的每个像素(即，表示样本122的像素大小部分)在三个不同的偏移(即，零偏移、偏移像素长度的三分之一以及偏移像素长度的三分之二)处被捕获三次。类似地，在具有两个偏移线传感器110的传感器中，每个像素将在两个不同的偏移(即，零偏移和偏移像素长度的一半)处被捕获两次。类似地，在具有四个偏移线传感器110的传感器中，每个像素将在四个不同的偏移(即，零偏移、像素长度的四分之一的偏移、像素长度的四分之二的偏移以及像素长度的四分之三的偏移)处被捕获四次。
36.在每种情况下，每个偏移像素可以以本文其他地方描述的方式被组合以生成n个亚像素。因此，在三个偏移线传感器110的情况下，将针对每个像素生成三个亚像素。在两个偏移线传感器110的情况下，将针对每个像素生成两个亚像素。在四个偏移线传感器110的情况下，将针对每个像素生成四个亚像素。
37.尽管已经描述了具有两个、三个和四个线传感器110的示例，但是应当理解，本文描述的技术可以被外推到任何n个线传感器110(例如，五个、十个等)以实现针对每个像素的n个亚像素。在实施例中，在样本122上的相同位置(例如，x1)正在由n个偏移线传感器110中的一个成像的每个时间(例如，t1、t2和t3)期间，透镜130可以保持在相同焦点高度(例如，z1)处，使得每个像素利用相同焦点来生成。一旦相同位置已经由传感器100中的n个偏移线传感器110中的每个成像，焦点高度就可以被调节，如果合适的话以维持最优焦点(例如，基于焦点图或其他自动聚焦技术)。
38.在替代实施例中，单个线传感器110可以用于通过扫描样本的每个线性部分n次同时将样本上的正在被成像的位置移位n-1次(即，在相同线性部分的每个单独扫描之间)来实现与具有n个线传感器110的传感器100相同的效果。在这样的实施例中，每当样本的逻辑位置相对于线传感器110移位，逻辑位置被移位一长度，该长度为像素传感器112的长度的n分之一，使得从零的偏移到像素长度的n分之(n-1)的偏移捕获n个线图像。一旦已经针对相同线性部分生成了n个线图像，传感器110相对于样本的逻辑位置被移动使得下一个线性部分可以被成像n次，从零偏移开始并且以像素长度的n分之(n-1)的偏移结束。
39.2.有角度的扫描运动
40.在备选的第二实施例中，扫描运动遵循相对于图像传感器成角度的轨迹。换言之，代替多个偏移线传感器的阵列，图像传感器可以包括平齐(即，不偏移)但是以有角度的轨道扫描的一个或多个传感器。因此，标准图像传感器可以适于实现与第一实施例中的偏移线传感器相同的偏移线图像。
41.图2图示了根据实施例的传感器200，该传感器200以有角度的轨迹扫描。如所图示，传感器200包括具有以具有行210和列的二维阵列布置的多个像素传感器212的线扫描相机。备选地，传感器200可以包括面扫描相机。
42.在其中使用了线扫描相机的实施例中，传感器200可以包括时间延迟积分(tdi)线扫描相机。来自加拿大安大略省滑铁卢的teledyne dalsa公司的piranha xl
tm
是可以在这样的实施例中被用作线扫描相机的tdi线扫描相机的示例。tdi线扫描相机包括多级线传感器(例如，24、32、48、64、96等)，其均捕获相同线图像。来自每个线图像的强度数据然后被求和以提供具有基本上更好的信噪比(snr)的输出线图像。例如，由像素传感器212的行210a、像素传感器212的行210b以此类推直到像素传感器212的行210z捕获的线图像将以这种方式被整合以产生单个输出线图像。
43.然而，在利用tdi线扫描相机的实施例中，tdi线扫描相机可以从tdi模式切换到面模式。在面模式中，由行210生成的线图像不被求和成单个输出线图像。相反，在面模式中，每个线图像表示在样本上的不同位置处的图像数据的不同线。
44.由传感器200成像的样本上的位置相对于传感器200的运动遵循以相对于与每个行210的纵向方向正交并且与传感器200的列的纵向方向平行的x轴的角度θ的方向。角度θ应当等于n-1
的反正切(即，θ＝arctan(1/n))，其中n是针对每个像素期望的亚像素的数量。为了维持与平行于x轴移动并且不实现本文描述的亚像素技术的传感器200相同的线速率，扫描运动的速度应当是：
45.v1＝n*v0*cosθ,
46.其中v0表示传感器平行于x轴移动并且不捕获在n个偏移处的每个像素的速度。
47.当传感器200沿着有角度的轨迹对样本上的位置进行成像时，传感器200与样本之间的相对移动被设置使得n个行的每个集合用于捕获图像数据的相同线。例如，在图示的实施例中，其中n＝3，行210a、210b和210c的每个用于在沿着x轴的相同位置x1处(例如，分别在时间t1、t2和t3处)捕获线图像。类似地，行210x、210y和210z均用于在沿着x轴的相同位置x2处捕获线图像，其中x2》x1。由n个行210的每个子集产生的线图像表示样本的相同线性部分，但是在n个不同的位置处偏移。换句话说，输出与在第一实施例中相同。具体地，针对由图像传感器成像的样本上的每个位置，产生n个线性图像，该n个线性图像的每一个与由每个相邻的线传感器110或行210捕获的线图像偏移像素长度的n分之一。在n＝3的情况下，将针对相同的每个位置产生三个线图像，包括具有零偏移的第一线图像、具有像素长度的三分之一的偏移的第二线图像以及具有像素长度的三分之二的偏移的第三线图像。
48.尤其，传感器200捕获比否则将在每个行210用于捕获样本的不同线性部分的情况下被捕获的线图像更少的线图像。具体地，如果传感器200包括m个行210(例如，m级tdi线扫描相机)，那么传感器200一次输出m/n个线图像，而不是将在每个行210用于捕获样本的不同线性部分的情况下被输出的m个线图像。
49.3.亚像素生成
50.图3a和图3b图示了根据两个备选的实施例的来自偏移线图像的三个偏移像素可以如何用于生成作为像素长度的三分之一的亚像素。尽管图3a和图3b图示了使用三个偏移像素来生成作为像素长度的三分之一长度的亚像素，但是应当明显的是，该技术如何可以与任何n个偏移像素一起用于将像素划分成n个亚像素，每个亚像素是像素长度的n分之一。
51.图3a图示了矩形像素可以如何用于生成组合图像像素300。每个线传感器110产生线图像140。因此，例如，线传感器110a产生线图像140a，线传感器110b产生线图像140b，并且线传感器110c产生线图像140c。应当理解，图3b仅图示了每个线图像140的部分段。在图示的实施例中，线图像140中的每个包括矩形图像像素142。图像像素142在运动方向上的长度可以通过调整扫描速度来控制。如所图示的，当来自线图像140中的每个的矩形像素142被组合时，该组合得到正方形图像亚像素300。矩形像素142的组合可以包括对像素142中的每个的部分的强度值求和，其中那些强度值的和被用作亚像素300。
52.尽管图3a中图示的实施例使用矩形像素来产生正方形亚像素300，但是图3b中图示的实施例使用正方形像素来产生矩形亚像素300。如图3b中所图示的，在时间t1处，像素传感器112a或212a生成具有零偏移的第一正方形像素。接下来，在时间t2处，像素传感器112b或212b生成具有像素传感器112或212的长度的三分之一的偏移的第二正方形像素。最后，在时间t3处，像素传感器112c或212c生成具有像素传感器112或212的长度的三分之二的偏移的第三正方形像素。第一像素、第二像素和第三像素的重叠部分被组合以生成矩形亚像素300。例如，像素的组合可以包括对第一像素、第二像素和第三像素中的每个的强度值求和，其中那些强度值的和被用作亚像素300。为了获得正方形亚像素300，使用这样的实施例，可以在正交方向上重复相同亚像素操作。
53.像素到亚像素300的这种求和可以针对由每个像素传感器112或212捕获的偏移像素的每个集合(即，共同地表示图像数据的单个像素)重复以针对图像数据的每个单一像素生成n个亚像素，以由此对全载物片图像的分辨率上采样n次。在本文图示的示例中，其中n＝3，针对图像数据的每个像素生成三个亚像素，产生具有三倍分辨率的上采样的图像。
54.图4图示了根据实施例的使用本文描述的第一或第二实施例的像素移位技术来生成针对数字图像(例如，全载物片图像)的亚像素分辨率的过程400。过程400可以被称为“去马赛克”并且可以被实现为数字成像设备中的软件和/或硬件(例如，作为存储在存储器565中并由设备550的(多个)处理器555执行的软件)。过程400可以在样本的扫描(即，使用传感器100或200对线图像的生成)之后或与样本的扫描并行地执行。
55.在步骤410中，确定是否已经采集了所有线图像，每个线图像表示样本上的感兴趣区域内的位置(例如，样本的一部分或者整个样本或者载物片)。如果表示额外位置的线图像仍然要被采集(即，步骤410中为“否”)，那么过程400前进到步骤420。否则，如果已经采集了所有线图像(即，步骤410中为“是”)，那么过程400前进到步骤450。
56.在步骤420中，当前位置被改变到下一位置，针对该下一位置线图像将被采集。应当理解，在过程400的开始，步骤420中的下一位置将表示开始位置，从该开始位置处线图像将被采集。
57.在步骤430中，采集当前位置的n个偏移线图像。如本文其他地方所描述的，每个线图像表示相同位置的图像，但是偏移像素长度的n分之一的增量。总的来说，n个偏移线图像表示在从零到像素长度的n分之(n-1)的偏移处的当前位置。
58.在步骤440中，在步骤430中采集的n个偏移线图像中的每个被堆叠以生成针对得到的堆叠的线图像中的每个像素的n个亚像素。偏移线图像中的每个像素可以如本文其他地方所描述的被堆叠(例如，参考图3a和图3b)。在步骤440之后，过程400返回到步骤410。
59.一旦已经确定表示样本上的要被成像的整个感兴趣区域的所有线图像已经在步骤410中被采集，过程400就前进到步骤450。在步骤450中，所采集的线图像被组合成图像条带或图块。得到的图像条带或图块是尚未使用在步骤440中生成的亚像素上采样的图像条带或图块的分辨率的n倍。
60.在步骤460中，上采样的图像条带或图块被对齐成连续的数字图像(例如，全载物片图像)。
61.在步骤470中，一个或多个滤波器被应用到连续的数字图像以例如减少噪声(例如，从将图像条带或图块“拼接”在一起得到的边缘效应，等等)并且过程400结束。
62.4.示例性数字成像设备
63.图5a是图示可以结合本文描述的各种实施例使用的示例处理器使能设备550的框图。在图示的实施例中，设备550被呈现为数字成像设备(还在本文被称为数字载物片扫描器、扫描器系统或扫描系统)，该数字成像设备包括一个或多个处理器555、一个或多个存储器565、一个或多个运动控制器570、一个或多个接口系统575、一个或多个可移动载物台580，其每个支撑具有一个或多个样本590的一个或多个玻璃载物片585、照明样本的一个或多个照明系统595、一个或多个物镜600，其每个限定沿着光轴行进的光学路径605、一个或多个物镜定位器630、一个或多个可选的落射式照明系统635(例如，包括于荧光扫描器系统中)、一个或多个聚焦光学器件610、一个或多个线扫描相机615和/或一个或多个面扫描相机620，其中的每个限定样本590和/或玻璃载物片585上的单独视野625。数字成像设备550的各种元件经由一个或多个通信总线560通信地耦合。尽管可以存在数字成像设备550的各种元件中的每种元件中的一个或多个元件，但是为简单起见在随后的描述中，这些元件将以单数描述，除非当需要以复数描述以传达合适信息时。数字成像设备550的备选形式还可
以如技术人员所理解的那样被使用。
64.一个或多个处理器555可以包括例如能够并行地处理指令的中央处理单元(“cpu”)和单独的图形处理单元(“gpu”)，或者处理器555可以包括能够并行地处理指令的多核处理器。额外的单独的处理器还可以被提供以控制特定部件或执行诸如图像处理的特定功能。例如，额外处理器可以包括管理数据输入的辅助处理器、执行浮点数学运算的辅助处理器、具有适合于信号处理算法的快速执行的体系结构的专用处理器(例如，数字信号处理器)、从属于主处理器的从处理器(例如，后端处理器)、用于控制线扫描相机615、载物台580、物镜600和/或显示器(未示出)的附加处理器。这样的附加处理器可以是单独的分立处理器或者可以与处理器555集成。
65.存储器565提供针对可以由处理器555执行的程序的数据和指令的存储。存储器565可以包括存储数据和指令的一个或多个易失性和/或非易失性计算机可读存储介质，诸如随机存取存储器(ram)、只读存储器(rom)、硬盘驱动器、可移除存储驱动器等。处理器555可以被配置为执行存储在存储器565中的指令并经由通信总线560与数字成像设备550的各种元件通信以实现数字成像设备550的总体功能。
66.一个或多个通信总线560可以包括被配置为传达模拟电信号的通信总线560和/或被配置为传达模拟数字数据的通信总线560。因此，来自处理器555、运动控制器570和/或接口系统575的经由一个或多个通信总线560的通信可以包括电信号和/或数字数据。处理器555、运动控制器570和/或接口系统575还可以被配置为经由无线通信链接与数字成像设备550的各种元件中的一个或多个元件通信。
67.运动控制系统570被配置为精确地控制和协调载物台580和/或物镜600的xyz移动(例如，经由物镜定位器630)。运动控制系统570还可以被配置为控制数字成像设备550中的任何其他移动部分的移动。例如，在荧光扫描器实施例中，运动控制系统570可以被配置为协调落射式照明系统635中的光学滤波器等的移动。
68.接口系统575允许数字成像设备550与其他系统和人类操作者通过接口连接。例如，接口系统575可以包括用户接口(例如，图形用户界面)以将信息直接提供给操作者和/或允许来自操作者的直接输入。接口系统575还可以被配置为促进在数字成像设备550与直接连接的一个或多个本地外部设备(例如，打印机、可移除存储介质等)和/或经由网络连接到数字成像设备550的一个或多个远程外部设备(例如，图像服务器、操作员站、用户站、管理服务器等)之间的通信和数据传输。
69.照明系统595可以被配置为照明样本590的一部分。例如，照明系统595可以包括光源和照明光学器件。光源可以是可变强度卤素光源，该可变强度卤素光源具有使光输出最大化的凹面反射镜和抑制热的kg-1滤波器。光源还可以是任何类型的弧光灯、激光器或其他光源。在实施例中，照明系统595以透射模式照明样本590，使得线扫描相机615和/或面扫描相机620感测被透射通过样本590的光学能量。备选地或组合地，照明系统595可以被配置为以反射模式照明样本590，使得线扫描相机615和/或面扫描相机620感测从样本590反射的光学能量。总体上，照明系统595被配置为适合于以光学显微镜的任何已知模式询问显微镜样本590。
70.在实施例中，数字成像设备550可选地包括落射式照明系统635以优化数字成像设备550用于荧光扫描。荧光扫描是包括荧光分子的样本590的扫描，该荧光分子是可以吸收
在特定波长(激发)处的光的光子敏感分子。这些光子敏感分子还发出在更高波长(发射)处的光。因为该光致发光现象的效率很低，所以发射的光的量常常很低。该发射的光的低量通常阻碍用于扫描和数字化样本590的常规技术(例如，透射模式显微镜)。有利地，在数字成像设备550的荧光扫描器系统实施例中，对包括多个线性传感器阵列的线扫描相机615(例如，时间延迟积分(“tdi”)线扫描相机)的使用通过将样本590的相同区域暴露给线扫描相机615的多个线性传感器阵列中的每个来增加线扫描相机615对光的敏感性。这在利用低发射光扫描微弱荧光样本时尤其有用。
71.因此，在荧光扫描器系统实施例中，线扫描相机615优选地是单色tdi线扫描相机。单色图像在荧光显微镜中是理想的，因为它们提供来自样本590上存在的各个信道的实际信号的更准确表示。如本领域技术人员将理解的，荧光样本590可以用发出在不同波长处的光的荧光颜料(其还被称为“信道”)标记。
72.另外，因为各种荧光样本590的低端信号水平和高端信号水平呈现用于线扫描相机615感测的宽波长的光谱，所以期望线扫描相机615可以感测的低端信号水平和高端信号水平是类似地宽的。因此，在荧光扫描器实施例中，数字成像设备550中使用的线扫描相机615是单色10位64线性阵列tdi线扫描相机。应当注意，针对线扫描相机615的各种位深度可以被用于与数字成像设备550的荧光扫描器实施例一起使用。
73.在实施例中，可移动载物台580被配置用于在处理器555或运动控制器570的控制下的精确xy移动。可移动载物台580还可以被配置针对在处理器555或运动控制器570的控制下的z移动。可移动载物台580可以被配置为在由线扫描相机615和/或面扫描相机620进行的图像捕获期间将样本590定位于期望的位置中。可移动载物台580还可以被配置为在扫描方向上将样本590加速到基本上恒定的速度并且然后在由线扫描相机615进行的图像捕获期间维持基本上恒定的速度。在实施例中，数字成像设备550可以采用高精度和紧密协调的xy网格来辅助样本590在可移动载物台580上的定位。在实施例中，可移动载物台580是具有在x轴和y轴两者上采用的高精度编码器的基于线性电机的xy载物台。例如，非常精确的纳米编码器可以被使用在扫描方向上的轴上和在垂直于扫描方向的方向上的轴上并且在与扫描方向相同的平面上。载物台580还可以被配置为支撑样本590被设置于其上的玻璃载物片585。
74.样本590可以是可以由光学显微镜询问的任何物体。例如，玻璃显微镜载物片585常常被用作包括组织和细胞、染色体、dna、蛋白质、血液、骨髓、尿液、细菌、小珠(beads)、活检材料或者死亡或活着、染色或未染色、有标记或未标记的任何其他类型的生物材料或物质的标本的观察衬底。样本590还可以是沉积于任何类型的载物片或其他衬底(包括通常被称为微阵列的任何和所有样本)的任何类型的dna或dna相关材料(诸如cdna、rna或蛋白质)的阵列。样本590可以是微量滴定板(例如96孔板)。样本590的其他示例包括集成电路板、电泳记录、培养皿、薄膜、半导体材料、法医材料或机加工零件。
75.在实施例中，物镜600被安装在物镜定位器630上，该物镜定位器可以采用非常精确的线性电机来将物镜600沿着由物镜600定义的光轴移动。例如，物镜定位器630的线性电机可以包括50纳米编码器。载物台580和物镜600在xyz轴上的相对位置在采用存储器565用于存储信息和指令(包括针对数字成像设备550的总体操作的计算机可执行编程步骤)的处理器555的控制下使用运动控制器570以闭环方式是协调的和控制的。
76.在实施例中，物镜600是具有对应于期望的最高空间分辨率的数值孔径的平场复消色差(“apo”)无限远校正物镜，其中物镜600适合于透射模式照明显微镜、反射模式照明显微镜和/或落射式模式荧光显微镜(例如，奥林巴斯40倍、0.75na或20倍、0.75na)。有利地，物镜600可以能够校正色差和球面像差。当物镜600被无限远地校正时，聚焦光学器件610可以被放置在物镜600上方的光学路径605中，其中穿过物镜的光束变成准直光束。聚焦光学器件610将由物镜600捕获的光学信号聚焦到线扫描相机615和/或面扫描相机620的光响应元件上，并且可以包括诸如滤波器、放大变换器透镜等的光学部件。物镜600与聚焦光学器件610组合提供用于数字成像设备550的总放大率。在实施例中，聚焦光学器件610可以包含镜筒透镜透镜(tube lens)和可选的2倍放大率变换器。有利地，2倍放大率变换器允许原生20倍物镜600以40倍放大率扫描样本590。
77.在实施例中，线扫描相机615包括图片元素(“像素”)的至少一个线性阵列。线扫描相机可以是单色的或彩色的。彩色线扫描相机通常具有至少三个线性阵列，而单色线扫描相机可以具有单个线性阵列或多个线性阵列。还可以使用任何类型的单数或复数线性阵列，不管是封装为相机的部分或定制集成到成像电子模块中。例如，可以使用3线性阵列(“红-绿-蓝”或“rgb”)彩色线扫描相机或96线性阵列单色tdi。tdi线扫描相机通常通过对来自标本的先前被成像区域的强度数据求和从而得到与整合级的数量的平方根成比例的snr的提高来在输出信号中提供基本上更好的信噪比(“snr”)。tdi线扫描相机包括多个线性阵列。例如，tdi线扫描相机可以使用24、32、48、64、96或甚至更多的线性阵列。数字成像设备550还支持以各种格式制造的线性阵列，包括具有512个像素的一些、具有1024个像素的一些以及具有4096或更多像素的另一些。类似地，具有各种像素大小的线性阵列还可以被使用在数字成像设备550中，用于选择任何类型的线扫描相机615的显著要求在于载物台580的运动可以与线扫描相机615的线速率同步，使得载物台580可以在样本590的图像捕获期间处于相对于线扫描相机615的运动中。
78.由线扫描相机615生成的图像数据可以被存储在存储器565中并且由处理器555处理以生成样本590的至少一部分的连续的数字图像。连续的数字图像可以进一步由处理器555处理，并且经修正的连续的数字图像还可以被存储在存储器565中。
79.在具有两个或更多个线扫描相机615的实施例中，线扫描相机615中的至少一者可以被配置为聚焦传感器，该聚焦传感器用作与被配置为用作成像传感器的线扫描相机615中的至少一者组合操作。聚焦传感器可以逻辑上被定位于与成像传感器相同的光学路径上，或者聚焦传感器可以逻辑上相对于数字成像设备550的扫描方向被定位在成像传感器之前或之后。在这样的实施例中，其中至少一个线扫描相机615用作聚焦传感器，由聚焦传感器生成的图像数据可以被存储在存储器565中并且由处理器555处理以生成焦点信息来使得数字成像设备550能够调整在样本590与物镜600之间的相对距离以在扫描期间维持在样本590上的焦点。
80.在操作中，数字成像设备550的各种部件和存储在存储器565中的编程模块使能对设置于玻璃载物片585上的样本590的自动扫描和数字化。玻璃载物片585可以被牢固地放置在用于扫描样本590的数字成像设备550的可移动载物台580上。在处理器555的控制下，可移动载物台580将样本590加速到用于由线扫描相机615感测的基本上恒定速度，其中载物台580的速度与线扫描相机615的线速率同步。在扫描图像数据的条带之后，可移动载物
台580减速并使样本590基本上完全停止。可移动载物台580然后正交于扫描方向移动以将样本590针对扫描图像数据的后续条带(例如，相邻的条带)而定位。额外条带被扫描直到样本590的整个部分或整个样本590被扫描。
81.例如，在样本590的数字扫描期间，样本590的连续的数字图像可以被采集为多个连续视野，该多个连续视野被组合在一起以形成图像条带。多个相邻的图像条带类似地被组合在一起以形成样本590的一部分或全部的连续的数字图像。样本590的扫描可以包括采集垂直图像条带或水平图像条带。样本590的扫描可以是自顶向下的、自底向上的、或两者(双向的)，并且可以在样本590上的任何点处开始。备选地，样本590的扫描可以是从左向右的、从右向左的、或两者(双向的)，并且可以在样本590上的任何点处开始。附加地，以相邻的或连续的方式来采集图像条带不是必要的。另外，样本590的得到的图像可以是整个样本590或样本590的仅仅一部分的图像。
82.在实施例中，计算机可执行指令(例如，编程模块或软件)被存储在存储器565中并且当执行时使得数字成像设备550能够执行本文描述的各种功能。在本说明书中，术语“计算机可读存储介质”用于指用于存储和向数字成像设备550提供计算机可执行指令以用于由处理器555执行的任何介质。这些介质的示例包括直接地或例如经由网络(未示出)间接地与数字成像设备550通信地耦合的存储器565和任何可移除或外部存储介质(未示出)。
83.图5b图示了具有单个线性阵列640的线扫描相机615，该单个线性阵列可以被实现为电荷耦合设备(“ccd”)阵列。该单个线性阵列640包括多个单独的像素645。在图示的实施例中，单个线性阵列640具有4096个像素645。在备选的实施例中，线性阵列640可以具有更多或更少像素645。例如，常见格式的线性阵列包括512、1024和4096个像素645。像素645以线性方式布置以限定针对线性阵列640的视野625。视野625的大小根据数字成像设备550的放大率而变化。
84.图5c图示具有三个线性阵列的线扫描相机615，三个线性阵列中的每个可以被实现为ccd阵列。三个线性阵列组合以形成彩色阵列650。在实施例中，彩色阵列650中的每个独立的线性阵列检测不同颜色强度(例如，红色、绿色或蓝色)。来自彩色阵列650中的每个个体线性阵列的颜色图像数据被组合以形成颜色图像数据的单个视野625。
85.图5d图示具有多个线性阵列的线扫描相机，多个线性阵列中的每个可以被实现为ccd阵列。多个线性阵列共同地形成tdi阵列655。有利地，tdi线扫描相机可以通过对来自标本的先前成像的区域的强度数据求和从而得到与线性阵列(还被称为整合级)的数量的平方根成比例的snr的增加，在它的输出信号中提供基本上更好的snr。tdi线扫描相机可以包括更多种类的数目的线性阵列。例如，常见格式的tdi线扫描相机包括24、32、48、64、96、120个以及甚至更多个线性阵列。
86.提供所公开的实施例的以上描述以使得本领域技术人员能够利用本发明。对这些实施例的各种修改对本领域技术人员将是显而易见的，并且本文描述的一般原理可以被应用到其他实施例而不偏离本发明的精神或范围。因此，应当理解，本文呈现的说明书和附图表示本发明的当前优选实施例并且因此代表由本发明宽泛地预见到的主题。进一步理解的是，本发明的范围完全涵盖对本领域技术人员可以变得明显的其他实施例，并且本发明的范围不因此受限制。