基于多图像面积关系的显微成像系统自动对焦方法及装置与流程

1.本发明属于半导体检测领域，具体涉及一种基于多图像面积关系的显微成像系统自动对焦方法，还涉及一种基于多图像面积关系的显微成像系统自动对焦装置。


背景技术：

2.显微镜的自动聚焦(即自动获取对焦图像)，被广泛的应用在工业检测，如半导体、液晶屏等领域。传统的聚焦判断方法，如图像清晰度函数、距离测量等，由于速度慢(清晰度函数)、成本高(距离测量)没有办法在工业生产中大规模的使用。现有技术中出现了有采用光束主动投影，利用在被测物表面形成图像，利用图像的信息作为聚焦情况的判断依据，解决了速度与成本问题。但是单幅图像处理时易受到外界因素的影响，如背景光、测量物体表面、测量物体安装的影响导致测量精度的下降。


技术实现要素：

3.本发明的目的在于克服现有技术中的不足，提供了一种基于多图像面积关系的显微成像系统自动对焦方法，解决了传统方法中由于信源单一导致的深度估计错误率高，对焦效率较低的技术问题。
4.为解决上述技术问题，本发明的技术方案如下。
5.第一方面，本发明提供了一种基于多图像面积关系的显微成像系统自动对焦方法，包括以下过程：
6.基于显微成像系统，将两束激光光束经显微物镜投射到样品表面后接收样品表面反射的两束激光光束形成的两个面积不同的光斑图像，并计算两个光斑的面积，获得显微成像系统中显微物镜和样品之间的距离与两个光斑面积之间对应关系；
7.调整显微物镜和样品之间的距离，计算得到对应的两个光斑面积，由不同距离与光斑面积之间映射关系形成面积查找表；
8.获取待测环境中光斑图像，根据面积查找表获得此光斑面积对应的显微物镜与样品之间距离；
9.根据此距离计算得到离焦距离，基于此离焦距离移动显微物镜相对样品位置，从而实现显微成像系统的自动对焦。
10.可选的，所述显微成像系统包括：激光器一、激光器二、分束棱镜一、分束棱镜二、分束棱镜三、显微物镜、透镜、分束棱镜四、带通滤波片一、带通滤波片二、面阵探测器一、面阵探测器二、场镜和面阵探测器三；
11.激光器一发出的激光光束一，激光器二发出的激光光束二，激光光束一和激光光束二两束光的光轴互相垂直且波长不同；激光光束一和激光光束二经过分束棱镜一合束后，激光光束一和激光光束二两束光光轴重合；合束之后，激光光束一、激光光束二经过分束棱镜二，照射到分束棱镜三上，经过分束棱镜三反射后之后，激光光束一、激光光束二进入显微物镜然后投射到样品的表面上；
12.激光光束一、激光光束二被样品表面反射后，被显微物镜收集，然后经过分束棱镜三和分束棱镜二的反射至透镜处，经透镜汇聚后到达分束棱镜四，激光光束一、激光光束二经分束棱镜四后，被分为透射部分和反射部分，这两部分均包含激光光束一和激光光束二；反射部分照射到带通滤波片一上，激光光束一被滤除，激光光束二被面阵探测器一接收；透射部分照射到带通滤波片二上，激光光束二被吸收，激光光束一被面阵探测器二接收；面阵探测器一和面阵探测器二上获得两个面积不同的光斑图像；
13.显微物镜、场镜以及面阵探测器三构成了显微镜，用于显示样品的图像。
14.可选的，所述光斑图像中光斑面积的计算过程为：
15.光斑图像记为i1，i1的每个像素大小记为i1(x,y)；
16.设定阈值t，将i1中的每个像素进行公式1的操作，提取图像中光斑区域，得到处理后的图像记为i
′1，i
′1中的每个像素大小记为i
′1(x,y)；
[0017][0018]
对i
′1图像中像素值求和，得到i1中光斑面积s1。
[0019]
可选的，所述调整显微物镜和样品之间的距离，计算得到对应的两个光斑面积，由不同距离与光斑面积之间映射关系形成面积查找表，具体过程为：
[0020]
1)设显微物镜能够相对样品在竖直方向移动，设单次移动距离为δ
d
,δ
d
应为显微镜的景深；
[0021]
2)假设显微物镜距离样品的垂直距离为d，距离d可变动的最大值与最小值分别标记为d
max
和d
min
；
[0022]
3)利用δ
d
对d进行分割，形成n个深度位置；其中第n个深度位置标记为d
(n)
，n取值范围为1～n，d
(n)
的表达式如公式2所示：
[0023]
d
(n)
＝d
min
(n
‑
1)δ
d
ꢀꢀꢀ
(2)
[0024]
4)将显微物镜移动到每个d
(n)
处，记录对应的光斑图像i1和i2中光斑面积，记为和由距离与光斑面积之间映射关系进而形成面积查找表。
[0025]
可选的，所述获取待测环境中光斑图像，根据面积查找表获得此光斑面积对应的显微物镜与样品之间距离，包括：
[0026]
1)在实际测量中，对于一个距离未知的待测环境，首先获取光斑面积，分别记为s
1d
和s
2d
；
[0027]
2)将s
1d
与面积查找表中所有相比较，查找表中与面积s
1d
大小最接近的两个值；
[0028]
具体比较的方法是将s
1d
与做差，如式3所示，遍历表中所有的获得n个记为将中最小的两个值的上标分别标记为n1和n2；
[0029][0030]
3)将s
2d
与n1和n2位置对应的做差，如式4所示，得到差值和取
和中较小数值的上标所对应深度d
(n)
，作为第一次估计的显微物镜和样品之间距离d，记为d
step1
；
[0031][0032]
4)将s
2d
与查找表中所有做差，如式5所示，遍历所有的获得n个记为将中最小的两个值的上标分别标记为n
′1和n
′2；
[0033][0034]
5)将s
1d
与n
′1和n
′2位置对应的做差，如式6所示，得到和取和中较小数值的上标所对应深度d
(n)
，作为第二次估计的显微物镜和样品之间距离，记为d
step2
；
[0035][0036]
6)如果第一次估计和第二次估计的显微物镜和样品之间距离满足以下条件：|d
step1
‑
d
step2
|≤σ
t
，其中，σ
t
为预设的距离误差阈值；则表示两者交叉检验吻合，说明得出的距离正确，此时任取d
step1
或d
step2
中的一个数值作为当前显微物镜和样品之间距离，标记为d
c
。
[0037]
可选的，还包括：
[0038]
如果第一次估计和第二次估计的显微物镜和样品之间距离不满足
[0039]
|d
step1
‑
d
step2
|≤σ
t
条件，则表示估计距离有误；此时，须将显微物镜向远离样品的方向移动2δ
d
后再重复以上过程，直到估计的距离满足条件。
[0040]
可选的，所述基于离焦距离移动显微物镜相对样品位置，包括：
[0041]
当离焦距离δ
defocus
＞0时，将显微物镜向靠近样品的方向移动|δ
defocus
|；
[0042]
当离焦距离δ
defocus
＜0时，将显微物镜向远离样品的方向移动|δ
defocus
|；
[0043]
当离焦距离δ
defocus
＝0时，表示当前状态已经对焦。
[0044]
第二方面，本发明提供了一种基于多图像面积关系的显微成像离焦状态获取装置，包括：
[0045]
光斑采集模块，用于基于显微成像系统，将两束激光光束经显微物镜投射到样品表面后接收样品表面反射的两束激光光束形成的两个光斑图像，并计算两个光斑面积，获得显微成像系统中显微物镜和样品之间的距离与两个光斑面积之间对应关系；
[0046]
查找表生成模块，用于通过调整显微物镜和样品之间的距离，计算得到对应的两个光斑面积，由不同距离与光斑面积之间映射关系形成面积查找表；
[0047]
距离估算模块，用于获取待测环境中光斑图像，根据面积查找表获得此光斑面积对应的显微物镜与样品之间距离；
[0048]
对焦调整模块，用于根据此距离计算得到离焦距离，基于此离焦距离移动显微物镜相对样品位置，从而实现显微成像系统的自动对焦。
[0049]
与现有技术相比，本发明所达到的有益效果是：本发明采用两条光束投影到测量物体表面，由于考察的是同一测量的表面的投影信息，受到的影响相同，利用两者之间的相互关系来考察聚焦情况，可以避免上述因素的影响，提高检测精度。
附图说明
[0050]
图1为本发明方法的流程图；
[0051]
图2为发射光路的原理图；
[0052]
图3为接收光路的原理图；
[0053]
图4为两个光源对目标探测的原理图；
[0054]
图5为一个光源对目标探测的原理图。
[0055]
附图标记：1、激光器一，2、激光器二，3、激光光束一，4、激光光束二，5、分束棱镜一，6、分束棱镜二，7、分束棱镜三，8、显微物镜，9样品，10、透镜，11、分束棱镜四，12、带通滤波片一，13、带通滤波片二，14、面阵探测器一，15、面阵探测器二，16、场镜，17、面阵探测器三。
具体实施方式
[0056]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0057]
实施例1
[0058]
本发明的发明构思为：采用两条不同波长的激光光束投影到测量物体表面，考察同一测量表面的投影信息，并利用两者之间的相互关系来考察聚焦情况，可以避免光路传输因素的影响，提高检测精度。
[0059]
本发明的一种基于多图像面积关系的显微成像系统自动对焦方法，参见图1所示，包括以下过程：
[0060]
步骤s1，将两束不同波长的激光光束经显微物镜投射到样品表面，并接收样品表面反射的激光光束形成的两个面积不同的光斑图像，用于后期探测。
[0061]
显微成像系统的结构参见图2所示，激光光束投影到样品表面获得样品的投影信息。激光光束的发射流程，参见图2所示，过程为：激光器一1和激光器二2如图放置，即：两激光器所发出激光的光轴相互垂直。激光器一1发出的激光光束一3(图中实线表示)，其波长为λ1，激光器二2发出的激光光束二4(图中虚线表示)，其波长为λ2，激光光束一3和激光光束二4两束光的光轴互相垂直，且两光束的波长不同。激光光束一3和激光光束二4两束光照射到分束棱镜一5后，激光光束一3被分束棱镜一5反射，激光光束二4直接穿过分束棱镜一5。经过分束棱镜一5合束后，激光光束一3和激光光束二4两束光光轴重合。合束之后，激光光束一3，激光光束二4经过分束棱镜二6，照射到分束棱镜三7上，分束棱镜三7与激光光束一3，激光光束二4主光轴的夹角均为45
°
。经过分束棱镜三7反射后之后，激光光束一3，激光光束二4进入显微物镜8然后投射到样品9的表面上。
[0062]
通过接收光路接收样品反射激光光束的流程，参见图3所示过程：激光光束一3、激光光束二4被样品9表面反射后，被显微物镜8收集，然后经过分束棱镜三7和分束棱镜二6的反射至透镜10处，经透镜10汇聚后到达分束棱镜四11。激光光束一3、激光光束二4经分束棱
镜四11后，被分为透射部分和反射部分，这两部分均包含激光光束一3和激光光束二4。由于两光束使用不同波长，因此可以利用滤波片将两种光分开。反射部分照射到带通滤波片一12上，带通滤波片一12的特征为：阻止波长为λ1的光线，通过波长为λ2的光线。因此激光光束一3被滤除，激光光束二4被面阵探测器一14接收。透射部分照射到带通滤波片二13上，带通滤波片二13的特征为：阻止波长为λ2的光线，通过波长为λ1的光线，因此激光光束二4被吸收，激光光束一3被面阵探测器二15接收。面阵探测器一14和面阵探测器二15上获得两个面积不同的光斑图像。
[0063]
此外，显微物镜8、场镜16，以及面阵探测器三17构成了无限远校正显微镜，简称为显微镜。显微镜显示样品的图像。
[0064]
步骤s2，通过调整显微物镜和样品之间的距离，计算得到对应的两个光斑面积，由不同距离与光斑面积之间映射关系形成面积查找表。
[0065]
本发明采用两个光源对目标样品9进行探测，其原理如图4所示。图4描述了其中一个激光光源对被探测目标样品进行投射时，观测面上光斑大小(面积)与光源之间的关系，其中光源点发出的光具有一定的发散角，半发散角记为θ。该处光源点可以表示激光器一1或激光器二2。光源点发出的光照射到显微物镜8上，在显微物镜8另一侧进行汇聚形成像点。
[0066]
为了解释本发明的原理，建立以下模型。此处将显微物镜8可以看作为一个等效透镜，其焦距为f。这个等效透镜不加数字编号，以区别发明方案中的其他透镜。光源点(此处光源点可以指代激光器一1或激光器二2)距离等效透镜的物方主面距离为u(u＞f)，像点距离等效透镜的像方主面距离为v。在等效透镜上，距离光轴最远的入射光束在出射位置距离光轴的垂直距离记为h。如图4所示，在等效透镜的另一侧放置样品9，此时样品面为观察面，观察面上光斑半径记为r，在光轴方向上观察面距离像方主面的距离为d。通过物像关系以及相似性关系，可以联立方程组，得到r与u，θ，d以及f的关系，从而说明本方法的基本原理。
[0067]
方程组为：
[0068][0069]
需要说明的是，该方程组中所有变量均为正。联立以上方程可得显然当观察面和显微物镜8位置一定时，d和f都是一定的，那么在光源发出的光线不超过透镜直径的情况下，r与u、θ成正比，即样品表面反射光束形成的光斑面积大小与u、θ正相关。
[0070]
本方法使用两个光源进行投射，通过调节两光源距离显微物镜8的垂直距离和两光源各自发散角，使得到的光斑大小各不相同。在确定的观测位置(即图4中d一定时)，可以利用面阵探测器一14和面阵探测器二15分别获得两个面积不同的光斑，即一个观测位置对应唯一一对面积组合。那么通过构造面积查找表，建立d与两个面积的对应关系。当实际观察时，只需要将实际拍摄到的两个光斑的面积与查找表中的面积进行比较可以确定样品9
与显微物镜8之间的距离d。
[0071]
此外，需要说明的是，如果是单光源进行投射，在单光源的像点两侧放置观测面，可能出现两个光斑面积相同的位置，如图5所示。图5中，如果观察面1，观察面2距离像面的距离a1，a2相等，那么显然观察面1上光斑的半径r1，与观察面2上光斑的半径r2相同，这导致两观察面上光斑面积相等，从而无法据此判断当前观测面的位置。因此引入两个物距不同的光源进行投射。
[0072]
以上是本发明基本原理，下面首先要计算两个光斑面积，具体过程为：
[0073]
1)面阵探测器一14探测到的光斑图像记为i1，i1的每个像素大小记为i1(x,y)。面阵探测器二15探测到的光斑图像记为i2。i2的每个像素大小记为i2(x,y)。
[0074]
2)设定阈值t(可以根据光照强度，相机性质等实际情况进行设置)，将i1中的每个像素进行公式1的操作，提取图像中光斑区域，得到处理后的图像记为i
′1，i
′1中的每个像素大小记为i
′1(x,y)。用相同的方法对i2进行处理得到i
′2。
[0075]
该步骤提取了图像i1，i2中具有显著亮度的区域，即光斑区域。那么经过(1)式处理，所得到的i
′1,i
′2代表了i1，i2中的光斑位置。
[0076][0077]
3)分别对i
′1和i
′2图像中像素值求和，分别得到i1和i2中光斑面积s1和s2。
[0078]
由当前显微物镜和样品之间的距离，计算得到对应的两个光斑面积，获得距离与光斑面积之间映射关系。
[0079]
然后调整显微物镜8位置，获取不同距离与光斑面积之间映射关系，生成面积查找表生成。具体过程为：
[0080]
1)设显微物镜8连接电机，可以使显微物镜8相对样品9在竖直方向移动。设电机单次移动距离为δ
d
,δ
d
应为显微镜的景深。
[0081]
2)假设显微物镜8距离样品9的垂直距离为d。距离d可变动的最大值与最小值分别标记为d
max
和d
min
。
[0082]
3)利用δ
d
对d进行分割，形成n个深度位置。其中第n个深度位置标记为d
(n)
，n取值范围为1～n，d
(n)
的表达式如公式2所示。
[0083]
d
(n)
＝d
min
(n
‑
1)δ
d
ꢀꢀꢀ
(2)
[0084]
4)将显微物镜8移动到每个d
(n)
处，记录对应的i1和i2中光斑面积，记为和由距离与光斑面积之间映射关系进而形成面积查找表，如表1所示。
[0085]
表1面积查找表
[0086][0087]
在制作面积查找表时，显微物镜8会移动到对焦位置，即d＝v。
[0088]
步骤s3，获取待测环境中显微成像系统中光斑图像，根据面积查找表获得此光斑面积对应的距离，根据此距离计算实际离焦距离，以便移动显微物镜从而实现自动对焦。
[0089]
1)在实际测量中，对于一个距离未知的待测环境。首先获取面阵探测器一14和面阵探测器二15的光斑图像，通过公式1获取其光斑面积，分别记为s
1d
和s
2d
；
[0090]
2)将s
1d
与面积查找表中(如表1所示)所有相比较，查找表中与面积s
1d
大小最接近的两个值。
[0091]
具体比较的方法是将s
1d
与做差(如式3所示)，遍历表中所有的获得n个记为将中最小的两个值的上标分别标记为n1和n2。
[0092][0093]
差值最小表明所拍摄光斑的面积和查找表中序号为n1和n2对应光斑面积最为接近，那么n1和n2所对应的距离中有一个就是显微物镜8和样品9之间的距离。为了进行筛选，进行以下3)步骤。
[0094]
3)将s
2d
与n1和n2位置对应的做差，公式如式4所示，得到差值和取和中较小数值的上标所对应深度d
(n)
，作为第一次估计的显微物镜8和样品9之间距离d，记为d
step1
。
[0095][0096]
例如，如果则为第一次估计的显微物镜8和样品9之间距离，记为d
step1
。
[0097]
以上2)
‑
3)的做法是先用s
1d
与所有比较，再用s
2d
进行筛选。为了确保获取深度的正确性，在4)
‑
5)步骤将s
2d
与所有进行比较，再用s
1d
进行筛选。最后通过比较2)
‑
3)以及4)
‑
5)各自获取的深度，判断估计深度的正确性。
[0098]
4)将s
2d
与查找表中所有做差，公式如式5所示，遍历所有的获得n个记为将中最小的两个值的上标分别标记为n
′1和n
′2。
[0099][0100]
5)将s
1d
与n
′1和n
′2位置对应的做差，公式如式6所示，得到和取和中较小数值的上标所对应深度d
(n)
，作为第二次估计的显微物镜8和样品9之间距离，记为d
step2
。
[0101][0102]
例如，如果则为第二次估计的显微物镜8和样品9之间距离，即为d
step2
。
[0103]
6)如果第一次估计和第二次估计的显微物镜8和样品9之间距离满足以下条件：|d
step1
‑
d
step2
|≤σ
t
，则表示两者交叉检验吻合，说明得出的距离正确，此时任取d
step1
或d
step2
中的一个数值作为当前显微物镜8和样品9之间距离，标记为d
c
。其中，σ
t
为预设的距离误差阈值。
[0104]
如果不满足以上条件，则表示估计距离有误。此时，须将显微物镜8向远离样品9的方向移动2δ
d
后再重复以上1
‑
5步，再进行判断直到估计的距离满足|d
step1
‑
d
step2
|≤σ
t
这一条件。
[0105]
该步骤中，移动2δ
d
的原因是调整目前显微物镜8的位置，使得移动后得面阵探测器一14和面阵探测器二15所拍摄图像显著区别于当前位置图像。最后得出显微物镜8和样品9之间距离标记为d
c
。
[0106]
7)此时，离焦距离为：δ
defocus
＝d
c
‑
v。
[0107]
8)根据离焦距离调整显微物镜相对样品位置，实现显微物镜的自动对焦。
[0108]
当δ
defocus
＞0时，控制电机将显微物镜8向靠近样品9的方向移动|δ
defocus
|；当δ
defocus
＜0时，控制电机将显微物镜8向远离样品9的方向移动|δ
defocus
|；当δ
defocus
＝0时，表示当前状态已经对焦。
[0109]
当显微成像系统自动对焦之后，利用显微镜可以观察到清晰的样品9的图像。
[0110]
本发明
[0111]
实施例2
[0112]
基于与实施例1方法同样的发明构思，本发明的一种基于多图像面积关系的显微成像离焦状态获取装置，包括：
[0113]
光斑采集模块，用于基于显微成像系统，将两束激光光束经显微物镜投射到样品表面后接收样品表面反射的两束激光光束形成的两个光斑图像，并计算两个光斑面积，获得显微成像系统中显微物镜和样品之间的距离与两个光斑面积之间对应关系；
[0114]
查找表生成模块，用于调整显微物镜和样品之间的距离，计算得到对应的两个光斑面积，由不同距离与光斑面积之间映射关系形成面积查找表；
[0115]
距离估算模块，用于获取待测环境中光斑图像，根据面积查找表获得此光斑面积对应的显微物镜与样品之间距离；
[0116]
对焦调整模块，用于根据此距离计算得到离焦距离，基于此离焦距离移动显微物镜相对样品位置，从而实现显微成像系统的自动对焦。
[0117]
本发明装置中各模块的具体实现方案参见实施例1方法中各步骤过程。
[0118]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0119]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0120]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0121]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0122]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。