一种基于机器视觉的自动对焦、自动对中方法及系统

1.本发明涉及基于机器视觉的自动化控制技术领域，特别是涉及一种基于机器视觉的自动对焦、自动对中方法及系统。


背景技术：

2.在微纳尺度力学测试中，聚焦离子束—扫描电子显微镜系统操作十分复杂，若想要掌握熟练的操作则需经过专业培训并具有一定经验才可以达到。在做微纳尺度力学测试前，要先对电子显微镜调焦使样品可以清晰被看到，并将压头和样品中线对齐，这两个过程俗称为对焦和对中；目前阶段的对焦和对中一般采用手动调节。在对焦过程中，即使经验丰富的人，手动调整焦距也是凭借经验，没有什么特定的标准；而在对中过程中，也是通过手动调整样品台的移动使样品中线和压头中线对齐，不仅工作耗费时间长、而且无法避免人为因素导致的微小误差。


技术实现要素：

3.本发明的目的是提供一种基于机器视觉的自动对焦、自动对中方法及系统，实现了自动对焦、对中，有效避免了人为因素导致的微小误差。
4.为实现上述目的，本发明提供了如下方案：
5.一种基于机器视觉的自动对焦方法，包括：
6.控制载物台在电子显微镜的成像距离区间内移动，改变所述载物台和电子显微镜之间的物距；
7.在所述载物台和电子显微镜之间的物距发生改变时，获取电子显微镜扫描到的载物台图像，得到若干张载物台图像；
8.针对任一张载物台图像，根据所述载物台图像中各像素的灰度值，计算所述载物台图像的图像清晰度；
9.将若干张载物台图像中图像清晰度最大的载物台图像对应的成像位置作为目标成像位置，控制所述载物台移动到所述目标成像位置。
10.可选地，所述根据所述载物台图像中各像素的灰度值，计算所述载物台图像的图像清晰度，具体包括：
11.利用拉普拉斯算子对所述载物台图像进行模板卷积，得到所述载物台图像的高频分量；
12.根据图像清晰度评价函数和所述载物台图像的高频分量，计算得到所述载物台图像的图像清晰度值。
13.可选地，所述拉普拉斯算子如下式所示：
14.z(x,y)＝g(x-1,y) g(x 1,y) g(x,y-1) g(x,y 1)-4g(x,y)
15.x∈[1,m-1],y∈[1,n-1]
[0016]
其中，g(x,y)为所述载物台图像中像素点(x,y)处的灰度值，m为所述载物台图像
的像素列数，n为所述载物台图像的像素行数，z(x,y)为所述载物台图像的高频分量中像素点(x,y)处的灰度值。
[0017]
可选地，所述图像清晰度评价函数如下式所示：
[0018][0019]
其中，f为所述载物台图像的图像清晰度值，m为所述载物台图像的像素列数，n为所述载物台图像的像素行数，z(x,y)为所述载物台图像的高频分量中像素点(x,y)处的灰度值。
[0020]
可选地，所述根据所述载物台图像中各像素的灰度值，计算所述载物台图像的图像清晰度，具体包括：
[0021]
针对所述载物台图像中的任一像素点，将所述像素点的灰度值和与所述像素点相邻的多个像素点的灰度值做差分运算，得到所述像素点的灰度变化量；
[0022]
根据所述载物台图像中各像素点的灰度变化量，确定所述载物台图像的图像清晰度值。
[0023]
可选地，根据下式计算所述载物台图像中任一像素点的灰度变化量：
[0024]
g(x,y)＝|g(x,y)-g(x 1,y)| |g(x,y)-g(x,y 1)|
[0025]
其中，g(x,y)为所述载物台图像中像素点(x,y)处的灰度变化量，g(x,y)为所述载物台图像中像素点(x,y)处的灰度值。
[0026]
另一方面，本发明还提供了一种基于机器视觉的自动对中方法，包括：
[0027]
执行如前文所述的自动对焦方法；
[0028]
控制所述电子显微镜扫描获取所述载物台图像；所述载物台图像中包括压头和与所述压头相对设置的样品，且所述压头的行进方向垂直于所述样品的固定面，所述电子显微镜的成像方向垂直于所述压头的行进方向；
[0029]
对所述载物台图像进行预处理，得到预处理图像；所述预处理包括依次进行的滤波处理、噪点消除处理和二值化处理；
[0030]
对所述预处理图像进行连通区域检测，确定所述压头区域和所述样品区域；
[0031]
在所述载物台图像中任选一点作为原点o，以过原点o且平行于所述压头的行进方向的直线为x轴，以过原点o且垂直于所述x轴的直线为y轴，建立平面直角坐标系xoy；
[0032]
分别确定所述压头区域的中线和所述样品区域的中线；所述压头区域的中线和所述样品区域的中线均平行于所述x轴、垂直于所述y轴；
[0033]
根据所述压头区域的中线与所述样品区域的中线之间的距离，控制所述样品区域的中线与所述压头区域的中线重合。
[0034]
可选地，根据下式确定所述压头区域的中线：
[0035][0036]
其中，y
压头
为所述压头区域的中线，yi为所述压头区域中第i个像素的y轴坐标，n为所述压头区域中像素的个数；
[0037]
根据下式确定所述样品区域的中线：
[0038][0039]
其中，y
样品
为所述样品区域的中线，yj为所述样品区域中第j个像素的y轴坐标，m为所述样品区域中像素的个数。
[0040]
对应于前述的基于机器视觉的自动对焦方法，本发明还提供了一种基于机器视觉的自动对焦系统，自动对焦系统在被计算机执行时，运行如前文所述的基于机器视觉的自动对焦方法。
[0041]
对应于前述的基于机器视觉的自动对中方法，本发明还提供了一种基于机器视觉的自动对中系统，自动对中系统在被计算机执行时，运行如前文所述的基于机器视觉的自动对中方法。
[0042]
根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0043]
本发明提供的一种基于机器视觉的自动对焦、自动对中方法及系统，本发明提供的基于机器视觉的自动对焦方法，通过控制载物台在电子显微镜成像距离区间内进行移动，并获取载物台在不同成像距离时，电子显微镜所扫描的图像，通过载物台图像中各像素的灰度值计算所述载物台图像的图像清晰度，确定图像清晰度值最高时的成像距离，并控制载物台移动到该位置，以此达到基于机器视觉的精准对焦；并且在完成精准对焦后，通过电子显微镜获取载物台上能清晰体现压头和样品之间布置关系的图像，并对其中的压头区域和样品区域的中线进行对齐，实现了基于机器视觉的精准对中，避免了人工手动对焦、对中所存在的效率低、精度差的问题，提高了对焦和对中的效率。
附图说明
[0044]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0045]
图1为本发明实施例1提供的一种基于机器视觉的自动对焦方法的流程图；
[0046]
图2为本发明实施例1提供的自动对焦方法中随物距改变，图像的变化示意图；
[0047]
图3为本发明实施例1提供的自动对焦方法中图像清晰度的变化示意图；
[0048]
图4为本发明实施例3提供的一种基于机器视觉的自动对中方法的流程图；
[0049]
图5为本发明实施例3提供的自动对中方法中完成对中后的示意图；
[0050]
图6为本发明实施例5提供的一种基于机器视觉的自动对焦系统的结构示意图；
[0051]
图7为本发明实施例6提供的一种基于机器视觉的自动对中系统的结构示意图。
具体实施方式
[0052]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0053]
本发明的目的是提供一种基于机器视觉的自动对焦、自动对中方法及系统，实现了自动对焦、对中，有效避免了人为因素导致的微小误差。
[0054]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0055]
实施例1：
[0056]
本实施例提供了一种基于机器视觉的自动对焦方法，如图1所示的流程图，该自动对焦方法包括：
[0057]
a1、控制载物台在电子显微镜的成像距离区间内移动，改变所述载物台和电子显微镜之间的物距；也就是说将载物台从电子显微镜的下限位移动至上限位。
[0058]
a2、在所述载物台和电子显微镜之间的物距发生改变时，获取电子显微镜扫描到的载物台图像，得到若干张载物台图像；一些实施例中，在获取到载物台图像后，还可以包括对采集到的图像进行傅里叶滤波的步骤。
[0059]
a3、计算各载物台图像的图像清晰度；针对任一张载物台图像，根据所述载物台图像中各像素的灰度值，计算所述载物台图像的图像清晰度。
[0060]
a4、将若干张载物台图像中图像清晰度最大的载物台图像对应的成像位置作为目标成像位置，控制所述载物台移动到所述目标成像位置。
[0061]
本实施例中，步骤a3根据所述载物台图像中各像素的灰度值，计算所述载物台图像的图像清晰度，具体包括：
[0062]
a31、利用拉普拉斯算子对所述载物台图像进行模板卷积，得到所述载物台图像的高频分量；具体在本实施例中，拉普拉斯算子如下式所示：
[0063]
z(x,y)＝g(x-1,y) g(x 1,y) g(x,y-1) g(x,y 1)-4g(x,y)
[0064]
x∈[1,m-1],y∈[1,n-1]
[0065]
其中，g(x,y)为所述载物台图像中像素点(x,y)处的灰度值，m为所述载物台图像的像素列数，n为所述载物台图像的像素行数，z(x,y)为所述载物台图像的高频分量中像素点(x,y)处的灰度值。
[0066]
梯度算子为水平方向和垂直方向两个，高通滤波算子只有一个，
[0067]
对应算子矩阵为：
[0068][0069]
a32、根据图像清晰度评价函数和所述载物台图像的高频分量，计算得到所述载物台图像的图像清晰度值；具体在本实施例中，所述图像清晰度评价函数如下式所示：
[0070][0071]
其中，f为所述载物台图像的图像清晰度值，m为所述载物台图像的像素列数，n为所述载物台图像的像素行数，z(x,y)为所述载物台图像的高频分量中像素点(x,y)处的灰度值。
[0072]
在确定图像的清晰度过程中，装置连续带动载物台，改变扫描电子显微镜的物距，
当图像清晰度值出现由小到大再变小的过程，即如图2所示，可以发现压头边缘的清晰度经历了模糊-清晰-模糊的过程，为评估该过程的图像清晰度，随着物距改变，图像清晰度值的曲线如图3所示，由图可以看出该曲线有且只有一个极大值，带动扫描电子显微镜的焦距回到图像清晰度值最大的位置处，即为自动对焦处。
[0073]
在实现自动对焦的功能的过程中，物距在不断地变化，并不能保证采集的是完整的待处理的载物台图像，因此需要对扫描电子显微镜采集到的载物台图像进行前期处理，比如设置目标区域，只保留需要处理的压头样品图像，以减少计算量。
[0074]
实施例2：
[0075]
本实施例与实施例1的方案大致相同，不同之处在于，本实施例中，根据所述载物台图像中各像素的灰度值，计算所述载物台图像的图像清晰度，具体包括：
[0076]
针对所述载物台图像中的任一像素点，将所述像素点的灰度值和与所述像素点相邻的多个像素点的灰度值做差分运算，得到所述像素点的灰度变化量；在本实施例中，根据下式计算所述载物台图像中任一像素点的灰度变化量：
[0077]
g(x,y)＝|g(x,y)-g(x 1,y)| |g(x,y)-g(x,y 1)|
[0078]
其中，g(x,y)为所述载物台图像中像素点(x,y)处的灰度变化量，g(x,y)为所述载物台图像中像素点(x,y)处的灰度值。用差分绝对值代替乘方和开方，即对点(x,y)及其邻近点的灰度值作差分运算，提取(x,y)该点灰度值的变化大小。
[0079]
根据所述载物台图像中各像素点的灰度变化量，确定所述载物台图像的图像清晰度值；在本实施例中，根据下式确定载物台图像的图像清晰度值：
[0080]
∑y∑
x
|g(x,y)|
[0081]
其中，x和y的取值范围分别为所述载物台图像的像素行数和像素列数。
[0082]
实施例3：
[0083]
本实施例中，还提供了一种基于机器视觉的自动对中方法，如图4所示，该自动对中方法包括以下步骤：
[0084]
b1、执行如实施例1或实施例2所述的自动对焦方法；使电子显微镜可以获取到清晰的载物台图像。
[0085]
b2、控制所述电子显微镜扫描获取所述载物台图像；所述载物台图像中包括压头和与所述压头相对设置的样品，且所述压头的行进方向垂直于所述样品的固定面，所述电子显微镜的成像方向垂直于所述压头的行进方向；
[0086]
b3、对所述载物台图像进行预处理，得到预处理图像；所述预处理包括依次进行的滤波处理、噪点消除处理和二值化处理；本实施例中，采用面向python的opencv算法库实现相关的图像处理。opencv是一个开源的计算机视觉库，可以提供丰富的图像处理接口函数，通过这些函数的合理搭配能够实现相应的功能。具体为：对自动对焦得到的清晰图像进行滤波处理，消除噪点；阈值处理，得到二值图像。
[0087]
b4、对所述预处理图像进行连通区域检测，确定所述压头区域和所述样品区域；具体在本实施例中，利用形态学开运算和闭运算去除毛边，对去除毛边后的二值图像进行连通域检测，获得多个区域，实现分割，取其中面积最大的三块区域作为压头和试样的预选区域；进行模板匹配，找出图像中的目标压头和试样。
[0088]
b5、建立平面直角坐标系xoy；在所述载物台图像中任选一点作为原点o，以过原点
o且平行于所述压头的行进方向的直线为x轴，以过原点o且垂直于所述x轴的直线为y轴，建立平面直角坐标系xoy。
[0089]
b6、分别确定所述压头区域的中线和所述样品区域的中线；所述压头区域的中线和所述样品区域的中线均平行于所述x轴、垂直于所述y轴；本实施例中，根据下式确定所述压头区域的中线：
[0090][0091]
其中，y
压头
为所述压头区域的中线，yi为所述压头区域中第i个像素的y轴坐标，n为所述压头区域中像素的个数；
[0092]
根据下式确定所述样品区域的中线：
[0093][0094]
其中，y
样品
为所述样品区域的中线，yj为所述样品区域中第j个像素的y轴坐标，m为所述样品区域中像素的个数
[0095]
b7、根据所述压头区域的中线与所述样品区域的中线之间的距离，控制所述样品区域的中线与所述压头区域的中线重合，实现压头和样品的对中；如图5所示。本实施例中，将压头区域的中线和样品区域的中线的偏差信息作为反馈信号，加入比例、积分、微分调节，输出步进电机控制信号，构成pid闭环控制。以此保证样品台在步进电机的带动下，快速、精确、稳定地到达中线与压头区域中线重合的位置。
[0096]
实施例4：
[0097]
本实施例中，提供了一种基于机器视觉的自动对中、对焦方法的装置，该装置主要包括扫描电子显微镜(sem)、sem控制电脑所对应的软硬件平台、原位纳米压痕仪(包含步进电机、样品台、金刚石压头等)，以及配套的控制系统，协同配合完成图像处理、图像分割、对焦清晰度评价、压头和试样对中、及收发运动的指令。
[0098]
在需要进行对焦时，扫描电子显微镜负责图像的实时采集并发送给计算机，电机用于驱动载物台移动，设置对焦过程软件上限位以及下限位，将载物台从下限位移动至上限位，获得的图像根据对焦评价函数计算图像清晰度，获得移动过程中图像清晰度最高时对应的位置，控制电机移动到所述位置，完成自动对焦。即载物台控制装置负责扫描电子显微镜焦距的调整。当扫描电子显微镜在工作时，计算机根据扫描电子显微镜采集的图像设置金刚石压头所在区域为目标区域，并对采集到的图像进行傅里叶滤波，将滤波后的图像利用对焦评价函数对金刚石压头区域图像的焦点性能进行评估和分析，得到每次对焦相应的对焦评价函数曲线，当达到评价函数极值点时即完成扫描电子显微镜的对焦。
[0099]
在需要进行对中时，利用扫描电子显微镜实时拍摄捕获图像，当目标压头和试样一起出现在视野中时即可开始自动对中。sem操作平台向控制装置发送指令，装置收到后启用自动对中，开始分析图像内容，通过基于opencv的图像处理算法，分别提取其中的压头和试样轮廓，并分割图像，求出分割中心，计算压头中心偏离试样中心的距离，并将其实时发送到控制装置。控制装置根据位置偏差，通过pid分析，输出控制信号给各步进电机，进而控制样品台移动使压头中心对准试样中心，逐渐消除位置偏差。位置偏差为0时，自动对中完
成。
[0100]
实施例5：
[0101]
本发明实施例1的方法也可以借助于图6所示的基于机器视觉的自动对焦系统的架构来实现。该基于机器视觉的自动对焦系统可以包括物距改变模块、载物台图像获取模块、图像清晰度确定模块和目标成像位置确定模块；一些模块还可以有用于实现其功能的子单元，例如在图像清晰度确定模块中还包括模版卷积单元、灰度变化量确定单元和图像清晰度计算单元。当然，图6所示的架构只是示例性的，在实现不同的功能时，根据实际需要，可以省略图6示出的系统中的一个或至少两个组件。
[0102]
实施例6：
[0103]
本发明实施例3的方法也可以借助于图7所示的基于机器视觉的自动对中系统的架构来实现。该基于机器视觉的自动对中系统可以包括自动对焦方法模块、样品移动模块、图像预处理模块、连通域检测模块、坐标系建立模块、区域中线确定模块和中线对比模块；一些模块还可以有用于实现其功能的子单元，例如在区域中线确定模块中还包括压头中线确定单元和样品中线确定单元。当然，图7所示的架构只是示例性的，在实现不同的功能时，根据实际需要，可以省略图7示出的系统中的一个或至少两个组件。
[0104]
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
[0105]
所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如：从视频目标检测设备的一个服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现系统的计算机环境，或与提供目标检测所需要的信息相关的类似功能的系统。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
[0106]
本文中应用了具体个例，但以上描述仅是对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；本领域的技术人员应该理解，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
[0107]
同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。