微小目标的位置对准方法和装置

1.本发明涉及控制技术领域，尤其涉及一种微小目标的位置对准方法和装置。


背景技术：

2.目前，广泛采用基于显微视觉的位置对准技术实现对微小目标的位置的自动化精准操作，即利用显微相机观测微小目标，并根据观测结果调整微小目标的位置对准装置，以实现对微小目标的位置对准操作。
3.在现有技术中，采用高放大倍率的显微相机实现更高精度以及分辨率的目标观测和位置对准。然而，由于显微相机的放大倍率越高，其视野范围就越狭小，从而使得针对微小目标的可操作范围就越小，因此，在微小目标的位置变化范围大于显微相机的视野范围的情况下，采用现有的位置对准方法难以实现对微小目标的位置对准操作。
4.因此，如何更好地实现对微小目标的高精度位置对准，是相关技术领域技术人员亟待解决的技术问题。


技术实现要素：

5.本发明提供一种微小目标的位置对准方法和装置，用以解决现有技术中如何更好地实现对微小目标的位置对准的技术问题。
6.本发明提供一种微小目标的位置对准装置，包括：至少两个显微相机、机械臂以及控制器，其中：所述机械臂包括相互连接的第一位置调节机构和第二位置调节机构；所述第一位置调节机构用于在第一移动范围内移动，以带动设置在所述第二位置调节机构末端的第一微小目标移动；所述第二位置调节机构用于在第二移动范围内移动，以带动所述第一微小目标移动；所述第二移动范围小于所述第一移动范围；每一所述显微相机与所述控制器连接，用于采集所述第一微小目标和预先放置的第二微小目标的显微观测图像，并将所述显微观测图像传输至所述控制器；所述控制器与所述机械臂连接，用于基于获取到的显微观测图像控制所述机械臂移动，以带动所述第一微小目标移动至目标对准位置，所述目标对准位置与所述第二微小目标所在的位置之间的偏移量与预设偏移量之间的差值小于第一偏移阈值。
7.根据本发明提供的一种微小目标的位置对准装置，所述显微相机包括变倍显微镜；所述控制器与所述变倍显微镜连接，还用于调节所述变倍显微镜的放大倍率，以使所述显微相机采集不同放大倍率的显微观测图像；所述控制器还用于基于不同放大倍率的显微观测图像控制所述机械臂移动，以带动所述第一微小目标逐步趋近所述目标对准位置。
8.根据本发明提供的一种微小目标的位置对准装置，多个显微相机的光轴汇聚在一个区域内，所述区域的面积小于预设的面积阈值；相邻两个显微相机之间的夹角大于预设的第一夹角阈值。
9.根据本发明提供的一种微小目标的位置对准装置，还包括：相机位置调整机构，所述显微相机设置在所述相机位置调整机构上，所述相机位置调整机构用于调节所述显微相
机的三维位置。
10.根据本发明提供的一种微小目标的位置对准装置，所述相机位置调整机构包括至少两个物距调节台以及三维滑台，其中：每一所述显微相机设置在其对应的物距调节台上，所述显微相机的光轴与其对应物距调节台的运动轴之间的夹角小于预设的第二夹角阈值；所述三维滑台与所述物距调节台连接，用于带动设置在所述物距调节台上的显微相机移动，以调节所述显微相机的三维位置。
11.本发明还提供一种微小目标的位置对准方法，应用于如上述任一种所述的微小目标的位置对准装置，所述方法包括：控制机械臂在第一移动范围内移动，以带动所述第一微小目标趋近处于多个显微相机的共同视野中的第二微小目标；获取多个显微相机采集的所述第一微小目标和所述第二微小目标的显微观测数据，所述显微观测数据包括每一个显微相机采集的显微观测图像；基于所述显微观测数据控制机械臂在第二移动范围内移动，以带动所述第一微小目标移动至目标对准位置，所述目标对准位置与所述第二微小目标所在的位置之间的偏移量与预设偏移量之间的差值小于第一偏移阈值。
12.根据本发明提供的一种微小目标的位置对准方法，所述基于所述显微观测数据控制机械臂在第二移动范围内移动，以带动所述第一微小目标移动至目标对准位置，包括：设置每一所述显微相机的放大倍数为第二放大倍数，并所述显微观测数据获取所述第一微小目标的第一位置数据以及所述第二微小目标的第二位置数据；基于所述第一位置数据和所述第二位置数据控制所述机械臂移动所述第一微小目标，以使所述第一微小目标与所述第二微小目标的位置偏移向量为第一预设偏移向量；控制每一所述显微相机从第二放大倍数变倍至第三放大倍数，并所述显微观测数据获取所述第一微小目标的第三位置数据以及所述第二微小目标的第四位置数据；基于所述第三位置数据和所述第四位置数据控制机械臂移动所述第一微小目标，以使所述第一微小目标与所述第二微小目标的位置偏移向量为第二预设偏移向量。
13.根据本发明提供的一种微小目标的位置对准方法，所述基于所述第一位置数据和所述第二位置数据控制所述机械臂移动所述第一微小目标，以使所述第一微小目标与所述第二微小目标的位置偏移向量为第一预设偏移向量，包括：基于所述第一位置数据和所述第二位置数据，获取所述第一微小目标与所述第二微小目标的第一位置偏移向量；获取机械臂带动所述第一微小目标在末端坐标系中移动的位移与所述第一微小目标在所述显微相机采集的显微观测图像中的位移之间的第一映射关系；基于所述第一位置偏移向量、所述机械臂的姿态矩阵、所述第一映射关系、所述第二放大倍数和所述第一预设偏移向量，获取所述机械臂的第一移动量，并基于所述第一移动量控制所述机械臂中的第一位置调节机构或第二位置调节机构进行增量式移动；重复执行上述步骤，直到所述第一移动量中所有元素的绝对值小于第一设定阈值。
14.根据本发明提供的一种微小目标的位置对准方法，所述基于所述第三位置数据和所述第四位置数据控制机械臂移动所述第一微小目标，以使所述第一微小目标与所述第二微小目标的位置偏移向量为第二预设偏移向量，包括：基于所述第三位置数据和所述第四位置数据，获取所述第一微小目标与所述第二微小目标的第二位置偏移向量；获取机械臂带动所述第一微小目标在末端坐标系中移动的位移与所述第一微小目标在所述显微相机采集的显微观测图像中的位移之间的第一映射关系；基于所述第二位置偏移向量、所述机
械臂的姿态矩阵和所述第一映射关系、所述第三放大倍数和所述第二预设偏移向量获取所述机械臂的第二移动量，并基于所述第二移动量控制所述机械臂中的第二位置调节机构进行增量式移动；重复执行上述步骤，直到所述第二移动量中所有元素第二移动量中所有元素的绝对值小于第二设定阈值。
15.根据本发明提供的一种微小目标的位置对准方法，在所述控制每一所述显微相机从第二放大倍数变倍至第三放大倍之前，所述方法还包括：设置所述显微相机的放大倍数为第二放大倍数，并获取预先标定的多个显微相机的显微观测图像中的第一期望位置，得到多个第一期望位置；基于所述多个第一期望位置调整所述显微相机与所述第二微小目标之间的相对位置，以使在所述显微相机的放大倍数从第二放大倍数切换至第三放大倍数的情况下，所述第二微小目标位于所述显微观测图像中的第二期望位置；所述第二期望位置与所述显微观测图像的中心位置之间的偏移量小于第二偏移阈值。
16.根据本发明提供的一种微小目标的位置对准方法，所述基于所述多个第一期望位置调整所述显微相机与所述第二微小目标之间的相对位置，包括：设置每一所述显微相机的放大倍数为第二放大倍数，并所述显微观测数据获取所述第二微小目标的第二位置数据；基于多个第一期望位置和所述第二位置数据获取第三位置偏移向量；获取所述显微相机的位移与第二微小目标在所述显微相机采集的显微观测图像中的位移的第二映射关系；基于所述第三位置偏移向量和所述第二映射关系获取所述微小目标的位置对准装置中的相机位置调整机构的第三移动量：基于所述第三移动量控制所述微小目标的位置对准装置中的相机位置调整机构进行增量式运动；重复执行上述步骤，直到所述第三位置偏移向量或者所述第三移动量中所有元素的绝对值小于第三设定阈值。
17.本发明提供的微小目标的位置对准方法和装置，通过控制第一位置调节机构通过大范围位置移动将第一微小目标移动至第二微小目标的附近位置，并控制第二位置调节机构通过小范围的精准移动将第一微小目标移动到第二微小目标所在位置对应的目标对准位置，从而可以在微小目标的位置变化范围大于显微相机的视野范围的情况下，实现对微小目标的位置对准操作，增大了微小目标的可操作范围，提高微小目标的位置对准操作的灵活性，另外，通过至少两个显微相机实现对第一微小目标和预先放置的第二微小目标的三维位置的显微观测，以便于基于显微观测结果更加精准地将第一微小目标移动至第二微小目标所在位置对应的目标对准位置，解决了现有技术中如何更好地实现对微小目标的位置对准的技术问题。
附图说明
18.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本发明实施例提供的微小目标的位置对准装置的结构示意图；图2a是本发明实施例提供的微小目标的位置对准装置中机械臂的结构示意图；图2b是本发明实施例提供的微小目标的位置对准装置中显微相机和相机位置调整机构的结构示意图；
图2c是本发明具体实施例中微小目标的位置对准装置的结构示意图；图3是本发明实施例提供的微小目标的位置对准方法的流程示意图之一；图4是本发明实施例提供的微小目标的位置对准方法的流程示意图之二；图5是本发明实施例提供的微小目标的位置对准方法的流程示意图之三；图6是本发明实施例提供的微小目标的位置对准方法的流程示意图之四；图7是本发明实施例提供的微小目标的位置对准方法的流程示意图之五；图8a-图8d是本发明实施例中第一次位置对准过程中采集的显微观测图像的示意图；图9是本发明实施例提供的微小目标的位置对准方法的流程示意图之六；图10a-图10d是本发明实施例中第二次位置对准过程中采集的显微观测图像的示意图；图11是本发明实施例提供的微小目标的位置对准装置中控制器的结构示意图。
具体实施方式
20.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.如图1所示，本发明提供一种微小目标的位置对准装置100，包括：至少两个显微相机10、机械臂20以及控制器30，其中：机械臂20包括相互连接的第一位置调节机构21和第二位置调节机构22。
22.其中，所述至少两个显微相机10用于实现对第一微小目标和预先放置的第二微小目标的三维位置的显微观测，以便于基于显微观测结果实现将第一微小目标和预先放置的第二微小目标进行位置对准。需要说明的是，一个显微相机10只能实现二维位置的显微观测，而至少两个显微相机10可以实现三维位置的显微观测。
23.第一位置调节机构21用于在第一移动范围内移动，以带动设置在第二位置调节机构22末端的第一微小目标移动。第二位置调节机构22用于在第二移动范围内移动，以带动第一微小目标移动；第二移动范围小于第一移动范围。每一显微相机10与控制器30连接，用于采集第一微小目标和预先放置的第二微小目标的显微观测图像，并将显微观测图像传输至控制器30。控制器30与机械臂20连接，用于基于获取到的显微观测图像控制机械臂20移动，以带动第一微小目标移动至目标对准位置，目标对准位置与第二微小目标所在的位置之间的偏移量与预设偏移量之间的差值小于第一偏移阈值。
24.其中，可以设置预设偏移量为一个比较小的数值，例如，设置预设偏移量为0mm、1mm或者100微米。而目标对准位置与第二微小目标所在的位置之间的偏移量是实际偏移量，因此需要控制实际偏移量与预设偏移量之间的差值小于第一偏移阈值，以使实际偏移量趋近预设偏移量，从而达到预先设定的对准效果。
25.具体地，第一位置调节机构21用于在第一移动范围内移动，以带动设置在第二位置调节机构22末端的第一微小目标趋近预先放置的第二微小目标；第二位置调节机构22用于在第二移动范围内移动，以带动第一微小目标移动至目标对准位置。
26.需要说明的是，由于第一位置调节机构21对应的第一移动范围比较大且不受显微相机的视野范围限制，因此可以在第一微小目标的起始位置或者目标位置的变化范围大于显微相机的视野范围的情况下，控制第一位置调节机构21通过大范围位置移动将第一微小目标移动至第二微小目标的附近位置，以及控制第二位置调节机构22通过小范围的精准移动将第一微小目标移动至目标对准位置。
27.本发明提供的微小目标的位置对准装置，通过控制第一位置调节机构21通过大范围位置移动将第一微小目标移动至第二微小目标的附近位置，并控制第二位置调节机构22通过小范围的精准移动将第一微小目标移动到第二微小目标所在位置对应的目标对准位置，从而可以在微小目标的位置变化范围大于显微相机的视野范围的情况下，实现对微小目标的位置对准操作，增大了微小目标的可操作范围，提高微小目标的位置对准操作的灵活性，另外，通过至少两个显微相机10实现对第一微小目标和预先放置的第二微小目标的三维位置的显微观测，以便于基于显微观测结果更加精准地将第一微小目标移动至第二微小目标所在位置对应的目标对准位置，解决了现有技术中如何更好地实现对微小目标的位置对准的技术问题。
28.在一个实施例中，如图2a所示，机械臂20由第一位置调节机构21和第二位置调节机构22串联构成；其中，第二位置调节机构22的末端设置有连接部件或者夹持部件或吸附部件，用于连接、夹持或者吸附第一微小目标。
29.可选地，第一位置调节机构21至少具有3个平移自由度。第二位置调节机构22具有3个平移自由度。可选地，第一位置调节机构21具有1至3个旋转自由度。
30.可选地，第一位置调节机构21为六轴协作机器人，其运动分辨率约为20微米。第二位置调节机构22为精密三轴滑台，其运动分辨率为1微米。精密三轴滑台的三个运动轴方向分别与六轴协作机器人末端坐标系的x、y、z三个方向平行。
31.在一个实施例中，如图2b所示，显微相机10包括变倍显微镜11；控制器30与变倍显微镜11连接，还用于调节变倍显微镜11的放大倍率，以使显微相机10采集不同放大倍率的显微观测图像；控制器30还用于基于不同放大倍率的显微观测图像控制机械臂20移动，以带动第一微小目标逐步趋近目标对准位置。
32.具体地，显微相机10还包括显微相机本体12，显微相机本体12分别与变倍显微镜11以及控制器30连接，用于采集不同放大倍率的显微观测图像并传输至控制器30。进一步地，变倍显微镜11为电动变倍显微镜，电动变倍显微镜包括变倍显微镜本体和步进电机；其中，步进电机分别与变倍显微镜本体以及控制器30连接；控制器30还用于通过控制步进电机的旋转参数来调节变倍显微镜11的放大倍率。
33.进一步地，变倍显微镜11的放大倍率的可调节范围为1.05倍至6.75倍。进一步地，显微相机10的ccd靶面尺寸为8.4
×
7.1mm，显微相机10的图像分辨率为2048
×
2448像素。
34.上述实施例，通过在微小目标的位置对准控制中考虑了显微相机的放大倍率的变化，在不同的相机倍率下控制微小目标在不同的移动范围内移动，逐步缩小对准范围，最终完成对微小目标的位置对准流程，从而可以进一步提高微小目标的位置对准精度以及位置对准效果，实现更好地对微小目标进行高精度位置对准。
35.在一个实施例中，微小目标的位置对准装置100还包括：设置在变倍显微镜11末端的照明光源，控制器30与照明光源连接，还用于调节照明光源的亮度。
36.在一个实施例中，如图2b所示，多个显微相机10的光轴汇聚在一个区域内，该区域的面积小于预设的面积阈值；相邻两个显微相机10之间的夹角大于预设的第一夹角阈值。
37.其中，如图2b所示，多个显微相机10的光轴汇聚在一个区域内，区域的面积小于预设的面积阈值表示多个显微相机10的光轴近似交于一点。进一步地，相邻两个显微相机10之间的夹角的范围为45
ꢀ‑
90度。可选地，相邻两个显微相机10之间的夹角为60度。
38.上述实施例，通过在安装时调校多个显微相机10的位置和方向，以使安装后的多个显微相机10的光轴近似相交于一点，且相邻两个显微相机10之间的夹角大于预设的第一夹角阈值，从而使得多个显微相机10可以从不同的观测角度同时观察到同一个目标点，且该目标点均处于多个显微相机10的图像视野的中心位置，从而保证了增大变倍显微镜11的放大倍率的同时不会导致目标点移出多个显微相机10的图像视野，提高了显微相机10的显微观测结果的稳定性和可靠性。其中，本发明中的目标点可以是第一微小目标和第二微小目标中的至少之一，也可以是其他待观测目标。
39.在一个实施例中，微小目标的位置对准装置100还包括：相机位置调整机构，显微相机10设置在相机位置调整机构上，相机位置调整机构用于调节显微相机10的三维位置。进一步地，相机位置调整机构用于带动显微相机10在其光轴方向上前后运动，以调节物距并实现聚焦。
40.在一个实施例中，如图2b所示，相机位置调整机构包括至少两个物距调节台41以及三维滑台42，其中：每一显微相机10设置在其对应的物距调节台41上，显微相机10的光轴与其对应物距调节台41的运动轴之间的夹角小于预设的第二夹角阈值；三维滑台42与物距调节台41连接，用于带动设置在物距调节台41上的显微相机10移动，以调节显微相机10的三维位置。
41.进一步地，每一个物距调节台41具有一个电动运动轴，其电动运动轴的轴线方向与其对应的显微相机10的光轴方向近似平行。物距调节台41可通过串口通信进行控制。
42.在一个实施例中，如图2b所示，相机位置调整机构还包括连接部件43，每一个物距调节台41通过连接部件43固定设置在三维滑台42上。三维滑台42与控制器30连接，还用于基于控制器30的控制参数带动设置在物距调节台41上的显微相机10进行三维运动，以调节显微相机10的三维位置。
43.通过至少两个显微相机10实现对第一微小目标和预先放置的第二微小目标的三维位置的显微观测，并基于显微观测结果控制第一位置调节机构21通过大范围位置移动将第一微小目标移动至第二微小目标的附近位置，并控制第二位置调节机构22通过小范围的精准移动将第一微小目标移动到第二微小目标所在位置对应的目标对准位置，从而可以在微小目标的位置变化范围大于显微相机的视野范围的情况下，实现对微小目标的位置对准操作，增大了微小目标的可操作范围，提高微小目标的位置对准操作的灵活性，解决了现有技术中如何更好地实现对微小目标的位置对准的技术问题。
44.下面提供一个具体实施例，以对本发明提供的微小目标的位置100对准装置作进一步说明。如图2c所示，本具体实施例提供的微小目标的位置对准装置100包括：两个显微相机10、机械臂20、控制器30以及相机位置调整机构，其中：机械臂20包括相互连接的第一位置调节机构21和第二位置调节机构22。
45.第一位置调节机构21用于在第一移动范围内移动，以带动设置在第二位置调节机
构22末端的第一微小目标移动。第二位置调节机构22用于在第二移动范围内移动，以带动第一微小目标移动；第二移动范围小于第一移动范围。
46.相机位置调整机构包括两个物距调节台41、三维滑台42和连接部件43，其中：每一个显微相机10设置在其对应的物距调节台41上，显微相机10的光轴与其对应物距调节台41的运动轴之间的夹角小于预设的第二夹角阈值。每一个物距调节台41通过连接部件43固定设置在三维滑台42上。三维滑台42与控制器30连接，还用于基于控制器30的控制参数带动设置在物距调节台41上的显微相机10进行三维运动，以调节显微相机10的三维位置。
47.每一个显微相机10包括相互连接的变倍显微镜11以及显微相机本体12，用于采集第一微小目标和预先放置的第二微小目标的显微观测图像。控制器30与变倍显微镜11和显微相机本体12连接，还用于调节变倍显微镜11的放大倍率，以使显微相机本体12采集不同放大倍率的显微观测图像，并基于显微相机本体12采集的不同放大倍率的显微观测图像控制机械臂20移动，以带动第一微小目标逐步趋近目标对准位置。
48.如图3所示，本发明提供一种微小目标的位置对准方法，应用于上述任意一个实施例提供的微小目标的位置对准装置，其执行主体为微小目标的位置对准装置中的控制器，所述方法包括：步骤s1，控制机械臂在第一移动范围内移动，以带动所述第一微小目标趋近处于多个显微相机的共同视野中的第二微小目标。
49.具体地，控制机械臂中的第一位置调节机构在第一移动范围内移动，以带动设置在所述第二位置调节机构末端的第一微小目标趋近处于多个显微相机的共同视野中的第二微小目标，以使第一微小目标和第二微小目标均处于多个显微相机的共同视野中。在一个实施例中，可以控制第一位置调节机构在第一移动范围内移动，以带动第一微小目标从初始位置移动至第二微小目标的上方位置，以避免后续步骤中移动第一微小目标的操作遮挡显微相机的观测视线。
50.在一个实施例中，获取第二微小目标的三维位置信息，并基于该三维位置信息控制第一位置调节机构在第一移动范围内移动，以带动第一微小目标趋近共同视野中的第二微小目标。或者采用人工拖动的方式拖动第一位置调节机构在第一移动范围内移动，以带动第一微小目标趋近共同视野中的第二微小目标。
51.步骤s2，获取多个显微相机采集的第一微小目标和第二微小目标的显微观测数据，显微观测数据包括每一个显微相机采集的显微观测图像。进一步地，基于多个显微相机采集的显微观测数据可以得到第一微小目标和第二微小目标的三维位置信息。
52.步骤s3，基于显微观测数据控制机械臂在第二移动范围内移动，以带动第一微小目标移动至目标对准位置，目标对准位置与第二微小目标所在的位置之间的偏移量与预设偏移量之间的差值小于第一偏移阈值。
53.进一步地，基于显微观测数据中第一微小目标和第二微小目标的三维位置信息控制机械臂中的第二位置调节机构在第二移动范围内移动，以带动所述第一微小目标移动至目标对准位置。
54.上述步骤s1至步骤s3，通过控制机械臂在第一移动范围内移动，以带动所述第一微小目标趋近处于多个显微相机的共同视野中的第二微小目标，以使第一微小目标和第二微小目标均处于多个显微相机的共同视野中，以便于获取第一微小目标和第二微小目标的
显微观测数据，并基于显微观测数据控制第二位置调节机构通过小范围的精准移动实现将第一微小目标移动到第二微小目标所在位置对应的目标对准位置，从而可以在微小目标的位置变化范围大于显微相机的视野范围的情况下，实现微小目标的精准位置对准操作，解决了现有技术中如何更好地实现对微小目标的位置对准的技术问题。
55.在一个实施例中，在步骤s1之前，所述方法还包括：调整相机位置调整机构的位置，以使预先放置的第二微小目标处于多个显微相机的共同视野中，并调节多个物距调节台的位置，以使多个显微相机均聚焦于第二微小目标上。进一步地，设置多个显微相机的放大倍率均为第二放大倍率，设置照明光源的亮度为第一亮度。放置第二微小目标后，调节相机位置调整机构的位置，以使第二微小目标处于多个显微相机的共同视野中。进一步地，第二微小目标的放置位置的变化范围为30
×
30
×
30cm。
56.在一个实施例中，图4示例了第一微小目标与第二微小目标的精准位置对准操作，该精准位置对准操作包括第一次位置对准过程和第二次位置对准过程。
57.上述步骤s3包括步骤s31至步骤s34，其中：步骤s31和步骤s32为第一次位置对准过程的执行步骤，步骤s33和步骤s34为第一次位置对准过程的执行步骤。
58.步骤s31，设置每一显微相机的放大倍数为第二放大倍数，并显微观测数据获取第一微小目标的第一位置数据以及第二微小目标的第二位置数据。其中，第一位置数据包括第一微小目标在多个显微相机采集的第二放大倍数的显微观测图像中的二维位置坐标。第二位置数据包括第二微小目标在多个显微相机采集的第二放大倍数的显微观测图像中的二维位置坐标。
59.步骤s32，基于第一位置数据和第二位置数据控制机械臂移动第一微小目标，以使第一微小目标与第二微小目标的位置偏移向量为第一预设偏移向量。
60.其中，第一预设偏移向量是预设的数值比较小的三维偏移向量，也是第一微小目标与第二微小目标的位置对准操作的参考偏移向量或者目标偏移向量，可以表示为v1。
61.具体地，根据第一微小目标和第二微小目标在多个显微相机采集的第二放大倍数的显微观测图像中的二维位置坐标，获取三维坐标系下第一微小目标与第二微小目标的位置偏移向量，并基于该位置偏移向量控制机械臂移动第一微小目标，以使第一微小目标与第二微小目标之间的位置偏移向量逐步递减至第一预设偏移向量。
62.步骤s33，控制每一显微相机从第二放大倍数变倍至第三放大倍数，并显微观测数据获取第一微小目标的第三位置数据以及第二微小目标的第四位置数据。其中，第三位置数据包括第一微小目标在多个显微相机采集的第三放大倍数的显微观测图像中的二维位置坐标。第四位置数据包括第二微小目标在多个显微相机采集的第三放大倍数的显微观测图像中的二维位置坐标。
63.步骤s34，基于第三位置数据和第四位置数据控制机械臂移动第一微小目标，以使第一微小目标与第二微小目标的位置偏移向量为第二预设偏移向量。其中，第二预设偏移向量是预设的数值比较小的三维偏移向量，也是第一微小目标与第二微小目标的位置对准操作的参考偏移向量或者目标偏移向量，可以表示为v2。
64.具体地，根据第一微小目标和第二微小目标在多个显微相机采集的第三放大倍数的显微观测图像中的二维位置坐标，获取三维坐标系下第一微小目标与第二微小目标的位置偏移向量，并基于该位置偏移向量控制机械臂移动第一微小目标，以使第一微小目标与
第二微小目标之间的位置偏移向量逐步递减至第二预设偏移向量。
65.上述步骤s31至步骤s34，通过基于第一微小目标和第二微小目标在第二放大倍数的显微观测图像中的位置数据控制机械臂移动第一微小目标，以实现第一微小目标与第二微小目标的第一次位置对准操作，然后基于第一次位置对准后的第一微小目标和第二微小目标在第三放大倍数的显微观测图像中的位置数据控制机械臂移动第一微小目标，以实现第一微小目标与第二微小目标的第二次位置对准操作，即通过逐步增大显微观测图像的放大倍数的方式实现递进式的位置对准操作，以避免直接采用高放大倍率的显微相机执行位置对准操作导致微小目标在显微观测图像中丢失的问题，从而可以提高微小目标的位置对准操作的可靠性。
66.在一个实施例中，在步骤s33之前，所述方法还包括：控制多个显微相机的放大倍率从第二放大倍率转换至第三放大倍率；控制照明光源的亮度从第一亮度转换至第二亮度；获取第三放大倍率对应的第一最佳物距与第二放大倍率对应的第二最佳物距的最佳物距差值；基于所述最佳物距差值调整所述物距调节台的位置，以使多个显微相机均在第三放大倍率下聚焦于第二微小目标，以避免控制显微相机的放大倍率从第二放大倍率转换至第三放大倍率导致第二微小目标在显微图像中丢失的问题，从而可以提高微小目标的位置对准操作的可靠性。
67.在一个实施例中，如图5所示，该第一次位置对准过程的执行步骤还包括步骤s51至步骤s52，该步骤s51至步骤s52在上述步骤s3前执行，其中：步骤s51，设置每一显微相机的放大倍数为第二放大倍数，并获取预先标定的多个显微相机的显微观测图像中的第一期望位置，得到多个第一期望位置。 其中，多个第一期望位置可以表示为{i
11
,i
12
,
…
,i
1n
}，i
1n
表示显微相机n的显微观测图像中的第一期望位置。
68.在一个实施例中，在多个显微相机的放大倍率为第三放大倍率的情况下，驱动相机位置调整机构调整多个显微相机与第二微小目标之间的相对位置，以使第二微小目标位于多个显微相机采集的显微观测图像中的中心位置。控制多个显微相机的放大倍率从第三放大倍率切换至第二放大倍率，并确定第二微小目标在多个显微相机采集的第二放大倍率的显微观测图像中的当前位置为第一期望位置。
69.步骤s52，基于多个第一期望位置调整显微相机与第二微小目标之间的相对位置，以使在显微相机的放大倍数从第二放大倍数切换至第三放大倍数的情况下，第二微小目标位于显微观测图像中的第二期望位置；第二期望位置与显微观测图像的中心位置之间的偏移量小于第二偏移阈值。
70.具体地，设置第二放大倍率为1.05倍以及第三放大倍率为5.25倍。在显微相机处于第三放大倍率的情况下，通过相机位置调整机构调节显微相机与第二微小目标的相对位置，使第二微小目标靠近显微相机采集的显微观测图像的中心位置，并记录第二微小目标在显微观测图像的当前位置为第二期望位置。然后设置显微相机的放大倍率为第二放大倍率，并记录第二微小目标在显微观测图像的当前位置为第一期望位置。
71.步骤s51至步骤s52，通过基于预先标定的第一期望位置调整显微相机与第二微小目标之间的相对位置，以使显微相机的放大倍数从第二放大倍数切换至第三放大倍数后第二微小目标位于显微观测图像的中心位置附近，从而可以避免第二微小目标在第三放大倍数的显微图像中丢失的问题，进而可以提高微小目标的位置对准操作的可靠性。
72.在一个实施例中，如图6所示，上述步骤s52包括步骤s521至步骤s526，其中：步骤s521，设置每一显微相机的放大倍数为第二放大倍数，并显微观测数据获取第二微小目标的第二位置数据。其中，第二位置数据可以表示为第二位置集合{o1,o2,
…
,on}，其中， o1表示第二微小目标显微相机1采集的第二放大倍数的显微观测图像中的二维位置坐标，以此类推，on表示第二微小目标显微相机n采集的第二放大倍数的显微观测图像中的二维位置坐标。
73.步骤s522，基于多个第一期望位置和第二位置数据获取第三位置偏移向量。其中，第三位置偏移向量可以表示为z
3 =[i
11-o1, i
12-o2,
…
, i
1n-on]，第一位置偏移向量z3的维度为2n
×
1。
[0074]
步骤s523，获取显微相机的位移与第二微小目标在显微相机采集的显微观测图像中的位移的第二映射关系。其中，第二映射关系可以表示为j2。
[0075]
步骤s524，基于第三位置偏移向量和第二映射关系获取微小目标的位置对准装置中的相机位置调整机构的第三移动量。进一步地，第三移动量的计算公式如下公式（1）所示。
[0076]
△
pc=m1·
kc·
(j
2t
j2)-1 j
2t z3（1）其中，
△
pc表示第三移动量，m1表示第一放大倍率与第二放大倍率的比值，kc表示第三控制增益，j2表示第二映射关系，z3表示第三位置偏移向量。可选地，第一控制增益kc设置为0.5，第一放大倍率与第二放大倍率的比值m1为1。
[0077]
步骤s525，基于第三移动量控制微小目标的位置对准装置中的相机位置调整机构进行增量式运动。
[0078]
步骤s526，重复执行上述步骤，直到第三位置偏移向量或者第三移动量中所有元素的绝对值小于第三设定阈值。
[0079]
进一步地，本实施例中显微相机的显微观测图像中的第一期望位置与第二微小目标在显微观测图像中的位置之间的位置对准误差小于或者等于
±
40微米，即第二设定阈值小于或者等于40微米。可选地，第二设定阈值为5像素。
[0080]
上述步骤s521至步骤s526，通过获取微小目标的位置对准装置中的相机位置调整机构的第三移动量，并基于第三移动量控制微小目标的位置对准装置中的相机位置调整机构进行增量式运动，以逐步降低第二微小目标的当前位置与预先标定的第一期望位置之间的位置偏移，实现在第二放大倍率下将第二微小目标移动至显微观测图像中的第一期望位置，以确保控制显微相机的放大倍数从第二放大倍数切换至第三放大倍数后第二微小目标位于显微观测图像的中心位置附近。
[0081]
在一个实施例中，如图7所示，上述步骤s32包括步骤s321至步骤s324，其中：步骤s321，基于第一位置数据和第二位置数据，获取第一微小目标与第二微小目标的第一位置偏移向量。
[0082]
其中，第一位置数据可以表示为第一位置集合{q1,q2,
…
,qn}，其中，q1表示第一微小目标显微相机1采集的第二放大倍数的显微观测图像中的二维位置坐标，以此类推，qn表示第一微小目标显微相机n采集的第二放大倍数的显微观测图像中的二维位置坐标。
[0083]
第二位置数据可以表示为第二位置集合{o1,o2,
…
,on}，其中， o1表示第二微小目标显微相机1采集的第二放大倍数的显微观测图像中的二维位置坐标，以此类推，on表示第
二微小目标显微相机n采集的第二放大倍数的显微观测图像中的二维位置坐标。第一位置偏移向量可以表示为z
1 =[o
1-q1, o
2-q2,
…
, o
n-qn]，第一位置偏移向量z1的维度为2n
×
1。
[0084]
步骤s322，获取机械臂带动第一微小目标在末端坐标系中移动的位移与第一微小目标在显微相机采集的显微观测图像中的位移之间的第一映射关系。其中，第一映射关系可以表示为j1。
[0085]
步骤s323，基于第一位置偏移向量、机械臂的姿态矩阵、第一映射关系、第二放大倍数和第一预设偏移向量，获取机械臂的第一移动量，并基于第一移动量控制机械臂中的第一位置调节机构或第二位置调节机构进行增量式移动。其中，机械臂的姿态矩阵为机械臂中第二位置调节机构末端的姿态矩阵。
[0086]
进一步地，基于第一位置偏移向量、机械臂的姿态矩阵、第一映射关系、第二放大倍数和第一预设偏移向量，获取机械臂的第一移动量，其中，第一移动量的计算公式如下公式（2）所示：
△
pm=m1·km
·
(rr
0-1
)[(j
1t
j1)-1j1tz1-v1]（2）其中，
△
pm表示第一移动量，m1表示第一放大倍率与第二放大倍率的比值，km表示第一控制增益，r表示机械臂的当前姿态矩阵，r0表示机械臂的初始姿态矩阵，j1表示第一映射关系，z1表示第一位置偏移向量，v1表示第一预设偏移向量。可选地，第一控制增益km设置为0.5，第一放大倍率与第二放大倍率的比值m1为1。
[0087]
步骤s324，重复执行上述步骤，直到第一移动量中所有元素的绝对值小于第一设定阈值。进一步地，本实施例中第一微小目标和第二微小目标的位置对准误差小于或者等于
±
20微米，即第一设定阈值小于或者等于20微米。可选地，第一设定阈值为5像素。
[0088]
可选地，采用直径10-20微米、长度2毫米的微针作为第一微小目标，并将第一微小目标固定在机械臂的细杆末端，第一微小目标的位置用微针的针尖表示。可以采用内直约为30微米的细丝末端圆环作为第二微小目标，第二微小目标的位置用末端圆环的中心表示。
[0089]
图8a-图8d是本发明实施例中第一次位置对准过程采集的显微观测图像的示意图，其中，图8a表示第一次位置对准前显微相机1采集的第二放大倍数的显微观测图像，图8b表示第一次位置对准前显微相机2采集的第二放大倍数的显微观测图像，如图8a和图8b所示，第一次位置对准前，第一微小目标q1与第二微小目标o2的相对距离比较大，且第二微小目标o2不在显微观测图像中的第一期望位置i1。
[0090]
图8c表示第一次位置对准后显微相机1采集的第二放大倍数的显微观测图像，图8d表示第一次位置对准后显微相机2采集的第二放大倍数的显微观测图像，如图8c和图8d所示，第一次位置对准后，第一微小目标q1与第二微小目标o2的相对距离减小了，且第二微小目标o2位于显微观测图像中的第一期望位置i1。由此可见，第一次位置对准的目的是将第二微小目标i1移动至显微观测图像中的第一期望位置i1，以及减小第一微小目标q1与第二微小目标i1在第二放大倍数的显微观测图像中的相对距离。
[0091]
上述实施例，通过在微小目标的位置对准过程中考虑了机械臂的末端姿态的变化，从而能够实现在机械臂的不同末端姿态下实现对微小目标的精准位置对准，以避免忽略机械臂的末端姿态变化导致微小目标的位置对准精度低的缺陷，从而能够进一步提高微小目标的位置对准精度以及位置对准效果。
[0092]
在一个实施例中，如图9所示，上述步骤s34包括步骤s341至步骤s344，其中：步骤s341，基于第三位置数据和第四位置数据，获取第一微小目标与第二微小目标的第二位置偏移向量。
[0093]
其中，第三位置数据可以表示为第三位置集合{p1,p2,
…
,pn}，其中，p1表示第一微小目标显微相机1采集的第三放大倍数的显微观测图像中的二维位置坐标，以此类推，pn表示第一微小目标显微相机n采集的第三放大倍数的显微观测图像中的二维位置坐标。
[0094]
第四位置数据可以表示为第四位置集合{u1,u2,
…
,un}，其中， u1表示第二微小目标显微相机1采集的第三放大倍数的显微观测图像中的二维位置坐标，以此类推，un表示第二微小目标显微相机n采集的第三放大倍数的显微观测图像中的二维位置坐标。第二位置偏移向量可以表示为z
2 =[u
1-p1, u
2-p2,
…
, u
n-pn]，第一位置偏移向量z2的维度为2n
×
1。
[0095]
步骤s342，获取机械臂带动第一微小目标在末端坐标系中移动的位移与第一微小目标在显微相机采集的显微观测图像中的位移之间的第一映射关系。
[0096]
步骤s343，基于第二位置偏移向量、机械臂的姿态矩阵和第一映射关系、第三放大倍数和第二预设偏移向量获取机械臂的第二移动量，并基于第二移动量控制机械臂中的第二位置调节机构进行增量式移动。
[0097]
进一步地，基于第二位置偏移向量、机械臂的初始姿态矩阵、当前姿态矩阵和第一映射关系、第三放大倍数和第二预设偏移向量获取机械臂的第二移动量，其中，第二移动量的计算公式如下公式（3）所示：
△
p
p
=m2·kp
·
(rr
0-1
)[(j
1t
j1)-1j1tz2-v2]（3）其中，
△
p
p
表示第二移动量，m2表示第一放大倍率与第三放大倍率的比值，k
p
表示第二控制增益，r表示机械臂的当前姿态矩阵，r0表示机械臂的初始姿态矩阵，j1表示第一映射关系，z2表示第一位置偏移向量，v2表示第二预设偏移向量。可选地，第二控制增益k
p
设置为0.5。
[0098]
步骤s344，重复执行上述步骤，直到第二移动量中所有元素的绝对值小于第二设定阈值。进一步地，本实施例中第一微小目标和第二微小目标的位置对准误差小于或者等于
±
5微米，即第二设定阈值小于或者等于5微米。可选地，第二设定阈值为2像素。
[0099]
图10a-图10d是本发明实施例中第二次位置对准过程采集的显微观测图像的示意图，其中，图10a表示第二次位置对准前显微相机1采集的第三放大倍数的显微观测图像，图10b表示第二次位置对准前显微相机2采集的第三放大倍数的显微观测图像，如图10a和图10b所示，第二次位置对准前，第一微小目标q1与第二微小目标o2在第二放大倍数的显微观测图像中具有较大的相对距离，且第二微小目标o2位于第三放大倍数的显微观测图像中的第二期望位置，其中，第二期望位置靠近显微观测图像的中心位置。
[0100]
图10c表示第二次位置对准后显微相机1采集的第三放大倍数的显微观测图像，图10d表示第二次位置对准后显微相机2采集的第三放大倍数的显微观测图像，如图10c和图10d所示，第二次位置对准后，第一微小目标q1与第二微小目标o2的相对距离进一步减小了。由此可见，第一次位置对准的目的是减小第一微小目标q1与第二微小目标i1在第三放大倍数的显微观测图像中的相对距离。
[0101]
在一个实施例中，上述步骤s323中获取第一映射关系的步骤具体包括步骤s3231至步骤s323，其中：步骤s3231，设置多个所述显微相机的放大倍率均为第一放大倍率，控制mc2
,
…
,m
ck
}、显微相机的三维平移向量{x
c1
, x
c2
,
…
,x
ck
}以及线性最小二乘法估计第二映射关系。
[0110]
图11示例了一种微小目标的位置对准装置中的控制器的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行上述任意一个实施例提供的微小目标的位置对准方法。
[0111]
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
[0112]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。