自动化显微注射方法、装置、系统、设备及存储介质与流程

1.本技术涉及自动化技术领域，具体而言，涉及一种自动化显微注射方法、装置、系统、设备及存储介质。


背景技术：

2.斑马鱼(danio rerio)与人类基因高度相似，且斑马鱼饲养成本低廉，繁殖迅速，其幼虫具有许多典型的脊椎动物特征，因此以斑马鱼为载体进行生物和医学实验对人类科学研究具有重要意义。研究人员在斑马鱼实验中，常使用显微注射法直接将物质输送到目标部位和器官，甚至可以用来注射细胞、靶向药物等物质。
3.现有技术中，通常使用一种“微吸管夹”来控制幼虫的位置，从而对幼虫进行药物注射。
4.但是，上述方法速度较慢，控制单条斑马鱼幼鱼旋转、注射的平均处理时间为几十秒，难以适应高通量的注射需求。


技术实现要素：

5.本技术的目的在于，针对上述现有技术中的不足，提供一种自动化显微注射方法、装置、系统、设备及存储介质，以便于解决现有技术中存在的斑马鱼幼虫药物注射效率较低，难以满足高通量注射需求的问题。
6.为实现上述目的，本技术实施例采用的技术方案如下：
7.第一方面，本技术实施例提供了一种自动化显微注射方法，应用于自动化显微注射系统中的上位机，所述自动化显微注射系统包括：图像采集设备、培养皿、注射器、及所述上位机；所述方法包括：
8.获取待注射的图像中第一目标注射对象的图像，所述待注射的图像为所述图像采集设备采集的所述培养皿中的多个注射对象的图像，所述第一目标注射对象为所述待注射的图像中的起始注射对象；
9.对所述第一目标注射对象的图像进行图像处理，得到处理后的第一目标注射对象的图像；
10.根据所述处理后的第一目标注射对象的图像，确定所述第一目标注射对象中的第一目标注射靶位；
11.控制所述注射器对所述第一目标注射靶位进行注射。
12.可选地，控制所述注射器对所述第一目标注射靶位进行注射之后，所述方法还包括：
13.根据预先规划的注射轨迹，获取待注射的图像中第二目标注射对象的图像，所述第二目标注射对象为所述第一目标注射对象的下一注射对象；
14.对所述第二目标注射对象的图像进行图像处理，得到处理后的第二目标注射对象的图像；
15.根据所述处理后的第二目标注射对象的图像，确定所述第二目标注射对象中的第二目标注射靶位；
16.根据所述第二目标注射靶位，控制所述注射器对所述第二目标注射靶位进行注射，直到对所述培养皿中的各注射对象均注射完毕则停止注射。
17.可选地，所述获取待注射的图像中第一目标注射对象的图像，包括：
18.识别所述待注射的图像中第一目标注射对象的位置；
19.根据所述待注射的图像中第一目标注射对象的位置，控制所述图像采集设备采集所述第一目标注射对象的图像。
20.可选地，所述系统还包括：定位平台、以及位移操作器，所述培养皿置于所述定位平台上；
21.所述根据所述待注射的图像中第一目标注射对象的位置，控制所述图像采集设备采集所述第一目标注射对象的图像，包括：
22.根据所述第一目标注射对象的位置，控制所述定位平台进行移动，以将所述培养皿中的第一目标注射对象移动至所述图像采集设备的视野下；
23.获取所述图像采集设备根据所述第一目标注射对象的位置，采集并发送的第一目标注射对象的图像。
24.可选地，所述根据所述处理后的第一目标注射对象的图像，确定所述第一目标注射对象中的第一目标注射靶位之前，所述方法还包括：
25.若判断所述培养皿存在倾斜，则对所述处理后的第一目标注射对象的图像进行倾斜校正，得到校正后的第一目标注射对象的图像。
26.可选地，所述对所述处理后的第一目标注射对象的图像进行倾斜校正，得到校正后的第一目标注射对象的图像，包括：
27.确定所述处理后的第一目标注射对象的图像中预设边的位置；
28.根据所述预设边的位置，确定倾斜角；
29.根据所述倾斜角、以及变换矩阵，对所述处理后的第一目标注射对象的图像中各顶点进行坐标转换，得到校正后的第一目标注射对象的图像。
30.可选地，所述根据所述处理后的第一目标注射对象的图像，确定所述第一目标注射对象中的第一目标注射靶位，包括：
31.根据所述处理后的第一目标注射对象的图像，采用与所述第一目标注射靶位对应的识别算法，确定所述第一目标注射对象中的第一目标注射靶位。
32.可选地，所述控制所述注射器对所述第一目标注射靶位进行注射，包括：
33.根据所述第一目标注射靶位，控制所述定位平台将所述第一目标注射对象的第一目标靶位移动至所述注射器对应的注射位；
34.向所述注射泵发送驱动信号，以通过所述注射泵驱动所述注射器向所述第一目标注射靶位进行注射。
35.可选地，所述向所述注射泵发送驱动信号，以通过所述注射泵驱动所述注射器向所述第一目标注射靶位进行注射之后，所述方法还包括：
36.向所述位移操作器发送注射器退出信号，以控制所述注射器由所述第一目标注射靶位退出。
37.可选地，所述对所述第一目标注射对象的图像进行图像处理，得到处理后的第一目标注射对象的图像，包括：
38.对所述第一目标注射对象的图像进行图像二值化处理以及滤波处理，得到处理后的第一目标注射对象的图像。
39.第二方面，本技术实施例还提供了一种自动化显微注射装置，应用于自动化显微注射系统中的上位机，所述自动化显微注射系统包括：图像采集设备、培养皿、注射器、及所述上位机；所述装置包括：获取模块、处理模块、确定模块、控制模块；
40.所述获取模块，用于获取待注射的图像中第一目标注射对象的图像，所述待注射的图像为所述图像采集设备采集的所述培养皿中的多个注射对象的图像，所述第一目标注射对象为所述待注射的图像中的起始注射对象；
41.所述处理模块，用于对所述第一目标注射对象的图像进行图像处理，得到处理后的第一目标注射对象的图像；
42.所述确定模块，用于根据所述处理后的第一目标注射对象的图像，确定所述第一目标注射对象中的第一目标注射靶位；
43.所述控制模块，用于控制所述注射器对所述第一目标注射靶位进行注射。
44.可选地，所述获取模块，还用于根据预先规划的注射轨迹，获取待注射的图像中第二目标注射对象的图像，所述第二目标注射对象为所述第一目标注射对象的下一注射对象；
45.所述处理模块，还用于对所述第二目标注射对象的图像进行图像处理，得到处理后的第二目标注射对象的图像；
46.所述确定模块，还用于根据所述处理后的第二目标注射对象的图像，确定所述第二目标注射对象中的第二目标注射靶位；
47.所述控制模块，还用于根据所述第二目标注射靶位，控制所述注射器对所述第二目标注射靶位进行注射，直到对所述培养皿中的各注射对象均注射完毕则停止注射。
48.可选地，所述获取模块，具体用于
49.识别所述待注射的图像中第一目标注射对象的位置；
50.根据所述待注射的图像中第一目标注射对象的位置，控制所述图像采集设备采集所述第一目标注射对象的图像。
51.可选地，所述系统还包括：定位平台、以及位移操作器，所述培养皿置于所述定位平台上；
52.所述获取模块，具体用于
53.根据所述第一目标注射对象的位置，控制所述定位平台进行移动，以将所述培养皿中的第一目标注射对象移动至所述图像采集设备的视野下；
54.获取所述图像采集设备根据所述第一目标注射对象的位置，采集并发送的第一目标注射对象的图像。
55.可选地，所述装置还包括：校正模块；
56.所述校正模块，用于若判断所述培养皿存在倾斜，则对所述处理后的第一目标注射对象的图像进行倾斜校正，得到校正后的第一目标注射对象的图像。
57.可选地，所述校正模块，具体用于
58.确定所述处理后的第一目标注射对象的图像中预设边的位置；
59.根据所述预设边的位置，确定倾斜角；
60.根据所述倾斜角、以及变换矩阵，对所述处理后的第一目标注射对象的图像中各顶点进行坐标转换，得到校正后的第一目标注射对象的图像。
61.可选地，所述确定模块，具体用于
62.根据所述处理后的第一目标注射对象的图像，采用与所述第一目标注射靶位对应的识别算法，确定所述第一目标注射对象中的第一目标注射靶位。
63.可选地，所述系统还包括：注射泵；
64.所述控制模块，具体用于
65.根据所述第一目标注射靶位，控制所述定位平台将所述第一目标注射对象的第一目标靶位移动至所述注射器对应的注射位；
66.向所述注射泵发送驱动信号，以通过所述注射泵驱动所述注射器向所述第一目标注射靶位进行注射。
67.可选地，所述控制模块，还用于
68.向所述位移操作器发送注射器退出信号，以控制所述注射器由所述第一目标注射靶位退出。
69.可选地，所述处理模块，具体用于
70.对所述第一目标注射对象的图像进行图像二值化处理以及滤波处理，得到处理后的第一目标注射对象的图像。
71.第三方面，本技术实施例还提供了一种自动化显微注射系统，包括：图像采集设备、定位平台、培养皿、注射器、注射泵、位移操作器、及上位机；
72.所述上位机分别与所述图像采集设备、所述定位平台、所述注射泵、以及所述位移操作器通信连接，所述上位机用于执行上述第一方面中提供的方法的步骤。
73.第四方面，本技术实施例提供了一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行时执行如第一方面中提供的方法的步骤。
74.第五方面，本技术实施例提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面提供的方法的步骤。
75.本技术的有益效果是：
76.本技术提供一种自动化显微注射方法、装置、系统、设备及存储介质，该方法可包括：获取待注射的图像中第一目标注射对象的图像，待注射的图像为图像采集设备采集的培养皿中的多个注射对象的图像，第一目标注射对象为待注射的图像中的起始注射对象；对第一目标注射对象的图像进行图像处理，得到处理后的第一目标注射对象的图像；根据处理后的第一目标注射对象的图像，确定第一目标注射对象中的第一目标注射靶位；控制注射器对第一目标注射靶位进行注射。本方法中，基于获取的第一目标注射对象的图像，进行图像处理后，可从第一目标注射对象的中识别到第一目标注射靶位，其中，第一目标注射靶位的识别可通过图像识别算法实现，可提高识别效率和准确性，而基于识别得到的第一目标注射靶位，可控制注射器进行注射，从而完成自动化的注射操作，提高了注射效率和注射精确度。
附图说明
77.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
78.图1为本技术实施例提供的一种自动化显微注射系统的结构示意图；
79.图2为本技术实施例提供的自动化显微注射方法的流程示意图一；
80.图3为本技术实施例提供的一种微阵列培养皿示意图；
81.图4为本技术实施例提供的自动化显微注射方法的流程示意图二；
82.图5为本技术实施例提供的一种注射轨迹示意图；
83.图6为本技术实施例提供的自动化显微注射方法的流程示意图三；
84.图7为本技术实施例提供的自动化显微注射方法的流程示意图四；
85.图8为本技术实施例提供的自动化显微注射方法的流程示意图五；
86.图9为本技术实施例提供的一种图像校正示意图；
87.图10为本技术实施例提供的自动化显微注射方法的流程示意图六；
88.图11为本技术实施例提供的一种自动显微注射过程示意图；
89.图12为本技术实施例提供的一种自动化显微注射装置的示意图；
90.图13为本技术实施例提供的一种电子设备的结构示意图。
91.图标：1
‑
上位机；2
‑
培养皿；3
‑
高清相机；4
‑
生物显微镜；5
‑
注射器；6
‑
位移操作器；7
‑
注射泵；8
‑
定位平台。
具体实施方式
92.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解，本技术中附图仅起到说明和描述的目的，并不用于限定本技术的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本技术中使用的流程图示出了根据本技术的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本技术内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
93.另外，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
94.为了使得本领域技术人员能够使用本技术内容，结合特定应用场景“斑马鱼幼虫药物注射”，给出以下实施方式。对于本领域技术人员来说，在不脱离本技术的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本技术主要围绕斑马鱼幼虫药物注射进行描述，但是应该理解，这仅是一个示例性实施例。本技术可以应用于任何其他场景。例如，本技术可以应用于其他任何生物的药物注射等。
95.需要说明的是，本技术实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
96.图1为本技术实施例提供的一种自动化显微注射系统的结构示意图；可选地，本技术所提供的方法可应用于该自动化显微注射系统中，如图1所示，该自动化显微注射系统可包括：上位机1、培养皿2、图像采集设备(其中，图像采集设备可由高清相机3和生物显微镜4构成)、注射器5、位移操作器6(其中，可以采用xyz多自由度微操作器)、注射泵7、定位平台8(其中，可以采用xy微位移平台)其中，上位机可分别与图像采集设备、位移操作器、注射泵以及定位平台通信连接。
97.可选地，培养皿中可放置有多个等待显微注射的目标对象，培养皿置于定位平台上，上位机可通过控制定位平台的移动，以对置于定位平台上的培养皿进行移动，以将培养皿中当前待注射的目标对象移动至图像采集设备的视野下，图像采集设备可拍摄当前待注射的目标对象的图像，并发送至上位机，上位机可根据待注射的目标对象的图像进行图像处理识别等，并最终从待注射的目标对象中确定待注射的靶位，上位机可通过控制位移操作器对注射器进行移动，以将注射器移动至待注射的靶位，上位机通过控制注射泵以驱动注射器向待注射的靶位进行药物注射，从而完成自动化的药物注射。
98.在对当前待注射的目标对象完成注射后，上位机可继续控制定位平台移动，以将培养皿中下一个待注射的目标对象移动至图像采集设备的视野下，从而循环执行上述的步骤，直到完成对培养皿中所有目标对象的注射后结束。
99.本方法通过提供的自动化显微注射系统，结合采用自动化显微注射方法，可实现高通量高效率的显微注射。
100.接下来，将通过多个具体实施例对本技术的自动化显微注射方法的实现进行详细说明。
101.图2为本技术实施例提供的自动化显微注射方法的流程示意图一；图3为本技术实施例提供的一种微阵列培养皿示意图。该方法的执行主体可以是上述系统中的上位机，如图2所示，该方法可包括：
102.s201、获取待注射的图像中第一目标注射对象的图像，待注射的图像为图像采集设备采集的培养皿中的多个注射对象的图像，第一目标注射对象为待注射的图像中的起始注射对象。
103.首先，在此之前，先对本方法所涉及的培养皿的设计和制作进行简单介绍。本方法以应用在斑马鱼幼虫的药物注射场景中为例展开如下实施例。
104.斑马鱼胚胎卵细胞和幼虫尺寸都是微米级的。针对斑马鱼幼虫的轮廓，传统的3d打印技术不能满足高精度的要求，因此，采用光刻技术加工实现了斑马鱼微阵列。光刻是在直径为10厘米的标准硅片上进行的。首先，采用autocad等软件设计斑马鱼阵列，如图3中(a)所示。为了满足培养皿的尺寸要求，将受精后两天的斑马鱼幼虫轮廓形状按照标准间距放置在6cm
×
6cm正方形的区域内。根据现有的幼虫尺寸数据设计各幼虫模型，如图3中(b)所示。微阵列培养皿的排列设计是通过使用quintel q
‑
2001ct掩模对准器对准su
‑
8100硅片进行标准光刻得到的。每个凹槽的深度为300μm(如图3中(c)所示)。然后，将聚二甲基硅氧烷(pdms)材料覆盖在硅片上制成倒置模具。具体的，将pdms和固化剂按10:1的比例混合均匀，并将该胶状液体倒在光刻硅片上，注意清除气泡，在65℃温度下放置4小时，然后小心
地将硅片剥离。此时，pdms模具上的幼虫形状凸出。在90
‑
95℃温度下，将琼脂糖放在培养皿内融化，然后将pdms倒模浸入培养皿，将温度下调至到4
‑
38℃，静置30分钟后，取下倒模，即可得到含有斑马鱼幼虫形状凹槽的微阵列培养皿。
105.可选地，基于上述设计制作的培养皿，可将多个注射对象分别放置于培养皿中，等待注射。
106.可选地，培养皿中放置有多个注射对象，待注射的图像可以指由培养皿中多个注射对象所构成的图像，也即显示有培养皿中多个注射对象的完整图像，第一目标注射对象可以指待注射的图像中的起始注射对象，第一目标注射对象可以是预先设置的，以图3中(a)所示的培养皿为例，第一目标注射对象可以指位于左上角的注射对象，也即从左边起第一行第一列的注射对象，当前，第一目标注射对象并不限于左上角的注射对象，实际应用中，可以根据实际情况进行预设。
107.可选地，基于所设定的第一目标注射对象，可获取第一目标注射对象的图像。
108.s202、对第一目标注射对象的图像进行图像处理，得到处理后的第一目标注射对象的图像。
109.通常，所获取的第一目标注射对象的图像均为彩色图像，以rgb(u23)的形式存储，首先，可对第一目标注射对象的图像进行图像处理，以将第一目标注射对象与背景进行区分，提取第一目标注射对象的轮廓，以便于进行后续的操作。
110.s203、根据处理后的第一目标注射对象的图像，确定第一目标注射对象中的第一目标注射靶位。
111.通常，在对注射对象进行药物注射时，会先确定目标注射位置，而并非随意的进行注射。可选地，可基于上述得到的处理后的第一目标注射对象的图像，进行图像识别，从而从第一目标注射对象中确定出第一目标注射靶位，其中，第一目标注射靶位可以为第一目标注射对象的任意部位，具体根据需求确定。
112.s204、控制注射器对第一目标注射靶位进行注射。
113.可选地，基于所确定的第一目标注射靶位，可以控制注射器向第一目标注射靶位进行药物注射，以完成对第一目标注射对象的注射。
114.可选地，上述方法的整体实现均是基于上位机的信号控制自动化完成，一方面注射较为精准，另一方面注射效率也较高。
115.综上，本实施例提供的自动化显微注射方法，包括：获取待注射的图像中第一目标注射对象的图像，待注射的图像为图像采集设备采集的培养皿中的多个注射对象的图像，第一目标注射对象为待注射的图像中的起始注射对象；对第一目标注射对象的图像进行图像处理，得到处理后的第一目标注射对象的图像；根据处理后的第一目标注射对象的图像，确定第一目标注射对象中的第一目标注射靶位；控制注射器对第一目标注射靶位进行注射。本方法中，基于获取的第一目标注射对象的图像，进行图像处理后，可从第一目标注射对象的中识别到第一目标注射靶位，其中，第一目标注射靶位的识别可通过图像识别算法实现，可提高识别效率和准确性，而基于识别得到的第一目标注射靶位，可控制注射器进行注射，从而完成自动化的注射操作，提高了注射效率和注射精确度。
116.图4为本技术实施例提供的自动化显微注射方法的流程示意图二；图5为本技术实施例提供的一种注射轨迹示意图。可选地，步骤s203中，控制注射器对第一目标注射靶位进
行注射之后，本技术的方法还可包括：
117.s401、根据预先规划的注射轨迹，获取待注射的图像中第二目标注射对象的图像，第二目标注射对象为第一目标注射对象的下一注射对象。
118.在一些实施例中，上述在对第一目标注射对象完成注射后，可按照预先规划的注射轨迹，控制培养皿进行移动，以获取待注射的图像中第二目标注射对象的图像。
119.可选地，如图5所示，可按照如图5中所示出的注射轨迹，依次获取各注射对象的图像，并依次对各注射对象进行注射。其中，在第一列由上至下依次完成注射后，可转移到右边下一列，由下至上完成下一列的注射，根据箭头所指示的注射轨迹(也即，奇数列是从上至下进行注射，偶数列是从下至上注射)依次获取目标注射对象的图像。
120.值得说明的是，由于斑马鱼幼虫的体型和轮廓存在一定的差异，简单地按照各注射对象之间的标准间距移动培养皿以获取下一个注射对象的位置的成功率较低，难满足注射的需求。本实施例中，可利用labview软件所提供的较多机器视觉功能来设计图像处理程序，可准确地确定出下一个注射对象，从而提高确定的下一个注射对象中目标注射靶位的准确性。
121.s402、对第二目标注射对象的图像进行图像处理，得到处理后的第二目标注射对象的图像。
122.s403、根据处理后的第二目标注射对象的图像，确定第二目标注射对象中的第二目标注射靶位。
123.s404、根据第二目标注射靶位，控制注射器对第二目标注射靶位进行注射，直到对培养皿中的各注射对象均注射完毕则停止注射。
124.可选地，基于获取的第二目标注射对象的图像，可采取与第一目标注射对象的图像相同的处理，并最终确定第二目标注射对象中的第二目标注射靶位，以对第二目标注射靶位进行注射。直到对培养皿中所有的注射对象均完成注射，则注射结束。
125.理想条件下，一个完整的操作周期内，可实现m*n个注射对象的自动显微注射，其中，培养皿中用于放置注射对象的凹槽的数量可根据不同的需求进行设计，而制作好的培养皿中放置的待注射对象的数量也可根据需求进行放置。
126.以图5所示的，本实施例中m设为8，n设为10，也即实现8行10列的注射对象的注射，因此，一个周期内可注射80个注射对象。
127.图6为本技术实施例提供的自动化显微注射方法的流程示意图三；可选地，步骤s201中，获取待注射的图像中第一目标注射对象的图像，可包括：
128.s601、识别待注射的图像中第一目标注射对象的位置。
129.在一些实施例中，基于所获取的待注射的图像，可对待注射的图像中各注射对象的坐标进行识别，以从中确定第一目标注射对象的位置，此处可通过简单的图像识别方法实现坐标的识别。
130.s602、根据待注射的图像中第一目标注射对象的位置，控制图像采集设备采集第一目标注射对象的图像。
131.可选地，基于所确定的第一目标注射对象的位置，上位机可控制图像采集设备采集第一目标注射对象的图像。
132.图7为本技术实施例提供的自动化显微注射方法的流程示意图四；步骤s602中，根
据待注射的图像中第一目标注射对象的位置，控制图像采集设备采集第一目标注射对象的图像，可以包括：
133.s701、根据第一目标注射对象的位置，控制定位平台进行移动，以将培养皿中的第一目标注射对象移动至图像采集设备的视野下。
134.可选地，基于上述所确定的第一目标注射对象的位置，上位机可向定位平台发送该位置信息，以控制定位平台将置于其上的培养皿进行移动，以将培养皿中第一目标注射对象移动至图像设备的视野下，可选地，可以是移动至图像采集设备中生物显微镜下。
135.s702、获取图像采集设备根据第一目标注射对象的位置，采集并发送的第一目标注射对象的图像。
136.可选地，图像采集设备可通过所设置的高清相机对生物显微镜下的第一目标注射对象进行图像采集，通常，上述在将第一目标注射对象移动至图像采集设备的视野下时，尽可能的是将第一目标注射对象置于视野下的正中央，从而使得图像采集设备采集的第一目标注射对象的图像能够更加清晰准确。
137.可选地，图像采集设备可将采集的第一目标注射对象的图像发送至上位机，其中，上位机中还可包括显示器，发送至上位机的图像可同时在显示器中进行显示，以方便用户的查看。
138.可选地，步骤s203中，根据处理后的第一目标注射对象的图像，确定第一目标注射对象中的第一目标注射靶位之前，本技术的方法还可包括：若判断培养皿存在倾斜，则对处理后的第一目标注射对象的图像进行倾斜校正，得到校正后的第一目标注射对象的图像。
139.在一些实施例中，若置于定位平台上的培养皿为倾斜的，则可能会影响对第一目标注射对象中第一目标注射靶位的识别，因此，在判断培养皿存在倾斜时，可先对获取的处理后的第一目标注射对象的图像进行倾斜校正。
140.图8为本技术实施例提供的自动化显微注射方法的流程示意图五；图9为本技术实施例提供的一种图像校正示意图。可选地，上述步骤中，对处理后的第一目标注射对象的图像进行倾斜校正，得到校正后的第一目标注射对象的图像，可以包括：
141.s801、确定处理后的第一目标注射对象的图像中预设边的位置。
142.通常，经过图像处理后得到的处理后的第一目标注射对象图像所包含的信息少而清晰，对其进行倾斜校正效率速度较快。
143.在前面实施例中以说明本技术以注射对象为斑马鱼幼虫为例，如图9所示，斑马鱼幼虫的背部可以近似为一条直线，可通过从左向右进行图像扫描，以确定处理后的第一目标注射对象的图像中预设边的位置，其中，预设边可以指背部所在的直线。
144.s802、根据预设边的位置，确定倾斜角。
145.基于所确定的预设边的位置，可以获取预设边与x坐标轴的夹角为倾斜角α，从而得到倾斜角的角度。
146.s803、根据倾斜角、以及变换矩阵，对处理后的第一目标注射对象的图像中各顶点进行坐标转换，得到校正后的第一目标注射对象的图像。
147.可选地，在对图像进行倾斜校正时，则需要将处理后的第一目标注射对象的图像逆时针旋转θ＝(90
°‑
α)，以进行校正。
148.如图9所示，假设坐标(x，y)为处理后的第一目标注射对象的图像中的目标点，
(x’，y’)为校正后的目标点坐标。点(cx，cy)为旋转中心(扫描后幼虫图像中y轴坐标最低点)。经过逆时针旋转θ角后，(x’，y’)可通过以下公式计算得到：
[0149][0150]
可选地，可对处理后的第一目标注射对象的图像中所有顶点同时进行转换，可以将上述展开为：
[0151][0152]
通过上述变换，可将处理后的第一目标注射对象的图像中各顶点进行坐标转换，从而得到校正后的第一目标注射对象的图像。
[0153]
可选地，步骤s203中，根据处理后的第一目标注射对象的图像，确定第一目标注射对象中的第一目标注射靶位，可以包括：根据处理后的第一目标注射对象的图像，采用与第一目标注射靶位对应的识别算法，确定第一目标注射对象中的第一目标注射靶位。
[0154]
在一些实施例中，可根据图像的特点和斑马鱼幼虫的形状，针对不同的注射靶位设计不同的识别算法，以从目标注射对象中确定目标注射靶位，本实施例中，以斑马鱼的卵黄作为目标第一目标注射靶位进行举例。
[0155]
以图9中校正后处于竖直状态的第一目标注射对象的图像为例，可以从右向左对其进行扫描，得到斑马鱼轮廓的波形，采集峰值最高的两个波形，分别判断为头部和卵黄，进而得到斑马鱼腹部的坐标范围，并通过计算最高波形的中间位置来确定卵黄的具体坐标。
[0156]
再以斑马鱼的眼睛为目标注射靶位进行举例，可分别由右向左扫描，得到第一波形，第一波形可以为斑马鱼腹部所在的波形，再由上至下扫描，得到第二波形，第二波形可以为斑马鱼头顶所在的波形，由第一波形和第二波形确定矩形区域，斑马鱼的眼睛即可位于矩形区域内，进一步地，可在矩形区域内更加精确的识别眼睛的具体位置。
[0157]
针对不同的目标注射靶位，均可提供对应的识别算法，以确定目标注射靶位的位置。
[0158]
图10为本技术实施例提供的自动化显微注射方法的流程示意图六；可选地，步骤s204中，控制注射器对第一目标注射靶位进行注射，可以包括：
[0159]
s1001、根据第一目标注射靶位，控制定位平台将第一目标注射对象的第一目标靶位移动至注射器对应的注射位。
[0160]
可选地，基于所确定的第一目标注射靶位，上位机可以向定位平台发送第一目标注射靶位，以通过控制定位平台的移动而将第一目标注射对象的第一目标靶位移动至注射器对应的注射位，其中，注射位可以为预先设定的注射器执行药物注射的位置。同时，还可通过控制位移操作器将注射器的针头移动至注射位，其中，注射位可以位于第一目标注射
靶位的附近，一方面需要控制注射器的针头位于合适高度，针头与第一目标注射靶位的距离在预设范围，另一方面，尽量保证针头在显微镜的视野下。
[0161]
s1002、向注射泵发送驱动信号，以通过注射泵驱动注射器向第一目标注射靶位进行注射。
[0162]
可选地，上位机可向注射泵发送驱动信号，以驱动注射泵，并控制注射药物的剂量，从而注射泵可驱动注射器向第一目标注射靶位进行注射，以完成注射操作。
[0163]
可选地，步骤s1002中，向注射泵发送驱动信号，以通过注射泵驱动注射器向第一目标注射靶位进行注射之后，本技术的方法还可包括：向位移操作器发送注射器退出信号，以控制注射器由第一目标注射靶位退出。
[0164]
在一些实施例中，当对第一目标注射对象中第一目标注射靶位完成注射后，上位机还可向位移操作器发送注射器退出信号，以通过控制位移操作器将注射器的针头从第一目标注射靶位退出，并将注射器恢复至初始位置，以准备对下一注射对象的注射工作。
[0165]
可选地，步骤s202中，对第一目标注射对象的图像进行图像处理，得到处理后的第一目标注射对象的图像，可以包括：对第一目标注射对象的图像进行图像二值化处理以及滤波处理，得到处理后的第一目标注射对象的图像。
[0166]
为了将斑马鱼与背景进行区分，采用灰度阈值变换实现对第一目标注射对象的图像二值化。具体地，设置阈值为t，将灰度值小于t的像素设置为0，将灰度值大于t的像素设置为1。初步测试发现，当阈值等于平均灰度值的0.8
‑
0.9倍时，效果较为理想。考虑到此时图像中还存在一些噪声点，如琼脂糖中的杂质、斑马鱼幼虫孵化后胚胎残留的细胞膜等，需要对图像进行滤波，从而移除图像中的小噪声点。然后，利用侵蚀函数消除图像中相对于背景亮度较高的孤立像素，从而细化目标轮廓。采用膨胀函数填充图像中粒子内部的空腔或裂纹，扩展目标轮廓，使图像边界更加圆润。然后选择图像中最有效的区域，提取轮廓，并适当地放大图像。最后得到处理后的斑马鱼幼虫图像，也即得到处理后的第一目标注射对象的图像。
[0167]
图11为本技术实施例提供的一种自动显微注射过程示意图。如下通过完整的示例，对本技术所实现的自动化注射操作流程进行说明。
[0168]
在实验室条件下培养一批2天大的斑马鱼幼鱼，等待显微注射。使用经过蒸馏水稀释后的ms
‑
222(间氨基苯甲酸乙酯甲磺酸盐)将斑马鱼幼鱼麻醉，麻醉后的幼虫易于操纵。然后，用移液管将幼虫放入制备好的培养皿中，用毛刷或毛圈将幼虫按顺序放入标准槽中。如果幼鱼方向与微阵列培养皿槽方向一致，可以轻易地用刷子将其推入槽中。否则，需要将幼鱼翻转到另一面朝上，该操作需要一些时间，以确保卵黄正对着针头方向。另一种方法是使用移液管重新吸取并放置斑马鱼幼鱼，同时调整方向。该排列放置操作，有助于提高自动化注射的速度。接着，将培养皿放置在定位平台上，调整图像采集设备的生物显微镜的焦距，以获得清晰的图像，并且将左上角的第一条幼鱼移动至视野中。此时，将定位平台返回的坐标记录为初始位置。同时，根据幼虫的数量和摆放阵列设置注射的行数和列数。该实例中，注射器与培养皿平面呈45
°
夹角。通过调整注射器所在的位移操作器，将针头设置到合适位置，等待执行穿刺和注入等微注射操作。
[0169]
一个完整的批量斑马鱼自动化显微注射过程如图11所示。点a代表通过本方法所确定出的目标注射对象的目标注射靶位(例如第一目标注射靶位)，b点代表注射器执行注
射操作的位置(也即上述所说的注射位，注射位可以位于注射针的延长线上)，b点右侧的横线则可代表注射器的针头。在图11(a)中，a点表示当前将要执行药物注射的第一目标注射对象的第一目标注射靶位，b点则为注射器的注射位，通过计算两点a点和b点之间的距离，驱动定位平台，将第一目标注射对象的第一目标注射靶位a点平移至b点注射位进行穿刺注射，或者也可以是通过驱动位移操作器将注射器由注射位b点移动至第一目标注射对象的第一目标注射靶位a点。如图11(b)所示。使用位移操作器驱动注射器，移动到b点，然后控制注射器的针头刺入卵黄。为了更好的展现刺入状态，图11(c)中没有b点，接下来，驱动注射泵，并控制注射的剂量，完成注射操作。之后，通过控制位移操作器，将针头退出，如图11(d)所示。最后，设备恢复到初始的位置，准备将下一条斑马鱼幼虫移动至视野，进行显微注射(见图11(e))，移动距离及注射轨迹如图5所示。如此，整个注射操作任务可自动完成。
[0170]
综上，本实施例提供的自动化显微注射方法，包括：获取待注射的图像中第一目标注射对象的图像，待注射的图像为图像采集设备采集的培养皿中的多个注射对象的图像，第一目标注射对象为待注射的图像中的起始注射对象；对第一目标注射对象的图像进行图像处理，得到处理后的第一目标注射对象的图像；根据处理后的第一目标注射对象的图像，确定第一目标注射对象中的第一目标注射靶位；控制注射器对第一目标注射靶位进行注射。本方法中，基于获取的第一目标注射对象的图像，进行图像处理后，可从第一目标注射对象的中识别到第一目标注射靶位，其中，第一目标注射靶位的识别可通过图像识别算法实现，可提高识别效率和准确性，而基于识别得到的第一目标注射靶位，可控制注射器进行注射，从而完成自动化的注射操作，提高了注射效率和注射精确度。
[0171]
下述对用以执行本技术所提供的自动化显微注射方法的装置、设备及存储介质等进行说明，其具体的实现过程以及技术效果参见上述，下述不再赘述。
[0172]
图12为本技术实施例提供的一种自动化显微注射装置的示意图，该自动化显微注射装置实现的功能对应上述方法执行的步骤。该装置可以理解为上述的上位机，或计算机、控制器等设备，如图12所示，该装置可包括：获取模块120、处理模块121、确定模块122、控制模块123；
[0173]
获取模块120，用于获取待注射的图像中第一目标注射对象的图像，待注射的图像为图像采集设备采集的培养皿中的多个注射对象的图像，第一目标注射对象为待注射的图像中的起始注射对象；
[0174]
处理模块121，用于对第一目标注射对象的图像进行图像处理，得到处理后的第一目标注射对象的图像；
[0175]
确定模块122，用于根据处理后的第一目标注射对象的图像，确定第一目标注射对象中的第一目标注射靶位；
[0176]
控制模块123，用于控制注射器对第一目标注射靶位进行注射。
[0177]
可选地，获取模块120，还用于根据预先规划的注射轨迹，获取待注射的图像中第二目标注射对象的图像，第二目标注射对象为第一目标注射对象的下一注射对象；
[0178]
处理模块121，还用于对第二目标注射对象的图像进行图像处理，得到处理后的第二目标注射对象的图像；
[0179]
确定模块122，还用于根据处理后的第二目标注射对象的图像，确定第二目标注射对象中的第二目标注射靶位；
processing unit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system
‑
on
‑
a
‑
chip，简称soc)的形式实现。
[0204]
上述模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等，或其任意组合。无线连接可以包括通过lan、wan、蓝牙、zigbee、或nfc等形式的连接，或其任意组合。两个或更多个模块可以组合为单个模块，并且任何一个模块可以分成两个或更多个单元。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本技术中不再赘述。
[0205]
需要说明的是，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，或，一个或多个微处理器(digital singnal processor，简称dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system
‑
on
‑
a
‑
chip，简称soc)的形式实现。
[0206]
图13为本技术实施例提供的一种电子设备的结构示意图，该设备可以是上述的上位机，或者是计算机、处理器、控制器等具备数据处理功能的计算设备。
[0207]
该设备可包括：处理器801、存储器802。
[0208]
存储器802用于存储程序，处理器801调用存储器802存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
[0209]
其中，存储器802存储有程序代码，当程序代码被处理器801执行时，使得处理器801执行本说明书上述“示例性方法”部分中描述的根据本技术各种示例性实施方式的方法中的各种步骤。
[0210]
处理器801可以是通用处理器，例如中央处理器(cpu)、图形处理器(gpu)、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0211]
存储器802作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(random access memory，ram)、静态随机访问存储器(static random access memory，sram)、可编程只读存储器(programmable read only memory，prom)、只读存储器(read only memory，rom)、带电可擦除可编程只读存储器(electrically erasable programmable read
‑
only memory，eeprom)、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本技术实施例中的存储器802还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令
和/或数据。
[0212]
可选地，本技术还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
[0213]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0214]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0215]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0216]
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本技术各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文：read
‑
only memory，简称：rom)、随机存取存储器(英文：random access memory，简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。