一种基于多标签定位的细胞标本样片搬运系统及方法与流程

1.本公开属于机器人搬运技术领域，尤其涉及一种基于多标签定位的细胞标本样片搬运系统及方法。


背景技术：

2.本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
3.随着人工智能的快速发展，各行各业的智能化越来越明显；搬运机器人的应用越来越广泛，在医院或生物研究所等一些需要大量观察分析细胞的场所，使用移动机器人搬运细胞标本样片将会节省大量人力物力。
4.在移动机器人搬运细胞标本样片过程中对于操作稳定性要求较高，如果出现一些误操作将会导致细胞样本污染或者损坏；由于细胞标本样片托盘凹槽对取放精度要求较高，而移动机器人并不像普通机械臂那样固定在固定位置，移动机器人在移动过程中存在一定的导航误差导致移动机器人的机械臂坐标系在世界坐标系中位置不固定，而基于机器视觉的目标提取算法也无法做到高精度目标定位，进而导致了无法保证搬运精度，无法做到每次都将细胞标本样片分毫不差的放入样片托盘凹槽中；因此在当前技术下移动机器人搬运细胞标本样片过程中的稳定性存在着不足。


技术实现要素：

5.本公开为了解决上述问题，提出了一种基于多标签定位的细胞标本样片搬运系统及方法；本公开使用容易识别的二维码标签提取坐标偏差，对机器人进行世界坐标系重定位修正，解决了机械臂由于自主导航精度不够而造成的抓取偏差问题，从而保证了机械臂在不同载物台上不同样片托盘间精确搬运细胞标本样片。
6.为了实现上述目的，第一方面，本公开提供了一种基于多标签定位的细胞标本样片搬运系统，采用如下技术方案：
7.一种基于多标签定位的细胞标本样片搬运系统，包括移动机器人和机器人内部控制主机；所述移动机器人的机械臂上设置有激光雷达和相机；所述标签设置在放置细胞标本样片的托盘上；
8.所述雷达，用于感知所述移动机器人的周围环境；
9.所述相机，用于拍摄所述托盘图像；
10.所述机器人内部控制主机，被配置为：
11.获取移动机器人停靠在标准位置时，标签在相机拍摄图像中的坐标信息，根据坐标信息计算标准位置矢量信息；
12.在感知所述移动机器人周围环境的基础上，利用slam算法建立全局地图，并确定所述移动机器人在全局地图中的位置，建立自主导航路线；
13.依据自主导航路线，控制所述移动机器人移动到第一载物台的指定抓取位置；对
指定抓取位置处相机拍摄的图像进行目标识别，读取标签在图像中的位置坐标信息，计算当前位置矢量信息；
14.依据标准位置矢量信息和当前位置矢量信息，计算世界坐标系的修正量；
15.通过机器视觉技术对图像进行目标检测，确定托盘中的细胞标本样片，结合细胞标本样片所在托盘凹槽的位置信息，确定抓取坐标；
16.通过修正量对抓取坐标进行修正，依据修正后的抓取坐标，控制所述机械臂对目标位置处的细胞标本样片进行抓取；
17.控制所述移动机器人对细胞标本样片进行搬运。
18.进一步的，所述机械臂上还设置有气动式抓具吸盘，用于抓取所述细胞标本样片。
19.进一步的，所述标签为二维码标签，数量为三个，分别设置在所述托盘的三个角处。
20.进一步的，所述移动机器人在指定抓取位置时，所述相机连续拍照，对图像进行机器视觉处理，捕捉二维码标签信息，通过所述移动机器人车体差速轮的特性缓慢的控制机体在原地缓慢旋转进行方向微调，直到在所述相机视野中捕捉到三个二维码标签同时出现。
21.进一步的，所述移动机器人停靠在标准位置时，还获取所述托盘上每个细胞标本样片的存放凹槽的抓取坐标以及抓取和放置高度。
22.进一步的，确定抓取坐标后，将抓取坐标与世界坐标系的修正量和偏移角进行计算；确定当前抓取坐标后，控制所述机械臂以1mm/s的速度移动在所述托盘上方二维平面内向当前抓取坐标移动，直到移动到当前抓取坐标上空，停止水平移动，并垂直下降所述机械臂z轴高度到抓取高度，执行抓取动作。
23.进一步的，执行完抓取动作后，将所述机械臂移的末端移动到拍照位置，获取所述托盘的图像信息，对抓取位置凹槽内进行细胞标本样片目标检测；若没检测到细胞标本样片，则判定为细胞标本样片抓取成功，反之判定为细胞标本样片抓取失败；若分析得细胞标本样片抓取失败，则重新执行抓取操作，直至抓取成功。
24.进一步的，成功抓取到细胞标本样片后，依据自主导航路线，控制所述移动机器人移动到第二载物台前指定抓取位置；对指定抓取位置处相机拍摄的图像进行目标识别，读取标签在图像中的位置坐标信息，计算当前位置矢量信息；
25.依据标准位置矢量信息和当前位置矢量信息，计算世界坐标系的修正量；
26.通过机器视觉技术对图像进行目标检测，确定托盘中的空置凹槽，结合细胞标本样片所在托盘凹槽的位置信息，确定放置坐标；
27.通过修正量对放置坐标进行修正，依据修正后的放置坐标，控制所述机械臂将细胞标本样片放置到目标空置凹槽中。
28.进一步的，所述修正量包括标准位置矢量和当前位置矢量的偏移量和偏移角。
29.为了实现上述目的，第二方面，本公开提供了一种基于多标签定位的细胞标本样片搬运方法，采用如下技术方案：
30.获取标准位置时标签在图像中的坐标信息，根据坐标信息计算标准位置矢量信息；
31.利用slam算法建立全局地图，并确定所述移动机器人在全局地图中的位置，建立
自主导航路线；
32.依据自主导航路线，控制所述移动机器人移动到指定抓取位置；对指定抓取位置处拍摄的图像进行目标识别，读取标签在图像中的位置坐标信息，计算当前位置矢量信息；
33.依据标准位置矢量信息和当前位置矢量信息，计算世界坐标系的修正量；
34.通过机器视觉技术对图像进行目标检测，确定托盘中的细胞标本样片，结合细胞标本样片所在托盘凹槽的位置信息，确定抓取坐标；
35.通过修正量对抓取坐标进行修正，依据修正后的抓取坐标，控制所述机械臂对目标位置处的细胞标本样片进行抓取，控制所述移动机器人对细胞标本样片进行搬运。
36.与现有技术相比，本公开的有益效果为：
37.1.本公开使用容易识别的二维码标签提取坐标偏差，对机器人进行世界坐标系重定位修正，解决了机械臂由于自主导航精度不够而造成的抓取偏差问题，从而保证了机械臂在不同载物台上不同样片托盘间精确搬运细胞标本样片的目的。
附图说明
38.构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。
39.图1为本公开实施例1的结构示意图；
40.图2为本公开实施例1的标签布置图；
41.图3为本公开实施例1的坐标系转换示意图；
42.图4为本公开实施例1的工作流程图；
43.其中，1、移动机器人，2、机械臂，3、相机，4、气动抓具吸盘5、托盘，6、载物台。
具体实施方式：
44.下面结合附图与实施例对本公开作进一步说明。
45.应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
46.实施例1：
47.如图1所示，本公开提供了一种基于多标签定位的细胞标本样片搬运系统，包括移动机器人1和机器人内部控制主机；所述移动机器人1的机械臂2上设置有激光雷达和相机3；所述标签设置在放置细胞标本样片的托盘5上；
48.具体的，所述相机3位单目相机，所述机械臂2的末端设置气动抓具吸盘4，所述激光雷达设置在所述移动机器人1的底座上，通过所述激光雷达感知周围环境，所述移动机器人1的内部设置内部控制主机，所述内部控制主机通过slam算法建立全局导航地图，并可通过slam算法时刻知晓自己在地图中的位置，完成所述移动机器人1停靠点到载物台的自主导航；通过所述单目相机对载物台上的细胞标本样片所述托盘5拍照获取图像信息，并通过目标检测算法获取目标细胞标本样片位置信息；可通过所述机械臂2和所述气动抓具吸盘4对目标位置的细胞标本样片进行抓取搬移；可以理解的所述内部控制主机与所述相机3和所述激光雷达均建立连接，并且提供所述移动机器人的所有动作执行命令。
49.本实施例的工作过程或原理为：
50.如图2中所示，所述标签选用二维码标签，在所述托盘5的左上、左下、右下三角分别固定一个二维码标签，分别定义为坐标a、b、c三点，并计算得矢量和且定义由此我们得到标准位置矢量信息，该标准位置矢量信息用于后续对世界坐标系进行重定位修正的计算；然后对所述托盘5上每个细胞标本样片的存放凹槽分别当以为：凹槽1、凹槽2、
……
、凹槽6，并取每个凹槽的中心位置为抓取坐标，分别定义为(x1,y1)，(x2,y2)，
……
，(x6,y6)。
51.当所述移动机器人1自主导航并停靠到载物台(第一载物台)前时，对所述托盘5进行拍照，读取当前图像得到三个二维码标签在图像中的位置坐标信息，分别定义为a'、b'、c'，计算出得矢量和以及定义为当前位置矢量，由此我们得到当前位置矢量信息。
52.如图3所示，为标准位置矢量和前位置矢量的关系，结合和进行矢量计算，求两向量的偏移量(a,b)和偏移角θ：
53.偏移量：
[0054][0055]
偏移角：
[0056][0057]
两向量的偏移量和夹角定义为世界坐标系的修正量，由此数据可计算出所述移动机器人1当前停靠位置相对标准停靠位置的偏移误差，进而对世界坐标系进行修正。
[0058]
所述移动机器人1通过所述单目相机对所述托盘5进行目标检测，判断出细胞标本样片所在托盘5凹槽的位置信息，进而判断出需要抓取的凹槽编号i，找到对应的抓取坐标(x
i
,y
i
)。将抓取坐标(x
i
,y
i
)与世界坐标系的修正量(a,b)和偏移角θ进行计算，求得当前抓取坐标(x'
i
,y'
i
)：
[0059][0060]
确定当前抓取坐标(x
i
',y
i
')后，控制所述机械臂2以1mm/s的速度移动在所述托盘5上方二维平面内向当前抓取坐标(x
i
',y
i
')移动，直到移动到当前抓取坐标上空，停止水平移动，并垂直下降机械臂z轴高度到抓取高度z，执行抓取动作，控制抓具吸盘抓取目标细胞标本样片。
[0061]
执行完抓取动作后将所述机械臂2移的末端移动到拍照位置，对所述托盘5进行拍照获取图像信息，对抓取位置凹槽内进行细胞标本样片目标检测，若没检测到细胞标本样片则判定为细胞标本样片抓取成功，反之判定为细胞标本样片抓取失败。若分析得细胞标本样片抓取失败，则重新执行抓取操作，直至抓取成功。
[0062]
成功抓取到细胞标本样片后，所述移动机器人1移动到第二载物台前指定抓取位置；然后所述移动机器人1打开所述机械臂2末端的单目相机的拍照功能并连续拍照，对照
片进行机器视觉处理捕捉二维码标签信息，同时通过所述移动机器人1车体差速轮的特性缓慢的控制机体在原地缓慢旋转进行方向微调，直到在相机视野中捕捉到三个二维码标签同时出现，停止旋转移动机器人1车体。
[0063]
所述移动机器人找到正确的拍照位置之后，通过所述机械臂2末端的相机对所述托盘5进行拍照。对相机拍摄的图像进行目标识别，读取出三个二维码标签在图像中的位置坐标信息，重复上述过程，获取移动机器人1在第二载物台前的世界坐标系的修正量。
[0064]
所述移动机器人1通过单目相机对所述托盘5进行拍照获取图像信息，通过机器视觉技术对图像进行目标检测，寻找所述托盘5中空置凹槽。通过目标候选框的中心坐标可初略的判断出空置凹槽所在所述托盘5凹槽的位置信息，进而判断出凹槽编号j，找到对应的放置坐标(x
j
,y
j
)，并通过世界坐标系的修正量进行修正，获得当前放置坐标(x
j
',y
j
')。然后控制所述机械臂以1mm/s的速度移动在所述托盘5上方二维平面内向当前放置坐标(x
j
',y
j
')移动，直到移动到当前放置坐标上空，停止水平移动，并垂直下降所述机械臂z轴高度到放置高度z，执行放置动作，控制抓具吸盘将细胞标本样片放置到目标空置凹槽中。
[0065]
执行完放置动作后将所述机械臂2移末端移动到拍照位置，对所述托盘5进行拍照获取图像信息，对放置位置凹槽内进行细胞标本样片进行目标检测，若检测到细胞标本样片则判定为细胞标本样片放置成功，反之判定为细胞标本样片放置失败。若分析得细胞标本样片放置失败，则重新执行放置操作，直至放置成功。
[0066]
执行完上述业务，则判断为完成了一次对细胞标本样片的搬运。
[0067]
初始化，将所述移动机器人1停靠在靠近载物台6的任意位置，对所述托盘5拍照读取二维码标签在照片中的坐标信息，并获得位置矢量和凹槽抓取坐标(x1,y1)，(x2,y2)，
……
，(x6,y6)，定义该位置为标准位置，该位置矢量为标准位置矢量，该抓取坐标为标准抓取坐标；
[0068]
所述移动机器人1在接收到搬运任务后，首先通过slam算法导航所述移动机器人1移动到载物台1前指定抓取位置；
[0069]
所述移动机器人1通过单目相机捕捉二维码标签信息，并控制所述移动机器人1车体在原地缓慢旋转进行方向微调，直到在相机视野中捕捉到三个二维码标签同时出现；
[0070]
所述移动机器人1找到正确的拍照位置之后，通过单目相机捕捉三个二维码标签位置坐标信息，获得当前位置矢量
[0071]
结合和进行矢量计算，求两向量的偏移量(a,b)和偏移角θ，作为世界坐标系的修正量；
[0072]
所述移动机器人1通过单目相机对细胞标本样片进行目标检测，获得细胞标本样片的抓取坐标(x
i
,y
i
)，若未检测到细胞标本样片，则导航所述移动机器人1回到等待区域，等待下次搬运任务；
[0073]
通过偏移量(a,b)和偏移角θ对细胞标本样片的抓取坐标(x
i
,y
i
)进行世界坐标系修正，获得当前抓取坐标(x'
i
,y'
i
)；
[0074]
抓取动作，控制所述机械臂2以1mm/s的速度移动到当前抓取坐标上空，并垂直下降所述机械臂z轴高度到抓取高度z，执行抓取动作，控制抓具吸盘抓取目标细胞标本样片；
[0075]
执行完抓取动作后将所述机械臂2移末端移动到拍照位置，对所述托盘5进行拍照
获取图像信息，对抓取位置凹槽内进行细胞标本样片进行目标检测，若没检测到细胞标本样片则判定为细胞标本样片抓取成功，反之判定为细胞标本样片抓取失败。若分析得细胞标本样片抓取失败，则重新执行抓取操作，直至抓取成功；
[0076]
执行抓取成功后，则导航所述移动机器人1到载物台2，执行放置动作。
[0077]
实施例2：
[0078]
本实施例提供了一种基于多标签定位的细胞标本样片搬运方法，采用了如实施例1中所述的基于多标签定位的细胞标本样片搬运系统，主要内容包括：
[0079]
获取标准位置时标签在图像中的坐标信息，根据坐标信息计算标准位置矢量信息；
[0080]
利用slam算法建立全局地图，并确定所述移动机器人所述在全局地图中的位置，建立自主导航路线；
[0081]
依据自主导航路线，控制所述移动机器人所述移动到指定抓取位置；对指定抓取位置处拍摄的图像进行目标识别，读取标签在图像中的位置坐标信息，计算当前位置矢量信息；
[0082]
依据标准位置矢量信息和当前位置矢量信息，计算世界坐标系的修正量；
[0083]
通过机器视觉技术对图像进行目标检测，确定托盘中的细胞标本样片，结合细胞标本样片所在托盘凹槽的位置信息，确定抓取坐标；
[0084]
通过修正量对抓取坐标进行修正，依据修正后的抓取坐标，控制所述机械臂2对目标位置处的细胞标本样片进行抓取，控制所述移动机器人所述对细胞标本样片进行搬运。
[0085]
以上所述仅为本实施例的优选实施例而已，并不用于限制本实施例，对于本领域的技术人员来说，本实施例可以有各种更改和变化。凡在本实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实施例的保护范围之内。