基于三维激光雷达的术中机器人拭子标定方法及系统与流程

1.本公开涉及机器人数据处理技术领域，尤其涉及一种基于三维激光雷达的术中机器人拭子标定方法及系统。


背景技术：

2.核酸检测是确诊新冠病毒的重要手段，而拭子是目前诊断新冠病毒感染最主要的采样方法。目前，越来越多的城市进入了常态化防控，导致采集人数增多，因此对采样的效率也提出了较高要求。然而，现阶段仍是以人工采样为主，在采样的过程中，医务人员存在被感染的风险。而且长时间的核酸检测工作，以及高温的天气都会使得医护人员过度劳累，影响医护人员的身体状况。加之，每个医护人员采样方式存在差异，因此也会影响采样效果。故迫切需要能够满足常态化防控需求的，且适用于规模化拭子样本采集的全自动拭子采样机器人设备。现阶段主流的机器人，由于不能很好的满足采样需求，并未得到广泛应用，具体原因如下：
3.1)一种是工业机器人，通过末端执行器上安装相机，相机随机器人一起运动。这种手眼标定系统虽然可以通过移动相机靠近目标物体，获取清晰图像。但是，相机在移动时的抖动和拍照时刻的加速度会引起图像拖影，对标定和目标检测精度也有一定的影响。由于工业机器人大多是做重复性工作，只要求实现高重复精度，对绝对精度要求不高。而医疗机器人则要求高绝对精度，因此普通的工业机器人系统不适合医疗领域应用。
4.2)另一种是在机械臂末端安装咽拭子和内窥镜，由人工通过视觉监控以及手动控制遥控器进行操作的方式，使咽拭子触碰咽后壁理想部位后进行标本采集。但是，该机器人体积较大且价格较为昂贵。
5.3)还有一种是全自动采集机器人，通过用户扫描二维码，机器人放下一次性咬口器。用户咬住咬口器后，按下启动按键，机器人可以找到咽拭子有效采样部位，进行采集、收样、封装、保存和消杀。但是需要在固定窗口指定位置进行检测，机器人无法自动识别口腔实际位置状态。如若在采样过程中，用户发生位置偏移，则无法进行有效采集。
6.基于上述现有技术的不足，本发明提出了基于三维激光雷达的术中机器人拭子标定方法，通过机械臂上搭载的三维激光雷达自动识别拭子坐标位置，实现机器人拭子标定及自动采集。相比于现有技术，提高了采集的精度、效率以及可靠性，也可进一步减少医务人员的接入操作，减轻劳动强度。


技术实现要素：

7.有鉴于此，本公开实施例提供一种基于三维激光雷达的术中机器人拭子标定方法及系统，以至少部分解决现有技术中存在的问题。
8.第一方面，本公开实施例提供了一种基于三维激光雷达的术中机器人拭子标定方法，包括：
9.通过机器人机械臂上所搭载的三维激光雷达对机械臂前端的拭子进行三维点云
采集，得到与所述拭子相关的原始离散点云数据，以便于对获取的原始离散点云数据进行预处理；
10.在预处理之后的点云数据中，通过距离阈值预先筛选出离三维激光雷达相机最远像素点的坐标位置，设定为拭子针尖坐标位置；
11.在确定拭子针尖位置后再对预处理之后的点云数据剩余所有点进行距离阈值判断，剔除孤立点，当所有点处理完毕后，将采集到的点进行存储，获得存储点云数据；
12.对所述存储点云数据进行线性关系计算，以便于得到所述拭子的长度、方向及相对位姿。
13.根据本公开实施例的一种具体实现方式，所述通过机器人机械臂上所搭载的三维激光雷达对机械臂前端的拭子进行三维点云采集，包括：
14.通过机械臂上设置的三维激光雷达采集拭子的每一帧点云数据，每一帧点云点数据中包括点云坐标信息。
15.根据本公开实施例的一种具体实现方式，所述对获取的原始离散点云数据进行预处理，包括：
16.通过三维点云数据建立二值化表；
17.设定领域范围，将采集到的点云数据在所述二值化表进行二值法判断，筛选获得所需的点云数据。
18.根据本公开实施例的一种具体实现方式，所述对获取的原始离散点云数据进行预处理，包括，包括：
19.将二值法筛选出的点云数据进行二值图像的形态学处理，形成点云数据图像。
20.根据本公开实施例的一种具体实现方式，所述通过距离阈值预先筛选出离三维激光雷达相机最远像素点的坐标位置，设定为拭子针尖坐标位置，包括：
21.筛选出离三维激光雷达相机最远像素点p0的坐标位置(u0,v0)
22.将采集到的p0点根据点云数据像素点坐标位置关系进行进一步筛选判断。
23.根据本公开实施例的一种具体实现方式，所述将采集到的p0点根据点云数据像素点坐标位置关系进行进一步筛选判断，包括：
24.若p0点距离三维激光雷达相机的距离为r0，且r0小于设定的距离阈值r，则将此坐标位置点设定为拭子针尖坐标位置；
25.若r0大于设定的距离阈值r，则丢弃此次所采集的点云数据，通过三维激光雷达相机重新采集一帧新的点云数据。
26.根据本公开实施例的一种具体实现方式，所述在确定拭子针尖位置后再对预处理之后的点云数据剩余所有点进行距离阈值判断，包括：
27.选取像素点pi坐标位置(ui,vi)，距离三维激光雷达相机的距离为ri；
28.若ri小于设定的距离阈值r，则将此坐标位置进行保留；
29.若ri大于设定的距离阈值r，则剔除此孤立点云数据。
30.根据本公开实施例的一种具体实现方式，所述对所述存储点云数据进行线性关系计算，包括：
31.在上横截面上选取所有点坐标p
u1
、p
u2
、p
u3
......p
un
，坐标位置分别为(u
u1
，v
u1
)、(u
u2
，v
u2
)、(u
u3
， v
u3
)......(u
un
，v
un
)；
32.在下横截面上选取所有点坐标p
d1
、p
d2
、p
d3
......p
dn
，坐标位置分别为
33.(u
d1
，v
d1
)、(u
d2
，v
d2
)、(u
d3
，v
d3
)......(u
dn
，v
dn
)；
34.对上横截面上所有点取平均值：
[0035][0036]
对下横截面上所有点取平均值：
[0037][0038]
若两平均值点位置p1和p2与拭子针尖p0不在同一直线上，则丢弃此数据；
[0039]
若两平均值点位置p1和p2与拭子针尖p0在同一直线上，则确定此方向为拭子的方向。
[0040]
根据本公开实施例的一种具体实现方式，所述对所述存储点云数据进行线性关系计算，以便于得到所述拭子的长度、方向及相对位姿，包括：
[0041]
从存储的点云数据中，筛选出像素点到相机位置距离最小的点坐标pe，则拭子长度l＝p
0-pe；
[0042]
通过建立点线性关系，计算获得拭子的方向；
[0043]
根据计算获得的拭子长度和拭子方向，最终获得拭子的相对位姿。
[0044]
第二方面，本公开实施例提供了一种基于三维激光雷达的术中机器人拭子标定系统，包括：
[0045]
机械臂，所述机械臂通过多个关节组合在一起；
[0046]
拭子，所述拭子固定在机械臂末端上，位姿随机械臂的运动而变化，用于实时在线标定；
[0047]
三维激光雷达，所述三维激光雷达安装在机械臂末端执行器上，并随机械臂末端一起运动，三维激光雷达与所述机械臂末端之间的相对位姿保持不变；
[0048]
计算模块，所述计算模块用于接收所述三维激光雷达采集的点云图像数据，以便于基于所述点云图像数据执行第一方面或第一方面的任一实现方式中的基于三维激光雷达的术中机器人拭子标定方法。
[0049]
第三方面，本公开实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的基于三维激光雷达的术中机器人拭子标定方法。
[0050]
第四方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述第一方面或第一方面的任一实现方式中的基于三维激光雷达的术中机器人拭子标定方法。
[0051]
本公开实施例中的基于三维激光雷达的术中机器人拭子标定方案，包括通过机器人机械臂上所搭载的三维激光雷达对机械臂前端的拭子进行三维点云采集，得到与所述拭子相关的原始离散点云数据，以便于对获取的原始离散点云数据进行预处理；在预处理之
后的点云数据中，通过距离阈值预先筛选出离三维激光雷达相机最远像素点的坐标位置，设定为拭子针尖坐标位置；在确定拭子针尖位置后再对预处理之后的点云数据剩余所有点进行距离阈值判断，剔除孤立点，当所有点处理完毕后，将采集到的点进行存储，获得存储点云数据；对所述存储点云数据进行线性关系计算，以便于得到所述拭子的长度、方向及相对位姿。通过本公开的处理方案，通过机械臂上搭载的三维激光雷达自动识别拭子坐标位置，实现机器人拭子标定及自动采集。相比于现有技术，提高了采集的精度、效率以及可靠性，也可进一步减少医务人员的接入操作，减轻劳动强度。
附图说明
[0052]
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0053]
图1为本公开实施例提供的一种系统组成图；
[0054]
图2为本公开实施例提供的基于三维激光雷达的术中机器人拭子标定方法示意图；
[0055]
图3为本公开实施例提供的点云数据像素点坐标位置关系图；
[0056]
图4为本公开实施例提供的点云数据像素点取点示意图。
具体实施方式
[0057]
下面结合附图对本公开实施例进行详细描述。
[0058]
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0059]
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
[0060]
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0061]
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的
技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
[0062]
本公开实施例提供一种基于三维激光雷达的术中机器人拭子标定方法。本实施例提供的基于三维激光雷达的术中机器人拭子标定方法可以由一计算装置来执行，该计算装置可以实现为软件，或者实现为软件和硬件的组合，该计算装置可以集成设置在服务器、客户端等中。
[0063]
参见图1，图2，图3及图4，本公开实施例中的基于三维激光雷达的术中机器人拭子标定方法，可以包括如下步骤：
[0064]
s101，通过机器人机械臂上所搭载的三维激光雷达对机械臂前端的拭子进行三维点云采集，得到与所述拭子相关的原始离散点云数据，以便于对获取的原始离散点云数据进行预处理；
[0065]
s102，在预处理之后的点云数据中，通过距离阈值预先筛选出离三维激光雷达相机最远像素点的坐标位置，设定为拭子针尖坐标位置；
[0066]
s103，在确定拭子针尖位置后再对预处理之后的点云数据剩余所有点进行距离阈值判断，剔除孤立点，当所有点处理完毕后，将采集到的点进行存储，获得存储点云数据；
[0067]
s104，对所述存储点云数据进行线性关系计算，以便于得到所述拭子的长度、方向及相对位姿。
[0068]
具体的，在实施的过程中，本发明的主要方案包括如下方面:
[0069]
机械臂上搭载三维激光雷达进行点云数据采集
[0070]
由于医疗机器人系统对绝对精度要求极高，若搭载普通相机，机械臂在移动时相机的抖动和拍照时刻的加速度会引起图像拖影，从而影响标定和目标检测的精度。医疗机器人除了高绝对精度的要求，对即时响应的要求也极高。因此，本发明中采用三维激光雷达相机，其具有毫米级精度，响应时间不超过33ms。且具有内部视觉处理器，减少了运动模糊伪影，进而大大减少了手眼标定过程由于机械臂运动对相机造成的影响，使得本系统具有更高的精度和准确性。适应不同尺寸不同位姿的拭子的同时实现精准实时在线标定
[0071]
在实际应用中，每个拭子的大小、长短都存在差异，且安放位置未知。为适应不同尺寸不同位姿的拭子，本系统通过机械臂上所搭载的三维激光雷达进行三维点云采集，对获取的原始离散点云数据进行预处理；通过距离阈值预先筛选出离三维激光雷达相机最远像素点的坐标位置，设定为拭子针尖坐标位置；在确定拭子针尖位置后再对剩余所有点进行距离阈值判断，剔除孤立点；当所有点处理完毕后，将采集到的点进行存储，并获得线性关系；最终计算出拭子长度、方向及相对位姿。
[0072]
参见图1，本系统由3部分组成：
[0073]
1、机械臂：高性能多轴机械臂，用于运算以及控制处理；
[0074]
2、三维激光雷达：安装在机械臂末端执行器上，并随机器人一起运动，两者之间的相对位姿保持不变；
[0075]
3、拭子：固定在机械臂末端上，位姿随机械臂的运动而变化，用于实时在线标定.
[0076]
本发明方法的流程图如图2所示，具体包括如下步骤：
[0077]
1、采集获取点云数据
[0078]
机械臂通过三维激光雷达采集到一帧点云数据，每个点云点数据中包括点云坐标信息。
[0079]
2、筛选数据
[0080]
1)通过三维点云数据建立二值化的表；
[0081]
2)设定领域范围，将采集到的点云数据进行二值法判断，筛选获得所需的点云数据。
[0082]
3、图形处理
[0083]
将筛选出的点云数据进行二值图像的形态学处理。
[0084]
4、处理获得拭子针尖坐标位置
[0085]
1)筛选出离三维激光雷达相机最远像素点p0的坐标位置(u0,v0)
[0086]
2)将采集到的p0点根据图3所示的点云数据像素点坐标位置关系进行进一步筛选判断：
[0087]
①
若p0点距离三维激光雷达相机的距离为r0，且r0小于设定的距离阈值r，
[0088]
则将此坐标位置点设定为拭子针尖坐标位置；
[0089]
②
若r0大于设定的距离阈值r，则丢弃此次所采集的点云数据，通过三维激光雷达相机重新采集一帧新的点云数据。
[0090]
5、剔除孤立点
[0091]
当拭子针尖位置确定后，再进行剩余点的判断，通过距离阈值进行筛选：
[0092]
1)选取像素点pi坐标位置(ui,vi)，距离三维激光雷达相机的距离为ri。
[0093]
①
若ri小于设定的距离阈值r，则将此坐标位置进行保留；
[0094]
②
若ri大于设定的距离阈值r，则剔除此孤立点云数据；
[0095]
2)重复1)操作，直到这一帧中所有的点云数据都判断完成后，将保留下来的点坐标进行存储。
[0096]
6、建立点线性关系
[0097]
由于拭子为一直线，因此我们通过建立点线性关系，来获得拭子方向。如图4所示，具体操作如下：
[0098]
1)在上下横截面中选取各横截面上所有点坐标，对同一横截面上取平均值，将获得的两平均值与拭子针尖间进行计算判断：
[0099]
①
在上横截面上选取所有点坐标p
u1
、p
u2
、p
u3
......p
un
，坐标位置分别为(u
u1
，v
u1
)、(u
u2
，v
u2
)、(u
u3
，v
u3
)......(u
un
，v
un
)；
[0100]
②
在下横截面上选取所有点坐标p
d1
、p
d2
、p
d3
......p
dn
，坐标位置分别为
[0101]
(u
d1
，v
d1
)、(u
d2
，v
d2
)、(u
d3
，v
d3
)......(u
dn
，v
dn
)；
[0102]
③
对上横截面上所有点取平均值：
[0103][0104]
④
对下横截面上所有点取平均值：
[0105][0106]
⑤
若两平均值点位置p1和p2与拭子针尖p0不在同一直线上，则丢弃此数据；
[0107]
⑥
若两平均值点位置p1和p2与拭子针尖p0在同一直线上，则确定此方向为拭子的方向；
[0108]
2)重复1)操作，直到最终获得拭子的方向。
[0109]
5、计算获得拭子长度、方向及相对位姿
[0110]
1)计算拭子长度
[0111]
从存储的点云数据中，筛选出像素点到相机位置距离最小的点坐标pe，则拭子长度l＝p
0-pe；
[0112]
2)计算拭子方向
[0113]
根据步骤4中，通过建立点线性关系，计算获得拭子的方向；
[0114]
3)拭子相对位姿根据计算获得的拭子长度和拭子方向，最终获得拭子的相对位姿。
[0115]
根据本公开实施例的一种具体实现方式，所述通过机器人机械臂上所搭载的三维激光雷达对机械臂前端的拭子进行三维点云采集，包括：
[0116]
通过机械臂上设置的三维激光雷达采集拭子的每一帧点云数据，每一帧点云点数据中包括点云坐标信息。
[0117]
根据本公开实施例的一种具体实现方式，所述对获取的原始离散点云数据进行预处理，包括：
[0118]
通过三维点云数据建立二值化表；
[0119]
设定领域范围，将采集到的点云数据在所述二值化表进行二值法判断，筛选获得所需的点云数据。
[0120]
根据本公开实施例的一种具体实现方式，所述对获取的原始离散点云数据进行预处理，包括，包括：
[0121]
将二值法筛选出的点云数据进行二值图像的形态学处理，形成点云数据图像。
[0122]
根据本公开实施例的一种具体实现方式，所述通过距离阈值预先筛选出离三维激光雷达相机最远像素点的坐标位置，设定为拭子针尖坐标位置，包括：
[0123]
筛选出离三维激光雷达相机最远像素点p0的坐标位置(u0,v0)
[0124]
将采集到的p0点根据点云数据像素点坐标位置关系进行进一步筛选判断。
[0125]
根据本公开实施例的一种具体实现方式，所述将采集到的p0点根据点云数据像素点坐标位置关系进行进一步筛选判断，包括：
[0126]
若p0点距离三维激光雷达相机的距离为r0，且r0小于设定的距离阈值r，则将此坐标位置点设定为拭子针尖坐标位置；
[0127]
若r0大于设定的距离阈值r，则丢弃此次所采集的点云数据，通过三维激光雷达相机重新采集一帧新的点云数据。
[0128]
根据本公开实施例的一种具体实现方式，所述在确定拭子针尖位置后再对预处理之后的点云数据剩余所有点进行距离阈值判断，包括：
[0129]
选取像素点pi坐标位置(ui,vi)，距离三维激光雷达相机的距离为ri；
[0130]
若ri小于设定的距离阈值r，则将此坐标位置进行保留；
[0131]
若ri大于设定的距离阈值r，则剔除此孤立点云数据。
[0132]
根据本公开实施例的一种具体实现方式，所述对所述存储点云数据进行线性关系
计算，包括：
[0133]
在上横截面上选取所有点坐标p
u1
、p
u2
、p
u3
......p
un
，坐标位置分别为(u
u1
，v
u1
)、(u
u2
，v
u2
)、(u
u3
， v
u3
)......(u
un
，v
un
)；
[0134]
在下横截面上选取所有点坐标p
d1
、p
d2
、p
d3
......p
dn
，坐标位置分别为
[0135]
(u
d1
，v
d1
)、(u
d2
，v
d2
)、(u
d3
，v
d3
)......(u
dn
，v
dn
)；
[0136]
对上横截面上所有点取平均值：
[0137][0138]
对下横截面上所有点取平均值：
[0139][0140]
若两平均值点位置p1和p2与拭子针尖p0不在同一直线上，则丢弃此数据；
[0141]
若两平均值点位置p1和p2与拭子针尖p0在同一直线上，则确定此方向为拭子的方向。
[0142]
根据本公开实施例的一种具体实现方式，所述对所述存储点云数据进行线性关系计算，以便于得到所述拭子的长度、方向及相对位姿，包括：
[0143]
从存储的点云数据中，筛选出像素点到相机位置距离最小的点坐标pe，则拭子长度l＝p
0-pe；
[0144]
通过建立点线性关系，计算获得拭子的方向；
[0145]
根据计算获得的拭子长度和拭子方向，最终获得拭子的相对位姿。
[0146]
与上面的方法实施例相对于，本发明还提供了一种基于三维激光雷达的术中机器人拭子标定系统，包括：
[0147]
机械臂，所述机械臂通过多个关节组合在一起；
[0148]
拭子，所述拭子固定在机械臂末端上，位姿随机械臂的运动而变化，用于实时在线标定；
[0149]
三维激光雷达，所述三维激光雷达安装在机械臂末端执行器上，并随机械臂末端一起运动，三维激光雷达与所述机械臂末端之间的相对位姿保持不变；
[0150]
计算模块，所述计算模块用于接收所述三维激光雷达采集的点云图像数据，以便于基于所述点云图像数据执行前述实施例所述的方法。
[0151]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令
的组合来实现。
[0152]
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
[0153]
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。
[0154]
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。