用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法与流程

1.本发明涉及手术机器人的轨迹跟踪技术，特别涉及通过跟踪附着于手术器械和手术位置处的标记物的信息，来获取目标物的空间位置信息和姿态信息的轨迹跟踪系统及利用该系统的跟踪方法。


背景技术：

2.当实施肿瘤的消融手术时，为减少医生工作量并提高消融手术的精确度，业内针对消融手术机器人开展研究工作。当利用消融手术机器人实施手术时，为了将手术的风险最小化，提高手术的精密度，需要使用可以在准确地跟踪并检测手术器械和手术位置处的标记物的空间位置信息和姿态信息之后，向患者的患处准确地引导上述手术器械的导航仪。
3.为此，通常需要构建的跟踪系统包括：标记物，用于标记手术器械和手术位置；光学定位仪系统，用于记录标记物的光学信息；处理器，用于处理标记物之间的关系，获取标记物标记的手术器械和手术位置的三维坐标与姿态信息，计算手术器械和手术位置的空间关系，指导手术机器人之后的运动方案。
4.在标记物等光学跟踪技术领域，northern digital inc.(ndi)公司是技术领先者，其生产的ndi光学定位仪系统及配套track软件在手术机器人中应用较多。其中，与光学定位仪配合使用的光学工具上使用光学小球作为标记物，通常有多个(四个)光学小球组成标记组，占用空间约10cm
×
10cm
×
1cm，将其外附在手术器械和手术位置处用于标记姿态和位置。但是，该标记组对于常规的消融手术器械和手术位置而言，存在标记物过大、影响实际手术效果，影响临床工作流程等问题，从而使其应用受到制约。


技术实现要素：

5.本发明要解决的技术问题是，克服现有技术中的不足，提供一种用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法。
6.为解决技术问题，本发明的解决方案是：
7.提供一种用于手术机器人的轨迹跟踪系统，包括：若干个标记物，所述标记物呈薄片状且表面绘有棋盘格图案，用于贴附在需确定空间位置信息和姿态信息的目标物的不同表面上；所述目标物包括手术器械和手术位置；双目摄像设备，用于记录各标记物的实况信息；处理单元，通过信号线与所述双目摄像设备连接，用于对双目摄像设备获取的图像进行处理，计算各标记物的位置和空间关系，并在匹配目标物模型后，获得目标物的三维坐标位置及空间关系。
8.作为优选方案，所述标记物表面的棋盘格图案至少包括2
×
3个相邻且间隔布置的黑白方块，单个方块的边长为0.45～0.75mm。
9.作为优选方案，在每个目标物上，所述标记物至少有4个。
10.作为优选方案，所述标记物是表面印刷了棋盘格图案的带背胶的粘纸，直接粘贴
在目标物表面或目标物表面的附着物上；或者，所述标记物是表面印刷了棋盘格图案的金属薄片或塑料薄片，并通过嵌扣方式固定在目标物表面；或者，所述标记物是以印刷或喷涂方式加工在手术器械表面的涂层，该涂层具有棋盘格图案。
11.作为优选方案，所述双目摄像设备的分辨率至少为6500w像素。
12.作为优选方案，所述处理单元是计算机；或者是具有计算能力的处理器。
13.作为优选方案，该系统还包括用作光源的手术灯，其光照强度为100001ux以上。
14.本发明进一步提供了利用前述轨迹跟踪系统的跟踪方法，包括以下步骤：
15.(1)在手术器械和手术位置的不同表面上贴附标记物，并将手术器械和手术位置置于标定位置；
16.(2)以双目摄像设备对手术器械和手术位置进行摄像，由处理单元对所获图像进行处理，计算各标记物在标定位置下的三维坐标位置和空间关系，并以此为基础建模，获得手术器械和手术位置在标定位置下的目标物模型；
17.(3)在手术机器人的操作过程中，通过双目摄像设备获取手术器械和手术位置的实时图像；由处理单元对所获图像进行处理，计算各标记物的实时三维坐标位置和空间关系；在与目标物模型进行匹配和比较后，获得手术器械实时的三维坐标位置及空间关系；
18.(4)将步骤(3)中获得的计算结果作为手术器械的轨迹数据输入手术机器人的操控系统，根据预定的手术方案对手术机器人的操作动作进一步跟踪调控。
19.作为优选方案，所述各标记物的三维坐标位置和空间关系是根据下述方法确定的：
20.(1)利用三维图像在二维平面上的投影规则，计算标记物的三维姿态信息；该姿态信息是指标记物的长边、短边和垂直于标记物平面上的直线所构成的三个三维向量，每个被捕捉、识别到的标记物都由唯一的三个三维向量特征所表示；
21.(2)利用双目摄像设备标定的外参矩阵，将其中一个相机的成像单元获取的标记物的三个三维向量表示转换到另一个相机的成像单元中；如果三个三维向量相等，则认为标记物匹配成功；进一步利用双目相机投影规则，计算出标记物在世界坐标下的坐标；
22.(3)利用计算获得的部分标记物的世界坐标组成三维点云；
23.(4)基于三维点云获得手术器械和手术位置在标定位置下的目标物模型；或者，基于实时计算得到的三维点云和目标物模型进行匹配和比较，以得到手术器械实时的坐标信息和姿态信息。
24.发明原理描述：
25.本发明中，将相对而言体积“微型”的标记物粘附在目标物(手术器械和手术位置)不同表面上；通过双目摄像设备获取图像，由处理单元进行各标记物的位置和空间关系的标定、计算、匹配与比较，从而实现更高精度的跟踪效果。
26.本发明中，首先针对标定状态的目标物进行三维坐标空间位置信息和姿态信息的成像获取及建模，以建模之后的微型标记物点集为基本模型：然后通过实际操作过程中双目摄像设备针对标记物获取图像，并基于标记物点集三维坐标集匹配基本模型，计算出目标物实施的三维坐标位置和姿态信息，以用于手术机器人的操作。
27.与现有技术相比，本发明的有益效果是：
28.1、相对于体积更大的发光小球和光学定位仪系统光学定位仪系统，本发明采用了
相对“微型”的标记物与双目摄像设备的组合。无需改变手术器械和手术位置外观的标记方式，就达到更高精度的跟踪效果。
29.2、本发明能够计算目标物(手术器械和手术位置)的三维坐标位置和姿态信息。因此，不仅可以降低对临床手术工作流程的影响，而且可以实现对任意手术器械和手术位置的标记定位，具有相对少受手术空间的制约的效果。
附图说明
30.图1本发明的一实施例的跟踪系统的见图。
31.图2微型标记物附着于目标物的例示图。
32.图3计算目标物三维坐标位置和姿态信息的步骤框图。
33.附图标记：1手术器械；2手术位置；3标记物；4双目摄像设备；5处理单元；6手术灯；31-34标记物个体。
具体实施方式
34.以下，参照附图，对本发明的优选实施例进行更加详细的说明。
35.本发明中，目标物包括手术器械1和手术位置2。其中，手术器械1是指安装的手术机器人的机械臂末端的消融针、穿刺针等医疗器械。在外科手术过程中，对人体的非手术区域要用掩膜遮盖，非遮盖区域即为手术位置2(即病患躯体上拟进行手术的局部区域)，因此对于手术位置2可以用独立的标记物来确定。手术机器人将根据手术器械1和手术位置2的三维坐标位置和姿态信息实时变化情况，结合预定手术方案调整机械臂的动作规划，以完成手术。当然也可以根据系统计算能力和控制精度需求，进一步地选用出厂自带涂层形式标记物的掩膜，通过增加辅助定位标记的数量来提升轨迹跟踪的定位精度。本发明中，姿态信息是指目标物与基本模型位置之间的旋转变换关系，三维坐标位置是指目标物与基本模型位置之间的平移变换关系。手术机器人的具体控制方法属于现有技术，本发明的技术方案不涉及这部分内容，故不再赘述。
36.下面结合附图和具体实施例，对本发明的实现方式进行详细表述。
37.如图1-2所示，用于手术机器人的轨迹跟踪系统，包括：标记物3、双目摄像设备4、处理单元5、手术灯6。
38.标记物3具有用于机器视觉识别的棋盘格图案，棋盘格能在高精度双目相机中清晰成像。例如棋盘格图案为4
×
5个相邻且间隔布置的黑白方块，单个方块的边长为0.45～0.75mm。
39.标记物3的具体实现方式有很多，对于手术器械1和手术位置2应根据实际情况分别选用适用的方式。例如：
40.方式一：标记物3是表面印刷了棋盘格图案的带背胶的粘纸，可以分别粘附在手术器械1和手术位置2的不同表面上，其数量和固定方式可以根据实际需要选择。
41.方式二：标记物3是表面印刷了棋盘格图案的金属薄片或塑料薄片，并通过嵌扣或粘贴方式固定在手术器械1的表面，或将其以粘贴方式固定在手术位置2的表面。
42.方式三：标记物3是以印刷或喷涂方式加工在手术器械1表面的涂层，该涂层具有棋盘格图案，通常是产品出厂自带。对于未带标记物的旧款产品，也可以采用后期粘贴标签
的方式实现。
43.方式四：标记物3是以印刷或喷涂方式加工在掩膜表面的涂层，该涂层具有棋盘格图案，通常是掩膜产品出厂自带。对于未带标记物的旧款产品，也可以采用后期粘贴标签的方式实现。
44.通常情况下，图1中的目标物包括手术器械1和手术位置2，各自均有不同的表面，在多个表面上都可以附着有标记物3；从不同角度观察目标物，观察得到的标记物位置关系不同，无重复。而图2中仅选取一个观察角度说明。在该观察角度上，消融针具有板状尾端，10个标记物散乱地粘附在消融针尾端的表面。
45.双目摄像设备4可选高精度双目相机，分辨率至少为6500w像素，镜头为超低色散镜头。两个相机呈一定角度布置用于拍摄同一区域，记录区域内目标物上各标记物的实况信息。
46.处理单元5通过信号线与所述双目摄像设备连接，用于对双目摄像设备获取的图像进行处理，计算各标记物3的位置和空间关系，并在匹配目标物模型后，获得目标物的三维坐标位置及空间关系。处理单元5可选计算机，或者是具有计算能力的处理器。
47.手术灯6用作光源，其光照强度为10000lux以上，用于提供双目摄像设备4实时成像所需的光照强度。
48.本发明中，利用该轨迹跟踪系统的跟踪方法包括以下步骤：
49.(1)在手术器械1和手术位置2的表面贴附标记物3，并将手术器械1和手术位置2置于标定位置；
50.(2)以双目摄像设备4对手术器械1和手术位置2进行摄像，由处理单元5对所获图像进行处理，计算各标记物3在标定位置下的三维坐标位置和空间关系，并以此为基础获得手术器械1和手术位置2在标定位置下的目标物模型；
51.该步骤中目标物模型的构建方式可采用现有的三维建模方法或点云匹配方法等。所获目标物模型可以在建模完成后内置于机器人控制程序中，以供后续多次重复使用，这样就不需要在每次进行轨迹跟踪前都先去做一次建模。当然，如果标定位置发生较大变化，仍应重复该步骤以更新目标物模型，避免出现误差。
52.(3)在手术机器人的操作过程中，通过双目摄像设备4获取手术器械1和手术位置2的实时图像；由处理单元5对所获图像进行处理，计算各标记物3的实时三维坐标位置和空间关系；在与目标物模型进行匹配和比较后，获得手术器械1实时的三维坐标位置及空间关系；
53.(4)将步骤(3)中获得的计算结果作为手术器械1的轨迹数据输入手术机器人的操控系统，根据预定的手术方案对手术机器人的操作动作进一步跟踪调控。
54.为了方便说明，下面用图2中标记物个体31-34组成的点集为代表，说明各标记物的三维坐标位置和空间关系的确定方法：
55.(3.1)在某个位置时，双目摄像设备4的两个相机同时拍摄到标记物个体31-34。利用三维图像在二维平面上的投影规则，计算标记物个体31-34的三维姿态信息；该姿态信息是指标记物个体31-34的长边、短边和垂直于标记物平面上的直线所构成的三个三维向量，每个被捕捉、识别到的标记物个体31-34都由唯一的三个三维向量特征所表示；
56.(3.2)利用双目摄像设备标定的外参矩阵，将其中一个相机的成像单元获取的标
记物个体31-34的三个三维向量表示转换到另一个相机的成像单元中；如果三个三维向量相等，则认为标记物匹配成功；进一步利用双目相机投影规则，计算出标记物个体31-34在世界坐标下的坐标；
57.世界坐标计算方式如下：
[0058][0059]
其中，int
l
，intr为左右相机的内参矩阵；s
l
，sr为左右相机比例系数；为左右相机比例系数；为标记物个体31-34在左右相机的像素坐标；r
lrr
t
l
t
l
分别表示左右相机矩阵。
[0060]
t＝t
r-rt
l
为外参矩阵，上述表示中只有s
l
，sr，pw未知。
[0061]
则通过计算令s
l
为(a
′
*a)-1
*a
′
*t的第一个元素，其中世界坐标以其中一个相机的坐标原点为原点，以该相机的xy轴为xy轴，则标记物的世界坐标
[0062]
(3.3)利用计算获得的部分标记物的世界坐标组成三维点云；
[0063]
计算出标记物个体31-34的世界坐标之后，可以得到由标记物个体31-34组成的三维点云。用三维点云对基本模型做匹配和比较，可以得到目标物的坐标信息和姿态信息。
[0064]
(3.4)参照同样的方式，可以基于三维点云获得手术器械和手术位置在标定位置下的目标物模型；或者，基于实时计算得到的三维点云和目标物模型进行匹配和比较，以得到手术器械实时的坐标信息和姿态信息。