一种与无影灯结合的术中定位跟踪系统及方法与流程

1.本发明属于医疗器械导航技术领域，更为具体地讲，涉及一种与无影灯结合的术中定位跟踪系统及方法。


背景技术：

2.在医生进行医疗手术中，不知道医疗器械在进入人体后的具体位置，这给医生手术治疗带来极大困难，而手术导航技术为这一需求提供了良好的实施方案。手术导航的关键是对手术器械进行跟踪和定位，双目或三目的光学相机是目前最为常用的跟踪和定位装置。术前，手术导航系统需要将人体医学影像空间与光学相机测量空间进行配准，即建立从光学相机测量坐标系到医学图像坐标系之间的映射关系；术中，手术导航系统将光学相机获得的手术器械在测量坐标系下的三维位置和姿态转换到医学图像空间进行显示，为医生提供手术器械在人体内部的图像导航信息，协助医生进行手术，提高了医生操作手术器械的精度，大大减小了手术实施过程的难度。
3.目前，传统的基于光学相机定位的手术导航系统要求手术过程中人体与光学相机保持相对静止。术中一旦人体与相机位姿改变，需要重新执行术前的配准操作，将测量坐标系与人体医学图像坐标系重新配准。同时，手术过程中又必须保证手术器械在光学相机中可视，光学测量通道上无遮挡。这就极大的限制了手术医生的操作空间。此外，传统手术导航中的光学定位系统多采用双目或三目直线型排列的相机，根据立体视觉原理，手术过程中，必须保证手术器械上的光学标记物在至少两个相机中可见，对手术器械的姿态提出了严格要求，进一步限制了医生手术操作的自由度。


技术实现要素：

4.本发明的目的在于克服现有技术的不足，提供一种与无影灯结合的术中定位跟踪系统及方法，利用相机检测手术器械上的定位标记以及无影灯多关节支架转动轴处角度传感器的数据，结合手术前人体三维扫描模型数据，实现医疗器械相对于人体位置的术中定位跟踪。
5.为实现上述发明目的，本发明一种与无影灯结合的术中定位跟踪系统，其特征在于，包括：无影灯、光学定位相机阵列、无影灯多关节支架和pc机；
6.所述无影灯由多个灯头组成；在手术前，打开无影灯的开关，将无影灯调整到光照合适的位置，然后进行聚焦和照射角度的调整，使无影灯的灯光调整到最佳的亮度和角度；
7.所述光学定位相机阵列由固定在无影灯上的多个光学相机组成，各相机均匀排列在无影灯外围形成相机阵列，无影灯及光学定位相机阵列一起固定在无影灯多关节支架的顶端；
8.所述无影灯多关节支架由几段刚性连杆组成，刚性连杆的关节连接处安装有角度测量编码器，可以读取关节两段连杆之间的角度值；
9.所述光学定位相机阵列经过标定，定义光学定位相机阵列中的某一相机的“相机
坐标系”为测量坐标系o1，标定出各相机的内部参数以及在测量坐标系o1下的外部参数；
10.所述无影灯多关节支架经过运动学建模，在支架底座上定义世界坐标系o2，根据无影灯多关节支架的机械结构，建立支架运动学模型，该运动学模型，能根据支架各关节角度编码器的角度值计算支架末端的测量坐标系o1到支架底座的世界坐标系o2之间的变换矩阵[r t]；
[0011]
手术过程中，利用光学定位相机阵列对手术器械上的光学标记物进行检测，实时捕获光学标记物的二维像素坐标，然后通过立体匹配得到各光学标记物在测量坐标系o1下的三维坐标；接着，pc机根据支架各关节角度值计算变换矩阵[r t]，将光学标记物的三维坐标变换到世界坐标系o2下，从而确定出手术器械在世界坐标系o2下的位置和姿态，完成手术器械的定位和跟踪；最后将手术器械的位姿换到医学影像坐标系下，从而在pc机的显示器上实时显示手术器械位置的医学影像，以此引导医生进行手术。进一步的，本发明还提供一种与无影灯结合的术中定位跟踪方法，其特征在于，包括以下步骤：
[0012]
(1)、术前完成各光学定位相机标定，以及建立无影灯多关节支架的支架运动学模型；
[0013]
(2)、术前配准世界坐标系o2和医学影像坐标系，从而建立世界坐标系到医学影像的映射关系；
[0014]
(3)、术中从各光学定位相机中读取当前帧图像，检测图像中的光学标记物(一般固定在手术器械上)，获得光学标记物的二维像素坐标；
[0015]
(4)、根据各光学定位相机的标定参数，对光学标记物进行立体匹配，由两个或两个以上相机获得的光学标记物二维像素坐标计算出其在测量坐标系o1下的三维坐标值；
[0016]
(5)、读取无影灯多关节支架各关节的角度值，基于支架运动模型，计算测量坐标系o1到世界坐标系o2的变换矩阵[r t]；
[0017]
(6)、利用变换矩阵[r t]将光学标记物在测量坐标系o1下的三维坐标转换到世界坐标系o2下，从而确定手术器械在世界坐标系o2下的位置和姿态；
[0018]
(7)、通过术前步骤(2)建立的映射关系，将手术器械在世界坐标系o2下的位姿转换到医学影像坐标系下，并在pc机显示器上与医学影像一起实时显示，完成当前帧的手术器械定位跟踪和导航显示；
[0019]
(8)、返回步骤(3)，然后读取下一帧图像，重复以上流程。
[0020]
本发明的发明目的是这样实现的：
[0021]
本发明一种与无影灯结合的术中定位跟踪系统及方法，在术前完成各光学定位相机标定，以及建立无影灯多关节支架的支架运动学模型，同时配准世界坐标系o2和医学影像坐标系，建立从世界坐标系到医学影像的映射关系；在术中，利用光学定位相机阵列对手术器械上的光学标记物进行检测，获得光学标记物的二维像素坐标，然后通过立体匹配得到光学标记物在测量坐标系o1下的三维坐标；接着，读取无影灯多关节支架各关节的角度值，基于支架运动模型，计算测量坐标系o1到世界坐标系o2的变换矩阵[r t]；然后，利用变换矩阵[r t]将光学标记物的三维坐标变换到世界坐标系o2下，从而确定出手术器械在世界坐标系o2下的位置和姿态，完成手术器械的定位和跟踪；最后通过术前建立的世界坐标系到医学影像的映射关系，将手术器械的位姿转换到医学影像坐标系下，从而在pc机的显示器上实时显示手术器械在医学影像中的位置，以此引导医生进行手术。
[0022]
同时，本发明一种与无影灯结合的术中定位跟踪系统及方法还具有以下有益效果：
[0023]
(1)、本发明将光学定位相机阵列固定在无影灯外围，可以全方位检测手术器械末端固定的光学标记物，有效减小了手术器械的光学标记物被遮挡的情况，放宽了对手术器械操作角度的限制，增大了医生手术操作的自由度。
[0024]
(2)、本发明采用多个光学定位相机同时检测光学标记物，提高了手术器械定位精度。
[0025]
(3)、本发明在无影灯多关节支架各关节上安装角度测量编码器，从而允许术中根据手术实施的需要，对无影灯和相机阵列进行位置和姿态调节，寻找最佳测量和照射角度。
附图说明
[0026]
图1是本发明一种与无影灯结合的术中定位跟踪系统架构图；
[0027]
图2是光学标记物示意图；
[0028]
图3是本发明一种与无影灯结合的术中定位跟踪方法流程图。
具体实施方式
[0029]
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
[0030]
实施例
[0031]
图1是本发明一种与无影灯结合的术中定位跟踪系统架构图。
[0032]
在本实施例中，如图1所示，本发明一种与无影灯结合的术中定位跟踪系统，包括：无影灯、光学定位相机阵列、无影灯多关节支架和pc机；
[0033]
所述无影灯由多个灯头组成；在手术前，打开无影灯的开关，将无影灯调整到光照合适的位置，然后进行聚焦和照射角度的调整，使无影灯的灯光调整到最佳的亮度和角度；
[0034]
所述光学定位相机阵列由固定在无影灯上的多个光学定位相机组成，各光学定位相机均匀排列在无影灯外围形成相机阵列，然后将无影灯及光学定位相机阵列一起固定在无影灯多关节支架的顶端；
[0035]
所述无影灯多关节支架由几段刚性连杆组成，刚性连杆的连接处安装有角度编码器，用于测量关节两段刚性连杆之间的角度；
[0036]
所述光学定位相机阵列经过标定，定义光学定位相机阵列中某一相机的“相机坐标系”为测量坐标系o1，标定出各光学定位相机的内部参数以及在测量坐标系o1下的外部参数；在本实例中，光学定位相机标定可采用(但不限于)《aflexible new technique for camera calibration》(zhengyou zhang)提出的多相机标定方法；由于各相机之间刚性连接，相对位姿不变，相机标定是一次性的，可在产品出厂前完成标定。
[0037]
所述无影灯多关节支架经过运动学建模，在支架底座上定义世界坐标系o2，根据无影灯多关节支架的机械结构，建立支架运动学模型；基于该运动学模型，可由支架各关节角度编码器的角度值计算测量坐标系o1到世界坐标系o2之间的变换矩阵[r t]；在本实例中，无影灯多关节支架运动学模型可采用(但不限于)《工业机器人d
‑
h建模与运动仿真》(唐
越，郑金辉等)提出的d
‑
h建模方法；由于支架的机械结构不变，其运动学建模也是一次性的，可在出厂前建立；
[0038]
在手术前，配准世界坐标系o2和医学影像坐标系，从而建立世界坐标系到医学影像的映射关系；利用该映射关系，可以将世界坐标系o2下测量得到的手术器械位姿和姿态转换到医学影像空间在相应位置显示，从而实现基于医学影像的手术导航。在本实例中，具体配准技术可采用(但不限于)向华等在文献《手术导航三维空间配准技术研究》提出的配准技术；
[0039]
手术过程中，从各光学定位相机中读取当前帧图像，检测图像中的光学标记物(固定手术器械上)，获得光学标记物二维像素坐标。在本实例中，光学标记物可以设计成(但不限于)图2所示的形式，光学标记物的检测可采用(但不限于)geiger,andreas等在文献《automatic cameraand range sensor calibration using a single shot》提出的黑白格的检测方法。定位标记的空间坐标可采用losada cristina在《multi
‑
camera sensor system for 3d segmentation and localization of multiple mobile robots》中提出的空间定位方法。
[0040]
根据各光学定位相机的标定参数，对光学标记物的二维像素坐标进行立体匹配，由二维像素坐标计算出光学标记物在测量坐标系o1下的三维坐标值；
[0041]
接着，pc机从无影灯支架角度编码器读取各关节角度信息，根据关节运动学模型，计算变换矩阵[r t]，利用该矩阵将光学标记物的三维坐标变换到世界坐标系o2下，从而确定出手术器械(与光学标记物刚性连接)在世界坐标系o2下的位置和姿态，完成手术器械的定位和跟踪。在本实例中,可采用kim等在文献《attitude determination using windowed quaternion estimator》提出的姿态估计算法。
[0042]
最后，将手术器械的位姿转换到医学影像坐标系下，从而在pc机的显示器上实时显示包含手术器械位置的医学影像，从而完成当前帧的手术器械定位跟踪和导航显示。
[0043]
如图3所示，下面我们对一种与无影灯结合的术中定位跟踪方法进行详细说明，设光学定位相机已经过标定，无影灯支架已建立运动学模型，具体包括以下步骤：
[0044]
s1、术前配准世界坐标系o2和医学影像坐标系，建立真实世界空间到医学影像空间的映射关系；
[0045]
s2、术中从各光学定位相机中读取当前帧图像，检测图像中的光学标记物，获得光学标记物二维像素坐标；
[0046]
s3、根据各光学相机的标定参数，对光学标记物进行立体匹配，由其在两个及两个以上相机中的二维像素坐标计算其在测量坐标系o1下的三维坐标；
[0047]
s4、读取无影灯多关节支架各关节的角度值，基于支架运动模型，计算测量坐标系o1到世界坐标系o2的变换矩阵[r t]；
[0048]
s5、利用变换矩阵[r t]将光学标记物在测量坐标系o1下的三维坐标转换到世界坐标系o2下，从而确定手术器械在世界坐标系o2下的位姿；
[0049]
s6、基于步骤s1得到的映射关系，将手术器械在世界坐标系o2下的位姿转换到医学影像坐标系下，并在pc机显示器上与医学影像一起实时显示，从而完成当前帧的手术器械定位跟踪和导航显示；
[0050]
s7、返回步骤s2，然后读取下一帧图像，重复以上流程。
[0051]
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。