基于特征点配准与增强现实的髋臼假体放置引导系统及方法与流程

1.本发明涉及计算机图形图像处理技术领域，具体涉及一种基于特征点配准与增强现实的髋臼假体放置引导系统及方法。


背景技术：

2.研究发现术中假体植入位置不正确是导致髋关节置换术后关节不稳定脱位等多种并发症的重要原因，而髋臼假体的准确放置又是假体放置中难度最大的一环，因此国内外许多专家认为髋臼假体的精准放置是手术成功的关键。
3.由于髋关节结构的特殊性与复杂性和受到多种潜在因素的影响，如术中患者体位发生变化、术者目测误差、参考标志变形或缺失等，髋臼假体的精准放置方法尚无统一标准，存在定位不准，手术难度与风险大的问题。
4.目前国内医生在髋关节置换术前大多采用ct图像了解病人病灶信息，但是ct图像是二维图像，医生只能凭借经验从序列二维图像估计病灶大小和形状，想象病灶和周围组织的关系，这给手术方案的制定带来了一定的困难。在髋关节置换术中，主要也还是依靠临床经验和肉眼观察来定位髋臼假体的放置位置，存在假体植入不准的问题。


技术实现要素：

5.本发明的目的在于克服现有技术存在的髋臼假体植入不准问题，提出了一种基于特征点配准与增强现实的髋臼假体放置引导系统及方法，本发明减少仅凭主观判断引起的误差，提高髋臼假体放置的准确性和安全性，缩短假体放置时间。
6.为了达到上述目的，本发明采用以下技术方案：
7.本发明提供一种基于特征点配准与增强现实的髋臼假体放置引导系统，包括：髋关节图像解析模块、髋关节模型三维重建模块、髋臼杯型号求解模块、模拟髋臼杯放置模块、假体放置路径规划模块、深度相机信息获取模块，旋转平移矩阵求解模块、虚实场景配准模块、机械臂引导模块；
8.所述髋关节图像解析模块用于对髋关节部位的dicom格式文件进行解析，获取髋关节图像信息；
9.所述髋关节模型三维重建模块用于基于移动立方体算法获取虚拟三维髋关节模型；
10.所述髋臼杯型号求解模块用于基于交互式点拾取技术和最小二乘法拟合求解对应的髋臼杯型号；
11.所述模拟髋臼杯放置模块用于将对应髋臼杯以stl文件格式导入，采用lewinnek安全区作为髋臼假体放置的参考标准模拟髋臼杯放置；
12.所述假体放置路径规划模块用于根据髋臼杯边缘信息与交互式点拾取技术，确定髋臼磨锉与植入髋臼假体路径方向并进行可视化；
13.所述深度相机信息获取模块用于获取实际髋关节手术部位目标模型视频场景，对
视频图像进行格式解析，获取视频图像的彩色信息和深度信息；
14.所述旋转平移矩阵求解模块用于将虚拟三维髋关节模型作为浮动图像，将视频场景中的实际髋关节手术部位目标模型作为参考图像，基于选取特征点匹配的四元数法求解旋转矩阵和平移矩阵；
15.所述虚实场景配准模块用于将求解的旋转平移矩阵作用于虚场景，以实现虚实场景的配准，同时利用增强现实技术将已配准好的虚拟规划路径实时渲染到实际场景；
16.所述机械臂引导模块用于基于张氏标定法实现机械臂的手眼标定，获取相机坐标系转换到机械臂坐标系下的变换矩阵，从而引导机械臂抓取髋臼锉到术前规划路径的空间位置，结合增强现实效果进行髋臼磨锉和髋臼假体的放置。
17.作为优选的技术方案，所述髋臼杯型号求解模块用于基于交互式点拾取技术和最小二乘法拟合求解对应的髋臼杯型号，具体包括：
18.对虚拟三维髋关节模型进行三维姿态变换使其髋臼横截面在计算机屏幕上的投影面最大，利用交互式点拾取技术在髋臼横截面上选取多个特征点进行髋臼杯大小的拟合，基于最小二乘法求解对应的髋臼杯外径大小，确定全髋关节置换中所需的髋臼杯型号。
19.作为优选的技术方案，所述假体放置路径规划模块用于根据髋臼杯边缘信息与交互式点拾取技术，确定髋臼磨锉与植入髋臼假体路径方向并进行可视化，具体包括：
20.根据髋臼杯的边缘信息，采用交互式点拾取技术选取特征点构建髋臼杯平面，根据平面中心区域选取髋臼磨锉点，根据三维空间几何关系求解髋臼磨锉点基于平面的法向量，采用移动立方体算法可视化法向量，作为髋臼磨锉与植入髋臼假体的路径方向。
21.作为优选的技术方案，所述旋转平移矩阵求解模块用于将虚拟三维髋关节模型作为浮动图像，将视频场景中的实际髋关节手术部位目标模型作为参考图像，基于选取特征点匹配的四元数法求解旋转矩阵和平移矩阵，具体包括：
22.在虚拟三维髋关节模型上获取目标点集u＝{ui,i＝0,1,2,
…
,n}，在视频图像上获取实际髋关节手术部位目标模型对应的参考点集x＝{xi,i＝0,1,2,
…
,n}；
23.设置目标函数为：
24.其中，r表示旋转矩阵，t表示平移矩阵；
25.分别求目标点集u和参考点集x的重心，表示为：
[0026][0027]
基于目标点集u和参考点集x构造协方差矩阵k，表示为：
[0028][0029]
基于协方差矩阵k中元素k
ij
构造出对称矩阵n，表示为：
[0030][0031]
基于jacobi法计算对称矩阵n对应的特征值和特征向量，获取最大特征值对应的单位特征向量q＝[q
0 q
1 q
2 q3]，进一步求解旋转矩阵r，表示为：
[0032][0033]
基于旋转矩阵r求解平移矩阵t，表示为：
[0034]
t＝μ
x-rμu[0035]
其中，μu表示目标点集u的重心，μ
x
表示参考点集x的重心。
[0036]
本发明还提供一种基于特征点配准与增强现实的髋臼假体放置引导方法，包括下述步骤：
[0037]
对髋关节部位的dicom格式文件进行解析，获取髋关节图像信息；
[0038]
基于移动立方体算法三维重建虚拟三维髋关节模型；
[0039]
基于交互式点拾取技术和最小二乘法拟合求解对应的髋臼杯型号；
[0040]
将髋臼杯型号以stl文件格式导入，采用lewinnek安全区作为髋臼假体放置的参考标准模拟髋臼杯放置；
[0041]
根据髋臼杯边缘信息与交互式点拾取技术确定髋臼磨锉与植入髋臼假体路径方向并进行可视化；
[0042]
使用深度相机获取实际髋关节手术部位目标模型视频图像，解析图像的彩色信息和深度信息；
[0043]
将虚拟三维髋关节模型作为浮动图像，将实际髋关节手术部位目标模型作为参考图像，基于选取特征点匹配的四元数法求解旋转矩阵和平移矩阵；
[0044]
根据旋转矩阵和平移矩阵得到虚拟场景转换到实际场景的空间变换关系，实现虚实场景的配准；
[0045]
利用增强现实技术将配准好的虚拟规划路径实时渲染到实际场景；
[0046]
采用张式标定法实现机械臂的手眼标定，获取相机坐标系转换到机械臂坐标系下的变换矩阵，将虚拟规划路径在深度相机坐标系下对应的位姿信息转换到机械臂坐标系，引导机械臂抓取髋臼锉到虚拟规划路径，结合增强现实效果进行髋臼磨锉和髋臼假体的放置。
[0047]
作为优选的技术方案，所述基于交互式点拾取和最小二乘法拟合求解对应的髋臼杯型号，具体包括：
[0048]
对虚拟三维髋关节模型进行三维姿态变换使其髋臼横截面在计算机屏幕上的投影面最大，利用交互式点拾取技术在髋臼横截面上选取多个特征点进行髋臼杯大小的拟
合，基于最小二乘法求解对应的髋臼杯外径大小，确定全髋关节置换中所需的髋臼杯型号。
[0049]
作为优选的技术方案，所述根据髋臼杯边缘信息与交互式点拾取技术确定髋臼磨锉与植入髋臼假体路径方向并进行可视化，具体包括：
[0050]
根据髋臼杯的边缘信息，采用交互式点拾取技术选取特征点构建髋臼杯平面，根据平面中心区域选取髋臼磨锉点，根据三维空间几何关系求解髋臼磨锉点基于平面的法向量，采用移动立方体算法可视化法向量，作为髋臼磨锉与植入髋臼假体的路径方向。
[0051]
作为优选的技术方案，所述将虚拟三维髋关节模型作为浮动图像，将实际髋关节手术部位目标模型作为参考图像，基于选取特征点匹配的四元数法求解旋转矩阵和平移矩阵，具体包括：
[0052]
在虚拟三维髋关节模型上获取目标点集u＝{ui,i＝0,1,2,
…
,n}，在视频图像上获取实际髋关节手术部位目标模型对应的参考点集x＝{xi,i＝0,1,2,
…
,n}；
[0053]
设置目标函数为：
[0054]
其中，r表示旋转矩阵，t表示平移矩阵；
[0055]
分别求目标点集u和参考点集x的重心，表示为：
[0056][0057]
基于目标点集u和参考点集x构造协方差矩阵k，表示为：
[0058][0059]
基于协方差矩阵k中元素k
ij
构造出对称矩阵n，表示为：
[0060][0061]
基于jacobi法计算对称矩阵n对应的特征值和特征向量，获取最大特征值对应的单位特征向量q＝[q
0 q
1 q
2 q3]，进一步求解旋转矩阵r，表示为：
[0062][0063]
基于旋转矩阵r求解平移矩阵t，表示为：
[0064]
t＝μ
x-rμu[0065]
其中，μu表示目标点集u的重心，μ
x
表示参考点集x的重心。
[0066]
本发明与现有技术相比，具有如下优点和有益效果：
[0067]
(1)本发明利用交互式点拾取技术和最小二乘法拟合求解髋臼杯型号，采用lewinnek安全区作为参考标准模拟实现髋臼杯放置，根据三维空间几何关系求解髋臼磨锉
和髋臼假体放置路径并进行可视化，达到规划假体放置路径的目的。
[0068]
(2)本发明不依赖于人工标记，基于特征点实现虚拟场景和实际场景的匹配，利用增强现实技术将已配准的虚拟规划路径实时渲染到实际场景，达到精确放置假体的目的。
[0069]
(3)本发明结合了机械臂引导模块，机械臂可抓取髋臼锉到达规划好的参考路径，减少仅凭主观判断引起的误差，提高假体放置的准确性和安全性，缩短假体放置时间。
附图说明
[0070]
图1为本发明基于特征点配准与增强现实的髋臼假体放置引导系统的框架结构示意图；
[0071]
图2为本发明基于特征点配准与增强现实的髋臼假体放置引导方法的流程示意图；
[0072]
图3为本发明虚拟规划路径的效果示意图；
[0073]
图4(a)为本发明配准好的虚拟髋臼杯和假体放置路径的效果示意图；
[0074]
图4(b)为本发明只显示虚拟假体放置路径的效果示意图；
[0075]
图5为本发明机械臂引导效果示意图。
具体实施方式
[0076]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0077]
实施例1
[0078]
如图1所示，本实施例提供一种基于特征点配准与增强现实的髋臼假体放置引导系统，包括：髋关节图像解析模块、髋关节模型三维重建模块、髋臼杯型号求解模块、模拟髋臼杯放置模块、假体放置路径规划模块、深度相机信息获取模块，旋转平移矩阵求解模块、虚实场景配准模块、机械臂引导模块；
[0079]
在本实施例中，髋关节图像解析模块用于对髋关节部位的dicom格式文件进行解析，获取髋关节图像信息；
[0080]
在本实施例中，髋关节模型三维重建模块用于基于移动立方体算法获取虚拟三维髋关节模型；
[0081]
在本实施例中，髋臼杯型号求解模块用于基于交互式点拾取技术和最小二乘法拟合求解对应的髋臼杯型号；
[0082]
在本实施例中，模拟髋臼杯放置模块用于将对应髋臼杯以stl(stereo lithography)文件格式导入，采用lewinnek安全区作为髋臼假体放置的参考标准进行髋臼杯放置的规划模拟；
[0083]
在本实施例中，假体放置路径规划模块用于根据髋臼杯边缘信息与交互式点拾取技术确定髋臼磨锉与植入髋臼假体路径方向并进行可视化，可视化结果如图3所示。
[0084]
在本实施例中，深度相机信息获取模块用于获取实际髋关节手术部位目标模型视频场景，对视频图像进行格式解析，获取视频图像的彩色信息和深度信息；
[0085]
在本实施例中，旋转平移矩阵求解模块用于将虚拟三维髋关节模型作为浮动图
像，将视频场景中的实际髋关节手术部位目标模型作为参考图像，基于选取特征点匹配的四元数法求解旋转矩阵和平移矩阵；
[0086]
在本实施例中，虚实场景配准模块用于将求解的旋转平移矩阵作用于虚场景，以实现虚实场景的配准，同时利用增强现实技术将已配准好的虚拟规划路径实时渲染到实际场景。如图4(a)和图4(b)所示，得到配准好的虚拟髋臼杯和假体放置路径、以及只显示虚拟假体放置路径的配准渲染效果；
[0087]
在本实施例中，机械臂引导模块用于基于张氏标定法实现机械臂的手眼标定，获取相机坐标系转换到机械臂坐标系下的变换矩阵，从而引导机械臂抓取髋臼锉到术前规划路径的空间位置，结合增强现实效果进行髋臼磨锉和髋臼假体的放置，机械臂引导效果如图5所示。
[0088]
在本实施例中，髋臼杯型号求解模块用于基于交互式点拾取技术和最小二乘法拟合求解对应的髋臼杯型号，具体包括：
[0089]
对虚拟三维髋关节模型进行三维姿态变换使其髋臼横截面在计算机屏幕上的投影面最大，利用交互式点拾取技术在髋臼横截面上选取多个特征点进行髋臼杯型号的拟合，基于最小二乘法求解对应的髋臼杯外径大小，确定全髋关节置换中所需的髋臼杯型号。
[0090]
在本实施例中，路径方向可视化模块用于根据髋臼杯边缘信息与交互式点拾取技术确定髋臼磨锉与植入髋臼假体路径方向并进行可视化，具体包括：
[0091]
根据髋臼杯的边缘信息，采用交互式点拾取技术选取特征点构建髋臼杯平面，根据平面中心区域选取髋臼磨锉点，根据三维空间几何关系求解髋臼磨锉点基于平面的法向量，采用移动立方体算法可视化法向量，作为髋臼磨锉与植入髋臼假体的路径方向。
[0092]
在本实施例中，旋转平移矩阵求解模块用于将虚拟三维髋关节模型作为浮动图像，将视频场景中的实际髋关节手术部位目标模型作为参考图像，基于选取特征点匹配的四元数法求解旋转矩阵和平移矩阵，具体包括：
[0093]
在虚拟三维髋关节模型上获取目标点集u＝{ui,i＝0,1,2,
…
,n}，在视频图像上获取3d髋关节模型对应的参考点集x＝{xi,i＝0,1,2,
…
,n}；
[0094]
设置目标函数为：
[0095]
其中，r表示旋转矩阵，t表示平移矩阵；
[0096]
分别求目标点集u和参考点集x的重心，表示为：
[0097][0098]
基于目标点集u和参考点集x构造协方差矩阵k，表示为：
[0099][0100]
基于协方差矩阵k中元素k
ij
(i,j＝1,2,3)构造出对称矩阵n，表示为：
[0101][0102]
基于jacobi法计算对称矩阵n对应的特征值和特征向量，获取最大特征值对应的单位特征向量q＝[q
0 q
1 q
2 q3]，进一步求解旋转矩阵r，表示为：
[0103][0104]
基于旋转矩阵r求解平移矩阵t，表示为：
[0105]
t＝μ
x-rμu[0106]
其中，μu表示目标点集u的重心，μ
x
表示参考点集x的重心。
[0107]
实施例2
[0108]
如图2所示，本实施例提供一种基于特征点配准与增强现实的髋臼假体放置引导方法，包括下述步骤：
[0109]
步骤1：对髋关节部位的dicom格式文件进行解析，获取其包含的图像信息，基于移动立方体算法获取三维髋关节模型并将其显示在计算机屏幕上。
[0110]
步骤2：对虚拟三维髋关节模型进行三维姿态变换使其髋臼横截面在计算机屏幕上的投影面最大，利用交互式点拾取技术在髋臼横截面上选取一系列特征点进行髋臼杯型号的拟合，特征点选取完毕后，基于最小二乘法求解对应的髋臼杯外径大小，以此确定全髋关节置换中所需的髋臼杯型号。
[0111]
步骤3：将确定好的髋臼杯型号以stl文件格式导入并显示在同一窗口，采用lewinnek安全区作为髋臼假体放置的参考标准规划模拟实现髋臼杯的放置。
[0112]
步骤4：基于放置好的髋臼杯模型的边缘信息，采用交互式点拾取技术选取特征点构建髋臼杯平面，再根据平面中心区域选取髋臼磨锉点；利用三维空间几何关系求解髋臼磨锉点基于平面的法向量，采用移动立方体算法可视化出该虚拟法向量方向以便于观察，可视化效果如图3所示。此法向量方向便是术前规划的髋臼磨锉与植入髋臼假体的方向，将此法向量方向作为术中髋臼磨锉和植入髋臼假体方向的参考标准。
[0113]
步骤5：采用三维深度相机获取3d打印的髋关节模型的三维视频场景，对视频图像进行格式解析，获取视频图像的彩色信息和深度信息。
[0114]
步骤6：将步骤1中三维重建的虚拟三维髋关节模型当作浮动图像，将视频场景中的3d打印髋关节模型当作参考图像，使用基于选取特征点匹配的四元数法求解旋转矩阵和平移矩阵，实现虚拟浮动图像向实际参考图像的配准，具体包含以下步骤：
[0115]
6.1)在三维虚拟模型上获取目标点集u＝{ui,i＝0,1,2,
…
,n}，在视频图像上获取3d打印模型对应的参考点集x＝{xi,i＝0,1,2,
…
,n}，两个点集包含点的数目相同，为使目标点集u向参考点集x配准，需要求解出最优的旋转矩阵r和平移矩阵t,满足目标函数：
式中r是3
×
3的旋转矩阵，t是3
×
1的平移矩阵。
[0116]
6.2)分别求目标点集u和参考点集x的重心。
[0117][0118]
6.3)基于目标点集u和参考点集x构造协方差矩阵k。
[0119][0120]
6.4)基于协方差矩阵k中元素k
ij
(i,j＝1,2,3)构造出一个4
×
4的对称矩阵n。
[0121][0122]
6.5)基于jacobi法计算矩阵n对应的特征值和特征向量，获取最大特征值对应的单位特征向量q＝[q
0 q
1 q
2 q3]，则可进一步求解旋转矩阵r。
[0123][0124]
6.6)基于旋转矩阵r求解平移矩阵t。
[0125]
t＝μ
x-rμu[0126]
步骤7：根据计算出的r，t矩阵即可得出术前虚拟场景转换到术中实际场景的空间变换关系，从而实现虚实场景的配准。接着利用增强现实融合技术将已配准好的虚拟规划路径实时渲染到术中实际场景，如图4(a)和图4(b)所示，得到配准好的虚拟髋臼杯和假体放置路径、以及只显示虚拟假体放置路径的配准渲染效果；
[0127]
步骤8：实现机械臂的手眼标定。采用张氏标定法，计算机械臂和三维深度相机的相对位置关系，获取相机坐标系转换到机械臂坐标系下的变换矩阵由步骤7可获取虚拟规划路径在深度相机坐标系下对应的位姿信息，再利用求解的可其转换到机械臂坐标系。最终，根据虚拟规划路径在机械臂坐标系下的位姿信息，引导机械臂抓取髋臼锉到达规划好的空间位置，同时结合增强现实效果，进行磨锉和髋臼假体的放置。机械臂引导效果如图5所示。
[0128]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。