基于特征点配准与增强现实的髋臼假体放置引导系统及方法与流程

技术特征：
1.一种基于特征点配准与增强现实的髋臼假体放置引导系统，其特征在于，包括：髋关节图像解析模块、髋关节模型三维重建模块、髋臼杯型号求解模块、模拟髋臼杯放置模块、假体放置路径规划模块、深度相机信息获取模块，旋转平移矩阵求解模块、虚实场景配准模块、机械臂引导模块；所述髋关节图像解析模块用于对髋关节部位的dicom格式文件进行解析，获取髋关节图像信息；所述髋关节模型三维重建模块用于基于移动立方体算法获取虚拟三维髋关节模型；所述髋臼杯型号求解模块用于基于交互式点拾取技术和最小二乘法拟合求解对应的髋臼杯型号；所述模拟髋臼杯放置模块用于将对应髋臼杯以stl文件格式导入，采用lewinnek安全区作为髋臼假体放置的参考标准模拟髋臼杯放置；所述假体放置路径规划模块用于根据髋臼杯边缘信息与交互式点拾取技术，确定髋臼磨锉与植入髋臼假体路径方向并进行可视化；所述深度相机信息获取模块用于获取实际髋关节手术部位目标模型视频场景，对视频图像进行格式解析，获取视频图像的彩色信息和深度信息；所述旋转平移矩阵求解模块用于将虚拟三维髋关节模型作为浮动图像，将视频场景中的实际髋关节手术部位目标模型作为参考图像，基于选取特征点匹配的四元数法求解旋转矩阵和平移矩阵；所述虚实场景配准模块用于将求解的旋转平移矩阵作用于虚场景，以实现虚实场景的配准，同时利用增强现实技术将已配准好的虚拟规划路径实时渲染到实际场景；所述机械臂引导模块用于基于张氏标定法实现机械臂的手眼标定，获取相机坐标系转换到机械臂坐标系下的变换矩阵，从而引导机械臂抓取髋臼锉到术前规划路径的空间位置，结合增强现实效果进行髋臼磨锉和髋臼假体的放置。2.根据权利要求1所述的基于特征点配准与增强现实的髋臼假体放置引导系统，其特征在于，所述髋臼杯型号求解模块用于基于交互式点拾取技术和最小二乘法拟合求解对应的髋臼杯型号，具体包括：对虚拟三维髋关节模型进行三维姿态变换使其髋臼横截面在计算机屏幕上的投影面最大，利用交互式点拾取技术在髋臼横截面上选取多个特征点进行髋臼杯大小的拟合，基于最小二乘法求解对应的髋臼杯外径大小，确定全髋关节置换中所需的髋臼杯型号。3.根据权利要求1所述的基于特征点配准与增强现实的髋臼假体放置引导系统，其特征在于，所述假体放置路径规划模块用于根据髋臼杯边缘信息与交互式点拾取技术，确定髋臼磨锉与植入髋臼假体路径方向并进行可视化，具体包括：根据髋臼杯的边缘信息，采用交互式点拾取技术选取特征点构建髋臼杯平面，根据平面中心区域选取髋臼磨锉点，根据三维空间几何关系求解髋臼磨锉点基于平面的法向量，采用移动立方体算法可视化法向量，作为髋臼磨锉与植入髋臼假体的路径方向。4.根据权利要求1所述的基于特征点配准与增强现实的髋臼假体放置引导系统，其特征在于，所述旋转平移矩阵求解模块用于将虚拟三维髋关节模型作为浮动图像，将视频场景中的实际髋关节手术部位目标模型作为参考图像，基于选取特征点匹配的四元数法求解旋转矩阵和平移矩阵，具体包括：
在虚拟三维髋关节模型上获取目标点集u＝{u
i
,i＝0,1,2,
…
,n}，在视频图像上获取实际髋关节手术部位目标模型对应的参考点集x＝{x
i
,i＝0,1,2,
…
,n}；设置目标函数为：其中，r表示旋转矩阵，t表示平移矩阵；分别求目标点集u和参考点集x的重心，表示为：基于目标点集u和参考点集x构造协方差矩阵k，表示为：基于协方差矩阵k中元素k
ij
构造出对称矩阵n，表示为：基于jacobi法计算对称矩阵n对应的特征值和特征向量，获取最大特征值对应的单位特征向量q＝[q
0 q
1 q
2 q3]，进一步求解旋转矩阵r，表示为：基于旋转矩阵r求解平移矩阵t，表示为：t＝μ
x-rμ
u
其中，μ
u
表示目标点集u的重心，μ
x
表示参考点集x的重心。5.一种基于特征点配准与增强现实的髋臼假体放置引导方法，其特征在于，包括下述步骤：对髋关节部位的dicom格式文件进行解析，获取髋关节图像信息；基于移动立方体算法三维重建虚拟三维髋关节模型；基于交互式点拾取技术和最小二乘法拟合求解对应的髋臼杯型号；将髋臼杯型号以stl文件格式导入，采用lewinnek安全区作为髋臼假体放置的参考标准模拟髋臼杯放置；根据髋臼杯边缘信息与交互式点拾取技术确定髋臼磨锉与植入髋臼假体路径方向并进行可视化；使用深度相机获取实际髋关节手术部位目标模型视频图像，解析图像的彩色信息和深度信息；将虚拟三维髋关节模型作为浮动图像，将实际髋关节手术部位目标模型作为参考图
像，基于选取特征点匹配的四元数法求解旋转矩阵和平移矩阵；根据旋转矩阵和平移矩阵得到虚拟场景转换到实际场景的空间变换关系，实现虚实场景的配准；利用增强现实技术将配准好的虚拟规划路径实时渲染到实际场景；采用张式标定法实现机械臂的手眼标定，获取相机坐标系转换到机械臂坐标系下的变换矩阵，将虚拟规划路径在深度相机坐标系下对应的位姿信息转换到机械臂坐标系，引导机械臂抓取髋臼锉到虚拟规划路径，结合增强现实效果进行髋臼磨锉和髋臼假体的放置。6.根据权利要求5所述的基于特征点配准与增强现实的髋臼假体放置引导方法，其特征在于，所述基于交互式点拾取技术和最小二乘法拟合求解对应的髋臼杯型号，具体包括：对虚拟三维髋关节模型进行三维姿态变换使其髋臼横截面在计算机屏幕上的投影面最大，利用交互式点拾取技术在髋臼横截面上选取多个特征点进行髋臼杯大小的拟合，基于最小二乘法求解对应的髋臼杯外径大小，确定全髋关节置换中所需的髋臼杯型号。7.根据权利要求5所述的基于特征点配准与增强现实的髋臼假体放置引导方法，其特征在于，所述根据髋臼杯边缘信息与交互式点拾取技术确定髋臼磨锉与植入髋臼假体路径方向并进行可视化，具体包括：根据髋臼杯的边缘信息，采用交互式点拾取技术选取特征点构建髋臼杯平面，根据平面中心区域选取髋臼磨锉点，根据三维空间几何关系求解髋臼磨锉点基于平面的法向量，采用移动立方体算法可视化法向量，作为髋臼磨锉与植入髋臼假体的路径方向。8.根据权利要求5所述的基于特征点配准与增强现实的髋臼假体放置引导方法，其特征在于，所述将虚拟三维髋关节模型作为浮动图像，将实际髋关节手术部位目标模型作为参考图像，基于选取特征点匹配的四元数法求解旋转矩阵和平移矩阵，具体包括：在虚拟三维髋关节模型上获取目标点集u＝{u
i
,i＝0,1,2,
…
,n}，在视频图像上获取实际髋关节手术部位目标模型对应的参考点集x＝{x
i
,i＝0,1,2,
…
,n}；设置目标函数为：其中，r表示旋转矩阵，t表示平移矩阵；分别求目标点集u和参考点集x的重心，表示为：基于目标点集u和参考点集x构造协方差矩阵k，表示为：基于协方差矩阵k中元素k
ij
构造出对称矩阵n，表示为：
基于jacobi法计算对称矩阵n对应的特征值和特征向量，获取最大特征值对应的单位特征向量q＝[q
0 q
1 q
2 q3]，进一步求解旋转矩阵r，表示为：基于旋转矩阵r求解平移矩阵t，表示为：t＝μ
x-rμ
u
其中，μ
u
表示目标点集u的重心，μ
x
表示参考点集x的重心。

技术总结
本发明公开了一种基于特征点配准与增强现实的髋臼假体放置引导系统及方法，该方法包括：获取髋关节图像信息及三维重建髋关节模型；求解对应髋臼杯型号；将对应髋臼杯导入并模拟髋臼杯放置；求解并可视化髋臼假体放置方向；将虚拟三维髋关节模型作为浮动图像，将实际髋关节手术部位作为参考图像，基于选取特征点匹配的四元数法求解旋转平移矩阵进行虚实场景的配准；利用增强现实技术将配准好的虚拟规划路径实时渲染到实际场景；采用张式标定法实现机械臂的手眼标定，获取相机坐标系到机械臂坐标系的变换矩阵，引导机械臂抓取髋臼锉到达术前规划路径的空间位置。本发明减少仅凭主观判断引起的误差，提高假体放置的准确性和安全性，缩短假体放置时间。缩短假体放置时间。缩短假体放置时间。


技术研发人员：李彬 郑梅义 孙鸿涛 杨荣骞 杨宜昕 田联房
受保护的技术使用者：广东省第二人民医院（广东省卫生应急医院）
技术研发日：2022.07.22
技术公布日：2022/10/11