基于多模态信息融合的全自动空间注册系统

1.本发明涉及医疗设备技术领域，特别是涉及一种基于多模态信息融合的全自动空间注册系统。


背景技术：

2.图像引导的计算机辅助空间注册(或配准)是手术导航的核心技术，能够帮助医生更好地完成膝关节置换手术。空间配准也是制约临床端到端精度的主要因素之一，影响着手术导航的运行时间。
3.目前膝关节骨科导航中的空间配准技术主要分为三类：基于基准点的配准，基于解剖点的配准以及基于表面的配准。
4.基准点配准法(fiducial makers based)：在患者进行ct扫描前，植入基准物作为基准点，它们将与术中数据点进行配准。该方法能够简单直观地确定图像空间与病人空间的对应关系，精准率最高。但该方法需要术前额外植入基准物，有时基准物需要人工调整，还可能有疼痛、感染的风险。若采用在皮肤表面进行标记，则会因为皮肤与骨骼间存在的相对运动而引入误差，且标记物容易脱落，因此临床膝关节置换术中很少用此种方法。
5.由于基准点需要额外的术前操作，医生们使用解剖点(landmark-based)来代替基准点。基于探针拾取术中膝关节表面点的配准方法在临床骨科导航手术中备受青睐。术前对病人膝关节采集层间距小、分辨率高的医学断层图像，分割并重建出高精度的三维医学胫股关节可视化模型，在模型上标记解剖点。术中配准时，只需使用经过校准的专用探针采集术中病人胫股区域相应的解剖点[6]，将二者进行对应点配准。但由于解剖点较少，该方法在手术过程中容易受到噪声的影响，配准的鲁棒性不强，且解剖点的选择耗时费力且依赖医生经验，因此成本高。
[0006]
由于基于解剖点的方法存在以上缺点，因此医生们采用基于表面点的方法进行空间注册。基于表面的配准方法可以分为基于表面点集的方法和表面点云方法。基于表面点集的方法是目前最常用的方法。术中医生利用数字化探针采集特定区域的点而不仅仅局限于骨解剖点，术中股骨和胫骨均采集40个点左右，与术前三维重建模型上的点进行配准完成注册。但是这存在以下问题：这种手工数字化选点方法耗时费力，依赖医生经验，比如，当骨赘遮挡时，存在较难定位点或者所定位点不准确等问题，因此成本高。由此可见，注册占据了一定的手术时间，这也是目前膝关节置换手术导航中所面临的一个亟待解决的问题。
[0007]
为了节省空间注册时间，有研究采用表面点云的面配准方法(surface-based)，通常采用激光扫描仪自动化地、非接触式地获取术中关节表面的数字化点云数据，提取病灶骨表面点云，与利用探针侵入式获取骨表面数据平均花费15分钟，而使用激光扫描仪仅需要4分钟，且其中的大部分时间是用于扫描点云的后处理，通过加快后处理步骤可能会进一步加快导航的精准度和速度。然而，该方法仅仅是在骨表面试验，尚未有效用于临床。
[0008]
综上所述，当前临床膝关节置换术的导航系统往往采用基于标记点术中配准方式进行导航，期间涉及多个标记点的选择和确认，配准时间较长，导致手术时间延长。
[0009]
本发明提出的新型的基于多模态融合和点云配准的膝关节置换手术空间注册系统。该系统基于术前多模态图像融合信息以及术中扫描仪所采集的膝关节病灶点云，实时地将病灶点云配准到术前影像上，实现了术前影像对术中病灶的快速精准导航，大大减少了术中空间注册时间。


技术实现要素：

[0010]
为了解决计算机导航膝关节置换手术中，空间注册时间过长的问题，本发明提供了基于多模态信息融合的全自动空间注册系统，既能保持较高的配准精度，也能显著降低配准所用时间。
[0011]
为实现上述目的，本发明提供了如下方案：
[0012]
基于多模态信息融合的全自动空间注册系统，包括：
[0013]
术前规划模块：用于融合术前膝关节mri图像和ct图像，重建“骨 软骨”组合导航模型；
[0014]
术中点云提取模块：用于扫描并自动提取术中膝关节病灶软骨表面点云数据；
[0015]
空间注册模块：用于对术前ct图像空间中重建的软骨表面点云与术中扫描的所述软骨表面点云数据进行配准，实现术中病人空间和术前图像空间的导航注册。
[0016]
优选地，所述术前规划模块包括：
[0017]
图像融合单元：用于对采集的所述膝关节mri图像和所述ct图像进行组织分割，通过所述mri图像得到胫骨和股骨，通过所述ct图像得到胫骨和股骨及其相应的软骨；
[0018]
模型重建单元：用于通过三维重建得到所述“骨 软骨”导航模型，提取出所述膝关节外表面上的软骨表面点云。
[0019]
优选地，所述图像融合单元基于分割的所述胫骨或所述股骨选取目标区域，基于所述目标区域采用互信息配准方法将所述mri图像映射到所述ct图像上，得到变换矩阵；所述变换矩阵将所述mri图像分割的股骨或胫骨软骨分别映射到所述ct图像上，用于融合软骨信息，通过所述模型重建单元构建所述“骨 软骨”导航模型，基于所述导航模型提取出所述膝关节外表面上的软骨表面点云。
[0020]
优选地，所述术中点云提取模块包括：
[0021]
扫描提取单元：用于采集病人术中膝关节病灶区域的表面点云，并基于fpfh_pointnet神经网络自动提取所述膝关节病灶区域的软骨表面点云。
[0022]
优选地，采集所述病人术中膝关节病灶区域的表面点云包括：通过扫描仪得到术中病人膝关节病变区域表面点云，将所述病变区域表面点云进行转换，获得定位仪空间的病变区域表面点云，即病人空间点云，并去除所述病人空间点云中的背景点云。
[0023]
优选地，获得所述定位仪空间的病变区域表面点云包括：
[0024]
求解所述扫描仪在适配器空间的标定变换t
scan
→
adapter
、适配器在所述定位仪空间的标定变换t
adapter
→
polaris
，通过下式进行变换：
[0025]
p
lesion
＝p
scan
×
t
scan
→
adapter
×
t
adapter
→
polaris
[0026]
其中，p
lesion
是定位仪空间的病变表面点云，p
scan
为扫描仪得到的病变区域表面点云。
[0027]
优选地，提取所述膝关节病灶区域的软骨表面点云包括：
[0028]
通过快速点特征直方图fpfh对pointnet神经网络进行改进，构建fpfh_pointnet网络；基于所述fpfh_pointnet网络区分所述膝关节病灶区域中的软骨区域和非软骨区域，去除无关背景，提取所述软骨表面点云。
[0029]
优选地，所述空间注册模块包括：
[0030]
层次化配准单元：用于对术前所述ct图像空间中重建的软骨表面点云与术中扫描的软骨点云进行配准。
[0031]
优选地，所述进行配准包括：
[0032]
利用图形界面交互方式选取若干对应点，基于svd方法，进行粗配准，用于确保术前和术中两组点云的方向一致；完成所述粗配准后对精配准进行初始化，通过icp方法，实现两组点云的表面配准，将术中病人空间注册到术前图像空间。
[0033]
本发明的有益效果为：
[0034]
本发明利用术前融合的ct与mri图像，能够提供软组织信息，从而有利于医生根据软组织信息进行更好的术前规划以及术中切口位置的判断；
[0035]
本发明提供计算机辅助导航的膝关节置换手术中，选取解剖点往往需要经验丰富的医生，解剖点选取越准确，手术配准越精确，而基于点云的配准方式不需要选取解剖点就能获取相似精度的配准，大大减少了对医生的依赖程度，这种技术极大的辅助了医生，使医生可以更加专注于手术本身。
附图说明
[0036]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0037]
图1为本发明系统整体框架图；
[0038]
图2为本发明实施例的点云从扫描仪空间转换到病人空间示意图；其中，(i)为点云从扫描仪空间转换到适配器空间，(ii)为从适配器空间到定位仪空间；(iii)为定位仪空间坐标即视为病人空间；
[0039]
图3是本发明实施例的pfh局部坐标系；
[0040]
图4是本发明实施例的fpfh计算原理图；
[0041]
图5是本发明实施例的fpfh_pointnet网络模型结构；
[0042]
图6为本发明本发明实施例中系统在临床膝关节炎患者的应用流程图示；
[0043]
图7为本发明实施例的同一病患膝关节ct和mri图像的骨和软骨分割结果展示；第一行到第三行分别从轴状位、冠状位和矢状位展示ct图像及其骨分割结果、mri图像及其骨和软骨分割结果；
[0044]
图8为本发明实施例的配准结果及其导航模型展示示意图；
[0045]
图9为本发明实施例的使用不同的神经网络自动提取术中软骨表面点云的结果；
[0046]
图10本发明实施例中将面配准方法分别应用于股骨远端和胫骨近端的配准误差分布。
具体实施方式
[0047]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0048]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0049]
本发明提供的基于多模态信息融合的全自动空间注册系统，包括三个模块：(i)融合术前膝关节mri和ct图像，重建“骨 软骨”组合导航模型的术前规划模块(术前规划模块)；(ii)扫描并自动提取术中膝关节病灶软骨表面点云的术中点云提取模块(术中点云提取模块)；(iii)次化配准表面点云、术中病人与术前图像的空间注册模块(空间注册模块)。系统的整体架构如图1所示。其中：
[0050]
(i)所述融合术前膝关节mri和ct图像，重建“骨 软骨”组合导航模型的术前规划模块：对于同一患者术前采集的膝关节ct和mri图像，分别对两种模态图像进行组织分割，由ct图像得到胫骨和股骨，由mri图像得到胫骨和股骨及其相应的软骨；基于所分割的胫骨或股骨感兴趣区域，采用互信息配准方法将mri图像映射到ct图像上，得到变换矩阵；该变换矩阵将mri图像分割的股骨或胫骨软骨分别映射到ct图像上，在骨结构融合了软骨信息；通过三维重建得到“骨 软骨”导航模型，即可提取出其外表面上的软骨表面点云；
[0051]
(ii)所述扫描并自动提取术中膝关节病灶软骨表面点云的术中点云提取模块：使用激光扫描仪采集病人术中膝关节病灶区域的表面点云，之后采用fpfh_pointnet神经网络自动提取软骨表面点云；
[0052]
(iii)所述层次化配准表面点云，术中病人与术前图像的空间注册模块：利用术前ct图像空间中所重建的软骨表面点云与术中所扫描的软骨点云进行配准，包括基于奇异值分解(singular value decomposition，svd)的粗配准，基于迭代最近邻(iterative conditional point，icp)的精配准，最终实现术中病人空间和术前图像空间的导航注册。
[0053]
下面对三个模块作进一步具体说明。
[0054]
(一)、所述融合术前膝关节mri和ct图像，重建“骨 软骨”组合导航模型的术前规划模块(i)，其工作内容包括：
[0055]
从术前ct图像分割出股骨或胫骨，记为h
ct
，从术前mri图像上分割出股骨或胫骨及其相应的软骨，分别记为h
mri
和c
mri
；
[0056]
基于术前病人ct图像和mri图像所分割的骨性结构h
ct
和h
mri
进行基于互信息的线性配准，得到变换矩阵t
mri
→
ct
；
[0057]
将变换矩阵t
mri
→
ct
应用到mri图像上所分割的软骨区域，可将其变换到ct图像上，即增强了ct图像上软骨信息，记为
[0058]
在ct图像上进行h
ct
和融合，通过三维重建得到术前图像空间的“骨 软骨”组合导航模型
[0059]
导航模型表面是软骨表面，其表面点可以被自动获取以作为术前图像空间的导航点云，记为p
image
。
[0060]
(二)扫描并自动提取术中膝关节病灶软骨表面点云的术中点云提取模块(ii)，其工作内容包括：
[0061]
使用已经标定好的激光扫描仪采集得到定位仪空间的术中膝关节病变区域点云p
lesion
。具体描述为(参考图2)：扫描仪扫描得到了术中病人膝关节病变区域表面点云p
scan
，p
scan
需要转换到定位仪空间p
polaris
，才能成为病人空间点云。转换过程涉及求解扫描仪在适配器空间的标定变换t
scan
→
adapter
，适配器在定位仪空间的标定变换t
adapter
→
polaris
，这里适配器已经固定在扫描仪上。一旦实验计算出标定变换，即可通过下式将p
scan
变换到定位仪空间，得到p
lesion
：
[0062]
p
lesion
＝p
scan
×
t
scan
→
adapter
×
t
adapter
→
polaris
[0063]
p
lesion
是定位仪空间的病变表面点云，这里定位仪空间也是病人空间。
[0064]
p
lesion
中不仅包含了软骨表面点云，也包含软骨周围肌肉、韧带等其他无关背景的点云。而这些背景点云需要去除，以免影响术中导航注册的精度。
[0065]
以pointnet神经网络为基础，使用快速点特征直方图(fpfh)对pointnet神经网络进行改进，构建fpfh_pointnet网络。该网络可以准确区分p
lesion
中的软骨区域和非软骨区域，从而去除韧带、肌肉及其他无关背景，自动准确地提取出术中软骨表面点云p
patient
。
[0066]
首先是点特征直方图描述。图3显示了常见的点云局部特征描述子，即点特征直方图(point feature histograms,pfh)的局部坐标系。其中，ps和p
t
分别为点云中的两个点，ns和n
t
分别为其法向量，比如，ps＝(xs，ys，zs)，对于点ps，构建uvw坐标系，即：
[0067][0068]
则ns和n
t
之间的角度差可以用(α，φ，θ，d)表示，其中，
[0069][0070]
快速点特征直方图(fast point feature histograms,fpfh)如图4所示，红色中心点pq，分别与其邻域点为p
k1
～p
k5
建立局部坐标系，得到与每个邻域点两两相关的四元组(α，φ，θ，d)。然后分别以p
k1
～p
k5
为中心重复上述过程。对于每个特征区间分成11份进行统计，并拼接成一个33维的向量。fpfh复杂度为ο(nk)。
[0071]
其次，利用fpfh对pointnet神经网络进行改进，建立fpfh_pointnet神经网络，该网络能够自动准确地提取软骨表面点云。由于pointnet网络缺乏足够的局部特征的信息，因此，将fpfh这一能体现点云局部特征的描述子融合到pointnet网络中，简称为fpfh_pointnet，网络的总体计算方法见图5。对于输入的点云，首先计算其fpfh特征。由于计算fpfh特征需要点的法向量信息，将每一点的坐标(xi，yi，zi)和法向量信息
以及33维fpfh特征结合，形成39维输入特征。这些特征将经过多层感知器(multiple level perception,mlp)层，即依次经过5层mlp网络升维，输出维度分别为(64，128，128，512，2048)的特征图。然后对于n
×
2048的特征图进行max-pooling操作提取全局特征。全局特征为1
×
2048的向量，将其扩展为n
×
2048维度，最后将5层中间层的输出特征与扩展的全局特征以及原始计算的fpfh特征进行拼接，形成n
×
4964维度的特征，再分别经过三层mlp层，最后经过softmax函数输出点云中每个点的预测得分。
[0072]
(三)层次化配准表面点云、术中病人与术前图像的空间注册模块(iii)，其工作内容包括：
[0073]
(1)图像空间点云p
image
和病人空间点云p
patient
都含有10000多个点，并且存在方向和位置的较大差异。利用图形界面交互方式选取3～5对对应点，采用基于svd方法，进行粗配准，以确保术前和术中两组点云的方向一致，并对其后的精配准初始化；
[0074]
(2)一旦给定两组点云的初始位置，就可以使用icp方法，快速精准地实现两组点云的表面配准，从而将术中病人空间注册到术前图像空间。
[0075]
下面结合实例和附图进一步描述本发明。
[0076]
图6为本发明系统在临床膝关节炎患者的应用流程图示。这里以股骨为例，解释本发明注册系统。
[0077]
模块i为术前增强ct图像并获取术前软骨表面点云空间坐标的流程。分别从术前ct和mri图像中分割出股骨及其软骨，根据所分割股骨roi区域得到ct和mri的配准变换矩阵t
mri
→
ct
。配准所得的变换矩阵作用在mri图像分割所得的软骨标签上，可将股骨软骨映射到ct图像的相应结构上，可以得到股骨及其软骨的标签融合结构，经三维重建后得到带有软骨的模型，从中提取出软骨表面点云p
image
，这将用于术中导航。
[0078]
模块ii为采集并提取术中病人空间膝关节病变区域软骨表面点云的流程。首先在术前先对扫描仪进行标定，得到t
scan
→
adapter
。然后经过扫描系统(由定位仪和装有适配器的扫描仪组成)采集得到病变区域点云p
scan
，这将经过坐标空间变换转为病人空间点云p
lesion
。然后，使用fpfh_pointnet网络去除无关点云，得到病人空间点云p
patient
。
[0079]
模块iii为术前得到的点云p
image
与术中得到的点云p
patient
进行配准的流程。首先利用svd算法粗配准，得到较好的初始位置，但是还有很大的误差，然后利用icp进一步优化两片点云位置，实现两组点云的最优匹配。
[0080]
图7为同一病患的膝关节ct和mri图像的骨和软骨分割结果展示。第一行到第三行分别从轴状位、冠状位和矢状位展示ct图像及其骨分割结果、mri图像及其骨和软骨分割结果。
[0081]
图8为配准结果及其导航模型展示，这里，mri图像上的股骨远端及其软骨、胫骨近端及其软骨配准并叠加到ct图像上对应的结构，显示为浅灰色。融合的配准结果重建为股骨和胫骨导航模型。图8也采用3d打印展示术中导航的系统搭建。
[0082]
图9为使用不同的神经网络自动提取术中软骨表面点云的结果。与金标准分割点云(ground truth)相比，pointnet网络和pointnet 网络都存在过分割(绿色箭头)和欠分割(黄色箭头)现象，而我们的fpfh_pointnet网络得到最好的软骨表面点云分割结果。
[0083]
本发明在4例膝关节炎患者的mri和ct图像上进行验证。构建了“骨 软骨”组合导航模型。为了评估本发明(面配准)方法性能，与常用的基于标记点的配准方法(记为金标准
变换)进行比较。这里，为了扫描光滑的软骨表面，将5个基准标记分别设置在每位患者股骨远端模型和胫骨近端模型的非软骨区域，而非股骨远端和胫骨近端软骨表面。表1显示了4名患者金标准变换和面配准变换的平均基准配准误差(fre)，以及4名受试者的总平均配准误差。股骨远端金标准变换和面配准的总平均基准配准误差分别为0.89mm和1.61mm；胫骨近端分别为0.74mm和1.85mm。表1还列出了平均表面配准误差(sre)。股骨远端和胫骨近端sre分别为0.29mm和0.27mm。
[0084]
图10显示了面配准方法分别应用于股骨远端和胫骨近端的配准误差分布。
[0085]
表2给出了实验涉及扫描点云、自动分割点云、粗配准和精配准各个环节中，面配准方法各步骤所花费的时间。从表2可以看出股骨加上胫骨总时间不超过2分钟，这明显低于现有的导航系统。
[0086]
表1
[0087][0088]
表2
[0089][0090]
本发明具有以下优点：
[0091]
大大减少了术中配准时间。目前的手术导航系统需要探针拾取成对点进行术中配准，且一般选取15～17个点，探针拾取解剖点占据了大量的术中时间。而基于扫描仪的术中导航能够很快的扫描到软骨表面的点云，与术前图像空间点云进行配准，一般用时2分钟左右，大大减少了手术时间。
[0092]
利用术前融合的ct与mri图像，能够提供软组织信息，从而有利于医生根据软组织信息进行更好的术前规划以及术中切口位置的判断。
[0093]
计算机辅助导航的膝关节置换手术中，选取解剖点往往需要经验丰富的医生，解剖点选取越准确，手术配准越精准。而基于点云的配准方式不需要选取解剖点就能获得相似精度的配准，大大减少了对医生的依赖程度。这种技术极大地辅助了医生，使医生可以更加专注于手术本身。
[0094]
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行
限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。