图像与跟踪系统的配准的制作方法

1.本发明总体涉及图像的配准，并且具体涉及以可用于图像引导的外科手术的不同模式生成的图像。


背景技术：

2.在图像引导的外科手术中，执业医生使用实时跟踪的器械，使得在外科程序中可将器械的位置和/或取向呈现在患者的解剖结构的图像上。在一些情况下，对患者的解剖结构的跟踪和成像都可以通过一种模式来实现，例如荧光镜透视检查。然而，由于荧光镜透视检查使用的是电离辐射，应尽量减少其使用。因此，在许多情况下，以一种模式(例如，磁共振成像(mri)或计算机断层摄影(ct)荧光透视检查)准备患者的图像，并且器械跟踪使用的是不同的模式，例如磁跟踪。


技术实现要素：

3.下文所述的本发明的实施方案提供了用于图像与跟踪系统的配准的改进的方法，以及实现此类方法的系统和软件。
4.因此，根据本发明的一个实施方案，提供了一种医疗设备，该医疗设备包括配准工具，该配准工具包括位置传感器并且被配置成与患者的身体的部份的表面接触。位置跟踪系统被配置成获取该位置传感器在第一参考系中的位置坐标，该第一参考系由该位置跟踪系统在该患者的该身体的该部分附近限定。该设备进一步包括处理单元，该处理单元被配置成接收关于该患者的该身体的至少该部分在第二参考系中的三维(3d)图像数据，基于该3d图像数据生成该患者的该身体的该部分的该表面的二维(2d)图像，并且将该2d图像渲染到该显示屏。该处理单元被进一步配置成将多个图标叠加到该显示的2d图像上，该多个图标指示相应标志在该身体的该部分的该表面上的位置；当该配准工具接触该患者的该身体的该部分的该表面上与该显示器上的该图标相对应的位置时，接收由该位置跟踪系统获取的该位置坐标；以及通过比较该位置坐标与该三维图像数据中的对应位置来配准该第一参考系和该第二参考系。
5.在所公开的实施方案中，位置跟踪系统包括磁位置跟踪系统。
6.在另一个实施方案中，该三维图像数据包括来自计算机断层扫描(ct)系统的数据。另选地，该三维图像数据包括来自磁共振成像(mri)系统的数据。
7.在又一个实施方案中，该患者的该身体的该部分包括该患者的头部，并且2d图像示出该患者的面部。
8.在另一个实施方案中，配准该第一参考系和该第二参考系包括在该第一参考系与该第二参考系之间应用相对缩放、旋转和平移，以便使该位置坐标与该三维图像数据中的该对应位置之间的相关性最大化。
9.在又一个实施方案中，该处理单元从在该2d图像上标记该位置的用户接收该标志位置。
10.在再一个实施方案中，该处理单元被配置成使用该配准的参考系跟踪和显示侵入式探头在该身体的该部分内部的位置。
11.根据本发明的一个实施方案，还提供了一种用于配准医学图像的方法。该方法包括当配准工具与患者的身体的部分的表面接触时，获取该配准工具中的位置传感器在第一参考系中的位置坐标，该第一参考系由位置跟踪系统在该患者的该身体的该部分附近限定；接收关于该患者的该身体的至少该部分在第二参考系中的三维(3d)图像数据；基于该3d图像数据生成该患者的该身体的该部分的该表面的二维(2d)图像；以及将该2d图像渲染到显示屏。该方法进一步包括将多个图标叠加到该显示的2d图像上，该多个图标指示相应标志在该身体的该部分的该表面上的位置；当该配准工具接触该患者的该身体的该部分的该表面上与该显示器上的该图标相对应的位置时，接收由该位置跟踪系统获取的该位置坐标；以及通过比较该位置坐标与该三维图像数据中的对应位置来配准该第一参考系和该第二参考系。
12.结合附图，通过以下对本发明的实施方案的详细描述，将更全面地理解本发明，其中：
附图说明
13.图1是根据本发明的实施方案的医疗设备的示意性图解；
14.图2是根据本发明的实施方案的用户界面屏幕的示意性图示；并且
15.图3是示意性地示出了根据本发明的实施方案的3d图像与位置跟踪系统之间的配准程序的流程图。
具体实施方式
16.概述
17.磁跟踪系统用于在侵入式诊断和治疗程序，例如使用经历程序的患者身体的一部分的预获取图像(如ct图像)的图像引导的外科手术中跟踪器械。为了使跟踪有效，图像和跟踪系统参考系必须相互配准。在例如ct图像和磁跟踪系统之间的典型配准程序中，在ct图像中标记多个不同解剖点(称为标志)的坐标，并且由跟踪系统获取相同标志的坐标。一旦获取了成对的此类坐标点，就应用拟合过程来估计变换，包括缩放、旋转和平移，这最佳对准(即配准)两组点。可以例如使用本领域已知的算法，诸如累积距离度量或迭代最近点(icp)算法来计算拟合。
18.作为示例，我们将考虑需要跟踪用于患者的头部的器械的程序，例如耳鼻喉(ent)手术。在这种程序中，将患者的头部与跟踪系统的参考系配准。美国专利申请公开2019/0046272中提供了这种配准程序的示例。在所描述的程序中，执业医生，诸如医师，将包括磁跟踪传感器的探头的远端定位在患者皮肤上的预设数目的标志点处。该标志点与ct图像中的预定位置相对应。在所引用的示例中，使用了四个初始标志点，该初始标志点包括位于患者鼻尖下方的点、患者面部除眼睛之外的左右两侧，以及位于两眼之间的点，并且在这些点处获取来自跟踪传感器的信号。
19.一旦已获取到来自跟踪传感器的信号，处理器就计算磁组件参考系中的相应位置坐标，以便生成四个有序位置对，每个有序对具有以下形式(跟踪传感器位置，ct位置)，其
中每一对是指对应的位置。系统处理器使用这四个有序对来生成初步配准，即，包括缩放、平移和旋转参数的变换，该初步配准将ct坐标系与磁组件的参考系对准。
20.医师继续将探头的远端定位在患者皮肤上他/她已限定的其他标志点处。每当获取信号时，处理器使用通过信号确定的坐标，使用新位置作为对源点云的补充来更新变换。
21.为了限定标志点，当前系统通过在由医师查看的屏幕上呈现“通用”头部的示意图，在配准过程中对医师进行引导，其中图像上的标记指示待触摸的点。然而，实际的患者特征可能与通用头部差异巨大，使得医师难以决定从何处触摸患者。在极端情况下，差异可能大到无法进行精确配准。
22.本文所述的本发明的实施方案通过提供一种医疗设备来解决这个问题，该医疗设备包含位置跟踪系统、带有位置传感器的配准工具、显示屏和处理单元。通过从3d图像数据生成患者身体的真实且逼真的二维(2d)图像，并基于该2d图像引导配准程序，而不是简单地使用通用的预定义图像，使得能够在位置跟踪系统和患者的3d图像之间进行精确配准。该方法有助于快速收敛ct的坐标系与跟踪系统的坐标系之间的拟合过程，并实现比本领域已知系统更精确的配准。
23.在所公开的实施方案中，处理单元接收患者的身体的一部分的3d图像数据，并基于该3d图像数据生成该患者的该身体的该部分的表面的2d图像。处理单元进一步将2d图像渲染到显示屏，并且在医师的指导下将该2d图像叠加到所显示的2d图像图标上，这些图标指示该身体的该部分的该表面上的相应标志的位置。医师在2d图像上的这些图标的引导下，用配准工具触摸患者身体上对应的点，并向处理单元指示他/她触摸了哪个点。处理单元接收位置追踪系统从这些点获取的位置传感器的对应3d位置坐标。最后，处理单元将位置跟踪系统的参考系与3d图像数据的参考系通过两个参考系的相对平移和旋转而配准，直到由位置跟踪系统获取的3d坐标与对应于图标的3d图像数据的坐标之间的相关性最大化。
24.系统描述
25.图1是根据本发明的实施方案的医疗设备10的示意性图解。设备10用于使磁位置跟踪系统12与患者14的图像配准，本文通过示例的方式假设包括患者14的计算机断层扫描(ct)图像48。本文通过示例的方式假设位置跟踪系统12包括磁跟踪系统。由加利福尼亚州欧文市的拜尔斯韦伯斯特公司(biosense webster)生产的系统使用与本文所述类似的跟踪系统，跟踪插入或带入患者附近的探头的远侧末端的位置和取向。
26.位置跟踪系统12用于跟踪在对患者执行的医疗程序期间插入患者14中的一个或多个器械(诸如导管或导丝)的位置和取向。如下所述，位置跟踪系统12还能够跟踪患者体外的配准探头16的位置和取向。探头16固定连接到柄部18，该柄部可以在系统10的使用期间由执业医生20(通常为医师)握住。探头16和柄部18的组合形成刚性探头组件22，该刚性探头组件有利于通过医师20将探头定位到所需位置。
27.为了在以下描述中清楚和简单起见，假设上文提到的医疗程序包括对患者14的鼻窦上的侵入性程序，使得假设医疗设备10和磁位置跟踪系统12被配置成在鼻窦区域内和周围操作。然而，系统10和12可以另选地被配置成在患者的其它区域诸如胸腔、肾脏或腹部中和周围操作，并且本领域的普通技术人员将能够调整本文的描述以用于此类其它区域。此外，本发明的原理可以与其它类型的跟踪系统(不一定是磁性的)以及其它类型的3d成像模式(如mri)结合应用。
28.跟踪系统12由系统处理器24操作，该系统处理器包括与探头跟踪模块28通信的处理单元26。模块28的功能在下文中描述。系统处理器24可安装于控制台30中，该控制台包括操作控件32，该操作控件通常包括指向装置，诸如鼠标或轨迹球。医师20使用操作控件32将命令传输到系统处理器24，如下所述，该系统处理器进一步用于在显示屏34上向医生呈现数据和引导图像。
29.系统处理器24通常包括可编程处理器，其使用存储在处理单元26的存储器中的软件来操作设备10。该软件可例如通过网络以电子形式下载到系统处理器24，或者另选地或除此之外，该软件可被提供和/或存储在非临时性有形介质诸如磁存储器、光学存储器或电子存储器上。系统处理器24进一步存储患者14的头部38的数字化3d ct图像48，其中该ct图像可能在不同的时间点由单独的ct系统(未示出)获取。ct图像48包括图像中每个点的3d坐标，以及图像在每个点处的射线照相密度，其中该密度通常以hounsfield单位给出。
30.为了在患者14内跟踪上文提及的器械以及为了跟踪探头16，处理单元26使用探头跟踪模块28来通过缆线35操作多个磁场发生器36，例如线圈。在一个实施方案中，通常适用于患者14被麻醉并且头部38在床40上平卧不动的情况，如图1所示，发生器36固定到放置在床上、患者头部旁边的框架42上。在另选的实施方案(未示出)中，适用于患者14没有被麻醉的情况，发生器36相对于彼此固定并且固定到附接到头部38的框架上或固定到医师办公室的椅子上。三轴参考线圈41固定到头部38上，并且通过缆线43连接到处理单元26。
31.发生器36将交变磁场辐射到患者14的头部38中和周围，并且这些场在器械中的磁检测器中并在探头16中产生信号。信号通过将探头16连接到控制台30的缆线44被传送回处理单元26和探头跟踪模块28。处理单元和模块一起分析信号以导出器械和探头16相对于发生器36的位置和取向坐标。磁场发生器36因此限定了磁跟踪系统12的参考坐标系46。
32.在配准过程期间，并且如图3的流程图中进一步详述的，处理单元26访问3d ct图像48并且将其渲染到显示屏34上的2d图像50中。处理单元26进一步将图标54叠加到2d图像50上的选定点上，这些点通常对应于患者面部上的解剖标志，如图2中进一步详述的。医师20使探头16在对应于图标54的每个点处依次与患者14的表面52(即，与患者的皮肤)接触，并且处理单元26在这些点中的每个点处记录探头的3d坐标。使用这些记录的坐标和ct图像48的参考系中的对应点的坐标，处理单元26通过计算包括两个参考系的相对缩放、旋转和平移的变换来将位置跟踪系统12的参考系与3d ct图像48的参考系配准。通常，通过拟合过程找到变换，该拟合过程使探头的配准3d坐标与对应于图标54的ct图像48的3d坐标之间的相关性最大化。为了使相关性最大化，处理单元26可以使用诸如累积距离度量或迭代最近点(icp)算法等算法，如将参考图3进一步详述的。
33.处理单元26可在已收集与所有图标54对应的所有3d坐标点之后使相关性最大化。另选地，处理单元26可开始计算与前几个被跟踪和记录的点的相关性(如也在引用的美国专利申请公开2019/0046272中描述的)，然后改进与每个附加的被记录点的相关性。在迭代方法中，处理单元26还可估计探头16触摸的每个下一个点的3d坐标是否足够接近预期位置，并且或例如通过将对应的图标着色为绿色来指示可接受的接近度，或者通过将对应的图标着色为红色来指示不可接受的接近度。
34.建立医师20与处理单元26之间的通信以便指示表面52上的哪个点被触摸。例如，处理单元26可以使图标54在显示屏34上闪烁，从而向医师20指示他/她预计触摸的点。一旦
医师20已经触摸了这个点，他/她就通过控件32(例如，通过按键盘中的键或点击鼠标)来指示该点已被触摸。另选地，可以使用数字序列对每个图标54进行编号，并且医师20通过控件32指示他/她已经触摸了哪个图标。
35.图2为根据本发明的实施方案的如在显示屏34上呈现的2d图像50的示意性细部图。图像50由处理单元26从3d ct图像48渲染而成，因此是患者14面部的真实且逼真的图像。为了从3d ct图像48渲染成图像50，处理单元26将诸如移动立方体算法之类的算法应用于ct图像。该算法将值1分配给ct图像48的以hounsfield为单位的放射密度不为零的每个点，并且将值0分配给hounsfield值为0的点(对应于空气)。该算法继续处理图像48，一次获取八个相邻位置(从而形成一个假想的立方体)，并确定呈现所谓等值面的穿过该立方体的部分所需的多边形。(等值面是一种以线性近似表示值0和立方体顶点中的一个顶点之间的边界的表面。)然后将相应多边形融合成3d表面，该表面被投影到与显示屏34的平面相对应的平面上。
36.处理单元26将图标54叠加到2d图像50上与面部标志相对于的点上。基于呈现过程，每个图标54自动与ct参考系中的对应3d坐标相关联。医师20可以例如通过使用控件32将显示屏34上的光标酌情移动到他/她看到的位置来限定图标54在图像50上的位置，然后通过点击鼠标向处理单元26指示这些位置。在本示例中，医师20已在面部区域中选择了这些位置，这些位置相对稳固，即在来自探头16的轻微压力下不会显著压缩。此类区域包括例如前额、鼻尖和突出的颧骨。另选地或附加地，图标54中一些或所有图标的位置可以由处理单元26自动选择。
37.图3是示意性地示出了根据本发明的实施方案的3d图像48与位置跟踪系统12之间的配准程序的流程图100。流程图100中示出的配准程序是指图1至图2中所示的元素。另选地，该程序的原理可以结合其他种类的3d图像和跟踪系统来应用。
38.该程序在开始步骤102处开始。在3d图像步骤104中，由处理单元26接收患者14的面部的3d ct图像48。在渲染步骤106中，处理单元26基于3d ct图像48渲染2d图像50，如关于图2所描述的。在叠加步骤108中，处理单元26将表示患者14的面部上的标志的图标54叠加到图像50上。在显示步骤110中，处理单元26将图像50连同图标54一起显示在显示屏34上。
39.在坐标收集开始步骤112中，医师20通过用探头16触摸患者14的面部来开始3d坐标的收集过程。该过程现在进入循环115，该循环包括触摸步骤114、记录步骤117、判定步骤116和下一个图标步骤118。在触摸步骤114中，医师20在图标54指示的位置中用探头16触摸患者14的面部。医师20和处理单元26之间的通信已在上面参考图1进行了描述，这里将不再进一步详述。在记录步骤117中，探头16的由位置跟踪系统12感测的3d坐标由处理单元26进行记录。在记录3d坐标之后，处理单元26在判定步骤116中确定是否需要触摸更多的位置。如果答案是肯定的，则由医师20或由处理单元26选择下一个位置(图标)，如上所述，并且医师在步骤114中触摸下一个位置。
40.一旦完成了所有需要的位置(图标)，该过程就从判定步骤116退出到计算步骤120中，其中处理单元26计算两个参考系之间的相对缩放、旋转和平移，通常以便使记录步骤117中记录的3d坐标与对应于图标54的3d图像48的3d坐标之间的相关性最大化。
41.美国专利7,855,723提供了用于使两组3d坐标之间的相关性最大化的算法示例。
通过迭代更新缩放、旋转和平移系数以使累积距离度量d最小化来使相关性最大化，该累积距离度量d被定义为
[0042][0043]
其中di是在两组坐标的相应第i个点之间计算的三维欧几里德距离，wi是可选权重，举例来说该可选权重描述了可以分配给每个点的置信度。
[0044]
另选地或附加地，可以使用以上参考的美国专利申请公开2019/0046272中引用的迭代最近点(icp)算法。icp算法还基于使累积距离度量d最小化，其中具有切换用于3d点对的点的附加选项，以进一步使累积距离最小化。如应用于所述实施方案的icp算法可以包括以下步骤：
[0045]
1.将位置跟踪系统12的每个3d坐标点(在记录步骤117中记录的点)与3d ct图像48的最近3d坐标点匹配，其中一对点的接近度由它们之间的3d欧几里德距离di决定。
[0046]
2.估计将使累积距离度量d最小化的缩放、旋转和平移的组合。该步骤还可涉及在对准之前对点进行加权(即，为wi分配非统一值)和拒绝异常值(即，拒绝其di超过预设阈值的点对)点对在对齐之前超过预设阈值)。例如，可以通过计算对一小组点对的缩放、旋转和平移的初始估计，然后在并入附加点对的同时迭代地细化估计，来执行该步骤。
[0047]
3.通过使用所获得的缩放、旋转和平移变换来变换位置跟踪系统12的3d坐标点。
[0048]
4.通过将位置跟踪系统12的3d坐标点与图像48的3d坐标点重新关联，将该过程迭代回步骤1。在重新关联没有减少rms距离度量的情况下，接受最后一次变换作为位置跟踪系统12的坐标系和ct系统的坐标系之间的坐标变换。
[0049]
由于使相关性最大化的过程可以是迭代的，因此当迭代的后续步骤将相关性提高的(或将累积距离度量d减少的)小于预定阈值时，可以例如通过接受相关性为最大值来设置接受最大化的相关性的标准。一旦已达到最大相关性，两个参考系之间的相对旋转和平移在配准步骤122中被保存为各系之间的配准。然后，该过程在结束步骤124中结束。
[0050]
在另选的实施方案中，如上所述，其中从前几个记录的3d坐标开始计算相关性，计算步骤120在循环115内移动(此处未示出)。
[0051]
一旦完成配准过程，医师20可以继续使用系统10对患者14执行侵入式程序。为此，医师将带有位于或靠近其远侧末端的位置传感器的探头(图中未显示)插入到患者的头部中，例如插入到鼻窦通道中。处理器24跟踪探头的位置并使用在步骤122确立的变换来配准相对于ct图像的位置，以便为医师提供探头相对于患者的解剖结构的位置的精确指示。
[0052]
应当理解，上述实施方案以举例的方式被引用，并且本发明不限于上文具体显示和描述的内容。相反，本发明的范围包括上述各种特征的组合和子组合以及它们的变型和修改，本领域的技术人员在阅读上述说明时应当想到所述变型和修改，并且所述变型和修改并未在现有技术中公开。