手术计划、手术导航和成像用系统的制作方法

手术计划、手术导航和成像用系统
1.相关申请的交叉引用
2.本技术要求2019年3月29日提交的美国临时申请第62/826,857号的权益，其公开内容在此通过引用整体并入本文。
技术领域
3.在至少一个方面中，本公开涉及医疗成像系统以及它们针对手术计划和手术导航的应用。


背景技术：

4.使用诸如磁共振成像、cat扫描和p的技术的医疗成像是一种重要的诊断工具。随着成像和计算机技术的发展，可以通过这些技术得到额外的诊断信息。


技术实现要素：

5.在至少一个方面中，本发明提供了一种用于对象中的位置的可调节的三维(3d)渲染的计算机实施的方法。该计算机实施的方法包括接收具有离散空间分辨率的用于对象中的白质束的图像数据的步骤，其中通过弥散成像来形成该图像数据。通过该图像数据在显示器或一个或多个头戴式显示器上渲染出第一立体图像。该第一立体图像包括图像视差，其允许三维观看。接收来自指点设备或手势的允许在保持正确的三维空间关系的同时操纵第一立体图像的输入信号。指点设备在具有六个自由度的三维空间中与第一立体图像交互。
6.在另一个方面中，提供了一种用于对象中的位置的可调节的渲染的计算机实施的方法。该计算机实施的方法包括接收具有离散空间分辨率的用于对象中的位置的图像数据的步骤。通过该图像数据在显示器或一个或多个头戴式显示器上渲染出一个或多个立体图像，其中该立体图像包括图像视差。还在显示器上渲染出与第一立体图像中的预定切片对应的一个或多个二维图像。对立体图像进行更新，从而反映出对二维图像做出的更改。类似地，对二维图像进行更新，从而反映出对立体图像做出的更改。特有地，借助于在具有六个自由度的三维空间中与第一立体图像交互的指点设备对第一立体图像做出更改。
7.在另一个方面中，提供了一种用于辅助手术的可调节的三维(3d)渲染的计算机实施的方法。该计算机实施的方法包括接收具有离散空间分辨率的用于对象中的医疗图像的图像数据的步骤。通过该图像数据在显示器或一个或多个头戴式显示器上渲染出至少一个立体图像。该立体图像包括图像视差，以允许3d观看。接收来自探针的允许在立体图像中对该探针进行渲染的输入信号。该探针还允许在保持正确的三维空间关系的同时在三维空间中操纵立体图像。特有地，探针与第一立体图像在具有六个自由度的三维空间中交互。
8.在又一个方面中，还提供了一种用于实施本文阐述的计算机实施的方法的计算机成像系统。该计算机成像系统包括计算机处理组件和显示器。该计算机处理组件可操作性地执行所述计算机实施的方法的步骤。
9.在又一个方面中，通过本文的方法渲染出的立体图像可通过用于虚拟或增强现实或者立体显示的头戴式显示器和/或立体眼镜观看，该立体眼镜具有允许对该立体眼镜进行位置和取向追踪的基准点。
附图说明
10.图1是用于实施提供对象中的位置的可调节的三维(3d)渲染的方法的计算机系统的示意图。
11.图2提供了相对于图1的立体图像进行旋转的立体图像的渲染内容。
12.图3a、3b和3c表示用户对参考平面进行平移的渲染内容。
13.图4a和4b示出了对可进行突出显示、分割来形成可在体素层面上独立编辑的立体子图像的第一立体图像的子组件进行的选择。
14.图5a和5b表示在渲染出的立体图像上执行操作的追踪容器的使用。图5b示出了矩形盒体形式的定向容器的应用。
15.图6a和6b示出了在两个容器601、602被放置在图像上时的“and”操作的结果。
16.图7a和7b示出了用于限定所示的“or”操作的两个容器的组合动作。
17.图7c示出了“not”操作。
18.图8a表示容器被固定至第三参考平面的场景。
19.图8b表示容器被固定在三个参考平面的交点处的场景。
20.图9是表示出额外的容器对纤维70的部分进行删除的场景的示意图。
21.图10提供了用于实施提供对象中的位置的同时存在的可调节的二维视图和三维立体渲染的方法的成像系统的示意图。
22.图11提供了手术导航系统的示意图。
23.图12a提供了用于表示3d场景中的白质纤维可视化的工作流程的流程图。
24.图12b提供了具有结构成像数据的成像数据的视图。
25.图12c提供了表示通过提供具有坐标和颜色的管线来渲染纤维(线集)的流程图。
26.图13a提供了表示使用触控笔进行纤维追踪的视图。
27.图13b提供了渲染出的场景的层次转换。
28.图14示出了将结构和纤维数据都渲染到场景中的混合渲染的流程图。
29.图15示出了表示结构和纤维数据如何进行共同配准和共同渲染的程序的流程图。
具体实施方式
30.现在将详细地参考本发明的当前优选的实施方式和方法，它们构成了发明人当前已知的用于实现本发明的最佳方式。附图不一定按比例绘制。然而，应理解的是，所公开的实施方式仅仅是可以通过不同的和替代的形式实施的本发明的例子。因此，本文公开的特定的细节不应认为是限制性的，而仅仅是作为用于本发明的任何方面的代表性基础和/或用于教导本领域技术人员以各种方式使用本发明的代表性基础。
31.还应理解的是，本发明并非限制于下文所述的特定的实施方式和方法，因为特定的组件和/或情况必然可以发生变化。此外，本文使用的术语仅针对描述本发明的特定实施方式的目的进行使用，而并非是以任何方式进行限制。
32.还必须理解的是，在说明书和所附权利要求书中使用时，单数形式“一”、“该”、“所述”包括复数表示，除非上下文另有明确说明。例如，单数形式提及的组件应包括多个组件。
33.词语“包括”与“包含”、“具有”、“含有”、“或特征在于”同义。这些词语是包含性的和开放式的，并且不排除额外的、未引用的元件或方法步骤。
34.短语“由
……
构成”排除了没有在权利要求中列举的任何元件、步骤或成分。当该短语出现在权利要求的主体的从句中而不是紧接在序言之后时，其仅限制该从句中阐述的元件；其他元件在整体上没有从该权利要求中排除。
35.短语“基本上由
……
构成”将权利要求的范围限制于特定的材料或步骤以及没有实质上影响所要求保护的主题的基础和(多个)新颖特征的那些材料或步骤。
36.针对词语“包括”、“由
……
构成”和“基本上由
……
构成”，在这些词语中的一个在本文中使用的情况下，当前公开和要求保护的主题可以包含另外两个词语中的任一个的使用。
37.词语“服务器”指的是适于执行本文阐述的方法和功能的任何计算机、计算设备、移动电话、台式电脑、笔记本电脑或便携式电脑、分布式系统、刀片服务器、网关、交换机、处理设备或它们的组合。
38.当计算设备被描述为执行某种动作或方法步骤时，应理解的是，该计算设备通常可通过执行一行或多行源代码而操作性地执行该动作或方法步骤。该动作或方法步骤可被编写到非暂时性存储器中(例如，硬盘驱动器、光驱、闪存驱动器等等)。
39.词语“计算设备”总体上指的是可以执行包括与另一个计算设备进行通信的至少一种功能的任何设备(例如，计算机)。
40.在本技术文件中，在参考公布文献的情况下，这些公布文献的公开内容通过引用而整体并入到本技术文件中，从而更全面地描述本发明所属的技术领域。
41.词语“立体(stereoscopic)图像”指的是具有至少两种视图的图像，其中一种对应于左眼视图并且另一种对应于右眼视图。当使用适当的设备观看这些图像时，在用户脑中实现三维渲染。
42.应理解的是，可对一组或多个立体图像中的每个图像应用立体图像的任何操纵。
43.本文公开的程序、方法或算法可被发送至可包括任何现有的可编程电子控制单元或专用电子控制单元的计算设备、控制器或计算机/通过它们来实施。类似地，程序、方法或算法可作为可由控制器或计算机执行的数据和指令被存储为任何形式，包括但不限于被永久地存储在诸如rom设备的不可写存储介质上的信息以及被可变地存储在诸如软盘、磁带、cd、ram设备以及其他磁性和光学介质的可写存储介质上的信息。程序、方法或算法还可在软件可执行对象中实施。替代地，程序、方法或算法可整体或部分地使用适当的硬件组件来实施，例如专用集成电路(asic)、场可编程门阵列(fpga)、状态机、控制器或其他的硬件组件或设备，或者硬件、软件和固件组件的组合。
44.在本技术文件中，在参考公布文献的情况下，这些公布文献的公开内容通过引用而整体并入到本技术文件中，从而更全面地描述本发明所属的技术领域。
45.缩写：
[0046]“ar”是指增强现实。
[0047]“dti”是指弥散张量成像。
[0048]“cpu”是指中央处理单元。
[0049]“ct”是指计算机断层扫描。
[0050]“cta”是指计算机断层血管造影。
[0051]“id”是指身份证明。
[0052]“fmri”是指功能磁共振成像。
[0053]“mra”是指磁共振血管造影。
[0054]“mri”是指磁共振成像。
[0055]“pet”是指正电子发射断层扫描。
[0056]“pwi”是指灌注加权成像。
[0057]“swi”是指磁敏感加权成像
[0058]“vr”是指虚拟现实。
[0059]
参考图1和2，示意性示出了计算机成像系统以及通过该计算机成像系统实施的提供对象中的位置的可调节的三维(3d)渲染的方法。图1提供了可以实施计算机实施的方法的成像系统的示意图。计算机成像系统10包括显示器12，其用于显示可通过立体观看眼镜16观看的对象(例如，患者)的一部分的渲染立体图像14。替代地，可使用ar或vr头戴设备来观看该立体图像。应理解的是，虽然此处中的图像被显示为黑白的，但是实际的立体图像可以渲染有颜色。白质纤维可以根据用户需要基于它们的纤维取向、位置或顺序编号而被编辑为任何颜色。白质束和纤维的常用颜色编码对于主要沿着前/后方向对齐的束和纤维为绿色、对于主要沿着左/右方向对齐的束和纤维为红色并且对于主要沿着上/下方向对齐的束和纤维为蓝色。
[0060]
计算机成像系统10还包括计算机处理器组件18，其包括cpu20、输入/输出接口22、存储器24以及存储设备26。计算机处理器组件18操作性地执行所述计算机实施的方法的步骤。在一种改进中，计算机系统10还包括被可选地安装至显示器12的追踪系统28，其可以监控立体观看眼镜16、指点设备30以及来自用户的可选手势的位置和取向。指点设备30的运动和动作作为指针光标32被反映在显示器12上。可以使用键盘34将指令和其他信息输入到计算机成像系统中。所述计算机实施的方法包括接收具有离散空间分辨率的用于对象(例如，患者)中的白质束和/或纤维的图像数据的步骤。通常，通过弥散成像、特别是通过磁共振弥散成像来生成图像数据。通过这种成像，第一立体图像14提供了脑和脊髓组织的白质纤维追踪。第一立体图像14基于图像数据被渲染在显示器12上。第一立体图像包括图像视差，以提供3d渲染。因此，第一立体图像可通过选择性地具有允许进行立体眼镜的位置和取向追踪的基准点的立体或偏光眼镜16来观看。在眼镜移动的同时，立体图像将会动态地更新，以显示所渲染的视图的不同的视角，从而实现3d观看效果。替代地，可通过能够进行眼部追踪或头部运动追踪的头戴式ar或vr显示器来观看立体图像。在用户视觉焦点移动或头部移动的同时，立体图像将会动态地更新，以反映出所渲染的视图的对应的视角，从而实现3d观看效果。对允许在保持正确的三维空间关系的同时操纵第一立体图像的、来自指点设备30的输入信号进行接收。特有地，指点设备30与第一立体图像在具有六个自由度(即，三个平移自由度以及三个欧拉角)的三维空间中交互。指点设备30与六个自由度交互的能力允许用户触及立体图像14的后部并且执行操纵，这在下文中更详细地阐述。在这方面，指点设备30帮助对第一立体图像进行旋转、缩放、平移、编辑、突出显示、添加(例如，增加)、分段
和/或删除。通常，指点设备30包括用于启动指令的一个或多个按钮35。图2提供了通过应用指点设备30进行旋转的立体图像14的渲染内容。
[0061]
在一种变型中，第一参考平面36和第二参考平面38也被渲染在显示器14上。第一参考平面36和第二参考平面38分别独立地与第一立体图像14相交，从而在第一参考平面36上渲染出第一参考图像40并且在第二参考平面38上渲染出第二参考图像42。因此，第一参考平面36和第二参考平面38与第一立体图像14组合为第二立体图像。第一参考平面36相对于第二参考平面38被定向为通常为30至150度的第一角度a1。可以接收来自指点设备30的对第一参考平面或第二参考平面的位置进行选择或以任何角度对其进行旋转的输入信号，其中第一二维图像和第二二维图像在它们的位置或取向改变(例如，以任何角度旋转)时进行更新。
[0062]
参考图1、2、3a和3b，与第一立体图像14相交的第三参考平面44也可被显示为与第一立体图像14相交。特有地，在第三参考平面44上渲染出第三参考图像46。第三参考平面相对于第一参考平面36被定向为第二角度a2并且相对于第二参考平面38被定向为第三角度a3。在一种改进中，第二角度a2和第三角度a3各自约为30至150度。可以接收来自指点设备30的对第一参考平面36或第二参考平面38或第三参考平面44的位置进行选择或以任何角度对其进行旋转的输入信号。当参考平面以这种方式移动或旋转时(即，当位置或取向改变时)，参考平面进行更新。有利地，用户可以(通过指点设备)沿着第一轴线50对第一参考平面36进行平移或旋转或者沿着第二轴线52对第二参考平面38进行平移或旋转或者沿着第三轴线对第三参考平面44进行平移或旋转，其中与平移的参考平面关联的二维参考图像在平移期间进行更新。图3a和3b示出了用户已沿着轴线52对第二参考平面38进行了平移之后的渲染内容。应观察到，第二参考图像已经在参考平面38从位置p1移动到位置p2时进行了改变。还应理解的是，参考图像随着参考平面移动而连续且动态地更新。图3c提供了在图3a和3b中突出显示的纤维束选项的立体图像。在下文中阐述进行这种选择的细节。
[0063]
如上所述，在第一参考平面36上渲染出第一参考图像40、在第二参考平面38上渲染出第二参考图像42并且在第三参考平面44上渲染出第三参考图像46。总体上，参考图像分别独立地为对象的器官、解剖结构或病理特征(例如，肿瘤、动脉瘤等等)的二维图像或三维图像。在一种改进中，这些参考图像各自的显示内容对应于由参考平面与第一立体图像14相交形成的第一立体图像14的切片。这些参考图像可以是例如通过ct数据、mri数据、数字减影血管造影、白质追踪数据、超声、乳房造影、pet、光声图像或从这些数据集中进一步得出的任何数据所形成的对象的解剖结构的二维图像。在另一种改进中，用户可启动对与第一立体图像一起显示的、基于先前生成的图像数据的参考图像进行显示的程序。先前生成的图像数据的例子还包括但不限于ct数据、mri数据、数字减影血管造影、白质追踪数据、超声、乳房造影、pet、光声图像或从这些数据集中进一步得出的任何数据。
[0064]
图4a和4b示出了对第一立体图像的分割出的子组件进行突出显示和选择，以形成可在体素层面上独立编辑、操纵或测量的立体子图像。立体图像14’包括子组件66，其可通过指点设备32进行选择(反映出指点设备的运动)。子组件50可随后进行渲染，使得其与立体图像14’的余下部分隔离开。这个隔离的子组件50现在可在体素层面上进行编辑。
[0065]
参考图5a和5b，提供了表示使用追踪容器在渲染出的立体图像上执行操作的屏幕截图。用户通过指点设备30或手势在第一立体图像14上启动三维追踪容器60的渲染。图5a
表示已经进入了编辑模式，因为已在光标32的头端渲染有容器60。图5a还表示容器60’已通过这种方式被放置在立体图像14上。穿过三维追踪容器601的白质束和/或纤维62被突出显示。在一种改进中，将没有穿过三维追踪容器60的白质束和/或纤维从第一立体图像14中移除或隐藏。当前的变型不受到三维追踪容器50的形状的限制。合适的形状包括但不限于球体、圆盘、圆柱体、椭球体、管体、立方体、平行六面体、图像切片、3d解剖器官的块体、手绘的形状或手术廊道或者是从其他来源输入的任何形状。在另一种改进中，三维追踪容器60响应于用户输入(例如，通过指点设备30)而移动，使得被突出显示的穿过容器的纤维随着三维追踪容器移动而动态地更新。
[0066]
在一种改进中，所述方法还包括对一个或多个三维追踪容器的应用结果进行冻结。
[0067]
图5b示出了矩形盒体形式的容器的应用。在这个例子中，应用容器60来选择性地对穿过该矩形盒体的纤维62进行突出显示。当矩形盒体的厚度减小至成为薄切片或平面时，主取向跨过切片的那些纤维将被显示。这种矩形盒体还可以是解剖结构的块体或切片。通过调节切片或平面的取向，用户可以选择不同的纤维取向。
[0068]
可以在第一立体图像14上渲染出多个三维追踪容器，以执行对渲染出的立体图像的复杂操纵。在一种改进中，根据与多个三维追踪容器中的每个三维追踪容器关联的布尔运算的任何组合对纤维进行显示或突出显示。图6a和6b示出了在两个容器601、602被放置在图像上时的“and”操作的结果。由于每个容器仅对从其中穿过的纤维进行突出显示，因此“and”操作的结果是仅有穿过两个容器的纤维64被突出显示。图7a和7b示出了两个容器的用于限定所示的“or”操作的组合动作。在这种情况下，穿过容器601或602的纤维66被突出显示。在一种改进中，根据与多个三维追踪容器中的每个三维追踪容器关联的布尔运算的任何组合在第一立体图像中对纤维进行显示或突出显示。应理解的是，可以通过应用“and”和“or”操作的组合在立体图像14上实现复杂布尔运算。图7c示出了“not”操作的结构。在这种变型中，穿过容器60的纤维66不进行显示或被删除。
[0069]
在一种改进中，三维追踪容器60被固定至第一参考平面36和/或第二参考平面38，使得三维追踪容器60可与第一参考平面38和/或第二参考平面38和/或第三参考平面44的用户引导的运动(例如，借助于指点设备30或手势)一致地移动。图8a提供了容器601被固定至第三参考平面44的例子。此外，三维追踪容器60可被固定在第一参考平面36、第二参考平面38和第三参考平面44的交点处，使得三维追踪容器60可与第一参考平面36、第二参考平面38和第三参考平面44中的任何一个的用户引导的运动(例如，借助于指点设备30或手势)一致地移动。图8b示出了容器601被固定在第一参考平面36、第二参考平面38和第三参考平面44的交点处。类似地，在这些情况中的每一个中，参考平面将会与三维追踪容器60的用户引导的运动一致地移动。
[0070]
在另一种改进中，可对一个或多个三维纤维束的操作结果进行冻结(即，在执行其他编辑功能的同时被锁定)。被冻结的纤维还可以被解冻，使得用户可以进一步对该纤维进行编辑。被冻结的纤维组可被保存到文件中并且进行输出。此外，先前保存或输入的被冻结的纤维也可以被加载到计算机中。
[0071]
在图9所示的另一种改进中，一旦应用容器601来生成纤维70的子组，就也可以进一步应用其他的容器602和603来生成用于在更精细的层面上操纵纤维的子组。图9表示额外
的容器将纤维70的一些部分删除的情况。在另一种改进中，用户可以选择性地显示或隐藏主要在特定的方向上(例如前后方向、左右方向、上下方向)延伸的纤维，以生成纤维的子组。
[0072]
应理解的是，本文所述的纤维追踪场景(包括所有的纤维和它们的取向)可被保存到文件中并且进行输出。先前保存或输入的纤维追踪场景也可被加载到计算机中来重现与先前完全一致的场景。
[0073]
在另一种改进中，在对对象的脑或脊髓的特定纤维路径进行追踪期间，所述系统可为用户提供参考纤维路径来识别纤维的形状、取向和位置。在一种有利的应用中，纤维追踪环境还可以与对象的ct、mri、dsa、pet、超声、乳房造影或光声数据共同配准，以形成合成器官图像。用户可在合成3d器官中规划手术路径或手术廊道。在对手术路径或手术廊道进行移动或调节期间，穿过手术路径的所有的纤维都可被动态地突出显示。上文所述的提供对象中的位置的可调节的三维(3d)渲染的计算机实施的方法可被有利地整合到将在下文详细描述的手术导航系统中。
[0074]
在另一个实施方式中，提供了一种计算机成像系统以及一种通过该计算机成像系统实施的、同时提供对象中的位置的可调节的二维和三维(3d)渲染的方法。图10提供了可以实施所述计算机实施的方法的成像系统的示意图。计算机系统10包括显示器12或一个或多个头戴式显示器，其用于显示可通过立体镜或偏光观看眼镜16进行观看的对象的一部分的渲染出的立体图像14。应理解的是，虽然此处的图像被显示为黑白的，但是实际的立体图像可以像如上所述那样渲染有颜色。计算机系统10还包括计算机处理器组件18，其包括cpu20、输入/输出接口22、存储器24和存储装置26。在一种改进中，计算机系统10还包括被选择性地安装至显示器12的追踪系统28，其可以监控立体观看眼镜16、指点设备30以及来自用户的可选手势的位置和取向。指点设备30的运动和动作作为指针光标32被反映在显示器12上。可以使用键盘34将指令和其他信息输入到计算机系统中。通过计算机系统10实施的方法包括接收具有离散空间分辨率的用于对象(例如，白质束)中的位置的图像数据的步骤。至少一个立体图像90基于图像数据被渲染在显示器12上。图10示出了渲染出两个立体图像90、92。立体图像包括图像视差，以提供3d渲染。因此，立体图像可通过具有允许进行立体眼镜的位置和取向追踪的基准点的立体眼镜16或立体显示器来观看。在一种改进中，立体图像可被显示在偏光立体屏幕或头戴式显示器上。替代地，可以使用头戴式vr或ar显示器。头戴式显示器具有用于追踪视觉焦点或者头部位置或者交互的指针或手势的取向或位置的摄像机。与第一立体图像中的预定切片对应的一个或多个二维图像94、96也被渲染在(多个)显示器12上(例如，偏光立体屏幕或头戴式显示器)。接收来自指点设备或手势的、允许在保持正确的三维空间关系的同时操纵立体图像和二维图像的输入信号。
[0075]
仍然参考图10，指点设备30或手势与第一立体图像在具有六个自由度(例如，三个平移自由度以及三个欧拉角)的三维空间中交互。指点设备30或手势帮助对立体图像(即，在3d空间中)和/或二维图像进行旋转、缩放、平移、编辑、突出显示、配准、添加、分段和/或删除。当立体图像(即，在3d空间中)发生改变时，对应的2d切片也会动态地更新并且反映出这些改变。相反地，当一个或多个2d切片发生改变时，对应的3d图像也会动态地更新并且反映出这些改变。例如，可使用指点设备对与3d空间中模拟出的虚拟手术路径交互的图像进行突出显示。用户还可选择被独立地透明化或半透明化或者被独立地切割或打孔形成为用
于模拟手术程序的形状的不同的解剖组件。有利地，可对解剖结构的微观视角与切割或打孔路径进行模拟。通常，指点设备30包括用于启动指令的一个或多个按钮35。在一种改进中，指点设备30具有允许对指点设备进行位置和取向追踪的基准点。
[0076]
在一种变型中，使用指点设备30或手势对立体图像和/或二维图像进行编辑或操纵。例如，用户可对立体图像的分割出的子组件进行突出显示和/或选择，以形成可在体素层面上独立编辑的立体子图像。在一种改进中，用户通过指点设备或手势在第一立体图像上启动三维容器的渲染，从而可在体素层面上将包括突出显示、分段和删除的编辑功能应用于立体图像的位于容器内部的部分或者立体图像的位于容器外部的部分。有利地，用户对两个立体图像一起进行选择、操纵和对齐，以帮助它们一起共同配准，从而形成校正后的立体图像。
[0077]
在一种改进中，通过功能磁共振成像、t1或t2加权磁共振成像、计算机断层扫描、弥散张量成像、计算机断层血管造影、磁共振血管造影、灌注加权成像、磁敏感加权成像、数字减影血管造影、超声、乳房造影、光声图像、正电子发射断层扫描和它们的组合来收集图像数据。在另一种改进中，第一立体图像是根据通过包括功能磁共振成像、t1或t2加权磁共振成像、计算机断层扫描、弥散张量成像、计算机断层血管造影、磁共振血管造影、灌注加权成像、磁敏感加权成像、超声、乳房造影、光声图像和正电子发射断层扫描的两种以上的成像技术收集的图像数据渲染的合成图像。
[0078]
在一种变型中，可以如上所述那样构造合成图像。合成图像包括器官的被共同配准的不同的节段的渲染结果。来自不同的成像方法的图像数据被共同配准和/或分段，以形成合成图像，使得不同的解剖结构来自于不同的成像方法。每种成像方法的贡献都可进行调节，以形成合成图像。在一种改进中，用户选择性地调节合成立体图像的任何特定的部分或图层的不透明度或者对其进行切割，以形成校正后的立体图像。如上所述的同时提供对象中的位置的可调节的二维和三维(3d)渲染的方法可以有利地被整合到手术导航系统中，例如将在下文详细描述的系统。在这方面，用户可选择性地调节合成立体图像的任何特定的部分或图层的不透明度或者对其进行切割，以形成校正后的立体图像。在一种改进中，用户单独地或组合地应用(多个)切片平面、模拟手术电钻、手术刀或任何模拟手术工具将合成立体图像的除了其他部分之外的任何特定的部分切割成任何形状。特别地，可以对解剖结构的微观视角和切割或钻孔路径一起进行模拟。
[0079]
在又一个实施方式中，提供了一种手术导航系统以及一种通过该手术导航系统实施的、提供用于辅助手术的可调节的三维(3d)渲染的方法。图11提供了手术导航系统的示意图。手术导航系统100包括显示器102，其用于对可通过立体观看眼镜112观看的对象105(例如，患者)的一部分的立体图像104(或一个或多个立体图像)进行渲染。手术导航系统100还包括计算机处理器组件108，其包括上文所述的cpu、输入/输出接口、存储器以及存储设备。在一种改进中，手术导航系统100还包括可选地安装至显示器102的追踪系统110，其可以监控立体观看眼镜112、探针120以及来自用户122(例如，外科医生或其他医护专业人员)的可选手势的位置和取向。指点设备120的运动和动作作为指针光标被反映在显示器102上，这将在下文中描述。可使用键盘124将指令和其他信息输入到计算机系统中。手术导航方法包括接收具有离散空间分辨率的用于对象105中的医疗图像的图像数据的步骤。该图像数据可包括ct、mri、pet、乳房造影、超声或光声图像数据。根据图像数据将第一立体图
像104(或一个或多个立体图像)渲染在显示器102上。第一立体图像(或一个或多个立体图像)包括图像视差。来自探针120的输入信号允许将探针定位在第一立体图像104中。应理解的是，探针120是一类指点设备。探针120还允许在保持正确的三维空间关系的同时在三维空间中操纵第一立体图像104，探针与第一立体图像在具有六个自由度的三维空间中交互且对其进行操纵，以观察其与不同器官结构的空间关系。在一种改进中，探针120包括允许确定探针的位置和取向的基准点，或者系统使用手势作为指点设备。探针120还可具有用于通过有线或无线连接与计算机直接进行通信的(多个)按钮和/或其他装置。在另一种改进中，将对操作者的头部运动和/或眼部运动进行追踪并且立体图像将相应地进行更新。在另一种改进中，3d立体图像可在立体显示器或头戴式显示器上被配准到实际对象的图像上并且被叠加在实际对象的图像上。
[0080]
在一种变型中，对手术程序进行模拟的用户能够确定最优的手术路径。在这方面，用户还可在第一立体图像104(或一个或多个立体图像)中限定潜在的手术路径或手术廊道。有利地，穿过手术路径或廊道的白质纤维将被突出显示。随着用户调节手术路径或手术廊道的位置，对穿过手术路径或廊道的纤维的突出显示进行更新。在另一种改进中，系统通过声音或监视器102上的运动报警器105提醒用户手术路径或手术廊道与预限定的白质束、血管或目标区域相交。在一种改进中，在手术操作偏离预定的手术路径或手术廊道的情况下启动警告操作者(例如，用户)的程序。此外，在手术操作与叠加在手术视图上的预定结构交互的情况下启动警告操作者的程序。在规划手术路径期间，用户可以跟随手术路径或手术廊道来模仿患者的身体和/或器官内部的微观视角。有利地，在规划手术路径期间，用户可在3d空间中测量器官的任何部分的尺寸、距离、体积、直径和面积。
[0081]
在一种变型中，所述方法还包括检测对象的位置、取向和身体姿态从而将第一立体图像配准到对象中与第一立体图像对应的实际物理位置的步骤。对象的位置可通过本领域技术人员已知的任何技术被配准到立体图像中的位置。例如，可将基准点标志附接在对象头部上并且随后进行ct扫描。追踪系统110实时地检测这些基准点标志的位置并且随后将这些基准点标志配准到所显示的图像上。为此目的，追踪系统110包括摄像机。对象身体在实际空间中的位置被映射到成像空间中所显示的图像上。在另一种配准方法中，摄像机检测对象身体的位置和取向。随后使用头戴式扫描仪来扫描前额或其他的解剖标志位置，使得计算机可以将对象的图像与他/她的实际位置配准。
[0082]
在另一种改进中，探针120在外科手术期间被定位在对象中，以访问探针在对象中的实际位置并且将该位置进一步配准到立体图像上。立体图像被叠加在实际手术视图的图像上，以形成校正后的立体图像。这些校正后的立体图像被显示在通过偏光眼镜、头戴式显示器或外科显微镜观看的立体屏幕上。在外科手术期间，用户可与3d立体对象交互且对其进行操纵，以查看不同的器官结构之间的空间关系。此外，用户还可在3d立体对象上模拟外科手术，以确定最优手术路径。借助于探针，所采用的实际手术路径被确定并且被重新构建在立体图像上。因此，可以提供对预先规划或建议的手术路径的调节。为了克服实际身体形状与3d立体图像之间由于外科手术期间的身体结构变形而产生的重合失调，探针120允许用户将实际对象上的实际解剖位置映射到3d立体图像上的位置，以帮助计算机将3d立体图像配准到实际对象。在一种改进中，解剖位置包括解剖标志、重要的骨结构、典型的血管结构、典型的脑沟以及脑回。
[0083]
随着手术程序的进行，可以重复地进行这种配准校正。例如，当患者的身体或颅骨被打开时，脑或身体器官会发生变形，由此导致偏离原始图像。在实际位置上的不同点处应用探针120允许映射到图像上的对应点。导航系统100可以随后使图像变形来配准到实际身体形状。
[0084]
在一种变型中，探针可以是允许确定手和手指的手势和位置的(多个)自然手。
[0085]
在一种变型中，探针具有用于与计算机通信的有线或无线式的按钮和电源，从而进行双工通信。
[0086]
在另一种变型中，用户可启动与外科显微镜通信的程序，以实时地检索手术视图。通常，手术视图与立体图像或者预定的手术路径或手术廊道共同配准，以形成一组校正后的立体图像。在一种改进中，用户在具有六个自由度的3d空间中对手术程序进行模拟来确定手术路径或手术廊道或者在所述一组校正后的立体图像中加载预限定的手术路径或手术廊道。在另一种改进中，可以针对第一立体图像或任何另外的立体图像将手术路径或手术廊道叠加在所述一组校正后的立体图像上。在另一种改进中，用户选择包括血管、白质束纤维的关注的重要结构，以将它们与手术路径或手术廊道一起叠加在校正后的立体图像上，从而形成一组整合的立体图像。在又一种改进中，在用户调节第二或第三立体图像中的手术路径或手术廊道的位置或形状的同时，对穿过该手术路径或廊道的白质束和纤维和/或血管的突出显示进行更新。校正后的立体图像被显示在通过偏光眼镜、头戴式显示器或外科显微镜观看的立体屏幕上。
[0087]
在另一种变型中，用户启动从显微镜中实时地提取手术视图的程序并且将进一步处理的手术视图送回到显微镜126，以在3d立体空间中实时地进行显示。
[0088]
在又一种变型中，用户可以将第三组或第二组整合的图像的一部分送回到外科显微镜或外窥镜，以在3d立体镜中进行显示。
[0089]
在另一种变型中，用户启动与现有手术导航系统进行通信的程序，以检索外科手术和手术进程的当前位置的信息。
[0090]
在一些变型中，用户启动将对象的医疗图像与从手术导航系统中提取的同一个人的外科手术位置信息和从显微镜中提取的手术视图进行共同配准和整合的程序，以形成新的图像组。在一种改进中，用户对手术程序进行模拟或对预加载的手术廊道进行调节，从而确定最优的手术路径或手术廊道并且将该手术廊道叠加在现有的立体图像上。
[0091]
以下例子表示本发明的多个实施方式。本领域技术人员将理解多种变型都处于本发明的精神和权利要求的范围内。
[0092]
1.将纤维可视化实现为3d立体图像
[0093]
图12a示出了白质纤维可视化在3d场景中的工作流程。该程序在下文中描述。在这方面，“线集”是3d空间中的一组白质纤维或纤维束。在框200表示的步骤1中，将弥散成像数据与结构成像数据共同配准，随后基于每个体素和体素连通性之间的水分子弥散特征来重新构建整个脑或中枢神经系统的白质纤维束。这些纤维束将被限定为用于后续3d可视化的线集。纤维束的位置或坐标与其对应的结构图像(例如t1/t2/flair/swi/pwi数据)完全对齐。
[0094][0095]
如框202所示，在步骤2中从重构建的纤维束文件中加载线集并且将数据存储到专用数据结构中。每个线集与所有的顶点一起被加载到限定的数据结构中。表1提供了用于加载重构建的纤维的伪代码。
[0096]
图12b提供了数据结构的示意图。在这个数据结构中，存储有多个线集、取向矩阵、每个顶点的坐标等等。如框204所示，在步骤3中基于每条线的取向来计算每个线集(白质纤维)的颜色。这里，白质纤维可基于它们的空间取向来编写颜色。线集的每个节段的取向(方向)被计算为：
[0097][0098]
所有节段中的平均方向被计算为：
[0099][0100]
每个线集方向与平均方向之间的差被计算为：
[0101][0102]
最后，当前线集(纤维)的颜色被计算为：
[0103][0104]
表2提供了计算纤维颜色的伪代码的例子。
[0105][0106]
参考图12c，通过提供具有步骤2处加载的坐标和步骤3处加载的颜色的管线来渲染纤维(线集)，如框206所示。纤维的坐标已经与诸如t1体积、mri数据的结构图像或任何其他结构图像共同配准。如框208所示，根据表3的伪代码将结果渲染在显示器屏幕上。
[0107][0108][0109]
2.使用触控笔在3d立体镜中实施纤维追踪
[0110]
参考图13a，示出了表示使用触控笔进行纤维追踪的示意图。总是通过两个摄像机来追踪物理触控笔的局部变换，可通过对触控笔的位置进行追踪来提取数据。触控笔具有可通过摄像机红外识别的标记。在显示器的前部空间处限定虚拟3d空间。触控笔的位置被转换到该虚拟空间中，以确定其与同一个空间中的其他对象的交互。在图13b中限定了场景
的层次转换。在这方面，工作流程如下：
[0111]
1.通过提取摄像机追踪信息来获得触控笔的局部变换矩阵。
[0112][0113]
2.计算从摄像机空间到纤维的局部空间的变换矩阵。
[0114]
m
result
＝m
stylus
*m
window
*m
scene
*m
fibers
[0115]
3.基于触控笔光束的长度计算其顶部和头端。
[0116]
coordinate
tip
＝m
result
*coordinate
initialtip
[0117]
4.使用计算出的触控笔光束的位置来确定该光束是否与场景中的任何纤维交互，如果是，则触发对应的事件。在表4中提供了用于交互测试和触发事件的算法。
[0118][0119][0120]
3.在3d立体镜中实施纤维追踪的布尔运算(and、or、not)
[0121]
如下所述实施纤维追踪的布尔运算(and、or、not)：
[0122]
i)当加载时，每个线集都与其坐标一起被分配给唯一的id
[0123][0124]
ii)当通过关注区域(roi)提取出纤维时，其可以是球形或任何形状的容器。roi在其数据结构中具有用于从其中穿过的线集的id。
[0125][0126]
iii)每个roi将具有针对整个纤维数据集(all_uids)的引用。
[0127]
3.1or运算
[0128]
图7b示出了将在场景上共同地突出显示/显示穿过任一个roi的纤维。
[0129]
在表5中提供的算法实施中，程序将来自两个roi的id组合成为新的对象。
[0130]
[0131][0132]
3.2 and运算
[0133]
图6a示出了将在场景中对仅穿过两个roi的纤维进行可视化。在表6中提供的算法实施中，可以找到两个roi之间的公共id并且通过这些id生成新的roi。
[0134][0135]
3.3 not运算
[0136]
图7a示出了纤维追踪的not运算。在左侧面板上，深色纤维和浅色纤维(在实际应用中，这些纤维具有不同的颜色)都穿过第一roi。在右侧面板上，从场景中删除穿过第二roi的纤维，意味着穿过第一roi但是不穿过第二roi的纤维将被显示在场景中。在表7中提供的算法实施中，程序将计算一个roi中而不是另一个roi中的id，随后生成具有这些id的roi。
[0137]
[0138][0139]
3.4二元运算的概要
[0140]
如图5a所示，用户可通过使用追踪触控笔在以下步骤中对白质纤维进行追踪。
[0141]
1.在3d空间中将纤维移动到所需位置。
[0142]
2.使用功能键将当前的关注区域(roi)类型改变为特定的布尔函数，包括and、or或not。
[0143]
3.通过使用二元运算中提及的算法来计算当前的束(其实际是roi)与当前的标记(其是另一个roi)之间的结果。
[0144]
4.生成用于预览的一组临时提取的纤维。
[0145]
5.在用户点击主按钮后将临时提取的纤维添加至结果。
[0146]
在图5a中，穿过追踪球的纤维被突出显示为白色；右侧：用于放置追踪球的触控笔
光束(红色)。
[0147]
4.结构图像和白质纤维的共同可视化
[0148]
通过使用体积渲染和光线投射技术对结构成像数据(例如，t1/t2/flair/swi/pwi图像)进行可视化。使用传统的光栅化管线对白质纤维进行渲染。可使用混合渲染技术在3d空间的场景中对结构成像数据和纤维进行渲染。由于纤维数据和结构图像预先被共同配准，因此这两个数据集将在3d场景中被完全对准和可视化。因此，纤维被叠加在结构图像上。图14示出了在场景中对结构和纤维数据进行的混合渲染。
[0149]
4.1使用结构图像作为纤维追踪的参考
[0150]
由于可在共同配准之后通过完全对齐的方式将纤维叠加在结构图像上，因此用户可以使用结构标志作为执行纤维追踪的参考。图15表示如何将结构和纤维数据共同配准并渲染在一起的程序。
[0151]
4.2在3d正交平面(正交切片)中使用2d图像切片作为用于纤维追踪的参考平面
[0152]
图3a和3b所示的正交切片的工作流程如下。
[0153]
1.渲染正交切片
[0154]
a.定位器官的图像采集中心，其也将用作为正交切片的中心。这将作为x，y，z坐标的起点。
[0155]
b.基于中心的坐标向xz平面、xy平面和yz平面渲染切片。
[0156]
算法：渲染正交切片
[0157][0158][0159]
2.如上所述那样渲染纤维。
[0160]
3.一起渲染正交切片和纤维(参见图3a和3b)。由于纤维和结构图像被共同配准，因此纤维被叠加在3d正交切片上。
[0161]
4.移动正交切片。当用户将触控笔指向任何正交切片时，用户可拖动正交切片从而使其沿着其与平面垂直的轴线移动。纤维与正交切片之间的交点表示纤维的位置。因此，正交切片可用于帮助定位纤维追踪的解剖标志。
[0162]
虽然上文描述了示例性实施方式，但不应认为这些实施方式描述了本发明的所有可能的形式。相反，说明书中使用的词语是描述性而非限制性词语，并且应理解的是可在不脱离本发明的精神和范围的情况下做出多种更改。另外，实施的多个实施方式的特征可组合形成本发明的另外的实施方式。