用于调节经皮治疗的交互式3D治疗区的方法和系统与流程

用于调节经皮治疗的交互式3d治疗区的方法和系统
1.本发明申请是国际申请号为pct/us2015/058441，国际申请日为2015年10月30日，进入中国国家阶段的申请号为201580060066.2，名称为“用于调节经皮治疗的交互式3d治疗区的方法和系统”的发明专利申请的分案申请。
2.相关申请的交叉引用
3.本技术要求在2014年10月31日提交的名称为“method and system for adjusting interactive 3d treatment zone for percutaneous thermal ablation surgery with real time visual feedback”的序列号为62/073,420的美国临时申请，以及在2015年10月29日提交的题为“method and system for adjusting interactive 3d treatment zone percutaneous treatment”的序号为14/926,559美国非临时申请的优先权，其全部内容通过引用并入本文。
4.背景
技术领域
5.本发明与外科手术规划相关。更具体地，本发明涉及用于外科手术规划的交互式医学图像处理。


背景技术：

6.随着医学成像领域的进步，使得肝肿瘤消融的微创技术成为可能。在这些最小侵入性技术中，已经以不同的形式对经皮热消融进行了研究。目前，经皮射频消融是开放手术治疗肝癌最有希望的替代方法之一。该操作是将针(探针)插入需要被热破坏的目标组织中的微创程序。这种方法被用于治疗不可切除肝转移的患者。这种操作的成功在很大程度上取决于针插入的准确性，因为当准确时，可以破坏整个肿瘤而不损害附近的器官，以便最小化局部复发的风险。为了确保准确性，通常进行术前治疗计划，这是避免并发症甚至死亡的关键因素之一。
7.常规地，执行术前治疗计划的放射科医师依赖于二维(2d)扫描切片的图像来确定针的位置。不幸的是，在仅依赖于2d扫描仪切片时，这种治疗的计划相当困难。大多数现有系统或软件在2d切片中通过受影响区域的2d重叠显示探针和治疗区域。一些现有的系统也可以在3d中显示治疗区域并提供3d姿势调整。然而，既没有任何现有的系统可以直接3d地操纵治疗区域大小和形状，也没有任何现有的系统可以3d地反映其他散热结构对治疗区域的形状的实时影响。
8.因此，需要一种可以用于帮助医务人员以更可靠和准确的方式执行术前治疗计划的解决方案。


技术实现要素：

9.本发明涉及外科手术规划。更具体地，本发明涉及用于外科手术规划的交互式医学图像处理。
10.在一个示例中，公开了一种在具有至少一个处理器、存储器和能够连接到网络以进行外科手术规划的通信平台的计算设备上实现的方法。包含在3d体积中的至少一个三维(3d)对象被呈现在显示屏幕上。所述至少一个3d对象包括对应于器官的3d对象。从用户接收关于相对于至少一个3d对象定位的手术器械的3d姿态的第一信息。基于第一信息在3d体积中呈现手术器械的3d表示。从用户接收与手术器械的设定有关的第二信息。基于第一和第二信息来估计相对于至少一个3d对象的3d体积中的3d治疗区域。3d体积中的3d治疗区域可在显示屏幕上显示。手术器械的3d表示和3d治疗区域的将用于外科手术规划。提供与手术器械的3d表示和/或3d治疗区域相关联的一个或多个控制，以便于用户通过一个或多个控制来动态调整3d治疗区域。
11.在不同的示例中，公开了一种用于外科手术规划的系统。该系统包括三维(3d)场景渲染机构、探针处理模块、控制处理模块、治疗区域计算模块和治疗区域渲染机构。3d场景渲染机构被配置为在显示屏幕上渲染包含在3d体积中的至少一个3d对象。所述至少一个3d对象包括对应于器官的3d对象。探针处理模块被配置为从用户接收关于相对于至少一个3d对象定位的手术器械的3d姿态的第一信息。探针渲染机构被配置为基于第一信息在3d体积中呈现手术器械的3d表示。控制处理模块被配置为从用户接收与手术器械的设置相关的第二信息。治疗区域计算模块被配置为基于第一和第二信息来估计相对于至少一个3d对象的3d体积中的3d治疗区域。治疗区域渲染机构被配置为在显示屏幕上显示3d体积中的3d治疗区。手术器械和3d治疗区域的三维表示将用于外科手术规划。控制处理模块还被配置为提供与手术器械的3d表示和/或3d治疗区域相关联的一个或多个控制，以便于用户经由一个或多个控制来动态地调整3d治疗区域。
12.其他概念涉及用于实施本发明的外科手术规划的软件。基于该概念的软件产品包括至少一种非暂时的机器可读介质和介质携带的信息。介质携带的信息可以是可执行程序代码数据、与可执行程序代码相关联的参数、和/或与用户相关的信息、请求、内容或与社会群体相关的信息等。
13.在一个示例中，公开了一种其中记录有用于外科手术规划的信息的非暂时机器可读介质。记录的信息在机器读取时使机器执行一系列处理。包含在3d体积中的至少一个三维(3d)对象被呈现在显示屏幕上。所述至少一个3d对象包括对应于器官的3d对象。从用户接收关于相对于至少一个3d对象定位的手术器械的3d姿态的第一信息。基于第一信息在3d体积中呈现手术器械的3d表示。从用户接收与手术器械的设定有关的第二信息。基于第一和第二信息来估计相对于至少一个3d对象的3d体积中的3d治疗区域。3d体积中的3d治疗区域可在显示屏幕上显示。手术器械和3d治疗区域的三维表示将用于外科手术规划。提供与手术器械的3d表示和/或3d治疗区域相关联的一个或多个控制以便于用户通过一个或多个控制来动态调整3d治疗区域。
14.另外的特征将在下面的描述中部分地阐述，并且在通过检查以下的附图和附图之后，本领域技术人员将变得显而易见，或者可以通过实施例的生产或操作来了解附加的特征。本发明的特征可以通过实践或使用以下详细示例中阐述的方法、工具和组合的各个方面来实现。
附图说明
15.根据示例性实施例进一步描述本文所描述的方法，系统和/或程序。参考附图详细描述这些示例性实施例。这些实施例是非限制性示例性实施例，其中在附图的几个视图中相同的附图标记表示相似的结构，并且其中：
16.图1(a)描绘其中包含3d对象的三维(3d)体积；
17.图1(b)示出了包含在3d坐标系中显示的3d对象的3d体积；
18.图1(c)示出了以不透明模式在3d坐标系中显示的3d体积；
19.图2(a)描绘了根据本发明的实施例的在其中显示3d对象的3d场景和用于放置虚拟探针的3d场景中指定的3d点；
20.图2(b)示出了根据本发明的实施例的在其中显示有多个3d对象的3d场景，以及可移动和可调节探针被放置在物体附近的指定3d点处；
21.图3示出了根据本发明的实施例的可移动和可调节探针的示例性结构；
22.图4(a)
‑
4(c)示出根据本发明的实施例与虚拟探针的可移动和可调特征相关联的不同变化；
23.图5示出了根据本发明的实施例的放置在3d体积中的多个探针；
24.图6示出了根据本发明的实施例的放置在3d对象附近的探针，其具有在探针的特定位置处的3d对象的2d横截面视图，以示出探针附近的解剖结构；
25.图7示出了根据本发明的实施例的用户可以通过沿着探针滑动横截面视图来动态地调整解剖结构的观察的场景；
26.图8(a)示出了根据本发明的实施例的探针遇到的障碍物的概念；
27.图8(b)描绘了根据本发明的实施例的用于产生检测到的障碍物的警告的示例性手段；
28.图9呈现了根据本发明的实施例的显示用于放置探针的不同区域的示例性方式；
29.图10是根据本发明的实施例的基于由用户指定的可选条件来放置、操纵和呈现虚拟探针的示例性过程的流程图。
30.图11示出了根据本发明的实施例的经皮术前规划中的示例性类型的操作控制；
31.图12描绘了根据本发明的实施例的有助于3d环境中的虚拟探针的3d放置和操纵的系统的示例性构造；
32.图13示出了根据本发明的实施例的用于在3d环境中3d放置和操纵的虚拟探针的系统的另一示例性构造；
33.图14是根据本发明的实施例的基于由用户指定的信息来估计，调整和呈现3d治疗区域的示例性过程的流程图。
34.图15(a)
‑
15(b)描绘了根据本发明的实施例的3d体积中的手术器械的3d表示、器官、解剖结构和治疗区域；
35.图16描绘了根据本发明的实施例的与手术器械的3d表示和治疗区域相关联的多个控制；以及
36.图17描绘了可以用于实现结合本发明的专用系统的计算机的架构。
具体实施方式
37.在下面的详细描述中，通过实施例阐述了许多具体细节，以便提供对相关教导的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些细节的情况下实践本发明。在其他情况下，已经以较高级别(没有细节)描述了众所周知的方法、程序、系统、组件和/或电路，以避免不必要地混淆本发明的各个方面。
38.本发明涉及用于经皮热消融探针的三维(3d)治疗区域的交互式调整。它可用于经皮手术如射频消融、微波消融或冷冻消融的手术前计划，以帮助医生更好地观察和决定有效的治疗区域。它可以提供独特的交互方案，例如探针控件或3d区域治疗区域调整的区域控制。它还可以通过周围的散热结构提供对区域的影响的更直观和实时的反馈。
39.图1(a)描绘了具有在其中呈现的三维物体的3d体积100的三维场景。如图所示，3d体积100已被分割成多个对象101
‑
a，101
‑
b，...，101
‑
c和102.这些物体可以对应肝、病变、骨骼、动脉、重要器官或皮肤(例如102)。每个3d对象可以对应于3d体积100内的子3d体积。3d体积100可以在诸如计算机显示屏幕的2d显示屏幕上显示。这种显示可以在明确定义的3d坐标系中执行。这在图1(b)中示出，其中3d体积100显示在由具有三个轴x，y和z的坐标系120定义的3d空间中。3d体积100可以呈现在2d显示器上相对于具有特定3d姿态的3d坐标系120的屏幕，包括其几何位置和取向。
40.在一些实施例中，3d体积100可以沿着一些3d取向被切割成多个2d切片，使得每个切片提供沿着特定方向的3d体积100的2d图像。为了方便有效的3d显示，这些2d切片可以放置在该3d场景的内部，以使得观察者能够在平面上观察不同物体(如果有的话)的组成。通过这种方式，人们可以观察到不同的分割3d对象之间的空间关系。该概念在名称为“multiple volume exploration system and method”的第7,315,304号美国专利中描述。
41.用户可以以不同的方式操纵3d体积100的显示。例如，整个3d体积可以相对于3d坐标系120旋转和平移。这可以便于用户从不同角度观察不同对象之间的空间关系。此外，可以独立地操纵每个分割对象的显示，例如，3d对象可以被看到或不可见，使得用户可以看到3d体积100的被所选择的3d对象遮挡的区域。这可以通过调整所选择的3d对象的透明度来完成。当所选择的3d对象被设置为完全透明或高度半透明时，被所选择的3d对象所遮挡的对象可以更加明显。在一些实施例中，可以使感兴趣的3d对象变得不透明，并且当还呈现用于该对象的附加2d切片时，可以更清楚地观察3d对象的内部结构。例如，当3d对象对应于人体的皮肤时，当用户选择以透明模式显示皮肤时，皮肤结构内部的所有对象都可以看得见。另一方面，如果用户选择以不透明模式显示皮肤，则包裹在皮肤内的3d对象将都是不可见的。这在图1(c)中示出，其中皮肤对象102以不透明模式103显示，并且皮肤内部的任何物体都不可见。在一些实施例中，可以逐渐和交互地调整透明程度以满足用户的需要。
42.图2(a)示出了根据本发明的实施例的具有显示在其中的三维对象的三维场景300和指定的3d位置。为了执行经皮术前手术规划，用户可以与根据本发明开发的系统进行交互式接口以指定要放置虚拟探针的3d位置。这在图2(a)中示出，其中3d位置201根据在例如显示屏幕上指定的2d位置来确定。这样的规范可以通过各种已知的技术来完成，例如在显示屏幕上的鼠标点击。通过例如鼠标点击确定的屏幕点可以对应于相对于基于底层显示屏定义的2d坐标系的2d坐标。这样的2d坐标需要被转换成3d场景300中的3d坐标点，这可以通过经由变换将2d坐标转换成3d坐标来完成。可以相对于3d场景中的3d对象(例如，皮肤102)
选择这样的2d坐标，并且所变换的3d位置可以对应于虚拟探针或针将被虚拟放置在3d对象上的3d位置以模拟经皮手术在经皮术前手术计划程序中的作用。
43.图2(b)示出了一旦确定了在显示屏幕上选择的2d点对应的3d坐标，则可以将虚拟探针或针204虚拟地放置在3d空间300中的3d坐标位置。虚拟探针或针204根据需要可以具有直的形状或任何其他形状，如图3所示。在一些实施例中，虚拟探针可被构造成具有尖端301、主体302和手柄303。尖端301是虚拟探针204被放置在3d对象(例如，图2(b)中的对象102)上部位。通过适当的接口和工具(参见下面参考图8的描述)，用户可以经由探针的某些部分(例如主体302或手柄303)来操纵虚拟探针204的运动。例如，在经皮前置肝脏疾病的手术外科计划，可以将病变选择为要放置虚拟探针的3d对象(例如，对象101
‑
a)，并且在虚拟探针和人类皮肤相交的点处是实际操作中的针可能需要放置的位置。
44.可以调整虚拟探针，一旦插入。这可以通过允许用户使用工具(例如，在gui中，使用拖拉运动)来根据需要移动虚拟探针的不同部分来完成。例如，可以允许用户拖动探针的尖端301并拉动到期望的3d位置。也可以允许用户抓住探针的主体302并将其拖动，使得探针的尖端保持位置不变。类似地，可以允许用户拖动尖端的手柄303并且移动。在其他实施例中，可以通过拖动主体302或手柄303来允许用户移动尖端。
45.当创建虚拟探针时，其可以具有一定长度，并且这样的长度可以与探针一起显示(参见图4(a))。探针长度可以是动态的或固定的。可以使用固定长度的探针来模拟通常具有10cm、15cm和20cm长度的商用针电极系统。可以提供不同的长度备用，并且用户可以选择可用长度中的任何一个。
46.使用固定长度的探针的配置对于在手术前规划中有助于更逼真进行模拟。当探针配置为固定长度时，可以相应地确定探针的移动。例如，当探针的长度固定时，例如探针的运动可以被限制在皮肤102或相对于探针的尖端的半球。这在图4(c)中示出。然而，当用户选择不同的长度的探针时，可以相应地或自动地调整探针的允许移动的范围。
47.在一些实施例中，探针的长度可以是动态的。用户可以使用具有动态长度的探针，如图4(b)所示。具有动态长度的探针的移动范围可以相对于探针的尖端来定义。在这种情况下，探针的运动可以被限制在例如皮肤表面上。相对于诸如患者坐标系的坐标系的探针的角度可以在探针被操纵时实时显示在屏幕上。
48.在一些实施例中，可以放置多于一个探针。图5示出了放置在所选对象的相同3d位置上的两个探针510和520。这可能有助于为用户提供同时测试多于一个探针的能力，并且可以评估在相同治疗和效果中利用多个探针的可能性。
49.根据本发明的系统还可以提供允许用户沿着已经放置的探针来观察3d对象的解剖结构的装置。在图6中，提供了对应于3d对象601的2d切片图像的正交探针视图620.该2d切片图像可以是以探针为中心且与探针正交的视图。通过该视图，用户可以在二维图像视图中看到探针传递的结构。如图7所示，用户还可以通过拖动沿着探针主体上下移动观察平面。用户还可以激活自动移动功能，根据特定的时间间隔，使探针视图可以沿着探针自动上下移动。
50.图8示出了根据本发明的实施例的探针遇到的障碍物的概念。在一些医疗应用中，实际或物理探针不能穿过身体的某些部位，例如骨骼，重要器官或主要动脉。身体的这些部分可以被明确定义为障碍物或禁止部分。根据本发明，提供了一种机制和方法，当探针与身
体的这些部分相交时，自动检测碰撞。根据本发明的系统可以定义默认障碍物或禁止部件。在一些实施例中，它还可以为用户提供灵活的装置，以根据具体应用的需要来动态地定义这些障碍物。例如，在某些应用中，骨骼可能是一个障碍。然而，在其他应用中，骨骼可能是需要放置探针的目标区域。
51.当限定障碍物时，系统可以在将探针放置在3d场景中时提供自动碰撞检测能力。在图8(a)中，示出了每当放置探针时，可以自动应用碰撞检测。当用户移动探针时，每当探针碰到任何定义的障碍物时，系统可能会提醒用户。提醒用户的示例方法是创建一个警告视觉效果，例如使用视觉刺激的颜色或生成音频声音。这在图8(b)中示出。这样的反馈是产生警告效果以吸引用户的注意。对于不同的障碍物，可以使用不同的颜色或声音，使得用户可以识别与每个不同警告相关联的障碍物的类型。也可以设计音频反馈来表示遇到的障碍的类型。
52.在一些实施例中，可以单独地打开或关闭障碍物，使得用户可以在移动和插入探针时进行实验和探索不同的场景。
53.对于障碍物或探针被禁止进入的区域，也可以将3d场景中的这些区域标记为探针可能不能进入的区域。例如，在某些程序中，骨骼可能被视为障碍物。此外，主要动脉可能被认为是受限区域或禁止区域。根据本发明，可以提供手段来自动识别这些约束区域并将其标记在对应于这种禁止区域的皮肤表面上。这在图9中示出，其中皮肤表面被标记为两个区域。一个对应于探针903可以进入的区域901，另一个区域902是不允许探针903进入的区域。这样的区域相对于特定的目标位置计算，该目标位置对应于皮肤内的目标物体，其中治疗将通过实际的针头传送。因此，区域901是有效的插入区域，其是探针903可以在没有遇到任何障碍或约束的情况下到达目标对象的目标位置的区域。另一个区域902是探针被一些障碍物或约束物阻挡的区域。可以使用不同的视觉效果来显示不同的区域，例如使用不同的颜色或具有不同的外观，例如透明度。
54.图10是根据本发明的执行经皮前期手术计划过程的实施例的示例性过程的概括流程。体积数据可以首先在1010处被加载到系统中。在一些实施例中，在1010处可以进一步处理这种加载的体积数据，以提取不同的分割的3d对象。在一些实施例中，加载的数据可能已经被预先分段，并且一个或多个3d对象可能已经存在。一旦加载，3d体积和其中包含的3d对象在1015处被渲染在3d场景中。在3d体积和3d对象被显示在显示屏幕上之后，用户可以在经皮下输入与系统交互的指令手术前规划过程。可以通过不同的方式发出用户输入。例如，输入可以与诸如鼠标点击某些控制按钮或选择多个可用选择的动作相关。
55.可以根据输入的性质或某些预设的系统配置将这样的用户输入调度到相对动作模块。当系统接收到输入时，在1020处解释输入。可能有不同类型的输入。输入的一个示例性类型涉及诸如3d体积中的目标对象，障碍物或禁止区域的定义。输入的另一示例性类型是在经皮术前规划过程中与不同3d对象的插入、操纵和显示相关的指令。
56.关于定义不同类型的对象，根据特定过程的性质，可以定义不同的目标对象。例如，对于治疗肝肿瘤的过程，肝脏中的病变可以被鉴定为目标。对于每个过程，也可以定义不同类型的障碍物。障碍物可以被定义为探针不能穿透的物体。这种障碍物的一个例子可以是骨骼。然而，如果不同的程序需要探针进入骨骼结构，骨骼可以被定义为目标而不是障碍物。对象的另一示例性类型是禁止区域，其可以被定义为如果探测者进入则可能导致伤
害的区域。例如，用户可以选择肝脏周围的一个或多个主要动脉作为禁止区域进入探针。在这个例子中，为了允许探针进入肝脏内的病变，探针必须采取避免骨骼和主要动脉的途径。
57.可以基于对应于所有分段的3d对象的多个选择来进行目标对象，障碍物或禁止区域的选择。例如，代表人体的3d体积中的分段对象可以包括皮肤、肝脏、胰腺、肾脏、某些器官内部或附近的病变、周围的组织、骨骼、血管等。根据要执行的程序，可以选择与例如肝脏相关联的病变作为目标对象。根据要进行的具体处理，可以选择不同的障碍物或禁止区域。例如，对于经皮治疗，可以选择骨骼作为障碍物，并且可以选择主要血管作为禁止区域。一旦这样的选择被解释，系统将这样的定义发送到1055处的冲突检测操作，利用这种信息自动检测探针何时遇到或进入这些对象。
58.如所讨论的，另一种类型的输入对应于与不同3d对象的插入，操纵和显示相关的指令。可以进一步识别不同类型的指令。如果输入指令涉及在1025处确定的虚拟探针的插入，则系统在1030还进一步接收对应于用户指定的屏幕位置的2d坐标，如探针将要到达的。为了将2d屏幕位置转换成探针到达的3d坐标，在1035处执行2d坐标和3d坐标之间的变换。由于接收的2d坐标可以对应于用户希望插入新探针或者对已经插入的探针进行调整，则在1040还进一步确定所请求的操作是否对应于创建新探针或调整现有探针。
59.如果用户的请求是插入一个新的探针，系统将在1045处在变换后的3d坐标上呈现一个新探针。然后，该处理进行到在1055处检测探针与被定义为障碍物或禁止区域的任何其它物体之间的潜在碰撞。如果用户的请求是对现有探针进行调整，则系统在1050将现有探针调整到变换的3d坐标，然后在1055处进行碰撞检测。当检测到碰撞时，系统可以产生警告消息，在1060，提醒用户，探针可能遇到一些障碍或进入禁止的区域。生成和呈现警告消息的方式可能取决于系统设置。例如，系统可以默认在检测到冲突的位置闪烁(参见图8(b))。
60.当存在多个现有探针时，可以执行附加步骤(未示出)，其中用户和系统可以交互地确定要调整哪个探针。此外，从用户接收到的2d坐标可以对应于关于探针的尖端、主体或手柄的操纵，这取决于哪个是最近的部位，以及系统处于哪种操作模式(未示出)。例如，如果将系统设置为使用探针的手柄来操纵探针的模式，则从从用户接收的2d坐标变换的3d坐标是探针的手柄将被重新定位。如果探针被选择为具有固定的长度，则还需要根据探针的手柄必须位于围绕探针尖端的球体的事实来确定3d坐标。用户也可以在不同的操作模式之间切换。例如，用户可以首先通过相对于探针的尖端操纵来选择将探针的尖端调整到最佳位置。一旦尖端位置满足步骤的需要，用户然后可以切换到探针的操纵通过探针的手柄的模式。通过探针的手柄进行这种操作，用户可以调整探针在皮肤上的入口点，而不会影响尖端位置，以避免任何障碍物或禁止区域。
61.如果输入指令涉及在1025确定的3d场景操纵，则系统进行到1065以处理3d场景操纵。3d场景操作可以包括面向对象的场景旋转、缩放、显示模式等。在一些实施例中，当3d场景被移动时，已经插入到3d场景中的探针可以相应地移动。以这种方式，用户可能能够从不同的角度观察探针和周围物体之间的空间关系。在一些实施例中，通过3d操纵，用户可以通过例如使其透明、不透明或半透明来操纵个体物体的可视性。在某些情况下，用户还可以控制沿着探针观察物体的2d横截面视图，并且可以任意地改变生成和显示2d横截面视图的位置。在另一个实施例中，用户也可能能够通过例如拖动探针的手柄来旋转整个3d场景来经
由探针来操纵3d场景。
62.在一些实施例中，它还可以设置对3d场景的操纵不影响探针的3d姿态。有时这可能是有用的，因为用户可以调整3d体积，例如，直到或避免冲突。在这种情况下，每当3d场景被改变(例如旋转或翻转)时，系统自动进行到1055以检测碰撞，并且随后在1060检测到碰撞。
63.如果输入指令涉及在1025确定的操作控制，则系统进行到1070以执行指示的控制。可能有不同类型的操作控制。图11示出了一些示例性类型。例如，用户可以控制打开或关闭虚拟探针的视图(120)。用户还可以控制打开或关闭视图，其中与特定约束相关联的不同区域可以在视觉上不同(130)。用户还可以控制如何在视觉上或声学上呈现碰撞情况。此外，如前所述，用户还可以控制如何显示3d对象，例如不透明或透明。这包括控制每个单独对象或整个3d场景的显示。
64.图12描绘了根据本发明的实施例的促进在用于经皮术前手术规划的3d环境中的虚拟探针的放置和操纵的示例性系统1200的构造。系统1200包括显示设备1210，图形用户界面1215，2d/3d转换机构1220，控制面板辅助器1225，探针处理模块1230，碰撞检测模块1235，多个渲染机构，包括探针视图渲染机构1240，约束区域渲染机构1245，探测渲染机构1250和3d场景渲染机构1255，3d对象管理模块1260，探测视图操作模块1265，约束区域计算模块1270和3d场景操纵机构1275。
65.用户1205可以经由显示设备1210上显示的用户界面与系统1200进行交互.gui控制器1215可以控制系统1200和用户1205之间的交互。如果用户1205期望使用与一个虚拟探针一旦建立了3d场景，则用户可以请求系统从3d对象管理1260检索3d对象信息，并且经由3d场景渲染机构1255呈现这样的对象。当通过用户界面输入这样的用户请求时，gui控制器1215然后可以解释该请求，从而激活适当的功能模块来执行所请求的操作。
66.例如，如果要求改变3d场景的方向，则系统可以激活3d场景操纵器模块1275，以根据来自用户的规范来修改3d场景的取向。在该过程中，用户和gui控制器可以连续地进行交互，例如，用户可以点击3d场景中的一个点并沿某一方向拖动，使得整个3d场景可以沿着相同的方向移动。类似地，用户可以针对诸如虚拟探针的特定3d对象来执行相同的控制。
67.用户还可以与系统交互以对探针进行各种控制。当用户通过2d显示屏手动控制探针时，2d/3d变换机构1220将2d屏幕点动态地转换为3d场景中的3d点，然后将3d点传递到探针处理模块1230，探针处理模块1230确定它是对现有探针进行的新的探针创建操作或调整操作。然后通过探测渲染机构1250将期望的探针渲染在3d场景中。在移动现有探针的过程中，碰撞检测模块1235可操作以检测可应用的探针与已经被定义为任一个的任何3d对象之间的相交障碍或禁区。碰撞检测模块1235还可以在检测到冲突时产生警告信息。
68.如本文所讨论的，系统还提供了用于用户对系统的操作进行各种控制的装置。例如，通过控制面板辅助器1225，用户可以激活或禁用由探测视图操作模块1265控制的探测视图。用户还可以通过探测视图呈现机构1240来控制其他显示参数，例如透明度。用户可以还设置也可以个性化的所需的显示模式，并且当用户用系统登记时可以自动应用这样的设置。例如，用户可能希望总是以透明模式显示皮肤(3d对象)。当检测到碰撞时，另一个用户可能希望具有特定的声音作为警告。用户还可以通过与约束区域计算模块1270交互来控制对约束区域的计算的激活或去激活，或通过与约束区域渲染机构1245交互来控制检测到的
约束区域的显示。
69.用于消融的微创技术随着医学成像的进步而越来越普及。其中，经皮热消融已经以不同的形式进行了研究，如射频消融，微波消融或冷冻消融。该操作是微创程序，其包括将针插入目标组织中，然后使用不同水平的热能来破坏它。这种操作的成功主要取决于针插入的准确性，使得可以破坏整个靶向肿瘤，同时避免对其他器官的损害并最小化局部复发的风险。因此，有效的治疗区规划是确定手术成功或失败的关键因素之一。
70.如背景技术部分所述，为了获得治疗区域的更精确的形状，希望在3d环境中显示它。而对于人类而言，它更直观，因为我们在3d中自然地感觉到。此外，当用户集中精力观察治疗区域与周围解剖结构之间的关系时，最好直接在3d中调整治疗区域的大小，形状和姿态。因为如果用户必须将注视力放在3d空间和用于调整其他地方的控制小部件之间，用户可能会失去焦点。
71.为了提供这种直接操纵，根据本发明的一个实施例的系统和方法增强具有多个探针控制的3d虚拟探针。虚拟探针的末端手柄可以用作姿势操纵器来改变探针的方位和位置。探针的主体可以具有几个用于调节探针设置的控制器，例如探针的型号，长度和热能水平。可以在热治疗区域本身(例如，放置在3d治疗区域的边界或边缘)上提供开区控制，以调整治疗区域的长度，半径宽度和预间隙尺寸。当用户将鼠标移动到治疗区域的其中一个区域位置时，它们可以激活相应的对区域控制，例如调整区域的大小。虚拟探针还可以显示探针主体上的刻度，以便用户可以看到探针的长度应该从入口点接近目标。此外，当治疗区域被调整为接触或接近某些解剖结构时，可以使用散热模型来计算对该区域的形状的相应影响或变化。然后可以实时更新和显示受影响的区域。
72.图13描绘了根据本发明的实施例的示例性系统1300的另一种构造，其有助于在用于经皮术前手术规划的3d环境中的虚拟手术器械和治疗区域的放置和操纵。注意，在本实施例中将不再重复相对于图12所述的相同的机构和模块。除了图12中相同的机构和模块之外，系统1300还包括治疗区域计算模块1305，治疗区域渲染机构1310和控制处理模块1315。
73.治疗区域计算模块1305被配置为估计由手术器械(例如探针)引起的治疗区域。在该实施例中，治疗区域由探针的热能引起。可以通过使用的散热模型来考虑探针的3d姿态，探针的设置，例如模型，长度和热能水平以及对靶器官和周围解剖结构的散热效应由治疗区域计算模块1305估计受影响的3d区域。治疗区域渲染机构1310被配置为在显示屏幕1210上的3d体积中显示估计的3d治疗区域。在该实施例中，3d治疗区域的显示可以以与上述相同的方式实现，3d场景渲染机构1255的对象和3d虚拟探针以及探针渲染机构1250.可以将3d治疗区域与3d对象和3d虚拟探针一起呈现在显示屏幕120上的3d体积中，使得用户可以容易地看他们之间的空间关系。
74.图15(a)示出3d体积1501包含对应于目标器官503和周围解剖结构1505的3d物体。待治疗的目标区域1507在目标器官1503内，被附近的血管结构1507包围。将虚拟探针1509插入到目标区域1507中。基于3d姿势和探针的设置，在3d体积1501中估计和显示对应的治疗区域1511。
75.图15(b)示出了由解剖结构的散热效应引起的对尺寸和形状治疗区域的影响。在该示例中，血管结构1507通过血管树将热量从探针1509消散，因此改变治疗区域的尺寸和形状。因此，原治疗区域1511被调整到经调整的治疗区域1515，其可能不完全覆盖目标区域
1507，因此使得治疗无效。考虑到经调整的治疗区域1515的显示，用户可以相应地实时调整虚拟探针1509的3d姿态和/或设置，以获得经过调整的手术计划以便更好地治疗。
76.返回到图13，控制处理模块1315可以提供与3d虚拟探针相关联的一个或多个探针控件和/或与3d治疗区域相关联的一个或多个区域内控制。探针控件可以是诸如按钮、旋钮、滚动等的任何图形用户界面元件。可以由探针控制器调节的探针的设置包括例如探针的模型，探针的长度以及探针的热能水平。可以通过操纵3d中的探针控制，通过实时的探针控制来动态地调整探针的设置。结果，可以基于探针设置的调整来相应地动态地调整3d治疗区域，并且3d治疗区域被实时显示。
77.区域控制可以是设置在3d治疗区本身上的任何图形用户界面元件(例如，放置在3d治疗区域的边界或边缘上)，用于调整长度，半径宽度和预缺口治疗区的大小。当用户将鼠标移动到治疗区域的其中一个区域位置时，它们可以激活相应的对区域控制，例如调整区域的大小。也就是说，3d治疗区域的尺寸和/或形状可以由用户通过区域控制来动态地调整。在一些实施例中，基于经调整的3d治疗区域，治疗区域计算模块1305可以提供调整的探针设置。例如，当用户操纵区域控制以增加3d治疗区域的大小以完全覆盖器官的目标区域时，可以计算放大3d治疗区域所需的热能水平，并为用户提供以供参考。
78.图16示出了探针1509的缩放部分1601.它包含刻度1603和探针控件1605.刻度1603使得用户能够在3d场景中可视地和直接地确定探针1509的所需长度。探针控制1605使得用户能够调整治疗区域151 1.这些控制器1605可以由用户使用来调节探针1509在参数空间中的设置并且反映治疗区域151 1和/或探针1509在3d场景中实时空间和视觉。在该示例中，区域控制1607设置在治疗区域1611的边界上，以使用户能够直接在空间空间中调整治疗区域1511的大小和/或形状。
79.图14是根据本发明的实施例的示例性过程的流程图，其中基于由用户指定的信息来估计，调整和呈现3d治疗区域。在1402，包含在3d体积中的3d对象被呈现在显示屏幕上。3d对象包括对应于器官的第一3d对象和对应于解剖结构的第二3d对象。在1404，从用户接收到关于3d对象的手术器械(例如，探针或针)的3d姿势的第一信息。在1406，根据第一信息在3d体积中呈现手术器械的3d表示。在1408，从用户接收与手术器械的设定相关的第二信息。该设置包括例如手术器械的模型，长度和热能水平。在1410处，基于第一和第二信息来估计相对于3d对象的3d体积中的3d治疗区域。在一个实施例中，可以基于对应于解剖结构的第二3d物体上的散热效应来进一步估计3d治疗区域。在1412，在显示屏幕上的3d体积中显示3d治疗区域。手术器械和3d治疗区域的三维表示将用于外科手术规划。
80.在1414，提供与手术器械的3d表示和/或3d治疗区域相关联的一个或多个控制以便于用户动态地调整3d治疗区域。在一个示例中，可以提供与手术器械的3d表示相关联的第一组控件。手术器械的设置可以由用户通过第一组控制来动态更新。在另一示例中，可以提供与3d治疗区域相关联的第二组控制。3d治疗区域可以由用户通过第二组控件进行动态调整。附加地或可选地，可以基于经调整的3d治疗区域来确定与手术器械的设置相关的第二信息的更新并提供给用户。
81.为了实现在本公开中描述的各种模块，单元及其功能，可以将计算机硬件平台用作本文所描述的一个或多个元件的硬件平台(例如，关于至图1
‑
16)。这些计算机的硬件元件，操作系统和编程语言本质上是常规的，并且假定本领域技术人员熟悉这些技术以使这
些技术适应于本文所述的外科手术规划。具有用户界面元件的计算机可以用于实现个人计算机(pc)或其他类型的工作站或终端设备，尽管如果适当地编程，计算机也可以充当服务器。相信本领域技术人员熟悉这种计算机设备的结构，编程和一般操作，因此附图应该是不言自明的。
82.图17描绘了可以用于实现实现本发明的专门系统的计算设备的架构。结合本发明的这种专用系统具有包括用户界面元件的硬件平台的功能框图。计算机可以是通用计算机或专用计算机。两者都可以用于实施本发明的专门系统。如本文所述，该计算机1700可用于实现外科手术规划技术的任何组件。例如，系统1300可以经由其硬件，软件程序，固件或其组合在计算机(例如计算机1700)上实现。虽然为了方便起见，仅示出了一台此类计算机，但是可以以多个类似平台上的分布式方式实现与本文所述的外科手术规划相关的计算机功能，以分配处理负载。
83.计算机1700例如包括连接到和连接到其上的网络的com端口1702，以便于数据通信。计算机1700还包括用于执行程序指令的一个或多个处理器形式的中央处理单元(cpu)1704。示例性计算机平台包括用于要处理的各种数据文件的内部通信总线1706，不同形式的程序存储和数据存储，例如磁盘1708，只读存储器(rom)1710或随机存取存储器(ram)1712)/或由计算机通信，以及可能由cpu 1704执行的程序指令。计算机1700还包括i/o组件1714，其支持计算机和其他组件之间的输入/输出流，诸如用户界面元件计算机1700还可以经由网络通信接收节目和数据。
84.因此，如上所述的手术规划和/或其他过程的方法的方面可以体现在编程中。技术的程序方面可以被认为是通常以可执行代码和/或相关数据的形式的“产品”或“制品”，其以机器可读介质的类型承载或体现。有形的非暂时的“存储”型媒体包括用于计算机、处理器等的任何或所有存储器或其他存储器或其相关联的模块，例如各种半导体存储器、磁带驱动器、磁盘驱动器等，其可以随时提供存储软件编程。
85.有时可以通过诸如因特网或各种其他电信网络的网络来传送软件的全部或部分。例如，这样的通信可以使软件从一个计算机或处理器加载到另一个计算机或处理器中。因此，可能承载软件元件的另一类型的介质包括光，电和电磁波，诸如在本地设备之间的物理接口，通过有线和光学固定电话网络以及各种空中链路之间使用的。携带这样的波的物理元件，例如有线或无线链路、光链路等，也可以被认为是携带该软件的介质。如本文所使用的，除非限于有形的“存储”介质，诸如计算机或机器“可读介质”这样的术语是指参与向处理器提供指令以执行的任何介质。
86.因此，机器可读介质可以采取许多形式，包括但不限于有形存储介质，载波介质或物理传输介质。非易失性存储介质包括例如光盘或磁盘，诸如任何计算机等中的任何存储设备，其可用于实现系统或其任何组件，如图所示。易失性存储介质包括动态存储器，例如这种计算机平台的主存储器。有形传输介质包括同轴电缆；铜线和光纤，包括在计算机系统内形成总线的电线。载波传输介质可以采取电或电磁信号的形式，或诸如在射频(rf)和红外(ir))数据通信期间产生的声波或光波。因此，计算机可读介质的常见形式包括例如：软盘，软盘，硬盘，磁带，任何其他磁介质，cd
‑
rom，dvd或dvd
‑
rom，任何其他光学介质，穿孔卡纸磁带，具有孔图案的任何其他物理存储介质，ram，prom和eprom，flash
‑
eprom，任何其它存储器芯片或盒，载波传输数据或指令，传输这种载波的电缆或链路，或计算机可以从其读
取编程代码和/或数据的任何其他介质。这些形式的计算机可读介质中的许多可能涉及将一个或多个指令的一个或多个序列携带到物理处理器以供执行。
87.本领域技术人员将认识到，本发明适于各种修改和/或增强。例如，虽然上述各种组件的实现可以体现在硬件设备中，但是它也可以被实现为仅软件解决方案
‑
例如现有服务器上的安装。此外，本文公开的外科手术规划系统可以实现为固件，固件/软件组合，固件/硬件组合，或硬件/固件/软件组合。
88.虽然前面已经描述了被认为构成本发明和/或其他示例的内容，但是应当理解，可以对其进行各种修改，并且本文公开的主题可以以各种形式和示例来实现，并且教导可以应用于许多应用中，其中仅一些已经在此描述。所附权利要求旨在要求落入本发明真实范围内的任何和所有应用，修改和变化。