用于指示接近解剖边界的系统和方法与流程

用于指示接近解剖边界的系统和方法
1.相关申请的交叉引用
2.本技术要求于2019年12月30日提交的美国临时申请号62/955,184的权益和优先权，该临时申请的全部内容通过引用并入本文。
技术领域
3.本公开涉及用于规划和执行图像引导程序的系统和方法，并且更具体地涉及用于自动生成可以经由图形用户界面查看和/或操纵的解剖边界的系统和方法。


背景技术：

4.微创医疗技术旨在减少在医疗程序期间受损的组织数量，从而减少患者康复时间、不适感和有害副作用。这样的微创技术可以通过患者解剖体中的自然孔口或通过一个或多个手术切口执行。通过这些自然孔口或切口，临床医生可以插入微创医疗器械(包括手术器械、诊断器械、治疗器械或活检器械)，以到达目标组织位置。一些微创技术使用可插入解剖通道并导航朝向患者解剖体内的感兴趣区域的医疗器械。在图像引导程序期间对这种器械的控制可能涉及对若干运动自由度的管理，其包括细长装置的插入和缩回以及装置的转向。改进的系统和方法可用于通过在规划器械的导航和部署时识别边界来降低患者受伤的风险。


技术实现要素：

5.与一些实施例一致，提供了一种医疗系统。该系统包括显示系统和医疗器械。该系统进一步包括控制系统，其通信地耦接到显示系统。控制系统被配置为经由显示系统显示患者解剖体的图像数据。控制系统进一步被配置为在医疗器械导航患者解剖体时确定医疗器械的远侧部分在患者解剖体中的目标位置的阈值距离内。控制系统进一步被配置为如果医疗器械的远侧部分在目标位置的阈值距离内，则经由显示系统显示解剖边界。解剖边界指示患者解剖体的解剖结构的表面。
6.在另一个示例中，提供了一种非暂时性机器可读介质。非暂时性机器可读介质包括多个机器可读指令，这些指令在由与工作站相关联的一个或多个处理器执行时适于使一个或多个处理器执行一种方法。该方法包括经由显示系统显示患者解剖体的图像数据。该方法进一步包括在医疗器械导航患者解剖体时确定医疗器械的远侧部分在患者解剖体中的目标位置的阈值距离内。该方法进一步包括如果医疗器械的远侧部分在目标位置的阈值距离内，则经由显示系统显示解剖边界。解剖边界指示患者解剖体的解剖结构的表面。
7.应当理解，前述大体描述和以下详细描述本质上都是说明性和解释性的，并且旨在提供对本公开的理解，而不限制本公开的范围。根据以下详细描述，本公开的附加方面、特征和优点对于本领域技术人员将是显而易见的。
附图说明
8.图1是根据一些示例的患者解剖体的简化图。
9.图2a是根据一些示例的图示用于生成解剖边界的方法的流程图。
10.图2b是根据一些示例的图示用于确定解剖边界的输入的示意图。
11.图3是根据一些示例在执行用于生成解剖边界的方法期间的图形用户界面的简化图。
12.图4a是根据一些示例的图示与解剖边界相关联的引导信息的简化图。
13.图4b是根据一些示例的用二维图像数据呈现引导信息的图形用户界面的简化图。
14.图5是根据一些示例的图示用于确定区边界的输入的示意图。
15.图6是根据一些示例的图示与解剖边界相关联的引导信息的简化图。
16.图7a-图7c是根据一些示例在执行用于生成解剖边界的方法期间的图形用户界面的简化图。
17.图8a-图8e是根据一些示例呈现与医疗器械的导航相关联的引导信息的图形用户界面的简化图。
18.图9是根据一些示例的医疗系统的简化图。
19.图10是根据一些示例的包括安装在插入组件上的医疗器械的患者坐标空间的侧视图的简化图。
20.通过参考以下详细描述，最好地理解本公开的实施例及其优点。应该理解，相同的附图编号用于识别图中的一个或多个图中所图示的相同元件，其中图中的示出是出于图示本公开的实施例的目的，而不是出于限制本公开的示例的目的。
具体实施方式
21.在使用可转向的医疗器械规划和执行医疗程序期间，解剖边界或虚拟“危险围栏”可以通过识别医疗程序期间医疗器械要避开的解剖表面来定义。解剖边界可以屏蔽在目标位置附近的解剖体的脆弱部分，或者可以保护其他感兴趣解剖结构不被医疗器械无意中穿透。包括脆弱的解剖结构或表面的感兴趣结构可以包括例如肺胸膜、肺裂隙、大的肺泡和血管。例如，在医疗程序期间刺穿肺胸膜可能导致对患者危险的气胸。生成对应于肺胸膜的解剖边界将允许操作者限制医疗器械的路径以避免解剖体的脆弱部分。在规划程序期间识别的候选路径当其经过解剖体的脆弱部分的阈值距离内或者它突破解剖体的脆弱部分时可能被识别为无效。下面提供了用于规划医疗程序(包括但不限于肺活检程序)的图形用户界面的说明性示例。图形用户界面可以包括多种模式，其包括数据选择模式、混合分段和规划模式、预览模式、保存模式、管理模式和回顾模式。图形用户界面的一些方面类似于以下文献中描述的特征：2016年6月30日提交的题为“graphical user interface for displaying guidance information during and image-guided procedure”的美国临时专利申请no.62/357,217和2016年6月30日提交的题为“graphical user interface for displaying guidance information in a plurality of modes during and image-guided procedure”的美国临时专利申请no.62/357,258，这些文献通过引用以其整体并入本文。
22.图1图示了在解剖区域104(例如人肺)的分支解剖通道102内延伸的细长医疗器械
100。解剖区域104具有解剖参考系(xa、ya、za)。医疗器械100的远端108可以前进通过解剖通道102以在目标106处或附近执行医疗程序，诸如活检程序。解剖区域104还可以包括脆弱表面或在执行医疗程序时另外感兴趣表面。例如，肺胸膜110和肺裂隙112可能是感兴趣表面，因为在医疗过程期间损坏这些表面可能会伤害患者。在执行医疗程序之前，可以进行术前规划步骤以规划医疗程序。在一些实施例中，机器人辅助医疗系统可用于规划和执行医疗程序。
23.图2a图示了根据一些示例的用于在医疗程序的规划期间生成解剖边界的方法200。例如，规划医疗程序通常可以包括规划初始工具位置和一个或多个解剖目标之间的轨迹。可以在用于执行活检或其他医疗程序的同一机器人辅助医疗系统上执行一个或多个方法步骤。替代地或附加地，规划可以在不同的系统上执行，例如专用于术前规划的工作站。可以保存医疗程序的规划(例如，作为一个或多个数字文件)并传送到用于执行活检程序的机器人辅助医疗系统。保存的规划可能包括3d模型、气道的识别、目标位置、到目标位置的轨迹、通过3d模型的路线和/或类似物。
24.方法200被图示为一组操作或过程210到250，并继续参考图3进行描述，其图示了根据一些示例的在方法200的执行期间处于规划模式的图形用户界面400。如图3所示，在规划模式中，用于医疗器械(例如，器械100)的遍历路径425可以被规划通过患者嘴部(或医疗器械插入患者体内的任何其他插入位置)和目标位置416(例如，目标106的位置)之间的解剖区域(例如，解剖区域104)。遍历路径425可由用户、远程操作控制系统或手动和自动输入的组合生成。
25.在过程210处，显示解剖区域的图像数据。例如，如图3所示，对应于患者的三维解剖区域104的图像数据410经由图形用户界面400来显示。显示的图像数据410具有图像参考系(xi、yi、zi)。图像数据410可以包括例如计算机断层摄影(ct)图像数据。在各种替代示例中，可以使用诸如磁共振成像(mri)、荧光检查、热成像、超声、光学相干断层摄影术(oct)、热成像、阻抗成像、激光成像、纳米管x射线成像和/或诸如此类的其他成像技术来生成图像数据。图像数据410可以包括三维解剖区域104的多个图像，其中图3图示了3d解剖模型。附加地或替代地，图像数据410可以包括图像数据的单个平面或“切片”，如图形用户界面400的缩略视图412中所描绘的。在一些示例中，图像数据410被图形分段以识别和指示解剖特征的位置，诸如解剖目标、肺部中的气道、血管或诸如此类。
26.图形用户界面400在用户可观看的一个或多个视图中显示与规划医疗程序相关联的信息。尽管在图3中描绘了视图的说明性布置，但应当理解，图形用户界面400可以以任何合适的布置和/或在任何合适数量的屏幕上显示任何合适数量的视图。在一些示例中，同时显示的视图的数量可以通过打开和关闭视图、最小化和最大化视图、在图形用户界面400的前景和背景之间移动视图、在屏幕之间切换和/或以其他方式完全或部分地模糊视图来改变。类似地，包括它们的大小、形状、取向、排序(在重叠视图的情况下)和/或诸如此类的视图的布置可以改变且/或可以是用户可配置的。
27.在过程220处，确定解剖区域中的目标位置。例如，参考图3，可以在解剖区域104中确定目标106的目标位置416。在一些示例中，用于识别三维解剖区域104中的目标位置416的用户输入是经由用户输入装置接收的。在一些实施例中，用户输入可以由用户经由鼠标、触摸屏、触控笔或类似物提供。在一些实施例中，可以在没有用户输入的情况下使用例如图
像分析技术来确定目标位置416，以基于从图像数据的计算机分析确定的形状、密度、位置或其他特性来确定目标位置。如图3所描绘的，可以经由图形用户界面400显示目标位置416。在该示例中，目标位置416可以对应于活检部位。同样在该示例中，目标位置416可以表示目标结节的位置。
28.如图3进一步图示的，在一些示例中，在确定目标位置416之后，可以在目标位置416周围生成目标边缘区域418。目标边缘区域418可以是球形、椭圆形、矩形或任何其他形状。目标位置416可以表示目标边缘区域418的中心c，使得目标边缘区域418从目标位置416向外扩展。在解剖目标106表示目标结节的示例中，目标结节的中心可以表示目标边缘区域418的中心c。在一些示例中，目标边缘区域418由半径r定义。半径r可以由用户调节，这将在下面更详细地描述。
29.在过程230处，并且如图3所示，确定解剖边界。例如，解剖边界可以指示三维解剖区域104中的表面的一部分，诸如脆弱的表面，或其他感兴趣表面，并且解剖边界在医疗程序期间医疗器械应该被避免(例如，未被触摸、越过和/或刺穿)。在一些示例中，解剖区域104中的感兴趣表面可以是肺胸膜(例如，胸膜110)、肺裂隙(例如，裂隙112)、大肺泡和/或血管的表面。在一些示例中，可以经由图形用户界面400显示解剖边界420的图形表示。根据一些示例，解剖边界420的图形表示可以覆盖在图像数据410上。如图3所描绘的，解剖边界420的三维表示可以作为三维解剖模型上的半透明或网格线网格或类似物而被显示。网格可以包括多个顶点。另外，在缩略视图412中，解剖边界420的横截面表示可以作为覆盖在ct切片上的曲线而被显示。图形用户界面400还可以包括调整菜单430，其允许用户调整用于确定解剖边界420或其他以图形方式图示的风险区域的因素。
30.图2b图示了可用于在方法200的过程230处确定解剖边界420的若干输入262-268。在确定解剖边界420时可以省略输入262-268中的任何一个，并且可以使用其他输入。如前所述，目标位置输入262可以影响解剖边界420的确定。例如，解剖边界420的位置、形状和尺寸可能受到目标位置416的位置、形状和尺寸的影响。
31.调整信息输入264还可以或替代地影响解剖边界420的确定。例如，目标边缘区域418可以与解剖区域中的感兴趣表面交叉以确定解剖边界420。解剖边界420可以表示目标边缘区域418和感兴趣表面之间的交叉区域。交叉区域的大小可以依据目标边缘区域418的半径r的长度而改变。例如，交叉区域可以随着半径r的长度增加而增加。因此，在一些示例中，图像数据410中所示的解剖边界420的尺寸可以随着目标边缘区域418的半径r的长度增加而增加。如图3进一步所示，图形用户界面400可以包括调整菜单430，其允许用户调整目标边缘区域418的大小。例如，调整菜单430可以包括调整机制，诸如滑动条432。滑动条432图示了目标边缘区域418的尺寸范围，范围从最小尺寸434到最大尺寸436。目标边缘区域418的大小可以基于目标边缘区域418的半径r的长度。因此，目标边缘区域418的最小尺寸434对应于半径r的最短长度。类似地，目标边缘区域418的最大尺寸436对应于半径r的最长长度。当滑动条432被调整时，目标边缘区域418的半径r也可以被调整。在一些示例中，半径r的默认半径是40mm。在其他示例中，半径r可以更大或更小。例如，半径r的范围可以从0mm到40mm或从40mm到120mm。在其他示例中，半径r可以大于120mm。在一些示例中，可以基于用户输入来调整滑动条432。
32.图像数据特性输入266也可以或替代地影响解剖边界420的确定。例如，解剖边界
420可以表示具有诸如高强度梯度的特性的图像数据410的区域，因为高强度梯度指示存在感兴趣表面(例如，肺部的胸膜、肺的裂隙、血管壁等)。包括机器学习算法的计算机视觉技术可以应用于图像数据410以识别与候选解剖边界相关联的图像数据特性。与这样的示例一致，解剖边界420可以包括或者是由这样的计算机视觉或机器学习技术确定的候选解剖边界的一部分。
33.患者移动输入268还可以或替代地影响解剖边界420的确定。在导航期间，患者解剖体以及因此三维解剖模型可能由于例如来自医疗器械(例如医疗器械100)、肺呼气和吸气和/或心脏的跳动的力而移动或变形。变形可以例如通过医疗器械中的形状传感器来测量，或者通过模拟来预测，并且可以将变形应用于三维解剖模型。解剖边界420同样可以被调整或变形以对应于三维解剖模型的实际或规划变形。
34.在一些示例中，在确定解剖边界420之后，用户(例如，外科医生)可以进入手动调整模式以对解剖边界420进行进一步调整。在手动调整模式中，外科医生可以手动编辑和/或微调解剖边界420。在这方面，用户可以调整解剖边界420的任何部分。例如，用户可以平滑解剖边界420的一个或多个部分，连接可能断开的解剖边界420的一个或多个部分，扩展解剖边界420的一个或多个部分，减少解剖边界420的一个或多个部分等。在一些示例中，可以在图形用户界面400中呈现图标(例如，按钮、弹出窗口等)以允许用户进入手动调整模式。例如，图标460可以呈现在讲出“修改边缘”或“手动编辑”的调整菜单430中。在这样的示例中，用户可以通过点击和/或按下图标460来进入手动调整模式。
35.在手动调整模式中，在一些示例中，可以对三维解剖边界进行手动调整，诸如解剖边界420叠加在图像数据410上。用户可以在图形用户界面400中旋转解剖边界420以从所有角度查看解剖边界420。这允许用户确定是否对解剖边界420进行了所有期望的调整。例如，为了操纵/修改解剖边界420，用户可以点击并拖动解剖边界420的一部分。替代地或附加地，用户可以修改解剖边界420以填充可能丢失的任何部分和/或连接可能断开的任何部分。这些调整可以经由附加按钮、滑动条或可以在调整菜单430中呈现的其他图标来进行。在一些示例中，用户可以在远离目标边缘区域418的方向上向外移动解剖边界420的至少一部分。在一些示例中，用户可以在朝向目标边缘区域418的方向上向内移动解剖边界420的至少一部分。用户可选择解剖边界420的离散部分以朝向或远离目标边缘区域418移动。替代地或附加地，整个解剖边界420可以朝向或远离目标边缘区域418移动。在一些示例中，用户可以手画线、多线/折线(polyline)形式、以一系列标绘点或类似方式绘制修改的解剖边界。
36.在替代示例中，在手动调整模式中，可以对二维解剖边界(例如，缩略视图412中图示的解剖边界420)进行手动调整。在这样的示例中，图形用户界面400可以在主查看窗口中呈现视图412并且可以在缩略视图中呈现图像数据410。可以以以上关于三维调整所讨论的一种或多种方式对解剖边界420进行二维调整。例如，用户可以点击并拖动解剖边界420的一部分，填充解剖边界420可能缺失的任何部分，和/或连接解剖边界420可能断开的任何部分。在一些示例中，解剖边界420可以远离或朝向目标边缘区域418移动，如上文所讨论的。附加地，用户可以以手画线、以折线形式、以一系列标绘点等方式绘制修改的解剖边界。
37.再次参考图2a，在过程240处，可以确定围绕医疗器械和目标位置之间的路径或工具轨迹的轨迹区。例如，可以围绕确定医疗器械100的远端108和目标106之间的路径的轨迹
区。在另一个示例中，图4a图示了目标520附近的解剖区域(例如，解剖区域104)的一部分500。感兴趣表面510(例如，胸膜110的表面)在目标520附近延伸。如过程230所述，在感兴趣表面510上确定解剖边界512。医疗程序可以是活检程序或任何其他类型的医疗程序，其中医疗器械530(例如医疗器械100)被插入到目标520附近的解剖区域的部分500中。在活检过程期间，活检工具(诸如活检针)可以从医疗器械530的远端535(也可以称为出口点)朝向目标520延伸。因此，在活检过程中，解剖边界512可能相对于远端535在目标520后面，因此如果从远端535延伸的针、器械530或其他器械延伸太远超过目标520，则可能有被刺穿的风险。轨迹路径546从医疗器械530的远端535通过目标520延伸到感兴趣表面510上的交叉点555。轨迹路径546可以具有距离d。在一些实施例中，轨迹路径546的方向对应于医疗器械530的远端535的取向。在一些实施例中，轨迹路径546延伸通过目标520的中心c。轨迹区542围绕轨迹路径546延伸。轨迹区542可以具有三维体积。如图4a所示，轨迹区542是锥形的，但在其他实施例中，轨迹区542可以是圆柱形、金字塔形或任何其他合适的形状。在一些实施例中，轨迹区542关于轨迹路径546是对称的，但在其他实施例中可以偏离轨迹路径546的中心。在一些实施例中，与医疗程序相关联的不确定性(例如，退出点535的位置的不确定性、目标520的位置的不确定性，或两者)可以是确定轨迹区542的因素。
38.在一些示例中，在生成目标边缘区域418之后，分析目标边缘区域418以确定目标边缘区域418的至少阈值百分比是否位于感兴趣表面(例如，可能是肺部的胸膜)之外。在一些示例中，目标边缘区域418的默认阈值百分比是15％。在其他示例中，目标边缘区域418的阈值百分比可以更大或更小。例如，阈值百分比可以在15％-30％的范围内。在其他示例中，阈值百分比可以小于15％或大于30％。在阈值百分比不在感兴趣表面之外的示例中，解剖边界420保持不变。在阈值百分比在感兴趣表面之外的示例中，确定目标边缘区域418是否靠近感兴趣部分(例如，血管、心脏等)，其可能指示在程序期间会引起对潜在意外损害的担忧的敏感的解剖区域。
39.如果目标边缘区域418不在感兴趣部分附近，则可以调整解剖边界420以包含目标边缘区域418的被确定为在感兴趣表面之外的部分。例如，解剖边界420的一部分可以被扩展，使得目标边缘区域418的所有部分都包括在解剖边界420内。为了扩大解剖边界，生成第一边沿(margin)。第一边沿的至少一部分可以图示解剖边界420的扩展部分并且因此可以显示在图形用户界面400中。目标边缘区域418的中心c也可以是第一边沿的中心。第一边沿可以从其中心径向向外扩展。附加地，第一边沿可以大于目标边缘区域418。在其他示例中，第一边沿可以与目标边缘区域418的大小相同。在一些示例中，基于目标边缘区域418的半径r来设定第一边沿的大小。例如，第一边沿的半径可以比半径r大5mm(毫米)。在其他示例中，第一边沿的半径可以更大或更小。例如，第一边沿的半径可以比半径r大3mm。在其他示例中，第一边沿的半径可以比半径r大6mm。上面对于第一边沿的半径讨论的长度被讨论仅用于示例性目的——第一边沿的半径可以是任何其他合适的长度。在生成第一边沿之后，可以生成第二边沿。第二边沿可以大于第一边沿。与第一边沿一样，目标边缘区域418的中心c可以是第二边沿的中心。第二边沿可以从其中心径向向外扩展。另外，可以基于目标边缘区域418的半径r来设定第二边沿的大小。例如，第二边沿的半径可以比半径r大25mm。在其他示例中，第二边沿的半径可以更大或更小。例如，第二边沿的半径可以比半径r大20mm。在其他示例中，第二边沿的半径可以比半径r大30mm。上面对于第二边沿的半径讨论的长度
被讨论仅用于示例性目的——第二边沿的半径可以是任何其他合适的长度。在确定第二边沿之后，控制系统可以使用第二边沿来平滑第一边沿。可以这样做以确保解剖边界420从最初确定的解剖边界420平滑过渡到解剖边界420的扩展部分(即，第一边沿)并回到最初确定的解剖边界420。通过不描绘可能不存在于感兴趣表面中的拐角或弯曲，包括第一边沿的平滑解剖边界420可以更接近地表示感兴趣表面。
40.在其他示例中，如果目标边缘区域418靠近感兴趣部分，则可以确定轨迹路径(例如，轨迹路径546)。在一些示例中，轨迹路径可以指向远离或基本远离感兴趣部分。在这样的示例中，可以调整解剖边界420以包含目标边缘区域418的被确定为在感兴趣表面之外的部分，如上文所讨论的。在其他示例中，轨迹路径可以指向或基本指向感兴趣部分。在这样的示例中，控制系统可以停用(例如，删除、隐藏等)所确定的解剖边界420，而是提示用户手动生成解剖边界。用于手动生成解剖边界的各种系统和方法在美国临时专利申请号62/741,157(2018年10月4日提交)(标题为“graphical user interface for defining an anatomical boundary”)中进行了描述，该临时申请的全部内容通过引用并入本文。
41.在过程250处，可以基于一个或多个输入来确定区边界，如图5图示的。图5图示了可以用于确定区边界的若干输入272-278。解剖边界输入272可以影响解剖边界(例如，解剖边界512)的确定。例如，区边界可以基于轨迹区542与解剖边界512的交叉来确定。如图4a的示例所示，区边界540基于解剖边界512和轨迹区542的交叉来确定。区边界540可以是表面510的二维或三维区域，其可能有被活检器械穿透的风险。在图4a的示例中，区边界540可以完全在解剖边界512内延伸，因此具有小于解剖边界512的面积。在替代示例中，区边界540具有与解剖边界512相同的尺寸和形状。在其他替代示例中，区边界540可以是解剖边界512和轨迹区542与感兴趣表面510的交叉的组合。在一些示例中，区边界540可以包括超出直接在轨迹区542内的区域的附加边沿544。可以包括附加边沿544以考虑与医疗程序相关联的任何不确定性(例如，退出点535的位置的不确定性、目标520的位置的不确定性，或两者)。在一些示例中，区边界540可以是以二元方式确定(例如，给定部分被视为有风险或不存在风险)或以渐进或连续方式确定，以反映不同位置的不同风险水平。
42.调整信息输入274可以影响区边界540的确定。在一些示例中，如图3所示，调整菜单430还可以包括滑动条438。滑动条438图示了围绕医疗器械530和目标位置520之间的轨迹路径546的轨迹区542的角度范围。在一些示例中，滑动条438可以用于调整轨迹区542的角度a。在一些示例中，轨迹区542的默认角度a是120
°
。在其他示例中，轨迹区542的角度a可以更大或更小。例如，角度a的范围可以从60
°
到120
°
或从120
°
到180
°
。在其他示例中，角度a可以小于60
°
或大于180
°
。在一些示例中，用户输入可以控制滑动条438的移动。在一些示例中，当轨迹区542的角度a减小时，区边界540的尺寸也减小。在其他示例中，当轨迹区542的角度a增加时，区边界540的大小也增加。
43.多轨迹路径输入276也可以或替代地影响区边界540的确定。参考图6，在一些情况下，可能有不止一条轨迹路径可供医疗器械530到达解剖目标520。在这种情况下，依据所选择的轨迹路径，医疗器械530的远端535可以位于患者解剖体内的不同方位和/或取向。远端535的每个配置可以对应于它自己的轨迹路径、轨迹区和区边界。例如，在远端535a处于所示构造的情况下，轨迹路径546a延伸通过目标520，并且围绕轨迹路径546a的轨迹区542a在解剖表面510的交叉处生成区边界540a。同样，在远端535b处于所示配置的情况下，轨迹路
径546b延伸穿过目标520，并且围绕轨迹路径546b的轨迹区542b在解剖表面510的交叉处生成区边界540b。同样，在远端535c处于所示配置的情况下，轨迹路径546c延伸穿过目标520，并且围绕轨迹路径546c的轨迹区542c在解剖表面510的交叉处生成区边界540c。在这种情况下，基于组合的区边界540a、540b、540c确定最终的或复合的区边界540d，其中一些可以彼此重叠。因此，区边界540d可以基于器械的多个轨迹路径指示表面510的危险部分。区边界540d可以显示为三维解剖模型上的单个半透明或网格线网格。在其他示例中，区边界540a、540b、540c可以显示为在三维解剖模型上的多个单独的半透明或网格线网格。
44.轨迹路径分析输入278也可以或替代地影响区边界540的确定。在一些实施例中，可以分析一个或多个轨迹路径(例如，轨迹路径546)的可行性以确定医疗器械的远端是否在患者解剖体的通过感兴趣表面与目标分开的区域中。例如，可以确定医疗器械的远端是否在患者肺的不同肺叶中，通过肺裂隙与解剖目标分开。由于患者解剖体的裂隙将患者解剖体的肺叶分开，在器械远端和解剖目标位于不同肺叶的情况下，活检针在沿着器械远端和解剖目标之间的轨迹路径行进时会刺穿裂隙。虽然该讨论参考了患者解剖体的裂隙，但应理解，该讨论还可适用于任何其他感兴趣部分(例如，大肺泡、血管等)。在一些示例中，可以进行分析以确定轨迹路径546的一部分是否与诸如裂隙的感兴趣部分交叉。裂隙可以被建模为基于图像数据的分段生成的网格或体素掩模。如果轨迹路径546与裂隙模型交叉，则可以确定该轨迹路径是不安全的并且该轨迹路径可以被丢弃、抑制或以其他方式不用于确定区边界540。在轨迹路径不与裂隙交叉的情况下，可以确定该轨迹路径是可接受的并且可以将该轨迹路径作为候选轨迹路径呈现给用户。
45.图4b图示了在规划模式期间提供指导信息的图形用户界面400上显示的解剖区域的部分500。在图4b的示例中，引导信息可以被描绘为二维图像，但是在其他实施例中可以被描绘为三维图像。在该示例中，图像数据410a与引导信息组合或通过引导信息覆盖，引导信息可以包括器械远端535、轨迹路径546、轨迹区542、交叉点555、解剖边界512和区边界540的图形表示。基于该引导信息，用户可能能够根据需要修改或微调轨迹路径546。例如，操作者可以调整医疗器械的远端535接近解剖目标520的取向。作为另一个示例，在远端535和交叉点555之间提供更多空间可以降低当针延伸时针刺穿表面510的风险。在一些示例中，区边界540中的像素可以以不同的阴影、颜色或半透明颜色覆盖来显示。可以自动地、通过用户选择或通过组合来打开或关闭任何引导信息图形。附加地或替代地，解剖边界512是否完全包含区边界540的指示可以被显示或以其他方式传达给操作者。在规划程序期间，可以计算安全分数并将其提供给操作者，该分数指示器械和/或工具将突破解剖边界512的可能性。基于分数，可以调整或修改轨迹路径546以实现更安全的路线。可以向操作者提供具有不同安全分数的多种轨迹路径以供选择。
46.附加地或替代地，图像数据410a可以包括图像数据的单个平面或“切片”，如图形用户界面400的缩略视图412a中所描绘的。在一些示例中，缩略视图412a还可以包括指导信息，如图4b所示。操作者可以根据需要使用图像数据410a和缩略图412a中的引导信息来修改或微调轨迹路径546。在一些情况下，引导信息示出在图像数据410a中而不是缩略视图412a中。在其他情况下，引导信息示出在缩略视图412a中，但不在图像数据410a中。
47.在一些示例中，可以接收一个或多个用户输入以操纵图形用户界面中的解剖边界。图7a图示了根据一些示例的以上讨论的规划模式中的图形用户界面400。在图7a的实施
例中，图形用户界面400包括“显示/隐藏”图标450，其例如可以显示在调整菜单430中。在一些示例中，操作者可能想要更仔细地评估目标位置416所在的三维解剖模型部分。为了实现该评估，在图像数据410中隐藏解剖边界420可能是有益的。在一些示例中，当解剖边界420被隐藏时，与解剖边界420相关联的数据在控制系统中仍然是可访问的——解剖边界420不再简单地显示在图像数据410中。如图7a所示，调整菜单430包括标题“胸膜边缘”，其指示已生成解剖边界420。图标450允许解剖边界420被隐藏并示出在图像数据410中。例如，如果解剖边界420显示在图像数据410中，则可以基于用户输入隐藏解剖边界420。在一些情况下，操作者可以利用用户输入装置来选择图标450。当图标450被选择时，解剖边界420在图像数据410中被隐藏(即，暂时不显示)，如图7a所示。为了再次在图像数据410中显示解剖边界420，可以接收选择图标450的用户输入。在若干示例中，可以选择图标450以根据需要切换将解剖边界420的显示打开和关闭。
48.在一些示例中，当解剖边界420被隐藏时，在出口点535和交叉点555之间的距离d仍可以被显示。在其他实施例中，当解剖边界420被隐藏时，距离d也可以被隐藏。附加地或替代地，当解剖边界420被隐藏时，对应于解剖边界420的在图像数据410中所示出的任何其他特征(例如，目标位置416、目标边缘区域418、中心c、半径r等)也可以被隐藏。在一些示例中，当解剖边界420被隐藏时，滑动条432、438可以从调整菜单430中移除，如图7a所示。当解剖边界420再次示出在图像数据410中时，滑动条432、438也可以再次示出在调整菜单430中。在其他示例中，当解剖边界420被隐藏时，滑动条432、438仍可以显示在调整菜单430中。
49.如图7a的实施例所示，图形用户界面400还可以包括“删除”图标452，该图标可以例如显示在调整菜单430中。在一些示例中，操作者可能想要具有生成的新的解剖边界，诸如当可以获得更准确的解剖边界时。在这样的示例中，可以删除图像数据410中所示的当前解剖边界420。在一些示例中，当解剖边界420被删除时，与解剖边界420相关联的数据被从控制系统中移除。例如，如图7b所示，调整菜单430包括标题“添加胸膜边缘”，其指示解剖边界尚未生成和/或已被删除。图标452允许从图像数据410中删除解剖边界420。例如，如果解剖边界420显示在图像数据410中，则可以基于用户输入删除解剖边界420。在一些情况下，操作者可以利用用户输入装置来选择图标452。当图标452被选择时，解剖边界420从图像数据410中被删除，如图7b所示，并且在控制系统中可能不再是可访问的。为了在图像数据410中的解剖边界420再次显示，可以生成新的解剖边界420，如以上关于图2a所讨论的。
50.在一些示例中，当解剖边界420被删除时，在出口点535和交叉点555之间的距离d也可以被删除。此外，当解剖边界420被删除时，对应于解剖边界420的图像数据410中所示的任何其他特征(例如，目标位置416、目标边缘区域418、中心c、半径r等)也可能被删除。
51.图7c图示了根据一些示例的上述规划模式中的图形用户界面400。在图7c的实施例中，多个解剖边界420、560经由图形用户界面400显示。在一些示例中，在患者解剖体中可能存在一个以上的解剖目标。在这样的示例中，操作者可能想要评估一些或所有解剖目标。在这样的示例中，为一些或所有解剖目标生成解剖边界可能是有益的。此外，图形用户界面400可以包括对应于一些或所有解剖目标的菜单。例如，如图7c所示，图形用户界面400包括对应于目标位置516的标有“目标1”的菜单580。如图7c进一步所示，图形用户界面400包括对应于目标位置562的标有“目标2”的菜单590。菜单580、590中的每一个可以包括以上关于图形用户界面400描述的一些或全部特征(例如，调整菜单、“显示/隐藏”图标、“删除”图标
等)。
52.在一些示例中，当选择菜单580、590之一时，对应于所选菜单的细节可以显示在图像数据410中。例如，如图7c所示，选择菜单590。因为选择了菜单590，所以对应于目标位置562的细节显示在图像数据410中。例如，图像数据410可以包括解剖边界560、目标位置562、目标边缘区域564、目标边缘区域564的中心c2、目标边缘区域564的半径r2、遍历路径565、和/或对应于目标位置562的任何其他细节。在某些示例中，当选择菜单590时，图像数据410只能显示对应于目标位置562的详细信息。在其他示例中，无论选择哪个菜单580、590，对应于目标位置562、416的一些或所有细节都可以显示在图像数据410中。例如，如图7c所示，解剖边界420和目标边缘区域418也可以显示在图像数据410中。在一些实施例中，可以同时选择两个菜单580、590，这可以导致在图像数据410中显示对应于目标位置的一些或全部细节。此外，如上文所讨论的，解剖边界420、560中的一个或多个可以显示为在三维解剖模型上的半透明或网格线网格。附加地或替代地，为了进一步区分解剖边界420、560，可以在图像数据410中以不同颜色、图案等显示解剖边界420、560。
53.解剖边界560可以以与以上关于生成解剖边界420所讨论的相同的方式生成。类似地，目标边缘区域564可以以与以上关于目标边缘区域418讨论的相同的方式生成和/或调整。在若干示例中，可以显示、隐藏或删除解剖边界420、560之一或两者，如上文所讨论的。例如，如果操作者想要分析围绕目标位置562的三维解剖模型的部分，则操作者可以选择隐藏解剖边界420。类似地，如果操作者想要分析围绕目标位置416的三维解剖模型的部分，则操作者可以选择隐藏解剖边界560。尽管图7c仅图示了两个解剖边界420、560，但是应当理解，可以显示对应于任意数量的解剖目标的任意数量的解剖边界。例如，可以显示对应于三个解剖目标的三个解剖边界，可以显示对应于四个解剖目标的四个解剖边界等。
54.如图7c进一步所示，菜单590指示解剖边界560被标记为“胸膜边缘”。在一些示例中，操作者o可能想要重命名解剖边界560以更容易地确定在显示多个解剖边界的示例中选择了哪个解剖边界。例如，操作者可以为解剖边界560输入不同的名称，诸如“胸膜边缘2”、“裂隙边缘”、“血管”或任何其他期望的名称。此外，操作者可以将菜单580中的解剖边界420重命名为任何期望的名称，例如“胸膜边缘1”、“裂隙边缘”、“血管”或任何其他期望的名称。
55.在导航期间，控制系统612可以用患者解剖体的三维解剖模型或在用户显示器上呈现的其他解剖视图来显示轨迹区和/或解剖边界。如上所述，在医疗程序(例如活检程序)的导航阶段之前，医疗程序的规划可以保存(例如，作为一个或多个数字文件)并传送到用于执行医疗程序的机器人辅助医疗系统。保存的规划可以包括3d模型、气道识别、目标位置、到目标位置的轨迹、通过3d模型的路线和/或诸如此类。替代地或附加地，在规划阶段之前获得的所有数据(其可能包括保存的规划)可以被传送到机器人辅助医疗系统。然后，该数据可以用于在医疗程序的导航阶段期间动态生成解剖边界。解剖边界可以显示在图形用户界面上。当医疗器械导航通过患者解剖体时，解剖边界的形状、方位和/或取向可以随着医疗器械的方位和取向改变而改变。
56.例如，图8a-图8e图示了根据一些示例的图形用户界面800的简化图，该图形用户界面800呈现与医疗器械(例如器械100)通过患者解剖体(其可以由解剖区域104表示)的导航相关联的指导信息。图形用户界面800在医疗过程期间用于导航模式。如图8a所示，对应于患者的三维解剖区域104的图像数据810经由图形用户界面800显示。显示的图像数据810
具有图像参考系(xi、yi、zi)。图像数据810可以包括使用一种或多种成像技术获得的数据，诸如ct、mri、荧光检查、温度记录法、超声、oct、热成像、阻抗成像、激光成像、纳米管x射线成像和/或诸如此类。图像数据810可以包括三维解剖区域104的多个图像，其中图8a图示了3d解剖模型。附加地或替代地，图像数据810可以包括图像数据的单个平面或“切片”，其可以在图形用户界面800中的缩略视图中被描绘。在一些示例中，图像数据810被图形分段以识别和指示解剖特征的位置，诸如解剖目标、肺部中的气道、血管或类似物。应当理解，图形用户界面800可以以任何合适的布置和/或在任何合适数量的屏幕上显示任何合适数量的视图，如上文关于图形用户界面400所讨论的。
57.如图8a所示，显示了对于医疗器械穿过患者嘴部(或医疗器械插入患者的任何其他插入位置)和目标位置840(例如，目标106的位置)之间的患者解剖体的遍历路径820。遍历路径820图示了当医疗器械插入并导航通过患者解剖体时医疗器械所采用的路径。
58.在若干示例中，可以确定轨迹区830。随着医疗器械被插入并导航通过患者解剖体，轨迹区830可以显示在图形用户界面800中。在一些示例中，轨迹区830可以是部分透明的，使得轨迹区830后面的三维解剖模型的气道可以是可见的。轨迹区830的方位和取向可以基于医疗器械的远侧部分的方位和取向。例如，轨迹区830显示在图形用户界面800中，从而看起来从医疗器械的远侧部分突出。以这种方式，轨迹区830的方位和取向可以基本上匹配医疗器械的远侧部分的方位和取向。因此，随着医疗器械的方位/取向在导航期间改变，轨迹区830的方位/取向也相应地改变。
59.轨迹区830的深度dt可以基于可从医疗器械延伸的工具的延伸长度。例如，轨迹区830的深度dt可以设置为工具的最大延伸长度。当工具从医疗器械完全延伸时，可以从医疗器械的远端到工具的远端测量最大延伸长度。在一些示例中，最大延伸长度为30mm。在其他示例中，最大延伸长度可以更大或更小。例如，最大延伸长度可以是25mm。在其他示例中，最大延伸长度可以是35mm。上文对于工具的最大延伸长度所讨论的长度被讨论仅用于示例性目的——工具的最大延伸长度可以是任何其他合适的长度。如上文所讨论的，在一些示例中，工具是针。
60.如图8a所示，调整菜单850可以包括滑动条852。滑动条852图示了轨迹区830的角度的范围。在一些示例中，滑动条852可以用于调整轨迹区830的角度b。在一些示例中，轨迹区830的默认角度b是120
°
。在其他示例中，轨迹区830的角度b可以更大或更小。例如，角度b的范围可以从60
°
到120
°
或从120
°
到180
°
。在其他示例中，角度b可以小于60
°
或大于180
°
。在一些示例中，用户输入可以控制滑动条852的移动。
61.如图8a进一步所示，图形用户界面800包括“显示/隐藏”图标854，其例如可以显示在调整菜单850中。在一些示例中，操作者可能想要更仔细地评估医疗器械的远侧部分所在的三维解剖模型的部分。为了实现该评估，隐藏图像数据810中的轨迹区830可能是有益的。在一些示例中，当轨迹区830被隐藏时，与轨迹区830相关联的数据在控制系统中仍然是可访问的——轨迹区830只是不再显示在图像数据810中。图标854允许轨迹区830被隐藏并示出在图像数据810中。例如，如果轨迹区830显示在图像数据810中，则轨迹区830可以基于用户输入被隐藏。在一些情况下，操作者可以使用用户输入装置来选择图标854。当选择图标854时，轨迹区830在图像数据810中被隐藏(即，暂时不显示)。为了再次在图像数据810中显示轨迹区830，可以接收选择图标854的用户输入。在若干示例中，可以选择图标854以根据
需要切换将轨迹区830的显示打开和关闭。
62.在若干示例中，在导航期间，患者解剖体以及因此三维解剖模型可能由例如来自医疗器械、肺呼气和吸气和/或心脏跳动的力而移动或变形。变形可以例如通过医疗器械中的形状传感器来测量，或者通过模拟来预测，并且可以将变形应用于三维解剖模型。显示的遍历路径820、轨迹区830、目标位置840和解剖边界860(图8c)同样可以被调整以对应于患者解剖体的三维解剖模型的实际或规划变形。
63.如上文所讨论的，随着医疗器械遍历患者解剖体，遍历路径820和轨迹区830的方位/取向被更新。在图8a所示的示例中，医疗器械位于患者解剖体的主隆突(main carina)mc附近。因此，轨迹区830也位于主隆突附近。在图8b中，医疗器械已被进一步插入患者解剖体中。因为轨迹区830被显示为看起来从医疗器械的远侧部分发出，所以轨迹区830被显示在医疗器械的进一步插入位置处。
64.在图8c中，医疗器械已被进一步插入患者解剖体中。也如图8c所示的是解剖边界860。在医疗过程的导航阶段期间，当医疗器械的远侧部分在目标位置840的某个阈值距离内时，可以在图形用户界面800中显示解剖边界860。医疗器械的远侧部分和目标位置840之间的默认阈值距离是60mm。在其他示例中，阈值距离可以更大或更小。例如，阈值距离的范围可以从35mm到70mm。在其他示例中，阈值距离可以小于35mm或大于70mm。当医疗器械的远侧部分达到阈值距离(例如，距目标位置840 60mm)时，那么解剖边界860可以在图形用户界面800上显示为覆盖在图像数据810上。等待显示解剖边界860直到医疗器械达到阈值距离向用户提供医疗器械接近到达目标位置840的指示。在替代示例中，在医疗器械的远侧部分和医疗器械的出口点之间测量阈值距离。
65.随着医疗器械进一步插入患者解剖体中，如图8d所示，设计862(例如，图案、颜色、边缘、交叉影线、阴影等)可以示出在解剖边界860上。在一些示例中，当医疗器械的远侧部分在目标位置840的某个距离(例如，第一距离，其可以小于阈值距离)内时，可以显示设计862。第一距离可以被设置为阈值距离内的任何期望距离。等待显示设计862直到医疗器械到达第一距离向用户提供医疗器械越来越接近到达目标位置840的指示。
66.也如图8d所示，解剖边界860的大小和/或形状可以依据医疗器械的方位和取向因此依据轨迹区830的方位和取向而改变。与上文关于确定区边界540的讨论类似，显示在图像数据810中的解剖边界860的部分可以基于轨迹区830的延伸(如果轨迹区830的深度延伸出到感兴趣表面，则其可以是将与感兴趣表面交叉的轨迹区830的这些部分)和感兴趣表面(例如，肺部的胸膜)之间的交叉来显示。因为轨迹区830的方位和取向随着医疗器械导航通过患者解剖体而改变，所以轨迹区830的延伸也改变方位和取向。因此，在一些示例中，解剖边界860的大小和形状可以随着轨迹区830的改变方位/取向而改变。
67.随着医疗器械被进一步插入患者解剖体中(例如，到出口点或基本上接近出口点)，如图8e所示，设计864(例如，图案、颜色、边缘、交叉影线、阴影等)可以示出在解剖边界860上。在一些示例中，当医疗器械的远侧部分在目标位置840的一定距离(例如，第二距离，其可以小于阈值距离并且可以小于上文所讨论的第一距离)内时，设计864可以被显示。第二距离可以被设置为阈值距离内的任何期望距离。等待显示设计864直到医疗器械到达第二距离向用户提供医疗器械越来越接近到达目标位置840的指示。在一些示例中，显示设计864向用户指示医疗器械已经到达出口点。
68.在一些示例中，当医疗器械达到离散插入距离时，设计862、864可以被显示，如上文所讨论的。在其他示例中，解剖边界860以对应于医疗器械插入患者解剖体的动态方式从没有任何设计的显示改变为以第一设计862显示、以第二设计864显示。解剖边界860的动态改变显示可以帮助用户确定医疗器械何时接近目标位置840以及医疗器械可能有多接近目标位置840。在设计862、864包括颜色的示例中，解剖边界860的颜色可以随着医疗器械被插入得更接近目标位置840而逐渐改变(例如，以梯度改变)。例如，解剖边界860可以从当第一次显示解剖边界860时(例如，当医疗器械的远侧部分达到阈值距离时)的黄色逐渐改变为当医疗器械的远侧部分达到第一距离时的橙色，逐渐改变为当医疗器械的远侧部分到达出口点时的红色。解剖边界860的逐渐改变的显示可以以任何其他合适的方式来图示。例如，如图8d和图8e所示，在设计862、864包括交叉影线的示例中，交叉影线可以随着医疗器械被插入更靠近目标位置840而逐渐变厚。
69.在替代示例中，解剖边界860的逐渐改变的显示可以通过解剖边界860的亮度、解剖边界860的阴影、解剖边界860的图案、解剖边界860的边缘或以任何其他合适的方式的改变来图示。在进一步的示例中，当医疗器械达到阈值距离、第一距离和第二距离中的每一个时，可以向用户呈现不同的可听指示符/指示，以指示医疗器械越来越接近目标位置840。替代地，随着医疗器械越来越接近目标位置840，可以向用户呈现逐渐改变的听觉指示符。例如，随着医疗器械越来越接近目标位置840，音调的音量可能会改变(例如，更大或更柔和)，音调的音高可能会改变(例如，从低到高或从高到低)等。任何其他听觉指示符可以用于示出医疗器械正在接近目标位置840。在进一步的示例中，当医疗器械达到阈值距离、第一距离和第二距离中的每一个时，可以向用户呈现不同的和/或逐渐改变的文本指示符/指示，以指示医疗器械越来越接近目标位置840。在另外的替代示例中，不同的和/或逐渐改变的触觉指示符/指示(例如，触觉反馈)可以随着医疗器械越来越接近目标位置840而改变。
70.在一些实施例中，本公开的规划和/或导航技术可以在利用远程操作医疗系统执行的图像引导医疗程序中使用，如下文进一步详细描述的。如图9所示，远程操作的医疗系统600通常包括操纵器组件602，用于在外科手术环境601中对定位在台t上的患者p执行各种程序时操作医疗器械604。医疗器械604可以对应于器械100。操纵器组件602可以是远程操作的、非远程操作的或混合的远程操作和非远程操作的组件，具有可以是机动和/或远程操作的选择运动自由度和可以是非机动和/或非远程操作的选择运动自由度。可以在外科手术环境601内部或外部的主组件606通常包括用于控制操纵器组件602的一个或多个控制装置。操纵器组件602支撑医疗器械604并且可以可选地包括响应于来自控制系统612的命令驱动医疗器械604上的输入的多个致动器或马达。致动器可以可选地包括驱动系统，该驱动系统在耦接到医疗器械604时可以将医疗器械604推进到自然或手术产生的解剖孔口中。其他驱动系统可以以多个自由度移动医疗器械604的远端，其可以包括三个线性运动自由度(例如，沿x、y、z笛卡尔轴的线性运动)和三个旋转运动自由度(例如，围绕x、y、z笛卡尔轴的旋转)。附加地，致动器可以用于致动医疗器械604的铰接式末端执行器，用于抓握活检装置和/或类似装置的钳口中的组织。
71.远程操作医疗系统600进一步包括显示系统610(其可以包括图形用户界面400)，用于显示由传感器系统608和/或内窥镜成像系统609生成的手术部位和医疗器械604的图像或表示。显示系统610和主组件606可以被取向，使得操作者o可以通过远程呈现的感知来
控制医疗器械604和主组件606。任何先前描述的图形用户界面都可以显示在显示系统610和/或独立规划工作站的显示系统上。
72.在一些实施例中，医疗器械604可以包括用于手术、活检、消融、照明、冲洗或抽吸的部件。可选地，医疗器械604与传感器系统608一起可以用于收集(例如，测量或调查)与患者(例如患者p)的解剖通道内的位置相对应的一组数据点。在一些实施例中，医疗器械604可以包括成像系统609的部件，其可以包括成像范围组件或成像器械，其记录手术部位的并发或实时图像并通过显示系统610将图像提供给操作者或操作者o。并发图像可以是例如由定位在手术部位内的成像器械捕获的二维或三维图像。在一些实施例中，成像系统部件可以整体地或可移除地耦接到医疗器械604。然而，在一些实施例中，附接到单独的操纵器组件的单独的内窥镜可以与医疗器械604一起使用以对外科手术部位进行成像。成像系统609可以实施为硬件、固件、软件或其组合，它们与一个或多个计算机处理器交互或以其他方式由一个或多个计算机处理器执行，该计算机处理器可以包括控制系统612的处理器。
73.传感器系统608可以包括方位/位置传感器系统(例如，电磁(em)传感器系统)和/或形状传感器系统，用于确定医疗器械604的方位、取向、速度、速率、姿态和/或形状。
74.远程操作医疗系统600还可以包括控制系统612。控制系统612包括至少一个存储器616和至少一个计算机处理器614，用于实现医疗器械604、主组件606、传感器系统608、内窥镜成像系统609和显示系统610之间的控制。控制系统612还包括编程指令(例如，存储指令的非暂时性机器可读介质)以实施远程操作系统的多种操作模式，其包括导航规划模式、导航模式和/或程序模式。控制系统612还包括编程指令(例如，存储指令的非暂时性机器可读介质)以实施根据本文公开的各方面描述的一些或所有方法，其包括例如用于向显示系统610提供信息的指令、用于确定目标位置的指令、用于确定解剖边界的指令、用于确定轨迹区的指令、用于确定区边界的指令以及用于接收用户(例如，操作者o)输入到规划模式的指令。
75.诸如活检程序之类的医疗程序的规划可以被控制系统612保存和使用以提供医疗器械的自动导航或操作者导航辅助以执行活检程序。在导航期间，控制系统612可以用解剖区域的三维解剖模型、管腔内视图或呈现在用户显示器上的其他解剖视图来显示解剖边界和/或区边界。解剖边界和/或区边界也可以或替代地与来自其他成像技术的配准图像(诸如，在医疗过程期间获得的荧光检查图像)一起显示(例如，叠加在其上)。
76.控制系统612可以可选地进一步包括虚拟可视化系统，以在图像引导外科手术程序期间控制医疗器械604时向操作者o提供导航辅助。使用虚拟可视化系统的虚拟导航可以基于对获取的解剖通道的术前或术中数据集的参考。虚拟可视化系统处理使用成像技术成像的手术部位的图像，成像技术诸如是计算机断层扫描(ct)、磁共振成像(mri)、荧光检查、温度记录法、超声、光学相干断层摄影术(oct)、热成像、阻抗成像、激光成像、纳米管x射线成像和/或诸如此类。
77.图10图示了患者p定位在台t上的外科手术环境700。在患者的总体运动受到镇静、约束和/或其他方式的限制的意义上，患者p可以在外科手术环境内静止。包括患者p的呼吸和心脏运动在内的循环解剖运动可以继续，除非要求患者屏住他或她的呼吸以暂时中止呼吸运动。在外科手术环境700内，具有器械参考系(xs、ys、zs)的医疗器械704(例如，器械100、604)耦接到器械托架706。在该实施例中，医疗器械704包括耦接到器械主体712的细长装置
710，诸如柔性导管。器械托架706安装到固定在外科手术环境700内的插入台708。替代地，插入台708可以是可移动的，但在外科手术环境700内具有已知位置(例如，经由跟踪传感器或其他跟踪装置)。在这些备选方案中，医疗器械参考系相对于外科手术参考系是固定的或以其他方式已知的。器械托架706可以是远程操作操纵器组件(例如，远程操作操纵器组件602)的部件，其耦接到医疗器械704以控制插入运动(即，沿轴线a的运动)，并且可选地，控制细长装置710的远端718在包括偏航、俯仰和滚动的多个方向上的运动。器械托架706或插入台708可以包括控制器械托架706沿插入台708的运动的致动器，诸如伺服马达(未示出)。
78.在这个实施例中，传感器系统(例如，传感器系统608)包括形状传感器714。形状传感器714可以包括在细长装置710内延伸并与细长装置710对齐的光纤。在一个实施例中，光纤具有大约200μm的直径。在其他实施例中，尺寸可以更大或更小。形状传感器714的光纤形成用于确定细长装置710的形状的光纤弯曲传感器。在一种替代方案中，包括光纤布拉格光栅(fbg)的光纤用于提供一维或多维结构中的应变测量。用于以三维监测光纤的形状和相对方位的各种系统和方法在以下文献中描述：美国专利申请号11/180,389(2005年7月13日提交)(公开了“fiber optic position and shape sensing device and method relating thereto”)；美国专利申请号12/047,056(2004年7月16日提交)(公开“fiber-optic shape and relative position sensing”)；和美国专利号6,389,187(1998年6月17日提交)(公开了“optical fibre bend sensor”)，这些文献通过引用以其整体并入本文。一些实施例中的传感器可以采用其他合适的应变感测技术，诸如瑞利散射、拉曼散射、布里渊散射和荧光散射。在一些实施例中，导管的形状可以使用其他技术来确定。例如，细长装置710的远端姿态的历史可以用于在时间间隔内重建细长装置710的形状。
79.如图10所示，器械主体712相对于器械托架706耦接和固定。在一些实施例中，光纤形状传感器714固定在器械主体712上的近点716。在一些实施例中，光纤形状传感器714的近点716可以与器械主体712一起移动，但是近点716的位置可以是已知的(例如，经由跟踪传感器或其他跟踪装置)。形状传感器714测量从近点716到另一点(诸如细长装置710的远端718)的形状。
80.细长装置710包括设定大小和形状适于接收医疗器械722的通道(未示出)。在一些实施例中，医疗器械722可以用于诸如手术、活检、消融、照明、冲洗或抽吸的程序。医疗器械722可以通过细长装置710部署并且在解剖体内的目标位置处使用。医疗器械722可以包括例如图像捕获探针、活检器械、激光消融纤维和/或其他外科、诊断或治疗工具。医疗器械722可以从细长装置710的远端718前进以执行程序，然后在程序完成时缩回到通道中。医疗器械722可以从细长装置710的近端或从沿着细长装置710的另一个可选器械端口(未示出)移除。
81.细长装置710还可以容纳线缆、连杆或其他转向控制件(未示出)以可控地弯曲远端718。在一些示例中，至少四根线缆用于提供独立的“上下”转向以控制远端718的俯仰和“左右”转向以控制远端718的偏航。
82.方位测量装置720可以提供关于器械主体712在插入台708上沿插入轴线a移动时的方位的信息。方位测量装置720可以包括解析器、编码器、电位计和/或确定控制器械托架706的运动和因此器械主体712的运动的致动器的旋转和/或取向的其他传感器。在一些实施例中，插入台708是线性的。而在一些实施例中，插入台708可以是弯曲的或具有弯曲部段
和线性部段的组合。
83.在该描述中，已经阐述了描述一些实施例的具体细节。为了提供对实施例的透彻理解，阐述了许多具体细节。然而，对于本领域的技术人员来说显而易见的是，可以在没有这些具体细节中的一些或全部的情况下实践一些实施例。本文所公开的具体实施例是说明性的而非限制性的。本领域的技术人员可以认识到尽管在此没有具体描述但在本公开的范围和精神内的其他元素。
84.在没有具体示出或描述的其他实施例、实施方式或应用中，只要可实践，可任选地包括参考一个实施例、实施方式或应用详细描述的元件。例如，如果参考一个实施例详细描述了一个元件并且没有参考第二个实施例进行描述，那么该元件仍然可以被要求为包括在第二个实施例中。因此，为了避免在以下描述中不必要的重复，与一个实施例、实施方式或应用相关联示出和描述的一个或多个元件可以并入其他实施例、实施方式或方面，除非另外具体描述，除非一个或多个元件将使一个实施例或实施方式不起作用，或者除非两个或多个元素提供冲突的功能。并非所有图示的过程都可以在所公开方法的所有实施例中执行。此外，未明确图示的一个或多个过程可以包括在图示的过程之前、之后、之间或作为图示的过程的一部分。在一些实施例中，一个或多个过程可以由控制系统执行，或者可以至少部分地以存储在非暂时的、有形的、机器可读的介质上的可执行代码的形式来实施，当由一个控制系统运行时，该介质可以使一个或多个处理器执行一个或多个过程。
85.对所描述的装置、器械、方法的任何变型和进一步修改，以及本公开的原理的任何进一步的应用都被充分考虑，如本公开所涉及的本领域技术人员通常会想到的那样。此外，本文提供的尺寸是针对特定示例的，并且可以想到不同的大小、尺寸和/或比率可以用于实施本公开的概念。为了避免不必要的描述性重复，根据一个说明性实施例描述的一个或多个部件或动作可以在适用于其他说明性实施例的情况下被使用或省略。为简洁起见，这些组合的无数次迭代将不再单独描述。为简单起见，在某些情况下，在整个附图中使用相同的附图标记来指代相同或相似的部分。
86.本文所述的系统和方法可以适用于解剖组织的导航和治疗，经由天然或手术创建的连接通道，在任何多种解剖系统中，其包括肺部、结肠、肠、肾和肾盏、大脑、心脏、包括脉管系统的循环系统和/或诸如此类。尽管本文提供了一些关于医疗程序的实施例，但对医疗或外科手术器械和医疗或外科手术方法的任何提及是非限制性的。例如，本文所述的器械、系统和方法可以用于非医疗目的，其包括工业用途、通用机器人用途以及感测或操纵非组织工件。其他示例应用包括美容改进、人体或动物解剖体成像、从人体或动物解剖体收集数据以及培训医疗或非医疗人员。附加的示例应用包括用于对从人体或动物解剖体中移除的组织进行手术(无需返回人体或动物解剖体)以及对人体或动物尸体执行程序。此外，这些技术还可以用于外科和非外科医疗治疗或诊断程序。
87.本公开的实施例中的一个或多个元件可以在软件中实施，以在诸如控制处理系统的计算机系统的处理器上执行。当在软件中实施时，本公开的实施例的元件可能是执行各种任务的代码段。程序或代码段可以存储在处理器可读存储介质或装置中，该处理器可读存储介质或装置可以通过传输介质或通信链路以载波中体现的计算机数据信号的方式下载。处理器可读存储装置可以包括可以存储包括光学介质、半导体介质和磁性介质的信息的任何介质。处理器可读存储装置示例包括电子电路；半导体装置、半导体存储装置、只读
存储器(rom)、闪存、可擦除可编程只读存储器(eprom)；软盘、cd-rom、光盘、硬盘或其他存储装置。代码段可以经由诸如互联网、内联网等的计算机网络下载。可以采用各种集中式或分布式数据处理架构中的任何一种。编程的指令可以实施为许多单独的程序或子例程，或者可以集成到本文所述的系统的许多其他方面中。在一个实施例中，控制系统支持无线通信协议，诸如蓝牙、irda(红外数据通信)、homerf(家庭射频)、ieee 802.11、数字增强无线通信(dect)、超宽带(uwb)、zigbee和无线遥测。
88.注意，所呈现的过程和显示可以是固有地不与任何特定计算机或其他设备相关。各种通用系统可以根据本文的教导与编程一起使用，或者可以证明便于构造一种更专业的设备来执行所述的操作。用于各种这些系统的所需结构将作为权利要求中的元件显示。另外，本发明的实施例不参考任何特定编程语言描述。将理解，可以使用各种编程语言来实施如本文所述的本发明的教导。
89.本公开根据各种器械、器械的部分和解剖结构在三维空间中的状态描述了它们。如本文所用，术语“方位”是指对象或对象的一部分在三维空间中(例如，沿笛卡尔x、y和z坐标的三个平移自由度)的位置。如本文所用，术语“取向”是指对象或对象的一部分的旋转放置(三个旋转自由度-例如滚动、俯仰和偏航)。如本文所用，术语“姿态”是指对象或对象的一部分在至少一个平移自由度中的方位和对象或对象的一部分在至少一个旋转自由度(最多六个总自由度)中的取向。如本文所用，术语“形状”是指沿对象测量的一组姿态、方位或取向。
90.虽然本发明的某些示例性实施例已经在附图中描述和示出，但是应当理解，这些实施例对于广泛的发明仅是说明性的并且不是限制性的，并且本发明的实施例不限于所示和所述的特定结构和布置，因为对于本领域技术人员可以进行各种其他修改。