用于患者解剖结构配准的系统和方法与流程

本申请要求于2019年2月26日提交的美国临时申请62/810,623的权益，其全部内容通过引用并入本文。

技术领域

本公开涉及用于执行图像引导程序的系统和方法，特别是涉及用于在图像引导程序期间半自动配准实时图像和先前解剖图像，同时需要减少操作员输入的系统和方法。

背景技术

微创医疗技术旨在减少医疗程序中受损的组织数量，从而减少患者恢复时间、不适和有害副作用。此类微创技术可通过患者解剖结构中的自然孔口或通过一个或多个外科切口来执行。通过这些自然孔口或切口，操作员可插入微创医疗器械(包括外科、诊断、治疗或活检器械)以到达目标组织位置。为了帮助到达目标组织位置，医疗器械的位置和移动可与患者解剖结构的术前或术中图像相关。利用与图像相关的图像引导器械，器械可在解剖系统(诸如肺、结肠、肠、肾、心脏、循环系统等)中导航自然或外科手术创建的通道。然而，为了将图像引导器械与图像相关联，操作员通常需要手动将图像引导器械移动到解剖系统内的特定位置，然后在将图像引导器械移动到解剖系统内的另一位置以进行相关联或配准过程之前，通知医疗系统图像引导器械位于指定位置。这一过程可能需要大量时间和操作员输入才能完成。因此，提供用于执行图像引导程序的更有效的配准过程将是有利的。

技术实现要素：

本发明的实施例通过随附于说明书的权利要求得到最好的总结。

与一些实施例一致，系统包括医疗器械、被配置为从医疗器械接收位置数据的跟踪子系统，以及通信地联接到医疗器械和跟踪子系统的控制系统。控制系统被配置为访问患者的解剖结构的模型，并且接收医疗器械已被递送到患者的解剖结构内的已知解剖界标的指示。控制系统还被配置为当医疗器械沿测量路径移动时，沿从靠近患者的解剖结构内的已知解剖界标的测量起始位置延伸的测量路径收集患者的解剖结构的多个测量点。控制系统还被配置为确定医疗器械相对于患者的解剖结构的位置。最后，系统被配置为将收集的多个测量点配准到患者的解剖结构的模型。

与一些实施例一致，一种方法包括访问患者的解剖结构的模型，并且接收医疗器械已被递送到患者的解剖结构内的已知解剖界标的指示。该方法还包括当医疗器械沿测量路径移动时，沿从靠近患者的解剖结构内的已知解剖界标的测量起始位置延伸的测量路径收集患者的解剖结构的多个测量点。该方法还包括确定医疗器械相对于患者的解剖结构的位置。最后，该方法包括将收集的多个测量点配准到患者的解剖结构的模型。

与一些实施例一致，一种非暂时性机器可读介质包括多个机器可读指令，所述多个机器可读指令当由一个或多个处理器执行时，适于使得一个或多个处理器执行包括访问患者的解剖结构的模型的方法。该方法还包括接收医疗器械已被递送到患者的解剖结构内的已知解剖界标的指示，并且当医疗器械沿测量路径移动时，沿从靠近患者的解剖结构内的已知解剖界标的测量起始位置延伸的测量路径收集患者的解剖结构的多个测量点。该方法还包括确定医疗器械相对于患者的解剖结构的位置。最后，该方法包括将收集的多个测量点配准到患者的解剖结构的模型。

应当理解，前面的一般描述和下面的详细描述均是示例性和解释性的，并且旨在提供对本公开的理解，而不限制本公开的范围。在这点上，根据以下详细描述，本公开的附加方面、特征和优点对于本领域技术人员来说将是显然的。

附图说明

图1是根据一些实施例的远程操作医疗系统的简化图。

图2A是根据一些实施例的医疗器械系统的简化图。

图2B是根据一些实施例的具有扩展医疗工具的医疗器械的简化图。

图3A和3B是根据一些实施例的包括安装在插入组件上的医疗器械的患者坐标空间的侧视图的简化图。

图4A、4B、4C和4D示出了根据一些实施例在插入人类肺部期间图2、3A、3B的医疗器械系统的远端。

图5是示出根据一些实施例的图像引导外科手术程序或其一部分的方法的流程图。

图6示出了根据术前或术中图像数据生成的解剖区域的解剖模型。

图7是提供根据一些实施例的方法的流程图，该方法用于执行将患者P的解剖模型半自动配准到外科手术环境中存在的患者P的解剖结构。

图8示出了一种显示系统，该显示系统在显示系统内包括的用户界面中显示用于在模型空间和患者空间之间进行配准过程的一组图形信息。

图9示出了在用户界面中显示用于在模型空间和患者空间之间进行配准过程的另一组图形信息的显示系统。

图10示出了在用户界面中显示用于在模型空间和患者空间之间进行配准过程的另一组图形信息的显示系统。

图11A和11B示出了在用户界面中显示用于在模型空间和患者空间之间进行配准过程的另一组图形信息的显示系统。

图12示出了在模型空间和患者空间之间的配准过程期间由细长装置收集的多个测量点。

图13示出了在用户界面中显示用于在模型空间和患者空间之间进行配准过程的另一组图形信息的显示系统。

图14示出了在用户界面中显示用于在模型空间和患者空间之间进行配准过程的另一组图形信息的显示系统。

通过参考下面的详细描述，可最好地理解本公开的实施例及其优点。应当理解，类似的附图标记用于标识在一个或多个附图中示出的类似元件，其中所示内容是为了说明本公开的实施例，而不是为了限制本公开。

具体实施方式

在以下描述中，阐述了描述与本公开一致的一些实施例的具体细节。为了提供对实施例的透彻理解，阐述了许多具体细节。然而，对于本领域技术人员来说，显而易见的是，可在没有这些特定细节中的一些或所有细节的情况下实施一些实施例。本文公开的具体实施例旨在说明而非限制。尽管此处没有具体描述，但是本领域技术人员可认识到在本发明的范围和精神内的其他元件。此外，为了避免不必要的重复，除非另外特别描述或者如果一个或多个特征将使实施例不起作用，否则可将与一个实施例相关联地示出和描述的一个或多个特征合并到其他实施例中。

本文描述了包括半自动配准系统的远程操作医疗系统的各种实施例。在一些实施例中，系统可接收医疗器械已被递送到患者的解剖结构内的已知解剖界标附近的指示，以启动医疗器械与患者的解剖结构的粗略配准。在一些实施例中，所述系统可包括医疗器械，该医疗器械包括细长柔性主体和用于收集患者的解剖结构内的多个测量点的传感器。在一些实施例中，在通过将医疗器械递送到已知的解剖界标附近而开始粗略配准后，系统可收集患者解剖结构内的多个测量点。在一些实施例中，系统可生成用户可用于完成初始粗略配准的虚拟视图。尽管本文针对此类程序提供了一些实施例，但对医疗或外科器械以及医疗或外科方法的任何引用均是非限制性的。在一些实施例中，该系统可用于涉及传统手动操作医疗器械的非远程操作程序。本文所描述的系统、器械和方法可用于动物、人类尸体、动物尸体、人体或动物解剖结构的部分、非外科诊断，以及工业系统和通用机器人、通用远程操作或机器人医疗系统。

图1是根据一些实施例的远程操作医疗系统100的简化图。在一些实施例中，远程操作医疗系统100可适于在例如外科、诊断、治疗或活检程序中使用。尽管本文针对此类程序提供了一些实施例，但对医疗或外科器械以及医疗或外科方法的任何引用均是非限制性的。

如图1所示，医疗系统100通常包括用于在对患者P执行各种程序时操作医疗器械104的操纵器组件102。操纵器组件102可为具有可机动和/或远程操作的选定运动自由度以及可非机动和/或非远程操作的选定运动自由度的远程操作、非远程操作或混合的远程操作和非远程操作组件。操纵器组件102安装在手术台T上或手术台T附近。主组件106允许操作员(例如，外科医生、临床医生或医生，如图1所示)O查看介入部位并控制操纵器组件102。

主组件106可位于操作员控制台上，操作员控制台通常与手术台T位于同一房间，诸如患者P所在的外科手术台的那一侧的房间。然而，应该理解，操作员O可位于不同的房间或与患者P完全不同的建筑物中。主组件106通常包括用于控制操纵器组件102的一个或多个控制装置。控制装置可包括任意数量的各种输入装置，诸如操纵杆、轨迹球、数据手套、扳机枪、手动控制器、语音识别装置、身体运动或存在传感器等。为了给操作员提供直接控制器械104的强烈感觉，可为控制装置提供与相关联的医疗器械104相同的自由度。以这种方式，控制装置向操作员O提供远程呈现或控制装置与医疗器械104是一体的感觉。

操纵器组件102支撑医疗器械104，并且可包括一个或多个非伺服控制连杆(例如，可以手动定位并锁定在适当位置的一个或多个连杆，通常称为设置结构)和/或一个或多个伺服控制连杆(例如，可以响应于来自控制系统的命令而被控制的一个或多个连杆)的运动结构，以及操纵器。操纵器组件102可任选地包括多个致动器或电机，其响应于来自控制系统(例如，控制系统112)的命令而驱动医疗器械104上的输入。致动器可任选地包括驱动系统，当联接到医疗器械104时，驱动系统可将医疗器械104推进到自然或外科手术创建的解剖孔口中。其他驱动系统可在多个自由度上移动医疗器械104的远端，这些自由度可以包括三个自由度的线性运动(例如，沿X、Y、Z笛卡尔轴线的线性运动)和三个自由度的旋转运动(例如，围绕X、Y、Z笛卡尔轴线的旋转)。此外，致动器可用于致动医疗器械104的可铰接末端执行器，以抓取活检装置和/或类似物的钳口中的组织。诸如分解器、编码器、电位计和其他机构的致动器位置传感器可向医疗系统100提供描述电机轴线的旋转和取向的传感器数据。该位置传感器数据可用于确定执行器操纵的物体的运动。

远程操作医疗系统100可包括传感器系统108，其具有用于接收关于操纵器组件102的器械的信息的一个或多个子系统。此类子系统可包括位姿/位置传感器系统(例如，电磁(EM)传感器系统)；形状传感器系统，用于确定沿着可构成医疗器械104的柔性主体的远端和/或一个或多个节段的位置、取向、速率、速度、姿势和/或形状；以及/或用于从医疗器械104的远端捕获图像的可视化系统。

远程操作医疗系统100还包括一个显示系统110，用于显示由传感器系统108的子系统生成的外科手术部位和医疗器械104的图像或表示。显示系统110和主组件106可被定向成使得操作员O可利用远程呈现的感觉来控制医疗器械104和主组件106。

在一些实施例中，医疗器械104可以并包括观察镜组件，该观察镜组件记录外科手术部位的并发或实时图像，并且通过医疗系统100的一个或多个显示器(诸如显示系统110的一个或多个显示器)向操作员或操作员O提供图像。并发图像可为，例如，由位于外科手术部位内的内窥镜捕获的二维或三维图像。在一些实施例中，可视化系统包括内窥镜组件，内窥镜组件可整体地或可移除地联接到医疗器械104。然而，在一些实施例中，附接到单独操纵器组件的单独内窥镜可与医疗器械104一起使用，以对外科手术部位成像。可视化系统可被实施为硬件、固件、软件或其组合，其与一个或多个计算机处理器交互或以其他方式由一个或多个计算机处理器执行，所述计算机处理器可包括控制系统112的处理器。

显示系统110还可显示由可视化系统捕获的外科手术部位和医疗器械的图像。在一些示例中，远程操作医疗系统100可配置医疗器械104和主组件106的控制器，使得医疗器械的相对位置类似于操作员O的眼睛和手的相对位置。以这种方式，操作员O可操纵医疗器械104和手控制器，就好像在实质上真实存在的情况下查看工作空间一样。所谓真实存在，意指图像的呈现是模拟物理操纵医疗器械104的医生的视点的真实透视图像。

在一些示例中，显示系统110可使用来自成像技术的图像数据来呈现术前或术中记录的外科手术部位的图像，所述成像技术诸如计算机断层扫描(CT)、磁共振成像(MRI)、荧光镜检查、热成像、超声波、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像等。术前或术中图像数据可呈现为二维、三维或四维(包括例如基于时间或基于速度的信息)图像和/或呈现为来自从术前或术中图像数据集创建的模型的图像。

在一些实施例中，通常出于成像引导外科手术程序的目的，显示系统110可显示虚拟导航图像，其中医疗器械104的实际位置与术前或并发图像/模型配准(即，动态参考)。这可从医疗器械104的视点向操作员O呈现内部外科手术部位的虚拟图像。在一些示例中，视点可来自医疗器械104的尖端。医疗器械104尖端的图像和/或其他图形或字母数字指示器可叠加在虚拟图像上，以协助操作员控制医疗器械104。在一些示例中，医疗器械104可能在虚拟图像中不可见。

在一些实施例中，显示系统110可显示虚拟导航图像，其中医疗器械104的实际位置与术前或并发图像配准，以从外部视点向操作员O呈现外科手术部位内的医疗器械104的虚拟图像。医疗器械104的一部分的图像或其他图形或字母数字指示器可叠加在虚拟图像上，以协助操作员O控制医疗器械104。如本文所述，可向显示系统110呈现数据点的视觉表示。例如，测量的数据点、移动的数据点、配准的数据点以及本文所描述的其他数据点可在显示系统110上以视觉表示显示。数据点可在用户界面111中由显示系统110上的多个点或点状物可视地表示，或者作为渲染模型，诸如基于数据点集创建的网格或线模型。在一些示例中，数据点可根据它们所表示的数据进行颜色编码。在一些实施例中，在已实施每个处理操作以改变数据点之后，可在显示系统110中刷新视觉表示。

远程操作医疗系统100还可包括控制系统112。控制系统112包括至少一个存储器和至少一个计算机处理器(未示出)，用于实现医疗器械104、主组件106、传感器系统108和显示系统110之间的控制。控制系统112还包括经编程的指令(例如，存储指令的非暂时性机器可读介质)，以实施根据本文公开的方面描述的一些或所有方法，包括用于向显示系统110提供信息的指令。尽管控制系统112在图1的简化示意图中显示为单个块，但系统可包括两个或多个数据处理电路，其中处理的一部分任选地在操纵器组件102上或附近执行，处理的另一部分在主组件106处执行，和/或诸如此类。控制系统112的处理器可执行指令，该处理器可执行指令包括对应于本文公开和下文更详细描述的过程的指令。可采用各种各样的集中式或分布式数据处理架构中的任何一种。类似地，经编程的指令可被实施为多个单独的程序或子例程，或者它们可被集成到本文所描述的远程操作系统的多个其他方面中。在一个实施例中，控制系统112支持诸如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT和无线遥测的无线通信协议。

在一些实施例中，控制系统112可接收来自医疗器械104的力和/或扭矩反馈。响应于该反馈，控制系统112可向主组件106传输信号。在一些示例中，控制系统112可传输指示操纵器组件102的一个或多个致动器移动医疗器械104的信号。医疗器械104可经由患者P体内的开口延伸到患者P体内的内部外科手术部位。可使用任何合适的常规和/或专用致动器。在一些示例中，一个或多个致动器可与操纵器组件102分离或集成。在一些实施例中，一个或多个致动器和操纵器组件102被提供为邻近患者P和手术台T定位的远程操作推车的一部分。

控制系统112可任选地进一步包括虚拟可视化系统的至少一部分，以在图像引导外科手术程序期间控制医疗器械104时向操作员O提供导航帮助。使用虚拟可视化系统的虚拟导航可基于对解剖通道的采集的术前或术中数据集的参考。虚拟可视化系统处理使用诸如计算机断层扫描(CT)、磁共振成像(MRI)、荧光镜检查、热成像、超声、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像等的成像技术成像的外科手术部位的图像。可与手动输入结合使用的软件用于将记录的图像转换成部分或整个解剖器官或解剖区域的分割的二维或三维复合表示。图像数据集与复合表示相关联。复合表示和图像数据集描述了通道的各种位置和形状及其连通性。用于生成复合表示的图像可在临床程序中在术前或术中记录。在一些实施例中，虚拟可视化系统可使用标准表示(即，非患者特定的)或标准表示和患者特定数据的混合。复合表示和由该复合表示生成的任何虚拟图像可表示在一个或多个运动阶段期间(例如，在肺的吸气/呼气循环期间)可变形解剖区域的静态姿势。

在虚拟导航程序期间，传感器系统108可用于计算医疗器械104相对于患者P的解剖结构的大致位置。该位置可用于生成患者P的解剖结构的宏观(外部)跟踪图像和患者P的解剖结构的虚拟内部图像。系统可实施一个或多个EM传感器、光纤传感器和/或其他传感器，以将医疗器械与术前记录的手术图像(诸如来自虚拟可视化系统的图像)一起配准和显示。例如，PCT公开WO 2016/191298(公开于2016年12月1日)(公开了“用于图像引导手术的配准的系统和方法”)公开了这样一种系统，其通过引用全部并入本文中。远程操作医疗系统100还可包括任选操作和支持系统(未示出)，诸如照明系统、转向控制系统、冲洗系统和/或抽吸系统。在一些实施例中，远程操作医疗系统100可包括一个以上的操纵器组件和/或一个以上的主组件。远程操作操纵器组件的确切数量取决于外科手术程序和手术室内的空间限制以及其他因素。主组件106可并置，或者它们可定位在不同的位置。多个主组件允许一个以上的操作员以各种组合控制一个或多个远程操作操纵器组件。

图2A是根据一些实施例的医疗器械系统200的简化图。在一些实施例中，医疗器械系统200可在用远程操作医疗系统100执行的图像引导医疗程序中用作医疗器械104。在一些示例中，医疗器械系统200可用于非远程操作探查程序，或者用于涉及传统手动操作医疗器械的程序，诸如内窥镜检查。任选地，医疗器械系统200可用于收集(即，测量)对应于患者(诸如患者P)的解剖通道内的位置的一组数据点。

医疗器械系统200包括联接到驱动单元204的细长装置202，诸如柔性导管。细长装置202包括具有近端217和远端或尖端部分218的柔性主体216。在一些实施例中，柔性主体216的外径大约为3mm。其他柔性主体外径可更大或更小。

医疗器械系统200还包括跟踪系统230，用于使用一个或多个传感器和/或成像装置来确定远端218和/或沿柔性主体216的一个或多个节段224的位置、取向、速率、速度、姿势和/或形状，如下面进一步详细描述的。柔性主体216的在远端218和近端217之间的整个长度可有效地划分为节段224。跟踪系统230可选择性地实施为硬件、固件、软件或其组合，其与一个或多个计算机处理器交互或以其他方式由一个或多个计算机处理器执行，所述计算机处理器可包括图1中的控制系统112的处理器。

跟踪系统230可使用形状传感器222任选地跟踪远端218和/或一个或多个节段224。形状传感器222可任选地包括与柔性主体216对准的光纤(例如，设置在内部通道(未示出)内或安装在外部)。在一个实施例中，光纤的直径大约为200μm。在其他实施例中，尺寸可更大或更小。形状传感器222的光纤形成用于确定柔性主体216的形状的光纤弯曲传感器。在一种替代方案中，包括光纤布拉格光栅(FBG)的光纤用于在一个或多个维度上提供结构中的应变测量。美国专利申请第11/180,389号(于2005年7月13日提交)(公开了“光纤位置和形状传感装置及其相关方法”)中描述了用于监测三维中光纤的形状和相对位置的各种系统和方法；美国专利申请第12/047,056号(于2004年7月16日提交)(公开了“光纤形状和相对位置感测”)；和美国专利第6,389,187(于1998年6月17日提交)(公开了“光纤弯曲传感器”)，这些专利的全部内容通过引用并入本文。一些实施例中的传感器可采用其他合适的应变传感技术，诸如瑞利散射、拉曼散射、布里渊散射和荧光散射。在一些实施例中，可使用其他技术确定细长装置的形状。例如，柔性主体216的远端姿势的历史可用于在一段时间内重建柔性主体216的形状。在一些实施例中，跟踪系统230可任选地和/或附加地使用位置传感器系统220(诸如电磁(EM)传感器系统)跟踪远端218。

柔性主体216包括经设定尺寸和形状适于容纳医疗器械226的通道221。图2B是根据一些实施例延伸的医疗器械226的柔性主体216的简化图。在一些实施例中，医疗器械226可用于诸如手术、活检、消融、照明、冲洗或抽吸等程序。医疗器械226可通过柔性主体216的通道221展开，并且在解剖结构内的目标位置使用。医疗器械226可包括例如图像捕获探头、活检器械、激光消融纤维和/或其他外科、诊断或治疗工具。医疗工具可包括具有单个工作构件(诸如手术刀、钝刀片、光纤、电极等)的末端执行器。其他末端执行器可包括例如镊子、抓取器、剪刀、夹持器等。其他末端执行器还可包括电激活末端执行器，例如电外科电极、换能器、传感器等。医疗器械226可从通道221的开口处向前推进以执行该程序，然后在该程序完成时缩回通道中。医疗器械226可从柔性主体216的近端217或者从沿柔性主体216的另一任选器械端口(未示出)移除。

医疗器械226可另外容纳在其近端和远端之间延伸的电缆、连杆或其他致动控制装置(未示出)，以可控地弯曲医疗器械226的远端。可转向器械在美国专利第7,316,681号(于2005年10月4日提交)(公开了“用于执行具有增强的灵巧性和灵敏度的微创外科手术的关节式外科器械”)和美国专利申请第12/286,644号(于2008年9月30日提交)(公开了“用于外科器械的被动预载和绞盘驱动”)中有详细描述，这两个专利申请的全部内容通过引用并入本文。

柔性主体216还可容纳电缆、连杆或其他转向控制装置(未示出)，其在驱动单元204和远端218之间延伸，以可控地弯曲远端218，例如，如远端218的虚线219所示。在一些示例中，至少有四根电缆用于提供独立的“上下”转向以控制远端218的俯仰，并且提供“左右”转向以控制远端281的偏航。可转向细长装置在美国专利申请第13/274,208号(于2011年10月14日提交)(公开了“具有可移除视觉探头的导管”)中有详细描述，该专利申请通过引用整体并入本文。在医疗器械系统200由远程操作组件致动的实施例中，驱动单元204可包括驱动输入端，该驱动输入端可移除地联接到远程操作组件的驱动元件(诸如致动器)并从其接收功率。在一些实施例中，医疗器械系统200可包括夹持特征部、手动致动器或用于手动控制医疗器械系统200的运动的其他部件。

在一些实施例中，医疗器械系统200可包括柔性支气管器械，诸如支气管镜或支气管导管，用于肺的检查、诊断、活检或治疗。医疗器械系统200还适合于经由自然或外科手术创建的连接通道，在包括结肠、肠、肾脏和肾盏、大脑、心脏、包括脉管系统的循环系统等的各种解剖系统中的任何一种中导航和治疗其他组织。

可将来自跟踪系统230的信息发送到导航系统232，在导航系统232中，该信息与来自可视化系统231的信息和/或术前获得的模型相结合，以向医生或其他操作员提供实时位置信息。在一些示例中，实时位置信息可显示在图1的显示系统110上以用于控制医疗器械系统200。在一些示例中，图1的控制系统116可利用位置信息作为医疗器械系统200定位的反馈。于2011年5月13日提交的美国专利申请第13/107,562号(公开了“为图像引导外科手术提供解剖结构模型的动态配准的医疗系统”)、PCT公开WO 2016/1033596(于2016年5月20日提交)(公开了“图像引导外科手术的配准系统和方法”)和PCT公开WO 2016/164311(于2016年4月4日提交)(公开了“在图像引导外科手术配准补偿的系统和方法”)中提供了使用光纤传感器来配准和显示具有外科手术图像的外科手术器械的各种系统，这些专利申请的全部内容通过引用并入本文。

图3A和3B是根据一些实施例的包括安装在插入组件上的医疗器械的患者坐标空间的侧视图的简化图。如图3A和3B所示，外科手术环境300包括位于图1的工作台T上的患者P。患者P可在外科手术环境中静止，因为患者的总体运动受到镇静、约束和/或其他手段的限制。包括患者P的呼吸和心脏运动在内的周期性解剖运动可继续进行，除非要求患者屏住呼吸以暂停呼吸运动。因此，在一些实施例中，可在呼吸的特定阶段收集数据并进行筛选，从而用该阶段对数据进行标记和识别。在一些实施例中，收集数据的阶段可根据从患者p收集的生理信息中推断出来。在外科手术环境300内，点收集器械304联接到器械托架306。在一些实施例中，点收集器械304可包括医疗器械系统200的部件，包括例如细长装置202和驱动单元204。在一些实施例中，点收集器械304可使用EM传感器、形状传感器和/或其他传感器模式。器械托架306安装到固定在外科手术环境300内的插入台308。另选地，插入台308可为可移动的，但在外科手术环境300内具有已知位置(例如，经由跟踪传感器或其他跟踪装置)。器械托架306可为操纵器组件(例如，操纵器组件102)的部件，该操纵器组件联接到点收集器械304以控制插入运动(即，沿A轴线的运动)并且任选地，控制细长装置310或医疗器械的远端318在包括偏转、俯仰和滚动的多个方向上的运动。器械托架306或插入台308可包括控制器械托架306沿插入台308的运动的致动器，例如伺服电机(未示出)。

细长装置310联接到器械主体312。器械主体312相对于器械托架306联接并固定。在一些实施例中，光纤形状传感器314固定在器械主体312上的近侧点316处。在一些实施例中，光纤形状传感器314的近侧点316可沿器械主体312一起移动，但是近侧点316的位置可为已知的(例如，经由跟踪传感器或其他跟踪装置)。形状传感器314测量从近侧点316到另一点(诸如细长装置310的远端318)的形状。点收集器械304可基本上类似于医疗器械系统200。

位置测量装置320提供关于器械主体312在插入台308上沿插入轴线A移动时的位置的信息。位置测量装置320可包括分解器、编码器、电位计和/或其他传感器，其确定控制器械托架306的运动并因此控制器械主体312的运动的致动器的旋转和/或取向。在一些实施例中，插入台308是线性的。在一些实施例中，插入台308可为弯曲的，或者具有弯曲部分和线性部分的组合。

图3A示出了沿插入台308处于缩回位置的器械主体312和器械托架306。在该缩回位置，近侧点316位于轴线A上的位置L0。在沿插入台308的该位置，近侧点316的位置的A分量可设置为零和/或另一参考值，以提供基本参考来描述插入台308上的器械托架306以及近侧点316的位置。通过器械主体312和器械托架306的该缩回位置，可将细长装置310的远端318定位在患者P的入口孔口内。此外，在此位置，位置测量装置320可被设置为零和/或其他参考值(例如，I＝0)。在图3B中，器械主体312和器械托架306已沿插入台308的线性轨道前进，并且细长装置310的远端318已前进到患者p体内。在该高级位置，近侧点316位于轴线A上的位置L1。在该实施例中，细长装置310的运动循环定义为细长装置310从患者P的入口孔口内的起点到进一步进入患者P的解剖结构的终点的单次插入，以及细长装置310从终点到位于患者P的入口孔口内的起点的相应单次缩回。此外，可在诸如上述步骤的程序期间完成细长装置310的多个运动循环。在一些示例中，来自一个或多个致动器的编码器和/或其他位置数据用于确定近侧点316相对于位置L0的位置Lx，该致动器控制器械托架306沿插入台308和/或与器械托架306和/或插入台308相关联的一个或多个位置传感器的移动。在一些示例中，位置Lx还可用作细长装置310的远端318插入患者P的解剖结构的通道中的距离或插入深度的指示器。

图4A、4B、4C和4D示出了图3A和3B的细长装置310穿过图1、图3A和图3B的患者P的肺部400的解剖通道402前进。这些解剖通道402包括气管和支气管。当细长装置310随着器械托架306沿插入台308移动而前进时，操作员O可将细长装置310的远端318转向穿过解剖通道402导航。在通过解剖通道402导航时，细长装置310呈现可由在细长装置310内延伸的形状传感器314测量的形状。

图5是示出用于图像引导外科手术的一般方法500的流程图。方法500在图5中被示出为一组操作或过程502至510。并非所有示出的过程502至510均可在方法500的所有实施例中执行。此外，图5中未明确示出的一个或多个过程可被包括在过程502至510之前、之后、之间或作为过程502至510的一部分。在一些实施例中，一个或多个过程可至少部分地以存储在非暂时性、有形、机器可读介质上的可执行代码的形式来实施，当由一个或多个处理器(例如，控制系统112的处理器)运行时，该可执行代码可使得一个或多个处理器执行过程中的一个或多个。

在过程502，术前或术中图像数据从成像技术获得，诸如计算机断层扫描(CT)、磁共振成像(MRI)、荧光镜检查、热成像、超声波、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像或纳米管X射线成像。术前或术中图像数据可对应于二维、三维或四维(包括例如基于时间或基于速度的信息)图像。例如，图像数据可表示图4A-4D的人类肺400。

在过程504，单独操作或与手动输入结合操作的计算机系统用于将记录的图像转换成部分或整个解剖器官或解剖区域的分割的二维或三维复合表示或模型。图6示出了从术前或术中图像数据生成的解剖区域的解剖模型。在该示例中，图6示出了图4A-4D的肺400的分割模型600。由于数据或分割算法中的限制，分割模型600可能不包括存在于人肺中的所有感兴趣的通道，而是包括一些通道601。例如，肺的相对狭窄和/或远端通道可能不完全包括在分割模型600中。分割模型600可为三维模型，诸如网格模型、链接模型或定义肺部内腔或通道的另一种合适的模型。通常，该模型作为术前或术中参考系内气道几何结构的空间模板。复合表示和图像数据集描述通道的各种位置和形状及其连通性，并且可省略包括在术前或术中图像数据中的解剖结构的不希望的部分。在一些实施例中，模型600可包括特定期望的特征部，诸如疑似肿瘤、病变或其他感兴趣的组织部分。

在分割过程期间，图像被分割成片段或元件(例如，像素或体素)，这些片段或元件共享某些特性或计算属性，诸如颜色、密度、强度和纹理。该分割过程产生二维或三维重建，其基于所获得的图像形成目标解剖结构的模型，如模型600。为了表示该模型，分割过程可描绘表示目标解剖结构的体素集合，然后应用一个函数，诸如marching cube函数，以生成包围体素的三维曲面。可通过生成网格、体积或体素贴图来创建模型。该模型可显示在显示系统110中，以协助操作员O可视化解剖结构，诸如肺的内部通道。

如图6所示，模型600包括多个分支点，其包括分支点A、B、C、D和E。例如，分支点A可表示模型600中气管分为左主支气管和右主支气管的点。在右主支气管内，分支点B可表示模型600中右上肺叶和右下肺叶之间的分支点。类似地，次级支气管由右上肺的分支点C和D以及右下肺的分支点E识别。

回到图5，在过程506，可从与解剖模型相对应的患者解剖结构收集多个测量点，如参考图3A-B、4A-D所述，并且如本文将进一步描述的。测量点可通过使细长装置前进通过解剖结构和/或到达解剖结构中的界标和超出来产生，同时使用传感器系统(例如，传感器系统108)测量细长装置的远端的位置或细长装置的姿势，同时控制系统(例如，控制系统112)监控测量点的收集，以确定何时已收集了足够量的测量点形式的数据。测量点与患者空间相关联，并且也可被称为患者空间点。

在过程508，任选地，一个或多个处理器(例如，控制系统112的处理器)可使用例如显示器(例如，显示系统110)通知用户测量点收集完成。对用户的通知可包括显示系统110上的视觉警报，该视觉警报通知用户例如患者解剖结构的子区域的已完成勘测或测量点收集过程的完成百分比。

在过程510，在测量点收集过程508完成之后以及在患者上的图像引导外科手术之前或期间，将模型空间的解剖模型数据配准到患者空间的患者的解剖结构(反之亦然)。通常，配准涉及通过使用刚性和/或非刚性变换将收集的多个测量点与模型600中的点进行匹配。此类点集配准方法(例如，迭代最近点(ICP)技术)也可在本公开范围内的配准过程中使用。此类点集配准方法可生成将测量点(也称为测量点集)和模型点(也称为测量点集)对准的变换。

在各种实施例中，配准的质量可能取决于各种因素，包括例如测量点和/或模型点的数量、测量点和/或模型点的密度、测量点和/或模型点相对于感兴趣区域的分布、与测量点和/或模型点相关联的测量误差以及与测量点和/或模型点相关联的患者解剖结构的变形。在至少一些情况下，为了便于提高配准质量，向用户通知测量点收集完成是基于上述因素中的至少一个。

图7示出了根据一些实施例的操作远程操作医疗系统100的至少一部分的方法700，用于在外科手术环境中将模型空间(例如模型600)配准到患者空间(例如患者P的解剖结构)。图8、9、10、11A、11B、13和14示出了显示系统110，显示系统110在显示系统内包括的用户界面111中显示用于在模型空间和患者空间之间进行配准过程的一组图形信息，这将在本文中进一步描述。方法700被示为一组操作或过程。方法700便于在外科手术环境中将解剖模型600配准到患者P的解剖结构。具体而言，操作员O能够在患者P的解剖结构中推进细长装置310(也称为细长装置310)，以执行初步配准和全面配准。如将要描述的，可在初步配准期间和器械勘测期间提供操作员引导，以收集用于全面配准的测量点。这种用户引导可提高配准过程的效率和准确性。

并非所有示出的过程均可在方法700的所有实施例中执行。此外，图7中未明确示出的一个或多个过程可被包括在过程之前、之后、之间或作为过程的一部分。在一些实施例中，过程中的一个或多个可至少部分地以存储在非暂时性、有形、机器可读介质上的可执行代码的形式来实施，当由一个或多个处理器(例如，控制系统的处理器)运行时，该可执行代码可使得一个或多个处理器执行过程中的一个或多个。在一个或多个实施例中，该过程可由控制系统(例如，控制系统112)执行。

为了引导配准方法700，可在用户界面111中显示一组图形信息800，如图8所示。该组图形信息800可包括引导信息802，该引导信息802可包括来自模型600的信息和/或来自医疗器械(诸如细长装置310)的信息。该组图形信息800还可包括操作员指令804，该操作员指令804可包括文本或图示，以指示用户关于注册过程的步骤，传递操作员命令，或者提供关于操作员动作的操作员反馈。该组图形信息800还可包括图像数据806，诸如从细长装置310中的成像装置(例如，立体相机)生成的实时图像数据。该组图形信息800还可包括操作员输入部分808，其可为例如触摸响应按钮，该触摸响应按钮允许操作员指示确认、启动过程、停止过程或向控制系统112提供其他命令。另选地，用户输入可通过各种外围装置中的任何一种提供，包括轨迹球、手控制器、语音控制器、眼睛跟踪系统或其他操作员手势识别装置。在各种实施例中，在方法700的一些过程中，可抑制信息802-808中的任何一个可被抑制或者以其他方式不显示在用户界面上。

方法700包括过程702，在该过程中，解剖模型(例如模型600)可从与控制系统112相关联的计算机存储器中访问，或者可由控制系统112生成。任选地，模型600的部分可显示为引导信息802，如将要描述的。

在任选过程704，显示操作员指令804，指示操作员例如将医疗器械递送到患者P的解剖结构内的解剖界标，以启动配准过程。在该方法的本实施例中，医疗器械可对应于细长装置310，但在其他实施例中，该方法可使用另一类型的医疗器械104来执行。细长装置310可携带成像装置(例如，成像探头的立体相机)，用于生成患者解剖结构的实时内窥镜图像数据。在一些实施例中，可按声音警报、振动警报或任何其他类型的通知的形式向操作员发出指示，该通知向操作员指示控制系统112正在等待将细长装置310递送到解剖界标以启动配准过程。

在一些实施例中，解剖界标可为气管隆凸处的分支点A，在此处气管分为左主支气管和右主支气管。尽管方法700将参考分支点A的已知解剖界标，但在其他实施例中，可指示操作员将医疗器械递送到其他解剖界标。

参考图9，在一些实施例中，医疗器械向分支点A处的解剖界标的递送可由感测信息810的显示来引导。感测信息810可包括例如从医疗器械的插入传感器、位置传感器、形状传感器或荧光图像接收的关于医疗器械的插入深度、位置、取向或形状的信息。感测信息810可与已知的一般解剖信息或来自患者模型600的信息结合使用，诸如包括气道长度、直径和角度取向的解剖尺寸。

参考图10，在一些实施例中，可通过图像数据806的显示来引导医疗器械向分支点A处解剖界标的递送。图像数据806可为从细长装置310中的成像装置(例如，立体相机)生成的实时图像数据。分支点A处的解剖界标可具有独特的特征，诸如形状、尺寸和颜色，这些特征可被呈现在用户界面111上的图像数据806的观看者识别。当与分支点A处的解剖界标相关联的独特特征在图像数据806中变得可见时，操作员可识别到医疗器械的远端已被递送到分支点A。

参考图11A和11B，在一些实施例中，可通过显示图像数据806以及从模型600生成的分支点A处的解剖界标的虚拟视图图像的形式的引导信息802来引导医疗器械向分支点A处的解剖界标的递送。来自模型600的分支点A的图像可由例如用户或控制系统112基于与分支点A相关联的识别标准以及图形分析和识别技术的使用来选择。从虚拟内窥镜视角生成解剖界标分支点A的虚拟视图形式的引导信息802。虚拟视图形式的引导信息802可具有与模型600相关联的坐标参考系X1、Y1、Z1。图像数据806可为从细长装置310中的成像装置(例如，立体相机)生成的实况或实时视图。实时视图形式的图像数据806可具有与细长装置310的远端相关联的坐标参考系X2、Y2、Z2。使用从模型600生成的分支点A的虚拟视图形式的引导信息802，细长装置310可插入、缩回、旋转、枢转，或者以其他方式移动，直到图像数据806与来自模型600的虚拟视图形式的引导信息802的位置和取向对准或匹配。细长装置310的移动可由操作员手动或远程操作控制，或者可通过控制系统112的匹配操作来控制。如图11A所示，来自细长装置310的图像数据806可按虚拟视图的形式在引导信息802中以不同于分支点A的旋转角度示出更远的分支点A。如图11B所示，细长装置310可旋转并前进到气道中，直到图像数据806与虚拟视图802紧密匹配，如通过操作员观察或通过使用图形分析和识别技术的控制系统112的匹配操作所确定的。在替代实施例中，可调整虚拟视图形式的引导信息802以匹配图像数据806。在替代实施例中，虚拟视图和实时视图可相互叠加以便于匹配。

在过程706，在控制系统112处接收到细长装置310已被递送到分支点A处的已知解剖界标附近的位置的指示。接收到的指示可触发控制系统112对模型600的坐标系X1、Y1、Z1和细长装置310远端的坐标系X2、Y2、Z2进行粗略或初步配准，和/或触发测量点收集过程。在一些实施例中，可从操作员接收指示。例如，操作员可通过选择显示在用户界面111上的操作员输入部分808“开始测量点收集？”来提供指示。在一些实施例中，操作员可通过任何方法(包括说出命令、输入代码、执行手势或便于如本文所描述的远程操作医疗系统100的操作的任何其他方法)指示远侧尖端318已被递送到已知解剖界标附近。在一些实施例中，可通过使用图形分析和识别技术的控制系统112的匹配操作来确定细长装置已被递送到已知解剖界标的指示，而无需进一步的用户输入。在这点上，可基于从细长装置310的成像装置接收的图像数据来执行视觉识别。视觉识别可例如通过控制系统112识别图像数据中的已知解剖界标并自动生成细长装置已被递送到已知解剖界标的指示来执行。在一些实施例中，从细长装置310接收细长装置310已被递送到患者P的解剖结构内的已知解剖界标的指示，并且不需要用户输入来进行过程中的下一步骤。例如，根据指示细长装置310的插入深度的插入信息确定。例如，插入信息可由跟踪系统230从细长装置310中或操纵器组件102上的插入传感器来确定。附加地或另选地，插入信息可从细长装置310中的位置和/或形状传感器确定。在附加实施例中，在已知解剖界标P附近的细长装置310的递送的通知可通过便于如本文所描述的远程操作系统100的操作的任何方法来接收。

在过程708，参考图12，当器械勘测或横穿通过患者P的解剖结构的测量路径时，细长装置310可用作收集多个测量点812的点收集装置。测量点812可利用与细长装置310的远端相关联的坐标参考系X2、Y2、Z2中的位置数据来识别。在一些附加实施例中，细长装置310包括形状传感器，并且当细长装置通过询问形状传感器的形状来勘测患者P的解剖结构时，收集多个测量点812，如本文所述。在附加或替代实施例中，多个测量点812可使用成像探头、EM传感器和/或联接到细长装置310的任何其他传感器中的至少一个来收集。过程708可响应于细长装置310已被递送到已知解剖界标的指示而自动启动。

此外，对于每个测量点812，可更新或细化从过程706计算的初步配准。或者另选地，在收集多个测量点812之后，在将细长装置310插入预定距离之后，或者在将细长装置310驱动到患者P的解剖结构的预定解剖区域中之后，可更新初步配准。

在过程710，相对于患者P的解剖结构确定细长装置310的位置信息。例如，参考图13，位置信息820可根据指示细长装置310的插入深度的插入信息822确定。例如，插入信息822可根据细长装置310或操纵器组件102上的插入传感器确定。附加地或另选地，插入信息822可根据细长装置310中的位置和/或形状传感器确定。在一些实施例中，插入深度可相对于已知解剖界标(诸如肺的主隆凸处的分支点A)测量。

位置信息820还可包括解剖区域信息825。在本实施例中，解剖区域信息825可指示其中细长装置310已收集测量点812的肺叶。在本实施例中，解剖区域信息825可包括与模型600相关联的解剖模型图827或者与人类肺中的气道通道的一般化图相关联的解剖模型图827。解剖模型图827可包括对应于右上叶区域的第一区域L1、对应于右下叶区域的第二区域L2、对应于左上叶区域的第三区域L3以及对应于左下叶区域的第四区域L4。在其他实施例中，更少或更多区域可与患者解剖结构相关联。在本实施例中，位置信息820可显示在用户界面111上。在替代实施例中，位置信息820中的一些或全部可用于由控制系统112进行确定，而无需显示在用户界面111上。

基于插入信息822，可确定在过程706结束时生成的初步配准，以及任选地，来自细长装置310、细长装置310或细长装置310的远端部分所处的区域L1-L4的位置或形状传感器数据。可继续勘测细长装置310所处的区域，直到达到收集阈值。在一些实施例中，收集阈值可对应于深度阈值。深度阈值可为细长装置310在指示器械已穿过足够的插入距离进入该区域的区域中的预定最小测量插入深度。在其他实施例中，收集阈值可对应于数量阈值。数量阈值可以是为区域收集的测量点812的预定最小数量。在其他实施例中，收集阈值可对应于时间阈值。时间阈值可对应于器械310已在患者P的解剖结构内的区域中沿测量路径行进的时间量。在一些附加实施例中，区域的多个测量点812的收集的完成可通过便于如本文所描述的远程操作医疗系统100的操作的任何方法来确定。

当已达到该区域的收集阈值时，控制系统112可提示操作员勘测不同区域。可针对多个区域重复收集测量点和确定医疗器械的位置信息的过程708和710。

例如，插入信息822和初步配准可指示细长装置310的远端位于对应于患者肺右上叶的区域L1中。测量点812的收集可随着细长装置310插入和离开L1区域的一个或多个通道而在区域L1继续进行，直到达到收集阈值，该阈值指示医疗器械已插入足够的深度或者指示已在区域L1收集足够数量的测量点812。

在任选过程712，在已达到收集阈值后，可提供通知来警告操作员已达到该区域的收集阈值。根据通知或进一步指示，操作员可开始勘测另一个区域。给操作员的通知可按操作员指令804中的文本通知的形式提供。附加地或另选地，可通过改变解剖区域信息825中完成区域的外观(例如，颜色或纹理)以图形方式向操作员提供通知。例如，如图13A所示，区域L1可被阴影化，以指示对于区域L1已达到收集阈值。这种阴影化可以提示操作员开始在另一个区域(诸如区域L2)勘测和收集测量点。在各种实施例中，操作员指令804还可或另选地提供关于测量点集合的状态的通知826。在各种实施例中，操作员指令804还可包括显示框828中朝向完成多个测量进展的收集的进展的视觉表示。测量进展显示框828是收集测量点812的过程完成百分比的视觉表示，范围从0％(例如，在过程706开始时)到100％(例如，在过程708的最终迭代完成时)。在一些附加实施例中，其他类型的视觉表示、听觉表示或其他表示可被配置为传达朝向完成多个测量点812的收集的进展。

在过程714并参考图14，当已勘测所有区域或预定足够数量的区域时，所收集的多个测量点812被配准到患者p的解剖结构的模型600。用于将多个测量点812配准到模型600的模型空间的过程可包括全局配准、局部配准和/或其组合中的至少一个。例如，收集的多个测量点812可使用多个过程与模型600的模型空间配准，包括使用刚性和/或非刚性变换、点集配准方法(例如，迭代闭合点(ICP)技术)或本公开范围内的任何其他数量的配准过程。如图14所示，引导信息802可被更新以示出与细长装置310的图像配准的模型600。

本发明实施例中的一个或多个元件可在软件中实施，以便在计算机系统(诸如控制处理系统)的处理器上执行。当在软件中实施时，本发明实施例的元件基本上是执行必要任务的代码段。程序或代码段可存储在处理器可读存储介质或装置中，该存储介质或装置可通过传输介质或通信链路上的载波中包含的计算机数据信号来下载。处理器可读存储装置可包括能够存储信息的任何介质，包括光学介质、半导体介质和磁性介质。处理器可读存储装置示例包括电子电路；半导体装置、半导体存储器装置、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)；软盘、CD-ROM、光盘、硬盘或其他存储装置。代码段可经由计算机网络(诸如互联网、内联网等)下载。可采用各种集中式或分布式数据处理架构中的任何一种。编程指令可作为多个单独的程序或子程序来实施，或者它们可集成到本文所描述的系统的多个其他方面中。在一个实施例中，控制系统支持无线通信协议，诸如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT和无线遥测。

可通过本文公开的柔性细长装置或导管递送的医疗工具可包括例如图像捕获探头、活检器械、激光消融纤维和/或其他外科、诊断或治疗工具。医疗工具可包括具有单个工作构件(诸如手术刀、钝刀片、光纤、电极等)的末端执行器。其他末端执行器可包括例如镊子、抓取器、剪刀、夹持器等。其他末端执行器还可包括电激活末端执行器，例如电外科电极、换能器、传感器等。医疗工具可包括图像捕获探头，该图像捕获探头包括用于捕获图像(包括视频图像)的立体或单视场相机。医疗工具可另外容纳在其近端和远端之间延伸的电缆、连杆或其他致动控制装置(未示出)，以可控地弯曲器械的远端。可转向器械在美国专利第7,316,681号(于2005年10月4日提交)(公开了“用于执行具有增强的灵巧性和灵敏度的微创外科手术的关节式外科器械”)和美国专利申请第12/286,644号(于2008年9月30日提交)(公开了“用于外科器械的被动预载和绞盘驱动”)中有详细描述，这两个专利申请的全部内容通过引用并入本文。

本文所描述的系统还可适合于经由自然或外科手术创建的连接通道，在包括肺、结肠、肠、肾脏和肾盏、大脑、心脏、包括脉管系统的循环系统等的各种解剖系统中的任何一种中导航和治疗解剖组织。

注意，呈现的过程和显示可能并不固有地与任何特定的计算机或其他设备相关。根据本文的教导，各种通用系统可与程序一起使用，或者可证明构建更专用的设备来执行所描述的操作是方便的。各种此类系统所需的结构将作为元件出现在权利要求中。此外，本发明的实施例不参考任何特定编程语言来描述。应当理解，可使用各种编程语言来实施如本文所描述的本发明的教导。

在一些实例中，未详细描述众所周知的方法、程序、部件和电路，以免不必要地模糊实施例的各个方面。本公开根据器械在三维空间中的状态描述了各种器械和器械的部分。如本文所用，术语“位置”指三维空间中物体或物体的一部分的位置(例如，沿笛卡尔x、y和z坐标的三个平移自由度)。如本文所用，术语“取向”指物体或物体的一部分的旋转放置(三个旋转自由度——例如，滚动、俯仰和偏航)。如本文所用，术语“姿势”是指物体或物体的一部分在至少一个平移自由度中的位置，以及该物体或物体的一部分在至少一个旋转自由度上(最多六个总自由度)的取向。如本文所用，术语“形状”指沿物体测量的一组姿势、位置或取向。

尽管本发明的某些示例性实施例已在附图中描述和示出，但是应当理解，这些实施例仅仅是对广义发明的说明，而不是对广义发明的限制，并且本发明的实施例不限于所示出和描述的特定构造和布置，因为本领域的普通技术人员可想到各种其他修改。