使用传感器融合的手术工具导航的制作方法

1.本公开涉及导管和工具的导航领域，所述导管和工具在其中采用一个或多个传感器以改进导航结果且在患者体内提供更大的位置特异性。


背景技术：

2.有关内部身体结构的手术工具位置的知识对于成功完成微创诊断和手术程序来说很重要。气管镜是最简单的导航形式，其中相机放置在导管的远侧尖端并用于查看患者的身体结构。通常，临床医生使用他们的解剖学知识来辨识气管镜的当前位置。在复杂的解剖学结构附近，临床医生可能会尝试将从计算机断层扫描(ct)、磁共振成像(mri)、正电子发射断层扫描(pet)或超声扫描导出的术前患者图像与从相同成像技术导出的当前图像进行比较。另外，存在能够使用图像处理技术来辨识远侧尖端的当前位置的系统。这些系统可以减少临床医生在导航期间的工作量，但是由于缺乏诸如患者身体的朝向和相机的朝向之类的信息，因此只能获得混合的结果。
3.电磁(em)导航是另一更复杂的系统，其利用附连到工具远侧尖端的小传感器来产生导航导管。当导航导管移动通过患者时，检测并跟踪em传感器在患者身体周围的电磁场内的位置。
4.为了辅助em导航且实现内窥镜检查，更确切地说，实现肺中的气管镜检查方法，已开发了支气管内导航系统，其使用先前获取的mri数据或ct图像数据来产生特定身体部分(例如肺)的三维(3d)渲染、模型或体积。然后，利用从mri扫描或ct扫描产生的所得体积来创建导航计划，以便于导航导管(或其它合适的医疗装置)通过支气管镜和患者的支气管的分支前进到感兴趣的区域。在将患者配准到导航规划之后，定位或跟踪系统(例如，em跟踪系统)可结合导航规划而利用以促进将导航导管通过支气管的分支引导到感兴趣的区域。在某些情况下，导航导管可邻近于感兴趣的区域或在感兴趣的区域内定位在气道中的一个内以提供对例如活检针、消融装置等一个或多个医疗器械的接入。
5.尽管这些系统已被证明是成功的，并且确实改变了肺活检和治疗的实践标准，但始终需要改进。


技术实现要素：

6.本公开的一个方面涉及一种用于管腔网络的导航的系统，其包含：导航导管，所述导航导管包含护套、光学传感器和惯性测量单元(imu)；计算机，其包含计算机可读记录介质，所述计算机可读记录介质上存储有应用程序，所述应用程序在由处理器执行时执行以下步骤：经由所述光学传感器捕获图像；将捕获的图像与存储在所述计算机可读记录介质中并且可由所述应用程序访问的术前图像进行比较；在所述捕获的图像中识别与所述术前图像中的基准点相对应的基准点；接收代表所述imu的加速度和速度的信号；以及描绘包含从所述术前图像导出的三维(3d)模型或二维(2d)图像的用户界面上的所述导管的位置。
7.本公开的此方面的实现可以包含一个或多个以下特征。在所述系统中，所述处理
器执行基于所述imu的所接收信号而更新所述导管在所述3d模型或2d图像中的所描绘位置的步骤。在所述系统中，所述导管包含形状传感器，所述形状传感器可为光纤
‑
布拉格光栅。所描述的技术的实现可包含硬件、方法或过程，或计算机可访问介质上的计算机软件，包含安装在系统上的软件、固件、硬件或它们的组合，所述软件、固件、硬件或它们的组合在操作中使系统执行动作。一个或多个计算机程序可以被配置为通过包含指令来执行特定的操作或动作，当数据处理设备执行所述指令时，使所述设备执行所述动作。
8.本公开的另一方面涉及一种导航导管，其包含：外部护套；光学传感器，其用于捕获其中放置有所述护套的管腔网络的图像；以及惯性监测单元(imu)，其形成在所述外部护套的远侧部分中，其中所述imu被配置成输出一个或多个信号，所述信号表示所述外部护套的所述远侧部分在所述管腔网络中移动时的速度和加速度。
9.本公开的此方面的实现可以包含一个或多个以下特征。所述导航导管进一步包含被配置成接收一个或多个工具的工作通道。在所述导航导管中，所述工具是活检针或消融装置。所述导航导管进一步包含形状传感器。在所述导航导管中，所述形状传感器是光纤
‑
布拉格光栅。在所述导航导管中，所述形状传感器与所述光学传感器进行通信。
10.本公开的又一方面涉及一种在管腔网络中导航导管的方法，其包含：经由光学传感器捕获图像；将捕获的图像与术前图像进行比较。所述导航方法还包含在所述捕获的图像中识别与所述术前图像中的基准点相对应的基准点。所述导航方法进一步包含描绘所述导管在从所述术前图像导出的三维(3d)模型或二维(2d)图像中的位置。所述导航方法进一步包含经由惯性测量单元(imu)检测所述导管的远侧部分的移动，以及基于检测到的移动而更新所述导管在所述3d模型或2d图像中的所述位置。此方面的其它实施例包括对应的计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序，每个计算机存储装置被配置为执行本文描述的方法和系统的动作。
11.本公开的此方面的实现可以包含一个或多个以下特征。所述方法进一步包含由惯性测量单元(imu)检测重力向量。所述方法进一步包含确定所述导管的朝向。所述方法进一步包含检测所述imu的速度和加速度。所述方法进一步包含确定由通气或心跳引起的移动。所述方法进一步包含在用户界面上显示通气率或心跳的表示。所述方法进一步包含解谐所述用户界面的所述更新以从导管的所描绘位置消除由通气或心跳引起的所确定的移动。在所述方法中，所述导管包含形状传感器，并且描绘所述导管的所述位置是部分地基于所述传感器的所述形状与所述3d模型中的形状的匹配。所描述的技术的实现可包含硬件、方法或过程，或计算机可访问介质上的计算机软件，包含安装在系统上的软件、固件、硬件或它们的组合，所述软件、固件、硬件或它们的组合在操作中使系统执行动作。一个或多个计算机程序可以被配置为通过包含指令来执行特定的操作或动作，当数据处理设备执行所述指令时，使所述设备执行所述动作。
附图说明
12.在附图中绘示了各种示例性实施例。应当理解，为了图示的简单和清楚，在下面参考的附图中示出的元件不必按比例绘制。而且，在认为适当的情况下，可以在附图中重复附图标记以指示相同的、对应或类似的元件。附图列举如下。
13.图1是根据本公开的系统的示意性图示；
14.图2是根据本公开的导管的远侧部分的示意性图示；
15.图3是详述根据本公开的方法的流程图；
16.图4是详述根据本公开的另一方法的流程图；
17.图5是根据本公开的用户界面的图示；以及
18.图6是根据本公开的另一用户界面的图示。
具体实施方式
19.本公开涉及一种用于管腔网络(诸如肺的气道)的导航的系统和方法。在本公开的一个方面中，导管包含产生图像(例如，气管镜)的光学传感器和一个或多个额外传感器。这些额外传感器可为形状传感器(例如光纤
‑
布拉格光栅)或惯性测量单元(imu)。通过组合使用这些额外传感器，可以在不需要em传感器系统和em场产生器的情况下进行管腔网络的光学传感器导航。本公开进一步涉及多种成像技术，其与术前成像和路径规划结合使用或作为术前路径规划的替代方案使用。
20.光纤
‑
布拉格光栅是利用光纤的一种类型的传感器，所述光纤包含在光纤上形成的光栅结构。通过分析穿过光纤的光的反射图案，可以确定施加在光纤上的应变。利用检测到的应变，可以确定其中并入有光纤的主体的形状。因此，当操纵具有光纤
‑
布拉格光栅光纤的导管时，可以感测到导管的形状并将其显示在用户界面上。在无法看见导管的许多应用中(例如，肺部导航)，检测到的形状可用于通过将传感器的形状与管腔结构的三维模型的形状进行比较来确定导管在管腔结构中的位置。
21.imu是另一类型的传感器，且通常包含一个或多个加速计以及一个或多个陀螺仪。另外，imu可包含磁力计、压力传感器和其它类型的传感器中的一个或多个。imu提供x、y和z方向上的个别速度和加速度测量结果，以及绕x、y和z轴滚动。使用三角运算，可以将这些测量结果转换为展示imu的移动方式的方向向量。组合两个向量使得可计算出行进距离。尽管需要始终补偿重力的影响，但重力向量可用于识别传感器的朝向。
22.imu的常见应用是在电话或车辆导航系统中。例如，即使当车辆在隧道中或者以其它方式被阻止从gps接收器获取信号时，imu也允许全球定位卫星(gps)系统继续运行。imu基于imu的感测到的速度和加速度而向车辆导航系统提供位置更新，直到重新获取gps信号为止。
23.imu的另一应用是直接测量距离。通过识别起点并感测到第二点的加速度和角度变化，imu，且更确切地说在测量装置上运行的应用程序(可能是相机应用程序)可以确定两个点之间的距离。对于这些应用中的一些，imu可被配置为经测量大小仅为2mm
×
2mm且厚度小于1mm的小型微芯片。如将了解，如此小的尺寸使得imu在根据本公开的医疗导航应用中非常有用。然而，在不脱离本公开的范围的情况下，可以采用其它大小的装置。
24.光学传感器可为例如电荷耦合装置(ccd)或互补金属氧化物半导体(cmos)装置。这些装置可为模拟或数字的，并且能够捕获光和其它形式的电磁辐射并将其转换为可转换成图像的电信号。另外或替代地，光学传感器可以采用一个或多个光纤或光管，从而实现光穿行进入或离开光学传感器所位于的装置。实际上，尽管通常被描绘为位于导管的远端，但是本公开不限于此，并且光学传感器可以位于更近侧。例如，光学传感器也可从远侧尖端向后偏移，以允许在捕获的图像内观察远侧尖端本身。这允许对工具的部署进行成像和查看，
或者验证远侧尖端铰接。另外，此类布置可补偿不能容纳光学传感器和工作通道的减小的远侧尖端直径。此外，光学传感器可连接至一个或多个光纤，以获取或透射各种波长的光或电磁辐射以供照明并以供成像。此外，可以采用一个或多个滤光器来改进或改变所获取的光，并以此改进由光学传感器捕获的图像的分辨率。
25.图1是根据本公开的示范性系统100的透视图。系统100包含其上放置患者p的台102。将导管104插入患者内的开口中。开口可为天然开口，例如嘴或鼻子。替代地，开口可形成在患者内，例如手术端口。导管104可为包含一个或多个光学传感器的气管镜，所述光学传感器用于在导管104被导航到患者p中时捕获实时图像和视频。出于诊断或治疗目的，例如活检针、消融针、夹具或其它工具之类的一个或多个工具106可被插入到导管104中。当导管104在患者p内被导航时，监测器108可用于显示由导管上的光学传感器捕获的图像。
26.系统100包含定位模块110，所述定位模块从导管104接收信号并处理所述信号以产生可用数据，如下文更详细描述。包含显示器114的计算机112从定位模块110接收可用数据，并将所述数据合并到在计算机112上运行的一个或多个应用程序中以产生呈现在显示器114上的一个或多个用户界面。定位模块110和监测器108两者均可合并到在计算机112上运行的应用程序和经由显示器114上的用户界面呈现的图像中，或者由所述应用程序和所述图像替换。在图1中还示出了荧光镜116，其可在如下文更详细描述的一个或多个方法中采用，以从2d荧光透视图像构造靶标区域的基于荧光透视的三维体积数据。如将了解，计算机112包含计算机可读记录介质，例如用于存储图像数据的存储器和可由根据本公开的处理器执行以执行本文所描述方法的一些或全部步骤的应用程序。
27.图2描绘了与可与导管104结合使用的传感器有关的本公开的另一方面。在图2中，描绘了导管104的远侧部分。导管104包含外部护套201。导管104的远侧部分中可包含多种传感器，包含imu 202、形状传感器204和光学传感器206(例如，相机)。在额外的超声传感器中，可以采用诸如支气管内超声(ebus)或放射状支气管内超声(rebus)。在一个实施例中，可将一个或多个ebus或rebus传感器210放置成接近导管104的远侧部分。在一个实施例中，它们被放置在导管104的远侧面中。尽管图2描绘了安装在导管104中的所有三个这些传感器，但是根据本公开，并非所有三个传感器都是必需的。图2中还展示了工作通道208，一个或多个工具106可以通过所述通道以根据诊断和治疗的需要来获取活检、执行消融或执行另一医疗功能。如图2中所展示，可为上文描述的光纤(例如光纤
‑
布拉格光栅)的形状传感器204可与光学传感器206连接并集成到所述光学传感器中，使得携载由光学传感器206捕获的光的相同光纤也用于形状感测。如所属领域的一般技术人员所知，形成形状传感器204的光纤可为单芯或多芯光纤。
28.在所属领域中已知多种路径规划应用，其用于在术前规划通过诸如肺或血管系统之类的管腔网络的路径。通常，将术前图像数据集(诸如从ct扫描或mri扫描获取的)呈现给用户。靶标识别可为自动的、半自动的或手动的，并且允许确定通过患者p的气道到达位于靶标处和周围的组织的路径。在一个变化形式中，用户滚动浏览图像数据集，所述图像数据集被呈现为从ct扫描输出的3d图像数据集的一系列切片。通过滚动浏览图像，用户手动识别图像数据集中的靶标。通常沿着患者的三个轴(例如，轴向、矢状和冠状)呈现3d图像数据集的切片，从而允许在三个单独的2d图像中同时查看3d图像数据集的相同部分。
29.另外，3d图像数据集(例如，从ct扫描中获取的)可经处理并组装到三维ct体积中，
其接着用于通过各种分割和其它图像处理技术来产生患者p的气道的3d模型。2d切片图像和3d模型两者均可显示在与计算机112相关联的显示器114上。使用计算机112，可以产生并呈现3d或增强的2d图像的各种视图。增强的二维图像可具有某些三维能力，因为其是从3d图像数据集生产生的。可以从外部透视图、内部“穿过”视图或其它视图向用户呈现3d模型。在识别靶标之后，应用程序可以自动产生通往靶标的路径。在肺部导航的示例中，所述路径可以例如从靶标延伸至气管。所述应用程序可以自动识别距靶标最近的气道并产生路径，或者所述应用程序可以要求用户识别其中开始产生至气管的路径的最近或期望的近侧气道。一经选择，就可以将路径规划、三维模型和3d图像数据集以及从其导出的任何图像保存到计算机112上的存储器中，并可在手术期间与导管104结合使用，所述手术可紧接在规划之后发生或在稍后日期发生。
30.再者，在不脱离本公开的范围的情况下，用户可以利用在计算机112上运行的应用程序来查看术前3d图像数据集或从其导出的3d模型，以识别术前图像或模型中的基准点。基准点是易于识别且易于与相关特征区分开的患者生理的要素，并且是在手术期间查看由光学传感器206产生的图像时临床医生通常也可以识别的类型。如将了解，这些基准点应沿着通过气道到达靶标的路径而放置。在开始手术之前，可以在计算机112上查看所标识的基准点、靶标标识和/或路径。
31.尽管在本文中一般描述为在手术前形成的，但是3d模型、3d图像数据集和2d图像也可以在手术期间实时地获取。例如，可以在不脱离本公开的范围的情况下，通过锥形光束计算机断层扫描装置或者通过重建从荧光镜获取的2d图像来获取这样的图像。
32.在本公开的另一方面，基准点可以由在计算机112上运行的应用程序自动识别。可以基于所确定的到达靶标的路径来选择基准点。例如，基准点可为沿路径经历的气道的分支。
33.本公开的另一方面涉及上文简要描述的线性ebus和rebus超声传感器210的使用。根据本公开的超声方面，可以将线性ebus传感器放置在导管104的远侧面中。结果是当导管104朝向靶标导航时可以获取前视超声图像。另外或替代地，超声传感器210是rebus传感器，可以对导管104的远侧部分的360度周围视图进行成像。无论是rebus还是ebus，传感器210都可以像光学传感器一样用于识别基准点。此外，可以将由超声传感器210产生的图像与从术前ct或mri图像产生的虚拟超声图像进行比较，以在向靶标导航的同时辅助确认超声传感器210(以及与其一起的导管104)的位置。
34.关于图3，现在描述了一种方法300，所述方法用于使用导管104对患者进行术前3d图像数据和从其导出的3d模型的配准。在步骤302处，在计算机112的存储器中识别针对特定患者的路径规划，并在一个或多个用户界面中将其呈现在显示器114上。在步骤304处，如图1中所描绘，将包含光学传感器206的导管104插入患者p中，并开始导航。在插入导管104之前或之后立即开始成像。在步骤306处，由光学传感器206连续捕获图像(例如，视频)。在导航期间，在计算机112上运行的应用程序连续地将由光学传感器206捕获的图像与从3d图像数据集导出的3d模型和2d图像进行比较。比较图像以识别由光学传感器206捕获的图像中的基准点，所述基准点是先前识别的3d图像数据集。
35.在接近如上所描述的在术前规划期间识别的基准点(例如主隆凸、分叉或其它可见特征)时，在步骤308处，将由光学传感器206捕获的图像与从气道的3d图像数据集中导出
的3d模型和2d图像进行比较。此比较可为自动的，其中在计算机112上运行的应用程序产生用户界面，其中在步骤310处，在显示器114上的用户界面中呈现来自光学传感器206的图像或从3d模型产生的图像中的一个或两个。
36.作为此比较的部分，可以基于光学传感器206的有限焦距，对光学传感器206与基准点之间的距离以及因此导管104与基准点之间的距离进行粗略的测量。可以用锐化滤波器对图像进行滤波，并且在通过锐化滤波器之前和之后的图像的比率给出了从焦点到基准点的距离的估计。图像中基准点的大小限定了基准点与传感器206的距离。如果物体离相机更近，则基准点会呈现(更大)或更远(更小)。以此方式，应用程序可识别来自光学传感器206的图像中以及在3d模型或3d图像数据集中的图像两者中的基准点，并大致确定导管104与所述基准点的距离，使得来自3d图像数据集的3d模型或2d图像的所显示图像可更新为基本对应于来自光学传感器206的图像。
37.在一个替代方案中，应用程序可以请求用户在用户界面中确认在从3d图像数据集导出的3d模型或2d图像中找到的经识别基准点与在由光学传感器捕获的图像中看到的基准点确实相对应。替代地，用户界面可以呈现来自光学传感器206的图像，并且使用户能够导航通过3d模型到点，在所述点处，从3d模型导出的图像基本上对应于来自光学传感器的图像。
38.无论采用哪种替代方案，步骤310的结果都是应用程序在用户界面上显示视图，在所述视图中导管104和光学传感器206在从3d数据集中导出的3d模型或2d图像中的位置。如上文所描述，此位置是基于对来自光学传感器206的图像中的基准点的识别。
39.在步骤312处，一旦在来自光学传感器206的图像中的基准点集与3d模型或3d图像数据集中的那些基准点之间进行匹配，就可以基于由imu 202输出的重力向量来确定患者的身体朝向。虽然患者通常是躺着的，但情况并非总是如此，但是无论如何重力向量一般都会朝向手术台102。一旦检测到这种情况，应用程序就可以调整从3d图像数据集导出的3d模型和2d图像的呈现方式以适应重力向量的确定，并完成了配准过程。用户界面参考从3d图像数据集导出的3d模型或2d图像而呈现对患者中导管104的位置的准确指示。
40.在本公开的另一方面，在配准之后，可以在从光学传感器206捕获的图像上的用户界面中呈现可以作为待导航到靶标的路径或条带而呈现的路径规划。因此，一旦配准，用户就可以简单地遵循路径，因为其呈现于来自光学传感器206的实时图像中以导航到靶标。
41.此外，结合开发具有如上所述术前成像和3d模型的导管104在身体中的位置的路径规划和配准，从imu 202接收的信号可由计算机112和在其上运行的应用程序处理以在用户界面中呈现对准和轨迹信息。此对准和轨迹信息可以与术前图像中识别的到达靶标的路径一起显示。由于可从imu 202获得重力向量测量结果，因此可以在路径规划程序中设计特定的路径方法，所述方法允许靶标从前部或后部进入任何给定靶标的靶标接入。
42.在配准之后，到达靶标的导航开始于步骤314。由imu 202捕获的测量结果的顺序变化指示了imu 202及其导管104的位置变化。这些位置的变化可以呈现在显示器112的用户界面上，使得imu 202在导管104在患者体内导航时提供对所述导管的跟踪。imu 202通常足够灵敏以不仅能检测导管104的前进和旋转，而且还能检测由呼吸和心跳引起的非自主运动。在一个实施例中，通过imu 202检测到的移动方向与来自光学传感器206的图像的变化的比较而确定运动的类型。随着导管104的前进，在由光学传感器206产生的图像中，物体
的大小通常将具有相称的变化，可以将这些变化进行比较以确认导管104的前进或后退。导管104的旋转通常会导致由光学传感器206产生的连续图像的朝向改变，但是来自imu 202的检测到的运动几乎没有改变或没有改变。相反，尽管imu 202检测到运动，但是由呼吸和心脏引起的患者运动通常在视觉上几乎没有改变或没有改变。
43.在手术期间，分离运动的原因和感知其它生理数据的能力可对用户有用。例如，使用上述方法，可以检测到由心脏跳动引起的运动。尽管由此心跳引起的运动可能是希望从光学传感器206的显示图像中以及从3d模型中的位置变化中去除的东西，但是仍然可以在不需要额外传感器的情况下执行心率的记录。此外，还可以检测到由更多局部动脉脉冲引起的导管104的额外移动，以提供对与可以避免或作为预期靶标的某些关键结构(例如大动脉或静脉)接近或接触的指示。
44.同样，可以跟踪由通气引起的移动。另外，尽管此移动可能是从光学传感器206的显示图像中去除的东西，但是可以监测此数据以确认患者的状态。通过监测此运动，可以做出对在通气期间的任何特定时间时导管104的远侧部分在身体中的位置的预测。因为在将探针或活检针实际上插入到肿瘤或病灶中对于将活检体收集或将消融探针插入肿瘤中来说很重要，所以监测由通气引起的导管104的位置变化可以提供成功插入活检针或消融工具所需的以及在导管104的工作通道确实面向靶标时所需的时间(例如，在循环中)的准确指示，以便可以实现成功活检或消融探针的放置。因此，在接近在术前图像中识别的靶标的导航(例如，在2至3cm内)之后，可以在步骤316处通过工作通道208来部署活检针或消融工具以对靶标进行活检或治疗。
45.此外，与导管104，特别是imu 202的移动有关的此数据可以显示在显示器114上的用户界面中，以向用户提供心跳和通气率的指示。再者，在通气率相对恒定的情况下，此数据可用于提供何时应进行治疗装置进入肿瘤的活检或插入的指示。实际上，由热跳动引起的移动是快速的，但是很小，并且可以由imu 202准确地测量到。相反，由通气引起的移动较大且持续时间较长。通过收集与由这两个生理功能引起的移动有关的数据，可以产生时序图并将其显示在显示器114上的用户界面中。所述时序图可以主要与通气率相关联，并且特别是在呼气结束或吸气结束的某个范围内。在一个实施例中，当确定imu 202的移动指示吸气正完成或已完成的某个百分比之内(例如，在完成吸气之前或之后15％)时，可以触发(打开或显示)执行活检的适当时间的指示。在此范围内，由于通气而导致的靶标的剩余移动小到足以实现有用的活检或放置治疗装置的可能性最高。在呼气差不多结束时可以使用类似的范围。用户界面可以例如将通气率显示为正弦波，当接近吸气或呼气结束时，所述波形具有不同的颜色，所述不同的颜色用信号传送获取活检或放置治疗装置的适当时间。此信令还可与同由心跳引起的移动有关的数据集成在一起，并且在一个示例中，对何时执行活检的指示可在与心率相同的频率下脉冲，并提供在与心跳有关的期望时间时进行活检或插入治疗装置的指示。在一个示例中，这可以处于心室收缩之间的时间段(即，心室收缩是与个别心跳相关联的运动的主要原因)。
46.本公开的又一方面涉及imu 202在沿规划路径的不同点处进行的运动数据的收集。当imu 202移动时，用户界面可以指示导管104的移动应停止几秒钟。通过周期性地停止以收集在所述位置处关于由通气和心跳引起的移动的数据，可以对沿路径的每个位置处由通气和心跳引起的移动进行估计。利用此信息，以及一旦imu移动到靶标的约3cm内，就确定
imu的移动，可以计算靶标相对于导管104(即，imu)的末端的位置的移动的估计值且可结合上述定时算法来使用。
47.根据本公开的另一方面，可以通过计算机112上的应用程序来分析与imu 202的运动有关的数据，以确定导管104的移动速度。对于给定的环境，可能希望确定何时导管104移动得太快。例如，当导管104在直径类似于或甚至小于导管104直径的气道的导航部分中时，导管104可与气道壁摩擦。如果导管104在摩擦或以其它方式接触气道壁时移动太快，则可能损坏气道壁纤毛。因此，确定导管104的速度并经由显示器114上的用户界面警告用户可以警告用户潜在的损坏并引导导管104的速度降低。
48.根据本公开的方面，imu 202可以周期性地经历漂移。即，其检测到的位置可能会随着时间的推移而变为不准确。为了补偿不准确性，可以在导航过程期间连续地执行与光学传感器206的基准点识别以及与3d模型的比较。因此，在每个新的基准点处，imu 202和光学传感器206的位置被更新以校正自导航经过先前的基准点以来可能出现的任何漂移或不准确性。在本公开的一个方面，每当导管104接近患者体内的基准点时，这作为配准校正或确认步骤。
49.根据本公开的另一方面，计算机112上的应用可以利用imu 202的重力向量来补偿由光学传感器206产生的图像的旋转，使得不管光学传感器206在患者体内的朝向如何，在用户界面上显示的图像表示“向上”，始终在患者前部。此外，当将导管104实施为内窥镜时，还可以通过由imu 202检测到的重力向量之间的关系来调整可操纵以控制导管的远侧部分的形状和朝向的内窥镜控件。结果，当参考术前图像或3d模型时，适当地平移医生输入且使得患者体内导管的期望移动可由用户准确地预期。
50.imu 202还可以用于导管的碰撞检测，特别是在光学传感器206可能没有提供足够图像的情况下。碰撞检测可以指撞击或接触组织。通常，当将导管104导航通过患者时，移动将在速度、加速度和速度的范围内。然而，如果运动突然改变或停止或突然发生横向干扰，则这些改变可使得推断出导管104与肺内的气道壁或其它物体相撞。在某些情况下，可以结合使用imu 202和形状传感器304来确定导管104没有移动，并且即使在导管104的速度或加速度没有突然改变的情况下也不可能进一步移动。
51.如上所述，导管104可以包含工作通道208，包含活检、消融和其它治疗工具的一个或多个工具可以通过所述工作通道。但是，导管104可能没有配备开放的工作通道208，特别是对于设计用于导航到气道可能非常小的肺周边的导管。结果，光学传感器206本身可以位于导管104的工作通道中，并且可以从中去除。光学传感器206的去除释放了工作通道并允许现在可以通过导管104插入一个或多个工具。一旦将光学传感器206从导管104去除或在导航进入狭窄的气道之后，使得应用程序无法考虑来自光学传感器206的图像以确定导管104是否已移动。然而，留在导管104中的imu 202跟踪导管104的远侧部分的运动向量。因此，如果导管104在去除光学传感器206之后移动，则可以在3d模型中更新导管104的位置并且在显示器114上的用户界面中显示图像。在计算机112上运行的应用程序可以消除由呼吸和心跳引起的重力和患者运动，以识别导管104的实际位置变化。如果导管104的位置相对于光学传感器206被去除时所处的位置而移动，则用户可以在进行活检或治疗之前操纵导管104以校正导管104的位置。在一些应用中，用户界面可以自动地从呈现来自光学传感器206的图像切换为仅在用户界面中显示导管104在从3d图像数据集导出的3d模型或2d图像
中的位置。
52.因为在许多情况下，导管104将已经导航了到靶标的80％至90％的路径。并且此外，因为导航直到光学传感器206无法再提供可用图像的点已经通过上文所描述的过程而确认，所以用户可以合理相信，依赖于来自imu 202的数据的导航的“最后一公里”是足够准确的。此最后一公里的长度通常只有2至5cm。再者，在此最后一公里的导航中，imu检测不同移动源并有效抵消或解释那些移动源的能力对于成功导航而言是最为有效的。作为一个示例，实际上可以对从imu 202接收的信号解谐，以使得用户界面不会由于呼吸和心率而显示出快速的位置变化。通过从imu 202的总运动减去解剖学诱导运动与临床医生诱导运动之间的增量，此解谐允许数据获取率保持较高且刷新率保持较高以供显示。
53.除了可以从imu 202确定的位置更新之外，利用荧光镜116的其它确认步骤也是可能的。另外或替代地，可以将cbct用于这些确认步骤。图4描述了用于确认导管104相对于靶标的位置的方法。在将导管104导航到被认为接近靶标的位置(例如，在2至5cm内)之后，可以在步骤402处进行荧光透视扫描，由此获取患者p的荧光透视图像。这些图像可为捕获的荧光透视视频的形式，因为荧光镜在ap一侧或0o位置的角度为15至30度，而在ap位置另一侧的角度为15至30度。在执行扫描之后，用户界面可向用户呈现荧光透视图像，且在步骤404处请求用户识别荧光透视图像中的靶标。可以呈现给用户的用户界面500的示例在图5中示出，其中，可滚动荧光透视图像502被呈现给用户。一旦在一个荧光透视图像502中识别，用户界面允许用户使用滚动条504滚动以识别在其中识别靶标的第二荧光透视图像。替代地，应用可以搜索荧光透视图像并自动地识别靶标。类似地，用户界面600可以呈现用户界面，在所述用户界面中，用户将在步骤406处且如图6中所展示识别导管“c”的末端。应用程序在步骤406处接收到此指示。
54.一旦在荧光透视图像中识别出靶标和导管104，3d重建就可以在步骤408处产生并在步骤410处显示。3d重建的此显示包含对在荧光透视扫描的荧光透视图像中被标记的靶标的清晰限定。这提供了靶标的位置和导管104的相对位置的准确指示，并且可以确定导管是否与靶标对准以及确定从导管104的末端到靶标的距离。相对位置数据可以显示于用户界面上，或者用户可以简单地基于对3d重建的观察来确定对准。如果在步骤412处靶标与导管104对准，则所述方法可以转至步骤414，在所述步骤处进行活检采样或治疗。
55.如果确定工具和靶标未对准，则所述方法转至步骤416，在所述步骤处对导管104或工具进行重新定位。在重新定位之后，所述方法返回到步骤402以执行另一荧光透视扫描。可以根据需要重复此程序直到在步骤412处实现对准并且可以在步骤414处进行活检或治疗为止。
56.本公开的另一方面涉及形状传感器204的使用。如上所述，形状传感器204可为一个或多个光纤
‑
布拉格光栅光纤。由于这些柔性光纤在导管104通过管腔网络(例如肺的气道)的导航期间弯曲，因此可以通过施加穿过所述光纤的光并分析所述光的反射成分来确定所述光纤的应变测量结果。此应变可以被转换为确定经历所述应变的传感器204的形状。因此，将形状传感器204添加到导管104提供了另一组数据，所述组数据可结合从imu 202和光学传感器206接收的数据进行分析以确定导管104在患者体内的位置。例如，可以将形状传感器204的所确定形状与从术前ct扫描导出的3d模型的形状进行比较。可以将此形状与3d模型的所有部件的形状进行比较以识别3d模型中与患者最匹配的生理。此数据可以与从
imu 202导出的位置数据结合使用，以提供进一步的准确性。
57.当在肺周边的附近进行导航时，来自形状传感器204的数据可能特别有用，其中光学传感器206提供的引导较少。随着气道变得越来越小，光学传感器越来越难以提供有关移动和位置的可用信息。由光学传感器206提供的可用信息的缺乏是由于气道的狭窄，其几乎没有为光学传感器206提供深度以辨别移动。此外，气道的组织在很大程度上未被通知其难以辨别经过气道的任何可观测特征的移动。实际上，很难辨别光学传感器206是否正在移动通过气道，或者气道是否正在移动经过光学传感器206。如上所述，导管104的感测到的形状可以与从3d图像数据集导出的3d模型的形状匹配。此外，形状传感器204可提供导管104的远端的朝向，所述朝向识别例如活检工具之类的工具在延伸出导管104的工作通道的情况下将会遵循的轨迹。这些方面可以结合从3d图像数据集导出的3d模型或2d图像在用户界面中向用户呈现并显示。形状传感器204可以进一步与imu 202结合使用，以提供对imu 202的位置的潜在漂移的校正。
58.形状传感器204还提供机会来确认导管104保留在规划路径上。通过分析导管104的形状并将其与规划路径的部分的形状进行比较，可以产生对导管104保留在规划路径上的确认。如果确定导管104不在规划路径上，则所述应用程序可以产生替代路径，或者可以简单地在用户界面上向用户呈现警报。
59.本公开的又一方面涉及基于由导管104导航的路径的3d模型的产生。当对导管104进行导航且光学传感器206捕获图像时，可连续地收集这些图像，从而产生图像堆栈。另外，imu 202和/或形状传感器204收集关于导管104所穿过的结构的移动和形状的数据。可以将这些数据组合以产生3d模型。可以在不使用术前ct或mri图像的情况下产生此3d模型。这可用于这样的患者：期望限制客户端暴露于辐射，或对于此患者而言不可能存在此类暴露。此外，这可用于根本无法基于其地理位置访问ct或mri机器的患者。以此方式，导管104可以用作ct或mri的替代方案，并用于探查患者的气道。
60.使用从光学传感器206导出的图像和3d模型的产生来映射气道的另一用途是获取关于患者中进行活检或进行治疗的位置的数据。用户界面可以包含功能性，其中用户可以标记相对于在患者气道的实际导航期间产生的3d模型的活检或治疗的位置。在使用从术前获取的3d图像数据集导出的3d模型或2d图像时，可以应用相同的过程。可将具有其中已进行活检和治疗的指示的3d模型保存到计算机112且其最终变为患者的电子医疗记录的部分。这些3d模型接着可在稍后时间被访问且叠加在新成像(例如，ct图像数据集或3d模型)上，作为比较点以进行确定，例如所讨论的病灶是否已进行活检，先前接收治疗的区域现在是否显示新病灶或可与患者健康的未来治疗和管理相关的其它因素的指示。
61.imu 202的另一方面是，通过其输出，可以确定有关光学传感器206的成像表面的朝向。知道光学传感器206的朝向使得当导管104被驱动通过患者气道时，在计算机112上运行的应用程序使所捕获的图像彼此正确对准。这确保了显示时图像的正确朝向，尽管导管104在被导航通过气道时仍发生扭曲和转动。
62.根据上文并且参考各种附图，所属领域技术人员将理解，在不脱离本公开的范围的情况下，还可以对本公开进行某些修改。
63.在本文中公开了本公开的详细实施例。然而，所公开的实施例仅仅是本公开的实例，其可以各种形式和方面来体现。因此，在本文中公开的具体结构和功能细节不应被解释
为限制性的，而仅仅作为权利要求书的基础和作为教导所属领域技术人员以实际上任何适当的详细结构不同地采用本公开的代表性基础。
64.尽管在附图中展示了本公开的几个实施例，但并不旨在将本公开限制于此，而是旨在使本公开的范围与所属领域所允许的一样宽，并且本说明书同样被阅读。因此，以上描述不应被解释为限制性的，而仅仅是实施例的范例。所属领域的技术人员将设想在本文所附权利要求书的范围和精神内的其它修改。