使用标准荧光镜进行局部三维体积重建的系统和方法与流程

使用标准荧光镜进行局部三维体积重建的系统和方法
1.本技术是中国申请号为201910105949.0、申请日为2019年2月2日的、名称为“使用标准荧光镜进行局部三维体积重建的系统和方法”的发明专利申请的分案申请。


背景技术：
技术领域
2.本公开涉及外科规程的导航、位置确认和位置校正的系统、装置和方法。更特别地，本公开涉及由使用标准荧光镜成像设备所捕获的二维荧光镜图像构建基于荧光镜的三维体积并且利用该基于荧光镜的三维体积实时确定医疗设备相对于在患者内的目标的位置的系统和方法。
3.相关领域
4.存在若干用于治疗影响器官(包括肝、脑、心脏、肺、胆囊、肾和骨骼)的各种疾病的普遍应用的医疗方法，诸如内窥镜规程或微创规程。通常，临床医生采用诸如磁共振成像、超声成像、计算机断层扫描(ct)及其他的一种或多种成像模式来识别在患者内的感兴趣的区域并最终识别治疗目标。
5.例如，内窥镜方法已被证明可用于导航到在患者内的感兴趣的区域，并且特别是导航到在身体管腔网络(诸如肺)内的区域。为了实现肺中的内窥镜(并且更特别地，支气管镜)方法，已开发了支气管内导航系统，其使用先前所采集的mri数据或ct图像数据来生成特定身体部分(诸如肺)的三维渲染或体积。特别地，利用从患者所采集的mri扫描或ct扫描的先前所采集的图像来生成患者的三维或体积渲染。
6.然后利用从mri扫描或ct扫描生成的所得的体积来创建导航规划以促进导航导管(或其他合适设备)穿过支气管镜和患者支气管分支(例如，手动地或在执行机器人外科手术时经由控制台)到感兴趣的区域。可将电磁跟踪与ct数据联合用于促进导航导管穿过支气管分支引导到感兴趣的区域。在某些情况下，导航导管可定位在感兴趣的区域附近或内的分支管腔网络的气道之一内以为一个或多个医疗器械提供入路。
7.作为另一个示例，微创规程(诸如腹腔镜规程，包括机器人辅助外科手术)可采用操作中荧光镜检查以增加可视化(例如，用于引导和病灶定位)或防止损伤和并发症。
8.为了生成导航规划或为了甚至生成患者解剖结构(诸如肺)的三维或体积渲染，需要临床医生利用mri系统或ct系统采集三维体积构建的必需图像数据。mri系统或基于ct的成像系统极其昂贵，并且在许多情况下在与生成导航规划或执行导航规程的位置相同的位置中不可用。
9.荧光镜成像设备在导航规程期间通常位于操作室中。临床医生可使用标准荧光镜成像设备来显现并确认工具或医疗设备在被导航到所需的位置之后的放置。然而，虽然标准荧光镜图像显示高度致密的对象(诸如金属工具和骨骼)以及大软组织对象(诸如心脏)，但荧光镜图像难以分辨感兴趣的小软组织对象，诸如病灶。此外，荧光镜图像仅是二维投影。为了能够在三维空间中看见小软组织对象，需要x射线体积重建。存在提供软组织的三
维体积重建的若干解决方案，诸如医疗领域广泛使用的ct和锥形束ct。这些机器在算法上将来自已知的校准x射线源位置的多个x射线投影组合到软组织可见的三维体积中。
10.为了将工具导航到远端软组织目标进行活检或治疗，工具和目标在某种三维引导系统中均应可见。这些系统中的大多数使用某种x射线设备来透视身体。例如，ct机器可在规程期间与迭代扫描一起用于提供穿过身体的引导直到工具到达目标。这是冗长的规程，因为其需要若干完整ct扫描、专用ct室以及在扫描之间的仪表导航。另外，每次扫描都需要工作人员离开ct室。另一种选择是锥形束ct机器，这种机器在一些操作室中可用并且比较容易操作，但很昂贵，而且与ct一样仅提供在扫描之间的仪表导航，需要导航的多次迭代并需要工作人员离开ct室。
11.因此，需要这样的系统，其可实现ct和锥形束ct三维图像引导的有益效果，而没有与这些系统相关联的潜在成本、准备要求和放射副作用。此外，需要这样的系统和方法，其促进医疗设备相对于目标的相对准确导航，并且特别是促进目标的有效治疗。


技术实现要素：

12.本公开涉及由大多数规程室中可用的标准荧光镜成像设备所捕获的视频流(或多个图像)构建小软组织对象可见的三维体积数据的系统和方法。基于荧光镜的构建的三维体积数据可用于引导、导航规划、改善导航精度、导航确认和治疗确认。
13.软组织对象在标准荧光镜图像和视频中不可见，因为它们会被致密对象(诸如致密组织)遮蔽。本公开涉及用于创建三维伪体积的系统和方法，其中基于三维位置过滤遮蔽性对象，并且然后投影回到二维中。在一个方面，利用多个荧光镜图像(每个荧光镜图像以不同角度捕获)来构建三维伪体积数据。本公开描述了能够利用从相对于患者或患者的目标区域的短角度范围所捕获的荧光镜图像构建三维伪体积数据的系统和方法。另外，本公开还涉及利用标准荧光镜成像设备所捕获的二维图像或视频来改善先前所创建的三维渲染的系统和方法。
14.如下文更详细地描述，本公开的一个方面是确定荧光镜视频中的特征的三维位置，诸如三维导管位置、三维目标组织(例如病灶)位置等。为了实现这一点，必须确定或获知每个帧的荧光镜成像设备的姿态。如果利用耦合到荧光镜成像设备的外部角度测量设备，则能获知每个帧的成像设备的角度和姿态。然而，当不利用外部测量设备时，采用其他技术来确定每个帧的荧光镜成像设备的姿态，如下文更详细地描述。例如，可将先前所采集的ct扫描数据配准到荧光镜视频以便在算法上寻找所捕获的视频的每个帧的荧光镜的姿态。另选地，通过跟踪荧光镜视频中的一些可见标记物(二维可见特征)，可通过使用某种运动恢复结构技术一起求解姿态和三维位置。在一些方面，可利用放置在患者体外的标记物的结构。然后可基于标记物的结构整体在所述多个图像的每个图像上的可能且最大概率的投影的检测估计荧光镜的姿态。在一些方面，可利用(通过角度测量设备)获知姿态的更简单技术，并且仅需要求解三维特征的位置。为了校正移动，可利用至少一个标记物(或外科设备，诸如导管尖端)。
15.可在算法上处理多个荧光镜二维图像以创建伪三维体积数据，这类似于锥形束ct，但具有不同的任意的角度范围和荧光镜姿态，其中荧光镜被手动地旋转。该角度范围可非常小(约30
°
)，这可导致不良的三维重建质量。所使用的算法是迭代加速投影/反投影方
法，它与分析算法(例如，radon变换、fdk)不同，并未假定任何预定角度范围或角度旋转速率。为了克服不良的三维重建，并不向用户显示原始三维重建数据，而是可在感兴趣的区域(本文也称为“fluoroct blob”)周围剪裁该三维重建。然后可将剪裁的三维数据重投影到二维虚拟荧光镜图像中，其中特别地局部软组织特征可见。如果从视频中所见的相同荧光镜姿态进行投影，则重投影的二维图像尤其具有良好质量(与不良的三维重建相比较)。
16.为了重建三维数据，必须相对于某种固定的坐标系为视频中的每个二维荧光镜帧确定荧光镜成像设备的姿态。可使用下述的任何方法确定所捕获的每个帧的荧光镜成像设备的姿态。例如，可使用耦合到荧光镜成像设备的外部测量设备或通过利用布置在患者体外且相对于目标的标记物的结构确定姿态。
17.另外或另选地，可使用外部测量设备和单个标记物或导管尖端确定姿态。具体地讲，在一些情况下，荧光镜(或c形臂)在旋转期间可能会抖动，在这种情况下需要某种稳定化。遗憾的是，由于进行了过滤，角度测量设备仍可在整个视频中报告平滑角度，忽略了实际相机姿态中存在的高频率。在这种情况下，可在整个视频中跟踪单个二维标记物，并且将其用于稳定相机姿态或增加它们在标记物区域处的精度。由于该标记物通常将位于感兴趣的区域处，这增加了该区域中的相机姿态精度，因此改善了三维重建质量。该方法还可用于补偿视频期间的患者身体移动，诸如呼吸。并非使用如角度测量设备所报告的相机姿态，而是使用所跟踪的二维标记物计算经补偿的相机姿态，使得所有相机姿态相对于该标记物均为正确的。所使用的单个标记物可为当前插入患者的工具或导管的尖端。
18.另外或另选地，可经由荧光镜视频与先前所采集的ct数据的配准确定姿态。具体地讲，患者的先前所采集的ct可为可用的。在这种情况下，荧光镜视频的每个帧可配准到ct的虚拟荧光镜帧(在ct空间中搜索相机姿态，直到与相机姿态相对应的虚拟荧光镜图像匹配视频中所见的相机姿态)。这样，使用基于图像的特征匹配实现了相机姿态。
19.另外或另选地，可经由标记物的结构确定姿态。具体地讲，在捕获图像时，标记物的结构被定位在患者体外，例如被定位在患者下方。标记物的结构被进一步定位成使得每个图像包括该结构的至少一部分的投影。然后可为每个图像生成概率图，从而指示图像中的每个像素是该标记物的结构的标记物的概率。可通过将荧光镜虚拟地定位在可能的不同位置(包括可能的取向)生成该标记物的结构在图像上的投影的多个虚拟候选项。然后可基于概率图识别有最高概率是该标记物得结构在图像上的投影的候选项。然后可将与所识别的候选项相关联的荧光镜的虚拟姿态确定为在捕获图像时荧光镜的所估计的姿态。任选地，可细化识别候选项的过程。可基于概率图生成候选项的局部变形版本，以便使其是该标记物的结构在图像上的投影的概率最大化。然后可将新虚拟候选项拟合到所识别的候选项的局部变形版本。将生成新改善候选项的荧光镜虚拟姿态计算并确定为在捕获图像时荧光镜的所估计的姿态。
20.另外或另选地，可使用运动恢复结构技术确定相机姿态。具体地讲，如果从开始到结束可在整个二维视频帧中跟踪多个二维特征，则这些二维特征可用于实现每个帧的相机姿态(以及三维特征位置)。这些特征可为在规程期间引入患者的人工标记物。
21.可通过以下方式从感兴趣的组织过滤遮蔽性组织：在离所生成的三维伪体积数据的中心的一定距离处剪裁，在离工具/导管的一定距离处剪裁，或配准到先前所获得的三维体积数据(ct)并且将其用于获知要过滤那些对象。
22.一旦软组织(诸如目标病灶)在三维重建数据中(或在二维增强fluoroct图像中)可见，就可获得荧光镜坐标中的所有三维信息。当使用原始三维重建数据时，可直接从该数据获得三维信息。另选地，当使用二维增强fluoroct图像时，需要2角度标记物以实现三维位置(三角测量)。在一些实施方案中，将三维重建数据分成切片，这些切片足够薄，使得不需要三角测量就能获得三维位置数据。
23.所获得的三维数据可用于实时确定或确认工具与软组织目标的三维关系。例如，该数据可用于确定工具是否到达目标、工具相对于目标的取向、在工具与目标之间的距离、或目标是否位于工具的消融区内。
24.另外或另选地，该三维数据可用于导航的校正。例如，可将这些三维位置从荧光镜坐标变换到导航系统坐标中以改善感兴趣的区域处的导航系统精度。在一个方面，当用于emn系统中时，可通过以下方式将荧光镜坐标变换为天线坐标：假定c形臂完全垂直于天线，并且在拍摄视频时使荧光镜视频中所见的导管尖端与天线中的导管位置匹配。也可通过以下方式实现荧光镜到/自天线的配准：使用地球磁场计算在c形臂与天线之间的角度，将emn传感器附接到荧光镜成像设备，或对准天线的已知二维特征。
25.结合附图详细描述了本公开的各方面，其中相似的附图标记标识类似或相同的元件。如本文所用，术语“远侧”是指所描述的离使用者较远的部分，而术语“近侧”是指所描述的离使用者较近的部分。
26.根据本公开的一个方面，提供了由二维荧光镜图像构建基于荧光镜的三维体积数据的系统。该系统包括计算设备，该计算设备被配置为促进医疗设备导航到在患者内的目标区域；以及荧光镜成像设备，该荧光镜成像设备被配置为围绕相对于目标区域的多个角度采集目标区域的荧光镜视频。该计算设备被配置为确定荧光镜视频的每个帧的荧光镜成像设备的姿态，并且使用快速迭代三维构建算法构建目标区域的基于荧光镜的三维体积数据，其中特别地软组织对象可见。在各方面，该系统被配置为通过获知荧光镜成像设备移动的角度范围并且计算该设备沿着该范围的相对旋转速度确定该设备的姿态。在一些方面，该计算设备被配置为经由至少部分不透射线的标记物的结构确定荧光镜视频的至少多个帧的荧光镜成像设备的姿态。在一些方面，该计算设备被配置为使用如本领域已知的三维构建算法构建目标区域的基于荧光镜的三维体积数据。
27.该医疗设备或工具可为包括延伸工作通道的导管组件，该延伸工作通道被配置为定位在患者的管腔网络内，或该医疗设备可为不透射线的标记物，该不透射线的标记物被配置为放置在目标区域内。不透射线的标记物在所采集的荧光镜视频中至少部分可见。该医疗设备可为用于微创外科手术(包括机器人微创外科手术)的外科器械。
28.该计算设备可被进一步配置为由先前所采集的ct体积数据创建患者的虚拟荧光镜图像，并且将所生成的虚拟荧光镜图像与所采集的荧光镜视频配准。可基于在荧光镜视频与虚拟荧光镜图像之间的配准确定荧光镜视频的每个帧的荧光镜成像设备的姿态。
29.该计算设备可被进一步配置为检测荧光镜视频中丢失的帧，并且用相对应的虚拟荧光镜图像补充所检测到的丢失的帧。可基于荧光镜视频和相对应的虚拟荧光镜图像构建基于荧光镜的三维体积数据。在一个方面，可使用基于图像的技术(诸如“互信息”)将基于荧光镜的三维体积数据与先前所采集的ct数据配准。可将基于荧光镜的三维体积数据全局地配准到先前所采集的ct数据或局部地配准在感兴趣的目标区域附近。可利用基于深度学
习的方法，其中该计算设备“发现”合适和不合适的配准的许多示例，并且学习如何配准这两种不同模式。
30.另外，该计算设备可被进一步配置为在整个荧光镜视频中跟踪导航到目标区域的医疗设备的二维位置或取向。该计算设备可被进一步配置为在整个荧光镜视频中使用运动恢复结构技术重建医疗设备的位置。可基于重建的位置确定荧光镜视频的每个帧的荧光镜成像设备的姿态。另外或另选地，可基于外部角度测量设备确定荧光镜视频的每个帧的荧光镜成像设备的姿态。外部角度测量设备可包括耦合到荧光镜成像设备的加速度计、陀螺仪或磁场传感器。另外或另选地，可经由在捕获图像时定位在患者体外的标记物的结构确定荧光镜视频的每个帧的荧光镜成像设备的姿态。另外，在各方面，该计算设备可被配置为使目标区域的所捕获的帧同步，并且补偿荧光镜成像设备的移位或患者移动以校正基于荧光镜的三维体积数据的构建。另外或另选地，该计算设备可被配置为从基于荧光镜的三维体积数据剪裁感兴趣的区域，将剪裁的感兴趣的区域投影到所捕获的帧上，并且锐化或强化感兴趣的区域或所捕获的帧中的至少一者以识别软组织对象或任何其他感兴趣的对象。
31.在本公开的又一个方面，提供了由二维荧光镜图像构建基于荧光镜的三维体积数据的方法。该方法包括将医疗设备导航到在患者内的目标区域，使用荧光镜成像设备围绕相对于目标区域的多个角度采集目标区域的荧光镜视频，确定荧光镜视频的每个帧的荧光镜成像设备的姿态，以及使用快速迭代三维构建算法构建软组织对象可见的目标区域的基于荧光镜的三维体积数据。该医疗设备可为包括延伸工作通道的导管组件，该延伸工作通道被配置为定位在患者的管腔网络内，或该医疗设备可为不透射线的标记物，该不透射线的标记物被配置为放置在目标区域内。不透射线的标记物在所采集的荧光镜视频中至少部分可见。
32.该方法还可包括由先前所采集的ct体积数据创建患者的虚拟荧光镜图像，以及将荧光镜视频与虚拟荧光镜图像配准，其中确定荧光镜视频的每个帧的荧光镜成像设备的姿态基于在荧光镜视频与虚拟荧光镜图像之间的配准。该方法还可包括检测荧光镜视频中丢失的帧，并且用相对应的虚拟荧光镜图像补充所检测到的丢失的帧。另外，在本公开的各方面，该方法还可包括在整个荧光镜视频中跟踪导航到目标区域的医疗设备的二维位置或取向。
33.可使用运动恢复结构技术重建在整个荧光镜视频中的医疗设备的位置。可基于重建的位置确定荧光镜视频的每个帧的荧光镜成像设备的姿态。另外或另选地，可基于外部角度测量设备确定荧光镜视频的每个帧的荧光镜成像设备的姿态。外部角度测量设备可包括耦合到荧光镜成像设备的加速度计、陀螺仪或磁场传感器。另外或另选地，可经由在捕获荧光镜图像时相对于目标区域定位在患者的身体外的至少部分不透射线的标记物的结构确定荧光镜视频的每个帧的荧光镜成像设备的姿态。另外，在各方面，该方法可包括使目标区域的所捕获的帧同步，并且补偿荧光镜成像设备的移位或患者移动以校正基于荧光镜的三维体积数据的构建。另外或另选地，该方法可包括从基于荧光镜的三维体积数据剪裁感兴趣的区域，将剪裁的感兴趣的区域投影在所捕获的帧上，并且锐化或强化感兴趣的区域或所捕获的帧中的至少一者以识别软组织对象。
附图说明
34.下文结合附图描述了本公开的各个方面和实施方案，其中：
35.图1是根据本公开的结合荧光镜成像设备的电磁导航(emn)系统的一个示例性实施方案的透视图；
36.图2示出了荧光镜成像设备模型；
37.图3a是使用多个不透射线的标记物构建三维体积的方法的流程图；
38.图3b是根据本公开的荧光镜成像设备所捕获的荧光镜视频的帧的示例的图示，其示出了标记物以及定位在患者的目标区域内的导管组件的延伸工作通道；
39.图4是使用单个不透射线的标记物或导管组件的延伸工作通道的尖端构建三维体积的方法的流程图；
40.图5是联合使用单个不透射线的标记物或导管组件的延伸工作通道的尖端与角度测量设备构建三维体积的方法的流程图；
41.图6是根据本公开的用于三维模型构建的方法的流程图；
42.图7是荧光镜成像设备所捕获的初始视频的帧、斜坡过滤之后的帧的图像以及所得的三维体积的图示；
43.图8是根据荧光镜图像/视频的给定角度范围所生成的三维构建的图示；
44.图9a是根据本公开的经由标记物的结构构建荧光镜三维体积的另一种方法的流程图；并且
45.图9b是根据图9a的方法的球体标记物的二维网格结构的示意图。
具体实施方式
46.本公开涉及由大多数规程室中可用的标准荧光镜成像设备所捕获的视频流构建小软组织对象可见的局部三维体积数据的系统和方法。本公开还涉及根据三维体积数据确定医疗设备相对于在患者内软组织目标的位置的系统和方法。所构建的基于荧光镜的局部三维体积数据或医疗设备相对于软组织目标的位置可用于引导、导航规划、改善导航精度、导航确认和治疗确认。
47.术语“工具”、“外科手术器械”、“外科设备”、“能量设备”、“医疗设备”等在此可互换使用。
48.图1描绘了电磁导航(emn)系统100，其被配置用于审阅ct图像数据以识别一个或多个目标，规划通往所识别的目标的路径(规划阶段)，经由用户界面将导管组件的延伸工作通道(ewc)12导航到目标(导航阶段)，以及确认ewc 12相对于目标的放置。一种此类emn系统是目前由美敦力公司(medtronic plc)出售的electromagnetic navigation系统。目标可为在规划阶段期间通过审阅ct图像数据而识别的感兴趣的组织。可跟随导航将医疗器械(诸如活检工具或其他工具)插入到ewc 12中以从位于目标处或附近的组织获得组织样品。
49.如图1所示，ewc 12是导管引导组件40的一部分。在实践中，将ewc 12插入到支气管镜30中以便进入患者“p”的管腔网络。具体地讲，可将导管引导组件40的ewc 12插入到支气管镜30的工作通道中以便导航穿过患者的管腔网络。将可定位引导件(lg)32(包括传感器44)插入到ewc 12中并锁定到适当位置，使得传感器44延伸超出ewc 12的远侧尖端一段
所需的距离。可推导出在电磁场内传感器44相对于参照坐标系的位置和取向及因此ewc 12的远侧部分的位置和取向。导管引导组件40目前由美敦力公司(medtronic plc)以品牌名称规程套件或edge
tm
规程套件推销和出售，并且可以设想为可与本公开一起使用。对于导管引导组件40的更详细描述，参考由ladtkow等人于2013年3月15日提交的共同拥有的美国专利公布no.2014/0046315、美国专利no.7,233,820和美国专利no.9,044,254，这些专利中每一者的整个内容据此以引用方式并入。
50.emn系统100一般包括操作台20，该手术台被配置为支撑患者“p”；支气管镜30，该支气管镜被配置用于穿过患者“p”的嘴插入到患者“p”的气道中；耦合到支气管镜30的监视设备120(例如视频显示器，以用于显示从支气管镜30的视频成像系统接收到的视频图像)；跟踪系统50，该跟踪系统包括跟踪模块52、多个参照传感器54和发射器垫56；以及包括软件和/或硬件的计算设备125，该软件和/或硬件用于促进目标的识别、对目标的路径规划、医疗器械向目标的导航、以及ewc 12或穿过其中的合适设备相对于目标的放置的确认。
51.系统100的该特定方面中还包括能够采集患者“p”的荧光镜或x射线图像或视频的荧光镜成像设备110。可由将荧光镜成像设备110所捕获的图像、图像系列或视频存储在荧光镜成像设备110内或传输到计算设备125以便存储、处理和显示。另外，荧光镜成像设备110可相对于患者“p”移动，使得可从相对于患者“p”的不同角度或视角采集图像，以创建荧光镜视频。在本公开的一个方面，荧光镜成像设备110包括角度测量设备111，该角度测量设备被配置为测量荧光镜成像设备110相对于患者“p”的角度。角度测量设备111可为加速度计。荧光镜成像设备110可包括单个成像设备或超过一个成像设备。在包括多个成像设备的实施方案中，每个成像设备可为不同类型的成像设备或为相同类型。有关成像设备110的更多细节在美国专利no.8,565,858中有所描述，该专利全文以引用方式并入本文。
52.计算设备125可为包括处理器和存储介质的任何合适的计算设备，其中处理器能够执行存储在存储介质上的指令。计算设备125还可包括数据库，该数据库被配置为存储患者数据、ct数据集(包括ct图像)、荧光镜数据集(包括荧光镜图像和视频)、导航规划以及任何其他此类数据。虽然未明确示出，但计算设备125可包括输入，或可另外被配置为接收ct数据集、荧光镜图像/视频以及本文所述的其他数据。另外，计算设备125包括显示器，该显示器被配置为显示图形用户界面。计算设备125可连接到一个或多个网络，可通过所述一个或多个网络访问一个或多个数据库。
53.就规划阶段而言，计算设备125利用先前所采集的ct图像数据来生成并查看患者“p”的气道的三维模型，(自动地、半自动地或手动地)启用三维模型上的目标的识别，以及允许确定穿过患者“p”的气道到达位于目标处和周围的组织的路径。更具体地讲，对从先前ct扫描所采集的ct图像进行处理并组装成三维ct体积，然后将三维ct体积用于生成患者“p”的气道的三维模型。可在与计算设备125相关联的显示器上或以任何其他合适的方式显示三维模型。使用计算设备125，呈现三维模型或由三维模型所生成的增强二维图像的各种视图。增强二维图像可具有一些三维能力，因为它们是由三维数据生成的。可操纵三维模型以促进三维模型或二维图像上的目标的识别，并且可对穿过患者“p”的气道进入位于目标处的组织的合适路径进行选择。一旦选择，就可将路径规划、三维模型和从其推导出的图像保存并导出到导航系统以在一个或多个导航阶段期间使用。一种此类规划软件是目前由美敦力公司(medtronic plc)出售的规划套件。
54.就导航阶段而言，六自由度电磁跟踪系统50(类似于在美国专利no.8,467,589、no.6,188,355以及已公布的pct申请no.wo 00/10456和no.wo 01/67035中所公开的那些，这些专利中每一者的整个内容以引用方式并入本文)或其他合适的定位测量系统用于执行图像配准和导航路径，但还可以设想到其他配置。跟踪系统50包括跟踪模块52、多个参照传感器54和发射器垫56。跟踪系统50被配置为与可定位引导件32、并且特别是传感器44一起使用。如上所述，可定位引导件32和传感器44被配置用于(在借助或不借助支气管镜30的情况下)穿过ewc 12插入到患者“p”的气道中，并且可经由锁定机构选择性地相对于彼此锁定。
55.发射器垫56被定位在患者“p”下方。发射器垫56在患者“p”的至少一部分周围生成电磁场，在该电磁场内可使用跟踪模块52确定多个参照传感器54和传感器元件44的位置。参照传感器54中的一者或多者附接于患者“p”的胸部。参照传感器54的六自由度坐标被发送到计算设备125(其包括适当软件)，其中这些坐标用于计算患者参照坐标系。一般执行如下详述的配准以使来自规划阶段的三维模型和二维图像的位置与如通过支气管镜30观察到的患者“p”的气道协调，并且允许在确切了解传感器44的位置(即使是在支气管镜30无法到达的气道部分中)的情况下开始进行导航阶段。这种配准技术及其在管腔导航中的具体实施的更多细节可见于美国专利申请公布no.2011/0085720(该专利申请公布的整个内容以引用方式并入本文)，但还可以设想到其他合适的技术。
56.可通过将lg 32移动穿过患者“p”的气道执行发射器垫56上患者“p”的位置的配准。更具体地讲，使用发射器垫56、参照传感器54和跟踪模块52记录与在可定位引导件32移动穿过气道时传感器44的位置相关的数据。将由该位置数据所得的形状与规划阶段中所生成的三维模型的通路的内部几何形状进行比较，并且例如利用计算设备125上的软件，确定基于该比较的在该形状与三维模型之间的位置关联。另外，该软件识别三维模型中的非组织空间(例如，充满空气的腔体)。该软件将表示传感器44的位置的图像与三维模型和由三维模型生成的二维图像对准或配准，这些二维图像基于所记录的位置数据以及可定位引导件32一直位于患者“p”的气道中的非组织空间中的假设。另选地，可通过以下方式采用手动配准技术：将支气管镜30与传感器44一起导航到患者“p”的肺中的预先指定的位置，并且手动地将来自支气管镜的图像与三维模型的模型数据进行关联。
57.在患者“p”配准到图像数据和路径规划后，在导航软件中显示用户界面，该导航软件设定临床医生要到达目标须遵循的路径。一种此类导航软件是目前由美敦力公司(medtronic plc)出售的导航套件。
58.一旦已如用户界面上所描绘的那样将ewc 12成功导航到目标附近，就可从ewc 12解锁并取出可定位引导件32，而将ewc 12留在适当位置作为引导医疗器械的引导通道，所述医疗器械包括但不限于光学系统、超声探头、标记物放置工具、活检工具、消融工具(即，微波消融设备)、激光探头、低温探头、传感器探头以及通往目标的抽吸针。
59.已经描述了图1中所描绘的系统100的部件，以下对图2至图9b的描述提供了使用系统100的部件(包括荧光镜成像设备110)来构建所需的感兴趣的区域的局部三维体积数据并且使用系统100的荧光镜成像设备110来确定医疗设备与软组织目标的关系的示例性工作流程。本文所述的系统和方法可用于利用在emn规程期间通常位于外科环境内的成像设备显现患者的特定目标区域，并且此外还可用于显现在医疗规程期间相对于目标的医疗
设备，从而消除了后续mri或ct扫描的需要。
60.现在转到图2，示出了荧光镜成像设备110模型。荧光镜成像设备110包括x射线源201和检测器203。检测器203限定多个二维像素。每个二维像素与单个x射线束相关联，该单个x射线束横穿从x射线源201到检测器203的三维空间。检测器203尺寸d和源-检测器距离sdd使用下式确定视场角：
[0061][0062]
不同荧光镜的主要差别在于检测器尺寸和源-检测器距离。在荧光镜数据中，像素不归一化到特定标度。它们的亮度取决于荧光镜所使用的增益/曝光，并且取决于x射线在源与检测器之间横穿的场景中的其他对象，诸如操作台、外科设备等。在ct数据中，以亨氏单位测量每个体素。使用下式相对于所观测到的水和空气的亮度测量亨氏单位：
[0063][0064]
μ是衰减系数。它们在0至无穷大的范围内，并且测量x射线束横穿三维体积205的物质的难度。“更厚”的物质具有更大的μ。hu衡量衰减系数，使得空气处于-1000，水处于0并且更厚的物质上升到无穷大。
[0065]
使用比尔-朗伯定律，荧光镜检测器203中的每个二维像素给出如下：
[0066][0067]
μ(x,y,z)是位置(x,y,z)处的三维体积205的衰减系数。i0是x射线源201能量(更高的能量产生更明亮的图像)。为简单起见，假定i0＝1。取对数后，每个二维像素表示如下：
[0068][0069]
这对于每个二维检测器像素是如此，其提供了三维衰减系数的线性方程。如果利用许多此类方程(以求解检测器203的每个二维像素)，则可解出衰减系数并且可构建三维体积205的三维体积数据。
[0070]
荧光镜至ct-离散化：
[0071]
可将三维体积205分成离散网格，其中体素的坐标为(xk,yk,zk)。因此，可接着将用于求解每个二维像素的方程写成：
[0072][0073]
以上方程的左手边是检测器203的所观测到的二维像素，并且以上方程的右手边是衰减系数(待求解)乘的加权和，这由x射线源201的已知荧光镜成像设备位置确定。
[0074]
为了能够求解体积衰减系数值，需要足够的线性方程，即需要不同二维像素的足够二维观测值。标准检测器通常具有1024
×
1024个像素，其中每个像素由单个方程表示。因此，需要求解许多二维观测值(许多二维观测像素)，才能重建三维体积(求解许多体素)。也就是需要许多二维像素，才能求解许多体素。为了获知这些方程中的权重，必须获知荧光镜成像设备x射线源201配置(位置、取向、视场)。
[0075]
在使用中，三维体积205是患者身体的一部分。从相对于患者的许多不同位置(例
如围绕患者的180
°
旋转)拍摄由多个荧光镜图像(作为视频的帧)构成的荧光镜视频，以在相对于患者的不同位置处采集二维像素的多个观测值。如下文将更详细描述，可使用多种技术确定在给定时间荧光镜成像设备相对于患者的位置，这些技术包括放置在患者内的不透射线的标记物的运动恢复结构分析(图3a至图3b)、在所捕获的荧光镜图像/视频与所生成的虚拟荧光镜图像之间的配准(图4)、外部角度测量设备诸如加速度计、陀螺仪或磁场传感器(图5)、或标记物的外部结构(图9a至图9b)。在一个方面，在利用了会随身体移动而移动的标记物的情况下，该系统可在测量角度时校正患者移动。具体地讲，可基于放置的标记物在每个图像中的位置，将所有二维荧光镜图像同步到相同三维位置。
[0076]
现在转到图3a至图3b和图4至图6，现在将特别详细地描述联合使用标准荧光镜成像设备(诸如图1的荧光镜成像设备110)与系统(诸如图1所述的系统)构建目标区域的局部三维体积的方法。虽然本文所示和所述的方法被示出和描述为按照特定次序进行且需要特定步骤，但这些方法中的任何方法可包括一些或所有这些步骤并且可按照未具体描述的任何次序具体实施。
[0077]
由下述任何方法生成的基于荧光镜的三维体积可结合到系统100中用于多种目的。例如，基于荧光镜的三维体积可与用于医疗器械导航的先前所生成的三维体积数据配准。系统100可利用在基于荧光镜的三维体积与先前所采集的三维体积数据之间的配准来更新已放置在患者的身体中的传感器44(图1)的计算位置。更特别地，由先前所采集的ct扫描生成的患者的肺的三维模型可能无法提供足以在电磁导航规程期间将医疗器械准确引导到目标的依据。在某些情况下，在先前所采集的ct数据的采集之时相对于肺的规程期间患者的肺的变形会引起不准确度。该变形(ct与身体趋异)可由许多不同因素引起，例如：镇静与不镇静，支气管镜改变患者姿态且还推动组织，因ct在吸气中进行而导航在呼吸期间进行而引起的不同肺体积，不同床、天等。因此，需要另一种成像模式来显现目标和/或终末支气管分支，并且通过以下方式增强电磁导航规程：在该规程期间校正导航，实现目标的可视化，以及确认该规程期间外科设备的放置。为此，本文所述的系统处理并转换荧光镜成像设备110所捕获的图像数据，如下文将详细描述。该荧光镜图像数据可用于识别此类目标和终末支气管分支，或结合到来自ct扫描的数据中，并且用于更新来自ct扫描的数据，以便提供电磁导航规程的更准确结果/校正。
[0078]
另外，用户可在视觉上确认导航的医疗器械的放置被定位在相对于在目标区域内的目标组织的所需的位置内。另外，基于荧光镜的三维体积可用于在执行规程之后在三维中显现目标区域。例如，基于荧光镜的三维体积可用于在标记物放置在目标区域内之后、在进行活检之后或在治疗目标之后显现目标区域。
[0079]
特别参照图3a至图3b，现在将描述使用放置在目标附近的多个不透射线的标记物来构建三维体积的方法且该方法将称为方法300。方法300从步骤301开始，在该步骤中，利用电磁导航系统(诸如上述emn系统100(图1))将标记物放置设备导航到目标区域。可使用先前所创建的导航规划(其包括在规划阶段期间创建的路线)实现标记物放置设备向目标区域的导航。在步骤303中，将不透射线的标记物放置在目标区域内。在一个示例中，利用四个不透射线的标记物。然而，可使用少于四个或超过四个不透射线的标记物。
[0080]
在步骤305中，在不透射线的标记物放置在目标区域中的情况下，荧光镜成像设备被定位成使得步骤303中放置的所有不透射线的标记物均可见。即，步骤305包括对准荧光
镜成像设备，使得其可围绕标记物旋转30
°
而使所有标记物均可见。在步骤307中，荧光镜成像设备用于捕获成像设备110围绕患者并因此围绕标记物的约30
°
旋转(从-15
°
到 15
°
的旋转)的视频。通过从居中角度旋转达到15
°
(在每一侧上)，可以确保标记物将保持在整个旋转视频的图像/帧中并且成像设备将不会击中患者或床。图3b示出了所捕获的视频的六个帧f1-f6。帧f1-f6中的每一者是荧光镜视频的图像，其显示了在视频的不同时间点处每个不透射线的标记物m1-m4的不同位置和取向，其中荧光镜成像设备在每个给定时间以相对于患者的不同角度定位。
[0081]
在步骤309中，在整个视频中跟踪每个不透射线的标记物的二维位置。在步骤311中，使用运动恢复结构技术在三维中构建标记物位置，并且获得每个视频帧的荧光镜成像设备的姿态。运动恢复结构是通过跟踪二维连续视频中的点重建这些点的三维位置以及荧光镜成像设备位置(相机姿态)的方法。在步骤311中，通过将标记物引入到患者中，可沿着连续荧光镜旋转视频跟踪这些标记物的位置和取向，可重建其在空间中的三维位置，并且可确定相对应的荧光镜成像设备位置。在通过视频分析确定了荧光镜成像设备位置的情况下，荧光镜成像设备位置可用于求解三维数据。
[0082]
在步骤313中，构建局部三维体积。具体地讲，快速迭代重建算法(图6)用于在与局部解剖结构相对应的标记物的区域处重建局部三维体积，并且其中软组织可见。步骤313可包括由所采集的二维荧光镜数据重建全局三维体积并且在目标的区域处剪裁全局三维体积以创建“fluoroct blob”体积。该剪裁的体积可以以原始三维数据的形式向用户显示或者显示为二维重投影图像。在该剪裁的体积中，目标区域中的所有解剖结构(包括目标组织)将是可见的。可以通过将较暗值伸展为黑色并且将较亮值伸展为白色强化重投影图像(其不包括远处致密的遮蔽性对象)，以增加差异性并且还在投影前的三维中或投影的图像中进行锐化，使得在视觉上识别软组织。
[0083]
如上所述，基于荧光镜的三维体积可结合到系统100中以用于多种目的。例如，基于荧光镜的三维体积可与用于医疗器械导航的先前所生成的三维体积数据配准。系统100可利用在基于荧光镜的三维体积与先前所采集的三维体积数据之间的配准来更新传感器44(图1)的计算位置。另外，用户可在视觉上确认导航的医疗器械的放置被定位在相对于目标区域内的目标组织的所需的位置中。
[0084]
现在转到图4，现在将描述使用放置在目标附近的单个不透射线的标记物或导航的工具的远侧部分(诸如被定位在目标附近的导管组件的延伸工作通道的尖端)来构建三维体积的方法且该方法将称为方法400。虽然方法400被描述为利用导管组件的延伸工作通道的尖端，但该方法可利用任何工具实现这种功能。例如，可利用导航的导管的尖端、活检工具的尖端或治疗工具的尖端。在一个方面，工具经支气管导航到目标。在其他方面，工具可为经皮插入患者中的工具，例如治疗设备(诸如消融设备)的经胸廓的导航。
[0085]
方法400从步骤401开始，在该步骤中，利用电磁导航系统(诸如上述emn系统100(图1))将延伸工作通道导航到目标区域。可使用先前所创建的导航规划(其包括在规划阶段期间创建的路线)实现ewc向目标区域的导航。方法400可任选地包括经由ewc将标记物放置设备导航到目标区域以将单个不透射线的标记物放置在目标的区域内的附加步骤(步骤步骤403)。在一个方面，步骤401包括将工具经皮插入到目标区域。
[0086]
在ewc或工具处于适当的位置之后、或在放置了不透射线的标记物之后，荧光镜成
像设备被定位成使得ewc或工具的导航的尖端(和/或放置的不透射线的标记物)在荧光镜成像设备的视场内可见。即，步骤405包括对准荧光镜成像设备，使得其可围绕标记物旋转30
°
而使标记物可见，和/或围绕ewc或工具的尖端旋转30
°
而使ewc或工具的尖端可见。在步骤407中，荧光镜成像设备用于捕获成像设备110围绕患者并因此围绕标记物和/或ewc或工具的尖端的约30
°
旋转(从-15
°
到 15
°
的旋转)的视频。通过从居中角度旋转达到15
°
(在每一侧上)，可以确保标记物和/或ewc或工具的尖端将保持在整个旋转视频的图像/帧中并且成像设备不会击中患者或床。步骤407可包括捕获围绕ewc的远侧部分(和不透射线的标记物(如果放置了的话))的约30
°
旋转的视频。如果捕获了30
°
旋转视频，则一个角度(在该范围的中间)就足够了。即，在两者之间成30
°
的两个投影足以确认或校正工具到软组织的三维关系。
[0087]
在步骤409中，在整个所捕获的视频中跟踪ewc或工具的远侧部分(和/或不透射线的标记物(如果放置了的话))的二维位置。
[0088]
在步骤411中，从先前所采集的ct数据创建虚拟荧光镜图像。先前所采集的ct数据通常是在规划阶段期间用于规划通往目标的导航路径的ct数据。在步骤411中，操纵ct数据以创建患者的荧光镜图像的计算机模型。虚拟荧光镜图像中目标的位置与在规划阶段期间由临床医生识别的目标的位置相对应。由系统基于先前所采集的ct数据生成的虚拟荧光镜图像描绘了将由荧光镜成像设备所捕获的视场。另外，虚拟荧光镜图像中的每一者具有虚拟荧光镜成像设备姿态。
[0089]
在步骤413中，通过将荧光镜视频帧中的每一者与虚拟荧光镜图像匹配将在步骤407中所捕获的荧光镜视频的每个视频帧配准到先前所采集的ct数据。在步骤415中，基于步骤413的配准确定所捕获的荧光镜视频的每个视频帧的荧光镜成像设备姿态。即，一旦荧光镜帧与虚拟荧光镜图像匹配，虚拟荧光镜图像的虚拟荧光镜成像设备姿态就可与相对应的荧光镜帧相关联。
[0090]
在步骤417中，通过使用ewc或工具的远侧部分(和/或不透射线的标记物(如果放置了的话))的跟踪的位置校正步骤415中确定的荧光镜成像设备姿态的来源，这用于补偿患者的移动(诸如由呼吸引起的移动)。在步骤419中，构建局部三维体积。具体地讲，快速迭代重建算法(图6)用于在与局部解剖结构相对应的目标病灶的区域处重建局部三维体积，并且其中软组织可见。步骤319可包括由所采集的二维荧光镜数据重建全局三维体积并且在目标的区域处剪裁全局三维体积以创建“fluoroct blob”体积。该剪裁的体积可以以原始三维数据的形式向用户显示或者显示为二维重投影图像。在该剪裁的体积中，目标区域中的所有解剖结构(包括目标组织)将是可见的。可以通过将较暗值伸展为黑色并且将较亮值伸展为白色强化重投影图像(其不包括远处致密的遮蔽性对象)，以增加差异性并且还在投影前的三维中或投影的图像中进行锐化，使得在视觉上识别软组织。
[0091]
方法400还可包括完成步骤407中所捕获的荧光视频以包括由系统生成的虚拟荧光镜图像的附加步骤(步骤421)，这些虚拟荧光镜图像表示在荧光镜视频中所捕获的荧光镜成像设备姿态的范围以外的荧光镜成像设备姿态。具体地讲，在各方面，系统100还可利用用于创建导航规划的患者的先前所生成的ct体积数据来生成患者的虚拟荧光镜图像。所生成的虚拟荧光镜图像是向用户显示当由荧光镜成像设备以给定的角度捕获时患者的荧光镜图像应该看起来如何的视图的荧光镜样图像。在步骤421中，虚拟荧光镜图像可用于填
充所捕获的荧光镜视频(在步骤407中捕获)中的任何间隙。这可包括例如更换所捕获的视频中出现扭曲或损坏的图像(诸如帧)。另外或另选地，这可包括例如用表示荧光镜视频中包括的角度的范围以外的荧光镜图像的虚拟荧光镜图像补充所捕获的荧光镜视频(在步骤407中捕获)。例如，如果荧光镜视频包括围绕患者的约30
°
范围的扫描，则可将在30
°
范围以外的虚拟荧光镜图像结合到视频中以生成具有大于30
°
的范围的荧光镜视频。
[0092]
方法300(图3)和方法400(图4)两者都用于在不知道荧光镜视频的每个帧的荧光镜成像设备姿态的情况下使用荧光镜视频构建三维ct体积数据。为此，方法300和400中的每一者需要利用基于图像的技术确定荧光镜视频的每个帧的荧光镜成像设备姿态的步骤。相比之下，并且如下文更详细描述，方法500(图5)是用于构建三维ct体积数据的方法，其中使用姿态/角度测量设备确定所采集的荧光镜视频的每个帧的荧光镜成像设备姿态，该姿态/角度测量设备可包括加速度计、陀螺仪或磁场检测器以检测荧光镜成像设备相对于患者的位置/姿态。
[0093]
方法500是联合使用放置在目标附近的单个不透射线的标记物或定位在目标附近的导管组件的延伸工作通道的尖端与荧光镜角度测量设备来构建三维体积的方法。方法500从步骤501开始，在该步骤中，使用荧光镜校准夹具执行荧光镜校准以计算典型荧光镜投影参数和几何形状。在安装阶段中由技术人员对每个荧光镜设备进行一次这种校准。校准夹具用于在自动化的过程中确定荧光镜的投影参数(视场角)以及c形臂的几何形状：相对于旋转轴线的位置。这些参数有时在每个荧光镜设备的技术图纸中给出，但也可使用我们的校准夹具得出。在步骤503中，将先前所采集的ct体积数据连同先前所生成的导航规划一起导入到系统中。
[0094]
在步骤505中，使用诸如上述emn系统100(图1)的系统利用电磁导航技术将延伸工作通道导航到目标区域。可使用先前所创建的导航规划(其包括在规划阶段期间创建的路线)实现ewc向目标区域的导航。方法500可任选地包括经由ewc将标记物放置设备导航到目标区域以将单个不透射线的标记物放置在目标的区域内的附加步骤(步骤507)。
[0095]
在ewc或工具处于适当的位置之后、或在放置了不透射线的标记物之后，方法500进行到步骤509，该步骤包括对准荧光镜成像设备，使得其可围绕标记物旋转30
°
而使标记物可见，和/或围绕ewc或工具的尖端旋转30
°
使得ewc或工具的尖端可见。在步骤511中，荧光镜成像设备用于捕获成像设备110围绕患者并因此围绕标记物或ewc或工具的尖端的约30
°
旋转(从-15
°
到 15
°
的旋转)的视频。通过从居中角度旋转达到15
°
(在每一侧上)，可以确保标记物或ewc或工具的尖端将保持在整个旋转视频的图像/帧中并且成像设备将不会击中患者或床。如果捕获了30
°
旋转视频，则一个角度(在该范围的中间)就足够了。即，在两者之间成30
°
的两个投影足以确认或校正工具到软组织的三维关系。在步骤513中，在整个所捕获的视频中跟踪ewc的远侧端部(和/或不透射线的标记物(如果放置了的话))的二维位置和取向。
[0096]
在步骤515中，将来自步骤501的校准数据与来自外部角度测量设备的测量联合用于计算世界坐标中的荧光镜成像设备位置(较少的来源)。具体地讲，如上所述，校准夹具用于通过使用优化方法来自动地得出具体荧光镜设备的投影参数和c形臂几何形状。一旦已知这些参数，从角度测量设备获取的角度(即，荧光镜的检测器的角度)确定检测器的独特三维姿态。除了曾由给定角度和安装参数解释的地方之外，其不会位于空间中的任何其他
地方。
[0097]
在步骤517中，构建局部三维体积。具体地讲，快速迭代重建算法(图6)用于在与局部解剖结构相对应的目标组织的区域处重建局部三维体积，并且其中软组织可见。步骤517可包括由所采集的二维荧光镜数据重建全局三维体积并且在目标的区域处剪裁全局三维体积以创建“fluoroct blob”体积。该剪裁的体积可以以原始三维数据的形式向用户显示或者显示为二维重投影图像。在该剪裁的体积中，目标区域中的所有解剖结构(包括目标组织)将是可见的。可以通过将较暗值伸展为黑色并且将较亮值伸展为白色强化重投影图像(其不包括远处致密的遮蔽性对象)，以增加差异性并且还在投影前的三维中或投影的图像中进行锐化，使得在视觉上识别软组织。
[0098]
现在将描述ct重建方法。ct重建方法可分为分析方法(radon、fdk
…
)和代数方法(art、sart
…
)。分析方法假定非常具体的配置(诸如完全180
°
旋转)，并且在单次迭代中重建ct体积(使用一些精确的公式)。代数方法更灵活但是更慢，并且将该问题当作迭代地求解的大型方程组处理(使用某种梯度下降方法)。所有方法使用投影(三维到二维)和反投影(二维到三维)。
[0099]
就投影而言，由于每个检测器像素基本上是沿着射线的三维体素的加权和，检测器图像可以看作来自某些荧光镜成像设备位置的三维体积的二维投影。如果三维体积数据已经可用，则可以通过将其从已知的荧光镜成像设备位置投影重现荧光镜图像。如果三维重建的二维投影类似于创建三维重建的所观测到的荧光镜图像，则三维重建被视为良好的。
[0100]
就反投影而言，在每个体素处，反投影确定哪些射线横穿特定体素并且把它们加到一起。为了作出这种确定，必须获知荧光镜成像设备位置。如果将反投影算子应用到所捕获的视频的荧光镜图像，则可以构建三维体积，但是构建的三维体积将是非常模糊和不准确的，这是因为在对真实的中心体素求和多次的同时，也会对围绕真实的中心体素的许多无关体素求和多次。在使用一种或另一种方法重建三维体积之后，通过以下方式评估重建的质量：获取重建的三维数据，将其投影到二维帧(其可为虚拟荧光镜帧)中，并且将这些二维帧与创建三维数据的初始荧光镜二维帧进行比较。体积重建算法的一个目标是得出解释二维观测值的三维数据，使得如果三维数据投影回到二维帧中，则这些帧将看起来像初始的、真实的荧光镜帧。当产物模糊时，这意味着投影模糊并且与真实的图像不匹配。为了解决这个问题，该方法提供了斜坡过滤器和校正迭代。
[0101]
现在转到图6，现在将描述利用快速迭代算法重建局部三维体积的方法，该方法将称为方法600。三维体积重建算法(例如，方法600)由投影-反投影的多次迭代组成。该算法的目标是得出解释荧光镜成像设备的二维观测值的三维数据。如果其成功得出了这种数据，则所得出的三维数据被假定为患者的三维解剖结构。在每次迭代中，将所得出的当前三维数据投影到二维中(其应当看起来像初始荧光镜视频)，然后将二维误差反投影回到三维数据中，并且以这样的方式更新三维数据。这个过程重复若干次直到三维数据收敛且过程停止。为了加速该过程，在将二维投影图像反投影回到三维中之前对它们进行某种过滤。斜坡过滤器只是被证明在加速收敛方面有效的示例性过滤器。当用经典radon变换重建标准ct时，应用该过滤器。利用该经典方法，在单次迭代中进行该过程：过滤(例如，斜坡过滤器)、反投影。在该方法中，这个过程在若干步骤中迭代地重复。
[0102]
方法600从步骤601开始，在该步骤中，该方程以初始体积v(可以仅是零)开始。在步骤603中，将体积v从已知的荧光镜成像设备位置投影到图像qi中。例如，可不对荧光镜图像而对由斜坡函数过滤的荧光镜图像进行投影。具有下述残差的迭代可在反投影之前经受斜坡过滤器。在步骤605中，计算残差ri＝p
i-qi，其中pi是从所捕获的荧光镜视频中观测到的投影。在步骤606中，使用如在radon中的斜坡过滤器卷积ri。在步骤607中，确定ri是否低于预定阈值。如果ri低于预定阈值(在步骤607中为是)，则方法600完成。如果ri不低于预定阈值(在步骤607中为否)，则方法600进行到步骤609。在步骤609中，将ri反投影到e(校正体积)中。在步骤611中，体积v被设定为v e(v＝v e)，并且方法600返回到步骤603，其中体积v(此时为v e)从已知的荧光镜成像设备位置投影到图像qi中。
[0103]
现在转到图7和图8。图7示出了荧光镜成像设备所捕获的初始视频的帧700、斜坡过滤之后的帧的图像703以及所得的三维体积的图像705。图8是在角度801-88处的三维构建的图示，其中801是30度、803是60度、805是90度、807是120度、809是150度并且811是180度。
[0104]
现在参照图9a，该图是根据本公开的经由标记物的结构构建荧光镜三维体积的另一种方法的流程图。在此公开了由二维荧光镜图像构建在患者内的目标区域的基于荧光镜的三维体积数据的方法。在步骤900中，经由荧光镜成像设备采集目标区域和标记物的结构的图像序列。标记物的结构可包括以特定图案布置的多个至少部分不透射线的标记物。在捕获图像时，标记物的结构被定位在患者体外，例如被定位在患者下方。标记物的结构被进一步定位成使得每个图像包括标记物的结构的至少一部分的投影。标记物的结构可被定位在患者与荧光镜成像设备之间。在一些实施方案中，标记物的结构可呈二维图案。在一些实施方案中，标记物的结构可呈周期性图案，诸如网格。在一些实施方案中，目标是软组织目标。在一些实施方案中，目标区域可包括例如肺的至少一部分，并且相对于图1的系统例示。
[0105]
在步骤910中，可估计图像序列的至少多个图像的荧光镜成像设备的姿态。可基于标记物的结构整体在所述多个图像的每个图像上的可能且最大概率的投影的检测执行姿态估计。然后可为每个图像生成概率图，从而指示图像中的每个像素是该标记物的结构的标记物的概率。可通过将荧光镜虚拟地定位在可能的不同位置(包括可能的取向)中(即，不同姿态)生成该标记物的结构在图像上的投影的多个虚拟候选项。然后可基于概率图识别有最高概率是该标记物的结构在图像上的投影的候选项。然后可将与所识别的候选项相关联的荧光镜的虚拟姿态确定为在捕获图像时荧光镜的所估计的姿态。任选地，可细化识别候选项的过程。可基于概率图生成候选项的局部变形版本，以便使其是该标记物的结构在图像上的投影的概率最大化。然后可将新虚拟候选项拟合到所识别的候选项的局部变形版本。将生成新改善候选项的荧光镜的虚拟姿态计算并确定为在捕获图像时荧光镜的所估计的姿态。有关所公开的姿态估计的更多细节可见于由barak等人于2018年2月8日提交的名称为“system and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target”(用于成像设备的姿态估计并且确定医疗设备相对于目标的位置的系统和方法)的共同拥有的美国专利申请no.62628017，该专利申请的整个内容据此以引用方式并入。
[0106]
在步骤920中，根据所公开的系统和方法，基于荧光镜成像设备的所估计的姿态构建目标区域的基于荧光镜的三维体积数据。然而，可使用如本领域已知的基于成像设备姿
态信息的其他系统和方法。
[0107]
在任选步骤930中，可在采集图像序列之前将医疗设备定位在目标区域中。因此，除目标之外，图像序列和因此基于荧光镜的三维体积数据还可包括医疗设备的投影。然后可根据基于荧光镜的三维体积数据确定在医疗设备与目标之间的偏移(即，δx、δy和δz)。目标可在所生成的三维体积数据中可见或更好地展现。因此，可在三维体积数据中自动地或由用户手动地检测目标。可在所捕获的图像序列中或在所生成的三维体积数据中自动地或由用户手动地检测医疗设备。可基于如本领域已知且诸如例如在由birenbaum等人于2018年2月8日提交的名称为“system and method for catheter detection in fluoroscopic images and updating displayed position of catheter”(用于荧光镜图像中的导管检测并且更新所显示的导管位置的系统和方法)的共同拥有的美国专利申请no.62/627,911中所述的系统和方法执行目标和/或医疗设备的自动检测。可通过向用户显示三维体积数据和/或所捕获的图像并请求其输入执行手动检测。一旦在三维体积数据和/或所捕获的图像中检测到目标和医疗设备，就可获得它们在荧光镜参照坐标系中的位置并且可确定在它们之间的偏移。
[0108]
在目标与医疗设备之间的偏移可用于各种医疗目的，包括促进医疗设备接近目标区域以及治疗。可经由跟踪或定位系统和显示器(诸如图1的跟踪系统50和监视设备120)促进医疗设备向目标区域的导航。定位系统定位或跟踪医疗设备穿过患者的身体的运动。显示器可向用户显示相对于在患者的身体内的医疗设备和目标的周围环境而言的医疗设备位置。定位系统可为例如电磁或光学定位系统或者如本领域已知的任何其他此类系统。当例如目标区域包括肺的一部分时，医疗设备可穿过气道管腔网络导航到目标区域，且如相对于图1所述。
[0109]
在任选步骤940中，可基于在医疗设备与目标之间的所确定的偏移校正医疗设备相对于目标的位置的显示。在一些实施方案中，可在显示器上显示目标区域的3d渲染。可基于先前(即，在当前规程或操作之前)所采集的目标区域的ct体积数据(即，操作前ct)生成目标区域的3d渲染。在一些实施方案中，定位系统可配准到目标的3d渲染，诸如例如相对于图1所述。然后可通过更新定位系统与3d渲染的配准执行在医疗设备与目标之间的偏移的校正。一般来讲，为了执行这种更新，应当获知在荧光镜图像的参照坐标系与定位系统的参照坐标系之间的变换。标记物的结构相对于定位系统的几何定位可确定这种变换。在一些实施方案中，标记物的结构和定位系统可被定位成使得同一参照坐标系将应用于两者，或使得一者仅将是另一者的平移版本。例如，并且参照图1，发射器垫56可与标记物的结构结合在一起。
[0110]
在一些实施方案中，可以以局部方式和/或以渐进方式执行定位系统与3d渲染(例如，基于ct)的配准的更新。例如，可仅在目标的周围环境中，例如仅在离目标的一定距离内更新该配准。这是由于当不在目标周围执行时该更新可能不太准确。在一些实施方案中，可以以渐进方式(例如通过根据离目标的距离应用权重)执行该更新。除了精度考虑之外，这种渐进更新相比于显示器上的医疗设备位置的突然变化而言，可使用户更方便或更容易在规程期间查看、处理和作出必要的变化。
[0111]
在一些实施方案中，可指示患者在图像的捕获期间屏住呼吸以便防止目标区域因呼吸而移动。在其他实施方案中，可执行用于补偿图像捕获期间的呼吸移动的方法。例如，
可根据放置在目标区域中的基准标记物的移动校正荧光镜设备的所估计的姿态。这种基准可为放置在目标区域中的医疗设备，例如导管。可基于定位系统确定例如导管的移动。在一些实施方案中，可根据位于目标区域中的基准标记物(诸如导管)的移动确定患者的呼吸模式。可经由定位系统确定这些移动。基于该模式，在确定成像设备的姿态时可仅考虑吸气或呼气的图像。
[0112]
现在参照图9b，该图是根据图9a的方法的球体标记物950的二维(2d)网格结构的示意图。球体标记物950的2d网格结构包括被布置成二维网格图案的多个球体形标记物，诸如球体标记物960a和960b。与3d图案不同，使用2d图案可促进姿态估计过程。此外，当例如需要患者躺在标记物结构上以便在扫描患者的同时估计荧光镜的姿态时，2d图案对于患者将更方便。在一些实施方案中，标记物的形状可为对称的，并且使得在成像设备可处于的任何姿态下，标记物在图像上的投影都将是相同的。这种配置可简化并增强姿态估计过程和/或使该过程更高效。例如，当成像设备围绕标记物结构旋转时，可优选具有旋转对称的标记物，诸如球体。可根据所公开的系统和方法的具体用途确定标记物结构的尺寸和/或该结构中的标记的数量。例如，由于姿态估计用于构建在患者内的感兴趣的区域的3d体积，故标记物结构的尺寸可类似于或大于感兴趣的区域的尺寸。在一些实施方案中，根据所公开的方法和系统的标记物的结构的图案可为周期性的，诸如网格，如图9b所示。使用标记物的周期性图案结构可进一步增强并促进姿态估计过程并使该过程更高效。作为基准的标记物的结构在荧光镜图像的捕获期间应以固定方式定位。在球体标记物的示例性2d网格结构(其可与图1的系统联合使用)中，球体标记物直径可为2
±
0.2mm并且在球体之间的距离可为约15
±
0.15mm，它们是各向同性的。
[0113]
图1的系统可被配置为执行图9a的方法。图9a的方法或其一部分可为由计算设备(诸如图1的计算设备125)执行的指令的形式。计算设备可包括一个或多个硬件处理器、一个或多个存储器或存储设备以及显示器。所述一个或多个硬件处理器可被配置为执行该方法的步骤。所述一个或多个存储器或存储设备可被配置为存储这些指令和/或荧光镜图像数据。可在显示器上或在单独监视器(诸如图1的监视设备10)上显示医疗设备和/或目标。
[0114]
根据前述内容并且参照各个附图，本领域的技术人员将会理解，还可以在不脱离本公开范围的情况下对本公开做出某些修改。例如，虽然所述系统和方法被描述为可与emn系统一起用于导航穿过管腔网络(诸如肺)，但本文所述的系统和方法可与利用其他导航和治疗设备(诸如经皮设备)的系统一起使用。另外，虽然上述系统和方法被描述为在患者的管腔网络内使用，但应当理解，上述系统和方法可用于其他目标区域，诸如肝、肾或心脏。此外，上述系统和方法也可用于经胸廓针刺抽吸规程。另外，虽然上述系统和方法被描述为主要相对于软组织目标使用，但应当理解，上述系统和方法可相对于非软组织目标(诸如骨骼)使用。此外，上述系统和方法也可与机器人外科手术系统(诸如目前由intuitive 出售的外科系统)一起使用。例如，并且参照图1，系统100可为这种机器人外科手术系统。患者在外科手术期间定位的操作台20可结合到包括一个或多个机器人臂的机械臂塔(cart)中。所述一个或多个机器人臂可与一个或多个专用医疗设备耦合。监视设备120和/或计算设备125可结合到控制器(例如，计算机化控制台)中，从而允许外科医生在查看患者体内的同时操作所述一个或多个机器人臂。本文公开了本公开的详细实施方案。然而，这些所公开的实施方案仅仅是本公开的示例，其可能以各种形式和方面体现。因
此，本文所公开的特定的结构和功能细节不应理解为限制性的，而仅仅是权利要求书的基础，并作为具有代表性的基础用于教导本领域技术人员以几乎任何合适的详细结构不同地采用本公开。
[0115]
如可以理解的，可为了治疗组织而穿过患者的一个或多个分支管腔网络定位的医疗器械(诸如活检工具)或能量设备(诸如微波消融导管)可被证明可用于外科区域，并且本公开涉及可与这些器械和工具一起使用的系统和方法。可使用导航技术经皮或穿过自然腔道进入管腔网络。另外，可使用图像引导实现穿过管腔网络的导航。这些图像引导系统可为单独的或者与能量设备或单独入路工具集成在一起，并且可包括mri、ct、荧光镜检查、超声、电阻抗断层成像、光、和/或设备跟踪系统。用于定位入路工具的方法包括em、ir、回声定位、光及其他。跟踪系统可集成到成像设备，其中跟踪在虚拟空间中进行或者与操作前或实时图像融合。在一些情况下，可直接从管腔内进入治疗目标，诸如用于copd、哮喘、肺癌等的支气管壁的治疗。在其他情况下，可能需要能量设备和/或附加入路工具刺穿管腔并且延伸到其他组织中以到达目标，诸如用于薄壁组织内的疾病的治疗。可使用与上述方法和系统相结合的标准荧光镜成像设备，通过成像和/或导航引导执行能量设备或工具放置的最终定位和确认。
[0116]
尽管在附图中已经示出了本公开的若干实施方案，但是本公开不旨在限于此，因为本公开旨在与本领域所允许的范围那样宽泛，并且旨在同样宽泛地阅读说明书。因此，以上说明不应理解为限制性的，而是仅作为具体实施方案的例示。本领域的技术人员能够设想在本文所附权利要求书的范围和实质内的其他修改。