机器人支气管镜导航的系统和方法与流程

机器人支气管镜导航的系统和方法
引用
1.本技术要求于2019年12月19日提交的第62/950,740号美国临时专利申请和于2020年10月13日提交的第63/091,283号美国临时专利申请的优先权，其中每一个的全部内容特此通过引用并入本文。


背景技术：

2.肺癌的早期诊断至关重要。肺癌的五年生存率约为18％，明显低于接下来三种最常见的癌症：乳腺癌(90％)、结直肠癌(65％)和前列腺癌(99％)。2018年共有142,000人因肺癌死亡。
3.一般来说，典型的肺癌诊断和手术治疗过程可能会有很大差异，这取决于医疗保健提供者使用的技术、临床方案和临床地点。不一致的过程不仅会延迟癌症的诊断，而且会给患者和医疗保健系统带来高昂的费用。
4.这些医疗手术，诸如内窥镜检查(例如，支气管镜检查)可能涉及为了诊断和/或治疗目的的访问和可视化患者内腔(例如，气道)的内部。在手术过程中，例如，可以向患者体内插入诸如内窥镜的柔性管状工具，并且可以将仪器穿过内窥镜到达被识别用于诊断和/或治疗的组织部位。


技术实现要素：

5.内窥镜在各种病症的诊断和治疗中有着广泛的应用，诸如医疗条件(例如，早期肺癌诊断和治疗)。内窥镜导航系统可以使用不同的传感模式(例如，相机成像数据、电磁(em)位置数据、机器人位置数据等)，例如，通过自适应调整的概率建模。导航方法可能取决于内窥镜尖端与气道有关的位置的初始估计，以开始跟踪内窥镜尖端。一些内窥镜检查技术可能涉及患者解剖结构的三维(3d)模型，并使用em场和位置传感器引导导航。在手术之前，3d模型的虚拟空间、由3d模型代表的患者解剖结构的物理空间和em场之间的精确对齐(例如，配准)可能是未知的。因此，在生成配准之前，无法将患者解剖结构内的内窥镜位置精确地映射到3d模型内的相应位置。
6.由于配准不准确，支气管镜的导航可能具有挑战性。特别是，当前配准程序可能既耗时又笨拙，或者会产生受人工输入影响的不一致结果。当前配准程序可能涉及生成估计的初始配准，然后在程序期间精细或更新初始配准。例如，当前配准方法可以通过从实时传感器数据中采样来补偿导航系统的变化。然而，随着设备在长时间操作期间被驱动，并且随着系统采集更多的输入数据，计算时间急剧增加。此外，当前配准程序可能不具有令人满意的在线更新能力，这造成配准准确性受损。例如，当前配准程序可能无法适应可能引起配准算法不准确的本地变化。例如，采样的数据集通常用于对配准算法(例如变换)进行全局更新，这不能准确反映局部变化(例如，由于局部的、小型的机械偏转)。在另一个示例中，当内窥镜不沿着预定路径(例如，切割气道的中心线等)行进时，当前配准算法可能具有很差的变换精度。
7.本文认识到需要一种微创系统，该系统允许以提高可靠性和成本效率来执行外科手术或诊断操作。本文认识到另一个需要是改进的配准算法，其可以提高配准精度同时减少配准时间。本公开内容提供了允许以降低的成本进行标准化的早期肺癌诊断和治疗的系统和方法。本公开内容为癌症的早期诊断和治疗提供了可访问的、更具成本效益的方法和系统。在本发明的一些实施方式中，机器人支气管镜检查系统的至少一部分是一次性的。例如，导管部分可以设计成低成本一次性的，同时保持手术性能和功能性。而且，所提供的机器人支气管镜检查系统被设计成能够进入难以到达的组织，如支气管、肺，而不会增加额外成本。
8.自适应导航算法可能能够识别具有即时更新功能的3d模型的坐标系(例如，用于生成模型的ct扫描仪的坐标系)和em场的坐标系(例如，em场发生器的坐标系)之间的配准或映射。
9.在一个方面，提供了一种用于对机器人内窥镜仪器进行导航的方法。该方法包括：(a)至少部分地基于使用位置传感器采集的第一传感器数据集，在机器人内窥镜仪器的取向和位置传感器的取向之间生成第一变换；(b)至少部分地基于第一变换和第二传感器数据集，在机器人内窥镜仪器的坐标系和代表解剖管腔网络的模型的坐标系之间生成第二变换；和(c)至少部分地基于第三传感器数据集，使用更新算法更新第二变换。
10.在一些实施方式中，更新算法包括快速间隔重新计算操作和慢速间隔重新计算操作。在一些情况下，快速间隔重新计算操作包括(i)使用从第三传感器数据集中采样的数据子集来计算第一关联集(set of associations)和(ii)将第一关联集与计算用于生成(b)中的第二变换的第二关联集组合。例如，该方法还包括使用组合的第一关联集和第二关联集来计算点云。在一些情况下，慢速间隔重新计算操作包括最近邻算法。在一些情况下，慢速间隔重新计算操作包括仅使用第三传感器数据集来更新第二变换。
11.在一些实施方式中，位置传感器是电磁传感器。在一些实施方式中，代表解剖管腔网络的模型的坐标系是使用术前成像系统生成的。
12.在一些实施方式中，机器人内窥镜仪器包括一次性导管组件。在一些实施方式中，位置传感器位于机器人内窥镜仪器的远侧尖端。
13.在另一方面，提供了一种用于对机器人内窥镜仪器进行导航的系统。该系统包括：位置传感器，其位于机器人内窥镜仪器的远端；和一个或多个处理器，其与位置传感器和机器人内窥镜仪器通信并被配置成执行指令集以使系统：(a)至少部分地基于使用位置传感器采集的第一传感器数据集，在机器人内窥镜仪器的取向和位置传感器的取向之间生成第一变换；(b)至少部分地基于第一变换和第二传感器数据集，在机器人内窥镜仪器的坐标系和代表解剖管腔网络的模型的坐标系之间生成第二变换；和(c)至少部分地基于第三传感器数据集，使用更新算法更新第二变换。
14.在一些实施方式中，更新算法包括快速间隔重新计算操作和慢速间隔重新计算操作。在一些情况下，快速间隔重新计算操作包括(i)使用从第三传感器数据集中采样的数据子集来计算第一关联集和(ii)将第一关联集与计算用于生成(b)中的第二变换的第二关联集组合。例如，快速间隔重新计算操作还包括使用组合的第一关联集和第二关联集来计算点云。在一些情况下，慢速间隔重新计算操作包括最近邻算法。在一些情况下，慢速间隔重新计算操作包括仅使用第三传感器数据集来更新第二变换。
15.在一些实施方式中，位置传感器是电磁传感器。在一些实施方式中，代表解剖管腔网络的模型的坐标系是使用术前成像系统生成的。在一些实施方式中，机器人内窥镜仪器包括一次性导管组件。
16.根据本公开内容的一些方面，提供了一种机器人内窥镜仪器。该仪器可以包括一次性细长构件，该一次性细长构件包括近端和远端，并且近端可移除地附接到机器人臂。远端包括多根拉线并且拉线与细长构件的壁形成一体。细长构件也可称为支气管镜、导管，其在整个说明书中可互换使用。
17.在本公开内容的另一方面，提供了一种改进的配准算法或导航方法。配准算法可以允许以最少的用户交互进行自动配准，以及有益地提高配准准确性的在线配准更新。应当注意，所提供的机器人系统和/或配准算法可用于涉及各种类型组织的各种微创外科手术，各种类型组织包括心脏、膀胱和肺组织等。
18.本公开内容的其他方面和优点对于本领域技术人员将通过以下详细描述变得容易理解，其中仅显示和描述了本公开内容的说明性实施方式。如将意识到的，本公开内容能够具有其他和不同的实施方式，并且其若干细节能够在各种明显方面进行修改，所有这些均不背离本公开内容。因此，附图和描述本质上应被认为是说明性的，而不是限制性的。援引并入
19.本说明书中提及的所有出版物、专利和专利申请通过引用并入本文，其程度与每个单独的出版物、专利或专利申请被具体和单独地指示通过引用并入的程度相同。在通过引用并入的出版物和专利或专利申请与说明书中包含的公开内容相矛盾的范围内，说明书旨在取代和/或优先于任何此类矛盾的材料。
附图说明
20.本发明的新颖特征在所附权利要求中特别阐述。通过参考以下阐述其中利用了本发明的原理的说明性实施方式的详细描述以及附图(本文也称为“附图”和“图”)，将获得对本发明的特征和优点的更好理解，其中：
21.图1示出了由本文描述的机器人支气管镜检查系统实现的标准化肺癌诊断的示例工作流程。
22.图2a示出了根据本发明的一些实施方式的机器人支气管镜检查系统的示例。
23.图2b示出了根据本发明的一些实施方式的示例机器人支气管镜检查系统的不同视图。
24.图3示出了透视(断层合成)成像系统的示例。
25.图4示出了在拍摄对象图像时以不同(旋转)姿势的c臂透视(断层合成)成像系统。
26.图5示出了用于可视化覆盖有最佳路径、导管尖端位置和损伤位置的虚拟气道的用户界面的示例。
27.图6示出了示例便携式机器人锥形束ct。
28.图7示意性地示出了根据本发明的一些实施方式的自动配准方法的示例。
29.图8示出了定制的迭代最近点(icp)算法的示例。
30.图9示出了分类结果的示例。
31.图10示出了数据结构(空间数据结构)的示例。专门的数据结构可以是k-d树或八
叉树数据结构。
具体实施方式
32.尽管本文已经示出和描述了本发明的各种实施方式，但是对于本领域技术人员来说容易理解的是，这些实施方式仅作为示例提供。在不背离本发明的情况下，本领域技术人员可以想到许多变化、改变和替换。应当理解，可以采用本文所述的本发明实施方式的各种替代方案。
33.虽然示例性实施方式将主要针对支气管镜，但本领域技术人员将理解，这并非意在限制，并且本文所述的设备可用于其他治疗或诊断过程以及用于患者身体的其他解剖区域，例如消化系统，包括但不限于食道、肝脏、胃、结肠、泌尿道或呼吸系统，包括但不限于支气管、肺和各种其他系统。本文的配准方法/算法可用于将医疗设备的坐标系与3d模型的坐标系(例如，气道模型或ct扫描仪生成的患者坐标系)对齐，而不管要执行的设备或操作的类型。
34.本文公开的实施方式可以以多种方式中的一种或多种方式组合以向患者提供改进的诊断和治疗。所公开的实施方式可以与现有的方法和仪器组合以提供改进的治疗，例如与已知的肺部诊断方法、外科手术以及其他组织和器官的外科手术相结合。应理解，本文所述的任何一种或多种结构和步骤可以与本文所述的方法和仪器的任何一种或多种附加结构和步骤组合，附图和支持文本提供根据实施方式的描述。
35.尽管本文所述的治疗计划和诊断或外科手术的定义是在肺部诊断或手术的背景下呈现的，但本文所述的方法和仪器可用于治疗身体的任何组织以及任何器官和身体的血管，例如脑、心、肺、肠、眼、皮肤、肾、肝、胰腺、胃、子宫、卵巢、睾丸、膀胱、耳、鼻、口、软组织(例如骨髓)、脂肪组织、肌肉、腺和粘膜组织、脊髓和神经组织、软骨、硬生物组织(例如牙齿、骨骼等)，以及体腔和通道(例如鼻窦、输尿管、结肠、食道、肺道、血管和喉咙)。
36.每当术语“至少”、“大于”或“大于或等于”在一系列两个或更多个数值中的第一个数值之前，术语“至少”、“大于”或“大于或等于”适用于该系列数值中的每个数值。例如，大于或等于1、2或3等价于大于或等于1、大于或等于2或大于或等于3。
37.每当术语“不大于”、“小于”或“小于或等于”在一系列两个或更多个数值中的第一个数值之前，术语“不大于”、“小于”或“小于或等于”适用于该系列数值中的每个数值。例如，小于或等于3、2或1等价于小于或等于3、小于或等于2或小于或等于1。
38.如本文所用，处理器包括一个或多个处理器，例如单个处理器，或例如分布式处理系统的多个处理器。例如，如本文所述的控制器或处理器通常包括有形介质以存储指令以实现过程的步骤，并且处理器可以包括中央处理单元、可编程阵列逻辑、门阵列逻辑或现场可编程门阵列中的一个或多个。在一些情况下，一个或多个处理器可以是可编程处理器(例如，中央处理单元(cpu)或微控制器)、数字信号处理器(dsp)、现场可编程门阵列(fpga)和/或一个或多个先进的risc机器(arm)处理器。在一些情况下，一个或多个处理器可操作地耦合到非暂时性计算机可读介质。非暂时性计算机可读介质可以存储可由一个或多个处理器单元执行以执行一个或多个步骤的逻辑、代码和/或程序指令。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移动介质或外部存储，例如sd卡或随机存取存储器(ram))。本文公开的一种或多种方法或操作可以在硬件部件或硬件和软件的组合中实现，
例如asic、专用计算机或通用计算机。
39.如本文所用，术语远侧和近侧通常可以指代从仪器引用的位置，并且可以与解剖学引用相反。例如，支气管镜或导管的远侧位置可以对应于患者的细长构件的近侧位置，并且支气管镜或导管的近侧位置可以对应于患者的细长构件的远侧位置。
40.如本文所述的系统，包括细长部分或细长构件，例如导管。除非上下文另有说明，否则术语“细长构件”、“导管”、“支气管镜”在整个说明书中可互换使用。细长构件可以直接放置在体腔或体腔中。在一些实施方式中，该系统还可以包括支撑仪器，例如机器人操纵器(例如，机器人臂)，以驱动、支撑、定位或控制细长构件的运动和/或操作。备选地或此外，支撑仪器可以是手持仪器或可以包括或可以不包括机器人系统的其他控制设备。在一些实施方式中，该系统可以进一步包括外围设备和子系统，例如辅助和/或促进细长构件导航到对象体内的目标部位的成像系统。这种导航可能需要配准过程，这将在本文后面进行描述。
41.在本公开的一些实施方式中，提供了一种机器人支气管镜检查系统，以低成本执行具有提高性能的外科手术或诊断。例如，机器人支气管镜检查系统可以包括完全一次性的可操纵导管。这可以有益地降低对成本较高或操作困难的灭菌要求，但灭菌或消毒可能无效。此外，支气管镜检查的一个挑战是在通过气道时到达肺上叶。在一些情况下，所提供的机器人支气管镜检查系统可以被设计成具有以自主或半自主方式导航通过具有小弯曲曲率的气道的能力。自主或半自主导航可能需要如本文稍后描述的配准过程。备选地，机器人支气管镜检查系统可由操作员通过具有视觉引导的控制系统进行导航。
42.典型的肺癌诊断和手术治疗过程可能会有很大差异，这取决于医疗保健提供者使用的技术、临床方案和临床地点。不一致的流程可能导致肺癌早期诊断延迟，医疗保健系统和诊断和治疗肺癌患者成本高，以及临床和手术并发症的高风险。所提供的机器人支气管镜检查系统可以实现标准化早期肺癌诊断和治疗。图1示出了由本文描述的机器人支气管镜检查系统实现的标准化肺癌诊断的示例工作流程100。
43.如图1所示，可以执行术前成像以识别病灶。任何合适的成像方式，例如磁共振(mr)、正电子发射断层扫描(pet)、x射线、计算机断层扫描(ct)和超声，都可以用于识别病灶或感兴趣区域。譬如，可以对疑似肺癌的患者进行术前ct扫描，并且可以在ct图像中识别疑似肺结节。术前成像过程可以在支气管镜检查之前执行。
44.接下来，可以分析ct图像生成地图，在支气管镜检查时引导机器人支气管镜的导航。例如，可以在图像上分割病灶或感兴趣区域(roi)。当肺正在成像时，可以在重建的图像上突出显示到病灶的通道或通路，以规划导航路径。重建的图像可以引导机器人支气管镜导航到目标组织或目标部位。在一些情况下，可以使用3d图像数据预先规划导航路径。例如，在机器人支气管镜系统的机器人控制下，导管可以向目标部位推进。导管可以以手动方式、自主方式或半自主方式操纵或向目标部位推进。在示例中，导管的移动可以被图像引导，以便可以自动控制插入和/或操纵方向。
45.在一些情况下，由于患者运动或身体发散，术前成像中的病灶位置可能不准确。在这种情况下，可以在外科手术(例如，活检或治疗)之前核实病灶位置。病灶的准确位置可以借助机器人支气管镜检查系统进行验证或更新。例如，支气管镜检查系统可以提供诸如透视的成像模式的接口，以提供目标部位和周围区域的体内实时成像以定位病灶。在示例中，可以使用c臂或o臂透视成像系统来生成断层合成图像，以验证或更新病灶的位置。进行活
检等外科手术时，可将活检工具、刷子或镊子等各种外科手术工具插入导管的工作通道中，以手动或自动执行活检或其他外科手术。
46.接下来，可以通过导管的工作通道插入的工具获得病灶或任何其他目标组织的样本。该系统允许在整个过程中，包括在通过工作通道插入工具期间，保持相机可视化。在一些情况下，可以通过快速现场评估过程对组织样本进行现场快速评估，以确定是否需要重复组织采样，或决定进一步的行动。在一些情况下，快速现场评估过程还可以提供对组织样本的快速分析，以确定接下来的手术治疗。例如，如果由于快速现场评估过程，组织样本被确定为恶性，则可以通过机器人支气管镜的工作通道插入手动或机器人治疗仪器，并对肺癌执行支气管内治疗。这有益地允许在一个疗程中执行诊断和治疗，从而提供早期肺癌的靶向、无痛和快速治疗。
47.图2a和图2b示出了根据本发明的一些实施方式的机器人支气管镜检查系统200、230的示例。如图2a所示，机器人支气管镜检查系统200可以包括可操纵导管组件220和用于支撑或承载可操纵导管组件的机器人支撑系统210。可操纵导管组件可以是支气管镜。在一些实施方式中，可操纵导管组件可以是一次性使用的机器人支气管镜。在一些实施方式中，机器人支气管镜检查系统200可以包括附接到机器人支撑系统的臂的仪器驱动机构213。仪器驱动机构可以由可包括或可不包括机器人系统的任何合适的控制器设备(例如，手持控制器)提供。仪器驱动机构可以为可操纵导管组件220提供机械和电接口。机械接口可以允许可操纵导管组件220可释放地耦合到仪器驱动机构。譬如，可操纵导管组件的手柄部分可以经由快速安装/释放工具(例如磁铁、弹簧加载水平仪等)附接到仪器驱动机构。在一些情况下，可操纵导管组件可以手动耦合到仪器驱动机构或从仪器驱动机构释放而不使用工具。
48.可操纵导管组件220可以包括手柄部分223，该手柄部分223可以包括被配置成处理图像数据、提供电力或建立与其他外部设备通信的部件。譬如，手柄部分223可以包括电路和通信元件，其能够在可操纵导管组件220与仪器驱动机构213以及任何其他外部系统或设备之间电通信。在另一个示例中，手柄部分223可以包括电路元件，诸如用于为内窥镜的电子器件(例如，相机和led灯)供电的电源。在一些情况下，手柄部分可以经由电接口(例如，印刷电路板)与仪器驱动机构213电通信，从而仪器驱动机构的通信模块可以接收图像/视频数据和/或传感器数据，并可以传输到其他外部设备/系统。备选地或此外，仪器驱动机构213可以仅提供机械接口。手柄部分可以与模块化无线通信设备或任何其他用户设备(例如，便携式/手持设备或控制器)电通信，用于传输传感器数据和/或接收控制信号。本文关于手柄部分的细节将在后面描述。
49.可操纵导管组件220可以包括耦合到手柄部分的柔性细长构件211。在一些实施方式中，柔性细长构件可以包括轴、可操纵尖端和可操作段。可操纵导管组件可以是一次性使用的机器人支气管镜。在一些情况下，只有细长构件可以是一次性的。在一些情况下，细长构件的至少一部分(例如，轴、可操纵尖端等)可以是一次性的。在一些情况下，包括手柄部分和细长构件的整个可操纵导管组件220可以是一次性的。柔性细长构件和手柄部分被设计成使得整个可操纵导管组件能够以低成本处置。本文关于柔性细长构件和可操纵导管组件的细节将在后面描述。
50.在一些实施方式中，所提供的支气管镜系统还可以包括用户界面。如示例系统230
所示，支气管镜系统可以包括治疗接口模块231(用户控制台侧)和/或治疗控制模块233(患者和机器人侧)。治疗接口模块可以允许操作员或用户在外科手术过程中与支气管镜交互。在一些实施方式中，治疗控制模块233可以是手持控制器。在一些情况下，治疗控制模块可以包括专有用户输入设备和一个或多个附加元件，该附加元件可移除地耦合到现有用户设备以改善用户输入体验。例如，物理轨迹球或滚轮可以通过赋予它与它所替换的图形元素类似的功能，来替换或补充至少一个显示在图形用户界面(gui)上的虚拟图形元素(例如，触摸板上显示的导航箭头)的功能。用户设备的示例可以包括但不限于移动设备、智能电话/蜂窝电话、平板计算机、个人数字助理(pda)、膝上型或笔记本计算机、台式计算机、媒体内容播放器等。本文关于用户接口设备和用户控制台的细节将在后面描述。
51.图2b示出了支气管镜系统的不同视图。用户控制台231可以安装到机器人支撑系统210。备选地或此外，用户控制台或用户控制台的一部分(例如，治疗接口模块)可以安装到单独的移动推车上。机器人腔内平台
52.在一个方面，提供了一种机器人腔内平台。在一些情况下，机器人腔内平台可以是支气管镜检查平台。该平台可以被配置成执行与图1中描述的方法一致的一个或多个操作。图3至图7示出了根据本发明的一些实施方式的机器人腔内平台及其部件或子系统的各种示例。在一些实施方式中，平台可以包括机器人支气管镜检查系统和一个或多个可以与本公开的机器人支气管镜检查系统结合使用的子系统。
53.在一些实施方式中，一个或多个子系统可以包括成像系统，例如用于提供目标部位(例如，包括病灶)的实时成像的透视(断层合成)成像系统。图3示出了透视(断层合成)成像系统300的示例。例如，透视(断层合成)成像系统可以在如图1中描述的外科手术之前或期间执行准确的病灶位置跟踪或验证。在一些情况下，可以基于关于透视(断层合成)成像系统/站(例如，c臂)的位置数据和由透视(断层合成)成像系统捕获的图像数据来跟踪病灶位置。病灶位置可以与机器人支气管镜检查系统的坐标系进行配准。透视(断层合成)成像系统的位置或运动可以使用任何合适的运动/位置传感器310(例如惯性测量单元(imu))、一个或多个陀螺仪、速度传感器、加速度计、磁力计、位置传感器(例如，全球定位系统(gps)传感器)、视觉传感器(例如，能够检测可见光、红外线或紫外线的成像设备，例如相机)、接近或距离传感器(例如，超声波传感器、激光雷达、飞行时间或深度相机)、高度传感器、姿态传感器(例如罗盘)和/或场传感器(例如磁力计、电磁传感器、无线电传感器)来测量。用于跟踪透视(断层合成)成像站的运动和位置的一个或多个传感器可以处置在成像站上或远离成像站安置，诸如壁挂式相机320。图4示出了在拍摄对象图像时以不同(旋转)姿势的c臂透视(断层合成)成像系统。如上所述，可以由一个或多个传感器捕获各种姿势。
54.在一些实施方式中，病灶的位置可以在信号处理单元330的帮助下由透视(断层合成)成像系统捕获的图像数据中被分割。信号处理单元的一个或多个处理器可以被配置成进一步在实时透视图像/视频上覆盖治疗位置(例如，病灶)。例如，处理单元可以被配置成生成包括增强信息的增强层，该增强信息诸如治疗位置或目标部位的位置。在一些情况下，增强层还可以包括表示到该目标部位的路径的图形标记。增强层可以是包括一个或多个图形元素(例如，框、箭头等)的基本上透明的图像层。增强层可以覆盖到由透视(断层合成)成像系统捕获的光学图像或视频流的光学视图上，和/或显示在显示设备上。增强层的透明度
允许用户查看光学图像，其上覆盖有图形元素。在一些情况下，分割的病灶图像和用于导航细长构件到达病灶的最佳路径都可以覆盖在实时断层合成图像上。这可以允许操作员或用户可视化病灶的准确位置以及支气管镜移动的规划路径。在一些情况下，在本文描述的系统的操作之前提供的分割和重建的图像(例如，在别处描述的ct图像)可以覆盖在实时图像上。
55.在一些实施方式中，平台的一个或多个子系统可以包括导航和定位子系统。导航和定位子系统可以被配置成基于术前图像(例如，术前ct图像或断层合成)构建虚拟气道模型。导航和定位子系统可以被配置成识别3d渲染气道模型中的分割病灶位置，并且基于病灶位置，导航和定位子系统可以生成从主支气管到病灶的最佳路径，并建议以与病灶接近的角度进行外科手术(例如活检)。
56.在将支气管镜驱动到目标部位之前的配准步骤中，系统可以将所渲染的气道虚拟视图与患者气道对齐。图像配准可以包括单个配准步骤或单个配准步骤和对配准信息的实时感官更新的组合。配准过程可以包括在不同坐标系(例如，em传感器坐标和基于术前ct成像的患者3d模型坐标)之间找到对齐对象(例如，气道模型、解剖部位)的变换。本文关于配准的细节将在后面描述。
57.一旦配准，所有气道可以与术前呈现的气道对齐。在机器人支气管镜朝向目标部位驱动期间，可以跟踪和显示气道内的支气管镜的位置。在一些情况下，可以使用位置传感器来跟踪支气管镜相对于气道的位置。也可以使用其他类型的传感器(例如相机)来代替或与使用传感器融合技术的位置传感器结合。诸如电磁(em)传感器之类的位置传感器可以嵌入在导管的远侧尖端，并且在手术期间可以将em场发生器安置在患者躯干旁边。em场发生器可以将em传感器位置安置在3d空间中，或者可以将em传感器位置和取向安置在5d或6d空间中。这可以为操作员在驱动支气管镜朝向目标部位时提供视觉指导。
58.在实时em跟踪中，包括一个或多个传感器线圈的em传感器嵌入在医疗仪器(例如，内窥镜工具的尖端)中的一个或多个位置和取向中，测量临近患者位置的一个或多个静态em场发生器产生的em场的变化。em传感器检测到的位置信息储存为em数据。em场发生器(或发射器)可以临近患者放置，以产生嵌入式传感器可以检测到的低强度磁场。磁场在em传感器的传感器线圈中感应出小电流，可以对其进行分析以确定em传感器和em场发生器之间的距离和角度。这些距离和取向可以在手术中配准到患者解剖结构(例如，3d模型)，以便确定将坐标系中的单个位置与患者解剖结构的术前模型中的位置对齐的配准变换。
59.图5示出了用于可视化覆盖有最佳路径503、导管尖端位置501和病灶位置505的虚拟气道509的用户界面的示例。在该示例中，导管尖端位置相对于虚拟气道模型509实时显示，从而提供视觉指导。如图5的示例所示，在机器人支气管镜驱动期间，可以显示最佳路径503并将其覆盖到虚拟气道模型上。如上所述，虚拟气道模型可以基于实时透视图像/视频(和成像系统的位置数据)来构建。在一些情况下，实时透视图像/视频507的视图也可以显示在图形用户界面上。在一些情况下，还可以允许用户访问由支气管镜实时捕获的相机视图或图像/视频511。
60.在一些实施方式中，平台的一个或多个子系统可以包括一个或多个治疗子系统，例如手动或机器人仪器(例如，活检针、活检钳、活检刷)和/或手动或机器人治疗仪器(例如，rf消融仪器、低温仪器、微波仪器等)。
61.常规锥形束ct机器可以在相同机械结构上具有c形或o形的发射器和接收器面板。发射器和接收器面板之间的连接会导致锥形束ct尺寸变大。这个超大的设计对用例造成了限制，并且在相当狭窄的手术室中占用了大量空间。
62.本文描述的是一种用于解耦发射器和接收器面板之间的机械连接的设计。图6示出了便携式机器人锥形束ct的示例。发射器和接收器面板可以分别安装在两个单独的机器人臂上，如图6的示例所示。当使用时，两个机器人可以在同一坐标系下移动。控制算法可以确保两个机器人在同步运动中移动。
63.此外，对于患者门控运动，即呼吸，附加外部传感器-即imu、em或图像传感器-可以添加以跟踪患者的运动。可以使用imu、em或图像传感器等传感器跟踪患者的位置变化。感官信号可用于命令两个机器人臂。在一些情况下，机器人臂中的一个或两个都可以移动以跟踪患者运动，这实质上使发射器和接收器在跟踪时对感兴趣区域(roi)的患者运动保持静止。roi可以包括可以由系统自动确定或由医师手动确定的目标部位或目标位置。跟踪还可以使用其他机构，例如但不限于外部相机和患者身体上的一个或多个跟踪器。
64.本领域技术人员应当理解，锥形束ct是非限制性示例。本文描述的设计可用于其他成像模式，例如透视机、经典ct机器和mri机器。自动配准算法
65.本公开内容提供了一种改进的自动配准算法，其可以提高配准精度同时减少配准时间。所提供的自动配准算法可以有益地允许最少的用户交互，并且能够建立比现有方法改进的变换或配准。此外，所提供的自动配准算法可以允许动态更新算法，以适应实时条件(例如，基于实时检测到的配准误差自动更新配准)，从而当设备在对象体内被驱动时提高配准精度。
66.在一些实施方式中，自动配准算法可以包括或可以在三个阶段中实现。图7示意性地示出了根据本发明的一些实施方式的自动配准方法700的示例。自动配准方法可以包括一种或多种算法来实时更新配准信息而无需用户输入。自动配准算法还可以包括一种或多种算法，用于通过识别最佳配准/变换矩阵和利用时间信息来提高配准精度。
67.如上所述，em传感器可以耦合到内窥镜的远端，以便跟踪其在em场内的位置。em场相对于em场发生器是静止的，并且管腔网络(例如，ct空间)的3d模型的坐标系可以映射到em场的坐标系。如图7所示，自动配准方法700可以包括可以是初始数据采集阶段701的第一阶段。初始数据采集阶段可以包括重建导管的远侧尖端并且执行初始平移变换。
68.初始数据采集阶段701可以将em传感器取向配准到远侧尖端取向。这可以在机器人内窥镜器械空间和位置传感器空间之间建立关联。例如，位于远端的电磁线圈可以与电磁跟踪系统一起使用，以检测导管的远侧尖端的位置和取向，同时它被处置在解剖系统(例如，解剖管腔网络)内。在一些实施方式中，线圈可以倾斜以提供对沿不同轴的电磁场的敏感性，从而使所公开的导航系统能够测量完整的6个自由度：三个位置和三个角度。em场发生器的取向/位置可能未知，并且初始数据采集阶段可以使用采集的传感器数据将em传感器取向(例如，em坐标系的z轴)配准到远侧尖端取向(例如，导管尖端z轴)。
69.在第一阶段期间，可以采集传感器数据(例如，em传感器数据)以将磁场发生器的z轴配准到导管尖端的z轴。这可以允许在没有预先知道的位置和取向的情况下放置磁场发生器的灵活性。传感器数据可以包括当导管沿已知取向驱动时采集的流数据。流数据可以
包括各种类型的数据，包括但不限于：时间序列数据，诸如由em传感器生成的时空点测量。在一些情况下，当导管按已知取向驱动，可能或可能不在患者体内的时，可以采集时间序列数据。例如，当远侧尖端被放置在诸如支气管或气管的对象内部并且沿已知取向行进时，可以采集em传感器数据点。在一些情况下，导管尖端的z轴和em取向可以在组装或制造期间校准。在一些情况下，导管尖端的z轴可以在沿已知方向驱动导管尖端时或借助ct成像或其他实时成像技术从机器人数据中获得。可以获得导管尖端和em场之间的初始平移变换。随着越来越多的输入传感器数据被采集，这种平移和旋转变换可以在第一阶段期间不断地细化和修改。在一些情况下，第一阶段的平移齐次变换可能会被更新和细化，直到达到阈值。阈值可以是表示准确度已被满足的准确度阈值。备选地或此外，可以连续执行更新(例如，可以在每个时间间隔计算误差)并且可以在进行断层合成靶向时停止更新。
70.在一些情况下，所采集的传感器数据还可以在ct空间(例如，组织)和em空间(例如，导管)之间的平移变换方面提供配准。例如，可以识别em场和患者模型(例如，管腔网络模型的坐标系)之间的配准变换。第二阶段中的这个平移变换可以包括初始平移变换矩阵，该矩阵可以稍后在最终阶段中细化，如本文稍后所述。
71.配准方法的第二阶段703可以包括创建em空间和模型(例如，ct)空间之间的关联。在第二阶段期间，基于在第一阶段中生成的平移信息和实时传感器数据，可以至少部分地生成em空间和ct空间之间的初始变换矩阵。在一些情况下，当导管在气管和/或沿预定义的导航路径的子分支内导航时，可以采集在第二阶段中使用的数据点(例如，em数据)。预定义的导航路径可以定义在ct空间中。如本文别处所述，em数据可以包括关于取向、位置和误差数据的信息。ct空间或解剖模型的坐标系可以在术前过程中或在外科手术期间生成。这类传感器数据点可用于在空间中建立平面，并基于在em空间和ct空间中分别行进的方向距离集(例如，取向和长度)，在em空间和ct空间之间建立关联集。该关联集可以至少部分地基于诸如由em传感器生成的时空数据点的时间序列数据来生成。
72.在一些情况下，可以处理该关联集以识别最佳变换矩阵。例如，可以与3d空间中确定em曲线(例如，em空间中的点云)与已建立的ct曲线(例如，ct空间中的点云)的最佳拟合，以识别最佳变换矩阵。例如，所提供的自动配准方法可以采用具有最近邻和奇异值分解的迭代最近点(icp)算法的修改版本来迭代计算到最优解。值得注意的是，可以采用适合识别最佳拟合的其他算法或变体。
73.图8示出了用于生成两个数据点云(例如，em域点云和ct域点云)之间的初始变换的定制迭代最近点(icp)算法的示例。icp是一种迭代算法，它在基于当前变换估计确定一个形状的每个点的最近邻(nn)和基于nn的更新估计之间交替进行。关联求解器可以接收计算得到的ct空间和em空间中的两组数据点云之间的关联集(例如，cn、xn)，并被执行以获得与关联集最匹配的变换。作为示例，可以使用k最近邻(k-nn)算法来计算关联集。可以在误差最小化步骤期间使用奇异值分解来计算最佳拟合变换。可以修改假设(例如，邻近假设)以将变换平移和旋转软锁定到良好的初始值。
74.分类结果的示例在图9中示出。所提供的方法可以利用专门的数据结构进一步提高k-nn算法的性能，以减少计算时间。图10示出了数据结构(空间数据结构)的示例。专门的数据结构可以是k-d树或八叉树数据结构。由于它们对搜索空间的常规分区和高分支因子，k-d树或八叉树数据结构可以允许nns的有效实现，坐标查询是快速的。也可以使用适合形
状配准和存储效率的其他数据结构。
75.返回参考图8，误差最小化操作可以包括使用奇异值分解来计算最佳拟合变换。例如，可以将奇异值分解应用于关联集以计算最佳变换。奇异值分解方法可用于求解总最小二乘最小化问题。
76.值得注意的是，上述算法可以被其他算法修改或替代。例如，基于概率而不是刚性点位置，可以采用相干点漂移算法来识别最佳拟合变换。该算法可以在旋转点云时对其进行缩放(和/或使用概率收敛使点云变形)，以便计算的特征(通常是质心)遍历概率优化表面，直到与另一个点云对齐。相干点漂移算法或其他基于概率的算法可以减少噪声对数据集的影响。
77.返回参考图7，自动配准算法的第三阶段705可以包括更新在第二阶段产生的初始配准/变换。在一些实施方式中，更新方法可以包括对初始变换的弱实时更新和强实时更新。弱实时更新也可以称为快速间隔更新，并且强实时更新也可以称为慢速间隔更新，它们在整个说明书中可互换使用。更新可以使用实时数据执行而无需用户干预。在一些情况下，更新可能会利用从大型点云采集的实时em传感器数据。在一些情况下，可以从大点云中选择/采样数据点的子集，用于计算误差并基于误差确定是否需要更新。
78.在一些情况下，更新方法可以包括对初始变换的弱实时更新和强实时更新。例如，更新方法可以包括快速间隔细化步骤和慢速间隔重新计算步骤。在一些情况下，每次更新后，可能会重新计算误差，并在误差减小时可更新变换矩阵。
79.快速间隔细化操作(例如，快速间隔更新)可以涉及从大点云(例如，在第三阶段采集的数据点)随机采样数据点的子集。接下来，可以将当前变换和最近邻算法应用于采样集以创建关联集。关联集可以与在第二阶段计算的关联集组合以创建最终点云。最终点云数据可以如第二阶段中的描述被输入到修改后的icp算法中，以生成更新的变换，从而细化当前变换。
80.慢速间隔重新计算操作可以包括与上述类似的更新操作，仅使用最近邻算法，而不利用在第二阶段中生成的初始变换信息或关联集。例如，可以通过将最近邻算法应用到在第三阶段采集的传感器数据来计算关联集，并且变换矩阵可以仅使用第二阶段没有信息的关联集来更新。在一些情况下，数据子集可能是从大型数据集中随机抽取的。备选地或此外，可以基于距离来选择数据子集。例如，基于距离的时间滤波器可用于沿时间路径对均匀分布的点进行采样，并选择这些点用于更新计算。用于过滤的距离可以基于ct扫描和/或患者解剖结构。
81.这样的慢速间隔重新计算操作(即，强更新)可以在较大的时间/点间隔上执行，因为它可能引起“跳变”到下一个局部最小值。在一些情况下，可以以固定间隔(例如，时间间隔、预定数量的数据点等)执行缓慢的重新计算。在一些情况下，当更新误差值开始收敛时，可能会触发缓慢的重新计算，这表明已达到局部或全局最小值。由于初始变换不断被弱更新(即，快速间隔重新计算)细化，而icp算法的迭代中，“跳变”可以确保是所需的步骤或在正确的方向进行。将弱更新(例如，快速间隔细化)和强更新结合起来，以及比强更新更频繁地执行弱更新，可以有益地确保“跳变”在正确的方向上进行，作为细化步骤增加了到不正确的局部最小值的距离而减少了到全局最小值的距离。
82.在更新阶段(例如，快速间隔更新)中数据点的随机采样也可以有益地防止过拟
合。过拟合的发生可能是由于噪声数据，将圆柱数据拟合到单行。随机采样可以提供寻找和细化通用解的能力，而不是从一个局部最小值跳变到另一个局部最小值，从而允许平滑地遍历误差表面并提高配准精度和稳定性。随机采样数据点也可以间接地将初始关联加权到估计关联中(在快速间隔重新计算中计算)。高精度的数据是在第二阶段计算的，由于结构复杂且外围气道之间的间隙较小，因此希望该计算的权重大于最近邻计算。更新步骤中的随机数据采样可以进一步避免陷入可能停止整个配准过程的局部最小值。达到局部最小值可能是不可避免的，主要是因为即使在迭代x处找到全局解，迭代x 1也可能添加数据，导致之前的变换成为局部最小值。随机采样可以有益地平滑迭代和误差计算。
83.在一些实施方式中，自动配准算法还可以采用预处理算法来预处理采集的传感器数据以提高性能。在一些情况下，ramer-douglas-peucker算法可用于预处理两个位置点之间的时间序列数据的大型数据集。该算法递归地找到在简化路径的同时保留整体数据集形状的点。在一些情况下，可以使用诸如指数平滑的算法去除数据集中的噪声，同时保留曲线中的小幅波动。在另一个示例中，可以利用诸如α-β过滤的滤波器来去除数据集中的噪声。在一些情况下，可以使用基于距离的时间滤波器来选择数据子集，如上所述。
84.尽管本文已经示出和描述了本发明的优选实施方式，但是对于本领域技术人员来说容易理解的是，这些实施方式仅作为示例提供。在不背离本发明的情况下，本领域技术人员现在将想到许多变化、改变和替换。应当理解，在实施本发明时可以采用对本文描述的本发明实施方式的各种替代方案。所附权利要求旨在定义本发明的范围，并且这些权利要求范围内的方法和结构及其等同物由此被覆盖。