用于使用点云数据和内窥镜图像数据将器械配准到图像的系统和方法与流程

用于使用点云数据和内窥镜图像数据将器械配准到图像的系统和方法
1.相关申请的交叉引用
2.本技术要求于2020年3月24日提交的美国临时申请no.62/994,205的权益，该申请的全部内容通过引用并入本文。
技术领域
3.本公开涉及用于通过组合点云数据和内窥镜图像数据来配准器械和图像参考系的系统、方法和计算机程序(program)产品。


背景技术：

4.微创医疗技术意图减少医疗程序(medical procedure)期间损伤的组织量，从而减少患者恢复时间、不适和有害副作用。可以通过患者解剖结构中的自然孔口或通过一个或多个外科手术切口执行这种微创技术。通过这些自然孔口或切口，操作者可以插入微创医疗工具以到达目标组织点位。微创医疗工具包括器械，诸如治疗、诊断、活检和外科手术器械等。医疗工具可以插入到解剖通道(passageways)中并朝向患者解剖结构内的感兴趣区域导航。可以使用解剖通道的图像辅助导航。需要改善的系统和方法来准确地执行医疗工具和解剖通道的图像之间的配准。


技术实现要素：

5.本文公开了用于组合位置传感器数据(例如，形状和/或电磁传感器数据)和内窥镜图像数据(例如，视频数据、静止图像等)以改善在(i)作为图像引导的医疗程序的部分的由医疗器械系统导航的患者的解剖区域内的真实患者解剖结构(例如，患者的肺气道)和(ii)(例如，从术前和/或术中成像生成的)解剖区域的图像之间配准的设备、系统、方法和计算机程序产品。
6.在一些实施例中，一种用于在图像引导的医疗程序中使用的医疗器械系统包括位置传感器、图像捕获设备、通信地耦合到位置传感器和图像捕获设备的处理器，以及存储器。位置传感器可以被配置为生成与患者的解剖区域内的生物医疗设备的一个或多个位置相关联的位置传感器数据。图像捕获设备可以被配置为在生物医疗设备位于解剖区域内时捕获解剖区域内的患者解剖结构的第一图像数据。存储器可以存储指令，这些指令在由处理器执行时使医疗器械系统执行包括下列项的操作：(i)至少部分地基于位置传感器数据生成坐标点的点云，(ii)接收解剖区域的第二图像数据，其中第二图像数据是至少部分地基于解剖区域的成像而生成的，(iii)在点云的至少一部分和第二图像数据的至少一部分之间生成配准，和/或(iv)至少部分地基于第一图像数据更新配准。
7.在这些和其他实施例中，一种非瞬态计算机可读介质可以存储指令，这些指令在由计算系统的一个或多个处理器执行时使计算系统执行包括下列项的操作：(i)至少部分地基于使用位置传感器捕获的位置传感器数据生成坐标点的点云，其中位置传感器数据与
患者的解剖区域内的生物医疗设备的一个或多个位置相关联；(ii)接收使用位于解剖区域内的图像捕获设备捕获的患者解剖结构的第一图像数据；(iii)接收解剖区域的第二图像数据，其中第二图像数据至少部分地基于解剖区域的术前或术中成像而生成；(iv)在点云的至少一部分与第二图像数据的至少一部分之间生成配准；和/或(v)至少部分地基于第一图像数据更新配准。
8.在这些和其他实施例中，一种方法可以包括(i)至少部分地基于使用机器人系统的位置传感器捕获的位置传感器数据来生成坐标点的点云，其中位置传感器数据与患者的解剖区域内的生物医疗设备的一个或多个位置相关联；(ii)当机器人系统的图像捕获设备位于解剖区域内时，接收使用图像捕获设备捕获的患者解剖结构的第一图像数据；(iii)接收解剖区域的第二图像数据，其中第二图像数据至少部分地基于解剖区域的术前或术中成像；(iv)在点云的至少一部分和第二图像数据的至少一部分之间生成配准；和/或(v)至少部分地基于第一图像数据的一部分来更新配准。
9.应当理解，前述概括性的描述和以下详细描述本质上都是示例性和解释性的，并且意旨在提供对本公开的理解而不限制本公开的范围。就这一点而言，本公开的附加方面、特征和优点对于本领域技术人员而言从以下详细描述中将是显而易见的。
附图说明
10.参考以下附图可以更好地理解本公开的许多方面。附图中的部件不一定按比例绘制。相反，重点放在清楚地说明本公开的原理上。附图不应被视为将本公开限制于所描绘的具体实施例，而仅用于解释和理解。
11.图1是根据本技术的各种实施例进行配置的机器人或远程操作医疗系统的示意图。
12.图2是根据本技术的各种实施例进行配置的操纵器组件、医疗器械系统和成像系统的示意图。
13.图3是根据本技术的各种实施例的在患者的解剖区域内延伸的图2的医疗器械系统的一部分的示意图。
14.图4图示了根据本技术的各种实施例进行配置的形成点云的多个坐标点，该点云表示图3的医疗器械系统的该部分的形状。
15.图5图示了根据本技术的各种实施例的从在图3的解剖区域内延伸的图3的医疗器械系统的该部分的视点来看的真实患者解剖结构的真实导航图像。
16.图6图示了根据本技术的各种实施例的当图3的医疗器械系统的该部分在解剖区域内延伸时图3的解剖区域的一部分的术中图像。
17.图7是根据本技术的各种实施例的显示系统的显示器的示意图，该显示系统的显示器显示合成虚拟导航图像、虚拟患者解剖结构的虚拟导航图像和解剖区域内的真实患者解剖结构的真实导航图像，在合成虚拟导航图像中，图2和图3的医疗器械系统被配准到图3的解剖区域的解剖模型。
18.图8是根据本技术的各种实施例的图示使用内窥镜图像数据将患者的解剖区域的图像与坐标点的点云配准的方法的流程图。
19.图9是根据本技术的各种实施例的患者的解剖区域和从在解剖区域内延伸不同深
度的医疗器械系统的视点来看的解剖区域内的真实患者解剖结构的真实导航图像的示意图。
20.图10图示了根据本技术的各种实施例的从在患者的解剖区域内延伸的医疗器械系统的视点来看的患者解剖结构的真实导航图像。
21.图11a和图11b图示了描绘在解剖区域的解剖模型内的点位处从医疗器械系统的视点来看的图10的解剖区域的虚拟患者解剖结构的虚拟导航图像，该解剖区域的解剖模型内的点位对应于在解剖区域内延伸的医疗器械系统的点位。
22.图12图示了描绘在解剖区域的解剖模型内的点位处从医疗器械系统的视点来看的解剖区域的虚拟患者解剖结构的虚拟导航图像，该解剖区域的解剖模型内的点位对应于在解剖区域内延伸的医疗器械系统的点位。
23.图13a-图13c图示了从在解剖区域内延伸不同深度的医疗器械系统的视点来看在图11的解剖区域内的患者解剖结构的真实导航图像。
具体实施方式
24.本公开涉及用于组合位置传感器数据(例如，形状和/或电磁传感器数据)和内窥镜图像数据(例如，视频数据、静止图像等)以改善在(i)作为图像引导的医疗程序的一部分的由医疗器械系统导航的患者的解剖区域内的真实患者解剖结构(例如，患者的肺气道)和(ii)(例如，从术前和/或术中成像生成的)解剖区域的图像之间配准的设备、系统、方法和计算机程序产品。当被充分配准时，解剖区域内的医疗器械系统的跟踪位置可以映射到解剖区域的解剖模型内的正确位置，以用于引导医疗器械系统在整个解剖区域的导航和/或用于引导与在解剖区域内和/或其附近的表面下结构的相互作用(例如，用于引导肺结节的活检和/或治疗)。特别地，本技术在配准后在医疗器械系统的点位处从解剖模型内生成的解剖区域内的医疗器械系统的视点以虚拟导航(例如，飞越)图像的形式提供视觉引导。
25.在一些实施例中，将真实患者解剖结构配准到解剖模型的步骤包括：(a)在患者的整个解剖区域中导航医疗器械系统，(b)生成表示由医疗器械系统(例如，的远侧部分)访问(visited)的点位的坐标点的点云，以及(c)将点云(使用迭代最近点算法)配准到解剖区域的图像(例如，分割的ct图像)。在这些和其他实施例中，本技术使用安装到医疗器械系统的远侧部分(或另一个合适的点位)的内窥镜或其他图像捕获设备捕获包括解剖区域内的真实患者解剖结构的真实导航图像的内窥镜图像数据(例如，视频数据、静止图像等)。在这些和其他实施例中，本技术至少部分地基于配准来计算虚拟导航图像。虚拟导航图像从医疗器械系统的远侧部分(或另一合适点位)的视角描绘解剖区域的虚拟患者解剖结构。
26.在一些实施例中，虚拟患者解剖结构的虚拟导航图像与解剖区域的真实患者解剖结构的真实导航图像匹配的程度提供坐标点的点云与解剖区域的(例如，具有分割ct图像的)图像配准的程度的指示。因此，本技术利用由真实和虚拟导航图像两者提供的信息来改善从由医疗器械系统捕获的数据生成的点云与解剖区域的术前和/或术中图像的配准。在活检医疗程序的上下文中，本技术由此增加了感兴趣区域(例如，肿瘤位置估计)的定位准确性，这增加了成功导航患者的解剖区域的概率以及有效诊断和治疗疾病(例如，有效地活检或消融小肺肿瘤)的概率。
27.a.机器人或远程操作医疗系统和相关联的设备、系统和方法的实施例
28.1.机器人或远程操作医疗系统和相关联的设备和系统
29.图1是根据本技术的各种实施例进行配置的机器人或远程操作医疗系统100(“医疗系统100”)的示意图。如图所示，医疗系统100包括操纵器组件102、医疗器械系统104、主控组件106和控制系统112。操纵器组件102支撑医疗器械系统104并在主控组件106和/或控制系统112的指导下驱动医疗器械系统104以在外科手术环境101中对位于手术台107上的患者103执行各种医疗程序。在这方面，主控组件106通常包括一个或多个控制设备，该一个或多个控制设备由操作者105(例如，医师)操作以控制操纵器组件102。附加地或可替代地，控制系统112包括计算机处理器114和至少一个存储器116，以用于实现医疗器械系统104、主控组件106和/或医疗系统100的其他部件之间的控制。控制系统112还可以包括用以实施本文公开的任何一种或多种方法的程序化指令(例如，存储这些指令的非瞬态机器可读介质)，包括用于向显示系统110提供信息的指令和/或用于处理数据以将医疗器械系统104与患者103的解剖模型配准的指令(如下文更详细的描述)。操纵器组件102可以是远程操作的、非远程操作的或混合的远程操作和非远程操作的组件。因此，主控组件106的全部或部分和/或控制系统112的全部或部分可以位于外科手术环境101的内部或外部。
30.为了帮助操作者105在图像引导的医疗程序期间控制操纵器组件102和/或医疗器械系统104，医疗系统100还可以包括位置传感器系统108、内窥镜成像系统109、成像系统118和/或虚拟可视化系统115。在一些实施例中，位置传感器系统108包括用于捕获医疗器械系统104的位置传感器数据(例如，位置、取向、速度、速率、姿势、形状等)的点位传感器系统(例如，电磁(em)传感器系统)和/或形状传感器系统。在这些和其他实施例中，内窥镜成像系统109包括一个或多个图像捕获设备(未示出)，其记录包括患者解剖结构的并发或实时图像(例如，视频、静止图像等)的内窥镜图像数据。由内窥镜成像系统109捕获的图像可以是例如由位于患者103内的图像捕获设备捕获的患者解剖结构的二维或三维图像，并且在下文中称为“真实导航图像”。
31.在一些实施例中，医疗器械系统104可以包括位置传感器系统108的部件和/或内窥镜成像系统109的部件。例如，位置传感器系统108的部件和/或内窥镜成像系统109的部件可以一体地或可移除地耦合到医疗器械系统104。附加地或可替代地，内窥镜成像系统109可以包括附接到单独的操纵器组件(未示出)的单独的内窥镜(未示出)，其可以结合医疗器械系统104一起使用以对患者解剖结构进行成像。位置传感器系统108和/或内窥镜成像系统109可以实施为与一个或多个计算机处理器(诸如控制系统112的(一个或多个)计算机处理器114)交互或以其他方式由其执行的硬件、固件、软件或其组合。
32.医疗系统100的成像系统118可以在患者103附近布置在外科手术环境101中，以在医疗程序之前、期间和/或之后获得患者103的实时和/或接近实时的图像。在一些实施例中，成像系统118包括用于生成三维图像的移动c臂锥形束计算机断层扫描(ct)成像系统。例如，成像系统118可以包括来自西门子公司(siemens corporation)的dynact成像系统，或其他合适的成像系统。在这些和其他实施例中，成像系统118可以包括其他成像技术，包括磁共振成像(mri)、荧光透视、热影像、超声、光学相干断层扫描(oct)、热成像、阻抗成像、激光成像、纳米管x射线成像和/或类似技术。
33.当在图像引导的医疗程序期间控制医疗器械系统104时，控制系统112的虚拟可视化系统115向操作者105提供导航和/或解剖结构交互辅助。如下文更详细描述的，使用虚拟
可视化系统115的虚拟导航可以至少部分地基于参考患者103的解剖通道的所获取的术前或术中数据集(例如，至少部分地基于参考由位置传感器系统108、内窥镜成像系统109和/或成像系统118生成的数据)。在一些实施方式中，例如，虚拟可视化系统115处理由成像系统118捕获的患者103的解剖区域的术前和/或术中图像数据以生成解剖区域的解剖模型(未示出)。然后，虚拟可视化系统115将解剖模型配准到由位置传感器系统108生成的位置传感器数据和/或由内窥镜成像系统109生成的内窥镜图像数据，以(i)将解剖区域内的医疗器械系统104的跟踪位置、取向、姿势、形状，和/或移动映射到解剖模型内的正确位置，和/或(ii)在与患者103内的医疗器械系统104的点位相对应的解剖模型内的点位处从医疗器械系统104的视点来看确定解剖区域的虚拟患者解剖结构的虚拟导航图像。
34.显示系统110可以显示由位置传感器系统108、内窥镜成像系统109、成像系统118和/或虚拟可视化系统115生成的患者解剖结构和/或医疗器械系统104的各种图像或表示(representations)。在一些实施例中，显示系统110和/或主控组件106可以被取向成使得操作者105可以在远程呈现感知下控制操纵器组件102、医疗器械系统104、主控组件106和/或控制系统112。
35.如上所述，操纵器组件102在主控组件106和/或控制系统112的指导下驱动医疗器械系统104。在这方面，操纵器组件102可以包括可以是机动的和/或远程操作的选择运动自由度以及可以是非机动的和/或非远程操作的选择运动自由度。例如，操纵器组件102可以包括多个致动器或马达(未示出)，其响应于从控制系统112接收的命令驱动医疗器械系统104上的输入。致动器可以包括驱动系统(未示出)，该驱动系统在耦合到医疗器械系统104时可以将医疗器械系统104推进到自然或外科手术创建的解剖孔口中。其他驱动系统可以以多个自由度移动医疗器械系统104的远侧部分(未示出)，多个自由度可以包括三个线性运动自由度(例如，沿x、y、z笛卡尔轴线的线性运动)和三个旋转运动自由度(例如，围绕x、y、z笛卡尔轴线的旋转)。附加地或可替代地，致动器可以被用于致动医疗器械系统104的可铰接末端执行器(例如，用于将组织抓取在活检设备的钳口(jaw)中和/或类似用途)。
36.图2是外科手术环境101内的并且根据本技术的各种实施例进行配置的图1的操纵器组件102、医疗器械系统104和成像系统118在示意图。如图2所示，外科手术环境101具有外科手术参考系(xs，ys，zs)，其中患者103位于手术台107上，并且医疗器械系统104在外科手术环境101内具有医疗器械参考系(xm，ym，zm)。在医疗程序期间，在可以通过镇静、约束和/或其他手段来限制总的患者移动的意义上讲，患者103在外科手术环境内可以是静止的。在这些和其他实施例中，患者103的循环解剖运动(包括呼吸和心脏运动)可以继续，除非告诉患者103屏住他或她的呼吸以暂时中止呼吸运动。
37.操纵器组件102包括安装到插入台228的器械托架226。在所示实施例中，插入台228是线性的，而在其他实施例中，插入台228是弯曲的或具有弯曲和线性区段的组合。在一些实施例中，插入台228固定在外科手术环境101内。可替代地，插入台228可以在外科手术环境101内可移动但在外科手术环境101内具有已知点位(例如，经由跟踪传感器(未示出)或其他跟踪设备)。在这些备选方案中，医疗器械参考系(xm，ym，zm)相对于外科手术参考系(xs，ys，zs)是固定的或以其他方式已知的。
38.图2的医疗器械系统104包括细长设备231、医疗器械232、器械主体235、位置传感器系统108的至少一部分和内窥镜成像系统109的至少一部分。在一些实施例中，细长设备
231是柔性导管或限定通道或内腔244的其他生物医疗设备。通道244的尺寸和形状可以设置为接收医疗器械232(例如，经由细长设备231的近端236和/或器械端口(未示出))并且便于将医疗器械232递送到细长设备231的远侧部分238。细长设备231耦合到器械主体235，器械主体235进而耦合到操纵器组件102的器械托架226并相对于其固定。
39.在操作中，操纵器组件102可以控制细长设备231经由患者103的自然或外科手术创建的解剖孔口进入患者103的插入运动(例如，沿轴线a的近侧和/或远侧运动)，以便于将细长设备231导航穿过患者103的解剖区域的解剖通道和/或便于将细长设备231的远侧部分238递送到患者103内的目标点位或其附近。例如，器械托架226和/或插入台228可以包括致动器(未示出)，诸如伺服马达，该致动器便于控制器械托架226沿插入台228的运动。附加地或可替代地，在一些实施例中，操纵器组件102可以控制细长设备231的远侧部分238在多个方向上的运动，包括偏航、俯仰和滚转旋转方向(例如，以导航患者解剖结构)。为此，细长设备231可以容纳或包括线缆、连杆和/或其他操纵(steering)控件(未示出)，操纵器组件102可以使用它们来可控地弯曲细长设备231的远侧部分238的。例如，细长设备231可以容纳至少四根线缆，操纵器组件102可以使用这些线缆来提供(i)用以控制细长设备231的远侧部分238的俯仰的独立的“上下”操纵和(ii)用以控制细长设备231的远侧部分238的偏航的细长设备231的独立的“左右”操纵。
40.医疗器械系统104的医疗器械232可用于医疗程序，诸如解剖通道的测绘、外科手术、活检、消融、照明、冲洗和/或抽吸。因此，医疗器械232可以包括图像捕获探针、活检器械、激光消融纤维和/或其他外科手术、诊断和/或治疗工具。例如，医疗器械232可以包括内窥镜或其他生物医疗设备，其具有位于医疗器械232的远侧部分237和/或沿着医疗器械232的其他点位处的一个或多个图像捕获设备247。在这些实施例中，当医疗器械232在患者103的解剖区域内时，图像捕获设备247可以捕获解剖通道和/或其他真实患者解剖结构的一个或多个真实导航图像或视频(例如，一个或多个真实导航图像帧的序列)。
41.如上所讨论的，医疗器械232可以经由由细长设备231限定的通道244部署到和/或递送到患者103内的目标点位。在医疗器械232包括内窥镜或在其远侧部分237具有图像捕获设备247的其他生物医疗设备的实施例中，图像捕获设备247可以在操纵器组件102将细长设备231的远侧部分238导航到患者103内的目标点位之前、期间和/或之后推进到细长设备231的远侧部分238。在这些实施例中，医疗器械232可以被用作测绘器械以捕获解剖通道和/或其他真实患者解剖结构的真实导航图像，和/或帮助操作者(未示出)以将细长设备231的远侧部分238穿过解剖通道导航到目标点位。
42.作为另一个示例，在操纵器组件102将细长设备231的远侧部分238定位在患者103内的目标点位附近之后，医疗器械232可以推进超过细长设备231的远侧部分238以在目标点位处执行医疗程序。继续该示例，在目标点位处的所有或部分医疗程序完成之后，医疗器械232可以缩回到细长设备231中，并且附加地或可替代地，从细长设备231的近端236或从沿着细长设备231的另一个器械端口(未示出)移除医疗器械232。
43.如图2所示，医疗器械系统104的位置传感器系统108包括形状传感器233和位置测量设备239。在这些和其他实施例中，位置传感器系统108可以包括其他位置传感器(例如，加速度计、旋转编码器等)，以附加于或替代形状传感器233和/或位置测量设备239。
44.位置传感器系统108的形状传感器233包括在细长设备231内延伸并与细长设备
231对准的光纤。在一个实施例中，形状传感器233的光纤具有大约200μm的直径。在其他实施例中，光纤的直径可以更大或更小。形状传感器233的光纤形成光纤弯曲传感器，其被用于确定细长设备231的形状、取向和/或姿势。在一些实施例中，可以使用具有光纤布拉格光栅(fbg)的光纤提供一维或多维的结构中的应变测量。在美国专利申请公开no.2006/0013523(2005年7月13日提交)(公开了光纤位置和形状感测设备及其相关方法)；美国专利no.7,781,724(2006年9月26日提交)(公开了光纤位置和形状感测设备及其相关方法)；美国专利no.7,772541(2008年3月12日提交)(公开了基于瑞利散射的光纤位置和/或形状感测)；以及美国专利no.6,389,187(1998年6月17日提交)(公开了光纤弯曲传感器)中更详细地描述了用于在三个维度上监测光纤的形状和相对位置的各种系统和方法，上述专利申请或专利的全部内容通过引用并入本文。在这些和其他实施例中，本技术的传感器可以采用其他合适的应变感测技术，诸如瑞利散射、拉曼散射、布里渊散射和荧光散射。在这些和其他实施例中，细长设备231的形状可以使用其他技术来确定。例如，细长设备231的远侧部分238的姿势的历史可以被用于在时间间隔内重建细长设备231的形状。
45.在一些实施例中，形状传感器233固定在医疗器械系统104的器械主体235上的近侧点234处。在操作中，例如，形状传感器233测量医疗器械参考系(xm，ym，zm)中从近侧点234到沿光纤的另一点(诸如细长设备231的远侧部分238)的形状。形状传感器233的近侧点234可以与器械主体235一起可移动，但近侧点234的点位可以是已知的(例如，经由跟踪传感器(未示出)或其他跟踪设备)。
46.当器械主体235在操纵器组件102的插入台228上沿插入轴线a移动时，位置传感器系统108的位置测量设备239提供关于器械主体235的位置的信息。在一些实施例中，位置测量设备239包括解算器、编码器、电位计和/或确定控制操纵器组件102的器械托架226的运动并因此控制医疗器械系统104的器械主体235的运动的致动器(未示出)的旋转和/或取向的其他传感器。
47.图3是根据本技术的各种实施例的在患者103的解剖区域350(例如，人肺)内延伸的图2的医疗器械系统104的一部分的示意图。特别是，图3图示了在解剖区域350的分支解剖通道352内延伸的医疗器械系统104的细长设备231。解剖通道352包括气管354和多个支气管356。
48.如图3所示，细长设备231在解剖区域350内具有位置、取向、姿势和形状，其全部或部分(附加于或代替移动，诸如速度或速率)可以被图1和图2的位置传感器系统108(例如，通过形状传感器233和/或位置测量设备239(图2))捕获为位置传感器数据以测绘解剖区域350的解剖通道352。具体而言，位置传感器系统108可以通过收集医疗器械参考系(xm，ym，zm)中解剖区域350内的医疗器械系统104的位置传感器数据来测绘解剖通道352。位置传感器数据可以至少部分地被记录为一组二维或三维坐标点。在解剖区域350是人肺的示例中，当细长设备231被推进穿过气管354和支气管356时，坐标点可以表示细长设备231的远侧部分238和/或细长设备231的其他部分的点位。在这些和其他实施例中，当细长设备231被推进穿过解剖区域350时，坐标点的集合可以表示细长设备231的(一个或多个)形状。在这些和其他实施例中，坐标点可以表示医疗器械系统104的其他部分(例如，医疗器械232(图2))的位置数据。
49.坐标点可以一起形成点云。例如，图4图示了根据本技术的各种实施例的形成点云
460的多个坐标点462，当细长设备231位于解剖区域350(图3)内时，该点云表示图3的细长设备231的形状。特别地，当细长设备231处于图3所示的静止位置时，图4的点云460由位置传感器系统108(图2)记录的坐标点462的全部或子集的联合(union)生成。
50.在一些实施例中，点云(例如，点云460)可以包括在跨越解剖区域350内的细长设备231的多个形状、位置、取向和/或姿势的图像捕获时段期间由位置传感器系统108记录的坐标点的全部或子集的联合。在这些实施例中，点云可以包括由位置传感器系统108捕获的坐标点，这些坐标点表示在图像捕获时段期间当细长设备231被推进或移动穿过患者解剖结构时细长设备231的多种形状。附加地或可替代地，由于患者103内的细长设备231的配置(包括形状和点位)可以在图像捕获时段期间由于解剖学运动而改变，所以在一些实施例中当细长设备231在患者103内被动移动时，点云可以包括由位置传感器系统108捕获的表示细长设备231的形状的多个坐标点462。如下文更详细描述的，可以将由位置传感器系统108捕获的坐标点的点云配准到患者解剖结构的不同的模型或数据集。
51.再次参考图2，医疗器械系统104的内窥镜成像系统109包括一个或多个图像捕获设备247，其被配置为当细长设备231和/或医疗器械232在患者103的解剖区域(例如，图3的解剖区域350)内时捕获真实患者解剖结构(例如图3的解剖通道352)的一个或多个真实导航图像。例如，内窥镜成像系统109可以包括图像捕获设备247，其位于医疗器械232的远侧部分237处。在这些和其他实施例中，内窥镜成像系统109可以包括一个或多个图像捕获设备(未示出)，其位于沿着医疗器械232和/或沿着细长设备231的其他点位处(例如，在细长设备231的远侧部分238处)。
52.在图3所示的实施例中，医疗器械232(图2)的图像捕获设备247被推进到并位于细长设备231的远侧部分238处。在该实施例中，当时细长设备231被导航穿过解剖区域350的气管354和支气管356时，图像捕获设备247可以通过捕获解剖通道352的真实导航图像来测绘解剖通道352。
53.图5是经由图像捕获设备247(图3)捕获的图3的解剖区域350的患者解剖结构(例如解剖通道352之一)的真实导航图像570(例如，静止图像、视频的图像帧等)的示例。如图所示，真实导航图像570从医疗器械232(图2)的视点示出解剖区域350内的两个解剖通道352的分支点或隆突(carina)571。在该示例中，因为图像捕获设备247分别位于医疗器械232和细长设备231(图3)的远侧部分237和238，所以真实导航图像570的视点是从医疗器械232的远侧部分237，使得医疗器械232和细长设备231在真实导航图像570内不可见。在其他实施例中，图像捕获设备247可以位于沿着医疗器械232和/或沿着细长设备231(图2和图3)的另一个点位。在这些实施例中，内窥镜成像系统109(图2)可以从医疗器械232和/或细长设备231的对应的视点捕获真实导航图像。医疗器械232和/或细长设备的一部分可以在这些真实导航图像内可见，具体取决于医疗器械232和细长设备231相对于彼此的位置。
54.再次参考图2，由内窥镜成像系统109捕获的真实导航图像可以便于将细长设备231的远侧部分238导航穿过患者解剖结构(例如，穿过图3的解剖通道352)和/或将细长设备231的远侧部分递送到患者103内的目标点位。在这些和其他实施例中，由内窥镜成像系统109捕获的真实导航图像可以便于(i)导航医疗器械232的远侧部分237超过细长设备231的远侧部分238，(ii)将医疗器械232的远侧部分237递送到患者103内的目标点位，和/或(iii)在医疗程序期间将患者解剖结构可视化。在一些实施例中，由内窥镜成像系统109捕
获的每个真实导航图像可以与时间戳和/或记录在医疗器械参考系(xm，ym，zm)中的位置相关联。如下面更详细描述的，由内窥镜成像系统109捕获的真实导航图像因此可以用于改善由位置传感器系统108生成的坐标点的点云(例如，图4的点云460)和由成像系统118捕获的图像数据之间的配准。
55.如图2所示，成像系统118布置在患者103附近以获得患者103(例如，图3的解剖区域350)的三维图像。在一些实施例中，成像系统118包括一种或多种成像技术，包括ct、mri、荧光透视、热影像、超声、光学相干断层扫描(oct)、热成像、阻抗成像、激光成像、纳米管x射线成像和/或类似成像技术。成像系统118被配置为在细长设备231在患者103内延伸之前、期间和/或之后生成患者解剖结构的图像数据。因此，成像系统118可以被配置为捕获患者解剖结构的术前、术中和/或术后三维图像。在这些和其他实施例中，成像系统118可以提供患者解剖结构的实时或接近实时的图像。
56.图6图示了当医疗器械系统104的细长设备231在解剖区域350内延伸时，由成像系统118(图2)在图像捕获时段期间捕获的图3的解剖区域350的部分655的术中图像数据680的示例。如图所示，图像数据680包括表示细长设备231的图形元素682和表示解剖区域350的解剖通道352的图形元素681。
57.图像数据680的图形元素681和682的全部或部分可以被分割和/或过滤以生成解剖区域350的部分655内的解剖通道352的虚拟三维模型(有或没有医疗器械系统104)。在一些实施例中，图形元素681和682可以附加地或可替代地被分割和/或过滤以至少部分地基于当医疗器械系统104在解剖区域350内时由成像系统118(图2)捕获的图像来生成医疗器械系统104的图像点云(未示出)。在分割过程期间，从图像数据680生成的像素或体素可以被划分成段或元素或被标识以指示它们共享某些特性或计算的属性，诸如颜色、密度、强度和纹理。然后可以将段或元素转换为解剖模型和/或医疗器械系统104的图像点云。附加地或可替代地，段或元素可以被用于定位(例如，计算)和/或定义沿着解剖通道352延伸的中心线或其他点。生成的解剖模型和/或图像点云可以是二维或三维的并且可以在图像参考系(xi，yi，zi)中生成。
58.如上面关于图1所讨论的，医疗系统100(图1)的显示系统110(图1)可以至少部分地基于由位置传感器系统108、内窥镜成像系统109、成像系统118和/或虚拟可视化系统115捕获的和/或生成的数据而显示患者解剖结构和/或医疗器械系统104的各种图像或表示。在各种实施方式中，图像和/或表示可以被系统用于辅助操作者105(图1)进行图像引导的医疗程序。
59.图7是根据本技术的各种实施例的由显示系统110(图1)产生的示例显示器710的示意图。如图所示，显示器710包括真实导航图像770、合成虚拟导航图像791(也称为“合成虚拟图像791”)和虚拟导航图像792。真实导航图像770可以与图5的真实导航图像570基本相同。因此，例如，真实导航图像770可以由内窥镜成像系统109(图2)捕获并提供给显示系统110(图1)以实时或接近实时呈现在显示器710上。在所示实施例中，真实导航图像770图示了从远离医疗器械232(图2)的远侧部分237远侧取向的视点来看的真实患者解剖结构(例如，隆突771标记了两个解剖通道352的分支点)。
60.图7的合成虚拟图像791被显示在图像参考系(xi，yi，zi)中并且包括从由成像系统118(图2)捕获的图3的解剖区域350的图像数据生成的解剖模型750。解剖模型750与由位置
传感器系统108(图2)生成的坐标点的点云(例如，图4的点云460)配准(即，动态地参考)，以在解剖模型750内显示患者103(图2)内的医疗器械系统104(例如，图2的细长设备231)的跟踪位置、形状、姿势、取向和/或移动的表示704。在一些实施例中，合成虚拟图像791由控制系统112(图1)的虚拟可视化系统115(图1)生成。生成合成虚拟图像791涉及将图像参考系(xi，yi，zi)与外科手术参考系(xs，ys，zs)和/或医疗器械参考系(xm，ym，zm)配准。该配准可以通过由位置传感器系统108捕获的点云的坐标点(例如，图4的点云460的坐标点462)的刚性和/或非刚性变换来旋转、平移或以其他方式操纵，以将坐标点与解剖模型750对准。图像和外科手术/器械参考系之间的配准可以例如通过使用基于点的迭代最近点(icp)技术来实现，如美国临时专利申请no.62/205,440和62/205,433，其全部内容通过引用并入本文。在其他实施例中，可以使用另一种点云配准技术来实现配准。
61.至少部分地基于配准，虚拟可视化系统115可以附加地或可替代地生成虚拟导航图像(例如，图7的虚拟导航图像792)，其包括从在解剖模型750内的医疗器械系统104(图3)的表示704上的虚拟相机的视点来看的患者解剖结构的虚拟描绘。在图7所图示的实施例中，虚拟导航图像792的虚拟相机位于表示704的远侧部分737处，使得(i)虚拟导航图像792的虚拟视点远离表示704的远侧部分737向远侧定向，并且(ii)表示704在虚拟导航图像792内不可见。在其他实施例中，虚拟可视化系统115可以将虚拟相机定位在(a)沿着表示704的另一个点位处和/或(b)在不同的取向使得虚拟导航图像792具有对应的虚拟视点。在一些实施例中，依据虚拟相机的位置和取向以及细长设备231和医疗器械232在患者103内相对于彼此的位置，虚拟可视化系统115可以将细长设备231和/或医疗器械232的至少一部分的虚拟表示(未示出)渲染(render)到虚拟导航图像792中。
62.在一些实施例中，虚拟可视化系统115可以以与图像捕获设备247在患者103(图2)内的位置和取向相对应的位置和取向将虚拟相机放置在解剖模型750内。如图7进一步所示，虚拟导航图像792从与由图像捕获设备247(图2)捕获的真实导航图像770的点位基本相同的点位图示了虚拟患者解剖结构，诸如隆突701，其标记解剖模型750的两个解剖通道752的分支点。因此，虚拟导航图像792在图3的解剖区域350内的给定点位处提供对图像捕获设备247可见的患者解剖结构的渲染估计。因为虚拟导航图像792至少部分地基于由位置传感器系统108生成的点云和由成像系统118捕获的图像数据的配准，所以虚拟导航图像792和真实导航图像770之间的对应关系提供关于配准的准确性的洞察力并且可以被用于改善配准，如下面更详细描述的。此外，由内窥镜成像系统109(图2)捕获的真实导航图像(例如，真实导航图像770)可以(a)提供关于在患者103内的医疗器械系统104(图1)的位置和取向的信息，(b)提供关于医疗器械系统实际访问的解剖区域的部分的信息，和/或(c)帮助识别靠近医疗器械系统104的患者解剖结构(例如，解剖通道的分支点)，其中任何一项或多项可以被用于改善配准的准确性，如下面更详细描述的。
63.如图7进一步所示，虚拟导航图像792可以可选地包括导航路径叠加(overlay)799。在一些实施例中，导航路径叠加799被用于帮助操作者105(图1)导航医疗器械系统104(图1)穿过解剖区域的解剖通道到患者103内的目标点位。例如，导航路径叠加799可以图示穿过解剖区域的“最佳”路径，以供操作者105遵循以将医疗器械232和/或细长设备231的远侧部分237和/或238分别递送到患者103内的目标点位。在一些实施例中，导航路径叠加799可以与对应的解剖通道的中心线或沿着对应的解剖通道(例如，的底部)的另一条线对准。
64.2.相关联的方法
65.图8是根据本技术的各种实施例的图示用于使用内窥镜图像数据将患者解剖结构的图像配准到坐标点的点云的方法800的流程图。方法800被图示为一组步骤或过程801-808，并且在下文中参考图7和图9-图13c至少部分地描述。方法800的步骤的全部或子集可以由机器人或远程操作系统的各种部件或设备执行，诸如图1中所示的系统100或其他合适的系统。例如，方法800的步骤的全部或子集可以由(i)操纵器组件102、(ii)医疗器械系统104、(iii)主控组件106、(iv)位置传感器系统108、(v)内窥镜成像系统109、(vi)显示系统110、(vii)控制系统112、(viii)虚拟可视化系统115，和/或(ix)成像系统118的部件或设备执行。附加地或可替代地，方法800的步骤的全部或子集可以由系统100的操作者(例如医师、用户等)执行。此外，方法800的步骤中的任何一个或多个可以根据上面的讨论来执行。
66.在步骤801处，方法800记录医疗器械系统的位置传感器数据。在一些实施例中，使用位置传感器系统(例如，图1和图2的位置传感器系统108)记录位置传感器数据。位置传感器数据可以在位置传感器系统的数据捕获时段期间被记录。数据捕获时段可以对应于其间位置传感器系统的形状传感器和/或一个或多个其他位置传感器被激活以收集和记录位置传感器数据的时间段。在数据捕获时段期间，医疗器械系统可以是静止的，可以经受命令的移动(例如，操作者命令的推进或弯曲)，和/或可以是被动移动的(例如，不经受命令的移动但经受来自呼吸活动、心脏活动或其他自愿或非自愿患者运动的解剖学运动)。
67.如上文更详细讨论的，当医疗器械系统的至少一部分位于患者体内时，位置传感器数据提供医疗器械系统的位置信息(形状、位置、取向、姿势、移动等)。例如，位置传感器数据可以包括形状数据。在这些和其他实施例中，位置传感器数据可以包括与医疗器械系统的细长设备(例如，图1和图2的细长设备231)和/或医疗器械(例如，图2的医疗器械232)的远端和/或沿着细长设备和/或医疗器械的其他点相关的位置信息。在一些实施例中，位置传感器数据可以至少部分地被记录为医疗器械参考系(xm，ym，zm)中的二维或三维中的一个或多个坐标点，该医疗器械参考系(xm，ym，zm)相对于外科手术环境的外科手术参考系(xs，ys，zs)是已知的。在这些和其他实施例中，每个坐标点可以与时间戳相关联，时间戳可以被记录为位置传感器数据的部分。
68.在步骤802处，方法800从记录的位置传感器数据生成点云。在一些实施例中，点云是从在位置传感器系统的数据捕获时段期间在步骤801处记录的所有坐标点或坐标点的子集的联合生成的。在这些和其他实施例中，当医疗器械系统是静止的和/或在患者体内主动或被动地移动时，点云表示医疗器械系统的一种或多种形状。点云可以在医疗器械参考系(xm，ym，zm)中以二维或三维生成。
69.在步骤803处，方法800捕获患者解剖结构的内窥镜图像数据。在一些实施例中，使用内窥镜成像系统(例如，图1和图2的内窥镜成像系统109)来捕获内窥镜图像数据。可以在内窥镜成像系统的图像捕获时段期间捕获内窥镜图像数据。图像捕获时段可以对应于其间内窥镜成像系统109的至少一个图像捕获设备被激活以收集和记录内窥镜图像数据的时间段。在图像捕获时段期间，医疗器械系统可以是静止的，可以经受命令的移动(例如，操作者命令的推进或弯曲)，和/或可以是被动移动的(例如，不经受命令的移动但经受来自呼吸活动、心脏活动或其他自愿或非自愿患者运动的解剖学运动)。
70.如上面更详细地讨论的，内窥镜图像数据从医疗器械系统的视点捕获一个或多个
图像(例如，静止图像、视频等)。例如，内窥镜成像系统的图像捕获设备可以安装到医疗器械系统的远端(例如，安装到图2的细长设备231的远侧部分238和/或医疗器械232的远侧部分237)。此外，图像捕获设备可以被取向为使得图像捕获设备的视场基本上平行于由医疗器械系统的至少远端部分限定并远离医疗器械系统投影的轴线。在这些实施例中，内窥镜图像数据可以包括在医疗器械系统的远端的前面(例如，更远)的对象的一个或多个图像。因此，继续该示例，当医疗器械系统的远端位于患者的解剖区域内时，内窥镜图像数据可以包括医疗器械系统的远端的前面(例如，更远)的患者解剖结构的一个或多个真实导航图像。内窥镜成像系统的图像捕获设备的其他安装位置和/或其他取向当然是可能的并且在本技术的范围内。在一些实施例中，内窥镜图像数据的每个真实导航图像与时间戳相关联，该时间戳可以被记录为内窥镜图像数据的部分。附加地或可替代地，当图像捕获设备捕获真实导航图像时，图像捕获设备的位置可以是已知的并且以医疗器械参考系(xm，ym，zm)记录为内窥镜图像数据的部分。
71.在步骤804处，方法800捕获、接收和/或处理患者的图像数据并生成解剖模型。在一些实施例中，使用成像系统(例如，图1和图2的成像系统118)来捕获图像数据。例如，可以使用ct成像系统捕获图像数据。可以在成像系统的图像捕获时段期间捕获、接收和/或处理图像数据。图像捕获时段可以对应于其间成像系统被激活的时间段。在一些实施例中，图像捕获时段可以是术前的，使得在医疗器械系统推进到患者体内之前捕获、接收和/或处理图像数据。在这些和其他实施例中，图像捕获时段可以是术中的，使得当医疗器械系统位于患者体内时捕获、接收和/或处理患者的图像数据。在这些实施例中，医疗器械系统在图像捕获时段期间可以是静止的，可以在图像捕获时段期间经受命令的移动(例如，操作者命令的推进或弯曲)，和/或可以在图像捕获时段期间被动地移动(例如，不经受命令的运动但经受来自呼吸活动、心脏活动或其他自愿或非自愿患者运动的解剖学运动)。在又一些实施例中，图像捕获时段可以是术后的，使得在从患者移除医疗器械系统之后捕获、接收和/或处理患者的图像数据。在一些实施例中，可以实时或接近实时地捕获、接收和/或处理图像数据。
72.如上面更详细地讨论的，患者的图像数据包括表示患者的解剖学特征的图形元素和(在术中图像数据的情况下)表示医疗器械系统的图形元素。通过分割和过滤被包括在图像数据中的图形元素来生成患者的解剖学特征的模型。在分割过程期间，从图像数据生成的像素或体素可以被分割成段或元素和/或被标识以指示它们共享某些特性或计算的属性，诸如颜色、密度、强度和纹理。在一些实施例中，可以对少于所有的图像数据进行分割和过滤。然后将与患者的解剖学特征相关联的段或元素转换为解剖模型，该模型在图像参考系(xi，yi，zi)中生成。
73.在步骤805处，方法800生成在步骤803处捕获的患者解剖结构的内窥镜图像数据与在步骤804处捕获、接收和/或处理的患者的图像数据之间的一个或多个对应关系，和/或至少部分地基于(一个或多个)对应关系更新在步骤802处生成的点云。例如，如上所讨论的，内窥镜成像系统的图像捕获设备可以安装到医疗器械系统的远侧部分并位于患者的解剖区域内。在这些实施例中，在步骤803处捕获的内窥镜图像数据包括(i)医疗器械系统的远端附近的真实患者解剖结构的图像和(ii)在由医疗器械系统实际访问的解剖通道内的医疗器械的远侧部分的位置的指示。因此，当方法800确定在步骤803处捕获的内窥镜图像
数据中的患者解剖结构的真实导航图像(例如，隆突，其标记两个或更多个解剖通道的分支点)与在步骤804处捕获、接收和/或处理的患者的图像数据的部分匹配时，方法800可以生成在步骤803的内窥镜图像数据和步骤804的图像数据之间的对应关系。因为在内窥镜图像数据中的患者解剖结构的匹配的真实导航图像与时间戳和图像捕获设备在医疗器械参考系(xm，ym，zm)内的已知位置相关联，所以在步骤803的内窥镜图像数据和步骤804的图像数据之间生成的对应关系提供了在图像捕获设备的已知位置处的在医疗器械参考系(xm，ym，zm)与图像参考系(xi，yi，zi)之间的已知对应关系。在一些实施例中，方法800至少部分地基于生成的对应关系来更新在步骤802处生成的点云。例如，当图像捕获设备捕获了与步骤804的图像数据匹配的内窥镜图像数据的真实导航图像时，方法800可以在图像捕获设备的已知位置处和/或附近将医疗器械参考系(xm，ym，zm)中的一个或多个坐标点添加到步骤802的点云。
74.在步骤806处，方法800将在步骤802处生成和/或在步骤805处更新的点云配准到在步骤804处生成的解剖模型。在一些实施例中，配准涉及将医疗器械参考系(xm，ym，zm)和/或外科手术参考系(xs，ys，zs)与图像参考系(xi，yi，zi)对准。例如，医疗器械参考系(xm，ym，zm)中的步骤802和/或805的点云可以配准到图像参考系(xi，yi，zi)中的解剖模型。该配准可以通过点云的坐标点(例如，在步骤801和802处从位置传感器数据生成的坐标点和/或在步骤805处从步骤803的内窥镜图像数据中的真实导航图像与步骤804的图像数据之间的对应关系生成的添加的坐标点)的刚性和/或非刚性变换来旋转、平移或以其他方式操纵，以将坐标点与在804处生成的解剖模型对准。变换可以是六自由度变换，使得点云可以在x、y、z、俯仰、滚转和偏航中的任何一个或所有上平移或旋转。在一些实施例中，方法800使用迭代最近点(icp)算法来执行配准。特别地，方法800可以(i)计算点云中的坐标点与解剖模型内的点(例如，在中心线上或在其他点位处)之间的点对点对应关系，以及(ii)计算最优变换以最小化对应的点之间的欧几里得(euclidean)距离。在其他实施例中，方法800可以使用另一种技术来执行配准。
75.在一些实施例中，方法800可以使用在步骤803处捕获的内窥镜图像数据来改善在步骤802处生成和/或在步骤805处更新的点云与在步骤804处生成的解剖模型之间的配准的准确性和/或以其他方式提供该配准的洞察力。例如，如上文关于步骤805所讨论的，方法800可以在图像捕获设备的已知点位处添加一个或多个坐标点，在该已知点位处步骤803的内窥镜图像数据的真实导航图像中的患者解剖结构与步骤804的图像数据中捕获的患者解剖结构匹配。在一些实施例中，添加的坐标点可以结合从步骤801和/或802的位置传感器数据生成的坐标点一起在icp算法中使用以计算最优变换。在这些和其他实施例中，与从步骤801的位置传感器数据生成的坐标点相比，在计算中可以对添加的坐标点进行不同的加权(例如，更重或更轻)。在这些和其他实施例中，由步骤805处的对应关系捕获的取向对准数据(例如，关于步骤803的内窥镜图像数据的匹配的真实导航图像中的患者解剖结构必须如何变换(例如，平移、旋转、反射等)以与步骤804的图像数据中的患者解剖结构的对应的部分对准的信息)可以作为由配准算法最小化的附加误差项来馈送，以进一步通知点云和步骤804的图像数据之间的配准。
76.在这些和其他实施例中，方法800可以使用在步骤803处捕获的内窥镜图像数据来暂时或局部改善在步骤806处执行的配准的准确性和/或以其他方式提供对在步骤806执行
的配准的洞察力。例如，方法800可以使用在步骤805添加的坐标点和/或通过步骤805处的对应关系捕获的取向对准数据，以改善在步骤806处执行的仅一部分配准的准确性和/或以其他方式提供在步骤806处执行的仅一部分配准的洞察力。继续该示例，在步骤806执行的配准的该部分可以对应于在步骤805处添加的坐标点的阈值距离内和/或在步骤805处生成的对应关系的阈值距离内的来自步骤802和/或805的坐标点和/或在步骤804处生成的解剖模型的点的子集。
77.可替代地，方法800可以仅在(a)源自步骤803的内窥镜图像数据的坐标点和(b)在步骤804处生成的解剖模型之间执行配准(例如，稀疏点配准)。例如，图9是(i)图3所图示的患者的解剖区域350(例如，肺)和(ii)作为在步骤803处的内窥镜图像数据的由医疗器械系统104的图像捕获设备247捕获的解剖区域350内的患者解剖结构的真实导航图像910-912的示意图。如图所示，真实导航图像910-912是当医疗器械系统104在整个解剖区域350中导航时捕获的解剖通道352的分支点920-922的图像。解剖区域350的分支点920-922是在步骤803的内窥镜图像数据的真实导航图像中可容易识别的解剖特征，因为每个分支点920-922包括在每个真实导航图像910-912的中心区域中的隆突的亮脊点915和解剖通道352的两个或更多个开口(例如，开口916和917)。因此，在一些实施例中，方法800可以(例如，自动地)分别识别真实导航图像910-912中的分支点920-922，和/或步骤803的内窥镜图像数据的其他真实导航图像(未示出)中的其他分支点，并且可以在与当图像捕获设备247捕获相应真实导航图像910-912中的每一个时图像捕获设备247的点位相对应的点位处记录点云中的一个或多个坐标点。点云可以是在步骤802处生成和/或在步骤805处更新的点云，和/或另一个点云。继续参考图9的上述示例，方法800可以在(i)在步骤804处生成的解剖模型和(ii)仅源于真实导航图像910-912和/或方法800已在其中识别到解剖通道352的分支点的步骤803的内窥镜图像数据中的其他真实导航图像(未示出)的坐标点之间执行稀疏点配准。
78.在这些和其他实施例中，方法800可以使用步骤803的内窥镜图像数据的真实导航图像来提供关于当医疗器械系统在整个解剖区域中被导航时由医疗器械系统所采取的通路(pathway)的洞察力。例如，在方法800识别出步骤803的内窥镜图像数据的真实导航图像中的分支点之后，方法800可以使用真实导航图像和/或在内窥镜图像数据中先前和/或随后捕获的一个或多个真实导航图像，以确定当医疗器械系统在整个解剖区域被导航时医疗器械系统采取了分支点的哪个解剖通道。
79.作为更具体的示例，继续参考图9，在方法800识别出真实导航图像910中的分支点920之后，方法800可以使用真实导航图像910和在步骤803的内窥镜图像数据中先前和/或随后捕获的一个或多个真实导航图像，以确定医疗器械系统104是行进穿过开口916还是穿过开口917。在这种情况下，方法800可以确定医疗器械系统104行进穿过右侧解剖通道352的开口917。换句话说，步骤803的内窥镜图像数据可以被用于估计医疗器械系统104在整个解剖区域350中所采取的特定路径。接着，方法800可以使用该信息来指示icp算法以将点云的数据点(例如，稀疏点的点云、步骤802的点云和/或步骤805的点云)配准到在步骤804处生成的解剖模型的特定区域(例如，到对应于真实导航图像910中的右侧解剖通道352的区域)。因此，与稚嫩()icp算法相比，该信息可以被用于改善配准准确性，稚嫩icp算法将以其他方式将点云的数据点配准到解剖模型的最近区域(例如，对应于真实导航图像910
的左侧解剖通道352的区域)，而不管解剖模型的另一个不太接近的区域(例如，对应于真实导航图像910的右侧解剖通道352的区域)是否实际上对应于点云的数据点。当两个区域在解剖模型中彼此紧密间隔开时，预计这将特别有助于改善配准。
80.当将医疗器械参考系(xm，ym，zm)配准到图像参考系(xi，yi，zi)时，在显示系统上显示给操作者的图像可以允许操作者更准确地穿过患者解剖结构操纵医疗器械系统，从医疗器械系统的远端的视角观察患者解剖结构，和/或改善目标医疗程序的效率和功效。例如，在一些实施例中，方法800可以显示合成虚拟图像(例如，图7的合成虚拟图像791)，该合成虚拟图像包括在步骤804处生成的解剖模型，伴随具有在解剖模型内的位置、形状、取向、姿势和/或移动(例如，速度、速率等)的医疗器械系统的表示，该位置、形状、取向、姿势和/或移动对应于医疗器械系统在患者体内的位置、形状、取向、姿势和/或移动。例如，医疗器械系统的表示可以叠加在解剖模型上。
81.在这些和其他实施例中，至少部分地基于所执行的配准，方法800可以计算在与医疗器械系统的图像捕获设备在患者体内的点位相对应的解剖模型内的点位处的实时和/或接近实时的虚拟导航图像(例如，图7的虚拟导航图像792)。例如，方法800可以计算与步骤803的内窥镜图像数据中的真实导航图像相对应的虚拟导航图像。在一些实施例中，方法800可以选择内窥镜图像数据的真实导航图像中的哪一个来计算对应的虚拟导航图像。如上所讨论的，解剖通道的分支点是真实导航图像中可容易识别的患者解剖结构。因此，在一些实施例中，方法800可以仅选择方法800在其中识别到分支点或针对其计算对应的虚拟导航图像的其他可识别的患者解剖结构的那些真实导航图像。在其他实施例中，方法800可以使用其他选择标准。方法800可以在显示系统的显示器上显示计算的虚拟导航图像和/或步骤803的内窥镜图像数据的真实导航图像(例如，图7的真实导航图像770)。
82.在步骤807处，方法800估计和/或显示在步骤806处执行的配准的配准误差。例如，方法800可以计算在(i)与和步骤804的图像数据匹配的步骤803的内窥镜图像数据的真实导航图像相关联的图像捕获设备的已知位置和(ii)步骤806处生成的配准内的图像捕获设备的估计的位置之间的不一致。在计算不一致之后，方法800可以在显示系统的显示器上显示估计的配准误差。
83.为了清楚并理解上述概念，参考图7和图9两者来考虑以下附加示例。在步骤806处执行配准之后，方法800可以显示合成虚拟图像791(图7)，其图示了在步骤804处生成的解剖模型750(图7)，伴随医疗器械系统104(图9)的表示704(图7)。然后，方法800可以计算以下部分的估计的配准误差：(i)合成虚拟图像791的解剖通道752(图7)的部分757(图7)，该部分757(图7)对应于解剖区域350(图9)的解剖通道352(图9)的部分957(图9)和(ii)合成虚拟图像791的解剖通道752的部分758(图7)，该部分758(图7)对应于解剖区域350的解剖通道352的部分958(图9)。在该示例中，方法800可以根据相应配准误差的大小通过改变合成虚拟图像791内的部分757和部分758的颜色、图案和/或其他视觉指示符(例如，数字显示)来显示估计的配准误差。例如，方法800可以将合成虚拟图像791中的解剖模型750的部分757着色为绿色，以指示在合成虚拟图像791的该部分757处的估计的配准误差的大小相对小(例如，指示在该点位处点云与步骤804的图像数据的配准与该点位处的在步骤803的内窥镜图像数据和步骤804的图像数据的部分之间的对应关系良好对准)。相反，方法800可以将合成虚拟图像791中的解剖模型750的部分758着色为不同的(例如，较暗、较不强烈、较
不亮)的绿色阴影或不同的颜色(例如，黄色、橙色、红色等)、图案和/或视觉指示符一起以指示在部分758处的估计的配准误差的大小相对大(例如，指示点云与步骤804的图像数据的配准与该点位处的在步骤803的内窥镜图像数据和步骤804的图像数据的部分之间的对应关系未良好对准)。以这种方式，方法800可以在合成虚拟图像791内显示颜色的梯度、图案和/或其他视觉指示符(例如，数字显示)，以指示跨解剖模型750的估计的配准误差。这可能是有用的，例如，用于确定穿过患者解剖结构到目标点位的最佳路径和/或用于确定当前患者解剖结构是否与在解剖模型750中的感兴趣部分处的患者的术前成像对准。
84.在这些和其他实施例中，方法800可以实时或接近实时地估计和/或显示配准误差。例如，方法800可以针对医疗器械系统的图像捕获设备在患者体内的当前点位实时或接近实时地估计配准误差。在该示例中，方法800可以在图像捕获设备的当前点位处或其附近计算(i)与和步骤804的图像数据匹配的步骤803的内窥镜图像数据的真实导航图像相关联的图像捕获设备的位置和(ii)在步骤806执行的配准内的图像捕获设备的估计的位置之间的不一致。
85.在计算不一致之后，方法800可以在显示系统的显示器上实时或接近实时地显示估计的配准误差。出于示例的目的，再次参考图7，方法800可以实时改变在图像捕获设备的当前点位处或其附近(例如，在医疗器械系统的表示704的远侧部分737的当前点位处或其附近)的合成虚拟图像791内的解剖模型750的部分757的颜色、图案和/或其他视觉指示符。因此，在患者在其间呼吸的时间段内，可以使用一系列颜色、阴影、图案和/或其他视觉指示符来显示部分757以指示在该时间段内估计的配准误差的大小变化。换言之，方法800可以提供在给定点位处点云与步骤804的图像数据的配准何时与该给定点位处在步骤803的内窥镜图像数据和的步骤804的图像数据的部分之间的对应关系良好对准的暂时(temporal)指示。例如，该信息可以是有用的，例如，用于提供在何处对患者的呼吸阶段进行门控并在屏气的情况下对目标组织进行活检的暂时指示。
86.在这些和其他实施例中，方法800可以改变显示器上的其他信息的颜色、图案和/或其他视觉指示符，以实时、接近实时或以其他方式指示估计的配准误差。例如，方法800可以改变用于显示虚拟导航图像(例如，图7的虚拟导航图像792)中的虚拟患者解剖结构和/或用于显示虚拟导航图像内的导航路径叠加(例如，图7的导航路径叠加799)的颜色、图案和/或其他视觉指示符。
87.在步骤808处，方法800更新在步骤806处执行的配准。在一些实施例中，方法800可以通过返回到步骤801并重新执行(例如，迭代地执行)步骤801-807的全部或子集来更新配准。在这些和其他实施例中，方法800可以使用在步骤803处捕获的内窥镜图像数据更新在步骤806处执行的配准。例如，方法800可以使用步骤803的内窥镜图像数据的一个或多个真实导航图像来将计算的虚拟导航图像与内窥镜图像数据的对应的真实导航图像对准。为了清楚和理解起见，参考图10-图11b考虑以下示例。图10是在步骤803的内窥镜图像数据中捕获的真实患者解剖结构的真实导航图像1030。真实导航图像1030中的真实患者解剖结构包括隆突1015，隆突1015标记了两个解剖通道352的分支点。解剖通道352的开口1016和1017在真实导航图像1030中是可见的。
88.在一些实施例中，方法800可以在与当图像捕获设备捕获真实导航图像1030时的图像捕获设备的点位相对应的点位处至少部分地基于在步骤806处执行的配准来计算虚拟
导航图像。例如，图11a是在与图10的真实导航图像1030中的图像捕获设备的点位相对应的点位处至少部分地基于在步骤806处执行的配准由方法800计算的虚拟患者解剖结构的虚拟导航图像1140。如图所示，虚拟导航图像1140中的虚拟患者解剖结构包括隆突1115，隆突1115标记了两个虚拟解剖通道1152的分支点。解剖通道1152的开口1116和1117在虚拟导航图像1140中是可见的。虚拟导航图像1140中的虚拟患者解剖结构的分支点对应于图10的真实导航图像1030中的真实患者解剖结构的分支点。
89.一起参考图10和图11a，方法800可以确定在计算的虚拟导航图像1140(图11a)中的虚拟患者解剖结构与真实导航图像1030(图10)中的真实患者解剖结构不对准。换言之，方法800可以确定在与真实导航图像1030相关联的图像捕获设备的点位处在步骤806处执行的配准与步骤803的内窥镜图像数据不对准。在这些实施例中，方法800可以计算变换以将虚拟导航图像1140与真实导航图像1030对准。例如，方法800可以确定方法800必须向前平移与虚拟导航图像1140相关联的虚拟图像捕获设备的位置并稍微逆时针旋转它以将虚拟导航图像1140与真实导航图像1030对准。图11b是在执行此变换后的图11a的虚拟患者解剖结构的虚拟导航图像1141。在一些实施例中，计算的变换可以用作增量(delta)配准矩阵以更新在步骤806处执行的配准(例如icp配准)。这可以涉及将由步骤801的位置传感器数据生成的并且在步骤802和/或步骤805的点云中记录的坐标点的位置从对应于与虚拟导航图像1140(图11a)相关联的虚拟图像捕获设备的位置的点位改变到对应于与虚拟导航图像1141(图11b)相关联的虚拟图像捕获设备的位置的点位。
90.在这些和其他实施例中，方法800(在步骤808)可以通过针对远离步骤803的内窥镜图像数据的漂移对配准进行校正来更新在步骤806处执行的配准。为了清楚和理解这个概念，参考图12-图13c，考虑以下示例。例如，图12是虚拟患者解剖结构1271的虚拟导航图像1250，并且图13a-图13c图示了在步骤803的内窥镜图像数据中捕获的真实患者解剖结构1371的连续真实导航图像1360-1362的序列。在该示例中，方法800(i)识别真实导航图像1360(图13a)中的真实患者解剖结构1371包括两个解剖通道352的分支点并且(ii)在与真实导航图像1360(图13a)中的图像捕获设备的点位相对应的生成的解剖模型(未示出)内的点位处至少部分地基于在步骤806处执行的配准来计算虚拟导航图像1250(图12)。
91.图12的虚拟导航图像1250中的虚拟患者解剖结构1271与图13a的真实导航图像1360中的真实患者解剖结构1371没有完全对准。如上所述，每个虚拟导航图像(包括图12的虚拟导航图像1250)和每个真实导航图像(包括图13a-图13c的真实导航图像1360-1362)与指示捕获对应的数据部分(例如，步骤801的位置传感器数据和/或步骤803的内窥镜图像数据)的时间点的时间戳相关联。因此，方法800可以搜索在与虚拟导航图像1250相关联的时间戳周围的时间段(例如，具有发生在之前、期间和/或之后的时间戳)内捕获的步骤802的内窥镜图像数据的真实导航图像(包括真实导航图像1360-1362)，以寻找与虚拟导航图像1250最佳匹配的真实导航图像。在该示例中，图13b的真实导航图像1361与图12的虚拟导航图像1250最佳匹配。然后方法800可以计算最佳匹配真实导航图像1361的时间戳和虚拟导航图像1250的时间戳之间的差异，并且使用该差异作为增量配准矩阵来更新在步骤806处执行的配准(例如，icp配准)。例如，方法800可以将与图12的虚拟导航图像1250相对应的步骤802的点云和/或步骤805的点云中的一个或多个坐标点的位置改变为与图13的最佳匹配真实导航图像1361相关联的图像捕获设备的位置。
92.尽管以上概念在将虚拟导航图像中的两个解剖通道的分支点与真实导航图像中的对应的患者解剖结构匹配的上下文中进行了图示和讨论，但上述概念特别有用于在分支点在虚拟和真实导航图像中不可见的点位。例如，解剖通道的直径通常随着医疗器械系统沿其进一步导航而减小。因此，上述概念可以用于确定图示了具有与虚拟导航图像中的解剖通道的直径最佳匹配的直径的解剖通道的真实导航图像。因此，最佳匹配可以提供关于医疗器械系统在给定时间点插入解剖通道多远的信息。
93.在一些实施例中，方法800在步骤808处暂时或局部更新在步骤806处执行的配准。例如，方法800可以针对特定呼吸或心脏阶段更新在步骤806处执行的配准。继续该示例，方法800可以针对不同的呼吸或心脏阶段而不同地更新在步骤806处执行的配准。作为另一个示例，方法800可以在步骤808处仅更新在步骤806处执行的配准的一部分。继续该示例，更新的配准的部分可以对应于在与一个或多个真实和/或虚拟导航图像相对应的坐标点和/或解剖模型点的阈值距离内的来自步骤802和/或805的坐标点和/或在步骤804处生成的解剖模型的点的子集。
94.在上述步骤801-808中执行的一些计算(例如，真实和虚拟导航图像之间的匹配)可能是特别耗费资源的。因此，作为上述步骤801-808中的任何一个或多个的扩展，方法800可以使用在步骤802处捕获的内窥镜图像数据和/或方法800可用的其他信息来确定何时执行方法800的某些计算。在一些实施例中，方法800可以使用医疗器械系统的输入/输出值来识别何时执行配准计算。例如，方法800可以使用医疗设备的远端所行进的距离作为何时执行计算的指示符。作为更具体的示例，方法800可以预期在初始插入患者的点处患者的主隆突位于远离医疗器械系统的远端大约第一距离处。因此，方法800可以监测和识别医疗器械系统的远端何时已经从初始插入点行进第一距离以确定何时尝试捕获内窥镜图像数据中的主隆突和/或何时尝试生成内窥镜图像数据的真实导航图像和患者主隆突的(例如术前)图像数据之间的对应关系。附加地或可替代地，方法800可以使用位置传感器系统的运动和/或在步骤806执行的配准来估计内窥镜成像系统的图像捕获设备何时可能靠近隆突并且可以使用该估计来确定何时尝试生成在步骤802捕获的内窥镜图像数据的真实导航图像与在步骤804捕获、接收和/或处理的患者的(例如，术前和/或术中)图像数据之间的对应关系。
95.在这些和其他实施例中，方法800可以使用其他事件的发生来确定何时执行计算。例如，方法800可以在每次远端或医疗器械系统的另一部分行进阈值距离时(例如，每次远端的位置改变阈值量时)执行特定计算。作为另一个示例，方法800可以在医疗器械系统的远端的取向已经改变阈值量之后执行特定计算。作为又一示例，方法800可以周期性地(例如，根据设置的间隔和/或事件)捕获位置传感器数据和/或内窥镜图像数据，并且可以等待执行资源密集型计算，直到方法800确定医疗器械系统经受(例如，由操作者)命令的移动和/或直到另一个事件发生。
96.尽管方法800的步骤以特定的顺序进行讨论和图示，但图8中图示的方法800不限于此。在其他实施例中，可以以不同的顺序执行方法800。例如，步骤804可以在步骤801-803中的任何一个之前执行。在这些和其他实施例中，方法800的任何步骤可以在方法800的任何其他步骤之前、期间和/或之后执行。此外，相关领域的普通技术人员将认识到，所示的方法800可以被改变并且仍然保留在本技术的这些和其他实施例中。在一些实施例中，例如，
图8中所示的方法800的一个或多个步骤可以被省略和/或重复。
97.b.示例
98.本技术的若干方面在以下实施例中阐述。尽管在针对系统、计算机可读介质和方法的示例中阐述了本技术的若干方面，但是本技术的这些方面中的任何方面可以类似地在针对其他实施例中的任何系统、计算机可读介质以及方法的示例中阐述。
99.1.一种用于在图像引导的医疗程序中使用的医疗器械系统，所述系统包括：
100.位置传感器，其被配置为生成与患者的解剖区域内的生物医疗设备的一个或多个位置相关联的位置传感器数据；
101.图像捕获设备，其被配置为当所述生物医疗设备位于所述解剖区域内时捕获所述解剖区域内的患者解剖结构的第一图像数据；
102.处理器，其通信地耦合到所述位置传感器和所述图像捕获设备；以及
103.存储指令的存储器，所述指令在由所述处理器执行时使所述系统执行包括下列项的操作：
104.至少部分地基于所述位置传感器数据生成坐标点的点云，
105.接收所述解剖区域的第二图像数据，其中所述第二图像数据至少部分地基于所述解剖区域的成像而生成，
106.在所述点云的至少一部分和所述第二图像数据的至少一部分之间生成配准，以及
107.至少部分地基于所述第一图像数据更新所述配准。
108.2.根据示例1所述的系统，其中所述操作还包括通过将所述第一图像数据的一个或多个图像中的患者解剖结构与所述第二图像数据的所述部分中的所述解剖区域的患者解剖结构相匹配来生成一个或多个对应关系。
109.3.根据示例2所述的系统，其中所述第一图像数据的所述一个或多个图像中的所述患者解剖结构和所述第二图像数据的所述部分中的所述解剖区域的所述患者解剖结构是所述解剖区域中的解剖通道的一个或多个分支点。
110.4.根据示例2或示例3所述的系统，其中所述操作还包括在一个或多个点位处将一个或多个坐标点添加到所述点云，所述一个或多个点位对应于与所述第一图像数据的所述一个或多个图像相关联的所述解剖区域内的所述图像捕获设备的一个或多个位置。
111.5.根据示例4所述的系统，其中生成所述配准包括与从所述位置传感器数据生成的所述点云的其他坐标点不同地对所述一个或多个添加的坐标点进行加权。
112.6.根据示例4或示例5所述的系统，其中所述点云的所述部分仅包括所述一个或多个添加的坐标点。
113.7.根据示例2-6中任一项所述的系统，其中所述操作还包括确定用以将所述第一图像数据的所述一个或多个图像中的图像与所述第二图像数据的所述部分中的所述解剖区域的对应的患者解剖结构对准的变换，并且其中生成所述配准包括至少部分地基于所述变换来生成所述配准。
114.8.根据示例2-7中任一项所述的系统，其中所述操作还包括至少部分地基于所述第一图像数据来确定由所述生物医疗设备在整个所述解剖区域采取的通路的至少一部分，并且其中生成所述配准包括在所述点云的至少所述部分和对应于所述通路的所述部分的所述解剖区域的区段之间生成所述配准。
115.9.根据示例2-8中任一项所述的系统，其中所述操作还包括估计在所述一个或多个对应关系中的对应关系与生成的配准之间的配准误差。
116.10.根据示例9所述的系统，其中所述操作还包括至少部分地基于估计的配准误差的大小来对所述生成的配准的显示进行着色。
117.11.根据示例10所述的系统，其中所述操作还包括：
118.实时估计所述解剖区域内的所述生物医疗设备的当前点位处的所述配准误差；以及
119.对所述显示的对应的部分进行着色。
120.12.根据示例1-11中任一项所述的系统，其中所述操作还包括：
121.至少部分地基于生成的配准，在所述解剖区域内的所述图像捕获设备的当前点位处从所述图像捕获设备的视角计算所述解剖区域的患者解剖结构的虚拟图像；以及
122.确定用以将所述虚拟图像与对应于所述图像捕获设备的所述当前点位的所述第一图像数据的图像对准的变换。
123.13.根据示例12所述的系统，其中更新所述配准包括至少部分地基于所确定的变换来更新所述配准。
124.14.根据示例12或示例13所述的系统，其中确定所述变换包括：
125.仅针对在距所述图像捕获设备的所述当前点位的阈值距离内的所述生成的配准的一部分确定所述变换；或者
126.针对所述患者的特定呼吸和/或心脏阶段确定所述变换。
127.15.根据示例1-14中任一项所述的系统，其中所述操作还包括：
128.至少部分地基于生成的配准，在所述解剖区域内的所述图像捕获设备的当前或先前点位处从所述图像捕获设备的视角计算所述解剖区域的患者解剖结构的虚拟图像，其中所述虚拟图像与第一时间戳相关联；以及
129.确定与所述虚拟图像最佳匹配的所述第一图像数据的图像，其中所述第一图像数据的所述图像被包括在所述第一图像数据的两个或更多个图像的组中，并且其中所述两个或更多个图像的每个图像与发生在所述第一时间戳之前、期间和/或之后的指定时间段内的时间戳相关联。
130.16.根据示例15所述的系统，其中所述操作还包括确定在(i)与和所述虚拟图像最佳匹配的所述第一图像数据的所述图像相关联的时间戳和(ii)所述第一时间戳之间的差异，并且其中更新所述配准包括至少部分地基于所确定的差异来更新所述配准。
131.17.根据示例1-16中任一项所述的系统，其中所述操作还包括：
132.确定所述生物医疗设备的当前位置或取向何时改变了阈值量；以及
133.响应于所述确定，通过将所述第一图像数据的图像中的患者解剖结构与所述第二图像数据中的所述解剖区域的所述部分中的患者解剖结构相匹配来生成对应关系。
134.18.根据示例1-17中任一项所述的系统，其中所述操作还包括：
135.至少部分地基于生成的配准来确定所述生物医疗设备何时位于所述解剖区域内的第一患者解剖结构处；以及
136.响应于所述确定，通过将所述第一图像数据的图像中的所述第一患者解剖结构与所述第二图像数据中的所述解剖区域的所述部分中的所述第一患者解剖结构相匹配来生
成对应关系。
137.19.根据示例1-18中任一项所述的系统，其中所述操作还包括：
138.确定所述生物医疗设备何时经受穿过所述解剖区域的解剖通道的命令的移动；以及
139.响应于所述确定，生成和/或更新所述配准。
140.20.一种在其上存储指令的非瞬态计算机可读介质，所述指令在由计算系统的一个或多个处理器执行时使所述计算系统执行包括下列项的操作：
141.至少部分地基于使用位置传感器捕获的位置传感器数据生成坐标点的点云，其中所述位置传感器数据与患者的解剖区域内的生物医疗设备的一个或多个位置相关联；
142.接收使用位于所述解剖区域内的图像捕获设备捕获的患者解剖结构的第一图像数据；
143.接收所述解剖区域的第二图像数据，其中所述第二图像数据至少部分地基于所述解剖区域的术前或术中成像而生成；
144.在所述点云的至少一部分与所述第二图像数据的至少一部分之间生成配准；以及
145.至少部分地基于所述第一图像数据更新所述配准。
146.21.根据示例20所述的非瞬态计算机可读介质，其中所述操作还包括通过将所述第一图像数据的一个或多个图像中的患者解剖结构与所述第二图像数据的所述部分中的所述解剖区域的患者解剖结构相匹配来生成一个或多个对应关系。
147.22.根据示例21所述的非瞬态计算机可读介质，其中所述操作还包括在一个或多个点位处将一个或多个坐标点添加到所述点云，所述一个或多个点位对应于与所述第一图像数据的所述一个或多个图像相关联的所述解剖区域内的所述图像捕获设备的一个或多个位置。
148.23.根据示例22所述的非瞬态计算机可读介质，其中生成所述配准包括与从所述位置传感器数据生成的所述点云的其他坐标点不同地对所述一个或多个添加的坐标点进行加权。
149.24.根据示例21-23中任一项所述的非瞬态计算机可读介质，其中所述操作还包括确定用以将所述第一图像数据的所述一个或多个图像中的图像与所述第二图像数据的所述部分中的所述解剖区域的对应的患者解剖结构对准的变换，并且其中生成所述配准包括至少部分地基于所述变换来生成所述配准。
150.25.根据示例21-24中任一项所述的非瞬态计算机可读介质，其中所述操作还包括至少部分地基于所述第一图像数据来确定由所述生物医疗设备在整个所述解剖区域采取的通路的至少一部分，并且其中生成所述配准包括在所述点云的至少所述部分和对应于所述通路的所述部分的所述解剖区域的区段之间生成所述配准。
151.26.根据示例21-25中任一项所述的非瞬态计算机可读介质，其中所述操作还包括：
152.估计在所述一个或多个对应关系中的对应关系与生成的配准之间的配准误差；以及
153.至少部分地基于估计的配准误差的大小对所述生成的配准的显示进行着色。
154.27.根据示例21-26中任一项所述的非瞬态计算机可读介质，其中所述操作还包
括：
155.实时估计(i)在所述解剖区域内的所述生物医疗设备的当前点位处的和(ii)在所述一个或多个对应关系中的对应关系与生成的配准之间的配准误差；以及
156.至少部分地基于估计的配准误差的大小，对所述生成的配准的显示的对应的部分进行着色。
157.28.根据示例20-27中的任一项所述的非瞬态计算机可读介质，其中所述操作还包括：
158.至少部分地基于生成的配准，在所述解剖区域内的所述图像捕获设备的当前点位处从所述图像捕获设备的视角计算所述解剖区域的患者解剖结构的虚拟图像；以及
159.确定用以将所述虚拟图像与对应于所述图像捕获设备的所述当前点位的所述第一图像数据的图像对准的变换。
160.29.根据示例20-28中任一项所述的非瞬态计算机可读介质，其中所述操作还包括：
161.至少部分地基于生成的配准，在所述解剖区域内的所述图像捕获设备的当前或先前点位处从所述图像捕获设备的视角计算所述解剖区域的患者解剖结构的虚拟图像，其中所述虚拟图像与第一时间戳相关联；以及
162.确定与所述虚拟图像最佳匹配的所述第一图像数据的图像，其中所述第一图像数据的所述图像被包括在所述第一图像数据的两个或更多个图像的组中，并且其中所述两个或更多个图像的每个图像与发生在所述第一时间戳之前、期间和/或之后的指定时间段内的时间戳相关联。
163.30.根据示例29所述的非瞬态计算机可读介质，其中所述操作还包括确定在(i)与和所述虚拟图像最佳匹配的所述第一图像数据的所述图像相关联的时间戳和(ii)所述第一时间戳之间的差异，并且其中更新所述配准包括至少部分地基于所确定的差异来更新所述配准。
164.31.一种方法，其包括：
165.至少部分地基于使用机器人系统的位置传感器捕获的位置传感器数据而生成坐标点的点云，其中所述位置传感器数据与患者的解剖区域内的生物医疗设备的一个或多个位置相关联；
166.当所述机器人系统的图像捕获设备位于所述解剖区域内时，接收使用所述图像捕获设备捕获的患者解剖结构的第一图像数据；
167.接收所述解剖区域的第二图像数据，其中所述第二图像数据至少部分地基于所述解剖区域的术前或术中成像；
168.在所述点云的至少一部分和所述第二图像数据的至少一部分之间生成配准；以及
169.至少部分地基于所述第一图像数据的一部分来更新所述配准。
170.c.结论
171.本文描述的系统和方法可以以一个或多个有形且非瞬态的机器可读介质(诸如硬盘驱动器、硬件存储器等)的形式提供，在该介质上记录有用于由处理器或计算机执行的指令。指令集可以包括指示计算机或处理器执行特定操作的各种命令，诸如本文描述的各种实施例的方法和过程。指令集可以是软件程序或应用程序的形式。计算机存储介质可以包
括易失性和非易失性介质，以及可移除和不可移除介质，用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息。计算机存储介质可以包括但不限于ram、rom、eprom、eeprom、闪存或其他固态存储器技术、cd-rom、dvd或其他光存储装置、磁盘存储装置或可以用于存储期望信息并可以由系统的部件访问任何其他硬件介质。系统的部件可以经由有线或无线通信相互通信。部件可以彼此分离，或者部件的各种组合可以一起集成到监测器或处理器中，或者包含在具有标准计算机硬件(例如，处理器、电路系统、逻辑电路、存储器等)的工作站内。该系统可以包括处理设备，诸如微处理器、微控制器、集成电路、控制单元、存储介质和其他硬件。
172.尽管上文在导航和执行患者肺内的医疗程序的上下文中描述了许多实施例，但除了本文描述的应用和实施例之外的其他应用和其他实施例也在本技术的范围内。例如，除非另有说明或从上下文中明确，否则本技术的设备、系统、方法和计算机程序产品可以用于各种图像引导的医疗程序，诸如在中空患者解剖结构上、在中空患者解剖结构中或邻近中空患者解剖结构执行的医疗程序，更具体而言，在用于测绘、活检、消融或以其他方式处理中空患者解剖结构内和/或其附近的组织的程序中。因此，例如，本公开的系统、设备、方法和计算机程序产品可以用于与其他患者解剖结构相关联的一个或多个医疗程序，诸如患者的膀胱、泌尿道、gi系统和/或心脏。
173.如本文所用，术语“操作者”应理解为包括可能正在执行或协助医疗程序的任何类型的人员，并且因此包括医师、外科医生、医生、护士、医疗技术人员、本文公开的技术的其他人员或用户，以及它们的任何组合。附加地或可替代地，术语“患者”应被认为包括对其执行医疗程序的人类和/或非人类(例如，动物)患者。
174.从上文中将理解，为了说明的目的，本文已经描述了本技术的特定实施例，但是没有详细示出或描述众所周知的结构和功能以避免不必要地混淆本技术的实施例的描述。在以引用方式并入本文的任何材料与本公开冲突的程度，以本公开为准。在上下文允许的情况下，单数或复数术语也可以分别包括复数或单数术语。此外，除非词语“或”被明确限制为仅表示在提及两个或更多个项目的列表时排除其他项目的单个项目，否则在此类列表中使用“或”应解释为包括(a)列表中的任何单个项目，(b)列表中的所有项目，或(c)列表中的项目的任何组合。如本文所用，如“a和/或b”中的短语“和/或”是指单独的a、单独的b以及a和b两者。在上下文允许的情况下，单数或复数术语还可以分别包括复数或单数术语。此外，术语“包括”、“包含”、“具有”和“有”自始至终用于表示至少包括所列举的(一个或多个)特征，使得任何更多数量的相同特征和/或其他类型的附加特征不被排除。
175.此外，如本文所用，术语“基本上”是指动作、特性、属性、状态、结构、项目或结果的完全或接近完全的范围或程度。例如，“基本上”封闭的对象将意味着该对象或者完全封闭或者几乎完全封闭。在某些情况下，与绝对完全性的确切允许偏差程度可以取决于具体情况。然而，一般而言，完全的接近程度将具有与获得绝对完全和完整完全相同的总体结果。当用于否定含义时，“基本上”的使用同样适用于指完全或几乎完全缺乏动作、特性、属性、状态、结构、项目或结果。
176.本技术的实施例的上述详细描述并不旨在穷举或将本技术限制为以上公开的精确形式。尽管上面出于说明性目的描述了该技术的具体实施例和示例，但是如相关领域的技术人员将认识到的，在该技术的范围内可以进行各种等效修改。例如，虽然步骤以给定的
顺序呈现，但替代实施例可以以不同的顺序执行步骤。作为另一示例，可以将技术的各种部件进一步划分为子部件，和/或可以组合和/或集成技术的各种部件和/或功能。此外，尽管已经在那些实施例的上下文中描述了与本技术的某些实施例相关联的优点，但其他实施例也可以表现出这样的优点，并且并非所有实施例都必须表现出这样的优点以落入本技术的范围内。
177.还应注意，除了本文所公开的实施例之外的其他实施例也在本技术的范围内。例如，本技术的实施例可以具有除了本文示出或描述的配置、部件和/或程序之外的不同配置、部件和/或程序。此外，本领域普通技术人员将理解，在不偏离本技术的情况下，这些和其他实施例可以没有本文所示或描述的若干配置、部件和/或程序。因此，本公开和相关联的技术可以涵盖本文未明确示出或描述的其他实施例。