用于ENT规程的可视化系统和方法与流程

用于ent规程的可视化系统和方法
1.优先权
2.本技术要求2019年10月24日提交的名称为“visualization system and method for ent procedures”的美国临时专利申请no.62/925,441的优先权，其公开内容以引用方式并入本文。


背景技术：

3.在外科手术规程期间使用图像引导外科手术导航系统，以提供外科手术部位或其他患者解剖结构的附加信息和视觉视角。这可包括从各种视角显示外科手术部位的术前图像(例如，ct图像)，并且还可包括将标记叠加到此类显示图像上以指示静态信息，诸如外科手术器械在规程期间将采取的计划路径，以及动态信息，诸如外科手术器械的远侧末端的当前位置。此类信息可用于提高外科手术器械导航到患者体内特定位置的准确性和安全性。
4.考虑到在图像引导外科手术期间可用的附加信息的广度，外科医生或其他从业者有时可能会在外科手术部位视图之间切换时或在直接查看患者解剖结构和查看患者解剖结构的模拟图像之间切换时变得空间迷失方向。例如，在一些情况下，外科医生可能会在图像引导外科手术导航系统的显示器上查看患者头部轴向视图的ct切片，同时还会偶尔直接查看患者头部。在此类情况下，外科医生可能变得迷失方向，并且无法确定其直接感知和轴向视图之间的空间和定向对应关系，这可能导致外科手术器械在患者头部内的错误移动。
5.虽然已研制出若干系统和方法并用于ent手术，但是据信，本发明人之前尚未有人研制出或使用所附权利要求书中所描述的发明。
附图说明
6.并入本说明书中并构成本说明书的一部分的附图示出了本发明的实施方案，并且与上面给出的本发明的一般描述以及下面给出的实施方案的详细描述一起用于解释本发明的原理。
7.图1示出了在坐在示例性医疗手术椅中的患者上使用的示例性手术导航系统的示意图；
8.图2a示出了放置在图1的患者身上的示例性患者跟踪器的示意图；
9.图2b示出了诸如图2a所示的示例性患者跟踪器的透视图；
10.图3示出了可与图1的外科手术导航系统一起使用的示例性查看装置的示意图；
11.图4示出了图3中所示的一个示例性查看装置的透视图；
12.图5示出了可用图1的外科手术导航系统执行的示例性步骤集的流程图，以提供用于ent规程的可视化；
13.图6a示出了示例性界面，其示出了可在用于ent规程的可视化期间提供的患者面部的正视图；
14.图6b示出了示例性界面，其示出了可在用于ent规程的可视化期间提供的患者面
within the ear,nose,throat and paranasal sinuses”的美国专利7,720,521，其公开内容以引用方式并入本文；以及2014年12月11日公布的名称为“systems and methods for performing image guided procedures within the ear,nose,throat and paranasal sinuses”的美国专利公布2014/0364725(现撤销)，其公开内容以引用方式并入本文。
27.本示例的igs导航系统(10)包括场发生器组件(20)，该场发生器组件包括集成到马蹄形框架(22)中的一组磁场发生器(24)。场发生器(24)可操作以围绕患者(p)的头部(h)生成不同频率的交变磁场，以产生igs导航系统(10)将坐标系与之相关联的跟踪区域。在该示例中，导航导丝(40)被插入到患者(p)的头部(h)中。导航导丝(40)可为独立装置或者可定位在端部执行器或医疗器械(诸如外科切割器械或扩张器械)的其他位置上。在本示例中，将框架(22)安装到座椅(30)，其中患者(p)坐在座椅(30)中，使得框架(22)位于患者(p)的头部(h)附近。仅以举例的方式，座椅(30)和/或场发生器组件(20)可根据2020年2月18日公布的名称为“apparatus to secure field generating device to chair”的美国专利10,561,370的教导内容中的至少一些来构造和操作，其公开内容以引用方式并入本文。
28.本示例的igs导航系统(10)还包括处理器(12)，该处理器控制场发生器(24)和igs导航系统(10)的其他元件。例如，处理器(12)能够操作以驱动场发生器(24)生成交变电磁场；以及处理来自导航导丝(40)的信号，以确定传感器在患者(p)的头部(h)内的导航导丝(40)中的位置。处理器(12)包括与一个或多个存储器通信的处理单元(例如，被布置成使用组合逻辑电路或其他类似电路评估和执行软件指令的电子电路集合)。本示例的处理器(12)安装在控制台(18)中，该控制台包括操作控件(14)，该操作控件包括键盘和/或指向装置，诸如鼠标或轨迹球。在执行外科规程时，医师使用操作控件(14)与处理器(12)进行交互。
29.导航导丝(40)包括响应于在场发生器(24)所生成的交变磁场内定位的传感器(未示出)。耦合单元(42)固定到导航导丝(40)的近侧端部并且被配置成在控制台(18)和导航导丝(40)之间提供数据和其他信号的通信。耦合单元(42)可提供数据和其他信号的有线或无线通信。
30.在本示例中，导航导丝(40)的传感器包括位于导航导丝(40)的远侧端部处的至少一个线圈。当此类线圈定位在场发生器(24)所生成的交变电磁场内时，交变磁场可在线圈中生成电流，并且此电流可沿着导航导丝(40)中的电导管传送，并且经由耦合单元(42)进一步传送到处理器(12)。该现象可以使igs导航系统(10)能够确定导航导丝(40)的远侧端部或其他医疗器械(例如，扩张器械、外科切割器械等)在三维空间内(即，在患者(p)的头部(h)内等)的位置。为了实现这一点，处理器(12)执行算法以根据导航导丝(40)中线圈的位置相关信号计算导航导丝(40)的远侧端部的位置坐标。虽然在该示例中位置传感器位于导丝(40)中，但是此类位置传感器可集成到各种其他类型的器械中，诸如扩张导管、引导导管、导轨、抽吸器械、指针器械、配准探针、刮器、患者跟踪器和其他器械，包括下文更详细地描述的那些。
31.处理器(12)使用存储在处理器(12)的存储器中的软件来校准和操作igs导航系统(10)。此类操作包括驱动场发生器(24)、处理来自导航导丝(40)的数据、处理来自操作控件(14)的数据以及驱动显示屏(16)。在一些具体实施中，操作还可包括监视以及强制执行igs导航系统(10)的一个或多个安全特征结构或功能。处理器(12)可进一步操作以经由显示屏
(16)提供实时视频，该显示屏示出导航导丝(40)的远侧端部相对于患者头部(h)的相机图像、患者头部(h)的ct扫描图像和/或患者鼻腔内及患者鼻腔附近的解剖结构的计算机生成的三维模型的位置。显示屏(16)可在外科手术期间同时地和/或彼此叠加地显示此类图像。此类显示图像还可包括插入患者头部(h)中的器械(诸如导航导丝(40))的图形表示，使得操作者可实时查看器械在其实际位置的虚拟渲染。仅以举例的方式，显示屏(16)可根据2019年11月5日公布的名称为“guidewire navigation for sinuplasty”的美国专利10,463,242的教导内容中的至少一些来提供图像，其公开内容以引用方式并入本文。在操作者还使用内窥镜的情况下，也可在显示屏(16)上提供内窥镜图像。
32.当器械结合导航导丝(40)时，通过显示屏(16)提供的图像可帮助引导操作者在患者头部(h)内调转和另外操纵此类器械。还应当理解，如下所述的外科器械和其他种类的外科器械的其他部件可结合传感器(如导航导丝(40)的传感器)。
33.在一些具体实施中，igs导航系统(10)可包括患者跟踪组件(50)，该患者跟踪组件可放置在患者头部(h)或患者(p)的另一适当部分上，如图2a所示。通过与导丝(40)分开但在相同坐标系内跟踪头部(h)，可在规程期间确定导丝(40)和头部(h)相对于彼此的位置和取向。这在头部(h)被配准以确定其在坐标系内的初始位置但随后在规程期间移动的情况下可能是有利的。通过独立地跟踪头部(h)，可检测旋转或其他移动，并且可更新初始配准以考虑头部(h)的新位置。这样，在规程期间使用的任何图像引导导航特征，诸如显示具有指示导丝(40)在头部(h)内的位置的叠加标记的ct图像切片，可响应于这种移动而自动更新。患者跟踪组件(50)的具体实施可根据2017年12月14日提交的名称为“mounted patient tracking component for surgical navigation system”的美国专利公布2019/0183582的任何教导与igs导航系统(10)一起构造和操作，其公开内容以引用方式并入本文中。
34.作为患者跟踪组件(50)的一个示例，图2b示出了可容易地结合到igs导航系统(10)中的患者跟踪组件(200)。患者跟踪组件(200)包括一次性部分(210)和可重复使用部分(250)。一次性部分(210)被配置成附接到患者的头部(h)或患者的另一合适部分(例如，使用柔性粘结垫)，并且被配置成选择性地与可重复使用部分(250)的耦合块(220)耦合，使得可重复使用部分(250)在示例性使用期间相对于患者(p)的头部或另一部分固定；而可重复使用部分(250)被配置成与处理器(12)通信以便跟踪患者(p)的头部(h)的位置。
35.可重复使用部分(250)包括从耦合组件(254)向近侧延伸的线缆(252)和传感器(255)。在使用期间，耦合组件(254)适于将可重复使用部分(250)与一次性部分(210)耦合。当与一次性部分(210)正确耦合时，传感器(255)可与处理器(12)一起使用以确定所跟踪解剖结构的位置，使得在示例性使用期间处理器(12)可准确地显示导航导丝(40)(或任何其他合适的器械)相对于患者(p)的解剖结构的位置。线缆(252)被配置成在示例性使用期间提供用于传感器(255)和处理器(12)之间的通信的导管。因此，线缆(252)可直接连接，使得传感器(255)经由线缆(252)与处理器(110)有线通信。另选地，线缆(252)可将传感器(255)与和处理器(12)无线通信的无线通信装置连接，类似于耦合单元(42)如何在导航导丝(40)和处理器(12)之间建立无线通信。
36.ii.用于ent规程的示例性可视化系统
37.图3示出了可与igs导航系统(10)一起实施以便在外科手术规程期间提供附加信息和图像导航视图的可视化系统(60)。具体地，可视化系统(60)可提供在增强现实视图中
显示信息的导航视图，该增强现实视图叠加在近实时的规程期间捕获的患者的图像上。这可有利地减少外科医生在规程期间查看显示屏(16)或另一显示器而不是查看患者的频率和需要，并且还可帮助外科医生在物理世界和由igs导航系统(10)提供的图像导航视图之间进行空间定位。
38.在图像引导外科手术规程期间，通过配置头戴式显示器(“hmd”)(100)、手持式显示器(“hhd”)(101)或与igs导航系统(10)通信的另一类似装置中的一者或多者，可视化系统(60)可与igs导航系统(10)一起实施，如将在下文更详细地描述的。图4示出了hmd(100)的透视图，其包括可佩戴在外科医生或与图像引导外科手术规程相关的其他用户的面部上的框架(102)。壳体(108)被示出为安装到框架(102)，但也可被佩戴或安装在其他地方并且经由到那些装置的有线或无线连接与安装在框架(102)上的装置耦合。壳体(108)包括视角传感器(110)，其可操作以提供指示hmd(100)的视角、位置或两者的空间信息。视角传感器(110)例如可包括陀螺仪、加速度计或位置传感器(例如，诸如导丝(40)的传感器)中的一者或多者。来自视角传感器(108)的信息可用于确定安装到框架(102)的相机(106)的视觉视角的一个或多个方面，该一个或多个方面可包括确定相机(106)的光轴的取向(例如，一个或多个轴线的旋转坐标)、相机的位置(106)相对于igs导航系统(10)的坐标系(例如，一个或多个轴线的位置坐标)，或两者，如下文将更详细地描述。
39.壳体(108)还包括通信装置(112)以及处理器和存储器(114)，该通信装置可以是能够与处理器(12)或其他装置通信的有线或无线收发器，该处理器和存储器被配置成处理和存储数据并执行与hmd(100)的功能相关的功能。还可包括电源(116)，其是电池或到外部电源的连接，并且被配置成向处理器和存储器(114)、通信装置(112)、相机(106)、显示器(104)和hmd(100)的其他部件提供电力。
40.当佩戴时，框架(102)定位安装到框架(102)和/或壳体(108)的相机(106)，使得当佩戴者直视前方时，其光轴基本上平行于佩戴者眼睛的光轴。当本文使用时，术语“中性光轴”可以指当hmd(100)的佩戴者基本上直视前方时(例如，眼睛的瞳孔在眼眶或眼眶内基本上垂直和水平居中)佩戴者眼睛的光轴。这样，相机(106)捕获具有与hmd(100)的佩戴者相似的视场的图像。例如，当佩戴者直视前方时，相机(106)可捕获包括佩戴者右眼的视场的一些或全部视场的图像，相机(106)最靠近该视场。相机(106)可以能够捕获图像、视频和音频，这些图像、视频和音频可由处理器和存储器(114)存储，经由通信装置(112)传输到处理器(12)，或者传输到另一个装置并在另一个装置上显示或呈现，这对于本领域技术人员根据本公开将是显而易见的。由相机(106)捕获的图像数据还可用于计算机视觉和其他分析，该计算机视觉和其他分析可包括例如识别捕获图像的对象或其他视觉特性。这种分析可由处理器(114)、处理器(12)或两者执行，或者也可使用各种云计算或边缘处理技术来执行，这对于本领域技术人员根据本公开将是显而易见的。
41.显示器(104)也安装到框架(102)和/或壳体(108)并且被定位成位于hmd(100)的佩戴者的视场内。在一些具体实施中，显示器(104)如果不是透明的则至少是部分半透明的，并且可由处理器(114)操作以渲染看起来叠加在佩戴者的视场上的图像。例如，显示器(104)可显示由相机(106)捕获的图像，这可能会阻挡佩戴者最近眼睛的视场的一些或全部视场，但在其他方面看起来与佩戴者对该眼睛的正常视场相似。又如，可对捕获图像执行图像分析以识别该图像内的感兴趣对象(例如，在外科手术导航的背景下、人面部或人解剖结
构的另一个部分)，并且显示器(104)可操作以渲染视觉标记，该视觉标记对于佩戴者来说看起来叠加在他们对所识别的对象的直接视图(例如，通过显示器(104)的透明部分查看)上。在以上的一些具体实施中，可将光学标记或其他基准标记放置在感兴趣对象上，以便提供具有由于其反射率、形状或其他视觉特性易于识别的对象的图像数据，使得放置在人面部上的光学标记而不是人面部本身可被识别。
42.又如，显示器(104)可操作以基于代替图像分析或机器视觉或除了图像分析或机器视觉之外的其他输入来渲染叠加佩戴者的视场的直接视场的视觉标记。例如，这可包括基于来自视角传感器(110)、处理器(12)、患者跟踪器(50)(例如，通过与处理器(12)通信)和其他装置的信息来渲染视觉标记。这可包括渲染提供与hmd(100)的旋转视角相关联的信息的视觉标记(例如，基于视角传感器(100)的陀螺仪特征)。又如，这可包括基于与外科手术器械和hmd(100)相关联的跟踪信息来渲染叠加外科手术器械(例如，导丝(40))的视觉标记。换句话讲，当处理器(12)能够跟踪和确定外科手术器械和hmd(100)的相对位置并且可确定hmd(100)的取向(例如，使用视角传感器(110))时，可经由显示器(104)确定所跟踪对象相对于彼此的位置和比例并且产生为渲染标记。
43.对于本领域技术人员根据本公开将是显而易见的，还可使用处显示器(104)之外的其他显示器来执行上述特征中的一些或全部特征。例如，在一些具体实施中，单独的显示器(例如，显示屏(16)或对整个房间可见的壁装式显示器)可被配置成接收和显示从相机(106)捕获的图像以及任何可添加的标记、渲染或其他叠加数据。在此类具体实施中，显示器(104)可仅渲染叠加图像，而单独的显示器可渲染由相机(106)捕获的图像和任何对应的叠加图像的组合。除了hmd(100)的佩戴者之外，这可允许规程中的其他参与者查看附加导航视图。在一些此类具体实施中，hmd(100)可不包括显示器(104)，并且可在显示屏(16)或定位在患者附近的另一个显示器上查看捕获图像和渲染叠加的组合。
44.hhd(101)可共享hmd(100)的一些或全部能力，并且可以是例如智能手机、平板电脑、专有装置或具有能力诸如处理和存储数据、执行功能、发送和接收数据、捕获图像、提供空间信息(例如，取向、位置或两者)的其他手持式计算装置。hhd(101)的显示器通常可以是led或lcd显示器，并且因此可能无法像诸如显示器(104)那样将渲染标记叠加到直接查看对象的透明表面上。在一些具体实施中，hmd(100)或hhd(101)可被修改以包括附加能力。例如，hmd(100)的一些具体实施可能不包括相对于igs导航系统(10)的坐标系自定位的能力。在这种情况下，传感器可安装(例如，外部或内部)在hmd(100)上，该hmd允许其与igs导航系统(10)交互并被该igs导航系统跟踪，类似于导丝(40)和患者跟踪组件(50)。因此，视角传感器(110)的能力可包括默认情况下存在于hmd(100)中的那些以及以后可添加的那些，无论它们是在壳体(108)内还是外部安装在hmd(100)上。
45.在一些具体实施中，指示hmd(100)的取向和位置的信息可从多个来源获得。作为一个示例，视角传感器(110)可包括能够确定旋转取向的陀螺仪特征，可包括或结合能够由igs导航系统(10)跟踪的三轴传感器以确定旋转取向，并且可被配置成识别存在于由相机(106)捕获的图像内的光学基准。在此类示例中，处理部件(例如，处理器(114)、处理器(12)或其他处理器)可被配置成通过平衡性能和准确性以各种方式确定取向或位置，这对于本领域技术人员根据本公开将是显而易见的。例如，一些具体实施可仅基于来自hmd(100)本身的陀螺仪信息或来自igs导航系统(10)的跟踪信息来确定取向或位置以强调性能，而其
他具体实施可能会使用陀螺仪、磁跟踪和图像分析信息的组合，目标是以一些性能的潜在代价(例如，hmd(100)的取向或位置改变和完成新的取向或位置的确定之间的延迟，如果有的话)实现更高的准确性。
46.可视化系统(60)允许在外科手术导航期间收集和使用附加输入和信息，以便向hmd(100)或hhd(101)的用户或者被配置成显示来自相机(106)的图像和任何对应叠加渲染的其他显示器的查看者提供附加导航视图和其他反馈。在不存在可视化系统(60)的情况下，igs导航系统(10)可获得的有用信息的范围很大程度上局限于在术前图像的背景下使用或显示(例如，由术前成像、ct、mri或超声图像集产生的3-d患者模型)。
47.例如，igs导航系统(10)可允许外科医生在规程之前查看患者的ct图像集，并且绘制出外科医生在规程期间将导航一个或多个外科手术器械的外科手术计划或外科手术路径。在规程期间，外科手术路径然后可叠加在ct图像集上并经由显示屏(16)显示，从而允许外科医生在有限数量的视图(例如，轴向、冠状、矢状)和可能需要的切片之间进行切换。又如，在规程期间，还可跟踪外科手术器械(例如，导丝(40))，并且类似地显示在ct图像集中。当一起显示时，外科医生可能会发现查看显示外科手术器械的跟踪位置和计划的外科手术路径彼此相关的ct图像是有益的。
48.虽然有用，但上述功能可能会分散外科医生对患者的注意力，因为他们可能需要将视线从患者身上移开才能查看附近的显示装置。当在轴向、冠状和矢状视图之间进行切换时，也可能会迷失方向，因为外科医生相对于患者的实际位置没有改变。例如，外科医生可能正在查看患者头部的轴向平面ct图像，并且在将他们的视野返回到患者时，可能正在查看患者头部的矢状平面。为了利用显示在ct图像上的信息，诸如外科手术器械的位置和取向、外科手术路径和附近解剖腔和结构，外科医生必须首先在思想上变换或将他们对轴向平面的空间理解与矢状平面联系起来，以便知道在哪个方向上导航外科手术器械。这个过程可能会耗费大量精力，可能会在规程期间消耗宝贵的时间，并且还可能导致外科手术器械的错误导航。
49.为了解决这个问题，可视化系统(60)提供了用于将坐标系和相关联信息与hmd(100)的佩戴者感知到的物理世界相关的框架。此类相关联信息可包括例如ct图像、经配置外科手术路径、实时外科手术器械跟踪、实时患者跟踪、指示应研究或避免的区域的经配置感兴趣的点，以及可与用于igs导航的坐标系相关的其他类似信息，这些信息在本文中可统称为相关数据集。
50.一旦相关，这些相关数据集就可经由显示器(104)显示，使得当直接看患者时它们是可用的，而不是仅仅显示在显示屏(16)或另一个附近的显示器上。除了减少指代外部显示器的需求之外，这种具体实施允许hmd(100)的佩戴者通过改变其相对于患者的视角来浏览或导航相关数据集，而不是使用鼠标或键盘对图像切片进行步进、在可视平面之间进行切换或旋转3-d模型。例如，在跟踪的外科手术器械位置和外科手术路径的情况下，外科医生可通过从不同角度移动和观察来从不同视角查看患者头部内的外科器械位置和外科手术路径的渲染叠加，而不是局限于使用鼠标或键盘界面在ct图像切片和ct图像平面之间进行步进。
51.作为上述示例性具体实施，图5示出了步骤集(300)，其可与可视化系统(60)一起执行以经由hmd(100)或另一个查看装置渲染和显示相关数据集，而图6a至图6c和图7a至图
7c示出了可以用可视化系统(60)显示或查看的示例性界面。在为规程定位患者之后，可对患者进行配准(框302)，并且在包括患者跟踪组件(50)的具体实施中，在igs导航坐标系内进行跟踪。患者的配准可包括使用配准探针或其他装置来向坐标系提供对应于患者解剖结构的多个位置，可包括放置、校准和使用患者跟踪组件(50)或两者，或者可包括其他配准技术。配准(框302)还可包括配准和跟踪其他装置和器械，诸如导丝(40)和其他可跟踪外科手术器械。配准(框302)还可包括配准和跟踪hmd(100)，其中它能够被igs导航系统(10)进行位置跟踪。
52.igs导航系统(10)也可接收(框304)与患者和规程相关联的一个或多个相关数据集，该一个或多个相关数据集可包括患者解剖结构的术前图像(例如，ct、mri和超声图像集)、预先配置的外科手术计划和外科手术路径，以及可与igs导航坐标系相关联的其他预先配置或术前捕获或生成的数据集。接收到的(框304)相关数据集还可包括在规程期间实时捕获然后与坐标系相关联的数据，诸如指示导丝(40)和其他跟踪的外科手术器械的位置的位置跟踪数据，以及指示hmd(100)的位置的位置跟踪数据。
53.当hmd(100)或另一个装置(例如，hhd(102))与可视化系统(60)一起使用时，可由相机(106)捕获图像(框306)，如已经描述的。在一些具体实施中，将基于相机(106)的经配置帧速率不断地捕获图像(框306)，使得每个后续图像可基于hmd(100)的佩戴者的移动而较之前的图像略微改变。捕获(框306)的图像可由处理器和存储器(114)存储并可被传输到处理器(12)或另一个装置。
54.当捕获图像(框306)时，可视化系统(60)可重复地确定(框308)hmd(100)相对于解剖结构的取向并重复确定(框310)hmd(100)相对于解剖结构的距离。这些确定(框308、框310)可连续地和独立地进行，或者可针对每个捕获(框306)的图像以一对一的基础(例如，在相机(106)每秒捕获三十个图像或帧的情况下，可视化系统(60)将以每秒三十次确定取向(框308)和距离(框310)，每个图像一次)或一些其他对应关系(例如，可视化系统可被配置成每三个捕获(框306)的图像确定一次取向(框308)和距离(框310))进行，这对于本领域技术人员根据本公开将是显而易见的。
55.可以不同的方式确定取向(308)和距离(310)，如已经描述的。例如，在一些具体实施中，hmd(100)和患者头部(h)中的每一者可由igs导航系统(10)在位置和取向上进行跟踪，并且可使用igs导航坐标系来确定距离和取向。在一些具体实施中，可使用hmd(100)的视角传感器(110)来确定取向和/或距离。
56.在一些具体实施中，可使用对捕获(框306)的图像的图像分析来确定取向和/或距离，以识别特定对象(例如，光学基准)或患者解剖结构(例如，眼睛)。例如，特别是在具有可预测大小、形状和其他特征的光学基准的情况下，对包含光学基准的图像的图像分析可指示查看光学基准的距离和视角。参考图6a，可看到患者跟踪组件(200)放置在患者的头部(h)上。一个或多个光学基准(230,232)可放置在患者跟踪组件(200)上或其他地方，如可能期望的。
57.图像中光学基准(230)的出现提供了图像被捕获的视角(例如，当如图6a所示查看时，光学基准(230)可能呈现为圆形，但当查看者向左或向右移动时可能呈现为椭圆形)以及距离的指示(例如光学基准可能具有2cm的直径)。在光学基准(230)具有足够复杂的不对称形状的情况下，或者在光学基准(230)的表面具有足够复杂的图案或其他可见特征的情
况下，单个基准可提供足够的信息来完全确定取向和距离。
58.另外，在使用若干光学基准(230,232)的情况下，诸如图6a中所示，每个基准相对于其他基准的表观位置可用作取向的指示。因此，将两个或更多个光学基准放置在跟踪组件(200)或头部(h)上可能是有利的。在一些具体实施中，一个或多个基准可在制造时集成到跟踪组件(200)的表面上，这可有利地指示彼此之间的静态和已知定位和距离，这可用于帮助后续基于基准的取向和距离确定。
59.如已经描述的，具体实施可在用于确定取向(框308)和距离(框310)的特定方法中有所不同，并且虽然一些具体实施可能完全依赖于跟踪igs导航坐标系内的每个感兴趣的对象，但其他具体实施可将这种跟踪与对光学基准的图像分析或其他技术相结合，以便改善结果的准确性、性能或其他特征。因此，应当理解，所公开的方法和其他方法的各种组合存在并且将为确定取向(框308)和距离(框310)提供不同的优势，并且此类组合对于本领域技术人员基于本公开将是显而易见的。
60.一旦确定，然后就可使用相对于所查看解剖结构的距离和取向来变换相关数据集，使得它可经由显示器(104)显示为所查看解剖结构的渲染叠加，或经由另一个装置显示为捕获图像的渲染叠加。相关数据集变换可包括，例如，变换(框312)外科手术路径以匹配所捕获(框306)图像的比例和视角，变换(框314)ct图像或其他图像类型以匹配所捕获(框306)图像的比例和视角，变换(框315)外科手术工具远侧末端的跟踪位置以匹配所捕获(框306)图像的比例和视角，以及其他变换。虽然在图5的背景下讨论了它们，但是应当理解，外科手术路径、ct图像和跟踪的外科手术工具不需要存在于接收到的(框304)相关数据集中。
61.相关数据集的变换将根据相关数据集中表示的特定数据而有所不同。例如，参考图8，在系统被配置成在患者头部(h)上叠加ct图像切片中的一些或全部ct图像切片的情况下，视角点(502)(例如，相机(106)的镜头)和查看点(504)(例如，与相机(106)的光轴相交的坐标系内的第一点、体素或其他对象)之间的距离(506)可用于确定和应用缩放因子以变换和控制经由显示器(104)显示ct图像切片的比例。随着hmd(100)的佩戴者朝向头部(h)移动，距离(506)将减小并且所显示的ct图像切片的比例将增加。类似地，远离头部(h)的移动将增加距离(506)并且减小所显示的ct图像切片的比例。这样，缩放因子可被配置成基于距离(506)提供对应于在该距离处的头部(h)的感知大小的ct图像的适当大小的渲染。
62.继续上述示例，在三维坐标系(501)内，视角点(502)相对于查看点(504)的位置可用于确定要渲染的适当ct图像切片，并且可用于变换适当的ct图像切片，使得它可叠加在头部(h)上。例如，在一些具体实施中，根据查看头部(h)的视角，可选择头部(h)的ct图像切片并将其渲染为叠加，使得头部(h)上方的视角可能会显示轴向视图，头部(h)前方的视角可能会显示冠状视图，并且头部侧面的视角可能会显示矢状视图，并且当hmd(100)的佩戴者在视角之间移动时，这些视图可自动切换。
63.又如，在一些具体实施中，可变换ct图像切片以创建具有二维输入图像的外观的新图像，如同它被固定在适当位置并从不同的视角(例如，二维图像视角变换)查看。这样，显示在头部(h)上的二维ct图像切片可随着hmd(100)的佩戴者在视角之间移动而进行视角变换。
64.作为又一变换示例，在包含外科手术路径的相关数据集的情况下，外科手术路径的坐标可被渲染并作为点、线或虚线集叠加在头部(h)上。距离(506)可用于变换外科手术
路径的比例，使得当叠加在头部(h)上时，外科手术路径的每个坐标相对于头部(h)适当地定位。视角点(502)相对于查看点(504)在坐标系(501)内的位置可用于在(hmd)的佩戴者在视角之间移动时变换外科手术路径。如上所述，这样的变换可作为视角变换来执行，或者可使用其他三维旋转和深度变换来执行，这对于本领域技术人员基于本文的本公开将是显而易见的。
65.在每个相关数据集被变换(例如，缩放、视角变换等)之后，它们可在一个或多个查看装置上渲染或显示(框316)，这可包括经由显示器(104)将渲染标记显示为叠加，经由hhd(101)或另一个显示器将渲染标记显示为捕获图像上的叠加，或两者。对于佩戴hmd(100)的用户，渲染标记可能看起来叠加了通过透明显示器(104)查看的其视场内的对象(例如，患者的头部或其他解剖结构)。对于hhd的用户(101)或壁装式显示器或其他装置的查看者，可用叠加在其上的渲染标记显示捕获图像。如已经描述的，捕获图像、确定视角和变换相关数据集的步骤可随着图像被捕获而连续重复，使得用户可在接收到叠加信息的连续更新时正常移动并环视规程区域。
66.例如，在查看到的解剖结构发生移动(框318)或者hmd(100)、hhd(101)或其他查看装置发生移动(框320)的情况下，将接收下一个捕获(框306)的图像，并且将重新确定取向(框308)和距离(框310)。然后，新确定的取向和距离将用于一个或多个变换，并且新产生的叠加将考虑自先前图像以来发生的任何移动或变化。
67.图6a至图6c示出了包括渲染和变换的外科手术路径的界面(400)的示例，诸如可经由显示器(104)显示并叠加在直接查看的患者头部(h)上，或者诸如可叠加在头部(h)的捕获图像上并显示。在图6a中，从前面查看头部(h)(例如，冠状平面的视图)，并且渲染标记已经经由显示器(104)或直接叠加在捕获图像上。渲染标记包括指示外科手术工具应遵循的路径的外科手术路径(402)，指示涉及该规程的解剖结构的目的地或部分的目标标记(404)，和指示跟踪的外科手术器械的当前位置的工具标记(406)。已经基于确定的距离确定了标记的比例(310)，使得外科手术路径(402)准确地叠加患者头部(h)，并且看起来就像在冠状平面ct图像切片上直接查看的那样，而不是经由显示器(104)或其他设备渲染的叠加。标记的位置和取向也已经基于所确定的取向来确定(308)。
68.图6b示出了从侧面查看的头部(h)(例如，矢状平面的视图)。基于视角的变化，每个标记都以新位置和取向渲染。例如，在图6a中，外科手术路径(402)被看到沿头部(h)的冠状平面横穿。冠状平面在图6b中不可见，并且可看到外科手术路径(402)沿矢状平面横穿。类似地，目标标记(404)和工具标记(406)的位置和取向各自从图6a改变，并且可确定它们位于头部(h)内的深度。图6c示出了从第三视角查看的头部(h)，诸如当查看者在图6a的视图和图6b的视图之间移动时可能查看的。当查看者在图6a和图6b的视图之间移动时，或移动到可查看头部(h)的其他视角，这些标记中的每一者均可更新和重新渲染，以提供附加信息和背景，而不仅限于ct图像集提供的那些视角，并且无需将视线从头部(h)移到显示屏(16)或其他显示器上，如已经描述的，这可能会分散注意力并迷失方向。
69.作为可由可视化系统(60)提供的界面的另一个示例，图7a示出了从ct图像集中选择的图像(430)，并且图7b至图7d示出了界面(440)的示例，该界面包括图像(430)和外科手术路径(402)的渲染叠加，诸如可经由显示器(104)显示并叠加在直接查看的患者头部(h)上，或者诸如可叠加在头部(h)的捕获图像上并显示。图像(430)、外科手术路径(402)和目
标标记(404)可在规程之前作为相关数据集接收(304)。
70.在图7b中，从与图6a相同的视角查看头部(h)。图像(430)在变换之后也叠加在头部(h)上，使得图像(430)的比例对应于头部(h)的感知大小(例如，与太大使得图像(430)延伸超出头部(h)相反)。刀具标记(406)、外科手术路径(402)和目标标记(404)也可与ct图像(430)叠加并可见，并且每个均可以不同程度的透明度进行渲染，以完全混淆通过渲染对头部(h)的直接查看，或者允许一定程度的透明度。虽然可视化系统(60)的不同具体实施可提供诸如图6a至图6c或图7b至图7d所示的界面，但一些具体实施可提供两者，并且例如可允许根据需要启用或禁用某些层。例如，这可包括根据需要启用或禁用图像(430)在头部(h)上的叠加。
71.图7c和图7d各自从不同视角示出头部(h)，与图6b和图6c中所示的匹配。图像(430)被模拟为阴影区域，并且其他渲染标记各自被变换以说明改变的视角。如已经描述的，图7b可将冠状平面的基本未改变的ct图像示出为图像(430)，而图7c可将矢状平面的基本未改变的ct图像示出为图像(430)。在一些具体实施中，图7d可示出来自冠状平面或矢状平面的变换ct图像，这取决于查看者的视角是否更接近冠状平面或矢状平面。
72.应当理解，图6a至图7c的界面代表当相关数据集被渲染并叠加在通过显示器(104)的透明部分可见的对象上时可显示的界面。例如，参考图6a，头部(h)不是经由显示器(104)渲染的，而是增强现实界面的可见部分，因为它是通过显示器(104)的透明部分被观看到的。图6a至图7c的界面也代表了当相关数据集被渲染并叠加在经由相机(106)捕获的图像上时可显示的界面，诸如可通过显示屏(16)显示，或者可经由hhd(101)显示。利用此类界面，头部(h)也将基于捕获图像渲染在显示器上。
73.iii.示例性组合
74.以下实施例涉及本文的教导内容可被组合或应用的各种非穷尽性方式。应当理解，以下实施例并非旨在限制可在本专利申请或本专利申请的后续提交文件中的任何时间提供的任何权利要求的覆盖范围。不旨在进行免责声明。提供以下实施例仅仅是出于例示性目的。预期本文的各种教导内容可按多种其他方式进行布置和应用。还设想到，一些变型可省略在以下实施例中所提及的某些特征。因此，下文提及的方面或特征中的任一者均不应被视为决定性的，除非另外例如由发明人或关注发明人的继承者在稍后日期明确指明如此。如果本专利申请或与本专利申请相关的后续提交文件中提出的任何权利要求包括下文提及的那些特征之外的附加特征，则这些附加特征不应被假定为因与专利性相关的任何原因而被添加。
75.实施例1
76.一种用于ent可视化的系统，包括：(a)图像引导外科手术(“igs”)导航系统，所述igs导航系统能够操作以：(i)维持对应于跟踪区域的坐标系，(ii)用所述坐标系跟踪一个或多个位置传感器，以及(iii)将患者解剖结构的位置与所述坐标系配准；(b)头戴式显示器(“hmd”)，所述hmd包括可佩戴框架和显示器，其中所述显示器被定位在所述可佩戴框架上以与所述佩戴者的中性光轴相交；(c)传感器，所述传感器能够操作以产生指示所述hmd相对于所述患者解剖结构的视角的视角数据集；和(d)处理器；其中所述处理器被配置成：(i)接收一个或多个相关数据集，其中所述一个或多个相关数据集中的每一者包括与所述坐标系相关联的数据，(ii)当从当前视角查看所述患者解剖结构时，基于所述视角数据集
来确定所述中性光轴相对于所述患者解剖结构上的查看点的取向，(iii)基于所述视角数据集来确定所述中性光学轴线的原点和所述查看点之间的距离，(iv)基于所述取向和所述距离来变换所述一个或多个相关数据集以产生与所述当前视角下的所述患者解剖结构对应的叠加图像，以及(v)经由所述显示器渲染所述叠加图像。
77.实施例2
78.根据实施例1所述的系统，其中，所述一个或多个相关数据集包括：(i)外科手术路径，所述外科手术路径指示外科手术器械在所述患者解剖结构内的计划路线，和(ii)远侧末端位置，所述远侧末端位置指示与所述一个或多个位置传感器的位置传感器相关联的远侧末端的当前位置。
79.实施例3
80.根据实施例2所述的系统，其中，所述一个或多个相关数据集进一步包括选自所述患者解剖结构的术前图像集的图像切片。
81.实施例4
82.根据实施例1至2中任一项或多项所述的系统，所述系统进一步包括定位在所述患者解剖结构上的患者跟踪组件，其中：(i)所述患者跟踪组件包括所述一个或多个位置传感器的位置传感器，并且(ii)所述igs导航系统被配置成基于所述位置传感器的移动来利用所述坐标系更新所述患者解剖结构的位置。
83.实施例5
84.根据实施例4所述的系统，其中，所述传感器安装在所述hmd上并且是所述一个或多个位置传感器中的一者，并且其中所述处理器被进一步配置成当确定所述中性光轴相对于所述查看点的所述取向时：(i)基于所述坐标系来确定所述中性光轴的取向，(ii)基于所述坐标系来确定所述患者解剖结构的取向，以及(iii)基于所述坐标系来将所述中性光轴的所述取向与所述患者解剖结构的所述取向相关。
85.实施例6
86.根据实施例4至5中任一项或多项所述的系统，其中，所述传感器安装在所述hmd上并且是所述一个或多个位置传感器中的一者，并且其中所述处理器被进一步配置成当确定所述原点和所述查看点之间的距离时：(i)基于所述坐标系来确定所述原点的位置，(ii)基于所述坐标系来确定所述患者解剖结构的位置，以及(iii)基于所述坐标系来确定所述原点的所述位置和所述患者解剖结构的所述位置之间的所述距离。
87.实施例7
88.根据实施例1至6中任一项或多项所述的系统，其中，所述处理器被进一步配置成当变换所述一个或多个相关数据集时：(i)基于所述原点和所述查看点之间的所述距离来确定缩放因子，(ii)基于所述中性光轴相对于所述查看点的所述取向来确定视角变换，以及(iii)产生包括由所述缩放因子确定的比例和由所述视角变换确定的视角的所述叠加图像。
89.实施例8
90.根据实施例7所述的系统，其中，所述显示器包括透明屏幕，并且其中所述处理器被进一步配置成在所述透明屏幕上渲染所述叠加图像，使得所述叠加图像出现在所述患者解剖结构的直接查看部分上。
91.实施例9
92.根据实施例1至8中任一项或多项所述的系统，其中，所述处理器被进一步配置成：(i)重复重新确定所述距离和所述取向，以及(ii)随着所述距离和取向的变化，经由所述显示器更新和渲染所述叠加图像。
93.实施例10
94.根据实施例1至9中任一项或多项所述的系统，其中，所述传感器包括定位在所述可佩戴框架上并具有与所述中性光轴平行且能够所述中性光轴静态偏移的光轴的相机，并且其中所述处理器被进一步配置成当确定所述取向和所述距离时：(i)存储指示对象的一个或多个可见特征并且指示所述坐标系内的所述对象和所述查看点之间的关系的对象数据集，(ii)从所述相机接收包含所述对象的图像，以及(iii)基于所述对象数据集和所述图像来确定所述取向和所述距离。
95.实施例11
96.根据实施例10所述的系统，所述系统进一步包括邻近所述患者解剖结构定位的一个或多个光学基准，其中由所述对象数据集描述的所述对象是所述一个或多个光学基准。
97.实施例12
98.根据实施例11所述的系统，所述系统进一步包括定位在所述患者解剖结构上的患者跟踪组件，其中：(i)所述患者跟踪组件包括所述一个或多个位置传感器的位置传感器，(ii)所述igs导航系统被配置成基于所述位置传感器的移动来利用所述坐标系更新所述患者解剖结构的所述位置，以及(iii)所述一个或多个光学基准被定位在所述患者跟踪组件的表面上。
99.实施例13
100.根据实施例1至12中任一项或多项所述的系统，其中，所述传感器包括定位在所述可佩戴框架上并具有与所述中性光轴平行且从所述中性光轴静态偏移的光轴的相机，并且其中所述处理器被进一步配置成除了经由所述显示器渲染所述叠加图像之外，还：(i)从所述相机接收图像并且基于已知的静态偏移值来将所述图像与所述叠加图像相关，(ii)将所述叠加图像添加到所述图像以产生增强图像，以及(iii)在除所述显示器之外的一个或多个显示器上显示所述增强图像。
101.实施例14
102.根据实施例1至13中任一项或多项所述的系统，其中：(i)所述处理器包括所述igs导航系统的第一处理器和所述hmd的第二处理器中的一者或多者，(ii)所述传感器包括与所述hmd耦合的陀螺仪传感器、安装在所述hmd上的相机和安装在所述hmd上的所述一个或多个位置传感器的位置传感器中的一者或多者，并且(iii)所述视角数据集包括陀螺仪取向数据集、与所述坐标系相关联的位置坐标集、与所述坐标系相关联的取向坐标集和由所述相机捕获的图像中的一者或多者。
103.实施例15
104.一种方法，包括：(a)配置图像引导外科手术(“igs”)导航系统以：(i)维持对应于跟踪区域的坐标系，以及(ii)用所述坐标系跟踪一个或多个位置传感器；(b)将患者解剖结构的位置与所述坐标系配准；(c)接收一个或多个相关数据集，其中所述一个或多个相关数据集中的每一者包括与所述坐标系相关联的数据；(d)在佩戴包括可佩戴框架和显示器的
头戴式显示器(“hmd”)时从当前视角查看所述患者解剖结构，其中所述显示器被定位在所述可佩戴框架上以与所述佩戴者的中性光轴相交；(e)基于从所述hmd的传感器接收的视角数据集来确定所述中性光轴相对于所述患者解剖结构上的查看点的取向；(f)基于所述视角数据集来确定所述中性光轴的原点和所述查看点之间的距离；(g)基于所述取向和所述距离来变换所述一个或多个相关数据集以产生与所述当前视角下的所述患者解剖结构对应的叠加图像；以及(h)经由所述显示器渲染所述叠加图像。
105.实施例16
106.根据实施例15所述的方法，其中，接收所述一个或多个相关数据集包括：(i)接收指示外科手术器械在所述患者解剖结构内的计划路线的外科手术路径，(ii)接收指示与所述一个或多个位置传感器的位置传感器相关联的远侧末端的当前位置的远侧末端位置，以及(iii)接收选自所述患者解剖结构的术前图像集的图像切片。
107.实施例17
108.根据实施例15至16中任一项或多项所述的方法，其中，所述传感器包括定位在所述可佩戴框架上并具有与所述中性光轴平行且从所述中性光轴静态偏移的光轴的相机，所述方法进一步包括：(a)将患者跟踪组件放置在所述患者解剖结构上，其中所述患者跟踪组件包括：(i)所述一个或多个位置传感器的位置传感器，和(ii)一个或多个光学基准；(b)存储指示所述一个或多个光学基准的一个或多个可见特征并且指示所述坐标系内的所述一个或多个光学基准和所述查看点之间的关系的对象数据集；(c)从所述相机接收包含所述一个或多个光学基准的图像；以及(d)基于所述对象数据集和所述图像来确定所述取向和所述距离。
109.实施例18
110.根据实施例17所述的方法，其中，所述传感器包括所述一个或多个位置传感器的第二位置传感器，所述方法进一步包括基于所述对象数据集、所述图像和所述坐标系来确定所述取向和所述距离。
111.实施例19
112.一种用于ent可视化的系统，包括：(a)图像引导外科手术(“igs”)导航系统，所述igs导航系统能够操作以：(i)维持对应于跟踪区域的坐标系，(ii)用所述坐标系跟踪一个或多个位置传感器，以及(iii)将患者解剖结构的位置与所述坐标系配准；(b)手持式显示器(“hhd”)，所述hhd包括相机和显示器；(c)传感器，所述传感器能够操作以产生指示所述hhd相对于所述患者解剖结构的视角的视角数据集；和(d)处理器；其中所述处理器被配置成：(i)接收一个或多个相关数据集，其中所述一个或多个相关数据集中的每一者包括与所述坐标系相关联的数据，(ii)当所述hhd从当前视角指向所述患者解剖结构时，接收来自所述相机的图像，(iii)基于所述视角数据集来确定所述相机的光轴相对于所述患者解剖结构上的查看点的取向，(iv)基于所述视角数据集来确定所述光轴的原点和所述查看点之间的距离，(v)基于所述取向和所述距离来变换所述一个或多个相关数据集以产生与所述图像中的所述患者解剖结构对应的叠加图像，以及(vi)基于所述叠加图像和所述图像来经由所述显示器显示增强图像。
113.实施例20
114.根据实施例19所述的系统，其中：(i)所述传感器是所述一个或多个位置传感器的
位置传感器，(ii)所述一个或多个位置传感器的第二位置传感器被定位在所述患者解剖结构上，并且(iii)所述一个或多个相关数据集包括：(a)外科手术路径，所述外科手术路径指示外科手术器械在所述患者解剖结构内的计划路线，和(b)远侧末端位置，所述远侧末端位置指示与所述一个或多个位置传感器的第三位置传感器相关联的远侧末端的当前位置。
115.iv.杂项
116.应当理解，本文所述的教导内容、表达、实施方案、示例等中的任何一者或多者可与本文所述的其他教导内容、表达、实施方案、示例等中的任何一者或多者进行组合。因此，上述教导内容、表达、实施方案、示例等不应被视为彼此孤立。参考本文的教导内容，本文的教导内容可进行组合的各种合适方式对于本领域的技术人员而言将显而易见。此类修改和变型旨在包括在权利要求书的范围内。
117.应当理解，据称以引用方式并入本文的任何专利、专利公布或其他公开材料，无论是全文或部分，仅在所并入的材料与本公开中所述的现有定义、陈述或者其他公开材料不冲突的范围内并入本文。因此，并且在必要的程度下，本文明确列出的公开内容代替以引用方式并入本文的任何冲突材料。据称以引用方式并入本文但与本文列出的现有定义、陈述或其他公开材料相冲突的任何材料或其部分，将仅在所并入的材料与现有的公开材料之间不产生冲突的程度下并入。
118.上文所述的型式的装置可被设计为单次使用后丢弃，或者它们可被设计为可多次使用。在任一种情况下或两种情况下，可对这些型式进行修复以在至少一次使用之后重复使用。修复可包括以下步骤的任意组合：拆卸装置，然后清洁或替换特定零件以及随后进行重新组装。具体地，可拆卸一些型式的装置，并且可以任何组合来选择性地替换或移除装置的任意数量的特定零件或部分。在清洁和/或更换特定部件时，所述装置的一些型式可在修复设施处重新组装或者在即将进行手术之前由用户重新组装以供随后使用。本领域的技术人员将会了解，装置的修复可利用多种技术进行拆卸、清洁/更换、以及重新组装。此类技术的使用以及所得的修复装置均在本技术的范围内。
119.仅以举例的方式，本文描述的型式可在手术之前和/或之后消毒。在一种消毒技术中，将所述装置放置在闭合且密封的容器诸如塑料袋或tyvek袋中。然后可将容器和装置放置在可穿透容器的辐射场中，诸如γ辐射、x射线、或高能电子。辐射可杀死装置上和容器中的细菌。然后可将经消毒的装置储存在无菌容器中，以用于以后使用。还可使用本领域已知的任何其它技术对装置进行消毒，所述技术包括但不限于β辐射或γ辐射、环氧乙烷或蒸汽。
120.已经示出和阐述了本发明的各种实施方案，可在不脱离本发明的范围的情况下由本领域的普通技术人员进行适当修改来实现本文所述的方法和系统的进一步改进。已经提及了若干此类可能的修改，并且其他修改对于本领域的技术人员而言将显而易见。例如，上文所讨论的实施例、实施方案、几何形状、材料、尺寸、比率、步骤等均是例示性的而非必需的。因此，本发明的范围应根据以下权利要求书来考虑，并且应理解为不限于说明书和附图中示出和描述的结构和操作的细节。