用于在外科手术中利用增强现实的系统和方法与流程

用于在外科手术中利用增强现实的系统和方法


背景技术：

1.传统外科导航可以被分解成所使用的跟踪技术的类型和所使用的成像的类型，如果有的话。目前，用于外科导航的最常见跟踪技术是红外立体光学跟踪或惯性跟踪。也可以使用电磁跟踪，但现在不频繁得多。红外立体光学跟踪具有下述限制：相机需要其自身对外科手术野的视线，并且它仅可以跟踪具体对象，该具体对象具有反射红外光的反射球体或者具有发射红外光的有源发光二极管（led）。这种跟踪不能够看到、识别出和空间跟踪对象。
2.关于成像，基本类型的导航是基于图像的和无图像的。基于图像的导航典型地涉及计算机断层扫描（ct）、磁共振（mr）成像或3d超声，且可以包括患者的解剖构造的三维（3d）模型的术前或术中开发。然后，在跟踪器贴附到患者的解剖构造之后，在外科手术期间通过配准过程将患者的解剖构造的该计算机模型与实际患者的解剖构造相匹配。类似地，与基于图像的导航相似的导航涉及利用患者的预测模型（诸如，统计成形模型）替代来自患者专用成像的3d模型。例如，可以基于患者的2d x射线以及来自患者统计数据和/或统计成形模型的大数据集的信息来针对患者生成预测3d模型——与针对患者的实际3d模型形成对照。
3.对于无图像的配准，跟踪器类似地贴附到患者的解剖构造，但解剖构造未被配准到从成像导出的3d模型。例如，在针对髋关节置换术的无图像的导航的情况下，使用无图像的导航技术来测量假体髋臼杯取向并计算腿长改变涉及将跟踪器贴附到骨盆。然后，使用一种无图像方法，使骨盆“方起来（squared-up）”，并且将该位置设定为针对骨盆的起始功能坐标系。相对于此而导航其他仪器。
4.利用第二更典型无图像假体杯和腿长导航，将骨骼参考系（跟踪器）贴附到骨盆，并且相对于跟踪器而定义坐标系，诸如前骨盆（ap）平面坐标系。ap平面坐标系是使用数字化器来定义的，且录入两个上脊点和耻骨联合，以关于下述内容而指示系统：跟踪器在空间上相对于经数字化的坐标系定位于何处。
5.对于基于图像的配准，在骨盆跟踪器贴附到骨盆之后，使用数字化器以对盆骨表面上的各种点进行数字化，以实现患者的骨盆的计算机模型与患者的实际骨盆之间的空间配准。
6.类似地，在骨盆跟踪器被贴附之后，可以通过下述操作将来自medford, ma的surgical planning associates, inc.的hipxpert
®
工具用作配准和跟踪设备：在该工具可预测地对接到患者的骨盆之后，对该工具上的三个凹陷（divot）进行数字化。hipxpert工具在美国专利no. 8,267,938 method and apparatus for determining acetabular component position中描述。


技术实现要素：

7.简言之，本公开涉及用于利用增强现实（ar）和/或混合现实设备以在外科程序期间执行配准和/或导航的系统和方法。在一些实施例中，除了其他元件以外，ar设备可以包
括处理器、存储器、传感器、以及用于将虚拟图像显示给ar设备的用户的一个或多个投影系统。示例性传感器尤其包括照片/视频相机、深度相机、光传感器和麦克风。示例性图像包括全息图，例如由光和声制成的对象。
8.如所描述的那样，可以开发患者专用外科计划，其中外科工具和/或植入物的位置被计划以便实现外科手术的一个或多个目标。所计划的位置可以是相对于与患者的解剖构造（诸如，患者的骨盆、股骨、胫骨、心、肺等）的部分相关联的坐标系而确定的。所计划的位置还可以被转化成相对于与可贴附到患者的配准和跟踪设备相关联的坐标系，或者所计划的位置起初可以是相对于与配准和跟踪设备相关联的坐标系而确定的。系统和方法可以生成如针对患者定制配置的配准和跟踪设备和所计划的位置处的外科工具和/或植入物的虚拟图像，诸如全息图。还可以生成患者的解剖构造或其部分的虚拟图像。在外科手术期间，关于手术室中的患者，可以执行患者配准。在一些实施例中，使用配准和跟踪设备来执行患者配准。例如，可以呈现配准和跟踪设备的全息图并将其与以所计划的方式贴附到患者的物理配准和跟踪设备协同定位（例如，对准），该所计划的方式例如是由外科医生手动地、由系统和方法自动地、和/或手动和自动技术的组合。在其他实施例中，可以基于由系统和方法对患者的解剖构造的部分的对象识别（诸如，如在外科手术期间暴露的患者的股骨外髁、胫骨平台或髋臼、其他解剖结构的识别）来执行患者配准。然后可以呈现所计划的位置中的外科工具和/或植入物的全息图，并且可以操控物理外科工具和/或植入物（例如，由外科医生）以与全息图协同定位，从而实现外科手术的一个或多个目标。在一些实施例中，外科医生可以手动操控配准和跟踪设备的全息图和/或物理配准和跟踪设备或患者，直到两者被协同定位。在其他实施例中，配准跟踪设备可以包括可识别的图像，例如一个或多个快速响应（qr）或其他码。系统和方法可以检测该图像（例如，该一个或多个qr码），并自动将配准和跟踪设备的全息图与物理配准和跟踪设备协同定位和锚定。在一些实施例中，系统和方法可以识别如针对患者而配置且对接到患者的解剖构造的配准和跟踪设备、患者的解剖构造的某个部分（诸如，通过切口可见的骨表面）、和/或qr码、配准和跟踪设备和患者解剖构造的某个组合。系统和方法可以连续检测图像、配准和跟踪设备和/或患者解剖构造在外科手术期间的空间位置和取向，以便将全息图保持与物理配准和跟踪设备协同定位。
9.如所指出的那样，在一些实施例中，系统和方法可以在外科手术期间识别一个或多个对象。例如，系统和方法可以识别患者的具体骨解剖构造的某个部分，以用于患者配准和/或以锚定或协同定位一个或多个虚拟图像，例如全息图。在一些实施例中，可以将患者的配准从配准和跟踪设备转移到另一设备（例如，跟踪或锚定设备），从而允许配准和跟踪设备的移除。如所指出的那样，配准和跟踪设备可以对接到患者的解剖构造。跟踪或锚定设备可以是植入之后的植入物，诸如在患者的髋臼中植入的假体杯部件。
10.可以在术前生成针对一个或多个对象的形状数据，其中的这种可以是患者专用对象。示例性对象包括：解剖结构，诸如患者的骨盆、髋臼、股骨、胫骨等；以及外科工具或设备，其中的一些可以是针对患者定制的，诸如，基于患者的解剖构造和被制作以与患者的解剖构造相互配合的模板而调整的工具或设备。形状数据可以以患者专用对象的一个或多个二维（2d）、三维（3d）或2d-3d模型的形式存在。在一些实施例中，模型可以是表面模型，而在其他实施例中，模型可以是实体模型。可以基于患者专用对象来在术前（例如，在计划阶段期间）定义一个或多个坐标系。示例性坐标系包括骨盆坐标系、股骨坐标系和/或胫骨坐标
系。坐标系可以是自动定义的（例如，由池化工具）、由计划外科医生或外科医生训练的同事手动定义、或者是通过自动化和手动步骤的组合来定义的。另外，一个或多个假体部件（诸如，杯部件和/或股骨柄部件）的位置可以是相对于一个或多个坐标系而计划的。术语位置可以指代确定对象在空间中的位置和取向的六个参数。
11.在计划阶段期间，可以生成和使用解剖结构（诸如，骨盆）的三维（3d）模型以及设备和工具（诸如hipxpert髋部配准和跟踪设备）以针对患者计划外科手术。例如，可以选择具体假体部件，并且可以确定它们在患者的身体内的位置，例如以满足外科手术的一个或多个目标。可以生成外科工具（诸如，扩孔钻和杯撞击器）的3d模型，以及它们的用于在所计划的期望位置处植入所选部件的位置。期望位置可以是例如特定工具的最终位置或者位置序列，例如从工具的起始点到其最终位置的工具路径。可以将3d模型中的至少一些导出到可由头戴式ar设备使用以生成相应虚拟图像的表格中。在外科程序期间，外科医生可以穿戴ar设备，该aq设备可以是ar头戴式设备（hmd）。ar设备可以被配置成包括或可访问导航系统。导航系统可以与ar设备协作以生成一个或多个虚拟图像，以帮助外科程序，该一个或多个虚拟图像可以被投影到ar设备的透镜中的一个或全部两者上。该一个或多个虚拟图像可以以对象的全息图的形式存在，并且全息图可以从外科医生的视角显现为处于外科场景中。全息图是由光形成的3d图像。在一些实施例中，外科医生可以操作用户界面控件，以手动地对全息图重新调整大小和进行移动，使得它们与外科场景中的对应物理对象协同定位。一旦由外科医生协同定位，就可以在那些位置处锚定全息图。外科医生然后可以操作一个或多个物理工具，直到物理工具与相应工具的全息图协同定位。利用与相应工具的全息图协同定位的物理工具，可以如所计划的那样使解剖结构准备好接收假体部件，并且可以在所计划的位置处植入所选部件。
12.如所提出的那样，在一些实施例中，可识别的图像（例如，qr码）可以在预定位置中贴附到配准和跟踪设备。系统和方法可以检测和识别该图像，例如qr码。基于qr码的识别，系统和方法可以将配准和跟踪设备的全息图协同定位到物理配准和跟踪设备。然后可以呈现所计划的位置处的外科工具的全息图。在一些实施例中，系统和方法可以省略呈现配准和跟踪设备的全息图，且取而代之，已经在物理配准和跟踪设备上识别了qr码，仅呈现所计划的位置处的外科工具的全息图。在一些实施例中，可以使用多个qr码。例如，可以将不同qr码放置在被安装到配准和跟踪设备的立方体的面上。每个qr码可以暴露与qr码对准的空间坐标系，例如在取景图案的左上角处。ar设备可以检测与这些qr码中的一个或多个相关联的空间坐标系。系统和方法可以在外科手术期间重复地（例如，以诸如每秒五次之类的某个频率）检测qr码和/或空间坐标系，且因而连续保持与物理配准和跟踪设备协同定位的全息图。例如，ar设备可以在外科手术的某个持续时间内至少周期性地（诸如，每秒五次或某个其他频率、间歇性地、连续地和/或偶尔）检测图像（例如，qr码）、配准和跟踪设备和/或患者解剖构造的空间位置和取向。系统和方法还可以使用惯性测量单元（imu）以保持与物理配准和跟踪设备协同定位的全息图，例如如果在外科手术期间的任何点处失去到配准和跟踪设备和/或qr码的视线的话。在一些实施例中，如果已经失去到配准和跟踪设备和/或qr码的视线达足够长时间以冒着失去准确协同定位的风险以使得推荐重新锚定，则系统和方法可以发出一个或多个警报和/或警告，该足够长时间可以是预定时间。例如，可以停止或中止配准和跟踪设备或者任何其他对象或工具的全息图的呈现，直到重新锚定被执行。
13.包括一个或多个qr码的配准和跟踪设备的至少部分可以被设置在患者的身体外。由此，包括一个或多个qr码的配准和跟踪设备可以容易地被ar设备检测。然而，基于配准和跟踪设备的检测而锚定的虚拟图像（例如，全息图）可以被呈现成显得好像它们延伸到患者的身体中或者完全被设置在患者的身体内部。
14.在一些实施例中，如ar设备的一个或多个传感器所捕获的来自外科场景的数据可以由导航系统处理，该导航系统利用针对对象（诸如，患者专用对象）的术前获得和/或确定的形状数据以检测外科场景中的对象。这可以被称作对象识别模式，其中，系统和方法在术前创建针对对象（诸如，患者专用对象）的形状数据，且然后使用对象识别技术以将虚拟图像锚定到真实对象。应当理解，实际对象的仅部分可以在由ar设备捕获的数据中可观察。然而，导航系统可以检测对象并确定其位置。导航系统可以接下来例如基于对象的检测及其所确定的位置来相对于一个或多个术前确定的坐标系而配准对象。除了配准到坐标系外，系统一旦识别和协同定位了对象就可以将任何其他对象或工具的虚拟图像显示到相对于所识别的对象的所计划的位置中的外科场景上。导航系统还可以在外科程序期间跟踪对象。在一些示例中，对象的配准和跟踪可以被转移到第二对象，诸如在患者上放置的跟踪器。
15.导航系统可以生成可被投影到ar设备的透镜上的一个或多个虚拟图像（例如，全息图），以帮助外科程序。例如，尽管患者的骨盆或膝部的仅小部分可以通过切口可见，但整个骨盆的全息图可以由ar设备渲染，并且全息图可以与患者的物理骨盆协同定位。在其他实施例中，作为示例，可以渲染整个股骨和/或胫骨的全息图并将其与患者的股骨或胫骨协同定位。另外或可替换地，用于在所计划的位置处植入一个或多个假体部件的一个或多个坐标系和/或向导的全息图可以由ar设备渲染，且显得好像它们处于外科手术野中那样，以便帮助外科医生放置假体部件。在一些实施例中，可以在外科程序期间改变假体部件的位置，并且可以更新由ar设备呈现给外科医生的向导以符合这些改变。这可以被称作实况全息术模式，其中系统和方法递增地或连续实时地更新全息图，以反映由外科工具执行的工作，不论是由外科医生指导还是由机器人指导。
16.以下概览呈现了本公开的一个或多个实施例。应当理解，可以在本公开的不同实施例中实现这些特征的不同组合。
17.1. 用于在患者专用的基础上配准和跟踪设备（诸如，hipxpert工具）的配准和跟踪的图像或对象识别。这还对骨盆进行配准。图像或对象识别可以至少包括：在外科程序期间的某个持续时间内（诸如，在该持续时间内间歇性地、连续地和/或偶尔）周期性地检测和/或识别图像或对象。
18.1a. 从外科医生的实时视角在患者的骨盆上叠加的虚拟骨盆的增强现实显示。
19.1b. 将骨盆配准转移到另一可识别跟踪对象，使得可以从外科手术野移除配准和跟踪工具，例如hipxpert工具。
20.2. 基于髋臼的视图对骨盆的自动化配准。
21.3. 使用1和2的组合配准，以改进配准的准确度。配准中的误差可以可见地显现为复视。改进准确度可以减少或消除这种复视。
22.4. 针对全髋关节置换术（thr）准备髋臼（例如，通过将物理杯撞击器与杯撞击器的全息图排成一行），执行髋臼周围截骨术，对病灶进行活组织检查，和/或执行其他外科程
序。
23.a. 跟踪在该程序期间使用的一个或多个工具，并基于到目前为止已实时发生的内容来更新骨盆、股骨等的3d模型和/或全息图。
24.b. 在外科手术期间比较三个结构：原始解剖结构、经修改的解剖结构、以及外科医生想要解剖结构如何被修改的最终目标。
25.5. 使用对象识别、通过创建虚拟患者专用对象、检测现实对象在外科手术野内的部分、以及在数学方面和在全息方面两者将虚拟和现实对象协同定位和锚定在一起、针对全膝关节置换术对股骨和胫骨的自动化配准。可以使用患者专用对象识别来执行配准，并且连续跟踪这样做，或者切换到另一跟踪对象或图像并针对全膝关节置换术（tka）或者涉及膝部、股骨或胫骨的任何其他股骨或胫骨干预而跟踪股骨和胫骨。如果坐标系被预先计划，那么外科医生可以直接看患者的骨头的端部，以自动配准股骨和胫骨并立刻开始导航外科手术的剩余部分，而无需耗费时间执行在历史上针对外科导航而要求的传统配准步骤。例如，系统和方法可以立即确定并向外科医生呈现髋部的中心在何处、踝部在何处以及全部两个骨头的坐标系，使得他或她可以测量运动、韧带平衡、骨切除细节等。外科医生还可以导航所有后续工具并输出程序的进度。本公开可以使用混合现实或增强现实（ar）设备（诸如，ar头戴式设备）来从外科医生的精确视角显示被投影到患者上的增强现实虚拟图像。
26.6. 本公开的实施例可以将配准从跟踪骨头端部的形状（患者专用对象识别）转移到另一对象（诸如，跟踪器），使得外科医生可以开始修改骨表面，而不失去跟踪能力。
27.7. 内窥镜应用的示例。使用具有立体视觉的内窥相机和/或深度相机（例如，飞行时间（tof）传感器），本公开的实施例可以使用与相同对象的3d模型相匹配的自动化对象识别来配准对象。然后，如果外科医生所穿戴的ar设备或与位于手术室中的ar设备分离的立体跟踪系统（诸如，红外（ir）跟踪系统）可以看到内窥镜的外部部分的一部分，则ar设备对内窥镜的视点的相对位置将允许本公开从外科医生的精确视点将虚拟3d对象投影到实际对象上。例如，这可以是：a. 内窥相机使用体视术和/或传感器的组合来识别人体部分的3d位置，以实现自动化3d（对象识别）表面配准。
28.b. 然后，离开人的身体的立体相机的后端可以被尤其包括ar设备和/或ir跟踪系统的本公开配准和跟踪。
29.c. ar设备然后可以呈现解剖结构或对象的虚拟图像，例如全息图。这允许外科医生“看”穿身体并透过外科医生与对象中间的皮肤或任何其他不透明对象虚拟地“看到”结构或对象。韧带放置的最优位置可以被计算和呈现（例如，被ar设备），用于访问所计算的韧带放置位置的最优隧道位置也可以。
30.在一些实施例中，本公开涉及用于创建外科程序的术前计划且创建可例如在外科程序期间呈现的一个或多个全息图的基于计算机的系统和方法。系统和方法包括外科计划系统、被配置为外科引导系统的增强现实头戴式显示器（ar-hmd）以及一个或多个配准和跟踪设备中的一个或多个。外科计划系统可以被利用以开发患者专用外科计划，其中，可以在术前确定一个或多个外科工具、植入物、切割平面、钻斧等的位置，以便实现外科程序的一个或多个目标。另外或可替换地，外科计划可以进一步包括所计划的对解剖结构的修改，例
如重塑骨表面。外科计划系统可以基于来自成像研究的针对患者的形状数据来生成患者的解剖构造的部分的一个或多个计算机生成模型，诸如表面模型。外科计划系统可以建立一个或多个坐标系。可以相对于该一个或多个坐标系而计划外科工具、植入物、切割平面和/或钻斧的位置以及对解剖构造的修改。在一些实施例中，还可以相对于患者的解剖构造的部分和该一个或多个坐标系而确定配准和跟踪设备的位置。在一些实施例中，可以将外科工具、植入物、切割平面和/或钻斧的位置以及对解剖构造的修改转化到针对配准和跟踪设备的坐标系。计划系统可以生成患者的在所计划的位置处的解剖构造、配准和跟踪设备、外科工具、植入物、切割平面和/或钻斧中的一个或多个以及经修改的解剖结构的各种组合的图像。计划系统可以将图像转换成供ar-hdm呈现为全息图的格式。
31.ar-hmd可以利用图像和/或对象识别以识别配准和跟踪设备、与配准和跟踪设备相关联的图像、和/或患者的解剖构造的部分，以将患者配准到术前生成的全息图。例如，关于手术室中的手术台上的患者，可以将配准和跟踪设备对接到所计划的位置中的患者（或者在随机位置中贴附）。ar-hmd可以在外科程序的至少部分期间检测和跟踪配准和跟踪设备。ar-hmd可以呈现全息图，并基于针对配准和跟踪设备的坐标系将它们锚定到患者。外科医生可以在外科程序期间利用全息图作为视觉向导。例如，可以在遵循外科程序的步骤的序列中调用和呈现全息图。一个或多个全息图可以在所计划的位置中呈现外科工具。外科医生可以将物理外科工具手动地定位成与全息图的外科工具对准。一个或多个全息图可以呈现以所计划的方式修改的解剖结构。外科医生可以修改物理解剖结构以匹配于全息图。通过将全息图用作用于操作外科工具的向导、修改解剖结构和/或插入植入物，外科医生可以实现外科程序的一个或多个目标。
32.在一些实施例中，系统和方法不执行患者的术中成像，且不在外科程序期间跟踪外科工具或植入物。在其他实施例中，系统和方法可以另外在外科程序期间跟踪一个或多个外科工具或植入物。
附图说明
33.以下描述参考了附图，其中：图1是根据一个或多个实施例的手术室的示意图示；图2是根据一个或多个实施例的增强现实（ar）设备的示意图示；图3是根据一个或多个实施例的ar设备的图画透视分解图；图4是根据一个或多个实施例的示出了在患者上对接的配准和跟踪设备的外科程序的图画表示；图5是根据一个或多个实施例的骨盆的3d表面模型的图示，具有对接到骨盆的配准和跟踪设备的模型；图6是根据一个或多个实施例的由ar设备投影的图像的示意图示，示出了在该时刻处从与外科医生完全相同的视角看去患者的处于皮肤下面的骨盆的虚拟图像；图7是根据一个或多个实施例的在外科手术期间通过切口进入患者的髋臼中的视图的图画表示；图8是根据一个或多个实施例的从与图7相同的视角看去患者的骨盆的3d表面模型的图示；
图9是根据一个或多个实施例的由ar设备投影的图像的示意图示，示出了从与外科医生完全相同的视角看去患者的处于皮肤下面的骨盆的虚拟图像；图10是根据一个或多个实施例的示出了在全膝关节置换期间远端股骨的视图的患者膝部的图画表示；图11是根据一个或多个实施例的患者股骨的3d表面模型的图示，意在描绘与外科医生的视图完全相同的取向中的完全相同的骨头，例如，通过使用立体相机的自动化表面匹配或者立体表面检测的任何其他方法而确定；图12是根据一个或多个实施例的由ar设备投影的图像的示意图示，示出了从外科医生的视点看到的在空间上在与实际股骨完全相同的地方放置的股骨的虚拟模型；图13是根据一个或多个实施例的示出了在全膝关节置换期间的胫骨的患者膝部的图画表示；图14是根据一个或多个实施例的患者胫骨的3d表面模型的图示，意在描绘与外科医生的视图完全相同的取向中的完全相同的骨头；图15是根据一个或多个实施例的由ar设备投影的图像的示意图示，示出了从外科医生的视点看到的在空间上与实际胫骨完全相同的地方放置的胫骨的虚拟模型；图16是根据一个或多个实施例的示例导航系统的示意功能图示；图17是根据一个或多个实施例的示例外科计划系统的示意图示；图18是根据一个或多个实施例的计划窗口的图示；图19是根据一个或多个实施例的计划窗口的图示；图20是根据一个或多个实施例的全息图的图画表示；图21是根据一个或多个实施例的配准和跟踪工具的部分的图画表示；图22是根据一个或多个实施例的工具的3d模型的部分的透视图；图23是根据一个或多个实施例的计划窗口的图示；图24是根据一个或多个实施例的与物理对象协同定位的全息图的图画表示；图25是根据一个或多个实施例的全息图的图画表示；图26是根据一个或多个实施例的全息图的图画表示；图27是根据一个或多个实施例的全息图的图画表示；图28是根据一个或多个实施例的全息图的图画表示；图29是根据一个或多个实施例的全息图的图画表示；图30是根据一个或多个实施例的针对外科计划的部分的示例计划窗口的图示；图31是根据一个或多个实施例的调整大小向导的前视图；图32是根据一个或多个实施例的调整大小向导的透视图；图33是根据一个或多个实施例的切割块的前视图；图34是根据一个或多个实施例的切割块的侧视图；图35是根据一个或多个实施例的假体膝部部件的透视图；图36是根据一个或多个实施例的计划窗口的图示；图37是根据一个或多个实施例的计划窗口的图示；图38是根据一个或多个实施例的计划窗口的图示；图39是根据一个或多个实施例的计划窗口的图示；
图40是根据一个或多个实施例的计划窗口的图示；图41是根据一个或多个实施例的患者骨盆的示例2d ct图像集合的图画表示；图42是根据一个或多个实施例的患者骨盆的示例2d ct图像集合的图画表示；图43是根据一个或多个实施例的患者骨盆的示例2d ct图像集合的图画表示；图44是根据一个或多个实施例的具有定制拟合模板的患者髋臼的部分侧视图；图45是根据一个或多个实施例的配准和跟踪工具的部分的透视图；图46是根据一个或多个实施例的具有三个切割平面的骨盆的表面模型的图示；图47是根据一个或多个实施例的具有三个切割平面的骨盆的表面模型的图示；图48是根据一个或多个实施例的由ar设备生成和投影的图像的图画表示；图49是根据一个或多个实施例的图示了外科医生的视点的骨盆的表面模型的图示；图50是根据一个或多个实施例的由ar设备生成和投影的图像的图画表示；图51是根据一个或多个实施例的由ar设备生成和投影的图像的图画表示；图52是根据一个或多个实施例的手术室的示意图示；图53是根据一个或多个实施例的计划窗口的图示；图54是根据一个或多个实施例的可由ar设备在外科程序期间呈现的切割平面的图示；图55是根据一个或多个实施例的通过ar设备而查看的外科场景的图画表示；图56是根据一个或多个实施例的示例牙科模型的顶视图；以及图57是根据一个或多个实施例的骨盆的前视图的示意图示。
具体实施方式
34.图1是根据一个或多个实施例的手术室100的示意图示。在手术室100中设置了手术台102，针对外科程序将患者104定位在手术台102。在手术室100中还设置了跟踪系统106、数据处理设备110和网络设备，诸如无线路由器112。外科医生114可以处于手术室中。外科医生114可以穿戴增强现实（ar）设备200，诸如头戴式设备（hmd）。可选地，三维（3d）检测系统108可以被设置在手术室中。示例性3d检测系统包括立体相机系统、结构化光成像系统和连续波（cw）飞行时间（tof）成像系统，诸如来自redmond, wa的microsoft公司的azure kinect开发包（dk），其包括集成的深度相机、彩色照片/视频相机、惯性测量单元（imu）和麦克风阵列。跟踪系统106可以实现红外、惯性或其他跟踪技术。3d检测系统108可以从可见或不可见光范围内的对象捕获图像或反射。在实施例中，当ar设备200包括仅单个相机或不包括相机时，可以使用由3d检测系统108生成的图像。外科医生114可以操控一个或多个外科工具，诸如外科工具118。在一些情况下，一个或多个跟踪器（诸如，跟踪器120）可以附着到患者104的解剖点。另一跟踪器122可以附着到外科工具118。在一些实施例中，数据处理设备110可以托管和运行导航系统1600的部件中的一些或全部。在一些实施例中，导航系统1600的部件中的一些或全部可以由ar设备200运行。
35.在一些实施例中，手术室100中的其他人可以穿戴ar设备，并且在ar设备200上呈现的全息图可以被呈现在这些其他ar设备上。在一些实施例中，一个或多个显示设备可以被包括在手术室100中。由ar设备200捕获的图像以及由ar设备200呈现的全息图可以被呈
现在这些显示设备上，且由手术室100中的其他人和/或由观察外科手术的其他人观看。
36.图2是根据一个或多个实施例的示例ar设备200的示意图示。ar设备200可以包括：投影光学器件，适于将虚拟图像投影到透视或半透明透镜上，从而使外科医生114能够查看周围环境（诸如，外科手术野）以及所显示的虚拟图像。ar设备200可以包括具有两个透镜204a和204b的框架202、两个臂222a和222b、以及投影仪208a和208b，除了其他地方以外，该投影仪208a和208b可以被设置在ar设备200的前部上或臂222a和222b中。投影仪208a和208b可以将虚拟图像（例如，全息图）投影到用户，例如在透镜204a和204b上和/或在用户的眼睛上。投影仪208a和208b可以尤其是纳米投影仪、微微投影仪、显微投影仪、毫微微投影仪、基于laser的投影仪或全息投影仪。如所指出的那样，两个透镜204a和204b是透视的或半透明的，尽管在其他实施例中，仅一个透镜（例如，透镜204a）可以是半透明的，而另一透镜240b可以是不透明的或缺失的。在一些实施例中，ar设备200还可以包括两个发音清晰的耳塞220a和220b、无线电收发器218和麦克风224。在一些实施例中，ar设备200可以呈现与全息图相关联的一个或多个声音且可以接受来自用户的语音命令。
37.图3是根据一个或多个实施例的ar设备200的图画透视分解图。ar设备200可以进一步包括多个相机和/或传感器。例如，在一些实施例中，ar设备200可以包括彩色视频相机226、四个灰度相机228a-d和一个或多个深度相机或传感器，诸如深度相机230。ar设备200还可以包括：一个或多个红外（ir）发射器232a-d，其与深度相机230一起作为连续波（cw）飞行时间（tof）发射器/接收器而工作。ar设备200还可以包括一个或多个传感器，诸如光传感器234。应当理解，ar设备200可以包括其他传感器，诸如加速度计、陀螺仪、电阻式传感器、电流传感器、压电传感器、电压传感器、电容式传感器、全球定位卫星接收器、罗盘、高度计、测距仪、温度计、化学传感器、眼球跟踪相机或传感器和/或湿度传感器。在一些实施例中，传感器中的一个或多个可以感测外科医生114的移动，诸如，当外科医生114移动、倾斜和/或转动他或她的头时以及通过外科医生114如何移动、倾斜和/或转动他或她的头。例如，传感器的集合可以被组织为惯性测量单元（imu）。
38.在一些实施例中，可以根据由相机226、228a-d和230的各种组合输出的数据生成穿戴者的环境的3d信息。例如，相机226、228a-d和230的各种组合可以尤其被配置为立体相机、结构化光发射器/接收器或连续波（cw）飞行时间（tof）发射器/接收器。相机226、228a-d和230的各种组合可以被称作空间检测系统。
39.如所描述的那样，由ar设备200上包括的相机226、228a-d和230的各种组合输出的数据可以用于在一个或多个外科程序期间执行配准和/或导航。在其他实施例中，ar设备200可以包括红外立体跟踪器。在该情况下，ar设备200可以用于执行一个或多个跟踪器（尤其诸如跟踪器120和/或跟踪器122）的红外立体跟踪。另外，可以将增强现实视点投影到ar设备200上。
40.合适的ar设备尤其包括来自microsoft公司的hololens系列的混合现实设备、来自plantation, fl的magic leap公司的magic leap one设备和west henrietta, ny的vuzix公司的blade智能眼镜，且在microsoft公司的美国专利公开no. 2019/0025587 ar glasses with event and user action control of external applications和apple公司的美国专利公开no. 2019/0285897 display device中描述。
41.图16是根据一个或多个实施例的导航系统1600的示意功能图示。导航系统1600可
以包括对象识别器1602、对象姿势检测器1604、对象跟踪器1606、模型数据库1608和虚拟图像生成器1610。对象识别器1602可以包括特征寄存器1612。
42.应当理解，导航系统1600仅用于图示性目的，并且导航系统1600可以采取包括附加和/或其他部件的其他形式。
43.可以使用计算机视觉技术来实现导航系统1600的部件中的一个或多个。可替换地或另外，可以使用机器学习（诸如，人工智能（ai））技术来实现部件中的一个或多个。
44.在其他实施例中，可以在ar设备200上运行导航系统1600的部件中的一些或全部，如所提出的那样，其可以包括一个或多个处理器和存储器。在其他实施例中，可以将导航系统1600的部件中的一些或全部实现为在数据处理设备110上和/或在ar设备200上运行的客户端可访问的基于云的服务。应当理解，可以以其他方式实现导航系统1600的部件。
45.工具和解剖结构的自动化识别和配准：示例：hipxpert工具患者可能被诊断有要求外科手术的医学状况。在针对外科程序的准备中，可以执行一个或多个数据收集程序。例如，可以拍摄患者的一个或多个数字图像，诸如计算机断层扫描（ct）、磁共振成像（mri）、传统射线照片（x射线）或超声图像。具体地，可以拍摄患者解剖构造的要在其上执行外科手术的那部分的图像。应当理解，可以执行任何诊断测试或测量（特别地，改进与要手术的患者解剖构造的具体部分有关的维度理解的诊断测试或测量）并将其用于患者专用计划。
46.例如，患者可能被诊断有髋关节失灵，且可能要求左髋、右髋或全部两个髋上的全髋关节置换（thr）外科手术。在该情况下，可以拍摄患者髋部的一个或多个ct扫描。可以在患者的术前访视的日子、在外科手术前的任何时间处或者甚至在外科手术期间拍摄该一个或多个数字图像（ct、射线照相、超声、磁等）。该一个或多个数字图像可以提供与患者髋部的表面和/或结构和关联或邻近的结构有关的三维信息。
47.外科计划者（诸如，有经验的外科医生或其他人）可以利用计划工具的3d建模工具，以基于所拍摄的患者的一个或多个数字图像（例如，ct、mr或其他数字图像）来创建患者解剖构造（诸如，患者髋部）的一个或多个计算机生成三维（3d）模型。除了基于ct、mr或其他数字图像来生成模型外或者对基于ct、mr或其他数字图像来生成模型来说可替换地，可以使用预测建模（例如，基于患者专用特性）来创建患者专用模型。也就是说，可以在患者专用数据输入（诸如，数字x射线或最小数据集组合）上创建统计成形模型或其他预测模型。
48.外科计划者可以利用计划工具，以创建要在患者上执行的外科程序的外科计划。例如，外科计划者可以使用一个或多个外科工具来创建用于在thr外科手术期间将一个或多个假体或外科部件（诸如，髋臼杯部件）植入到患者髋部中的计划。外科计划者可以利用计划工具，以基于骨盆的3d计算机生成模型来建立一个或多个坐标系，诸如前骨盆（ap）平面坐标系。还可以例如通过在患者骨盆的3d模型上选择三个点来建立例如供一个或多个外科工具使用的其他患者专用坐标系，诸如同侧半骨盆平面坐标系。进一步地，可以基于功能位置中的身体部分的位置来建立“功能”坐标系。例如，可以简单地通过在成像被获取的同时知道和接受患者骨盆所处的位置来建立骨盆的功能坐标系。
49.在一些实施例中，外科计划者可以利用计划工具，以计算要在一个或多个外科工具（诸如，可调整的hipxpert
®
工具）上作出的一个或多个输入和/或调整。输入和/或调整可以至少部分地基于：从被创建的骨盆的3d模型导出的信息，诸如空间信息；患者专用信息
中的一些或全部；和/或外科计划者已知或可访问的统计信息。例如，输入和/或调整可以用于将hipxpert工具定制成适合于（例如，对接到）患者的骨盆，使得hipxpert工具的所预测的对接位置将是相对于骨盆的任何其他坐标系（例如，ap平面坐标系）已知的。外科计划者还可以选择特定假体髋部部件，且可以计划他们在骨盆的3d模型内的位置，以便完成针对外科手术的特定目标，诸如对腿长、偏移和/或ap位置中的改变进行优化。在一些情况下，对改变进行优化可以意指最小化对腿长、偏移和/或ap位置的改变。在其他情况下，它可以意指实现对腿长、偏移和/或ap位置的预期改变。
50.外科计划者可以计划所选假体部件的位置，以实现目标。例如，可以确定所选髋臼杯部件在髋臼内的位置。位置可以包括杯部件在髋臼中的深度，并且计划阶段可以包括确定应当如何准备（例如，成形）髋臼以便在所计划的位置处接收杯部件。例如，计划可以指定髋臼的杯床的深度和/或形状。位置可以包括杯部件的轴（例如，中央轴）相对于ap平面坐标系的取向。
51.可以利用被准备好接收杯部件的髋臼生成骨盆的3d模型的版本。例如，可以生成杯床的3d模型。此外，在一些实施例中，假体部件的3d模型可以被包括在计划工具中和/或对计划工具来说可用。外科计划者可以将杯部件的3d模型放置在骨盆的3d模型中的所计划的位置处。类似地，可以将所选股骨柄的3d模型放置在髋部的3d模型中的所计划的位置处。
52.在一些实施例中，hipxpert工具可以包括向导，诸如杆。外科计划者可以确定对hipxpert工具的一个或多个调整，使得当它对接到患者的骨盆时，向导将指向髋臼杯取向的方向，如所计划的那样。
53.因此，外科计划可以包括用于在程序期间设定和使用一个或多个外科工具的指令。在其他实施例中，外科计划可以是或可以包括用于操作一个或多个工具或设备（诸如，外科工具或机器）以在外科程序期间协助的机器指令，诸如可执行代码。在一些实施例中，外科计划可以包括要由将执行该程序的全部或部分的机器人外科工具执行的机器指令。除了控制外科机器人外，外科计划还可以提供用于执行下述操作的指令：控制徒手外科设备（诸如，旋转工具），以当它处于要执行切割的位置中时开启，且当它处于不应当发生切割的位置中时关闭或禁用切割（例如，通过部署保护套）。
54.示例性外科机器人包括来自fort lauderdale, fl的mako surgical公司的外科医生控制的机械臂。示例性徒手工具包括来自pittsburgh, pa的blue belt technologies公司的徒手雕塑器。
55.然而，还应当理解，在一些实施例中，可以在外科程序期间开发和/或修订外科计划，而在其他实施例中，可以不创建明确的外科计划。例如，关于膝部的acl重构，一个或多个统计成形模型可以被用作患者专用形状数据，并且可以在术中获取信息（诸如，通过标志数字化和运动/运动学评定范围），以用于在术中开发外科计划。
56.全息图的手动配准：示例：hipxpert工具如所描述的那样，在计划阶段期间，可以针对患者的骨盆或其部分的3d表面模型而定义ap平面坐标系。在一些实施例中，第一3d表面模型可以包括患者股骨中的一个或多个的在髋关节中包括股骨头的部分。第二3d表面模型可以省略患者股骨，且仅包括骨盆或其部分。在一些实施例中，除ap平面坐标系外，还可以定义股骨坐标系和/或胫骨坐标系。
57.图17是根据一个或多个实施例的示例外科计划系统1700的示意图示。外科计划系
统1700可以包括用户界面（ui）引擎1702、建模工具1704、计划工具1706、导出器工具1708和数据储存器1710。外科计划系统1700可以接收患者数据，如在1712处所指示，该患者数据可以包括以下述形式存在的体积或形状数据：磁共振成像（mri）数据、计算机断层扫描（ct）数据、同时双平面射线照相术数据、传统射线平片数据、超声数据、和/或患者髋部或其他解剖结构的其他数据。外科计划系统1700可以针对髋部外科手术而创建一个或多个电子外科计划（诸如，计划1714），且可以导出一个或多个文件（例如，用于生成全息图），如在1716处所指示。外科计划系统1700可以包括或可访问显示器1718。
58.用于根据体积或形状数据生成解剖结构的2d和/或3d显示的合适工具包括来自bernex switzerland的pixmeo sarl的osirix图像处理软件、traumacad术前计划系统、makoplasty total hip application术前和术中计划系统和hipxpert navigation system application 1.4.0。然而，本领域技术人员应当理解，可以使用其他图像处理软件。
59.可以通过数据处理设备的电子存储器（诸如，数据储存器1710）中存储的一个或多个数据结构（诸如文件、对象等）来实现患者数据1712、外科计划1714和所导出的文件1716中的一个或多个。
60.如所提出的那样，外科计划者可以选择要在外科程序中使用的一个或多个假体部件（诸如，假体杯部件和/或股骨柄部件），并计划它们在患者身体中的放置。针对假体杯部件的计划可以包括所计划的位置，其包括髋臼内的深度和取向。计划还可以包括用于接收杯部件的杯床的形状。对于股骨柄部件，计划可以定义股骨柄部件在股骨内的位置以及其相对于股骨坐标系和/或胫骨坐标系的取向。
61.在一些实施例中，计划可以并入有一个或多个其他工具（尤其诸如hipxpert工具、髋臼扩孔钻和杯撞击器）的3d模型。
62.图18是根据一个或多个实施例的由外科计划系统1700生成且在显示器1718上呈现的计划窗口1800的图示。计划窗口1800包括呈现患者骨盆1804的3d模型的模型窗格1802。对接到骨盆1804的模型的是hipxpert工具1806的3d模型。如所提出的那样，hipxpert工具1806的模型可以包括向导，诸如杆1808。如果被利用，则计划期可以确定对hipxpert工具的一个或多个调整，使得当它对接到患者骨盆时，杆1808指向髋臼杯取向的方向，如所计划的那样。
63.外科计划者可以计划用于接收假体杯部件的杯床的位置、形状和取向。图30是根据一个或多个实施例的针对外科计划的部分的示例计划窗口3000的图示。计划窗口3000还包括呈现hipxpert工具1806的3d模型的模型窗格1802。还可以在模型窗格1802中呈现如所计划的杯床3002的3d模型。可以在针对杯床3002的计划窗口3000中省略在其他计划窗口中显现的患者骨盆的3d模型。外科计划者可以计划杯床3002的位置、形状和取向以实现外科手术的目标。杯床指代用于在所计划的位置中接收假体杯部件的理想的外科创建的骨表面。
64.在一些实施例中，外科计划者可以确定髋臼扩孔钻在骨盆的3d模型处的位置（例如，相对于ap平面坐标系），以如所计划的那样准备杯床。例如，髋臼扩孔钻可以具有定义纵轴的把手。外科计划者可以定位髋臼扩孔钻的3d模型，使得扩孔钻的切割篮被定位在髋臼中以如在位置和取向方面计划的那样准备杯床。
65.外科计划者还可以确定杯撞击器在骨盆的3d模型处的位置（例如，相对于ap平面坐标系），以如所计划的那样将杯部件植入杯床中。例如，杯撞击器可以具有定义纵轴的把手。外科计划者可以定位杯撞击器的3d模型，使得由把手定义的纵轴如所计划的那样将杯撞击器的端部处的杯部件定位在杯床中。
66.图19是根据一个或多个实施例的由外科计划系统1700针对外科计划的部分而生成且在显示器1718上呈现的示例计划窗口1900的图示。计划窗口1900还包括模型窗格1802，其呈现患者骨盆1804的3d模型和hipxpert工具1806的3d模型。还可以在模型窗格1802中呈现杯撞击器1902的3d模型和假体杯部件1904的3d模型。外科计划者可以将固定在杯床中的杯部件1904的模型定位在所计划的位置和取向处。另外，外科计划者可以将杯撞击器1902的模型定位在用于在所计划的位置和取向处植入杯部件1904的位置处。
67.图23是根据一个或多个实施例的针对由计划系统1700生成的外科计划的部分的示例计划窗口2300的图示。计划窗口2300包括患者骨盆1804的3d模型和hipxpert工具1806的3d模型。计划窗口2300进一步包括如在期望位置处植入髋臼中的衬里2302和杯部件的3d模型，例如相对于ap平面坐标系。
68.在一些实施例中，计划还可以包括：附着到患者骨盆的一个或多个跟踪设备，患者骨盆的位置是相对于ap平面坐标系或另一坐标系而定义的。该一个或多个跟踪设备可以包括：风向标类型的设备，其可以被计划成指向针对假体杯部件的中央轴而定义的取向。
69.在一些实施例中，计划可以包括下述各项中的一个或多个的3d模型的文件：患者骨盆（或其部分）；患者股骨（两者是单独的且作为骨盆的一部分）；如针对患者而定制的hipxpert（两者是单独的且被定位在患者骨盆上）；扩孔钻工具，被定位在髋臼的所计划的深度处且被定位在相对于ap平面坐标系的针对杯部件的所计划的取向中（或者扩孔钻工具的序列，具有不同大小杯扩孔钻，从而导致最终一个扩孔钻）；半球表面，表示用于接收髋臼部件的理想地准备的骨表面的精确位置；杯撞击器工具，处于相对于ap平面坐标系的针对杯部件的所计划的位置和取向；所选假体杯部件，处于相对于ap平面坐标系的髋臼中的所计划的取向和深度；所选假体杯部件和衬里，处于相对于ap平面坐标系的髋臼中的所计划的取向和深度；假体柄，处于相对于股骨坐标系和/或胫骨坐标系的所计划的取向和深度；和/或一个或多个跟踪设备，例如风向标。
70.应当理解，还可以创建上面列出的3d模型的各种组合。
71.如所描述的那样，通过锚定全息图，系统和方法不必须跟踪外科工具中的任一个，例如，系统和方法可以没有跟踪外科工具。取而代之，外科医生可以使用他或她的眼睛来跟踪仪器，以使仪器与对应的经锚定的全息图成一行。然而，在一些实施例中，系统和方法可以跟踪外科工具中的一个或多个。
72.计划工具1706可以将这些3d模型文件中的至少一些导出到与ar设备200兼容的格式中，使得ar设备200可以投影与所导出的3d模型文件相对应的全息图。例如，表示3d对象的文件中的一个或多个可以被导出和加载到ar设备200的存储器中。可替换地，表示3d对象
的文件可以被存储在服务器处，并且ar设备200可以被配置为能够访问来自服务器的那些文件的客户端。
73.对于髋部外科手术，可以生成全息图的以下序列：1. hipxpert工具和骨盆的全息图；2. hipxpert工具、骨盆和理想髋臼杯床的全息图；3. hipxpert工具和理想杯床的全息图，而没有示出骨盆；4. hipxpert工具、骨盆、理想杯床或杯部件、以及位于用于植入杯部件的理想取向中的髋臼杯部件撞击把手的全息图；5. hipxpert工具、骨盆和金属髋臼杯部件的全息图，而没有在其中原生骨盆具有仍然就位的所有骨赘的轴承插入部；以及6. hipxpert工具、骨盆、金属髋臼部件和轴承插入部的全息图。
74.然而，应当理解，可以生成和包括其他和/或附加全息图。示例性附加全息图包括：髋臼扩孔钻把手和理想位置中的每个顺序扩孔钻篮的全息图。当外科医生将实际扩孔钻把手与最终扩孔钻篮放置成与它们的全息图完全重叠时，那么杯准备床处于所计划的地方。这种附加全息图可以具有相比于上面描述的全息图2和3的一些优势，这是由于外科医生可能不能够看到扩孔钻在准备骨骼杯床时在空间上处于何处。使用那些全息图，外科医生可能必须进行扩孔，将扩孔钻取出，并窥视切口，以将现实准备的骨骼杯床表面与全息图进行比较。如果取而代之或另外存在精确扩孔钻把手和篮的全息图，则外科医生将能够通过看重叠的全息图和大部分处于患者身体外的现实来辨别杯床是否是正确的。除了其他优势以外，这可能是更方便的。而且，在杯撞击期间，取代上面描述的具有理想化地直的杯撞击器（仅用于对准）的全息图4，可以存在要在外科手术中使用的相同精确计划杯撞击器与也要在外科手术中使用的相同精确计划杯部件的全息图。然后，当撞击杯时，外科医生不仅可以将杯部件的取向排成正确的，而且可以辨别杯部件是否完全固定以及它是否处于正确的地方。
75.在一些实施例中，一个或多个外科工具的计算机生成三维（3d）模型（诸如，其他计算机辅助设计（cad）模型）可以被存储在数据储存器1710中。可以根据这些模型生成外科工具的3d表面模型，且还可以将该3d表面模型存储在数据储存器1710中。在一些实施例中，仅3d表面模型可以被包括在数据储存器1710中。在一些实施例中，一个、一把或某其他小数目的标准外科工具（诸如，具有标准切割篮的标准髋臼扩孔钻和标准髋臼杯撞击器）的3d表面模型可以被包括在数据储存器1710中。包括扩孔钻或杯撞击器的全息图可以基于标准扩孔钻或杯撞击器的这些表面模型。
76.然而，在其他实施例中，可以在数据储存器1710中包括针对实际扩孔钻和/或杯撞击器的3d表面模型，包括来自一个或多个制造商的整个产品族，该一个或多个制造商例如是kalamazoo, mi的stryker公司、plano, tx的greatbatch公司（现在是integer holdings公司）、essex, uk的ortho solutions uk有限责任公司、warsaw, in的zimmer biomet holdings公司、raynham, ma的depuy synthes等。此外，针对不同大小的切割篮和不同大小的髋臼杯的3d表面模型可以被包括在数据储存器1710中。在外科计划阶段期间，可以从数据储存器1710选择且在创建外科计划时使用与外科医生将在外科手术中使用的特定扩孔钻和特定杯撞击器相对应的3d表面模型。针对杯撞击器和杯部件的3d模型甚至可以包括针
对所计划的杯组件中的每一个如何组装到杯撞击器上（例如，由于螺纹深度和壳厚度）的空间组件信息。以该方式，可以生成和呈现表示外科医生所使用的特定外科工具的全息图。此外，可以生成具有不同篮大小的扩孔钻的全息图的序列，以指示由每个扩孔钻篮大小在移动到下一扩孔钻篮大小之前执行的骨切割工作。全息图的序列可以图示随着进一步的切割被执行而被移动得更深到髋臼中。也就是说，每个全息图可以指示要由每个扩孔钻篮大小执行的切割的精确量。另外，可以生成与被植入的物理杯部件相对应的杯和杯撞击器的全息图。
77.在外科程序之前，可以将导航系统1600或者其一个或多个部分加载到ar设备200的存储器中，和/或可以使导航系统1600或者其一个或多个部分对ar耳机200来说可访问。例如，ar设备200可以被配置为导航系统1600的客户端，其可以在处于与ar设备200的通信关系中的服务器（诸如，膝上型计算机）上加载且在该服务器处运行。在一些实施例中，可以在ar设备200上加载和运行用于计划外科手术的计划工具1706。
78.在程序期间，外科医生可以调整入在计划中提供的物理hipxpert工具，以将该工具定制成适合于患者的骨盆。外科医生然后可以将物理hipxpert工具放置在患者的骨盆上。患者可以被定位在手术室台上。外科医生可以穿戴ar设备200。外科医生可以控制ar设备200以如所计划的那样渲染附着到患者骨盆的全息图的hipxpert工具的全息图。外科医生可以操作由ar设备200提供的用户界面元素，以对hipxpert工具/骨盆的全息图重新调整大小、进行移动和/或进行旋转，使得全息图与附着到患者骨盆的物理hipxpert工具协同定位，例如，对准在一起。更具体地，尽管骨盆可能对外科医生来说不可见，但因为它处于患者皮肤下面，所以对接到患者骨盆的hipxpert工具对外科医生来说可见。相应地，外科医生可以对hipxpert工具/骨盆的全息图重新调整大小、进行移动和/或进行旋转，直到它与对接到患者骨盆的物理hipxpert工具协同定位。患者骨盆的全息图还将与患者骨盆协同定位，即使患者骨盆对外科医生来说不可见亦如此。一旦hipxpert工具/骨盆的全息图与物理hipxpert工具协同定位，外科医生就可以将hipxpert工具/骨盆的全息图钉在或锚定在手术室内的该位置处。例如，ar设备200可以包括针对由ar设备200渲染的全息图的锚定特征。另外，如本文所描述，在一些实施例中，导航系统1600可以自动地将全息图中的一个或多个与现实协同定位，例如使用图像（诸如，qr码）的图像识别或者使用如针对患者而具体调整的hipxpert工具的对象识别。
79.图24是根据一个或多个实施例的与物理对象协同定位的全息图的在2400处总体上指示的图画表示。表示2400包括如所计划的那样对接到物理髋部模型2408的物理hipxpert工具2406。表示2400进一步包括：在2405处总体上指示的全息图，其包括hipxpert工具2402的全息图和髋部模型2404的全息图，其中hipxpert工具2402以所计划的方式对接到髋部模型2404的全息图。物理hipxpert工具2406包括qr码2410。全息图2405可以由ar设备200的穿戴者手动地在空间上重定位，和/或由ar设备200自动地在空间上重定位，直到它与物理hipxpert工具2406协同定位。出于解释的目的，图画表示2400示出了物理髋部模型2408。然而，患者的髋部将对外科医生来说不可见，这是由于它处于患者皮肤下面。在一些实施例中，外科医生可以手动地重定位全息图2405，使得hipxpert工具全息图2402与对外科医生来说可见的物理hipxpert工具2406协同定位。尽管患者的物理髋部对外科医生来说不可见，但髋部全息图（由髋部模型全息图2404图示）给外科医生示出了患者的物理髋部处
于何处。在其他实施例中，对象识别器1602可以检测物理hipxpert工具上的qr码2410，并自动地将全息图2045与物理hipxpert工具2406协同定位。对象识别器1602不仅可以执行图像识别（例如，利用qr码），而且它可以执行hipxpert工具2406自身或者hipxpert工具2406外加实际骨骼髋臼的对象识别。
80.在一些实施例中，物理hipxpert工具可以不包括向导杆。然而，外科医生可以利用hipxpert工具的全息图的向导杆，以在所计划的取向处将假体杯部件植入患者的髋臼中。也就是说，外科医生可以将hipxpert工具的全息图的向导杆用作用于在所计划的取向处植入杯的向导。然而，除向导杆的全息图外（或者取而代之），ar设备200可以呈现杯撞击器工具的全息图，并且外科医生可以将物理杯撞击器工具与杯撞击器工具的该全息图排成一行。外科医生然后可以手动地将物理工具与全息图排成一行。如所描述的那样，在一些实施例中，跟踪物理工具不是必要的。取而代之，系统可以检测hipxpert设备的qr码中的一个或多个，并基于由被一个或多个qr码暴露且与该一个或多个qr码对准的空间坐标系来锚定全息图。全息图然后示出了外科工具的所计划的位置，并且外科医生可以将物理工具与全息图（例如，针对工具的所计划的位置）对准。
81.在一些实施例中，外科医生可以操作ar设备200以渲染扩孔钻/hipxpert工具/骨盆的全息图。扩孔钻的全息图可以是相对于骨盆的全息图而设置的，使得扩孔钻的全息图处于用于使髋臼准备好接收假体杯部件的相对于ap平面坐标系的最终位置和取向。外科医生可以操作由ar设备200提供的用户界面元素，以对扩孔钻/hipxpert工具/骨盆的全息图重新调整大小、进行移动和/或进行旋转，使得全息图与附着到患者骨盆的物理hipxpert工具协同定位，例如，全息图和工具在空间上对准在一起。外科医生可以操作ar设备200，以将扩孔钻/hipxpert工具/骨盆的全息图钉在或锚定在手术室内的该位置处。外科医生然后可以操作物理扩孔钻工具以准备髋臼，直到物理扩孔钻与扩孔钻的全息图协同定位。例如，外科医生可以将物理扩孔钻定位成与扩孔钻的全息图协同定位。如所提出的那样，全息图可以表示标准扩孔钻，或者在优选实施例中，全息图可以表示外科医生在外科手术中使用的特定扩孔钻，其可以使外科医生甚至更容易将物理扩孔钻与扩孔钻的全息图排成一行。另外，可以呈现扩孔钻（例如，具有不同切割篮大小）的全息图的序列，并且外科医生可以将物理切割篮改变成匹配于全息图中包括的切割篮。全息图的序列还图示了要利用每个切割篮执行的切割的深度。当物理扩孔钻与扩孔钻的全息图排成一行时，由相应切割篮进行的切割是完整的。外科医生可以改变切割篮，并且，可以呈现序列中的下一全息图。该过程可以重复，直到如所计划的那样准备好杯床。当物理扩孔钻（或者在扩孔钻的序列的情况下，具有最后切割篮的物理扩孔钻）与扩孔钻的全息图协同定位时，杯床将被准备好以用于如所计划的那样接收杯部件。假设例如外科计划主张56mm杯部件。计划可以主张一系列扩孔钻（诸如，具有51mm篮的第一扩孔钻、具有53mm篮的第二扩孔钻、具有55mm篮的第三扩孔钻和最终具有56mm篮的第四扩孔钻），以在将杯部件放在其中之前进行杯床的最终准备。
82.外科医生可以操作ar设备200以渲染杯床/hipxpert工具的全息图。外科医生可以操作由ar设备200提供的用户界面元素，以对杯床/hipxpert工具的全息图重新调整大小、进行移动和/或进行旋转，使得全息图与附着到患者骨盆的物理hipxpert工具协同定位。外科医生可以操作ar设备200，以将杯床/hipxpert工具的全息图钉在或锚定在手术室内的该位置处。外科医生可以浏览患者中的切口，并将物理髋臼与杯床的全息图进行比较。外科医
生可以确定物理髋臼在扩孔之后的外观是否匹配于杯床的全息图。如果否，则外科医生可以操作物理扩孔钻以对髋臼进一步成形，直到它匹配于杯床的全息图。
83.图25是根据一个或多个实施例的全息图2500的图画表示。全息图2500可以包括hipxpert设备的全息图2402、患者骨盆的全息图2504和所计划的杯床的全息图2502。在外科程序期间，可以手动地和/或自动地将全息图2500与对应物理对象协同定位，例如通过将hipxpert设备的全息图2402与物理hipxpert设备协同定位。外科医生然后可以如所准备的那样检查物理杯床（例如，通过使用扩孔钻），且查看物理杯床的形状（例如，深度和中心或取向）是否匹配于所计划的杯床的全息图2502。如果否，则外科医生可以继续对物理杯床成形（例如，使用扩孔钻），直到它匹配于全息图2502。
84.图26是根据一个或多个实施例的全息图2600的图画表示。全息图2600可以包括hipxpert设备的全息图2402和所计划的所准备的杯床的全息图2602。然而，不同于全息图2500（图25），全息图2600可以不包括患者骨盆的虚拟表示。在外科程序期间，可以手动地和/或自动地将全息图2600与对应物理对象协同定位，例如通过将hipxpert设备的全息图2402与物理hipxpert设备2406协同定位（图24）。外科医生然后可以如所准备的那样检查物理杯床，且查看物理杯床的形状（例如，深度和中心或取向）是否匹配于所计划的杯床的全息图2602。在没有如全息图2500那样的骨盆的虚拟表示的情况下，外科医生可以更容易查看和比较物理杯床与所计划的杯床的全息图2602，全息图2500可能与外科医生的视图发生干扰。再一次，如果物理杯床不匹配于所计划的杯床的全息图2602的形状，则外科医生可以继续对物理杯床成形，直到它匹配于全息图2602。
85.接下来，外科医生可以操作ar设备200，以渲染杯撞击器/hipxpert工具/骨盆的全息图，其中杯撞击器被设置在用于在相对于ap平面坐标系的所计划的取向和位置（例如，深度）处植入假体杯部件的最终位置处。外科医生可以操作由ar设备200提供的用户界面元素，以对杯撞击器/hipxpert工具/骨盆的全息图重新调整大小、进行移动和/或进行旋转，使得全息图与附着到患者骨盆的物理hipxpert工具协同定位。外科医生可以操作ar设备200，以将杯撞击器/hipxpert工具/骨盆的全息图钉在或锚定在手术室内的该位置处。
86.图27是根据一个或多个实施例的全息图2700的图画表示。全息图2700可以包括hipxpert设备的全息图2402、患者骨盆的全息图2504、所计划的杯床的全息图2602、以及在用于在所计划的取向和位置处植入假体杯部件的最终位置处设置的杯撞击器的全息图2702。在外科程序期间，可以手动地和/或自动地将全息图2700与对应物理对象协同定位，例如通过将hipxpert设备的全息图2402与物理hipxpert设备协同定位。
87.图20是根据一个或多个实施例的全息图2000的图画表示。全息图2000可以包括骨盆的全息图2004、hipxpert工具的全息图2006和杯撞击器的全息图2008。在外科程序期间，全息图2000可以被定位成使得hipxpert工具2006的全息图与对接到患者骨盆的物理hipxpert工具协同定位（例如，空间上对准）。外科医生然后可以使用物理杯撞击器2002以将假体杯部件植入杯床中。外科医生可以操作物理杯撞击器2002，直到它与杯撞击器的全息图2008协同定位。当物理杯撞击器2002与杯撞击器的全息图2008协同定位时，杯部件将被定位在所计划的杯床中，例如在髋臼中的所计划的深度和取向处。
88.图55是根据一个或多个实施例的如通过ar设备200查看的外科场景5500的图画表示。在外科场景5500中包括了患者5502。对接到处于皮肤下面且不可见的患者骨盆的是有
三条腿的配准和跟踪设备5504。配准和跟踪设备5504包括：立方体5506，在其表面上具有qr码。在外科场景5500中还包括了如ar设备200所呈现的在5508处总体上指示的全息图。全息图5508包括患者骨盆的全息图5510、配准和跟踪设备的全息图5512、以及用于植入假体杯部件的所计划的位置处的杯撞击器的全息图5514。如所图示的那样，将配准和跟踪设备的全息图5512与物理配准和跟踪设备5504协同定位，例如通过由ar设备200对qr码中的一个或多个的图像识别或者配准和跟踪设备5504的至少部分的对象识别。相应地，还将患者骨盆的全息图5510与患者骨盆协同定位。外科医生可以将物理杯撞击器5516定位成与杯撞击器的全息图5514对准（例如，协同定位）。尽管杯撞击器的全息图5514是直的，但延伸到切口5518中且仅部分可见的物理杯撞击器5516是c形的。在物理杯撞击器5516被定位成与杯撞击器的全息图5514对准的情况下，外科医生可以操作杯撞击器5516以在所计划的位置处植入在杯撞击器5516的端部处设置且因而不可见（除了通过切口5518）的杯部件。
89.如所描述的那样，系统和方法可以在外科手术期间将患者骨盆与手术室中的患者配准。因此，可以如所配准的那样相对于骨盆而呈现全息图的序列。全息图可以包括所计划的位置处的外科工具的全息图，并且外科医生可以将物理外科工具与全息图排成一行，以实现外科手术的一个或多个目标。物理外科工具自身不必在手术室中被跟踪。然而，在一些实施例中，外科工具被跟踪，例如由对象跟踪器1606。
90.在一些实施例中，除了呈现静态全息图外，ar设备200还可以以全息电影的形式呈现全息图的序列，该全息电影可以被外科医生在外科程序期间按照需要而暂停和继续。可以更新全息电影，例如实时地，例如基于一个或多个外科工具的操作的跟踪。
91.在一些实施例中，外科医生可以操作ar设备200，以渲染假体杯部件/hipxpert工具/骨盆的全息图，其中杯部件的全息图处于髋臼内的所计划的取向和位置。外科医生可以操作由ar设备200提供的用户界面元素，以对杯部件/hipxpert工具/骨盆的全息图重新调整大小、进行移动和/或进行旋转，使得全息图与附着到患者骨盆的物理hipxpert工具协同定位。外科医生可以操作ar设备200，以将杯部件/hipxpert工具/骨盆的全息图钉在或锚定在手术室内的该位置处。外科医生可以浏览患者中的切口，并将物理杯部件的位置和取向与杯部件的全息图进行比较。外科医生可以确定所植入的物理杯部件的外观是否匹配于杯部件的全息图。如果否，则外科医生可以重定位物理杯部件，直到它匹配于杯部件的全息图。
92.图28是根据一个或多个实施例的全息图2800的图画表示。全息图2800可以包括hipxpert设备的全息图2402、患者骨盆的全息图2504、以及所计划的患者髋臼中植入的杯部件的全息图2802。在外科程序期间，可以手动地和/或自动地将全息图2800与对应物理对象协同定位，例如通过将hipxpert设备的全息图2402与物理hipxpert设备协同定位。外科医生然后可以检查所植入的物理杯部件（例如，通过使用杯撞击器），且查看物理杯部件的位置和取向是否匹配于所计划的杯部件的全息图2802。如果否，则外科医生可以重定位物理杯部件（例如，使用杯撞击器），直到物理杯部件的位置匹配于全息图2802。
93.在一些实施例中，外科医生可以利用全息图2800，以确定是否插入用于将物理杯部件保持就位的一个或多个螺钉。更具体地，外科医生可以使他或她的决策基于下述内容：基于患者骨盆的全息图2504将该一个或多个螺钉放置在何处。例如，外科医生可以将该一个或多个螺钉放置成使得它们紧固地锚定到如全息图2504所指示的患者骨盆。例如，杯可
以被计划成使得杯中的螺孔被最优地定位，以实现与螺钉的最佳固定，并且外科医生可以在外科手术期间将物理杯与全息图协同定位，从而实现所计划的最佳固定。
94.图38是根据一个或多个实施例的由外科计划系统1700生成且在显示器1718上呈现的示例计划窗口3800的图示。计划窗口3800包括呈现患者骨盆1804的3d模型的模型窗格1802。对接到骨盆1804的模型的是hipxpert工具1806的3d模型。骨盆1804包括髋臼3802，并且在髋臼3802中设置的是髋臼杯部件的壳3804。壳3804包括：圆顶孔3805，用于将壳3804附着到杯撞击器；以及三个螺孔3806a-c，用于接收用于将壳3804紧固到髋臼3802的接骨螺钉。可以在髋臼3802内旋转壳3804，从而改变螺钉在何处进入骨盆。壳3804的位置可以被计划成使得接骨螺钉将穿透骨头，从而改进螺钉到骨盆的固定。螺孔3806a-c的位置也可以被计划成使得接骨螺钉不延伸超过骨头且损伤血管或其他对象。这里，壳3804被定位在负20度的旋转处。在该位置中，在螺孔3806c中插入的前/下螺钉可能必须是短的，且甚至可以穿透前内侧内皮质，从而呈现出对患者的致命结构的风险。
95.图39是根据一个或多个实施例的由外科计划系统1700生成且在显示器1718上呈现的示例计划窗口3900的图示。计划窗口3900包括呈现患者骨盆1804和hipxpert设备1806的3d模型的模型窗格1802。这里，相对于图38中图示的位置将壳3804移动到髋臼3802中的新位置。具体地，壳3804被定位在正20度的旋转处。在该位置中，后下螺孔3806b变得更接近于它可能需要具有短长度以避免延伸超过后壁的地方。
96.图40是由根据一个或多个实施例的外科计划系统1700生成且在显示器1718上呈现的示例计划窗口4000的图示。计划窗口4000包括呈现患者骨盆1804和hipxpert设备1806的3d模型的模型窗格1802。这里，相对于图38和39中图示的位置将壳3804移动到髋臼3802中的新位置。具体地，壳3804被定位在0度的旋转处。在该位置处，所有螺孔3806a-d处于提供支持强骨固定的极好螺钉长度的位置中。相应地，计划者可以针对壳在外科手术期间的所计划的位置而选择0度的旋转。此外，可以基于如图40中图示的髋部、hipxpert设备和壳的模型来生成一个或多个全息图。可以在外科手术期间呈现全息图，并且外科医生可以将物理壳与全息图中包括的壳对准，使得螺孔处于所计划的位置中。
97.在一些实施例中，除了确定针对壳的螺孔的理想位置外，还可以计划螺孔中的接骨螺钉的方向和长度。接骨螺钉的方向可以被计划成最大化螺钉固定和/或避免穿透到骨头外或导致任何损伤。可以生成图示接骨螺钉的所计划的方向和长度的一个或多个全息图。可以以若干方式图示接骨螺钉的方向的表示。例如，可以在全息图中包括示出方向的线，并且外科医生可以操作钻机以沿这些线针对接骨螺钉而钻孔。在其他实施例中，可以提供在螺孔处具有尖端的所计划的方向处的接骨螺钉的全息图。应当理解，可以以其他方式在全息图中图示接骨螺钉的所计划的方向。
98.在一些实施例中，可以在一个或多个全息图中呈现针对接骨螺钉的钻探长度和/或每个接骨螺钉的大小（例如，长度）。例如，可以呈现处于所计划的深度且在所计划的方向上具有钻头的钻机的全息图。外科医生可以操作物理钻机，使得物理钻头处于所计划的方向上，并且当物理钻机达到与全息图对准时，外科医生可以停止钻探。
99.用于计划接骨螺钉的该方案具有若干优势。例如，它可以：通过避免危险钻机轨迹钻探太远来降低风险，钻探太远可能在危险位置中穿透远侧皮质；降低在错误的地方放置太长的螺钉的风险；通过当更长螺钉可以被安全地放置时避免短螺钉来降低风险；以及节
省时间，这是由于外科医生不必在外科程序期间测量螺钉深度。它还避免了使用不必要地短的螺钉的风险，不必要地短的螺钉具有差的购买渠道。
100.利用如所计划的那样植入的物理杯部件，外科医生可以将衬里插入到杯部件中。
101.图29是根据一个或多个实施例的全息图2900的图画表示。全息图2900可以包括hipxpert设备的全息图2402、患者骨盆的全息图2504、以及具有如所计划的那样在患者髋臼中植入的衬里的杯部件的全息图2902。在外科程序期间，可以手动地和/或自动地将全息图2900与对应物理对象协同定位，例如通过将hipxpert设备的全息图2402与物理hipxpert设备协同定位。外科医生然后可以检查具有所植入的衬里的物理杯部件，并查看具有衬里的物理杯部件的位置和取向是否匹配于全息图2902。如果否，则外科医生可以重定位物理杯部件和/或衬里，直到其位置匹配于全息图2902。
102.运动和冲击的预测范围在术前，可以计划部件的放置和骨赘的修剪。另外，可以对具有所计划的部件和所计划的位置的髋关节的运动的范围进行仿真，并且可以计算直到某种类型的冲击发生前的复合运动范围（在所有方向上）。这可以是骨头股骨-骨头骨盆、植入股骨-骨头骨盆、骨头股骨-植入骨盆、或植入股骨-植入骨盆的冲击。
103.在外科手术期间，一旦物理杯被植入并且物理骨赘被移除，ar设备200就可以执行杯的对象识别，以确定杯相对于骨盆的精确放置。ar设备200可以确定物理杯和/或其他植入物处于何处，且可以在骨赘修剪之后进一步确定骨头的形状。ar设备200然后可以更新骨盆的3d表面模型，并基于所植入的杯和/或其他植入物的位置来计算到撞击的运动的范围。
104.在程序期间，外科医生可以检验物理hipxpert工具仍然与hipxpert工具的经锚定的全息图对准。如果外科医生看到物理hipxpert工具不再与hipxpert工具的全息图协同定位，则外科医生可以重定位包括hipxpert工具的全息图的全息图以将全息图与物理hipxpert工具协同定位，和/或可以将患者重定位成使得物理hipxpert工具与包括hipxpert工具的全息图的全息图协同定位。在一些实施例中，导航系统1600可以自动地将全息图保持为与物理hipxpert工具协同定位，例如使用诸如图像或对象识别之类的方法。
105.在一些现有技术外科导航系统中，外科医生需要把目光从外科手术部位移开到显示器，以便监视外科工具的跟踪。本公开的优势是：外科医生可以保持它的眼睛被训练在外科手术部位上，同时跟踪一个或多个外科工具。
106.在一些实施例中，外科医生可以将一个或多个跟踪设备附着到患者。例如，外科医生可以将具有一个或多个qr码的对象或风向标类型的设备附着到患者的骨盆。外科医生可以操作ar设备200以渲染一个或多个跟踪设备（例如，风向标、hipxpert工具和骨盆）的全息图。外科医生可以操作由ar设备200提供的用户界面元素，以对风向标/hipxpert工具/骨盆的全息图重新调整大小、进行移动和/或进行旋转，使得全息图与附着到患者骨盆的物理hipxpert工具协同定位。外科医生可以操作ar设备200，以将风向标/hipxpert工具/骨盆的全息图钉在或锚定在手术室内的该位置处。外科医生可以调整物理风向标，直到它与风向标的全息图协同定位。一旦物理风向标与风向标的全息图协同定位，外科医生就可以在该位置处紧固或固定物理风向标。外科医生然后可以从患者的骨盆移除物理hipxpert设备。外科医生可以利用物理风向标和/或风向标的全息图，以在所计划的取向和位置处植入假体杯部件。例如，风向标（物理或全息图）可以具有沿针对假体杯部件的中央轴的所计划的
取向而指向的指示符。外科医生可以使用风向标（物理或全息图）作为向导，以在所计划的取向和/或位置处植入假体杯部件。
107.在一些实施例中，风向标或qr立方体可以是手术室中的随机定位的空间。系统和方法可以即时再生成新全息图，该新全息图通过扫描那些对象相对于其他对象处于何处来示出那些对象的表示。
108.本文描述的全息图中的一个或多个可以包括风向标，该风向标可以被用作替代hipxpert工具或除hipxpert工具外的配准工具。
109.利用在所计划的位置（例如，深度和取向）处植入的杯部件，外科医生可以继续外科程序。例如，外科医生可以减小髋关节并关闭切口。在其他情况下，外科医生可以移除股骨头，植入假体柄，减小髋关节，并关闭切口。
110.在一些实施例中，ar设备200可以利用对象检测以检测如在患者髋臼处植入的杯部件。在一些实施例中，杯部件可以包括缺口或其他物理特征，其取向可以由ar设备200根据该缺口或其他物理特征来确定。ar设备200可以基于所检测到的杯部件的位置来对骨盆进行配准。ar设备200然后可以利用杯部件以相对于骨盆而锚定所计划的一个或多个全息图。在一些实施例中，一旦ar设备200检测到杯部件，就可以移除hipxpert设备。在其他实施例中，可以将骨盆的配准从杯部件转移到另一对象，诸如附着到患者骨盆的跟踪器。因此，ar设备200可以继续锚定所计划的全息图，即使杯部件不再处于视图中亦如此。
111.自动化图像识别：示例qr码在所描述的实施例中，穿戴ar设备200的外科医生可以手动地将全息图中的一个或多个配准到手术室中的对应对象，诸如hipxpert工具。
112.在一些实施例中，对象识别器1602可以被配置成检测和跟踪图像，诸如条形码，该图像可以是二维（2d）快速响应（qr）码。例如，qr码跟踪工具在针对沉浸式vr hmd（诸如，具有vuforia引擎的hololens hmd）的窗口混合现实驱动器中可用。对象识别器1602可以并入有和/或利用针对沉浸式（vr）hmd的窗口混合现实驱动器。
113.在一些实施例中，一个或多个qr码可以被添加到配准和跟踪工具（诸如，hipxpert工具）和/或被并入到该配准和跟踪工具中。该一个或多个qr码可以是以相对于hipxpert工具的预定几何关系布置的。例如可以在hipxpert工具上安装三维（3d）形状，诸如立方体，并且可以在立方体的相应侧或面上放置和/或形成一个或多个qr码。对象识别器1602可以检测这些qr码中的至少一个，诸如立方体的面向ar设备200的侧上的qr码。可使用的其他3d形状包括锥体、三棱柱、长方体等。
114.图21是根据一个或多个实施例的配准和跟踪工具2100的部分的图画表示。工具2100可以是其中罗盘和向导元件被移除的hipxpert工具。工具2100包括中枢2102以及可调整地从中枢2102延伸的两个臂2104a和2104b。工具2100进一步包括：三个（3个）腿（未示出），其从由中枢2102以及两个臂2104a和2104b定义的标称平面垂直延伸。第一腿从中枢2102延伸，并且第二和第三腿从两个臂2104a和2104b的端部延伸。在中枢2102上与腿相对地安装的是立方体2108。立方体2108可以包括携带qr码2112的前表面2110。在一些实施例中，可以将qr码放置在立方体2108的多于一个侧（诸如，除用于将立方体2108安装到中枢2102的侧（例如，底侧）外的所有侧，）上。另外，对象识别器1602可以检测立方体2108的最接近地面向ar设备200的侧上的qr码。在一些实施例中，对象识别器1602可以同时检测多于一
个qr码，以改进配准和/或跟踪准确度。
115.如所描述的那样，由中枢2102以及两个臂2104a和2104b定义的标称平面可以平行于由三个腿的尖端定义的平面。当对接到骨盆时，三个腿的尖端可以定义具有与针对骨盆的ap平面坐标系的已知几何关系的患者专用同侧半骨盆平面。由中枢2102以及两个臂2104a和2104b定义的标称平面因而还具有与ap平面坐标系和/或被选择以定义的任何其他患者专用坐标系的已知几何关系。类似地，立方体2108被定位在工具2100上，以在立方体2108的携带qr码2112的前表面2110之间提供已知几何关系。
116.可以生成包括立方体2108和qr码2112的工具2100的3d模型。
117.图22是根据一个或多个实施例的配准和跟踪工具的3d模型2200的部分的透视图。3d模型2200对应于包括具有qr码2112的立方体2108的物理配准和跟踪工具2100。
118.在一些实施例中，在术前计划阶段中使用的配准和跟踪工具的模型可以对应于3d模型2200。类似地，在外科程序期间使用的物理配准和跟踪工具可以对应于物理配准和跟踪工具2100。可以将工具的3d模型2200的文件导出到表格，ar设备200可以根据该表格生成一个或多个全息图。
119.在外科程序期间，对象识别器1602可以针对物理配准和跟踪工具2100上的qr码而搜索由ar设备200捕获的图像或其他数据。在检测到qr码时，对象识别器1602可以自动地将配准和跟踪工具的全息图与具有qr码的物理配准和跟踪工具协同定位（例如，空间上对准）。一旦全息图已经与物理配准和跟踪工具2100协同定位，外科医生就可以操作ar设备200以钉住或锚定全息图。以该方式，外科医生不必手动地将全息图与对应物理对象/设备协同定位。在一些实施例中，当ar设备200上的应用打开时，外科医生可以识别（例如，指向）针对患者而创建的包括程序序列中的所有所计划的全息图的文件夹。当ar设备200识别出qr码时，可以在右标度位置和取向中显示来自文件夹的第一全息图。应当理解，全息图中的一个或多个不必包括配准和跟踪设备自身（例如，hipxpert设备）。然而，通过将hipxpert工具和qr立方体包括在全息图中，对外科医生来说存在锚定是正确的这一恒定视觉确认，例如这是因为处于患者身体外的物理hipxpert工具和qr码与全息图中的那些对象的虚拟图像协同定位。
120.在一些实施例中，可以在ar设备200上创建和加载一个或多个应用（app）。app可以包括：计划应用，用于运行针对患者而创建的外科计划；以及导航应用，用于检测qr码和/或其他对象并呈现一个或多个虚拟图像，例如全息图。app可以是通过由ar设备200提供的用户界面元素（例如，用于打开应用且与应用进行接口连接的手势）来控制的。在其他实施例中，外科医生可以使用口头命令来控制和/或操作app。例如，响应于第一口头命令（例如，“加载”），app可以自动打开文件浏览器窗口。外科医生然后可以利用手势选择子文件夹中的全息图文件。app可以自动挑取也可位于相同文件夹中的针对全息图的变换矩阵，识别外科场景中的物理qr码，并锚定全息图。在其他实施例中，外科医生可以使用其他口头命令以使ar设备加载和呈现附加全息图。示例性口头命令包括用于按针对外科程序的所计划的次序呈现全息图的“全息图2”、“全息图3”等。
121.导航系统1600和/或外科计划系统1700的一个或多个部件可以是或可以包括软件模块或库，该软件模块或库包含与本文描述的方法相关的程序指令，该程序指令可以被存储在非瞬变计算机可读介质上且由数据处理设备的一个或多个处理器执行。在一些实施例
中，导航系统1600和/或外科计划系统1700的一个或多个部件均可以包括被配置和布置成产生顺序逻辑电路的寄存器和组合逻辑。在其他实施例中，可以利用包括固件的软件和硬件的各种组合以实现本公开。
122.在一些实施例中，导航系统1600和/或外科计划系统1700的一个或多个部件可以在ar设备200上运行。在外科手术期间，外科医生可以使用在ar设备200上运行的外科计划系统1700来打开外科计划。如所描述的那样，可以基于髋臼、股骨或者其他骨头或解剖构造部分的实际更改和/或一个或多个植入物的实际放置来更新外科计划。
123.在一些实施例中，ar设备200可以呈现手术室中的外科计划的用户界面中的一个或多个，以供外科医生审阅。例如，可以在手术室的墙或其他表面上呈现用户界面中的一个或多个。
124.变换矩阵图36是根据一个或多个实施例的由外科计划系统1700生成且在显示器1718上呈现的示例计划窗口3600的图示。计划窗口3600包括呈现患者骨盆1804的3d模型的模型窗格1802。对接到骨盆1804的模型的是hipxpert工具1806的3d模型。在hipxpert工具1806上安装的是立方体3602。立方体3602可以包括携带一个或多个qr码的多个面，例如表面，诸如前表面3604a、侧表面3604b和顶表面3604c。可以针对立方体3602而建立一个或多个坐标系。在一些实施例中，可以在立方体3602的中心处建立坐标系。例如，在3606处指示的原点可以位于立方体3602的中心处，并且x、y和z轴3608、3610和3612可以是相对于原点3606而定义的。x、y和z轴3608、3610和3612可以与立方体3602的相应边缘对准（例如，平行）。
125.另外，每个qr码可以暴露与qr码对准的空间坐标系，例如，在取景图案的左上角处。作为示例，qr码3604b可以暴露在3615处指示的空间坐标系。应当理解，其他qr码可以暴露它们自身的空间坐标系。应当理解，除了其他位置以外，与qr码相关联的空间坐标系可以在除左上角外的其他位置（诸如，qr码的中心）处对准。
126.因为立方体3602被安装在hipxpert设备1806上并且hipxpert设备1806对接到患者的骨盆，所以立方体3602位于在空间上相对于患者骨盆且因而相对于针对患者骨盆而定义的ap平面（或任何其他所选骨盆坐标系）的固定位置中。在一些实施例中，立方体3602可以始终以相同方式安装到针对每个患者而使用的hipxpert设备1806。
127.在一些实施例中，计划工具1706生成可在确定在何处呈现针对外科程序而创建的虚拟图像（例如，全息图）时使用的一个患者专用变换矩阵。例如，计划工具1706可以生成确定虚拟图像（例如，全息图）相对于在立方体3602的中心处建立的坐标系的取向和位置的患者专用变换矩阵。特别地，变换矩阵可以指定全息图相对于下述坐标系的取向和位置：该坐标系包括原点3606以及针对立方体3602的前面3604a而定义的x、y和z轴3608、3610和3612。该患者专用变换矩阵可以使立方体的中心处的坐标系与患者在ct扫描仪（或其他图像模态）中的随机位置相关，根据该随机位置，可以生成患者的解剖构造的表面模型。
128.另外，可以定义变换矩阵，该变换矩阵使与每个qr码相关联的空间坐标系与在立方体3602的中心处建立的坐标系相关。因为它是立方体，所以这些变换矩阵可以全是相同的。
129.如本文所描述，在外科程序期间，ar设备200可以检测下述qr码：该qr码被应用于在对接到患者骨盆的物理hipxpert设备上安装的物理立方体的面或表面之一。ar设备200
可以利用与所检测到的qr码相关联的变换矩阵和患者专用变换矩阵，以对虚拟图像（例如，全息图）进行定向和定位。ar设备200可以相对于坐标系将全息图锚定在立方体的中心处。在一些实施例中，患者专用变换矩阵可以被存储在具有全息图的文件夹中。与qr码相关联的一个或多个变换矩阵可以在应用中被硬编码，或在其他实施例中还可以被存储在文件夹中。当ar设备200访问来自文件夹的全息图以用于呈现时，ar设备200还可以检索患者专用变换矩阵。
130.如所指出的那样，可以针对将在外科程序期间呈现的全息图而定义患者专用变换矩阵。该患者专用变换矩阵可以是相对于立方体3602的所选点而定义的。所选点可以是立方体3602的中心。如所指出的那样，立方体3602可以被安装到hipxpert设备，hipxpert设备进而在预定和已知位置中对接到患者的骨盆。相应地，立方体3602的中心处于相对于患者骨盆（例如，相对于ap平面（或任何其他骨盆坐标系））的固定和已知位置中。可以针对患者（例如，相对于ap平面）计划植入物（例如，杯部件）和工具（例如，扩孔钻和杯撞击器）的位置和取向。可以确定这些所计划的位置和取向与立方体3602的中心之间的几何关系。在外科手术期间，ar设备200可以识别对接到患者的hipxpert的物理立方体上的qr码中的一个或多个。在空间上确定了物理立方体的位置的情况下，ar设备200然后可以使用患者专用变换矩阵以确定在何处定位全息图，使得全息图显现在所计划的位置和取向中。
131.在一些实施例中，还可以定义一个或多个辅助变换矩阵。例如，可以针对被应用于立方体3602的面（例如，前面、左面、右面、后面和顶面）的五个qr码中的每一个而定义辅助变换矩阵。这些辅助变换矩阵可以提供从相应qr码到针对立方体3602的中心定义的患者专用主矩阵的几何变换。当ar设备200检测到qr码（取决于外科医生碰巧正在查看hipxpert设备的方式的特定qr码）时，ar设备200可以检索与所检测到的qr码相关联的辅助变换矩阵。ar设备200然后可以利用该辅助变换矩阵与患者专用变换矩阵一起，以对相应全息图进行定向和定位。尽管针对立方体3602的中心而生成的变换矩阵可以是患者专用的，但辅助变换矩阵不是患者专用的。取而代之，辅助变换矩阵对于每个立方体几何结构（例如，维度）而言是相同的。因此，假定相同立方体3602被重用或者具有相同维度的立方体3602与另一患者一起使用，则可以重用相同辅助变换矩阵。
132.总而言之，可以生成qr码的取向和位置与针对要呈现的每个全息图的全息图剩余部分的取向和位置之间的仅单个患者专用变换矩阵。利用本公开，通过在空间上检测qr码（其处于在对接到患者骨盆的hipxpert设备上安装的立方体上），ar设备200可以自动配准和跟踪患者的骨盆，并允许一个或多个协同定位的全息图的呈现。特别地，hipxpert设备的腿的尖端在对接到患者骨盆时可以定义具有与ap平面的已知几何关系的半骨盆同侧参考平面。此外，腿从其延伸的hipxpert设备的框架可以平行于该半骨盆同侧参考平面（且因而具有与ap平面的已知几何关系）。携带一个或多个qr码的立方体可以被安装在该框架上。相应地，通过检测qr码，可以配准和跟踪骨盆。
133.图37是根据一个或多个实施例的由外科计划系统1700生成且在显示器1718上呈现的示例计划窗口3700的图示。计划窗口3600包括呈现患者骨盆1804的3d模型的模型窗格1802。对接到骨盆1804的模型的是hipxpert工具1806的3d模型。在hipxpert工具1806上安装了立方体3602。针对骨盆1804而定义ap平面3702。
134.如所描述的那样，qr立方体可以被安装在hipxpert设备的框架的中央部分上。因
为hipxpert设备的腿可以具有固定长度，所以qr立方体的位置且因而qr码的位置从一个患者到另一患者是恒定的。患者专用变换矩阵关于下述内容而指示系统：qr立方体和qr码在空间上相对于随机图像空间坐标系且还相对于前骨盆平面坐标系而位于何处。那么，该变换矩阵是预定“患者专用通行码”。当全息图被导出时，“键”或患者专用变换矩阵也被导出，其用于确定在空间上何处针对该患者的具体外科计划而呈现全息图。
135.诸如ct或mr数据之类的图像数据的横截面显示如所描述的那样，可以在术前阶段期间对患者拍摄患者的图像，诸如ct或mr研究。例如，对于髋部外科手术，可以拍摄患者的骨盆和髋部的ct扫描（具有用于坐标系开发的远端股骨的一些图像）。对于膝部外科手术，可以拍摄患者的膝部的ct扫描或mr研究（再一次，可能具有用于坐标系开发的髋部和踝部的图像）。这种图像模态创建图像体积，该图像体积可以被显示为在原始图像获取平面中顺序切片，或可以被显示在穿过该图像体积的任何切割平面中。事实上，显示器不必是完美平面，图像采样可以是以任何期望形状作出的。出于该讨论的目的，可以将图像生成为平面图像。另外，图像体积可以用于构造例如患者的骨盆或膝部的3d表面模型。3d表面模型可以是使用cad软件环境来打开和操控的。可以使用3d表面模型来执行术前计划。例如，3d表面模型可以用于计划骨表面的准备以及一个或多个假体植入物的选择、位置和取向。
136.在一些实施例中，可以将针对患者或其部分的整个图像数据体积（诸如，ct图像体积）加载到ar设备200上，或以其他方式使该整个图像数据体积对ar设备200来说可访问。在外科手术期间，ar设备200可以将图像体积的期望子区段显示给外科医生。例如，ar设备200可以使用所描述的配准方法之一来配准所手术的患者解剖构造的部分，诸如患者的骨盆或膝部，并且然后使用配准和跟踪设备（诸如，所描述的qr立方体）来跟踪该部分。ar设备200然后可以在空间上相对于配准和跟踪设备而协同定位和锚定整个图像体积，诸如ct数据体积。系统然后可以向外科医生给出下述选项：查看在空间上与患者上的从其获取图像数据的实际位置协同定位的图像体积的部分。例如，可以在与穿戴ar设备200的外科医生的视图垂直的平面横截面中切割图像体积。该平面横截面可以被确定为距查看者或例如体积内的固定原点的固定距离。例如，外科医生在准备髋臼时可能想要知道对所提出的杯放置来说深的剩余骨头的厚度。横截面的原点可以固定在髋臼部件的所提出的放置的中心处，并且穿过体积的所显示的平面截面将随着外科医生移动而变化，以保持与外科医生的眼睛的视点垂直。
137.例如，针对患者骨盆的ct数据体积可以与手术室中的患者骨盆协同定位。ar设备200可以生成穿过ct数据体积的一个或多个平面切割，以根据ct数据产生二维（2d）ct图像。ar设备200可以将该2d ct图像呈现给外科医生。2d ct图像可以是根据穿过ct数据体积中包括的多个切片的平面切割生成的，该平面切割也被称作切割平面。穿过ct数据体积的平面切割可以垂直于外科医生的相对于与患者解剖构造（例如，骨盆或膝部）协同定位的ct数据体积的视线。通过将ct数据体积与患者协同定位，如ar设备200所显示的2d ct图像可以对外科医生显现为覆盖在患者解剖构造上且与患者解剖构造协同定位。切割平面可以是以距ar设备200预定距离而设定的。例如，如果外科医生移动他或她的头且因而移动ar设备200更接近于患者（例如，平躺在手术台上），则将切割平面向后（朝后）移动通过ct数据体积。类似地，随着外科医生移动他或她的头远离患者，切割平面向前（朝前）移动通过ct数据
体积。因此，通过简单地移动他或她的头，外科医生可以控制在ct数据体积中何处形成切割平面，且因而控制由ar设备200生成和呈现的所得2d ct图像。
138.图41是根据一个或多个实施例的患者骨盆的示例2d ct图像集合4100的图画表示。2d ct图像集合4100可以包括穿过轴平面的图像4102、穿过冠状平面的图像4104和穿过矢状平面的图像4106。冠状图像4104示出了患者的左和右髋关节以及患者的脊柱的部分。假设患者正在平躺在手术台上并且外科医生正在向下看着患者。ar设备200可以生成和呈现与穿过冠状平面的图像4104类似的2d ct图像。2d ct图像可以是基于距ar设备200预定距离的矢状平面4106上的在4108处指示的切割平面来形成的。
139.现在，假设外科医生移动他或她的头远离患者。
140.图42是根据一个或多个实施例的基于外科医生的头的新位置的患者骨盆的示例2d ct图像集合4200的图画表示。2d ct图像集合4200可以包括轴图像4202、冠状图像4204和矢状图像4206。如所图示的那样，因为外科医生移动他或她的头远离患者，所以保持距ar设备200固定距离的切割平面4208朝前移动通过ct数据。冠状图像4204因而不同于冠状图像4104（图41）。
141.现在，假设外科医生移动他或她的头相对于产生2d ct图像集合4100（图41）的距离更接近于患者。
142.图43是根据一个或多个实施例的基于外科医生的头的新位置的患者骨盆的示例2d ct图像集合4300的图画表示。2d ct图像集合4300可以包括轴图像4302、冠状图像4304和矢状图像4306。如所图示的那样，因为外科医生移动他或她的头更接近于患者，所以保持距ar设备200固定距离的切割平面4108朝后移动通过ct数据体积。冠状图像4304因而不同于冠状图像4104（图41）和4204（图42）。
143.如所提出的那样，由ar设备200生成和呈现的2d ct图像可以基于距ar设备固定距离且与外科医生的视线垂直的切割平面。合适的固定距离是例如50cm。2d ct图像因而是ct数据体积的横截面。在其他实施例中，2d ct图像数据可以对应于ct数据体积的切片之一。
144.在一些实施例中，除2d ct图像外，ar设备200还可以呈现一个或多个全息图。例如，除2d ct图像外，ar设备200还可以呈现包括扩孔钻工具、杯撞击器工具、杯部件、膝部切割夹具、膝部部件等的全息图之一。一个或多个2d ct图像与扩孔钻的全息图一起的呈现可以给外科医生提供附加信息，诸如扩孔钻是否变得接近于扩孔一直到患者髋臼的内壁。例如，尽管ar设备200呈现2d ct图像，但外科医生可能凭直觉确定扩孔钻已经切割到患者髋臼中多远，例如通过在查看2d ct图像的同时将他或她的手指放置在伤口中。
145.随着外科医生对髋臼进行扩孔以使杯床准备好接收杯部件，他或她可能想要知道多少骨头在内侧留在扩孔钻后面，例如以避免经过骨头。在扩孔时沿外科医生的视线的切割平面将提供该信息。在一些实施例中，ar设备200可以呈现穿过ct体积数据的切割平面。切割平面显示器可以被锁定就位，以使得外科医生然后可以移动他或她的头以观察切割平面且因而看到多少骨头留在扩孔钻后面。在其他实施例中，穿戴ar设备200的手术室中的另一医学专业人员可以观察该切割平面并向外科医生通知剩余多少骨头。
146.图46示出了具有3个切割平面的骨盆4602的表面模型。绿框4604表示了一个图像生成平面，红框4606表示了第二图像生成平面，并且黄框4608表示了第三图像生成平面。
147.图47示出了紫箭头4702，指向来自与图46中图示的图像相同的图像的特定红箭头
4704。外科医生可能常常从所指定的红箭头4704的视角查看髋部。
148.图48是从其获取数据的患者身体内的精确位置中的ar设备200所投影的图像4800的图画表示。该图像4800表示在图46的黄框平面4608中生成的图像，其中它既垂直于外科医生的视点，又处于包括所计划的髋臼部件的中心的平面中。图48还示出了可按照外科医生的偏好而开启或关闭的在4802处指示的所计划的髋臼部件的横截面。
149.图49示出了原始外科医生视点（由紫箭头4702指定的红箭头4704）和作为由浅蓝箭头4904指定的红箭头4902的潜在第二视点。
150.图50是由绿框4604的平面中的切割平面的ar设备200生成的图像5000的图画表示，绿框4604的平面垂直于外科医生在从由浅蓝箭头4904指定的红箭头4902的视点查看时的视线。ar设备200可以在精确位置中显示图像5000，从该精确位置，在获取ct研究（或具有这种数据集的任何其他图像研究）时从患者身体内部获取图像像素。
151.如所描述的那样，随着外科医生来回移动他或她的头，ar设备200可以自动实时显示与外科医生的视点垂直的图像。ar设备200还可以将图像的显示“保持”在绿框4604中（例如，响应于用户输入），并且穿戴ar耳机200的外科医生可能能够来回移动ar耳机200，而不使新图像被重新计算。
152.ar设备200可以因而从任何期望角度、深度和形状创建和呈现与实际患者协同定位的图像。另外，图像甚至不必是平面图像。
153.图51是由红框4606的平面中的切割平面的ar设备200生成的图像5100的图画表示。
154.在一些实施例中，可以通过ct体积数据来作出且由ar设备200呈现多个平面切割。例如，可以在ct体积数据中作出且由ar设备200呈现三个正交平面切割。
155.还应当理解，通过ct体积数据而作出的切割不必是平面的。例如，可以通过ct体积数据来作出且由ar设备呈现弯曲切割或其他形状的切割。
156.另外，可以在除髋部、膝部和其他关节的矫形外科手术外的其他程序中利用ct体积数据的部分的呈现。例如，可以进行肿瘤的ct扫描。在肿瘤的经皮活组织检查期间，可以生成和呈现基于穿过ct体积数据的一个或多个切割平面的图像，以协助外科医生执行活组织检查。
157.多个ar设备在一些实施例中，手术室100中的多于一个人可以穿戴ar设备200。例如，除外科医生114外的一个或多个助手可以穿戴ar设备200。由外科医生穿戴的ar设备200可以是主ar设备，其可以作为服务器进行操作，并且其他ar设备可以作为主ar设备的客户端进行操作。
158.图52是根据一个或多个实施例的手术室5200的示意图示。在手术室5200中设置的是手术台5202，针对外科程序将患者5204定位在手术台5202上。外科医生5206和至少一个其他医学专业人员5208可以处于手术室5200中。外科医生5206和医学专业人员5208均可以分别穿戴ar设备200a和200b。ar设备中的一个或多个（诸如，ar设备200a）可以经由网络5212连接到服务器5210。物理配准和跟踪设备5214可以对接到患者的骨盆。ar设备200a和200b可以在患者5240上的外科程序期间呈现一个或多个虚拟图像（例如，全息图）。例如，可以在相对于患者骨盆的所计划的位置中呈现杯撞击器的全息图5216。例如，ar设备200a可以检测物理配准和跟踪设备5214并呈现杯撞击器的全息图5216。外科医生5206可以引导物
理杯撞击器5218与全息图5216对准，以实现外科程序的一个或多个目标，诸如在患者骨盆中的所计划的位置中植入假体杯部件。在一些实施例中，ar设备200a和200b中的一个或多个可以在手术室5200中（诸如，在空间中或者抵靠手术室的一个或多个墙）呈现用户界面（ui），如5220处所指示。ui可以属于呈现针对患者上的外科程序的外科计划的计划应用。
159.工具和身体结构的自动化对象识别和配准导航系统1600可以接收由外科场景的ar设备200上的相机中的一个或多个捕获的数据，诸如一些实施例中的图像数据。对象识别器1602可以检测所接收到的图像数据中的对象，并且对象跟踪器1606可以跟踪所检测到的对象。例如，ar设备200可以将所捕获的图像数据发送到数据处理设备100，例如经由网络设备112。模型数据库1608可以被配置有与患者专用hipxpert工具的形状（诸如，针对hipxpert工具的三维（3d）形状）有关的数据。如所提出的那样，数据可以是一个或多个cad文件、3d模型数据等。对象识别器1602可以在所接收到的图像数据中搜索与该数据相匹配的对象，从而例如在图像数据中识别hipxpert工具。模型数据库1608中的信息可以包括患者专用基础（例如，如针对具体患者而调整）上的hipxpert工具的维度，且还可以知道骨盆相对于hipxpert工具的位置（例如，如在外科计划阶段期间所确定）。对象识别器1602可以检测和/或识别视野（例如，图像数据）中的hipxpert工具，并且对象姿势检测器1604可以确定其取向，然后，根据该取向，导航系统1600可以计算和跟踪患者骨盆在空间中的位置。对象识别器1602可以实现来自boston, ma的ptc公司的vuforia engine和vuforia model targets技术。
160.外科医生可以贴附然后可被跟踪的第二对象（例如，附着到患者骨盆的跟踪器），并且第二对象相对于hipxpert工具的位置的计算可以由导航系统1600作出。然后可以相对于该第二对象而确定骨盆的位置，从而允许hipxpert工具被移除。也就是说，导航系统1600可以光学识别hipxpert工具自身，这是因为其大小和形状对系统1600来说是已知的，并且因此，从任何角度“看到”它都将允许精确地确定hipxpert工具在空间中被定位和定向于何处。hipxpert工具的维度和hipxpert工具到患者骨盆上的所预测的对接是患者专用的，因此，系统1600可能需要被配置有患者专用基础上的那些参数。
161.可以通过向系统教导其他工具的独特cad几何结构或者将更容易跟踪的对象贴附到要跟踪的工具，来在空间中跟踪其他工具。这对于杯撞击器或髋臼扩孔钻而言可以是有用的。对于股骨或者在股骨上使用的任何仪器，这可以成立。股骨可以是通过利用附着到它的跟踪器识别表面的独特小可见区段来配准的，如所描述的那样。导航系统1660可以基于对象识别和对象的跟踪来跟踪股骨。在一些实施例中，跟踪器然后可以附着到股骨，并且基于该跟踪器而继续跟踪，从而允许外科医生以外科方式改变股骨，使它不再可识别，同时仍允许股骨被跟踪。该过程可以被称为患者专用形状识别配准方法。
162.如所描述的那样，可以使用由ar设备200提供的空间检测系统（诸如，深度相机230和ir发射器）来执行跟踪。例如，导航系统1600可以利用由深度相机230生成的数据来实现同时定位和地图构建（slam）。在其他实施例中，跟踪可以由已知相对取向的两个相机执行，以允许立体计算。进一步地，立体相机可以如所描述的那样贴附到ar设备200，而在其他实施例中，来自3d检测系统108的图像数据可以被导航系统1600单独使用或与来自ar设备200的图像数据组合使用。从ar设备200上的一个或多个相机获取图像信息的优势是：外科医生始终需要主视线，从而向ar设备200的相机给出与外科医生相同的视线。这与其中可能发生
外科医生与相机之间的视线竞争的具有传统红外立体相机的情形形成对照。在外科医生的头上具有相机的其他优势是：相机相对于外科医生眼睛的视点是已知的，使得可以以将在其中看到现实对象（只是它们原本是不可见的，被埋在身体内部深处）的相同视角显示虚拟对象的增强现实显示，可能除对于外科手术期间的小的暴露子区段外。
163.在其他实施例中，除hipxpert工具外的其他工具可以被导航系统1600使用和识别和跟踪。
164.为了辅助检测患者专用对象并确定其取向和/或姿势，对象可以在外科场景内非对称地和/或唯一地可识别。例如，就对象是工具而言，工具可以是非对称的。就对象是身体部分而言，身体部分可以是非对称的。然而，在本公开中可以使用对称对象（诸如，身体部分）和/或工具。
165.在一些实施例中，hipxpert设备的罗盘部分可以被省略或移除。
166.在一些实施例中，第二对象可以附着到对象（例如，身体部分）或工具，以协助检测图像数据中的对象或工具和/或确定其取向和姿势。第二对象可以以已知几何关系附着到对象或工具，使得定位第二对象以及确定其取向和/或姿势可以用于确定对象和/或工具的位置和/或取向，例如使用一个或多个转化。
167.在进一步的实施例中，可以将一个或多个标记应用于对象和/或工具，以辅助其检测和/或确定其取向和/或姿势。例如，可以将棋盘或其他独特和/或可识别的图案应用于对象。
168.在计划阶段期间，可以针对物理配准和跟踪工具2100而确定调整，使得它将如所计划的那样适合，例如，对接到患者骨盆。调整可以包括滑出可延伸的臂2104a和2104b多远，使得腿的尖端在所计划的位置处接触患者的骨盆。因此，工具2100的维度可以从一个患者到另一患者而变化。然而，工具2100的中枢2102的维度对于所有患者而言相同，例如，它是工具2100的静止部件。此外，如所描述的那样，立方体2108可以以对于所有患者而言相同的方式附着到工具2100的中枢2102。
169.在一些实施例中，可以从工具2100省略具有qr码的立方体2108。关于该实施例，ar设备200可以被配置成识别手术室中的物理工具2100。例如，ar设备200可以识别对于所有患者而言相同的物理工具2100的一个或多个部分，诸如中枢2102。以该方式，可以针对所有患者使用相同识别过程，即使工具2100还包括在患者专用基础（例如，延伸臂2104a和2104b所达到的程度）上调整的部分。可以相对于被识别的工具的静止部分（例如，中枢2102）而确定患者专用变换矩阵。提供配准和跟踪工具的对于所有患者而言静止（例如，相同）的部分并将ar设备200配置成识别工具的该部分可以比针对每个患者个体地将ar设备200配置成如针对每个患者而调整的那样作为整体而识别工具更高效，例如在计划、处理和存储器资源方面。
170.图45是髋部配准和跟踪工具4500的透视图。工具4500可以包括细长支撑臂4502、支撑框架4510、第一可移动腿支架4514和第二可移动腿支架4516。细长支撑臂4502可以包括第一端4520。在第一端4520处设置的可以是开口4522，其被配置成接收可从支撑臂4502垂直延伸的第一腿（未示出）的端部。可以在第一移动腿支架4514处接收第二腿的端部，并且可以在第二移动腿支架4516处接收第三腿的端部。第二和第三腿还可以从细长支撑臂4502垂直延伸，像第一腿那样。
171.可以沿支撑臂4502的正侧的至少部分形成第一轨道4534，并且可以沿支撑臂4502的背侧的至少部分形成第二轨道（未示出）。第一和第二轨道可以是凹陷轨道，诸如缝或槽。支撑框架4510可以包括：第一边缘，其啮合将支撑框架4510紧固到细长支撑臂4502的第一轨道4534，同时允许支撑框架4510沿细长支撑臂4502的正侧滑动。可以将第一可移动腿支架4514且因而将第二腿配置用于可滑动地附着到细长支撑臂4502的背侧。支撑框架4510可以包括：第二边缘4548，第二可移动腿支架4516可以可滑动地附着到第二边缘4548。
172.第一腿可以具有被配置成接触右asis的尖端。第二和第三腿可以相对于第一腿可滑动地附着到细长支撑臂。可以在术前确定第一腿与第二和第三腿之间的距离，使得当第二和第三腿被设置成沿细长支撑臂的这些预定距离时，第二腿的尖端接触左asis，并且第三腿的尖端接触被手术的髋部的髋臼下面的患者骨盆的坐骨的前面观（aspect）。操作的外科医生可以使用前入路或前外侧入路（例如，关于仰卧位中的患者）来访问患者的髋关节，且可以将装置对接到患者，从而配准患者骨盆并建立患者专用仰卧骨盆参考平面和/或坐标系。
173.安装到支撑框架4510的可以是具有一个或多个qr码的立方体4550。在外科手术期间，可以如所计划的那样调整物理工具4500的第一可移动腿支架4514和第二可移动腿支架4516，使得相应腿的尖端在所计划的位置处接触患者骨盆。可以将工具4500对接到患者骨盆。ar设备200可以检测立方体4550上的一个或多个qr码，且可以如本文所描述的那样锚定一个或多个全息图。
174.可以将工具4500翻过来，使得它可以用于对患者的左髋或右髋进行手术。还可以使支撑框架4510和立方体4550调头，使得它保持在工具4500顶上。
175.因此，在使用hipxpert配准和跟踪工具或工具4500时对于患者而言专用的仅有事物分别是可移动腿支架的臂长或位置，以及单个患者专用矩阵，其可以使相应工具在空间上处于何处与来自ct扫描仪的其中患者被随机地放置在其内的原始图像坐标系相关。
176.在一些实施例中，取代利用作为组合配准和跟踪设备进行操作的单个工具，可以利用分离的配准和跟踪工具。例如，具有一个或多个qr码的立方体可以随机地附着到患者骨盆。外科医生然后可以配准患者骨盆，例如，利用数字化探针以对患者骨盆上的多个点进行数字化。然后，可以相对于被配准的患者骨盆而确定具有一个或多个qr码的立方体的位置。ar设备200然后可以在所计划的位置中且如相对于具有一个或多个qr码的立方体而锚定的那样呈现一个或多个全息图。
177.应当理解，可以使用除qr码外的其他元件以配准骨盆或另一解剖结构，诸如跟踪器。
178.图57是根据一个或多个实施例的骨盆5700的前视图的示意图示。在外科程序期间，外科医生可以在随机位置处将跟踪器5702附着到骨盆5700。在一些实施例中，ar设备200可以使用对象识别凭借其形状来识别跟踪器5702，和/或ar设备200可以识别跟踪器5702上的图像，诸如作为示例，仅qr码。可替换地，跟踪器5702可以包括可由跟踪系统106检测的光学或磁元件。外科医生可以利用数字化探针5704以对骨盆5700的表面上的多个点进行数字化。ar设备200可以类似地使用对象和/或图像识别来识别跟踪器。可替换地，数字化探针5704可以包括可由跟踪系统106检测的光学或磁元件。导航系统1600可以处理经数字化的点以配准骨盆5700。导航系统1600还可以经由如ar设备200或跟踪系统106所检测到的
跟踪器5702来跟踪骨盆5700。ar设备200可以相对于跟踪器5702而呈现被锚定到骨盆5700的一个或多个全息图。
179.应当理解，可以与其他解剖结构（诸如，膝部）一起使用类似过程。
180.针对髋关节置换外科手术的增强现实：使导航系统1600知道骨盆处于何处并且使导航系统1600知道显示器位于外科医生眼睛前面何处允许从与外科医生相同的视角对包括例如骨盆和一个或多个所跟踪的工具的计算机模型的虚拟图像的详细显示。这将允许外科医生在现实中看到患者，且还看到虚拟对象，诸如，在与患者内部的实际对象相同的位置中被投影到ar设备200的透镜上的骨盆的计算机模型。
181.图4是根据一个或多个实施例的示出了在特定患者上对接的配准工具（例如，hipxpert工具）的外科程序的图画表示。
182.骨盆相对于hipxpert工具的位置可以是术前已知的，例如在计划阶段期间。使用被构建到ar设备200中的空间检测系统，导航系统1600可以根据外科医生在该时刻处的查看视角计算3d对象（例如hipxpert工具、另一工具、患者的骨盆、患者解剖构造的另一部分等）的视角。
183.图5是根据一个或多个实施例的骨盆的3d表面模型的图示，具有对接到骨盆的配准和跟踪设备的模型。
184.已经计算出外科医生对工具和骨盆的视角，那么可以将骨盆的虚拟模型投影到ar设备200的透镜上，且因而实时投影到外科医生的视点内。
185.图6是根据一个或多个实施例的由ar设备200投影的图像的示意图示，示出了在该时刻处从外科医生的精确视角看去患者的处于皮肤下面的骨盆的虚拟图像。
186.类似地，可以在现实中看到在患者上使用的工具，并且相同位置中的相同工具的叠加虚拟模型可以由ar设备200投影以供外科医生查看。这将允许外科医生看到在现实中已经消失在切口内部但其虚拟图像尚可通过ar设备200“看到”的工具部分的精确位置。
187.另外，工具在被使用时完成的工作可以由导航系统1600跟踪，并且，可以更新被改变的对象。例如如果如髋臼扩孔钻的虚拟显示那样投影骨盆的虚拟显示，则这将是成立的。相机能够跟踪两个对象的相对位置，且还可以跟踪和整合下述效果：该效果是扩孔钻对髋臼所具有的效果，从而允许将骨盆模型更新成反映髋臼扩孔自身，并且该效果可以与髋臼的原始结构和外科医生旨在在植入髋臼杯部件之前实现的髋臼的所计划的结构两者相比较。相应地，导航系统1600可以向外科医生示出她/他在何处开始、她/他到目前为止在何处、以及她/他接下来需要去往何处以完成髋臼扩孔的最终目标。
188.工具和身体结构的自动化对象识别和配准：示例：髋臼内部的小视野在全髋关节置换外科手术期间实时计算骨盆位置的可替换方法例如是通过切口来得到实际骨盆的小视图。假定该视野内的骨表面的形状足够独特，那么骨盆可以由导航系统1600仅通过“看到”该患者专用独特对象的小部分来自动配准。例如，在全髋关节置换期间，移除股骨头并暴露髋臼的内部。只要空间检测系统可以看到该骨结构，就可以完成整个骨骼的自动化形状配准。
189.图7是根据一个或多个实施例的在外科手术期间通过切口进入患者的髋臼中的视图的图画表示。
190.图8是根据一个或多个实施例的从与图7相同的视角看去患者的骨盆的3d表面模型的图示。该匹配配准可以由导航系统1600完成，例如通过使用对象识别将独特实际和虚拟形状匹配在一起。
191.图9是根据一个或多个实施例的在ar设备200上投影的图像的示意图示，示出了在该时刻处从外科医生的相同视角看去患者的处于皮肤下面的骨盆的虚拟图像。
192.利用现有系统，如果仪器阻挡视图或者骨表面被改变，那么准确的配准和跟踪丢失。根据本公开的一个或多个实施例，可以通过将分离的跟踪器附着到骨头并将通过患者专用对象的识别和然后分离的跟踪器的位置的同时识别而实现的相对信息传送到骨盆，来避免该劣势。然后，只要分离的跟踪器可以被跟踪，外科手术就可以继续，即使用于实现初始配准的表面已被修改亦如此。
193.系统可以将图4-6和图7-9中描绘的配准技术进行组合，以实现甚至更高的准确度。
194.现实反馈和更新循环在一些实施例中，可以不精确地以所计划的方式准备一个或多个解剖结构。然而，外科医生可以确定部分准备是可接受的，例如以实现外科程序的一个或多个目标。例如，假设患者的髋臼被准备并且杯部件被植入。然而，进一步假设杯部件未被完全如所计划的那样植入，例如，髋臼内的杯部件的位置和/或取向稍稍不同于所计划的位置和/或取向。在一些实施例中，可以在所植入的杯部件上训练ar设备200的相机或其他传感器。对象识别器1602可以检测和识别杯部件。导航系统1600可以确定所植入的杯部件的位置和/或取向，并将该信息提供给外科计划系统1700。外科计划系统1700可以使用所植入的杯部件的实际位置和/或取向而不是所计划的位置和/或取向，来更新针对患者的外科计划。在其他实施例中，导航系统1600可以通过确定杯撞击器的最终位置来确定所植入的杯部件的实际位置和/或取向。例如，对象识别器1602可以识别处于其最终位置中时的杯撞击器。导航系统1600可以基于杯撞击器的最终位置和然后被插入到杯中的髋臼衬里的已知几何结构，来确定杯部件的实际位置和/或取向。例如，导航系统1600可以被配置有杯撞击器与杯部件之间的几何关系。因此，导航系统1600可以从杯撞击器的位置和/或取向导出杯部件的位置和/或取向。可替换地或另外，一个或多个跟踪器可以附着到杯撞击器，并且导航系统1600可以根据该一个或多个跟踪器确定杯撞击器的位置和/或取向。
195.应当理解，这是本公开的现实反馈和更新模式的仅一个示例。可以利用除杯部件外的其他元件并且在其他外科程序（诸如，膝部修复）中执行反馈和更新外科计划。
196.在一些实施例中，全息图的序列可以如下：1. 针对患者而定制调整且对接到患者骨盆的骨盆和hipxpert设备，其中骨盆不变；2. 针对患者而定制调整且对接到患者骨盆的骨盆和hipxpert设备，具有在髋臼处计划的理想杯床；3. 针对患者而定制调整的hipxpert设备（没有骨盆），具有理想杯床；4-7. 针对患者而定制调整且对接到患者骨盆的骨盆和hipxpert设备，并且具有所提出的位置中的扩孔钻和扩孔钻把手的序列。例如，如果计划者想要放入56mm髋臼杯部件，则计划者可能计划使用51mm、53mm、55mm和最终56mm扩孔钻。这些扩孔钻中的每一个将
作出某个量的工作，以实现髋臼处的最终杯床。可以针对每个扩孔钻而生成全息图，并且在外科手术期间，可以呈现全息图，并且外科医生可以运转每个扩孔钻以与全息图匹配起来；8. 针对患者而定制调整且对接到患者骨盆的骨盆和hipxpert设备、杯部件和杯撞击器，其中杯部件的螺孔在所计划的取向中排成行，这是由于杯可以绕着把手旋转。可替换地或另外，杯部件和杯撞击器的全息图在空间中浮动，使得外科医生可以完美旋转地将螺孔排成行；9. 针对患者而定制调整且对接到患者骨盆的骨盆和hipxpert设备以及杯部件和杯撞击器，其中杯部件位于最终位置处。然后，在外科手术期间，利用与全息图相匹配的物理杯撞击器，当物理杯撞击器和附着到它的物理杯部件完美地与全息图排成一行时，外科医生将知道杯部件处于所计划的最终位置中；10. 针对患者而定制调整且对接到患者骨盆的骨盆和hipxpert设备以及杯部件和所提出的针对杯部件的螺钉，具有所计划的方向和长度以向外科医生指示所计划（例如，最优）的钻入方向以及螺钉将有多长；11a和b. 针对患者而定制调整且对接到患者骨盆的骨盆和hipxpert设备以及杯部件，示出具有（a）和不具有（b）周围骨赘，以向外科医生示出要修剪什么。已经计划了骨赘的移除，则系统和方法可以从外科医生确定潜在的冲击和/或自由运动范围将是什么，且可以示出该信息，例如基于骨赘移除的程度；以及12. 针对患者而定制调整且对接到患者骨盆的骨盆和hipxpert设备以及杯部件和衬里，例如最终产品。
197.在一些实施例中，系统和方法然后可以进行杯部件和骨盆的对象识别，以确定实际实现结果是什么。基于该信息，系统和方法可以按照期望重新计算冲击和/或运动范围，即，当场。
198.针对全膝关节置换术的临床实现的示例针对全膝关节置换术（tkr）存在三种技术。它们包括：1. 基于图像的配准和导航（具有或不具有机器人）和/或统计成形建模，例如基于大数据集和患者专用特性；2. 无图像的配准和导航（具有或不具有机器人）；以及3. 物理模板配准。
199.tkr的基于图像的导航是所采用的第一种方法之一，其中预先开发3d模型和坐标系，并且然后通过对允许匹配配准的表面点进行数字化来在外科手术中配准骨骼。该方法变得不受欢迎，直到更近期机器人的复兴。
200.可替换地，无图像的方法通过下述操作来允许膝部导航：（利用所贴附的跟踪器）来回移动髋部以对其位置进行三角测量；直接对踝点进行数字化；以及然后利用数字化器放入与远端股骨和近端胫骨有关的必备信息。
201.第三种方法（其是基于图像的）作出以可预测的方式锁定到解剖构造中的物理模板。物理模板可以包含切割槽，以允许所计划的骨表面切除。可替换地，模板可以用于将信息传送到一个或多个其他工具，例如通过具有用于在骨头内对孔进行钻探以用于放置销钉的钻孔。然后可以移除模板，并且可以贴附和使用以可预测的方式拟合于相同销钉上的另一外科工具。以该方式使用，这些物理模板不允许传统导航计算（诸如对准、韧带平衡和运
动范围），但它们确实允许以更基本的方式完成外科手术的目标。
202.再一次，可替换地，可以将物理模板用作用于后续导航的配准和跟踪设备。示例性物理模板是在美国专利no. 8,986,309“acetabular template component and method of using same during hip arthroplasty”中公开的髋臼模板。
203.图44是根据一个或多个实施例的患者骨盆4402的部分侧视图，示出了具有定制拟合模板4408的患者髋臼4404和髋臼边沿4406。定制拟合模板4408一般可以是圆形的，以与患者的髋臼边沿4406的全部或大部分配合。因为模板4408匹配于髋臼边沿4406的粗糙和不均匀形状，所以它拟合于边沿4406且因而在单个取向中拟合于骨盆。模板4408可以具有上表面4414和与上表面4414相对的下表面4420。在上表面4414上安装的可以是在其表面或面中的至少一些上具有qr码（未示出）的立方体4430。下表面4420被成形成匹配于髋臼边沿4406。模板4408可以具有开放的内部4418，使得模板4408不与髋臼杯部件在患者髋臼4404内的放置发生干扰。
204.模板4408可以被一个或多个紧固件（诸如，螺钉4422）保持就位。在模板4408拟合于患者髋臼的情况下，ar设备200可以检测立方体4430上的qr码中的一个或多个，并配准患者骨盆。一个或多个患者专用变换矩阵可以与立方体4430和/或qr码相关联，且用于确定虚拟图像（例如，全息图）相对于qr码和/或立方体4430的取向和位置。
205.工具和身体结构的自动化对象识别和配准：示例：针对tkr的远端股骨本公开可以使用增强现实hmd的空间检测系统，例如以配准和跟踪解剖结构和/或工具，例如通过识别所暴露的解剖结构（例如，如通过切口而查看）的部分的三维取向。例如，膝部可以被打开，并且ar设备200中的空间检测系统或相机可以看到股骨的端部。导航系统1600然后可以通过使ar设备200的传感器或相机中的一个或多个看到患者专用解剖对象的部分，来跟踪整个股骨的取向。在一些示例中，这可以被称作基于对象的、基于图像的方法，其中在术前识别特定对象，并且导航系统1600在手术场景中针对该特定患者专用对象而搜索图像数据。如所提出的那样，对于髋部外科手术，将hipxpert工具调谐（例如，调整）到特定患者，并且导航系统1600被准备好在外科场景的图像数据内识别如针对患者而调整的该hipxpert工具。基于外科场景内的患者专用对象的检测，导航系统1600然后可以配准“内部”场景的剩余部分，例如患者骨盆、另一解剖部件或特征等。
206.对于全膝关节置换（tkr），可以在术前获得患者股骨、胫骨、髋部和踝部的ct、mr、统计形状或其他预测建模、或者其他数据。所获取的数据可以用于生成患者股骨、胫骨、髋部和踝部（包括要在tkr外科手术期间暴露的股骨和胫骨的部分）的3d模型，其可以以cad文件的形式存在。这些模型可以被存储在导航系统1600的模型数据库1608中，且在对象识别和对象取向/姿势确定步骤期间被利用。
207.在一些实施例中，ar设备200可以执行胫骨的顶端的对象识别。假设胫骨的顶表面是无定形的，使得ar设备200恰在胫骨的顶部的对象识别导致不充足配准的情况下锁定在胫骨的位置上。对象识别对于例如胫骨关节表面的高度而言可能足够，但对于纵轴的准确度而言可能不够。ar设备200可以单独基于近端胫骨的对象识别来在少于足够配准的阶段1配准步骤的情况下呈现整个胫骨的全息图和胫骨上的qr立方体。如果ar设备200将胫骨（顶部和底部）呈现为全息图，并且跟踪器保持顶端密切匹配，那么外科医生可以将患者的踝部移动到使它与全息图重合的位置中。也就是说，外科医生可以将现实（例如，患者的腿）移动
成与增强现实（例如，全息图）对准。
208.在针对膝关节置换的股骨的情况下，外科医生可能想要修改导航系统1600正在跟踪的那个解剖部分，这原本可能结束跟踪。为了排除这一点，导航系统1600可以将信息传送到贴附到遍及该程序仍可跟踪的骨头的对象，诸如跟踪框架。使用该技术，导航系统1600可以通过看到足够量的远端股骨并实时地将它与整个股骨的虚拟模型匹配起来，来识别和跟踪整个股骨。如果然后附着跟踪框架，则它与整个股骨的模型的关系然后可以由导航系统1600确定，例如通过一个或多个几何转化操作。在现在描述的骨头的患者专用解剖对象识别和配准的情况下，骨头的位置在贴附跟踪框架时已经知道，因此，不存在后续配准步骤。一旦信息被传送到第二对象，那么就可以在外科手术中修改且遍及该程序跟踪骨头，即使最初用于确定骨头的位置的原始患者专用解剖对象不再存在于外科手术的后续阶段中亦如此。图10是根据一个或多个实施例的患者膝部的图画表示，示出了在全膝关节置换期间远端股骨的视图。
209.在一些实施例中，具有与远端股骨或近端胫骨的表面相匹配的表面的物理模板可以附着到股骨或胫骨。物理模板可以包括跟踪器。跟踪系统106和/或ar设备200可以识别物理模板和/或跟踪器，并配准股骨或胫骨。跟踪器可以以随机方式附着到股骨或胫骨，并且股骨或胫骨的配准可以被转移到该跟踪器。然后可以移除物理模板并继续该程序。
210.图11是根据一个或多个实施例的患者股骨的3d表面模型的图示，意在描绘与外科医生的视图完全相同的取向中的完全相同的骨头，如通过自动化患者专用解剖对象识别而确定。
211.图12是根据一个或多个实施例的由ar设备200投影的图像的示意图示，示出了从外科医生的视点看到的在空间上在与实际股骨完全相同的地方放置的股骨的虚拟模型。
212.再一次，将跟踪器附着到骨头将允许配准信息被传送到跟踪器，使得最初用于实现配准的表面可以被修改。这将允许连续从外科医生的视点的持续导航和增强现实显示，而不论该视图是什么。除具有光学或磁元件的跟踪器（诸如，图57中图示的跟踪器5702）外，跟踪器还可以是在空间上独特且因而可由ar设备200识别的2d或3d形状。示例性3d形状包括没有反射元件（例如，仅有臂元件）的光学跟踪器。示例性2d形状包括具有非对称星形或非对称交叉形等的金属板。
213.如所公开的那样，在一些实施例中，本公开可以替换物理模板（诸如，在膝部和/或髋臼处使用的模板）的使用。取而代之，系统有效地呈现虚拟模板（诸如，模板的全息图），其使用患者专用解剖对象识别而不是实际3d打印物理模板来锁定到患者的解剖构造上。导航系统1600可以使用一个或多个qr码和/或对象识别来导航膝部外科手术仪器。例如，序列可以开始于远端股骨的切除。在该情况下，该过程可以继续如下：1. qr立方体可以由外科医生贴附到股骨。
214.2. ar设备200可以使用对象识别来识别远端股骨，从而初步地配准股骨。ar设备200还可以跟踪qr立方体。可以通过来回移动髋部、观看qr立方体和/或远端股骨对象并计算髋部中心来跟踪qr立方体。例如，ar设备200可以跟踪qr立方体以计算髋部中心，且还可以或可替换地可以使用对象识别以在运动期间跟踪远端股骨的位置，以三角测量到髋关节中心。这可以是在qr立方体或其他跟踪器被贴附之前完成的，但优选地是在跟踪器被附着之后完成的。应当理解，可以使用除qr立方体外的另一跟踪设备。事实上，它可以仅是还可
使用与图像识别形成对照的对象识别而跟踪的另一独特“对象”。
215.3. 一旦股骨被配准并且全息图可以被锚定，ar设备200就可以呈现理想远端股骨切割平面的一个或多个全息图。外科医生然后可以将任何与远端切割块放入野中。事实上，可以将金属片材放置到切割块的锯刀槽中，并且外科医生可以将切割夹具放置成使得金属片材与远端切割平面全息图的全息图重合。外科医生然后可以将夹具钉住就位，做切割，并将切割与切割的全息图进行比较。外科医生然后可以通过夹具或徒手来对切割进行微调。在投影4合1切割块的全息图之前，ar设备200可以投影将针对4合1切割块的背部上的楔钉而需要的所提出的钻孔的全息图。
216.4. 该过程还可以被应用于提供多个切割平面的切割块，诸如“4合1”切割块。典型地，利用两个楔钉或销钉将4合1切割块贴附到股骨。ar设备200可以显示销钉孔的优选位置的全息图，如所计划的那样，并且外科医生可以钻孔以匹配于全息图，并放在4合1切割夹具上。然后，ar设备200可以显示包括前切割、斜前切割、远端切割、斜后切割和后切割的优选（例如，所计划）的远端股骨准备表面的全息图。这些可以由外科医生在作出切割之前目视检验，并且再一次，可以将金属片材放置在切割槽中，以辅助将物理4合1切割块与它的全息图排成一行。然后，在切割被作出并且4合1切割块（或其他夹具）被移除之后，ar设备200可以如所计划的那样显示切割表面的全息图，并且再一次，外科医生可以再次通过夹具或徒手来对骨切割进行微调，以匹配于在全息图中呈现的切割表面。
217.ar设备200可以利用与胫骨垂直的全息图投影韧带牵张，以供外科医生检验韧带平衡且可能在完成该步骤之前改变4合1切割块的旋转。
218.5. 在该点处，远端股骨准备完成。然而，ar设备200还可以显示示出骨头和它上面的最终股骨部件的全息图。
219.6. ar设备200可以通过所暴露的近端胫骨表面的对象识别来配准胫骨。在一些实施例中，可以将跟踪器（诸如，qr立方体）放置在胫骨上，例如以改进配准。ar设备200可以呈现初始配准的全息图，以及然后手动地（例如，通过由外科医生进行的用户交互）来回旋转该全息图或自动地使用外科医生对踝部的内踝和外踝的触诊。该过程可以利用膝部的无图像的导航替换传统配准，在该无图像的导航中，将跟踪器放在胫骨上并且在近端胫骨上对点进行数字化。另外，利用传统配准，数字化器的尖端被放置在内踝上压缩的皮肤上，并且然后，利用在外踝上压缩的皮肤上放置的数字化器的尖端获取第二点。传统配准提供了与胫骨的纵轴有关的信息。利用本技术，纵轴被包括在全息图中。外科医生将手指和拇指放在内踝和外踝上，并且然后，旋转全息图以置于手指与拇指之间。以该方式，通过向远侧移动虚拟轴与踝部成一直线来配准胫骨。该技术排除了针对数字化器的需要。它还可以利用ar设备200的能力，ar设备200监视外科医生的手，且可以用于同时自动确定外科医生的拇指和手指的位置，或允许单个手指成为两个踝点的数字化器。在一些实施例中，可以使用在其上具有qr立方体的数字化器以配准胫骨。在其他实施例中，可以使用具体数字化对象的对象识别以配准胫骨。总之，系统可以使用近端胫骨的对象识别、直接数字化（其可能要求跟踪两个对象）、在其上没有跟踪器（诸如，外科医生的手指的尖端或标准的独特形状的数字化仪器（其尖端可以是通过使用对象识别跟踪整个对象来跟踪的））的情况下跟踪对象的各种组合。这种对象识别跟踪数字化器也可以用于帮助股骨配准。没有qr立方体需要被包括在数字化器上。
220.7. 一旦在一个或多个全息图上配准和显示胫骨，就可以在一个或多个全息图上显示所计划的近端胫骨切割平面。另外，不仅ar设备200还可以在一个或多个全息图中显示胫骨，而且要使用不论什么切除切割夹具的模型。为了简明，如果ar设备200仅显示切割平面，那么外科医生可以抵靠胫骨而安放任何切割夹具，通过胫骨切割平面锯刀切割槽来安放物理金属切割平面锯刀置换，且然后可以在该位置处将仪器钉到胫骨，其中所提出的切割平面的物理标识匹配于所提出的切割平面的全息图。然后可以作出切割，并且然后，外科医生可以将所实现的切割平面与如全息图所显示的所计划的切割计划进行比较。
221.8. 可由ar设备200显示的附加胫骨全息图包括示出用于放置确定旋转的胫骨准备托盘和针对胫骨部件的龙骨的销钉钻孔。可由ar设备200显示的另一全息图可以示出胫骨以及在即所计划的最终植入物外观内具有所提出的塑料插入物的胫骨金属部件。
222.9. 确定股骨ap位置和旋转的常见方法是自动地使用后股骨踝。后切割平面典型地距两个踝的背部预定（例如，9mm）距离，且垂直于远端切割计划。然后，前切割平面距后部固定距离，且纯粹取决于所提出的部件的大小。然而，外科医生恰在应对解剖措施之前可以检验韧带平衡。这可以是通过在股骨准备被完成之前配准胫骨来完成的。可以抵靠股骨而放置胫骨切除向导，其中股骨与胫骨之间的韧带被牵缩肌牵张。外科医生然后可以目视检验胫骨夹具平行于股骨的所提出的旋转（基于解剖标志）。这将示出：如果在解剖学上提出的地方执行骨切割，则韧带平衡将是良好的。在一些实施例中，可以在没有胫骨夹具的情况下遵循类似过程，例如通过显示具有与胫骨到股骨上的纵轴垂直的平面的全息图。在韧带被牵张的情况下，它应当与4合1切割夹具的销钉孔匹配起来。这可以由外科医生在股骨被准备好之前检验。如果两种方法（解剖和韧带牵张）不相符，则外科医生具有下述选择：释放韧带、改变股骨旋转、或者这两者的组合。
223.11. 在一些实施例中，ar设备200可以显示在膝部外科手术中使用的一个或多个前后路联合（ap）切割夹具的全息图。切割夹具可以是患者专用的，或者是它们的在患者专用的基础上推荐的位置，且包括要在何处作出骨切割的指示。在外科手术期间，ar设备200可以手动地、自动地（例如，使用qr码或对象识别）、或者以手动和自动的组合在所计划的位置处显示全息图。
224.系统可以将类似技术应用于胫骨或者内部或外部的任何其他身体部分。
225.图13是根据一个或多个实施例的示出了在全膝关节置换期间的胫骨的患者膝部的图画表示。
226.图14是根据一个或多个实施例的患者胫骨的3d表面模型的图示，意在描绘与外科医生的视图完全相同的取向中的完全相同的骨头，如通过使用立体相机的自动化表面匹配或立体表面检测的任何其他方法而确定。
227.图15是根据一个或多个实施例的由ar设备200投影的全息图的示意图示，示出了从外科医生的视点看到的在空间上与实际胫骨完全相同的地方放置的胫骨的虚拟模型。
228.患者专用解剖对象识别和cad文件自动化表面匹配配准方法可以替换物理模板的使用。可以在术前准备要识别的患者专用解剖对象的cad文件，其中然后对象是通过下述操作来在外科手术中识别的：搜索由ar设备200的空间检测系统提供的数据，以确定和跟踪对象的位置。
229.还可以直接或间接跟踪对象，例如通过与主对象相关联的另一对象，除了其他选
项以外诸如在骨盆或股骨上放置的跟踪器。再一次，跟踪尤其可以由ar设备200上的空间检测系统（例如，相机和/或其他传感器）、跟踪系统106或3d检测系统108执行。本公开还可以消除必须对物理模板进行制作和消毒，而是取而代之，可以立即计划本公开。本公开可以消除原本可能对于无图像或基于图像的膝部导航而言必要的表面的广泛数字化。
230.可以采用配准技术（诸如，对踝部标志进行数字化或者对髋关节的旋转的中心进行三角测量）的组合以进一步改进准确度。
231.如所提出的那样，膝关节置换术程序一般要求切除或切割患者在其远端处的股骨和患者在其近端处的胫骨两者。这些切除或切割传统地是借助于在相应骨头上放置的切割夹具或块来完成的，且引导和指导外科医生在期望位置和取向处切割骨头。在一些实施例中，切割夹具或块可以是患者专用的。
232.股骨远端切除。在计划阶段中，可以创建患者专用远端股骨切割夹具或块的3d模型，例如基于患者股骨的3d模型。可以计划股骨上的股骨切割夹具或块的模型的位置，使得股骨的远端将被如所计划的那样切割。股骨切割夹具或块的模型可以用于生成供ar设备200呈现的全息图。在外科手术期间，可以识别解剖结构或跟踪器，ar设备200可以在股骨的远端处的所计划的位置处呈现股骨切割块的全息图。在一些实施例中，外科医生然后可以将物理切割块与全息图协同定位，并将物理切割块紧固就位。外科医生然后可以利用物理切割块以切除患者股骨的远端。
233.在一些实施例中，ar设备200可以呈现理想切割平面的全息图，使得外科医生可以再检验通过执行如物理切割夹具或块所引导的骨准备切割而创建的切割平面。另外，关于该实施例，在通过切割夹具或块而发生的切割是接近但不完美的情况下，外科医生可以徒手微调股骨的远端的切除以更完美地匹配于所计划的切除。
234.胫骨切除。如股骨那样，可以创建患者专用近端胫骨切割夹具或块的3d模型，例如基于患者胫骨的3d模型。可以计划胫骨上的胫骨切割夹具或块的模型的位置，使得胫骨的近端将被如所计划的那样切割。胫骨切割夹具或块的模型可以用于生成供ar设备200呈现的全息图。在外科手术期间，可以识别解剖结构或跟踪器，ar设备200可以在胫骨的近端处的所计划的位置处呈现胫骨切割夹具或块的全息图。在一些实施例中，外科医生然后可以将物理切割块与全息图协同定位，并将物理切割块紧固就位。外科医生然后可以利用物理切割块以切除患者胫骨的近端。如股骨那样类似地，ar设备200可以呈现理想切割平面的全息图。
235.可以使用若干方法以计划股骨和胫骨的切除，包括理想切割平面以及因而包括在何处放置切割夹具或块。
236.方法1. 纯解剖。确定ap切割夹具的放置的基本方式是在术前纯粹基于术前成像。物理模板的许多供应商利用该方法。尽管该方法是容易的，但它不考虑韧带平衡。
237.方法2. 纯韧带平衡。被称为dr. john insall的“insall技术”。利用该方法，在取决于外科哲学的较小变动的情况下使远端股骨和近端胫骨切除或多或少与它们的相应轴中的纵轴正交，但可以利用许多不同哲学完成前和后切割的旋转。除基于术前成像（或术中数字化）的纯解剖确定外，相对的哲学将是通过韧带牵张技术。这是经典方法。假设胫骨切割对其长轴来说或多或少是方形的。进一步假设外科医生想要股骨的背部平行于此，使得当膝部弯曲90度时，股骨的背部和胫骨的顶部平行（其中韧带在确定时牵张）。这意味着：当
外科医生放入植入物时，在膝部弯曲90度的情况下的韧带张力或多或少是均匀的。该方法涉及：膝部平衡，使用部件旋转和/或软组织释放作为变量，供外科医生支配以完成该任务。
238.方法3. 混合技术。利用该方法，外科医生可以使用方法1和2两者来看股骨旋转，并看到它们是否相符。如果它们不相符，则外科医生可以进行稍多的韧带释放，以使两种方法彼此接近一点。该混合方法基本上将方法2移动到更接近于方法1。
239.这些方法中的任一个可以由本公开实现。
240.在一些实施例中，可以使用一个或多个向导，以确定在何处放置切割块或夹具。例如，来自memphis, tn的smith & nephew公司的legion全膝系统包括使用后股骨踝作为参考的调整大小向导。调整大小向导可以被外科医生使用，以确定在何处放置切割块或夹具。在一些实施例中，相同调整大小向导可以用于正确地放置一系列切割块或夹具。
241.图31是根据一个或多个实施例的具有两个定位器孔3102a和3102b的调整大小向导3100的前视图。
242.图32是根据一个或多个实施例的股骨3202上的调整大小向导3100的透视图。
243.在调整大小向导3100附着到患者股骨的情况下，外科医生可以利用定位器孔3102a和3102b，以将两个孔钻探到患者股骨中。接着，可以移除调整大小向导3100，并且可以使用由调整大小向导3100的定位器孔3102a和3102b确定的两个孔将切割块或夹具附着到股骨。切割块或向导可以定义针对植入物的正确前切割、后切割和有角度斜切。
244.图33是根据一个或多个实施例的附着到患者股骨3302的切割块3300的前视图。可以使用延伸到钻孔3304a和3304b中的销钉或螺钉将切割块3300附着到患者股骨3302，钻孔3304a和3304b是使用大小调整向导3100的定位器孔3102a和3102b来形成的。
245.图34是根据一个或多个实施例的附着到患者股骨3302的切割块3300的侧视图。切割块3300提供前切割向导3402、后切割向导3405以及两个有角度斜切向导3403和3404。外科医生可以将锯刀3406放置在切割块3300的切割向导（例如，前切割向导3402）中以作出所计划的切割。
246.在一些实施例中，ar设备200可以呈现定位器销钉孔的所计划的位置的全息图。在外科手术期间，这些全息图可以被呈现，并且外科医生可以使用全息图以对准钻机，以在所计划的位置处钻探定位器销钉孔。例如，具有钻孔的大小调整向导的全息图可以由ar设备200呈现。在该实现方式中，外科医生可以不使用物理大小调整向导或任何其他向导。在基于由ar设备200呈现的一个或多个全息图来钻探定位器销钉孔自豪和，外科医生可以将切割块或向导安装在患者股骨上。在一些实施例中，ar设备200可以如所计划的那样呈现所计划的前切割平面、后切割平面和有角度斜切平面的全息图。外科医生然后可以检验切割平面的这些全息图与物理切割块或夹具的切割向导协同定位（例如，对准）。
247.在作出切割之后，外科医生可以植入假体膝部部件。
248.图35是根据一个或多个实施例的假体膝部部件3500的透视图。膝部部件3500可以包括与对患者股骨作出的前切割、后切割和有角度斜切相匹配的内表面。另外，膝部部件3500可以包括：两个销钉3502a和3502b，其可以在基于定位器销钉孔的全息图而形成的钻孔中被接收。
249.应当理解，可以使用其他向导和/或切割块，尤其诸如五合一切割块或夹具。
250.其他膝部解决方案
应当理解，可以利用其他程序。
251.可以使用ct、mr或其他成像技术来执行患者膝部的术前成像。可替换地，可以使用具有用于模型拟合的最少患者专用信息的统计成形模型。
252.软件步骤可以包括股骨和胫骨的分段。然后可以创建标志和坐标系。例如，股骨坐标系旋转最初可以由后股骨踝确定。
253.接着，可以利用以下初始准则创建针对股骨部件的计划：1. 与冠状平面中的股骨的长轴垂直且在矢状平面中几度折曲的远端股骨切割。
254.2. 远端切割平面应距股骨的最远软骨表面xmm（例如，8mm或9mm）。
255.3. 股骨的后切割平面和前切割平面被计划成使得后切割平面处于后股骨踝前部xmm（例如，8或9mm），且垂直于远端股骨切除（除非特定植入物系统主张微小角度）。前切割可以平行于后切割，且由所计划的股骨部件的大小确定，所计划的股骨部件的大小进而由股骨的大小确定。
256.可以利用以下初始准则创建针对胫骨部件的计划：1. 近端胫骨切除平面可以垂直于冠状平面上的胫骨的长轴，且典型地在矢状平面中呈几度折曲。由于膝部可能已经在成像期间处于延伸中，因此一种确定胫骨坐标系的旋转的方式是仅将股骨踝旋转投影到胫骨上。另一方式是除胫骨长轴在其处离开近端胫骨的点外还使用一个或多个解剖点。另外，胫骨表面下面的切除平面的深度可以是最低胫骨平台表面下面xmm或最高胫骨平台表面下面xmm。这可以是外科医生偏好变量。
257.ar设备200可以被配置成呈现静态全息图的以下序列：f01. 原生股骨。
258.f02. 具有远端股骨切割平面的原生股骨。
259.f03. 原生股骨、远端股骨切割平面、以及通用或撞击专用的传统远端股骨切除向导。
260.f04. 将投影到远端股骨中的两个钻孔全息图，其将向外科医生告知在何处钻孔，使得当具体“4合1”股骨切割夹具是使用夹具的背表面上的定位销钉来放置的时，使用夹具而作出的前和后骨切割（和斜切）处于所计划的位置中。
261.f05. 已修改股骨以反映远端、前、后和斜骨切割的远端股骨的优选的所准备的表面的全息图。
262.f06. 在所计划的地方具有所计划的大小的股骨部件的股骨的全息图。
263.insall技术全息图。上面描述了纯粹基于解剖标志来准备股骨。在一些实施例中，可以在外科手术中评定韧带平衡。可以在韧带平衡期间从针对外科手术的患者专用全息库预先生成和拉出一个或多个全息图。
264.假设ar设备200正在跟踪胫骨并相对于胫骨显示全息图。进一步假设关于近端胫骨切除将处于何处进行确定。假定一起取得的股骨和胫骨植入物厚度是x mm（例如，胫骨表面的低侧上面5 mm和针对股骨植入物的后部分的另一9 mm）。外科医生可以对韧带进行牵张，并且ar设备200可以相对于该位置中的胫骨而投影切割平面的全息图。可以将全息图投影在股骨上。该全息图投影可以与由解剖加标志建议的销钉孔和后切割平面将处于何处相比较。
265.如果系统基于跟踪胫骨投影了全息图且同时还基于跟踪股骨投影了全息图，则这
两个全息图理想地应当重叠。就它们的不同之处而言，外科医生具有若干选择：a. 外科医生可以坚持基于股骨解剖构造的解剖位置和旋转，忽略胫骨信息；b. 外科医生可以使用胫骨/韧带牵张推荐；c. 外科医生可以进行更多韧带释放，以使两个全息图更密切地排成行；以及d. 在有c或没有c的情况下，外科医生可以选择a与b之间某处的股骨位置。
266.ar设备200可以呈现以下胫骨全息图：t01. 原生胫骨的全息图。
267.t02. 原生胫骨外加优选胫骨切割平面的全息图。
268.t03. t02外加近端胫骨切割夹具，通用的或供应商系统专用的。
269.t04. 在切割胫骨表面上投影的全息图，其具有到胫骨表面标记上的钻孔投影，其中钻孔将适用于在正确位置和旋转中贴附到胫骨的胫骨托盘夹具，且适用于允许keel punch准备处于正确地方。
270.t05. 反映理想胫骨切除外加正确位置和旋转中的所计划的胫骨部件的胫骨的全息图。
271.配准和跟踪。
272.对于股骨，可以在预定位置中附着跟踪对象，诸如具有一个或多个qr码的立方体。ar设备200然后可以主要使用独特患者专用远端股骨解剖构造的对象识别来配准股骨。股骨的配准可以由其他经典方法增强，该其他经典方法诸如是股骨头中心的运动学三角测量、通过切口的直接标志数字化、或者甚至反向配准，其中ar设备200可以投影全息图并且外科医生可以将肢体移动到与全息图重叠的位置中。ar设备200然后可以将全息图锚定在该位置处。
273.可以使用反向配准方法来配准胫骨，这是由于近端胫骨表面不如远端股骨在其独特几何特性方面那么清晰。
274.当试验或现实植入物就位时，随着来回移动膝部，ar设备200可以跟踪股骨和胫骨两者，并投影上面描述的全息图t05和f06（例如，实时地）。ar设备200还可以计算对准和运动和韧带平衡。
275.重构前十字韧带（acl）重构是膝部上的最常见的主要非假体重构程序。当前技术水平是执行关节内窥镜检查以及：1. 描述断裂的acl的残肢；2. 准备股骨的“缺口”；3. 使用解剖标志以确定新韧带的股骨和胫骨附着点；4. 放置穿过胫骨的钻孔，其中孔处于所提出的胫骨附着点处的关节中；5. 将钻孔放置到股骨中，其中孔位置处于所提出的股骨附着点处的关节中；6. 使线穿过韧带；7. 使用干涉螺钉（针对骨-韧带-骨移植）来紧固股骨附着；8. 绷紧韧带；以及9. 再次使用干涉螺钉（针对骨-韧带-骨移植）来紧固胫骨附着。
276.如果使用软组织移植，则该过程稍稍不同，这是由于它与其他固定方法相联系。
277.当前技术水平的一些劣势包括：1. 该过程的执行要求关节内的恒定可视化，并且具有出血或碎片的流体的任何模糊阻止了该可视化。
278.2. 移植的胫骨和股骨附着的“等长点”的确定不是科学地确定的，并且将移植放置在错误位置中可能导致早期断裂。
279.如本文所描述，本公开的系统可以实现以下技术：1. 可选地，ar设备200可以被用作跟踪和可视化技术两者。
280.2. 术前ct/mr或预测形状建模。在外科手术中针对“虚拟模板”对象识别配准而创建3d模型。
281.3. 在外科手术中，以经皮方式将跟踪对象附着到股骨和胫骨，股骨和胫骨可以由增强现实hmd的空间检测系统识别和跟踪。
282.4. 利用关节内窥镜检查相机，其具有：a）立体视觉，或者工作端处的关节内部的类似空间检测系统；b）可由ar设备的空间检测系统（或任何其他跟踪方法）跟踪的身体外的端部上的跟踪对象。该技术可以利用两个空间检测系统：一个处于关节内，可以用于针对“虚拟模板”配准而对解剖构造进行可视化；第二个例如处于ar设备200上，其可以观看关节内窥镜检查设备的外端的位置。
283.5. 对于股骨配准，关节内窥镜检查设备上的空间检测系统针对的是股骨关节表面或在关节内可见的股骨的任何面观。关节表面的边缘例如可以被用在对象检测中。在外部空间检测系统观看关节内窥镜检查设备的位置的情况下，通过一系列运动来移动膝部，以能够识别股骨的足够独特cad表面，以确定股骨在空间中相对于先前在股骨上放置的跟踪器而处于何处。如在其他示例中那样，可以创建患者专用cad或其他图像文件，诸如患者股骨或其部分（诸如，患者股骨的远端）的表面的cad文件。此外，可以在术前相对于该对象（例如，患者股骨）确定患者专用坐标系。导航系统1600然后可以在从外科场景的ar设备200上的空间检测系统获得的图像数据中搜索和检测该对象。一旦被检测到，导航系统1600就还可以配准实际对象，例如基于术前确定的患者专用坐标系。导航系统1600然后将配准整个股骨在空间中的位置。
284.6. 对于胫骨配准，关节内窥镜检查设备上的空间检测系统针对的可以是胫骨关节表面。利用外部空间检测系统（或其他跟踪解决方案），可以配准胫骨。这里，该过程包括基于mri的胫骨表面的术前cad文件，并且导航系统1600可以使用其中附着有外部参考系的内部关节内窥镜检查空间检测系统来识别该表面的精确位置。可以移动内窥镜以捕获表面的更多部分，诸如胫骨的表面。
285.7. 可以基于mr上的解剖构造来计划胫骨和股骨表面上的所提出的附着点。可替换地，在配准之后，可以通过“acl竞争”位置中的一系列运动（在运动期间对pcl进行压力绷紧）来循环膝部。以该方式，系统可以计算股骨和胫骨上的最优等长点。
286.8. 既然系统知道股骨和胫骨总是处于何处以及在韧带附着在膝部中时理想附着点处于何处，那么系统可以从外科医生114在该时刻处所具有的不论什么视点在ar设备200上显示股骨和胫骨。系统还可以示出用于最优acl重构的胫骨和股骨隧道的所提出的过程。另外，系统可以跟踪包括传统隧道创建仪器的任何工具，并在增强现实中示出工具，且示出所提出的隧道相对于那些工具的虚拟投影。
287.本公开的至少一些优势包括：可以更可靠地执行acl重构，这是由于附着点将被更可靠地放置，从而降低acl重构失效的风险。该方法具有下述进一步优点：可以利用增强现实完成该程序的大多数关键部分，从而减少针对关节内窥镜可视化的需要，允许仅在该程序期间的具体点处而不是连续地针对具有关节内窥镜检查的可视化而改善外科手术。除更好的技术卓越性外，利用适当的改善，潜在地可以更高效地执行外科手术。
288.牙科手术牙科医生一般在没有任何种类的导航或增强可视化的情况下放置牙科植入物。牙科医生可以依赖于具有多平面重新格式化的ct成像和/或射线平片，这可以示出使牙科植入物所基于的可用骨头处于何处。然而，如果骨头相当薄，则可能发生问题，这可能特别地发生在上颌骨或下颌骨的颊侧上或者发生在牙齿已经丢失达某个时间时，以及在诸如邻近牙齿之类的标志不可用于在空间上引导牙科医生的情况下。在该领域中极少出于诸如复杂度、成本以及患者处于一个地方而导航信息处于另一地方（诸如，在lcd屏幕上）的事实之类的原因而使用传统的基于图像的导航。
289.牙科植入物外科手术期间的全息引导可以表示该领域中的显著和有成本效益的进展。全息引导的锚定可以至少部分地基于一个或多个现有牙齿，与在皮肤下深处形成对照，该一个或多个现有牙齿在物理上可用。
290.在一些实施例中，本公开可以包括：1. 取决于下颌的哪侧需要植入物，在患者的下颌骨或上颌骨的至少部分上创建牙科模具。该模具可以包括将允许附着可处于嘴外的跟踪器的任何可用牙齿。这种跟踪器可以是用于红外（ir）体视术跟踪的传统动态参考基（drb），或者在一些实施例中，这种跟踪器可以是可由导航系统1600识别和连续跟踪的qr码或者其他可识别图像或对象。该模具的位置可以邻近于所提出的牙科植入物或其他所提出的程序的位置，同时间隔得足够远以仍提供对植入物或其他牙科手术将位于其处的区域的访问。在一些实施例中，该模具可以包括下述元素：可以根据该元素确定跟踪器位置。该元素可以是跟踪器自身、跟踪器支撑物、跟踪器附着机构、或者可根据其确定跟踪器位置的信息，诸如该模具上的点或凹处。
291.2. 在模具在患者下颌上就位的情况下，在该程序之前获得患者的ct或其他成像研究。ct或其他成像包括可根据其确定跟踪器位置的元素或信息。例如，在一些实施例中，当执行ct或其他成像时，跟踪器可以附着到模具。在其他实施例中，跟踪器支撑物或跟踪器附着机构可以与模具一起被包括，但当执行ct或其他成像时，可以省略跟踪器自身。
292.3. 外科计划系统1700可以使用ct或其他成像，以计划植入物的位置并精确地识别跟踪器（例如，qr码或者其他跟踪图像或对象）将位于ct坐标系内何处。例如，可以生成包括模具和跟踪器的患者下颌骨或上颌骨的计算机生成3d模型。计划者可以选择一个或多个特定工具（例如钻机、钻头等）和/或植入物，并确定外科工具和/或植入物相对于3d模型的位置。例如，可以将外科工具和/或植入物的3d模型与上颌骨的下颌骨的3d模型进行组合，以形成新3d模型。
293.4. 在成像之前在患者上具有跟踪器或跟踪器将附着到的模具可以简化患者配准过程，例如这是因为跟踪器位置是已经知道的。这与针对髋部外科手术而配准骨盆形成对照，在髋部外科手术中，在没有贴附跟踪器的情况下执行ct研究，并且然后在外科手术期间确定骨盆的位置，诸如通过将配准和跟踪工具对接到骨盆，或者贴附跟踪器然后后续配准
骨盆相对于跟踪器的位置。
294.5. 在以已知方式将跟踪器贴附到患者的情况下，外科计划系统1700可以利用3d模型的组合，以生成一个或多个静态和/或动态全息图，以供ar设备200显示。在一些实施例中，这些全息图中的至少一些可以示出原本对牙科医生来说不可见且与实际患者解剖构造（例如，其可以对牙科医生来说可见且因而对ar设备200来说可见）协同定位的患者解剖构造。
295.6. 示例性全息图可以包括没有植入物的患者的下颌骨或上颌骨的一个或多个全息图以及在所计划的位置处具有外科工具和/或植入物的患者的下颌骨或上颌骨的一个或多个全息图。通过使用ar设备200呈现这种全息图，牙科医生可以在3d中精确地“看到”患者的骨头位于何处以适当地锚定植入物。
296.7. 在外科程序期间，模具和跟踪器可以被插入患者的嘴中。如牙科医生所穿戴的ar设备200可以识别跟踪器，且可以在空间中相对于跟踪器而呈现和锚定该一个或多个全息图，使得下颌骨或上颌骨的全息图与患者的物理下颌骨和上颌骨协同定位，并且外科工具和/或植入物的全息图在它们的所计划的位置处呈现。
297.8. 牙科医生可以利用该一个或多个全息图作为操作外科仪器和植入植入物时的向导。
298.9. 在一些实施例中，由牙科医生穿戴的ar设备200可以呈现针对与患者在该程序期间的下颌骨或上颌骨协同定位的患者下颌骨或上颌骨的ct数据体积。例如，ar设备200可以生成穿过ct数据体积的一个或多个平面切割（例如，切割平面），以根据ct数据产生二维（2d）ct图像。ar设备200可以将该2d ct图像呈现给牙科医生。通过将ct数据体积与患者协同定位，如ar设备200所显示的2d ct图像可以对牙科医生显现为覆盖在患者解剖构造上且与患者解剖构造协同定位。可以在距ar设备200预定距离处设定切割平面。
299.10. 应当理解，外科计划系统1700可以生成其他（例如，更复杂）的全息图，诸如，示出所计划的钻孔的精确轨迹或植入物自身的精确大小和位置的全息图。此外，导航系统1600和外科计划系统1700可以从牙科医生的视角更新全息图（例如，实时地），以示出直到程序中的该点已被用尽的任何工具的效果。
300.这种方法的一个优势是：可以在单个会话中当场执行整个计划和导航过程，其中针对跟踪器的定制牙科模具贴附到患者的可用牙齿中的一个或多个，成像然后可以发生，可以快速地执行和生成计划和全息图，并且植入物干预然后可以发生。另一个优势是：可以移除跟踪器/牙科模具装置，并且在那天或另一天可以利用回到它先前所处的相同精确地方的跟踪器的重新应用来替换跟踪器/牙科模具装置到患者上。相应地，可以在同一天或后续数天使用相同计划和配准或者具有相同配准的更新计划来执行任何数目的程序。第三个优势是：该方法和技术并不昂贵。
301.图56是根据一个或多个实施例的示例牙科模型5600的顶视图。牙科模具5600包括患者牙齿的印痕5602。牙科模具5600还包括突出部5604。在突出部5604上设置了在5606处指示的图案。图案5606由多个（例如，三个）标记5608a-c形成。在外科程序期间，ar设备200可以识别图案5606，且可以相对于图案5606而锚定一个或多个全息图。
302.图53是根据一个或多个实施例的计划窗口5300的图示。计划窗口5300包括患者的下颌骨5302的3d模型和附着到跟踪器支撑物5306的3d模型的跟踪器5304的3d模型。跟踪器
支撑物5306可以附着到患者的下颌骨5302上的牙科模具5308。可以计划一个或多个外科仪器和一个或多个植入物的位置，以实现一个或多个目标。例如，可以在下颌骨5302处在所计划的位置处放置植入物5310的模型。可替换地或另外，可以在术前确定的位置处计划用于钻探到下颌骨5302中以接收植入物的钻轴5312。可以根据在外科计划中创建的模型生成一个或多个全息图，并且可以由ar设备200呈现且相对于跟踪器5304而锚定全息图。
303.图54是根据一个或多个实施例的可由ar设备200在外科程序期间呈现的切割平面的图示5400。该图示包括：第一窗格5402，其示出包括患者下颌骨5406的患者下颌的至少部分的3d表面模型5404。在3d表面模型5404上叠加的是图示了正交切割平面的三个框。红框5408表示了一个图像生成平面，黄框5410表示了第二图像生成平面，并且绿框5412表示了第三图像生成平面。图示5400包括：附加窗格，呈现穿过与框5408、5410和5412的平面相对应的患者的ct体积数据的切割平面，框5408、5410和5412可以由ar设备200在患者下颌内的精确位置中呈现。例如，窗格5414图示了穿过针对红框5408的ct体积数据的切割平面。窗格5416图示了穿过针对黄框5410的ct体积数据的切割平面。窗格5418图示了穿过针对绿框5412的ct体积数据的切割平面。
304.神经外科手术/耳鼻喉（ent）外科手术神经外科手术和/或ent外科手术期间的全息引导也可以表示该领域中的显著且由成本效益的进展。如牙科手术实施例那样，全息引导可以至少部分地基于一个或多个现有牙齿。例如，可以作出例如患者上牙（由于它们相对于患者颅骨固定）的牙科模具，并且可以将跟踪对象（诸如，qr码）贴附到牙科模具。成像然后可以发生，在此期间，可以在图像上识别跟踪对象（例如，qr码），并且然后可以计划程序的剩余部分。该实施例可以使用上牙和跟踪器的成像前应用，该跟踪器然后可以被包括在术前计划中，使得配准可以是即时的、自动的和准确的。
305.应当理解，可以使用附加和/或可替换配准技术。为了改进配准准确度，可以将“虚拟模板”配准方法与其他方法进行组合。对于股骨，可以通过来回移动髋部来计算髋部的旋转的中心的三角测量，其中立体相机跟踪附着到股骨的跟踪器。将这一点与虚拟模板配准进行组合可以进一步改善配准的准确度。将数字化与虚拟模板配准进行组合可以进一步改善配准的准确度。
306.以下示例实现了本公开的方法和/或系统的一个或多个方面。这些示例是非限制性示例。可以在其他实现方式中将不同示例的特征进行组合。可以在其他实现方式中修改或移除每个示例的特征。
307.方面1. 一种系统，包括：配准和跟踪设备，被配置成在预定和固定位置中对接到患者盆骨的部分；基于计算机的外科计划系统，被配置成：呈现所述患者骨盆的部分的二维（2d）或三维（3d）模型；确定针对所述配准和跟踪设备的3d模型的对接到所述患者骨盆的部分的2d或3d模型的位置；建立针对所述配准和跟踪设备的坐标系；确定一个或多个外科工具相对于针对所述配准和跟踪设备的坐标系的位置；生成一个或多个文件，根据所述一个或多个文件，能够产生下述各项中的两个或更多个的组合的多个全息图：所述患者骨盆的部分的2d或3d模型；所述配准和跟踪设备；以及所述一个或多个外科工具；以及增强现实（ar）头戴式设备（hmd），所述ar hmd包括：至少一个传感器，被配置成识别所述配准和跟踪设备的至少部分；一个或多个投影仪，被配置成呈现所述多个全息图；以及导航系统，其基
于针对所述配准和跟踪设备的坐标系来跟踪所述配准和跟踪设备并在空间中锚定所述多个全息图。
308.方面2. 方面1的系统，其中所述基于计算机的外科计划系统进一步被配置成确定至少一个植入物相对于针对所述配准和跟踪设备的坐标系的位置，并且所述多个全息图进一步包括所述至少一个植入物。
309.方面3. 方面1或2的系统，其中所述配准和跟踪设备包括具有表面的三维（3d）形状，所述一个或多个标记被设置在所述3d形状的表面上，并且所述ar hmd的所述至少一个传感器在所述配准和跟踪设备的3d形状的表面上识别所述一个或多个标记。
310.方面4. 前述方面中任一项的系统，其中所述一个或多个标记是一个或多个快速响应（qr）码或棋盘图案。
311.方面5. 前述方面中任一项的系统，其中所述配准和跟踪设备包括具有预定和固定形状的中枢以及从所述中枢延伸的三个腿，所述三个腿被配置成将所述配准和跟踪设备对接到所述患者骨盆的部分，所述ar hmd的所述至少一个传感器检测所述配准和跟踪设备的中枢，并且所述导航系统在持续时间内至少周期性地确定所述配准和跟踪设备的位置。
312.方面6. 前述方面中任一项的系统，其中所述基于计算机的外科计划系统进一步被配置成：确定所述一个或多个外科工具相对于针对所述患者骨盆的部分的2d或3d模型的坐标系的位置；以及生成针对所述患者骨盆的部分的2d或3d模型的坐标系与针对所述配准和跟踪设备的坐标系之间的一个或多个变换矩阵，并且其中所述ar hmd利用所述一个或多个变换矩阵以在空间中锚定所述多个全息图。
313.方面7. 前述方面中任一项的系统，其中所述基于计算机的外科计划系统进一步被配置成确定针对所述多个全息图的呈现序列，并且所述ar hmd在所述呈现序列中呈现所述多个全息图。
314.方面8. 一种计算机实现方法，包括以下步骤：呈现患者骨盆的部分的二维（2d）或三维（3d）模型；确定对接到所述患者骨盆的部分的2d或3d模型的配准和跟踪设备的位置；建立针对所述配准和跟踪设备的坐标系；确定一个或多个外科工具和至少一个植入物相对于针对所述患者骨盆的部分的2d或3d模型的坐标系的位置；生成用于在所确定的相对于针对所述患者骨盆的部分的2d或3d模型的坐标系的位置处呈现所述一个或多个外科工具和所述至少一个植入物的全息图的文件；生成针对所述患者骨盆的部分的2d或3d模型的坐标系与针对所述配准和跟踪设备的坐标系之间的变换矩阵；以及将所述文件导出到增强现实（ar）头戴式设备（hmd）。
315.方面9. 一种计算机实现方法，包括以下步骤：识别对接到患者骨盆的部分的配准和跟踪设备，所述识别包括跟踪所述配准和跟踪设备的位置；接收用于在所确定的相对于针对所述患者骨盆的坐标系的位置处呈现一个或多个外科工具和至少一个植入物的全息图的文件；接收变换矩阵，所述变换矩阵确定所述全息图的相对于针对所述配准和跟踪设备的坐标系的取向和位置；以及利用所述变换矩阵以呈现在所确定的位置处锚定的全息图。
316.方面10. 方面9的计算机实现方法，其中所述配准和跟踪设备包括具有预定和固定形状的中枢以及从所述中枢延伸的三个腿，所述三个腿被配置成将所述配准和跟踪设备对接到所述患者骨盆的部分，并且识别所述配准和跟踪设备包括识别所述配准和跟踪设备
的中枢。
317.方面11. 方面9或10的计算机实现方法，其中所述配准和跟踪设备包括具有表面的三维（3d）形状，并且一个或多个标记被设置在所述3d形状的表面上，并且识别所述配准和跟踪设备包括在所述配准和跟踪设备的3d形状的表面上识别所述一个或多个标记。
318.方面12. 方面9、10或11中任一项的计算机实现方法，其中所述一个或多个标记是一个或多个快速响应（qr）码或棋盘图案。
319.方面13. 一种系统，包括：基于计算机的外科计划系统，被配置成：呈现患者膝部的二维（2d）或三维（3d）模型；建立针对所述患者膝部的坐标系，确定到所述患者膝部的一个或多个切割平面相对于针对所述患者膝部的坐标系的位置；确定针对所述患者膝部的至少一个植入物相对于针对所述患者膝部的坐标系的位置；生成一个或多个文件，根据所述一个或多个文件，能够产生下述各项中的两个或更多个的组合的多个全息图：所述患者膝部的2d或3d模型；到所述患者膝部的所述一个或多个切割平面；以及针对所述患者膝部的所述至少一个植入物；以及增强现实（ar）头戴式设备（hmd），所述ar hmd包括：至少一个传感器，被配置成识别所述患者膝部的至少部分，所述识别包括跟踪所述患者膝部的所述至少部分；一个或多个投影仪，被配置成呈现所述多个全息图；以及导航系统，其基于针对所述患者膝部的坐标系来在空间中锚定所述多个全息图。
320.方面14. 方面13的系统，其中由所述ar hmd的所述至少一个传感器识别的所述患者膝部的所述至少部分是在外科程序期间暴露的股骨的部分或在所述外科程序期间暴露的胫骨的部分。
321.方面15. 方面13或14的系统，其中所述ar hmd的导航系统基于识别所述患者膝部的所述至少部分来配准所述患者膝部的所述至少部分，并将所述患者膝部的所述至少部分的配准转移到贴附到所述患者膝部的跟踪器。
322.方面16. 方面13、14或15中任一项的系统，其中所述一个或多个切割平面包括前切割平面、斜前切割平面、后切割平面和斜后切割平面。
323.方面17. 一种配准和跟踪设备，包括：三个腿或表面，被布置用于将所述配准和跟踪设备对接到解剖结构的部分；中枢；两个臂，可从所述中枢延伸以针对具体患者而调整所述三个腿之间的间距；以及具有表面的三维（3d）形状，和所述3d形状的表面上的用于将坐标系与所述配准和跟踪设备相关联的一个或多个标记。
324.方面18. 方面17的配准和跟踪设备，其中所述3d形状的表面上的所述一个或多个标记是一个或多个快速响应（qr）码或棋盘图案。
325.方面19. 一种系统，包括：基于计算机的外科计划系统，被配置成：呈现患者下颌骨和/或上颌骨的至少部分的二维（2d）或三维（3d）模型，所述部分包括附着到患者牙齿中的一个或多个的牙科模具，所述牙科模具包括定义跟踪器的预定位置的元素；建立针对所述跟踪器的坐标系；确定所述患者下颌骨和/或上颌骨的所述部分中的至少一个牙科植入物相对于针对所述跟踪器的坐标系的位置；生成一个或多个文件，根据所述一个或多个文件，能够产生下述各项的一个或多个全息图：所述患者下颌骨和/或上颌骨的所述部分的2d或3d模型；以及所述至少一个牙科植入物；以及增强现实（ar）头戴式设备（hmd），所述ar hmd包括：至少一个传感器，被配置成识别附着到所述牙科模具的跟踪器，所述牙科模具附着到所述患者牙齿中的所述一个或多个；一个或多个投影仪，被配置成呈现所述一个或多
个全息图；以及导航系统，其基于针对所述跟踪器的坐标系来在空间中锚定所述一个或多个全息图。
326.方面20. 方面19的系统，其中定义所述跟踪器的预定位置的元素是：所述跟踪器；针对所述跟踪器的支撑物；针对所述跟踪器的附着构件；或者在所述牙科模具中并入的信息。
327.方面21. 方面19或20的系统，其中所述跟踪器是下述各项中的至少一个：动态参考基；一个或多个快速响应码；可识别的图像；或者可识别的对象。
328.实施例的以上描述意在提供图示和描述，但不意在是穷尽的或者将本公开限于所公开的精确形式。修改和变型鉴于上述教导而是可能的，或者可以从本公开的实践中获取。例如，尽管上面已经关于流程图描述了一系列动作，但可以在其他实现方式中修改动作的次序。另外，动作、操作和步骤可以由附加或其他模块或实体执行，该附加或其他模块或实体可以被组合或分离以形成其他模块或实体。进一步地，可以并行地执行非依赖性的动作。
329.进一步地，本公开的某些实施例可以被实现为执行一个或多个功能的逻辑。该逻辑可以是基于硬件的、基于软件的、或者基于硬件和基于软件的组合。逻辑中的一些或全部可以被存储在一个或多个有形非瞬变计算机可读储存介质中，且可以包括可由计算机或数据处理系统执行的计算机可执行指令。计算机可执行指令可以包括实现本公开的一个或多个实施例的指令。有形非瞬变计算机可读储存介质可以是易失性的或非易失性的，且可以包括例如闪速存储器、动态存储器、可移除盘和不可移除盘。
330.本文使用的元件、动作或指令不应当被理解为对本公开来说关键或必要的，除非明确如此描述。而且，如本文所使用，冠词“一”意在包括一个或多个项目。在预期仅一个项目的情况下，使用术语“一个”或类似语言。进一步地，短语“基于”意在意指“至少部分地基于”，除非明确以其他方式声明。
331.以上描述已经涉及本公开的具体实施例。然而，应当领会，在获得所描述的实施例的优势中的一些或全部的情况下，可以对它们作出其他变型和修改。因此，所附权利要求的目的是覆盖落在本公开的真正精神和范围内的所有这种变型和修改。