将手术工具与由扩展现实头戴装置的摄像机跟踪的参考阵列配准以用于手术期间的辅助导航的制作方法

1.本公开涉及医疗装置和系统，且更确切地说，涉及用于手术期间的计算机辅助导航的摄像机跟踪系统。


背景技术：

2.手术期间的计算机辅助导航可以为外科医生提供手术工具的当前位姿相对于患者的解剖结构的医学图像的计算机化可视化。用于计算机辅助导航的摄像机跟踪系统通常使用一组摄像机来跟踪附接到手术工具上的一组基准点，所述一组基准点在手术期间由外科医生或其它用户定位。一组基准点，也称为动态参考阵列或动态参考库(drb)，允许摄像机跟踪系统确定手术工具相对于医学图像中的解剖结构以及相对于患者的位姿以显示给外科医生。外科医生可由此使用实时位姿反馈，以在手术过程期间对手术工具进行导航。
3.扩展现实(xr)头戴装置与摄像机跟踪系统结合使用，以使外科医生能够以覆盖在患者上的图形对象的方式查看实时位姿反馈。持续需要使戴着xr头戴装置的外科医生能够使用多种类型的手术工具，同时减少在工具选择上的误差，并减少手术过程期间外科医生注意力的中断。


技术实现要素：

4.本文所公开的各个实施例涉及手术期间的计算机辅助导航的改进。xr头戴装置用于协助将手术工具的特性与由摄像机跟踪系统标识的参考阵列配准。可以将特性的表示显示到xr头戴装置上，以使用户能够确认配准过程的正确性。在配准过程中使用xr头戴装置可以为外科医生和其它医务人员(用户)提供更直观、省时和可靠的过程，以在手术过程之前和/或期间对手术工具与摄像机跟踪系统进行配准。
5.在一个实施例中，用于手术期间的计算机辅助导航的摄像机跟踪系统被配置成标识由附接到xr头戴装置的一组跟踪摄像机跟踪的参考阵列。摄像机跟踪系统确定参考阵列是否被配准为与手术工具数据库中限定的多个手术工具中的一个的特性配对。基于参考阵列被确定为未配准并接收用户输入，摄像机跟踪系统将参考阵列配准为与基于用户输入而选择的多个手术工具中的一个的特性配对。摄像机跟踪系统随后向xr头戴装置的显示装置提供特性的表示以显示给用户。
6.公开了摄像机跟踪系统的相关计算机程序产品和方法。
7.在审阅以下附图和详细描述之后，根据实施例的其它摄像机跟踪系统、计算机程序产品和方法对于本领域技术人员来说将是或变得显而易见的。预期所有此类摄像机跟踪系统、计算机程序产品和方法包含在本说明书中、在本公开的范围之内且受所附权利要求的保护。此外，预期本文中所公开的所有实施例可单独地实施或以任何方式和/或组合而组合。
附图说明
8.附图示出了发明概念的某些非限制性实施例，所述附图被包含在内以提供对本公开的进一步理解，并且结合在本技术内并构成本技术的一部分。在附图中：
9.图1示出了根据本公开的一些实施例的手术系统的实施例；
10.图2示出了根据本公开的一些实施例的图1的手术系统的手术机器人组件；
11.图3a示出了根据本公开的一些实施例的图1的手术系统的摄像机跟踪系统组件；
12.图3b和3c示出了根据本公开的一些实施例的可以与图1的手术系统一起使用的另一个摄像机跟踪系统组件的正视图和等距视图；
13.图4示出了可连接到机器人臂并且根据本公开的一些实施例配置的末端执行器的实施例；
14.图5示出了医疗操作，其中手术机器人和摄像机系统被安置在患者周围；
15.图6示出了用于医疗操作的图5的手术系统的组件的框图视图；
16.图7示出了在使用手术系统的导航功能时可以在图5和6的显示器上显示的各种显示屏；
17.图8示出了根据本公开的一些实施例的手术机器人的一些电组件的框图；
18.图9示出了根据本公开的一些实施例的手术系统的组件的框图，所述手术系统包含连接到可以操作性地连接到摄像机跟踪系统和/或手术机器人的计算机平台的成像装置；
19.图10示出了根据本公开的一些实施例的可以与手术机器人组合使用的c形臂成像装置的实施例；
20.图11示出了根据本公开的一些实施例的可以与手术机器人组合使用的o形臂成像装置的实施例；
21.图12示出了包含根据本公开的一些实施例进行操作的一对xr头戴装置和辅助跟踪杆的手术系统的组件的框图视图；
22.图13示出了根据本公开的一些实施例配置的xr头戴装置；
23.图14示出了根据本公开的一些实施例的可以操作性地连接到计算机平台、一或多个成像装置和/或手术机器人的xr头戴装置的电组件；
24.图15示出了示出根据本公开的一些实施例的xr头戴装置的光学组件的布置的框图；
25.图16示出了根据本公开的一些实施例的通过用于在医疗程序期间提供导航辅助以操纵手术工具的xr头戴装置的显示屏的示例视图；
26.图17示出了根据本公开的一些实施例配置的具有两对立体摄像机的辅助跟踪杆的示例性配置；
27.图18示出了包含根据本公开的一些实施例共同操作的一对xr头戴装置和辅助跟踪杆中的包含跟踪摄像机的手术系统的组件的框图视图；
28.图19示出了根据本公开的一些实施例当参考阵列被配准到手术工具以在手术期间在手术工具的计算机辅助导航中使用时由xr头戴装置显示的手术工具特性的图形表示；
29.图20示出了根据本公开的一些实施例的由摄像机跟踪系统执行以提供图19中的手术工具特性的图形表示的配准操作的流程图；
30.图21示出了根据本公开的一些实施例的由xr头戴装置显示的已配准的积极使用的手术工具的图形表示；
31.图22示出了根据本公开的一些实施例的由摄像机跟踪系统执行以提供图21中的已配准的积极使用的手术工具的图形表示的操作的流程图；
32.图23示出了根据本公开的一些实施例的当用户正查看手术工具时由xr头戴装置显示的用于配准的参考阵列的跟踪准确性信息的图形表示；
33.图24示出了根据本公开的一些实施例的由摄像机跟踪系统执行以提供图23中的跟踪准确性信息的图形表示的操作的流程图；
34.图25示出了根据本公开的一些实施例的由摄像机跟踪系统执行以根据参考阵列是否在相对于xr头戴装置限定的检测区域内来选择性地允许用户进行参考阵列的配准的操作的流程图；
35.图26示出了根据本公开的一些实施例的由摄像机跟踪系统执行以根据参考阵列是否在相对于xr头戴装置限定的检测区域内来选择性地显示与参考阵列配准的手术工具的特性的操作的流程图；
36.图27示出了根据本公开的一些实施例的通过具有显示为至少部分地重叠参考阵列的基准点的所标识的位姿的图形标记以及显示为至少部分地重叠缺失基准点的所估计的位姿的图形标记的xr头戴装置查看的手术工具；
37.图28示出了根据本公开的一些实施例的由摄像机跟踪系统执行以显示例如图27中展示的相对于所标识和缺失基准点的图形标记的操作的流程图；
38.图29示出了根据本公开的一些实施例的由摄像机跟踪系统执行以基于用户的手是否至少部分处于相对于参考阵列而确定的手
‑
用户界面排除区域内来选择性地允许手势输入的接收的操作的流程图；以及
39.图30示出了根据本公开的一些实施例的相对于参考阵列而确定的手
‑
用户界面排除区域。
具体实施方式
40.现将参考附图在下文中更全面地描述发明概念，在附图中示出了发明概念的实施例的示例。发明概念可以以许多不同的形式实施，并且不应该被解释为限于本文列出的实施例。而是这些实施例被提供为使得本公开更完全和完整，并且将各个本发明概念的范围完全地转达给所属领域技术人员。还应当注意，这些实施例并不相互排斥。一个实施例中的组件可以被默认为存在于或用于另一个实施例。
41.本文所公开的各个实施例涉及手术期间的计算机辅助导航的改进。一种扩展现实(xr)头戴装置可操作地连接到手术系统并且被配置成提供外科医生、助手和/或其它人员可以通过其查看患者图像并且在其中进行选择、查看计算机生成的手术导航信息并在其中进行选择和/或控制手术室中的手术设备的交互式环境。如下所述，xr头戴装置可以被配置成利用计算机生成的xr图像来增强真实世界场景。xr头戴装置可以被配置成通过在透视显示屏上显示计算机生成的xr图像来提供增强真实(ar)查看环境，所述透视显示屏允许来自真实世界场景的光穿过其中以供用户组合查看。可替换地，xr头戴装置可以被配置成通过在用户查看显示屏上的计算机生成的ar图像时防止或基本上防止来自真实世界场景的光
被用户直接查看、来提供虚拟真实(vr)查看环境。xr头戴装置可被配置成提供ar和vr查看环境。在一个实施例中，ar观看环境和vr观看环境两者均由布置在透视显示屏与真实世界场景之间的具有显著不同的不透明度的侧向带提供，使得为与高不透明度带对齐的xr图像提供vr观看环境并为与低不透明度带对齐的xr图像提供ar观看环境。在另一个实施例中，ar观看环境和vr观看环境两者均通过可变地限制来自真实世界场景的光穿过透视显示屏以与用户观看的xr图像组合的量的不透明度滤光器的计算机可调整控制提供。因此，xr头戴装置也可以被称为ar头戴装置或vr头戴装置。
42.图1绘示了根据本公开的一些实施例的手术系统2的实施例。在执行矫形或其它手术过程之前，可以使用例如图10的c形臂成像装置104或图11的o形臂成像装置106，或从如计算机断层扫描(ct)图像或mri的另一个医学成像装置、对患者的有计划的手术区进行三维(“3d”)图像扫描。可以在术前(例如，最常见的在程序前几周)或术中进行这种扫描。然而，可以根据手术系统2的各个实施例来使用任何已知的3d或2d图像扫描。图像扫描发送到与手术系统2通信的计算机平台，如手术系统900的计算机平台910(图9)，所述手术系统可以包含摄像机跟踪系统组件6、手术机器人4(例如，图1中的机器人2)、成像装置(例如，c形臂104、o形臂106等)以及用于存储患者的图像扫描的图像数据库950。查看计算机平台910(图9)的显示装置上的一或多个图像扫描的外科医生产生限定要在对患者的解剖结构进行的手术过程期间使用的手术工具的目标位姿的手术计划。实例手术工具，也称为工具，可以包含但不限于钻孔机、螺丝刀、锯子、牵开器和如螺钉、间隔器、椎间融合装置、板、棒等的植入物。在一些实施例中，在显示装置上显示的3d图像扫描上规划限定目标平面的手术计划。
43.如本文所使用，术语“位姿”是指一个对象(例如，动态参考阵列、末端执行器、手术工具、解剖结构等)相对于另一对象和/或限定的坐标系的位置和/或旋转角度。因此，位姿可以仅基于一个对象相对于另一个对象和/或限定的坐标系的多维位置、仅基于所述对象相对于另一个对象和/或限定的坐标系的多维旋转角度或结合多维位置和多维旋转角度来限定。因此，术语“位姿”用于指位置、旋转角度或其组合。
44.图1的手术系统2可以在医疗程序期间通过例如供使用的保持工具、对齐工具、使用工具、引导工具和/或定位工具来辅助外科医生。在一些实施例中，手术系统2包含手术机器人4和摄像机跟踪系统组件6。将手术机器人4和摄像机跟踪系统组件6机械联接的能力可以允许手术系统2作为单个单元来操纵并移动，并且允许手术系统2在区域中具有小的占用空间，允许更容易的通过狭窄的通道和绕过转弯的移动，并且允许存储在较小的区域之内。
45.手术过程可以开始于手术系统2从医疗存储室移动到医疗程序室。可以通过门道、大厅和电梯操纵手术系统2以到达医疗程序室。在所述医疗程序室内，手术系统2可以在物理上分成两个单独且不同的系统(手术机器人4和摄像机跟踪系统组件6)。手术机器人4可以定位成在任何合适的位置邻近患者，以适当地辅助医务人员。摄像机跟踪系统组件6可以定位在患者的底部、在患者肩部或任何其它适合于跟踪手术机器人4和患者的轨道部分的当前位姿和位姿移动的位置。手术机器人4和摄像机跟踪系统组件6可以由机载电源供电和/或插入到外墙插座中。
46.手术机器人4可以用于通过在医疗程序期间保持和/或使用工具来辅助外科医生。为了适当地利用并保持工具，手术机器人4可以依靠多个马达、计算机和/或致动器来适当地起作用。如图1所示出的，机器人主体8可以充当其中多个马达、计算机和/或致动器可以
固定在手术机器人4内的结构。机器人主体8还可以为机器人伸缩式支撑臂16提供支撑。机器人主体8的大小可以提供支撑附接组件的稳固平台，并且可以容纳、隐藏并保护可以操作附接组件的多个马达、计算机和/或致动器。
47.机器人底座10可以充当手术机器人4的下部支撑。在一些实施例中，机器人底座10可以支撑机器人主体8，并且可以将机器人主体8附接到多个动力轮12。这种与轮的附接可以允许机器人主体8在空间中有效地移动。机器人底座10可以沿机器人主体8的长度和宽度运行。机器人底座10可以是约两英寸到约10英寸高。机器人底座10可以覆盖、保护并支撑动力轮12。
48.在一些实施例中，如图1所示出的，至少一个动力轮12可以附接到机器人底座10。动力轮12可以在任何位置附接到机器人底座10。每个单独的动力轮12可以在任何方向上绕竖直轴线旋转。马达可以安置在动力轮12的上方、之内或邻近其安置。这种马达可以允许手术系统2操纵到任何位置，并且稳定和/或调平手术系统2。可以通过马达将位于动力轮12之内或邻近其的杆压入表面中。未示出的杆可以由任何合适的金属制成，以提升手术系统2。所述杆可以将动力轮10(其可以提升手术系统2)提升到调平或以其它方式固定手术系统2相对于患者的定向所需的任何高度。手术系统2的重量通过每个轮上的杆的小接触区域支撑，防止手术系统2在医疗程序期间移动。此刚性定位可以防止对象和/或人意外地移动手术系统2。
49.可以使用机器人轨道14促进移动手术系统2。机器人轨道14给人提供了在未抓住机器人主体8的情况下移动手术系统2的能力。如图1所示出的，机器人轨道14的长度可以和机器人主体8一样长、比机器人主体8短，和/或可以比机器人主体8更长。机器人轨道14可以进一步向机器人主体8提供保护，从而防止对象和/或医务人员接触、撞击或撞到机器人主体8。
50.机器人主体8可以为选择顺应性铰接式机器人臂提供支撑，在下文中被称为“scara”。由于机械臂的可重复性和紧凑性，在手术系统2内使用scara 24可能是有利的。scara的紧凑性可以在医疗程序内提供另外的空间，这可以允许医疗专业人员在没有过多杂乱和限制区域的情况下执行医疗程序。scara 24可以包括机器人伸缩式支撑件16、机器人支撑臂18和/或机器人臂20。机器人伸缩式支撑件16可以沿机器人主体8安置。如图1所示出的，机器人伸缩式支撑件16可以为scara 24和显示器34提供支撑。在一些实施例中，机器人伸缩式支撑件16可以在竖直方向上延伸并收缩。机器人伸缩式支撑件16的主体可以是被配置成支撑放在其上的应力和重量的任何宽度和/或高度。
51.在一些实施例中，医务人员可以通过由医务人员提交的命令来移动scara 24。如将在下面进一步详细解释的，命令可以源自在显示器34、平板计算机和/或xr头戴装置(例如，图9中的头戴装置920)上接收到的输入。xr头戴装置可以消除医务人员参考如显示器34或平板计算机等任何其它显示器的需要，这使得能够在没有显示器34和/或平板计算机的情况下配置scara 24。如将在下面进一步详细解释的，命令可以通过按压开关和/或按压多个开关来生成，和/或可以基于由xr头戴装置感测到的手势命令和/或语音命令来生成。
52.如图5中所示出的，激活组合件60可以包含开关和/或多个开关。激活组合件60可以是可操作的以向scara 24传输移动命令，从而允许操作者手动操纵scara 24。当按压开关或多个开关时，医务人员可以具有通过所应用的手部移动来移动scara 24的能力。可替
代地或另外地，如将在下面进一步详细解释的，操作者可以通过由xr头戴装置感测到的手势命令和/或语音命令来控制scara 24的移动。另外地，当scara 24未接收到移动的命令时，scara 24可以锁定在适当的位置以防止由医务人员和/或其它对象意外移动。通过锁定在适当的位置，scara 24提供了稳固平台，通过所述稳固平台，末端执行器26可以在医疗程序期间引导手术工具。
53.机器人支撑臂18可以通过各种机构连接到机器人伸缩式支撑件16。在一些实施例中，最佳参见图1和2，机器人支撑臂18相对于机器人伸缩式支撑件16在任何方向上旋转。机器人支撑臂18可以围绕机器人伸缩式支撑件16旋转三百六十度。机器人臂20可以在任何合适的位置并通过使得能够相对于机器人支撑臂18在任何方向上旋转的各种机构连接到机器人支撑臂18。在一个实施例中，机器人臂20可相对于机器人支撑臂18旋转三百六十度。这种自由旋转允许操作者根据手术计划对机器人臂20进行定位。
54.图4和5中的末端执行器26以在任何合适的位置附接到机器人臂20。末端执行器26被配置成附接到由手术机器人4定位的机器人臂20的末端执行器联接器22。实例末端执行器26包含引导插入式手术工具相对于要被执行手术过程的解剖结构的移动的管状引导件。
55.在一些实施例中，动态参考阵列52附接到末端执行器26。动态参考阵列(在本文中也称为“dra”和“参考阵列”)可以是刚体、可附接或形成于由手术室中的人员佩戴的一或多个xr头戴装置上的标示物或其它标记、末端执行器、手术机器人、导航手术过程中的手术工具和患者的解剖结构(例如骨头)。计算机平台910与摄像机跟踪系统组件6或其它3d定位系统的组合被配置成实时跟踪dra的位姿(例如，位置和旋转定向)。dra可以包含基准点，如球的所示出布置。对dra的3d坐标的这种跟踪可以允许手术系统2确定dra在相对于图5中的患者50的目标解剖结构的任何多维空间中的位姿。
56.如图1所示出的，光指示器28可以定位于scara 24的顶部。光指示器28可以作为任何类型的光点亮，以指示其中手术系统2当前操作的“状况”。在一些实施例中，光可以由led灯产生，所述灯可以围绕光指示器28形成环。光指示器28可以包括可以让光透过整个光指示器28的完全可渗透材料。光指示器28可以附接到下部显示器支撑件30。如图2所示出的，下部显示器支撑件30可以允许操作者操纵显示器34到任何合适的位置。下部显示器支撑件30可以通过任何合适的机构附接到光指示器28。在一些实施例中，下部显示器支撑件30可以绕光指示器28旋转或刚性附接到所述光指示器。上部显示器支撑件32可以通过任何合适的机构附接到下部显示器支撑件30。
57.在一些实施例中，平板计算机可以与显示器34结合使用和/或在没有显示器34的情况下使用。平板计算机可以安置在上部显示器支撑件32上以代替显示器34，并且可以能够在医疗操作期间从上部显示器支撑件32移除。另外，平板计算机可以与显示器34通信。平板计算机能够通过任何合适的无线和/或有线连接连接到手术机器人4。在一些实施例中，平板计算机能够在医疗操作期间对手术系统2进行编程和/或控制。当用平板计算机控制手术系统2时，所有输入和输出命令都可以在显示器34上复制。使用平板计算机可以允许操作者操纵手术机器人4，而不必围绕患者50和/或手术机器人4移动。
58.如下面将解释的，在一些实施例中，外科医生和/或其它人员可以佩戴可以与显示器34和/或平板计算机结合使用的xr头戴装置，或者一或多个xr头戴装置可以消除使用显示器34和/或平板计算机的需要。
59.如图3a和5所示出的，摄像机跟踪系统组件6通过有线或无线通信网络与手术机器人4组合工作。参考图1、3和5，摄像机跟踪系统组件6可以包含与手术机器人4类似的一些组件。例如，摄像机主体36可以提供在机器人主体8中发现的功能。机器人主体8可以提供摄像机46安装在其上的辅助跟踪杆。机器人主体8内的结构还可以为用于操作摄像机跟踪系统组件6的电子设备、通信装置和电源提供支撑。摄像机主体36可以由与机器人主体8相同的材料制成。摄像机跟踪系统组件6可以通过无线和/或有线网络与xr头戴装置、平板计算机和/或显示器34直接通信，以使得xr头戴装置、平板计算机和/或显示器34能够控制摄像机跟踪系统组件6的功能。
60.摄像机主体36由摄像机底座38支撑。摄像机底座38可以用作机器人底座10。在图1的实施例中，摄像机底座38可以比机器人底座10宽。摄像机底座38的宽度可以允许摄像机跟踪系统组件6与手术机器人4连接。如图1所示出的，摄像机底座38的宽度可以足够大以适合机器人底座10的外部。当摄像机跟踪系统组件6与手术机器人4连接时，摄像机底座38的另外的宽度可以允许手术系统2为手术系统2提供另外的可操作性和支撑。
61.如同机器人底座10，多个动力轮12可以附接到摄像机底座38。类似于机器人底座10和动力轮12的操作，动力轮12可以允许摄像机跟踪系统组件6相对于患者50稳定和调平或设置固定定向。这种稳定可以防止摄像机跟踪系统组件6在医疗程序期间移动，并且可以防止辅助跟踪杆上的摄像机46失去对连接到xr头戴装置和/或手术机器人4的dra的跟踪和/或失去对连接到如图3a和5所示出的指定区56内的解剖结构54和/或工具58的一或多个dra 52的跟踪。跟踪的这种稳定性和维护增强了手术机器人4与摄像机跟踪系统组件6一起有效操作的能力。另外地，宽摄像机底座38可以为摄像机跟踪系统组件6提供另外的支撑。具体地，如图3a和5所示出的，当摄像机46安置在患者之上时，宽摄像机底座38可以防止摄像机跟踪系统组件6倾翻。
62.摄像机伸缩式支撑件40可以支撑辅助跟踪杆上的摄像机46。在一些实施例中，伸缩式支撑件40可以在竖直方向上将摄像机46向更高或更低处移动。摄像机手柄48可以在任何合适的位置附接到摄像机伸缩式支撑件40，并且被配置成允许操作者在医疗操作之前将摄像机跟踪系统组件6移动到计划的位置。在一些实施例中，摄像机手柄48可以用于降低和升高摄像机伸缩式支撑件40。摄像机手柄48可以通过按压按钮、开关、杠杆和/或其任何组合来执行摄像机伸缩式支撑件40的升高和降低。
63.下部摄像机支撑臂42可以在任何合适的位置附接到摄像机伸缩式支撑件40，在实施例中，如图1所示出的，下部摄像机支撑臂42可以围绕伸缩式支撑件40旋转三百六十度。这种自由旋转可以允许操作者将摄像机46定位在任何合适的位置。下部摄像机支撑臂42可以通过任何合适的机构连接到伸缩式支撑件40。下部摄像机支撑臂42可以用于为摄像机46提供支撑。摄像机46可以通过任何合适的机构附接到下部摄像机支撑臂42。摄像机46可以在摄像机46与下部摄像机支撑臂42之间的附接区域在任何方向上枢转。在实施例中，弯曲轨道44可以安置在下部摄像机支撑臂42上。
64.弯曲轨道44可以安置在下部摄像机支撑臂42上的任何合适的位置。如图3a所示出的，弯曲轨道44可以通过任何合适的机构附接到下部摄像机支撑臂42。弯曲轨道44可以是任何合适的形状，合适的形状可以是新月形、圆形、扁形、椭圆形和/或其任何组合。摄像机46可以沿弯曲轨道44可移动地安置。摄像机46可以通过例如辊、支架、支具、马达和/或其任
何组合附接到弯曲轨道44。未示出的马达和辊可以用于沿弯曲轨道44移动摄像机46。如图3a所示出的，在医疗程序期间，如果对象阻止摄像机46观察所跟踪的一或多个dra，则马达可以响应地沿弯曲轨道44移动摄像机46。这种机动化移动可以允许摄像机46在没有移动摄像机跟踪系统组件6的情况下移动到不再被对象阻碍的新位置。当阻碍到摄像机46观察一或多个所跟踪dra时，摄像机跟踪系统组件6可以向手术机器人4、xr头戴装置、显示器34和/或平板计算机发送停止信号。停止信号可以阻止scara 24移动，直到摄像机46已经重新获取所跟踪的dra 52和/或可以警告操作者佩戴xr头戴装置和/或观看显示器34和/或平板计算机为止。这个scara 24可以被配置成通过停止底座和/或末端执行器联接器22的进一步移动直到所述摄像机跟踪系统可以重新开始对dra的跟踪为止来对停止信号的接收作出响应。
65.图3b和3c示出了可以与图1的手术系统一起使用或可以独立于手术机器人使用的另一个摄像机跟踪系统组件6'的正视图和等距视图。例如，摄像机跟踪系统组件6'可以用于在不使用机器人引导的情况下提供被导航手术。图3b和3c的摄像机跟踪系统组件6'与图3a的摄像机跟踪系统组件6之间的区别之一是图3b和3c的摄像机跟踪系统组件6'包含用于运输计算机平台910的壳体。计算机平台910可以被配置成：执行摄像机跟踪操作以跟踪dra；执行向显示装置(例如，xr头戴装置和/或其它显示装置)提供手术导航信息的被导航手术操作；并且执行本文所公开的其它计算操作。因此，计算机平台910可以包含导航计算机，如图14的导航计算机中的一或多个导航计算机。
66.图6绘示了用于医疗操作的图5的手术系统的组件的框图视图。参考图6，辅助跟踪杆上的跟踪摄像机46具有在其中对附接到患者的参考阵列602、附接到手术器械的参考阵列604和机器人臂20的位姿(例如，位置和定向)进行跟踪的导航视野600。跟踪摄像机46可以是包含被配置成执行下面描述的操作的计算机平台910的图3b和图3c的摄像机跟踪系统组件6'的一部分。参考阵列通过以已知模式反射光来实现跟踪，所述已知模式被手术机器人4的跟踪子系统解码以确定所述参考阵列的相应位姿。如果患者参考阵列602与辅助跟踪杆上的跟踪摄像机46之间的视线被阻挡(例如，由医务人员、器械等)，则可能无法对手术器械进行进一步导航，并且响应式通知可以暂时停止机器人臂20和手术机器人4的进一步移动、在显示器34上显示警告，和/或向医务人员提供听觉警告。显示器34可供外科医生610和助手612使用，但是查看需要将头转动远离患者并将眼焦点改变到不同的距离和位置。导航软件可以由技术人员614基于来自外科医生的声音指令来控制。
67.图7示出了在使用手术系统2的导航功能时可以通过手术机器人4在图5和6的显示器34上显示的各种显示屏。显示屏可以包含但不限于具有基于开发的手术计划和/或基于所跟踪的参考阵列的位姿相对于解剖结构定位在显示屏中的器械模型的覆盖图形表示的患者射线照片、用于控制手术过程的不同阶段以及虚拟投射的植入物的尺寸参数(例如，长度、宽度和/或直径)的各种用户可选择菜单。
68.对于被导航手术，提供了下面描述的使得能够对手术过程(例如，植入物放置)进行术前计划以及将计划电子传递到计算机平台910以在计划的手术过程期间向一或多个用户提供导航信息的各种处理组件(例如，计算机平台910)和相关联软件。
69.对于机器人导航，提供了下面描述的使得能够对手术过程(例如，植入物放置)进行术前计划以及将计划电子传递到手术机器人4的各种处理组件(例如，计算机平台910)和
相关联软件。手术机器人4使用计划来引导机器人臂20和连接的末端执行器26，以针对计划的手术过程的步骤提供手术工具相对于患者解剖结构的目标位姿。
70.下面的各个实施例涉及使用可以由外科医生610、助手612和/或其它医务人员佩戴的一或多个xr头戴装置以提供用于从手术机器人、摄像机跟踪系统组件6/6'和/或手术室中的其它医疗设备接收信息和/或向其提供控制命令的改进的用户界面。
71.图8示出了根据本公开的一些实施例的手术机器人4的一些电组件的框图。参考图8，测力传感器(load cell，未示出)可以被配置成跟踪施加到末端执行器联接器22的力。在一些实施例中，测力传感器可以与多个马达850、851、852、853和/或854通信。当测力传感器感测到力时，关于所施加的力的量的信息可以从开关阵列和/或多个开关阵列分布到控制器846。控制器846可以从测力传感器获取力信息，并且用开关算法对其进行处理。控制器846使用开关算法来控制马达驱动器842。马达驱动器842控制一或多个马达850、851、852、853和/或854的操作。马达驱动器842可以指导特定马达产生例如由测力传感器通过马达测得的等量的力。在一些实施例中，如控制器846所指示的，所产生的力可以来自多个马达，例如850
‑
854。另外地，马达驱动器842可以从控制器846接收输入。控制器846可以从测力传感器接收关于由测力传感器感测到的力的方向的信息。控制器846可以使用运动控制器算法来处理这个信息。所述算法可以用于向特定马达驱动器842提供信息。为了复制力的方向，控制器846可以激活和/或去激活某些马达驱动器842。控制器846可以控制一或多个马达，例如850
‑
854中的一或多个，以诱导末端执行器26在由测力传感器感测的力的方向上的运动。这种力控制的运动可以允许操作者毫不费力地和/或以非常小的阻力移动scara 24和末端执行器26。可以执行末端执行器26的移动，以将末端执行器26以任何合适的位姿定位(即，相对于限定的三维(3d)正交参考轴线的位置和角度定向)，以供医务人员使用。
72.图5最佳示出的，激活组合件60可以缠绕末端执行器联接器22的手镯的形式。激活组合件60可以定位于scara 24的任何部分、末端执行器联接器22的任何部分上，可以由医务人员佩戴(并且无线通信)，和/或其任何组合。激活组合件60可以包括主按钮和次按钮。
73.按压主按钮可以允许操作者移动scara 24和末端执行器联接器22。根据一个实施例，一旦设置在适当位置，scara 24和末端执行器联接器22可以不移动直到操作者对手术机器人4进行编程以移动scara 24和末端执行器联接器22为止，或使用主按钮来移动。在一些实例中，可能需要在scara24和末端执行器联接器22将对操作者命令作出响应之前按压至少两个不相邻的主激活开关。按压至少两个主激活开关可以防止scara 24和末端执行器联接器22在医疗程序期间的意外移动。
74.由主按钮激活，测力传感器可以测量由操作者(即，医务人员)施加在末端执行器联接器22上的力的量值和/或方向。这个信息可以传递到scara24内的可以用于移动scara 24和末端执行器联接器22的一或多个马达，例如850
‑
854中的一或多个。关于由测力传感器测得的力的量值和方向的信息可以使一或多个马达(例如，850
‑
854中的一或多个)在与由测力传感器感测到的同一方向上移动scara 24和末端执行器联接器22。这种力控制的移动可以允许操作者容易地移动scara 24和末端执行器联接器22，并且由于在操作者移动scara 24和末端执行器联接器22的同时马达移动scara 24和末端执行器联接器22，所以不需要大量的努力。
75.在一些实例中，操作者可以将次按钮用作“选择”装置。在医疗操作期间，手术机器
人4可以通过一或多个xr头戴装置920、显示器34和/或光指示器28通知医务人员某些情况。一或多个xr头戴装置920各自被配置成将图像显示于透视显示屏上，以形成覆盖在通过透视显示屏可观看的真实世界对象上的扩展现实图像。手术机器人4可以提示医务人员选择功能、模式和/或评估手术系统2的情况。按压次按钮单次可以激活某些功能、模式和/或确认通过一或多个xr头戴装置920、显示器34和/或光指示器28传送给医务人员的信息。另外地，快速连续地按压次按钮多次可以激活另外的功能、模式和/或选择通过一或多个xr头戴装置920、显示器34和/或光指示器28传送给医务人员的信息。
76.进一步参考图8，手术机器人4的电组件包含平台子系统802、计算机子系统820、运动控制子系统840和跟踪子系统830。平台子系统802包含电池806、配电模块804、连接器面板808和充电站810。计算机子系统820包含计算机822、显示器824和扬声器826。运动控制子系统840包含驱动电路842、马达850、851、852、853、854、稳定器855、856、857、858、末端执行器连接器844和控制器846。跟踪子系统830包含位置传感器832和摄像机转换器834。手术机器人4还可以包含可移除脚踏板880和可移除平板计算机890。
77.输入功率通过可以提供给配电模块804的电源供应给手术机器人4。配电模块804接收输入功率，并且被配置成生成提供给手术机器人4的其它模块、组件和子系统的不同的电源电压。配电模块804可以被配置成向连接器面板808提供不同的电压供应，所述电压供应可以提供给其它组件(如计算机822、显示器824、扬声器826、驱动器842)以例如给马达850
‑
854和末端执行器联接器844供电，并且提供给摄像机转换器834和用于手术机器人4的其它组件。配电模块804还可以连接到电池806，所述电池在配电模块804未从输入电源接收电力的情况下充当临时电源。在其它时间，配电模块804可以用于给电池806充电。
78.连接器面板808可以用于将不同的装置和组件连接到手术机器人4和/或相关联组件和模块。连接器面板808可以含有从不同组件接收线路或连接件的一或多个端口。例如，连接器面板808可以具有将手术机器人4接地到其它设备的接地端端口、用于连接脚踏板880的端口、用于连接到跟踪子系统830的端口，所述跟踪子系统可以包含位置传感器832、摄像机转换器834和dra跟踪摄像机870。连接器面板808还可以包含其它端口，以允许与其它组件(如计算机822)的usb、以太网、hdmi通信。根据一些实施例，连接器面板808可以包含有线和/或无线接口以用于将一或多个xr头戴装置920可操作地连接到跟踪子系统830和/或计算机子系统820。
79.控制面板816可以提供控制手术机器人4的操作和/或提供来自手术机器人4的信息以供操作者观察的各种按钮或指示器。例如，控制面板816可以包含用于打开或关闭手术机器人4、提升或降低竖直柱16以及提升或降低稳定器855
‑
858的按钮，所述稳定器可以被设计成接合脚轮12以锁定手术机器人4而不物理上移动。其它按钮可以在发生紧急情况时停止手术机器人4，这可以移除所有马达功率并应用机械制动器来停止所有运动发生。控制面板816还可以具有通知操作者某些系统情况的指示器(如线路功率指示器)或电池806的充电状态。根据一些实施例，一或多个xr头戴装置920可以例如通过连接器面板808进行通信，以控制手术机器人4的操作和/或接收并显示由手术机器人4生成的信息以供佩戴xr头戴装置920的人员观察。
80.计算机子系统820的计算机822包含用于操作手术机器人4的指定功能的操作系统和软件。计算机822可以接收并处理来自其它组件(例如，跟踪子系统830、平台子系统802
和/或运动控制子系统840)的信息，以便向操作者显示信息。进一步地，计算机子系统820可以通过扬声器826为操作者提供输出。扬声器可以是所述手术机器人的一部分、xr头戴装置920的一部分，或在手术系统2的另一个组件内。显示器824可以对应于图1和2所示出的显示器34。
81.跟踪子系统830可以包含位置传感器832和摄像机转换器834。跟踪子系统830可以对应于图3的摄像机跟踪系统组件6。dra跟踪摄像机870与位置传感器832一起操作，以确定dra 52的位姿。可以与本公开一致的方式进行此跟踪，所述跟踪包含使用分别跟踪dra 52(如led或反射基准点(也称为标示物))的有源元件或无源元件的位置的红外光或可见光技术。
82.跟踪子系统830和计算机子系统820的功能操作可以包含在可以由图3a和3b的摄像机跟踪系统组件6'传输的计算机平台910中。跟踪子系统830可以被配置成确定位姿，例如所跟踪的dra的位置和角度定向。计算机平台910还可以包含导航控制器，所述导航控制器被配置成使用所确定的位姿来向用户提供引导它们在计划的手术过程期间相对于定位配准的患者图像和/或所跟踪的解剖结构移动所跟踪的工具的导航信息。计算机平台910可以在图3b和3c的显示器上和/或向一或多个xr头戴装置920显示信息。当与手术机器人一起使用时，计算机平台910可以被配置成与计算机子系统820和图8的其它子系统通信以控制末端执行器26的移动。例如，如下面将解释的，计算机平台910可以生成患者的解剖结构、手术工具、用户的手等的图形表示，其具有基于一或多个所跟踪的dra的所确定的位姿进行控制的所显示的大小、形状、颜色和/或位姿，并且所显示的图形表示可以被动态修改以跟踪所确定的位姿随时间的变化。
83.运动控制子系统840可以被配置成物理地移动竖直柱16、上部臂18、下部臂20，或旋转末端执行器联接器22。可以通过使用一或多个马达850
‑
854来进行物理移动。例如，马达850可以被配置成竖直提升或降低竖直柱16。如图2所示出的，马达851可以被配置成围绕与竖直柱16的接合点侧向移动上部臂18。如图2所示出的，马达852可以被配置成围绕与上部臂18的接合点侧向移动下部臂20。马达853和854可以被配置成移动末端执行器联接器22，以提供沿三维轴线的平移移动和围绕其的旋转。图9所示出的计算机平台910可以向控制器846提供引导末端执行器联接器22的移动的控制输入，以相对于在计划的手术过程期间要对其进行操作的解剖结构以计划的位姿(即，相对于限定的3d正交参考轴线的位置和角度定向)定位连接到其的被动末端执行器。运动控制子系统840可以被配置成使用集成的位置传感器(例如，编码器)来测量末端执行器联接器22和/或末端执行器26的位置。
84.图9示出了根据本公开的一些实施例的手术系统的组件的框图，所述手术系统包含连接到可以操作性地连接到摄像机跟踪系统组件6(图3a)或6'(图3b、3c)和/或手术机器人4的计算机平台910的成像装置(例如，c形臂104、o形臂106等)。可替代地，本文所公开的由计算机平台910执行的至少一些操作可以另外地或可替代地由手术系统的组件来执行。
85.参考图9，计算机平台910包含显示器912、至少一个处理器电路914(为简洁起见也被称为处理器)、含有计算机可读程序代码918的至少一个存储器电路916(为简洁起见也被称为存储器)和至少一个网络接口902(为简洁起见也被称为网络接口)。显示器912可以是根据本公开的一些实施例的xr头戴装置920的一部分。网络接口902可以被配置成连接到图10中的c形臂成像装置104、图11中的o形臂成像装置106、另一个医学成像装置、含有患者医
学图像的图像数据库950、手术机器人4的组件和/或其它电子设备。
86.当与手术机器人4一起使用时，显示器912可以对应于图2的显示器34和/或图8的平板计算机890和/或可操作地连接到手术机器人4的xr头戴装置920，网络接口902可以对应于图8的平台网络接口812，并且处理器914可以对应于图8的计算机822。xr头戴装置920的网络接口902可以被配置成根据一种或多种无线通信协议(例如，wlan、3gpp 4g和/或5g(新无线电)蜂窝通信标准等)通过有线网络(例如，细线以太网)和/或通过无线rf收发器链路进行通信。
87.处理器914可以包含一或多个数据处理电路，如通用和/或专用处理器，例如微处理器和/或数字信号处理器。处理器914被配置成执行存储器916中的计算机可读程序代码918以执行操作，所述操作可以包含本文中描述为针对手术计划、被导航手术和/或机器人手术执行的操作中的一些或所有操作。
88.计算机平台910可以被配置成提供手术计划功能。处理器914可以操作以在显示装置912上和/或xr头戴装置920上显示通过网络接口920从成像装置104和106之一和/或从图像数据库950接收的解剖结构(例如，椎骨)的图像。处理器914接收操作者对在一或多个图像中示出的解剖结构要进行手术过程(例如，螺钉放置)的位置的限定，如通过操作者触摸选择显示器912上用于计划的手术过程的位置或使用基于鼠标的光标来限定用于计划的手术过程的位置。如将在下面进一步详细解释的，当在xr头戴装置920中显示图像时，所述xr头戴装置可以被配置成感测由佩戴者形成的基于手势的命令和/或感测由佩戴者说出的基于语音的命令，所述命令可以用于控制菜单项之间的选择和/或控制如何在xr头戴装置920上显示对象。
89.计算机平台910可以被配置成能够进行对膝关节手术可能特别有用的解剖测量，类似于对确定臀部中心、角度中心、天然标志(例如，股骨通髁线(transepicondylar line)、白侧线(whitesides line)、股骨后髁线(posterior condylar line)等)等的各个角度的测量。一些测量可以是自动的，而一些其它测量可以涉及人为输入或辅助。计算机平台910可以被配置成允许操作者输入对患者来说正确的植入物的选择，包含大小和对齐的选择。计算机平台910可以被配置成对ct图像或其它医学图像进行自动或半自动(涉及人为输入)分割(图像处理)。患者的手术计划可以存储在可以对应于数据库950的基于云的服务器中，以供手术机器人4检索。
90.例如，在矫形手术期间，外科医生可以通过例如xr头戴装置920使用计算机屏幕(例如，触摸屏)或扩展现实(xr)交互(例如，基于手势的命令和/或基于语音的命令)来选择要进行切割的部位(例如，后股骨、胫骨近端等)。计算机平台910可以生成向外科医生提供视觉引导以执行手术过程的导航信息。当与手术机器人4一起使用时，计算机平台910可以提供允许手术机器人4自动将末端执行器26移动到目标位姿使得手术工具与目标位置对齐以对解剖结构进行手术过程的引导。
91.在一些实施例中，手术系统900可以使用两个dra来跟踪患者解剖位置，如连接到患者胫骨的dra和连接到患者股骨的dra。系统900可以使用标准被导航器械以进行配准和检查(例如，类似于globus excelsiusgps系统中用于进行脊柱手术的指针的指针)。
92.导航手术中的特别具有挑战性的任务是如何计划植入物在脊柱、膝盖和其它解剖结构中的位置，在所述位置处，外科医生努力在计算机屏幕上执行所述任务，其是3d解剖结
构的2d表示。系统900可以通过使用xr头戴装置920来显示解剖结构和候选植入装置的三维(3d)计算机生成的表示来解决这个问题。在计算机平台910的引导下，计算机生成的表示相对于彼此在显示屏上缩放并摆位姿，并且可以由外科医生在通过xr头戴装置920进行查看时对其进行操纵。外科医生可以例如使用由xr头戴装置920感测到的基于手势的命令和/或基于语音的命令来操纵解剖结构、植入物、手术工具等的所显示的计算机生成的表示。
93.例如，外科医生可以观看虚拟植入物上的所显示的虚拟手柄，并且可以操纵(例如，抓握和移动)虚拟手柄以将虚拟植入物移动到期望的位姿并且相对于解剖结构的图形表示调整计划的植入物放置。之后，在手术期间，计算机平台910可以通过xr头戴装置920显示有助于外科医生更加准确地遵循手术计划来插入植入物和/或对解剖结构进行另一个手术过程的能力的导航信息。当手术过程涉及骨骼移除时，骨骼移除的进展(例如，切割深度)可以通过xr头戴装置920实时显示。可以通过xr头戴装置920显示的其它特征可以包含但不限于沿关节运动范围的间隙或韧带平衡、植入物上的沿关节运动范围的接触线、通过颜色或其它图形渲染的韧带张力和/或松弛度等。
94.在一些实施例中，计算机平台910可以允许计划标准手术工具和/或植入物的使用，例如后稳定型植入物和十字状保留型植入物、骨水泥型和非骨水泥型植入物、用于与例如全膝关节或部分膝关节和/或髋关节置换和/或创伤相关的手术的修正系统。
95.自动成像系统可以与计算机平台910结合使用，以获取解剖结构的术前、术中、术后和/或实时图像数据。图10和11示出了示例自动成像系统。在一些实施例中，自动成像系统是c形臂104(图10)成像装置或o形臂106(图11)。(在美国科罗拉多州路易斯维尔设有营业地点的美敦力导航公司(medtronic navigation,inc.)拥有o形臂的版权)。可能期望从许多不同的位置对患者进行x射线检查，而不需要频繁地对患者进行手动重新定位，这在x射线系统中是可能需要的。c形臂104x射线诊断设备可以解决频繁手动重新定位的问题，并且在手术和其它介入手术的医学领域中是众所周知的。如图10所示出的，c形臂包含终止于“c”形的相对远端112的细长c形构件。c形构件附接到x射线源114和图像接收器116。臂的c形臂104内的空间为医生照顾患者提供了基本上不受x射线支撑结构的干扰空间。
96.将c形臂安装成使得臂能够在两个自由度上旋转移动(即，在球形运动中围绕两个垂直轴线)。c形臂可滑动地安装到x射线支撑结构上，这允许c形臂围绕其曲率中心进行轨道旋转移动，这可以允许x射线源114和图像接收器116选择性的竖直和/或水平定向。c形臂还可以是侧向上可旋转的(即，在相对于轨道运行方向的垂直方向上，以使得能够相对于患者的宽度和长度选择性地调整x射线源114和图像接收器116的定位)。c形臂设备的球形旋转方面允许医生以相对于被成像的特定解剖条件确定的最佳角度对患者进行x射线检查。
97.图11中示出的o形臂106包含台架壳体124，其可以包围未示出的图像捕获部分。图像捕获部分包含x射线源部分和/或x射线发射部分以及x射线接收部分和/或图像接收部分，所述部分可以彼此相距约一百八十度安置，并且相对于图像捕获部分的轨道安装在转子(未示出)上。图像捕获部分可以在图像采集期间操作性地旋转三百六十度。图像捕获部分可以绕中心点和/或轴线旋转，从而允许从多个方向或在多个平面中获取患者的图像数据。
98.带有台架壳体124的o形臂106具有用于围绕要成像的对象定位的中心开口、可围绕台架壳体124的内部旋转的辐射源，所述辐射源可以适于从多个不同的投射角度投射
辐射。检测器系统适于检测每个投射角度下的辐射，从而以准同时的方式从多个投射平面获取对象图像。台架可以以悬臂方式附接到支撑结构o形臂支撑结构，如带有轮子的轮式移动推车。定位单元优选地在计算机化运动控制系统的控制下将台架平移和/或倾斜到计划的位置和定向。台架可以包含在台架上彼此相对安置的源和检测器。可以将源和检测器固定到机动转子上，所述机动转子可以使源和检测器围绕台架的内部彼此组合旋转。可以在部分和/或完整的三百六十度旋转中在多个位置和定向上对源进行脉冲化，以对定位于台架内部的目标对象进行多平面成像。台架可以进一步包括用于在转子旋转时引导转子的轨道和轴承系统，所述轨道和轴承系统可以承载源和检测器。o形臂106和c形臂104两者和/或其中之一可以用作自动成像系统，以扫描患者并将信息发送到手术系统2。
99.由成像系统捕获到的图像可以显示于xr头戴装置920和/或手术系统900的计算机平台910、手术机器人4和/或另一个组件的另一个显示装置上。xr头戴装置920可以例如通过计算机平台910连接到成像装置104和/或106中的一或多个成像装置和/或图像数据库950，以从其中显示图像。用户可通过xr头戴装置920提供控制输入，例如，基于手势和/或语音的命令以控制成像装置104和/或106中的一或多个成像装置和/或图像数据库950的操作。
100.图12示出了包含一对xr头戴装置920(头戴式显示器hmd1和hmd2)的手术系统的组件的框图视图，所述xr头戴装置可对应于图13中展示的xr头戴装置920并根据本公开的一些实施例进行操作。
101.参考图12的实例情境，助手612和外科医生610两者分别佩戴xr头戴装置920。助手612任选地佩戴xr头戴装置920。如下文将进一步描述，xr头戴装置920被配置成向佩戴者提供可以通过其观看与手术过程有关的信息并与所述信息交互的交互式环境。此基于交互式xr的环境可消除对在手术室中存在图6中展示的技术人员614的需要，且可消除对使用图6中展示的显示器34的需要。每一xr头戴装置920可以包含被配置成提供跟踪dra或附接到手术工具、患者的解剖结构、末端执行器26和/或其它设备的其它参考阵列的另外的源的一或多个摄像机。在图12的实例中，xr头戴装置920具有用于跟踪dra和其它对象的视野(fov)1202，xr头戴装置920具有用于跟踪dra和其它对象的与fov 1202部分重叠的fov 1212，且跟踪摄像机46具有用于跟踪dra和其它对象的与fov 1202和1212部分重叠的另一fov 600。
102.如果一或多个摄像机受阻于查看附接到所跟踪对象(例如，手术工具)的dra，但dra在一或多个其它摄像机的视图中，则跟踪子系统830和/或导航控制器828可以继续无缝地跟踪对象，而不会失去导航。另外，如果从一台摄像机的视角来看dra被部分遮挡，但整个dra通过多个摄像机源可见，则可以合并摄像机的跟踪输入以继续对dra进行导航。xr头戴装置中的一个和/或跟踪摄像机46可查看和跟踪另一xr头戴装置上的dra以使计算机平台910(图9和图14)、跟踪子系统830和/或另一计算组件能够确定例如xr头戴装置920、跟踪摄像机46的dra相对于一或多个限定的坐标系和/或限定用于患者、桌子和/或房间的另一坐标系的位姿。
103.xr头戴装置920可以可操作的方式连接以查看视频、图片和/或其它所接收信息和/或提供控制手术室中的各种设备的命令，包含但不限于神经监测、显微镜、摄像机和麻醉系统。可在头戴装置内处理且显示来自各种设备的数据，例如显示患者的生命体征或显微镜馈送。
104.示例xr头戴装置组件以及与被导航手术、手术机器人和其它设备的集成
105.图13示出了根据本公开的一些实施例配置的xr头戴装置920。xr头戴装置包含被配置成将xr头戴装置固定到佩戴者的头部的头带1306、由头带1306支撑的电子组件外壳1304和跨电子组件外壳1304侧向延伸并从其向下延伸的显示屏1302。显示屏1302可以是透视lcd显示装置或将由显示装置投射的图像朝佩戴者的眼睛反射的半反射透镜。一组dra基准点1310(例如点)以间隔开的已知方式喷涂或附接到头戴装置的一侧或两侧上。头戴装置上的dra使辅助跟踪杆上的跟踪摄像机能够跟踪头戴装置920的位姿和/或使另一xr头戴装置能够跟踪头戴装置920的位姿。
106.显示屏1302作为将来自显示装置的显示面板的光定向用户的眼睛反射的透视显示屏(也被称为组合器)进行操作。显示面板可以定位于电子组件外壳与用户的头部之间，并且成一定角度以将虚拟内容定向显示屏1302投射以定向用户的眼睛反射。显示屏1302是半透明和半反射的，从而允许用户看到覆盖在真实世界场景的用户视图上的所反射的虚拟内容。显示屏1302可以具有不同的不透明度区域，如所示出的其不透明度比下部横向带高的上部侧向带。显示屏1302的不透明度可以被电控以调节来自真实世界场景的光穿过到达用户的眼睛的量。显示屏1302的高不透明度配置使得高对比度虚拟图像覆盖在真实世界场景的昏暗视图上。显示屏1302的低不透明度配置可以使得更模糊的虚拟图像覆盖在真实世界场景的较清楚视图上。可通过在显示屏1302的表面上涂敷不透明材料来控制不透明度。
107.根据一些实施例，手术系统包含xr头戴装置920和xr头戴装置控制器，例如图14中的控制器1430。xr头戴装置920被配置成在手术过程期间由用户佩戴且具有透视显示屏1302，所述透视显示屏被配置成显示xr图像且允许真实世界场景的至少一部分穿过其中以供用户查看。xr头戴装置920还包含不透明度滤光器，所述不透明度滤光器在透视显示屏1302由用户进行观看时定位于用户的眼睛中的至少一只眼睛与真实世界场景之间。所述不透明度滤光器被配置成向来自真实世界场景的光提供不透明性。xr头戴装置控制器被配置成与导航控制器(例如，图14中的一或多个控制器828a、828b和/或828c)通信以从导航控制器接收在对解剖结构进行的手术过程期间向所述用户提供引导的导航信息，并且进一步被配置成基于导航信息生成xr图像以在透视显示屏1302上进行显示。
108.显示屏1302的不透明度可以被配置为具有随着从显示屏1302的顶部部分向下的距离而更连续变化的不透明度的梯度。梯度的最暗点可以定位于显示屏1302的顶部部分处，并在显示屏1302上进一步向下逐渐变得较不透明，直到不透明度变透明或不存在为止。在另外的示例实施例中，梯度可以大约在显示屏1302的中眼水平处从约90％不透明度改变成完全透明。在正确校准并放置头戴装置的情况下，中眼水平可以对应于用户将会直视的点，并且梯度的末端将定位于眼睛的“水平”线。梯度的较暗部分将允许虚拟内容的清晰明确的视觉并且有助于阻挡高架手术室灯的侵入亮度。
109.以这种方式使用不透明度滤光器使得xr头戴装置920能够通过基本上或完全阻挡来自真实世界场景的光沿显示屏1302的上部部分来提供虚拟真实(vr)功能并沿着显示屏1302的中间或下部部分提供ar功能。这允许用户在有需要并且在程序期间允许对患者解剖使用明确光学器件的位置具有半透明的ar。将显示屏1302配置为梯度而不是更恒定的不透明度带可以使佩戴者在更vr类型的视图与更ar类型的视图之间体验更自然的过渡，而不会体验真实世界场景的亮度以及可以如在上下视图之间进行更快速的移位期间以其它方式
使眼睛疲劳的景深的突变。
110.显示面板和显示屏1302可以被配置成提供宽视野透视xr显示系统。在一个示例性配置中，它们为用户提供了80
°
对角线视野(fov)和55
°
竖直覆盖范围以供用户查看虚拟内容。其它对角线fov角度和竖直覆盖范围角可以通过不同大小的显示面板、不同曲率的透镜和/或显示面板与弯曲的显示屏1302之间的不同距离和角度定向来提供。
111.图14绘示了根据本公开的一些实施例的xr头戴装置920的电组件，所述xr头戴装置可以可操作地连接到计算机平台910、成像装置中的一或多个成像装置(如c形臂成像装置104、o形臂成像装置106)和/或图像数据库950和/或手术机器人800。
112.xr头戴装置920提供用于执行被导航手术过程的改进的人机界面。xr头戴装置920可以被配置成例如通过计算机平台910提供功能，所述功能包含但不限于以下任何一或多个：标识基于手势的命令和/或基于语音的命令、在显示装置1450上显示xr图形对象。显示装置1450可以是将所显示的xr图形对象投射到显示屏1302上的视频投影仪、平板显示器等。用户可以将xr图形对象视为锚定到通过显示屏1302(图13)观看到的特定真实世界对象的覆盖图。xr头戴装置920可以另外地或可替代地配置为在显示屏1450上显示来自安装到一或多个xr头戴装置920和其它摄像机的摄像机的视频馈送。
113.xr头戴装置920的电组件可以包含多个摄像机1440、麦克风1442、手势传感器1444、位姿传感器(例如，惯性测量单元(imu))1446、包含显示装置1450的显示模块1448，和无线/有线通信接口1452。如下所述，xr头戴装置的摄像机1440可以是可见光捕获摄像机、近红外捕获摄像机或两者的组合。
114.摄像机1440可以被配置成作为手势传感器1444通过为了标识而捕获在一或多个摄像机1440的视野内执行的用户手势来进行操作。可替代地，手势传感器1444可以是感测接近手势传感器1444执行的手势和/或感测物理接触(例如，轻敲传感器或外壳1304)的接近度传感器和/或触摸传感器。位姿传感器1446(例如，imu)可以包含多轴加速度计、倾斜传感器和/或可以感测xr头戴装置920沿一或多个限定的坐标轴的旋转和/或加速度的另一个传感器。这些电组件中的一些或全部电组件可以含有在组件外壳1304中或可以含有在被配置成在其它地方(如在臀部或肩膀上)佩戴的另一个外壳中。
115.如上文所解释的，手术系统2包含摄像机跟踪系统组件6/6'和跟踪子系统830，所述跟踪子系统可以是计算机平台910的一部分。手术系统可以包含成像装置(例如，c形臂104、o形臂106和/或图像数据库950)和/或手术机器人4。跟踪子系统830被配置成确定附接到解剖结构、末端执行器、手术工具等的dra的位姿。导航控制器828被配置成基于限定要使用手术工具对解剖结构执行手术过程的位置的手术计划(例如，根据由图9的计算机平台910执行的手术计划功能)并基于通过跟踪子系统830确定的解剖结构的位姿确定手术工具相对于解剖结构的目标位姿。导航控制器828可进一步被配置成基于手术工具的目标位姿、解剖结构的位姿以及手术工具和/或末端执行器的位姿产生转向信息，其中所述转向信息指示手术机器人的手术工具和/或末端执行器应当被移动到何处以执行手术计划。xr头戴装置920的各种摄像机1440可连接到摄像机跟踪系统组件6/6'以跟踪dra、用户的手等的位姿。
116.xr头戴装置920的电组件可以通过有线/无线接口1452可操作地连接到计算机平台910的电组件。xr头戴装置920的电组件可以例如通过计算机平台910操作性地连接或通
过有线/无线接口1452直接连接到各种成像装置(例如，c形臂成像装置104、i/o形臂成像装置106、图像数据库950)和/或其它医疗设备。
117.手术系统2进一步包含至少一个xr头戴装置控制器1430(为简洁起见也被称为“xr头戴装置控制器”)，其可以驻留在xr头戴装置920、计算机平台910中和/或在通过有线电缆和/或无线通信链路连接的另一个系统组件中。xr头戴装置控制器1430执行的软件提供各种功能。xr头戴装置控制器1430被配置成从导航控制器828接收在对解剖结构进行的手术过程期间向用户提供引导的导航信息，并且被配置成基于导航信息生成xr图像以在显示装置1450上进行显示，以投射在透视显示屏1302上。
118.显示装置1450相对于显示屏(也被称为“透视显示屏”)1302的配置被配置成以使得xr图像在佩戴xr头戴装置920的用户通过显示屏1302观看时似乎是在真实世界中的方式显示xr图像。显示屏1302可以通过头带1306定位于用户的眼睛前面。
119.xr头戴装置控制器1430可以在被配置成在观看显示屏1302时佩戴在用户头部或用户身体上的其它部位上的壳体内，或可以在通信连接到显示屏1302时远离观看显示屏1302的用户定位。xr头戴装置控制器1430可以被配置成操作性地处理来自摄像机1440、麦克风142和/或位姿传感器1446的信令，并且连接以在显示装置1450上显示xr图像以在显示屏1302上供用户观看。因此，示出为xr头戴装置920内的电路框的xr头戴装置控制器1430应被理解为操作性地连接到xr头戴装置920的其它所示出组件，但不必驻留在公共壳体(例如，图13的电子组件外壳1304)内或可以其它方式由用户运输。例如，ar头戴装置控制器1430可以驻留在计算机平台910内，所述计算机平台进而可以驻留在图3b和图3c所绘示的计算机跟踪系统6'的壳体内。
120.实例xr头戴装置组件光学布置
121.图15示出了根据本公开的一些实施例的展示xr头戴装置920的光学组件的布置的框图。参考图15，显示装置1450被配置成显示由xr头戴装置控制器1430产生的xr图像，来自所述xr图像的光作为xr图像1500被投射到显示屏1302。显示屏1302被配置成将xr图像1500的光和来自真实世界场景1502的光组合成组合增强视图1504，所述增强视图被引导到用户的眼睛1510。以此方式配置的显示屏1302充当透视显示屏。xr头戴装置920可以包含任何多个跟踪摄像机1440。摄像机1440可以是可见光捕获摄像机、近红外捕获摄像机或两者的组合。
122.通过xr头戴装置的示例性用户视图
123.xr头戴装置操作可以在显示屏1302上显示2d图像和3d模型两者。2d图像可以优选地在显示屏1302的较不透明的带(上部带)中显示，并且3d模型可以更优选地在显示屏1302的较透明的带(以其它方式被称为环境区域)(底带)中显示。在显示屏1302结束的下部带的下方，佩戴者可以无阻挡地观看到手术室。注意，在显示屏1302上显示xr内容的位置可以是流体的。显示3d内容的位置可能会取决于头戴装置相对于内容的定位而移动到不透明带，并且显示2d内容的位置可以被放置在透明带中并相对于真实世界稳定。另外地，整个显示屏1302可以在电控制下变暗，以将头戴装置转换成用于手术计划的虚拟现实或在医疗程序期间完全透明。如上文所解释的，xr头戴装置920和相关联操作不仅支持被导航程序，而且可以与机器人辅助程序结合执行。
124.图16示出了根据本公开的一些实施例的通过用于在医疗程序期间向操纵手术工
具1602的用户提供导航辅助的xr头戴装置920的显示屏1302的示例视图。参考图16，当将手术工具1602带到所跟踪的解剖结构附近使得连接到手术工具1602的动态参考阵列1630和1632变得在摄像机1440(图15)和/或46(图6)的视野内时，工具的图形表示1600可以相对于解剖结构的图形表示1610以2d和/或3d图像显示。用户可以使用所观看的图形表示来调整手术工具1602的轨迹1620，所述轨迹可以示出为从工具的图形表示2000延伸通过解剖结构的图形表示1610。xr头戴装置920还可以显示文本信息和其它对象1640。跨所观看的显示屏延伸的虚线1650表示不同不透明度水平上带与下带之间的示例划分。
125.可以在显示屏1302上显示的其它类型的xr图像(虚拟内容)可以包含但不限于以下中的任何一或多个：
126.i)患者解剖的2d轴向、矢状和/或冠状视图；
127.2)计划的工具和手术植入物位置对当前跟踪的工具和手术植入物位置的覆盖图；
128.3)术前图像库；
129.4)来自显微镜和其它类似系统的视频馈送或远程视频会议；
130.5)选项和配置设置以及按钮；
131.6)具有手术计划信息的患者解剖的浮动3d模型；
132.7)相对于浮动患者解剖的手术器械的实时跟踪；
133.8)具有指令和引导的患者解剖的增强覆盖图；和
134.9)手术设备的增强覆盖图。
135.用于跟踪系统组件的摄像机的示例性配置
136.图17绘示了根据本公开的一些实施例配置的具有两对立体跟踪摄像机的辅助跟踪杆46的示例性配置；辅助跟踪杆46是图3a、图3b和图3c的摄像机跟踪系统组件的一部分。根据一个实施例，立体跟踪摄像机包含一对立体的间隔开的可见光捕获摄像机和另一对立体的间隔开的近红外捕获摄像机。可替换地，在辅助跟踪杆46中可以只使用一对可见光捕获摄像机或者只使用一对近红外捕获摄像机。可以使用任何数量的近红外和/或可见光摄像机。
137.位姿测量链
138.如上文所解释，导航手术可以包含计算机视觉跟踪和确定手术器械的位姿(例如，在六自由度坐标系中的位置和定向)，例如通过确定包含以已知方式布置到摄像机跟踪系统的间隔开的例如盘或球的基准点的所附接dra的位姿。计算机视觉使用被配置成捕获近红外光和/或可见光的间隔开的跟踪摄像机，例如立体摄像机。在此情境下，有三个参数共同竞争优化：手术过程期间的(1)准确性、(2)稳定性和(3)用户人机工程学。
139.计算机操作可通过结合安装到一或多个xr头戴装置的额外跟踪摄像机，以可以提高上述三个参数中的一或多个的优化的方式组合(链接)所测量的位姿。如图17所展示，根据本公开的一些实施例，可以将一对立体可见光跟踪摄像机和另一对立体近红外跟踪摄像机附接到摄像机跟踪系统组件的辅助跟踪杆。公开了操作算法，其分析被完全观察或部分观察的dra的位姿(例如，当通过一对立体摄像机观察不到dra的所有基准点时)，并且以能够在导航手术期间提高准确性、稳健性和/或人体工程学的方式组合观察到的位姿或部分位姿。
140.如上文所解释的，xr头戴装置可以被配置成用计算机生成的xr图像增强真实世界
场景。xr头戴装置可以被配置成通过在允许来自真实世界场景的光从中穿过以供用户组合观看的透视显示屏上显示计算机生成的xr图像来提供xr观看环境。可替代地，xr头戴装置可以被配置成通过防止或基本上防止来自真实世界场景的光由用户沿所显示的xr图像的观看路径直接观看来提供vr观看环境。xr头戴装置可以被配置成提供ar观看环境和vr观看环境两者。在一个实施例中，ar观看环境和vr观看环境两者均由布置在透视显示屏与真实世界场景之间的具有显著不同的不透明度的侧向带提供，使得为与高不透明度带对齐的xr图像提供vr观看环境并为与低不透明度带对齐的xr图像提供ar观看环境。在另一个实施例中，ar观看环境和vr观看环境两者均通过可变地限制来自真实世界场景的光穿过透视显示屏以与用户观看的xr图像组合的量的不透明度滤光器的计算机可调整控制提供。因此，xr头戴装置也可以被称为ar头戴装置或vr头戴装置。
141.如上文所解释的，xr头戴装置可以包含被配置成跟踪连接到手术器械、患者解剖结构、一或多个其它xr头戴装置和/或机器人末端执行器的dra的基准点的近红外跟踪摄像机和/或可见光跟踪摄像机。在xr头戴装置上使用近红外跟踪和/或可见光跟踪提供超出单个辅助跟踪杆上的摄像机可以提供的另外的跟踪体积覆盖范围。向现有的辅助跟踪杆添加近红外跟踪摄像机允许与在可见光下相比更鲁棒地但较不准确地跟踪头戴装置位置。使用立体匹配来共同标识可见跟踪坐标系与近红外跟踪坐标系之间的dra基准点的位姿使可见跟踪坐标系和近红外跟踪坐标系机械校准使坐标系能够充分对齐以执行3d dra基准点三角测量操作。使用可见和近红外跟踪坐标系两者可以实现以下任何一或多个：(a)标识使用单一坐标系无法标识的工具；(b)提高位姿跟踪准确性；(c)在不失去对手术器械、患者解剖结构和/或机器人末端执行器的跟踪的情况下实现更宽范围的运动；以及(d)在与所导航手术器械相同的坐标系中自然地跟踪xr头戴装置。
142.图18示出了手术系统的组件的框图视图，所述手术系统包含一对xr头戴装置920(头戴式显示器hmd1和hmd2)中的跟踪摄像机和容纳计算机平台910的摄像机跟踪系统组件6'中的摄像机跟踪杆中的跟踪摄像机。计算机平台910可包含跟踪子系统830、导航控制器828和xr头戴装置控制器1430，如先前在图14中所展示。
143.参考图18的手术系统，外科医生和助手都分别佩戴xr头戴装置hmd1 920和hmd2920，若每一xr头戴装置包含可如图13所展示配置的跟踪摄像机。助手任选地佩戴xr头戴装置hmd2 920。
144.xr头戴装置hmd1 920和hmd2 920与辅助跟踪杆上的跟踪摄像机46的组合可以在与计算机平台910一起操作时更稳健地跟踪患者参考阵列(r)、机器人末端执行器(e)和手术工具(t)或器械的实例对象。由xr头戴装置hmd1 920和hmd2 920以及辅助跟踪杆上的跟踪摄像机46提供的来自不同视角的重叠视图在图12中展示。
145.图18中标记项中的每一个表示唯一的坐标系。坐标系标签的说明如下：
146.a＝第二头戴装置hmd2 920的可见光坐标系；
147.n3＝第二头戴装置hmd2 920的近红外(nir)坐标系；
148.s＝主头戴装置hmd1 920的可见光坐标系；
149.n2＝主头戴装置hmd1 920的nir坐标系；
150.n＝辅助导航杆46的nir坐标系；
151.v＝辅助导航杆46的可见光坐标系；
152.r＝患者参考基准阵列602的nir坐标系；
153.t＝所跟踪的工具604的nir坐标系；
154.e＝机器人臂20上的所跟踪的机器人末端执行器的nir坐标系；以及
155.w＝具有稳定重力向量的惯性导航世界坐标系。
156.在制造过程中，当设备安装在手术室中时，和/或在要执行手术过程之前，可以测量和校准这些标记对象中的一些的空间关系(并且通过扩展、坐标系)。在所公开的系统中，校准以下坐标系：其中术语“t”被限定为两个指定坐标系之间的六自由度(6dof)齐次变换。因此，例如，项是主头戴装置hmd1 920的可见光坐标系与主头戴装置hmd1920的nir坐标系之间的6dof齐次变换。
157.在一个实施例中，xr头戴装置hmd1 920和hmd2 920具有喷涂或以其它方式附接到其(坐标系s和a)上的无源可见光基准点，例如图13中展示的参考阵列基准点1310。跟踪摄像机在空间上被校准到这些无源基准点(坐标系n2和n3)。
158.如上所述，xr头戴装置hmd1 920和hmd2 920上的摄像机和辅助跟踪杆上的跟踪摄像机46具有部分重叠的视野。如果xr头戴装置hmd1 920上的一或多个摄像机被阻挡而无法查看附接到所跟踪对象，例如所跟踪工具(t)的dra，但dra在另一xr头戴装置hmd2920的摄像机和/或辅助跟踪杆上的跟踪摄像机46的视野内，则计算机平台910可以继续无缝地跟踪dra而不丢失导航。另外，如果从xr头戴装置hmd1 920上的摄像机的视角来看dra被部分遮挡，但整个dra通过另一xr头戴装置hmd2 920的摄像机和/或辅助跟踪杆上的跟踪摄像机46可见，则可以合并摄像机的跟踪输入以继续对dra进行导航。
159.更确切地说，通过独立观察由xr头戴装置hmd1 920和hmd2 920提供的各种摄像机系统和辅助跟踪杆上的跟踪摄像机46，可以将各种坐标系链接在一起。例如，xr头戴装置hmd1 920和hmd2 920中的每一个可能需要机器人末端执行器(e)的虚拟增强。虽然一个xr头戴装置hmd1 920(n2)和辅助跟踪杆(n)上的跟踪摄像机46能够看见(e)，但可能另一xr头戴装置hmd2 920(n3)无法看见。(e)相对于(n3)的位置仍然可以通过若干种不同的操作方法之一来计算。根据一个实施例的操作执行来自患者参考(r)的位姿的链接。如果患者参考(r)由(n3)和(n)或(n2)中的任一个看到，则(e)相对于(n3)的位姿可直接由以下两个方程中的任一个求解：
160.‑
或
‑
161.对这种位姿链的关键是推断每个链末端的帧之间的关系(在下面画圈并传送)。链可以是任意长的，且通过具有一个以上的立体摄像机系统(例如，n、n2、n3)来实现。
162.摄像机跟踪系统可以被配置成在手术过程期间从第一跟踪摄像机(例如，n3)和第二跟踪摄像机(例如，n2)接收与所跟踪对象相关的跟踪信息。摄像机跟踪系统可以基于来自第一跟踪摄像机(例如，n3)的指示第一对象(例如，r)的位姿的第一对象跟踪信息来确定第一对象(例如，r)坐标系与第一跟踪摄像机(例如，n3)坐标系之间的第一位姿变换例如，)。摄像机跟踪系统可以基于来自第二跟踪摄像机(例如，n2)的指示第一对象(例如，r)的位姿的第一对象跟踪信息来确定第一对象(例如，r)坐标系与第二跟踪摄像机(例如，n2)坐标系之间的第二位姿变换(例如))。摄像机跟踪系统可以基于来自第二跟踪摄像机
(例如，n2)的指示第二对象(例如，e)的位姿的第二对象跟踪信息来确定第二对象(例如，e)坐标系与第二跟踪摄像机(例如，n2)坐标系之间的第三位姿变换(例如，))。摄像机跟踪系统可以基于组合第一、第二和第三位姿变换来确定第二对象(例如，e)坐标系与第一跟踪摄像机(例如，n3)坐标系之间的第四位姿变换例如，)。
163.在一些其它实施例中，摄像机系统可以进一步基于通过第四位姿变换处理跟踪信息来确定第二对象(例如，e)与第一跟踪摄像机系统(例如，n3)坐标系的位姿。
164.由于各种摄像机系统的重叠视野，当第一摄像机被阻挡而无法看到第二对象(例如，e)时，摄像机跟踪系统能够确定第二对象(例如，e)相对于第一跟踪摄像机(例如，n3)的位姿。例如，在一些实施例中，摄像机跟踪系统进一步被配置成确定第二对象(例如，e)坐标系和第一跟踪摄像机(例如，n3)坐标系之间的第四位姿变换(例如，)，而不使用来自第一跟踪摄像机(例如，n3)的指示第二对象(例如e)的位姿的任何跟踪信息。
165.摄像机跟踪系统可以通过合并来自多个摄像机系统的同步图像来实现较高的跟踪准确性。例如，摄像机跟踪系统可以通过合并来自多个视角(第一和第二跟踪摄像机)的第二对象(例如，e)的同步图像来确定第二对象(例如，e)相对于第一跟踪摄像机(例如，n3)的位姿，且可以使用可以基于相应摄像机的准确性规格确定的加权。更具体地，摄像机跟踪系统可以进一步被配置成基于来自第一跟踪摄像机(例如，n3)的指示第二对象(例如，e)的位姿的第二对象跟踪信息并且进一步基于第一、第二和第三位姿变换的组合结果来确定第二对象(，例如，e)坐标系和第一跟踪摄像机(例如，n3)坐标系之间的第四位姿变换(例如，)。
166.手术系统可被配置成在xr头戴装置的透视显示屏上显示具有基于第四位姿变换而确定的位姿的xr图像。摄像机跟踪系统可进一步被配置成基于对来自第一和第二跟踪摄像机的第一对象跟踪信息和来自第二跟踪摄像机的第二对象跟踪信息进行第四位姿变换的处理而产生作为在透视显示屏上摆放的第二对象(例如，e)的图形表示的xr图像。
167.如上所述，摄像机跟踪系统可以包含导航控制器828，所述导航控制器以通信方式连接到第一跟踪摄像机(例如，n3)和第二跟踪摄像机(例如，n2)以接收跟踪信息，且被配置成确定第一、第二、第三和第四位姿变换。
168.将手术工具特性配准到由摄像机跟踪系统标识的参考阵列
169.在手术过程期间，摄像机跟踪系统可以同时跟踪保持或支撑于一组跟踪摄像机的视野内的手术工具的位姿，并可以在手术工具从外部移到内部(例如，在再次被拾起后)时继续跟踪手术工具。许多手术工具需要软件配置才能进行正确的跟踪。因为摄像机跟踪系统跟踪附接到手术工具或手术工具上的参考阵列的位姿，所以应告知摄像机跟踪系统哪些手术工具特性配准到哪些所跟踪的参考阵列。导航控制器828(图14)由此可以在了解手术工具的特定特性的情况下进行操作。举例来说，从所标识的参考阵列到手术工具的尖端的距离的手术工具特性的配准使得导航控制器828能够在手术过程期间指引外科医生的工具尖端的移动。类似地，手术工具的曲率方向相对于所标识的参考阵列的配准使得导航控制器828能够通过xr头戴装置920显示手术工具的准确的图形表示且在手术过程期间相对于所跟踪的解剖结构准确地摆放。
170.根据一些实施例，配准过程也称为配对过程，在此期间用户将具有参考阵列的手
术工具固定在用于标识参考阵列的一组跟踪摄像机的视野中，且用户随后限定手术工具的特性。对于将在手术过程期间跟踪的参考阵列和手术工具特性的每一组合重复配准过程，且可在参考阵列从一种类型的手术工具拆离并附接到不同类型的手术工具时进一步重复配准过程。至关重要的是，使外科医生或戴着xr头戴装置的其它医务人员能够对一组手术工具及时有效地执行配准过程，以协助外科医生避免在将手术工具特性与参考阵列配准时出错，以减少在手术过程进行之前和进行期间外科医生注意力的中断。
171.本公开的其它一些实施例涉及在配准过程中使用xr头戴装置，以将标识的参考阵列配准到手术工具的特性，并通过xr头戴装置显示那些特性的表示，使得用户可以验证配准的正确性。在配准过程中使用xr头戴装置可以为外科医生和其它医务人员(用户)提供更直观、省时和可靠的过程，以在手术过程之前和/或期间对手术工具与摄像机跟踪系统进行配准。
172.可响应于进入一组跟踪摄像机的视野中的参考阵列而自动开始配准过程，且摄像机跟踪系统确定所标识的参考阵列尚未被配准为与手术工具的特性配对。图19示出了根据本公开的一些实施例的手术工具特性的图形表示1910，其可在参考阵列1902正配准到手术工具1900的特性以用于在手术期间在手术工具1900的计算机辅助导航中使用时由xr头戴装置显示。图20示出了根据本公开的一些实施例的由摄像机跟踪系统(例如，图18中的系统6)执行的配准操作的流程图，且所述配准操作可提供图19中的手术工具特性的图形表示。
173.参考图19和20，实例xr头戴装置包含一组跟踪摄像机，所述一组跟踪摄像机可例如包含于如图13中展示的xr头戴装置920的电子组件壳体1304中。摄像机跟踪系统(例如，图18中的系统6)标识2000参考阵列1902，所述参考阵列由一组跟踪摄像机跟踪，例如通过标识来自跟踪摄像机的视频流中的参考阵列。如上所述，可以基于形成相应参考阵列的一组基准点之间的不同定向来唯一地标识参考阵列。摄像机跟踪系统确定2002所标识的参考阵列1902是否被配准为与手术工具数据库中限定的多个手术工具中的一个的特性配对。基于参考阵列1902被确定为2002未配准且基于接收用户输入，摄像机跟踪系统将参考阵列1902配准为与基于用户输入而从多个手术工具中选择的手术工具1900的特性配对2004。摄像机跟踪系统随后向xr头戴装置920的显示装置提供2006特性的表示以显示给用户。
174.因此，在图19的实例说明中，用户可以通过将手术工具1900升高到附接到xr头戴装置920的一组跟踪摄像机的视野内而开始进行配准。当未配准的参考阵列进入跟踪摄像机的视野时，摄像机跟踪系统可以使视觉提示通过xr头戴装置920显示，这提示用户进行参考阵列到相关联的手术工具的特性的配准。摄像机跟踪系统从跟踪摄像机接收视频，基于间隔和相对性标识2000参考阵列，且确定2002所标识的参考阵列尚未被配准为与在手术工具数据库中限定的手术工具的任何限定的特性配对。摄像机跟踪系统接收标识手术工具的特性的用户输入，并将参考阵列配准为2004与手术工具1900的特性配对。摄像机跟踪系统。
175.实例手术工具特性可以包含但不限于钻孔机、锯子、牵开器和如螺钉、间隔器、椎间融合装置、板、棒等的植入物的结构和/或操作特性。
176.通过提供2008数据库中的手术工具的列表以通过xr头戴装置920显示以供用户选择以与参考阵列1902配准，摄像机跟踪系统可以有助于用户对要与所标识的参考阵列1902配准的手术工具特性的限定。例如，基于参考阵列1902被确定为2002未配准，摄像机跟踪系统可以向xr头戴装置920的显示装置提供在手术工具数据库中限定的多个手术工具中的至
少一些的列表，供用户选择手术工具中的一个以配准为与参考阵列1902配对。
177.一些手术工具是不对称的，且在配准期间需要额外的特性配置。在图19的特定实例中，手术工具1900的尖端向一侧弯曲，且需要用户在配准期间基于工具尖端相对于参考阵列1902弯曲的方向而选择显示为列表1910的四个模式之一。四个模式包含对应于 x曲率的模式a、对应于 z曲率的模式b、对应于
‑
x曲率的模式c和对应于
‑
z曲率的模式d。在此类手术工具配准期间使用xr头戴装置920可以直观地有助于用户对手术工具特性进行配准，并且提供保护措施以确保将正确的特性配准到正确的参考阵列1902。
178.摄像机跟踪系统可被配置成在工具配准过程期间跟踪用户的手的移动并将手势标识为用户输入。例如，在图19的实例中，用户可能能够虚拟地触摸选择在虚拟空间中显示的模式(模式a
‑
d)之一，以使已针对所选模式而限定的手术工具特性变为配准到参考阵列1902。更确切地说，摄像机跟踪系统可被配置成基于来自一组跟踪摄像机的指示xr空间中的用户的手相对于所显示的列表1910的位姿的跟踪信息而确定所显示的列表1910中的用户的选择。
179.摄像机跟踪系统可显示特性和其它信息，使得当外科医生通过xr头戴装置920进行查看时，所述特性和其它信息会出现在手术工具1900附近，例如列表1910所示，所述列表在外科医生通过xr头戴装置920进行查看时以图形方式显示在手术工具1900附近。在一个实施例中，摄像机跟踪系统从一组跟踪摄像机接收指示参考阵列1902相对于xr头戴装置920的位姿的跟踪信息，且基于跟踪信息确定用于如何相对于参考阵列显示特性的表示(例如，工具信息)的位姿。摄像机跟踪系统随后控制xr头戴装置920以相对于参考阵列1902以所确定的位姿显示特性的表示。
180.一旦手术工具1900已被配准到参考阵列1902，摄像机跟踪系统就可以显示配准特性的视觉反馈，以使外科医生能够验证配准的准确性。显示关于已配准的手术工具1900的信息描述提供了一个验证级别，以确保已配准正确的手术工具。验证的另一级别可以包含显示已经或正在配准到参考阵列1902的手术工具特性的2d或3d图形表示。
181.图21示出了根据本公开的一些实施例的由xr头戴装置920显示的配准的积极使用的手术工具1900的图形表示2112。图22示出了根据本公开的一些实施例的由摄像机跟踪系统执行以提供图21中的已配准的积极使用的手术工具1900的图形表示2112的操作的流程图。
182.参考图21和图22，摄像机跟踪系统获得2200手术工具1900在至少2个维度(即，2d模型或3d模型)中的图形表示2112，且从一组跟踪摄像机接收2202指示参考阵列1902相对于xr头戴装置920的位姿的跟踪信息。摄像机跟踪系统基于跟踪信息确定2204用于图形表示2112的位姿，并将图形表示2112作为特性的表示提供2206给xr头戴装置920的显示装置以用于以所确定的位姿显示。
183.在图21所示实例中，摄像机跟踪系统已获得配准的手术工具1900的3d表示2112，并在与手术工具1900相邻且具有与手术工具1900的当前位姿匹配的位姿的反馈窗口2110中显示3d表示2112。由此示出了将手术工具1900保持在xr头戴装置920前的外科医生，其一种特定的手术工具的特性已经被配准到参考阵列1902，这使得外科医生能够在视觉上将显示的3d表示2112与实际手术工具1900进行比较以验证配准的正确性。这些操作可以例如使外科医生能够通过将图形表示2112中所示的工具尖端弯曲方向与实际手术工具1900的尖
端弯曲方向进行比较来确认在列表1910(图19)中选择了正确的模式。
184.当一组跟踪摄像机标识出连接到手术工具的参考阵列时，摄像机跟踪系统可确定跟踪摄像机正在跟踪参考阵列的准确性如何，即跟踪准确性的量度(也称为跟踪质量)。当跟踪摄像机未相对于手术工具2100正确地定位时，当一或多个基准点的位置已通过基准点支撑结构的变形而移动时，和/或当基准点被损坏和/或已被体液或其它材料覆盖时，跟踪准确性会降低。因此，重要的是使外科医生能够在通过xr头戴装置920查看手术工具2100的同时观察跟踪的准确性。
185.图23示出了根据本公开的一些实施例的当用户正查看手术工具2100时由xr头戴装置920显示的用于配准的参考阵列2102的跟踪准确性信息的图形表示2312。图24示出了根据本公开的一些实施例的由摄像机跟踪系统执行以提供图23中的跟踪准确性信息的图形表示2312的操作的流程图。
186.参考图23和24，摄像机跟踪系统获得2400表征一组跟踪摄像机当前跟踪参考阵列2102的位姿的准确性的跟踪准确性信息。摄像机跟踪系统随后向xr头戴装置的显示装置提供2402跟踪准确性信息的指示2312以显示给用户。在图23的说明性实例中，摄像机跟踪系统已经以可通过xr头戴装置920查看的跟踪质量窗口2310内的图形滑动标尺的形式显示跟踪准确性，但可显示其它图形指示、文本描述(例如，不良跟踪、良好跟踪、完全跟踪)和/或彩色图形标记。
187.可基于形成参考阵列2102的基准点的测得的位置与先前已针对参考阵列2102限定的基准点的位置(例如，针对所标识的参考阵列2101而限定的模型)的紧密匹配程度和/或基于在来自跟踪摄像机的视频中标识的基准点的形状与基准点的限定的形状(例如，限定的椭圆形状)的良好拟合程度来确定跟踪准确性。替代地或另外，可基于在手术工具的限定位置(例如，尖端)触摸到已知位置(例如，另一配准的参考阵列的校准点)时将参考阵列2102的位姿与期望位姿进行比较来确定跟踪准确性。产生跟踪准确性的图形表示以在视觉上指示跟踪摄像机跟踪参考阵列2102的确定性或准确性。
188.摄像机跟踪系统可被配置成显示与手术工具2100相关联的其它信息。为了确保手术工具在手术过程期间能够正常运行，例如通过不具有结构性弯曲或不具有适当范围的延伸和/或角度运动，可以对其进行定期检查。例如，可以通过将工具尖端定位在摄像机跟踪系统已知的位置(例如已知的校准点)上来确定手术工具是否具有弯曲尖端，以确认在工具尖端位于已知位置时所跟踪的参考阵列具有预期的位姿。此验证过程的结果可存储于手术数据库中，且在手术工具附近显示以确保通知用户是否不应在手术过程期间使用手术工具和/或自从上一次验证以来是否已经过足够时间，使得应在使用之前重新验证手术工具。摄像机跟踪系统可被配置成获得最后验证日期，所述最后验证日期指示手术工具2100最后经验证不具有结构性变形的时间，且将最后验证日期的指示提供到xr头戴装置920的显示装置以显示给用户。
189.可以根据手术工具是否在相对于xr头戴装置920位置限定的检测区域内来选择性地显示手术工具的此类图形特性。例如，当外科医生固定手术工具以使得其在限定的检测区域内的外科医生的胸部或颈部上方时，摄像机跟踪系统可以通过显示手术工具的配准特性而作出响应。相比而言，当外科医生将手术工具固定在检测区域下方时，摄像机跟踪系统可以防止显示手术工具的配准特性。这使得外科医生能够通过将其固定在检测区域内来快
速检查已与特定手术工具配准的显示特性，且随后随着手术工具移至检测区域外而使那些显示特性从视线中消失，从而例如避免在手术过程中使用工具期间干扰外科医生对手术部位的查看。
190.摄像机跟踪系统可将工具的一部分的形状(例如，工具2100的轴的形状)与工具2100的限定的模板形状进行比较。所比较形状的差异超过限定的阈值可能会导致通过xr头戴装置920显示通知。例如，可显示与表现为偏离地限定的模板形状的工具2100的轴的一部分重叠的图形突出显示，以便直观地通知用户可能需要更换轴和/或工具2100的潜在问题。
191.图26示出了根据本公开的一些实施例的由摄像机跟踪系统执行以根据参考阵列是否在相对于xr头戴装置限定的检测区域内来选择性地显示与参考阵列配准的手术工具的特性的操作的流程图。
192.参考图26，摄像机跟踪系统被配置成确定2600参考阵列何时进入相对于xr头戴装置的位置限定的检测区域内。响应于确定参考阵列已进入检测区域内，摄像机跟踪系统开始2602向xr头戴装置的显示装置提供特性的表示以显示给用户。相比而言，响应于确定参考阵列已离开检测区域，摄像机跟踪系统停止2604向xr头戴装置的显示装置进行任何进行中的用以显示给用户的特性的表示的提供。
193.可以类似地限定检测区域，以选择性地使得能够对手术工具执行配准过程。图25示出了根据本公开的一些实施例的由摄像机跟踪系统执行以根据参考阵列是否在相对于xr头戴装置限定的检测区域内来选择性地允许用户配准参考阵列的操作的流程图。
194.参考图25，摄像机跟踪系统被配置成确定2500参考阵列何时进入相对于xr头戴装置的位置限定的检测区域内。响应于确定参考阵列已进入检测区域，摄像机跟踪系统开始2502确定参考阵列是否被配准为与手术工具数据库中限定的多个手术工具中的一个的特性配对。相比而言，摄像机跟踪系统被配置成将接收用户输入以将参考阵列配准为与手术工具数据库中限定的多个手术工具中的一个的特性配对的操作限制2504为仅在参考阵列保持在检测区域内时进行。
195.在手术过程期间，被布置以形成参考阵列的一或多个基准点可以变得被一组跟踪摄像机遮挡或以其它方式而不被一组跟踪摄像机查看，因为例如其在手术过程期间已被损坏和/或已变得被体液或其它材料覆盖。一些实施例涉及显示展示参考阵列中的哪些基准点被跟踪摄像机跟踪的信息。例如，当由于一或多个基准点被遮挡而导致跟踪失败时，可以将其余基准点报告为杂散。在此情况下，摄像机跟踪系统可以标识一些基准点的位姿(例如，位置)，但没有足够的信息来将所标识的基准点与多个预限定的参考阵列中的一个匹配。然而，杂散基准点的位姿仍可用以通知外科医生关于哪些基准点正被跟踪。每一所跟踪的基准点的虚拟表示都可以通过xr头戴装置以如通过xr头戴装置看到的其在现实世界中的位姿(例如，位置)显示。以此方式，外科医生将知道哪些基准点被遮挡或需要调整或更换。
196.参考图27的实例实施例，根据本公开的一些实施例，通过具有显示为至少部分地与参考阵列2102的四个基准点的所标识的位姿重叠的图形标记2700、2702、2704、2706以及显示为至少部分地与缺失基准点的所估计的位姿重叠的另一图形标记2710的xr头戴装置机920查看具有形成参考阵列2102的五个基准点的手术工具2100。
197.图28示出了根据本公开的一些实施例的由摄像机跟踪系统执行以显示例如图27
中展示的相对于所标识和缺失基准点的图形标记的操作的流程图。
198.参考图27和28，摄像机跟踪系统进一步被配置成标识2800参考阵列2102中的多个基准点的位姿。对于具有所标识的位姿的参考阵列2102中的多个基准点中的每一个，摄像机跟踪系统提供2802图形标记(例如，2700、2702、2704和2706)以供xr头戴装置920的显示装置显示为至少部分地与基准点的所标识的位姿重叠。摄像机跟踪系统可进一步被配置成通过相对于具有所标识的位姿的多个基准点估计2804缺失基准点的位姿，以及提供2804由xr头戴装置920的显示装置显示为至少部分地与缺失基准点的所估计的位姿重叠的另一图形标记2710，以在参考阵列2102中的基准点中的一个是不具有可标识位姿的缺失基准点时作出响应。可基于基准点2700
‑
2706的当前所标识的位姿与所标识的参考阵列2102的基准点的相对位姿的比较来执行估计2804缺失基准点的位姿的过程，以估计缺失基准点的当前位姿。以此方式，外科医生可以直观地标识哪些基准点被跟踪摄像机正确地跟踪，且还可以标识哪些基准点(如果存在的话)未被正确地跟踪。例如，当缺失基准点被体液或其它材料过度遮挡时，外科医生可以补救所述情况，以实现对参考阵列2102的准确跟踪。
199.一些另外的实施例涉及避免在握住手术工具时解释用户的手的移动，这是由于用户试图向手跟踪输入界面提供输入。这在外科医生握持手术工具时可能尤其重要，因为在手术工具移动期间，跟踪摄像机可能无法保持手的足够的视野，且这可能导致手的不准确跟踪且造成与用户界面的意外交互。根据这些另外的实施例，相对于参考阵列限定手
‑
用户界面排除区域。尽管确定用户的手至少部分地在手
‑
用户界面排除区域内，但手跟踪信息不用作从用户到用户界面的输入。
200.图29示出了根据本公开的一些实施例的由摄像机跟踪系统执行以基于用户的手是否至少部分地在相对于参考阵列确定的手
‑
用户界面排除区域内选择性地允许手势输入的接收的操作的流程图。图30示出了根据本公开的一些实施例的相对于连接到手术工具2100的参考阵列2102确定的手
‑
用户界面排除区域3000。
201.参考图29，摄像机跟踪系统被配置成从一组跟踪摄像机接收2900指示参考阵列2102相对于xr头戴装置的位姿和用户的手的位姿的跟踪信息。摄像机跟踪系统基于跟踪信息相对于参考阵列2102的位姿确定2902手
‑
用户界面排除区域3000。当确定用户的手完全在手
‑
用户界面排除区域3000外时，基于跟踪信息指示的手的所跟踪的位姿，摄像机跟踪系统允许2904从用户接收手势输入。相比而言，当确定用户的手至少部分地在手
‑
用户界面排除区域3000内时，基于跟踪信息指示的手的所跟踪的位姿，摄像机跟踪系统禁止2906从用户接收手势输入。因此，当用户的手在排除区域3000外时，摄像机跟踪系统可将用户的手的移动解释为所提供的手势输入，以例如在显示为如图19中在邻近于手术工具1900的虚拟空间中所示的模式的所显示的列表1910中进行选择。相比而言，当用户的手至少部分地在排除区域3000之内时，例如在握住手术工具2100时，摄像机跟踪系统会阻止将用户的手的移动解释为对系统的手势输入，且将因此例如使得用户无法使用手势在模式的所显示的列表1910中进行选择。
202.尽管已经在使用一组跟踪摄像机和xr头戴装置的背景下描述了各种实施例，但这些和其它实施例可以与任何形式的跟踪摄像机一起使用，例如辅助跟踪杆上的和/或另一xr头戴装置上的一组跟踪摄像机。因此，在一些实施例中，当摄像机跟踪系统正从一组跟踪摄像机接收跟踪信息时，所述一组跟踪摄像机与xr头戴装置分离并间隔开。本文中所公开
的用于位姿链接的各种操作可用以跟踪参考阵列和/或用户的手的位姿。
203.其它定义和实施例：
204.在本发明概念的各个实施例的以上描述中，应当理解，本文使用的术语仅出于描述特定实施例的目的，而不旨在是限制本发明概念的。除非另外定义，否则本文中所使用的所有术语(包含技术术语和科技术语)具有本发明概念所属领域的技术人员通常所理解的相同含义。应进一步理解的是，如常用词典中所定义的术语应被解释为具有与其在本说明书的背景下和相关领域中的含义一致的含义，并且本文中明确地如此限定，将不会在理想化的或过度正式的意义上进行解释。
205.当元件被称为“连接到”或“联接到”“响应于”另一个元件或其变体时，其可以直接连接到、联接到或响应于另一元件，或者可以存在中间元件。相反，当一个元件被称为与另一个元件“直接地连接”、“直接地联接”、“直接响应于”另一个元件或其变体时，不存在中间元件。贯穿全文以相似的数字指代相似的要素。此外，如本文中使用的“联接”、“连接”、“响应”或其变体可以包含无线联接、连接或响应。除非上下文另外清楚地说明，否则如本文所使用的，单数形式“一个/一种(a、an)”和“所述(the)”旨在包含复数形式。为了简洁和/或清楚，可能不会详细描述众所周知的功能或构造。术语“和/或”包含相关联的所列项中的一或多个项的任何和所有组合。
206.应当理解，尽管本文中可以使用术语第一、第二、第三等来描述各种元件/操作，但是这些元件/操作不应受这些术语的限制。这些术语仅是用来将一个元件/操作与另一个元件/操作进行区分。因此，在不脱离本发明概念的教导的情况下，一些实施例中的第一元件/操作可以在其它实施例中被称为第二元件/操作。在整个本说明书中，相同的附图标记或相同的附图指示符表示相同或类似的元件。
207.如本文所使用的，术语“包括(comprise/comprising/comprises)”、“包含(include/including/includes)”、“具有(have/has/having)”或其变体是开放式的，并且包含一或多个陈述的特征、整数、元件、步骤、组件或功能，但是不排除一或多个其它特征、整数、元件、步骤、组件、功能或其组合的存在或添加。此外，如本文所使用的，源自拉丁短语“exempli gratia”的通用缩写“例如”可以用于介绍或指定先前提及的项目的一或多个一般示例，并且不旨在限制这种项目。源自拉丁短语“id est”的通用缩写“即”可以用于从更一般的陈述中指定特定项目。
208.本文中参考计算机实施的方法、设备(系统和/或装置)和/或计算机程序产品的框图和/或流程示出描述了示例实施例。应当理解的是，可以通过由一或多个计算机电路执行的计算机程序指令来实现框图和/或流程示出的框以及框图和/或流程示出中框的组合。这些计算机程序指令可以被提供给通用计算机电路、专用计算机电路和/或其它可编程数据处理电路的处理器电路，以产生机器，使得经由计算机和/或其它可编程数据处理设备的处理器执行的指令转换并控制晶体管、存储在存储器位置中的值以及这种电路系统内的其它硬件组件，以实现框图和/或一或多个流程图框中指定的功能/动作，并且由此创建用于实现框图和/或一或多个流程图框中指定的功能/动作的装置(功能)和/或结构。
209.这些有形计算机程序指令也可以存储在可以指导计算机或其它可编程数据处理设备以特定方式运行的计算机可读介质中，使得存储在计算机可读介质中的指令产生包含实施在框图和/或一或多个流程图框中指定的功能/动作的指令的制品。因此，本发明概念
的实施例可以体现在硬件和/或软件(包含固件、常驻软件、微代码等)中，其在如数字信号处理器等处理器上运行，所述数字信号处理器可以被统称为“电路系统”、“模块”或其变体。
210.还应该注意的是，在一些替代性实现方案中，框中标注的功能/动作可以不按流程图中标注的顺序发生。例如，根据所涉及的功能/动作，连续示出的两个框实际上可以基本上同时执行，或者所述框有时可以按相反顺序执行。此外，可以将流程图和/或框图的给定框的功能分成多个框，和/或流程图和/或框图的两个或更多个框的功能可以至少部分地集成。最后，在不脱离本发明概念的范围的情况下，可以在所示出的框之间添加/插入其它框，和/或可以省略框/操作。此外，尽管所述图中的一些图包含通信路径上的箭头以示出通信的主要方向，但是应当理解的是，通信可以在与所描绘的箭头相反的方向上发生。
211.在不实质脱离本发明概念的原理的情况下，可以对实施例进行许多变化和修改。所有的此种变体以及改变都旨在被包含在本文中本发明概念的范围内。因此，上文所公开的主题应视为说明性而非限制性的，并且所附实施例的示例旨在覆盖落入本发明概念的精神和范围内的所有这种修改、增强以及其它实施例。因此，为了被法律最大程度地允许，本发明概念的范围将由本公开的最广泛允许的解读来确定，所述解读包含以下实施例及其等效物的示例，并且不应受限于或局限于前述具体详细描述。