旋转标记物的制作方法

旋转标记物
发明领域
1.本发明总体上涉及外科手术，并且具体地涉及使用增强现实执行的外科手术。
2.发明背景
3.在执行外科手术的医生使用的增强现实系统中，通常需要将患者的参照系与医生使用的增强现实系统的参照系配准。用于配准的方法在本领域是已知的。
4.bammer等人的美国专利8,848,977描述了一种用于光学姿态检测的方法。提供了一种自编码标记物，其中图案上的每个特征都用二维条形码增强。
5.kendrick等人的美国专利9,220,573描述了一种用于跟踪用于与外科手术导航系统一起使用的跟踪装置的系统。该系统可包括至少一个具有多个面的跟踪装置，并且这些面可以是可操作的以在激活时产生信号。
6.kajiwara等人的美国专利9,378,558描述了一种自定位/自取向计算单元，当确定标记物存在于预定区域内时，该自定位/自取向计算单元基于所采集的成像图像数据中的标记物来在预定坐标系中计算出自定位和/或自取向。
7.bicer等人的美国专利9,495,585描述了一种在光学对象跟踪系统中找到被跟踪的对象上的基准标记物和在由照相机捕获的图像平面上的基准标记物投影之间的一对一映射的方法。
8.merritt等人的美国专利9,943,374描述了一种用于在外科手术期间跟踪外科器械的图像引导系统。该图像引导系统包括多个照相机，这些照相机适于位于手术区域的外部，以用于捕获光学可见图案的图像。
9.sell等人的美国专利10,022,104描述了一种标记物，该标记物包括具有第一氢质子密度和第一质量密度的第一标记物组分；和具有不同于第一氢质子密度的第二氢质子密度的第二标记物组分。
10.wilkinson等人的美国专利10,080,616描述了一种系统，该系统生成骨和参考标记物的三维表示，定义针对该三维表示的坐标系，并确定参考标记物相对于坐标系的位置。
11.hong等人的美国专利10,108,833描述了一种其上形成有图案的标记物，并且该标记物包括光学系统。根据从标记物外部通过光学系统观察到图案的方向，唯一出现的图案的至少一部分从标记物外部被视觉识别。
12.mclachlin等人的美国专利10,251,724描述了一种参考系带(reference tie)，该参考系带可以在外科手术期间固定在脊柱的一部分周围，并且可以由外科手术导航系统跟踪。
13.yang等人的美国专利10,296,805描述了一种标记物，其中相对于捕获单元的位置和姿态中的至少一个被估计。
14.tokuda等人的美国专利10,420,626描述了用于使用基准标记物和处理算法自动检测和配准医学图像的方法。
15.siegler等人的美国专利10,463,434描述了包括一个或更多个基准参照标记物的跟踪标记物支撑结构，其中跟踪标记物支撑结构被配置为可移除地且牢固地附接到患者的
骨骼区。
16.fiala的美国专利10,504,231描述了基准标记物，该基准标记物是来自图像传感器的图像中的通过算法检测的印刷图案，以用于诸如自动化处理和增强现实图形的应用。
17.perez的美国专利10,537,395描述了一种用于以运动学方式联接两个对象的运动学连接器组件。运动学连接器组件包括限定空腔并具有可在空腔中接近的多个约束表面的接收器。
18.khamene等人的美国专利申请2003/0210812描述了一种用于在工作空间中使用单个照相机跟踪来确定姿态的设备。该设备包括被编程用于进行姿态确定的计算机和联接到计算机以提供跟踪图像并存储校准信息的跟踪器照相机。
19.robbins等人的美国专利申请2011/0098553描述了在图像引导系统中通过将磁共振(mr)可见标记物相对于照相机跟踪系统中的可见的标记物放置在已知的位置处来执行的mr图像的自动配准。
20.fun的美国专利申请2013/0106833描述了一种用于向计算机提供三维、六个自由度的数据输入的输入装置。该装置包括具有跟踪点的跟踪器。跟踪点的一个阵列限定第一轴线。另一个阵列限定与第一轴线正交的第二轴线或平面。
21.daon等人的美国专利申请2015/0150641描述了一种三维位置和取向跟踪系统，该系统包括：一个或更多个图案标签，每个图案标签包括多个对比部分；以及用于获得关于图案标签的图像信息的跟踪器。
22.kheradpir等人的美国专利申请2016/0324583描述了一种患者参考装置，该装置包括具有后侧和前侧的壳体以及附接到壳体的前侧的至少三个跟踪标记物。壳体围绕该至少三个跟踪标记物延伸并超出由该至少三个跟踪标记物的顶部限定的水平平面。
23.sela等人的美国专利申请20170239015描述了一种通过医学导航系统的三维(3d)扫描仪系统和医学导航系统的跟踪系统两者至少部分地可见的设备。
24.通过引用并入本专利申请的文件被认为是本技术的整体部分，其程度为除了任何术语在这些并入的文件中以与本说明书中明确地或隐含地作出的定义相冲突的方式被定义之外，应仅考虑本说明书中的定义。
25.发明概述
26.本发明的实施例提供了一种用于图像引导式外科手术的标记物，包括：
27.基部，其具有基部轴线，该基部连接到夹具；以及
28.对准目标，其包括：
29.目标区域，其上形成有对准图案；
30.插座(socket)，其连接到目标区域并被配置为可旋转地配合到
31.基部，由此对准目标可围绕基部轴线旋转；以及
32.用于插座的光学指示器，其指示对准目标围绕基部轴线的取向角度。
33.在所公开的实施例中，插座被配置为仅在围绕基部轴线的多个至少两个离散取向上配合到基部。典型地，多个离散构型围绕基部轴线对称地分布。该多个可以由四个离散取向组成。
34.在进一步公开的实施例中，插座由与多个离散取向相等的多个孔组成，并且光学指示器被配置为通过孔中的指示离散取向之一的一个孔可见。
35.在还进一步公开的实施例中，插座由与多个离散取向相等的多个孔组成，并且光学指示器被配置为通过选择和布置以便提供离散取向中的每一个的明确标识的孔可见。
36.在替代实施例中，插座被配置为以围绕基部轴线的多个非离散取向配合到基部。插座可以包括孔，并且光学指示器可以与该孔一致(congruent)，并且光学指示器的通过该孔可见的一部分可以指示非离散取向之一。孔可以由半圆形弧形部组成。
37.在另一个替代实施例中，插座与目标区域相距固定距离，并且标记物还包括：
38.增强现实系统，其在对患者进行外科手术期间可操作；以及
39.处理器，其被配置为：
40.在外科手术期间跟踪对准目标，
41.响应于对对准目标的跟踪，向增强现实系统提供患者跟踪向量，
42.响应于光学指示器的图像的变化，计算对准目标的取向角度的变化，以及
43.仅基于固定距离和取向角度的变化，将取向变化向量添加到患者跟踪向量，以便更新患者跟踪向量。
44.本发明的实施例还提供了一种用于使标记物能够在外科手术期间旋转而不需要重新配准的方法，包括：
45.将具有基部轴线的基部连接到夹具；
46.在对准目标的目标区域上形成对准图案；
47.将插座连接到目标区域，插座与目标区域相距固定距离并且被配置为可旋转地配合到基部，由此对准目标可围绕基部轴线旋转；
48.提供用于插座的光学指示器，该光学指示器指示对准目标围绕基部轴线的取向角度；
49.在对患者进行外科手术期间操作增强现实系统；
50.在外科手术期间跟踪对准目标；
51.响应于对对准目标的跟踪，向增强现实系统提供患者跟踪向量；
52.响应于光学指示器的图像的变化，计算对准目标的取向角度的变化；以及
53.仅基于固定距离和取向角度的变化，将取向变化向量添加到患者跟踪向量，以便更新患者跟踪向量。
54.根据本公开的方面，公开了一种用于图像引导式外科手术的标记物，该标记物包括基部，基部具有基部轴线且连接到锚定装置；以及对准目标，对准目标包括：其上形成有对准图案的目标区域；插座，其连接到目标区域并被配置为可旋转地配合到基部，由此对准目标可围绕基部轴线旋转；以及用于插座的光学指示器，该光学指示器指示对准目标围绕基部轴线的取向角度。
55.在标记物的各种实施例中，插座被配置为仅在围绕基部轴线的多个至少两个离散取向上配合到基部。
56.在标记物的各种实施例中，多个离散构型围绕基部轴线对称分布。
57.在标记物的各种实施例中，多个包括四个离散取向。
58.在标记物的各种实施例中，插座包括与多个离散取向相等的多个孔，并且光学指示器被配置为通过孔中指示离散取向之一的一个孔可见。
59.在标记物的各种实施例中，插座包括与多个离散取向相等的多个孔，并且光学指
示器被配置为通过选择和布置以便提供离散取向中的每一个的明确识别的孔可见。
60.在标记物的各种实施例中，插座被配置为以围绕基部轴线的多个非离散取向配合到基部。
61.在标记物的各种实施例中，插座包括孔，并且光学指示器与孔一致，并且光学指示器的通过孔可见的一部分指示非离散取向之一。
62.在标记物的各种实施例中，孔包括半圆形弧形部。
63.根据本公开的方面，提供了可在对患者进行外科手术期间操作的增强现实系统或导航和/或跟踪系统，该系统包括标记物，其中插座与目标区域相距固定距离；以及处理器或存储机器可执行指令的存储介质，处理器被配置为在计算系统上执行指令，当执行时，使计算系统：在外科手术期间跟踪对准目标；响应于对对准目标的跟踪提供患者跟踪向量，响应于光学指示器的图像的变化计算对准目标的取向角度的变化；以及仅基于固定距离和取向角度的变化将取向变化向量添加到患者跟踪向量，以便更新患者跟踪向量。
64.在标记物的各种实施例中，标记物还包括锚定装置。
65.在标记物的各种实施例中，锚定装置是夹具或销。
66.根据本公开的方面，提供了一种用于图像引导式外科手术的标记物，标记物包括：基部，其具有基部轴线；接口，其被配置为联接到锚定装置；以及对准目标，该对准目标包括：其上形成有对准图案的目标区域；插座，其连接到目标区域并被配置为可旋转地配合到基部，由此对准目标可围绕基部轴线旋转；以及用于插座的光学指示器，其指示对准目标围绕基部轴线的取向角度。
67.在标记物的各种实施例中，基部包括接口。
68.在标记物的各种实施例中，接口以使基部轴线与锚定装置的基部轴线对准的方式联接到锚定装置。
69.根据本公开的方面，提供了一种用于使标记物能够在外科手术期间旋转而不需要重新配准的方法，该方法包括：将具有基部轴线的基部连接到锚定装置；在对准目标的目标区域上形成对准图案；将插座连接到目标区域，插座与目标区域相距固定距离并且被配置为可旋转地配合到基部，由此对准目标可围绕基部轴线旋转；提供用于插座的光学指示器，光学指示器指示对准目标围绕基部轴线的取向角度；在对患者进行外科手术期间操作增强现实系统；在外科手术期间跟踪对准目标；响应于对对准目标的跟踪向增强现实系统提供患者跟踪向量；响应于光学指示器的图像的变化计算对准目标的取向角度的变化；以及仅基于固定距离和取向角度的变化向患者跟踪向量添加取向变化向量，以便更新患者跟踪向量。
70.在该方法的各种实施例中，插座被配置为仅在围绕基部轴线的多个至少两个离散取向上配合到基部。
71.在该方法的各种实施例中，该方法还包括：该插座包括与多个离散取向相等的多个孔，并且其中光学指示器被配置为通过孔中的指示离散取向之一的一个孔可见。
72.在该方法的各种实施例中，插座包括与多个离散取向相等的多个孔，并且其中光学指示器被配置为通过选择和布置以便提供离散取向中的每一个的明确识别的孔可见。
73.在该方法的各种实施例中，插座被配置为以围绕基部轴线的多个非离散取向配合到基部。
74.在该方法的各种实施例中，插座包括孔，并且其中光学指示器与孔一致，并且其中光学指示器的通过孔可见的一部分指示非离散取向之一。
75.根据本公开的方面，一种用于使标记物能够在外科手术期间旋转而不需要重新配准的计算机实施方法，其中标记物被锚定到患者并被配置为可旋转地配合到基部，并且其中标记物包括对准图案和光学指示器，光学指示器被配置为指示标记物围绕基部的基部轴线的取向角度，并且光学指示器与对准图案相距固定距离，该方法包括：在对患者进行外科手术期间操作导航系统；在外科手术期间跟踪对准目标；响应于对对准目标的跟踪向导航系统提供患者跟踪向量；响应于光学指示器的图像的变化计算对准目标的取向角度的变化；以及仅基于固定距离和取向角度的变化向患者跟踪向量添加取向变化向量，以便更新患者跟踪向量。
76.根据结合附图进行的本公开的实施例的以下详细描述，本公开将被更完全地理解，在附图中：
77.附图简述
78.图1是根据本发明的实施例的医疗程序的示意图；
79.图2是示出根据本发明的实施例的在程序中使用的示例性增强现实组件的示意图；
80.图3示意性地示出了根据本发明的实施例的在示例性患者标记物已经附接到被插入患者体内和在患者体内调整的示例性夹具之后的情况；
81.图4a是根据本发明的实施例的标记物的示意性透视图，并且图4b-图4e是本发明的实施例的标记物的不同取向的示意图；
82.图5是描述根据本发明的实施例的标记物在医疗程序中的使用的流程图；
83.图6a-图6d是根据本发明的实施例的替代患者标记物的不同取向的示意性视图；
84.图7a-图7e是根据本发明的实施例的另一替代患者标记物的不同取向的示意性视图；
85.图8是描述根据本发明的实施例的图7a-图7e的标记物的使用的流程图；以及
86.图9是解释根据本发明的实施例的图8的流程图的一些步骤的图。
具体实施方式
87.综述
88.在对患者进行外科手术或医疗程序期间使用的增强现实系统中，有必要跟踪患者的定位或移动(或两者)。该系统典型地包括由执行外科手术的专业人员佩戴的头戴式显示器，并且需要例如经由跟踪系统执行的跟踪，以便保持显示器中呈现的患者的图像与专业人员对患者的视角的配准。
89.为了跟踪患者相对于显示器的定位或移动，对准目标(在下文中也可以称为“目标”)可以固定到患者，并且处理器(例如，经由跟踪系统)可以被配置为跟踪或确定目标的相对位置。在本发明的实施例中，目标被固定到患者锚定装置(例如夹具或销)的基部，该夹具或销被夹持或插入到患者的骨骼中，使得目标在附接到患者锚定装置(例如夹具基部)时充当患者标记物。根据本发明的其他实施例，患者标记物包括联接到标记物基部的对准目标，其中患者标记物可以经由诸如夹具的锚定装置(例如，锚定装置的基部)锚定到患者。如
果外科手术是在患者的脊柱上进行，则骨骼可以包括患者椎骨的一个或更多个棘突。
90.典型地，患者标记物的目标的跟踪定位或位置与患者“配准”或表示患者(例如，用作基准标记物)，并且该“配准”或表示由处理器在外科手术期间使用。目标位置的跟踪或确定允许保持在显示器中呈现的患者的图像与专业人员对患者的视角的配准，并且还可以允许在患者的图像上显示其他被跟踪的元素，例如在外科手术期间使用的工具。工具的显示可以便于由执行外科手术的专业人员导航它们。
91.然而，在程序期间，对准目标可能会干扰正在执行的外科手术，例如，通过阻挡专业人员的视线和/或通过限制专业人员的动作。在这种情况下，对准目标可以相对于锚定装置(例如夹具)和/或患者重新定向或重新定位(例如通过重新定位目标和/或夹具)，以克服干扰。重新定向或重新定位可以通过将目标从夹具上拆下然后再将目标重新附接到夹具或通过重新定位夹具本身来执行。以上可能需要将目标与夹具重新配准，相对于骨重新定位夹具和/或甚至执行附加的切口。
92.本发明的实施例允许将目标相对于患者锚定装置重新定向，而不需要由专业人员重新配准和/或执行任何附加的操作。对准目标包括其上形成有对准图案的目标区域。包括在对准目标中的插座以已知距离固定地连接到目标区域。对准目标和/或锚定装置基部还包括用于插座的光学指示器，该光学指示器指示对准目标围绕基部轴线的取向角度。根据一些方面，插座被配置为可旋转地配合到锚定装置(例如夹具)的基部，使得对准目标可围绕由夹具基部限定的基部轴线旋转。根据一些方面，患者标记物包括联接到标记物基部的对准目标。对准目标包括光学指示器，并被配置为围绕标记物基部的轴线旋转。
93.在该程序期间，对增强现实系统操作的处理器可以跟踪对准目标，以便向系统提供患者跟踪向量，该向量保持上述配准。然后，处理器可以响应于光学指示器的图像的变化来计算对准目标的取向角度的变化。仅基于取向角度的变化和已知的目标区域-插座距离，处理器可以计算取向变化向量，并且然后将该向量添加到患者跟踪向量，以便更新患者跟踪向量。
94.更新的患者跟踪向量用于用患者图像数据自动更新对准目标的跟踪的配准，指示专业人员对患者的视角，使得不需要重新配准和/或任何附加的操作。
95.术语“定位(position)”和“位置(location)”由此可以互换使用。尽管本描述涉及外科手术，但所公开的系统、装置和方法经必要的修改后可适用于任何合适的医疗程序。尽管本描述涉及脊柱外科手术或脊柱医疗程序，但所公开的系统、装置和方法经必要的修改后可适用于针对除脊柱以外的身体结构或部分执行的医疗程序，包括与关节创伤相关的程序、髋关节手术和髋关节置换或颅骨程序。尽管本描述涉及夹具，但所公开的系统、装置和方法经必要的修改后可适用于任何其他患者或骨骼锚定装置，例如插入到患者的骨骼中的销，例如插入到髂骨或颅骨锚定框架中。尽管本描述涉及增强现实系统，但所公开的系统、设备和方法经必要的修改后可适用于不是头戴式的其他导航和/或跟踪和显示系统，例如静止跟踪和/或显示系统，等等。
96.系统描述
97.在下文中，所有方向性参照(例如，上、下、向上、向下、左、右、顶、底、之上、之下、竖直和水平)仅用于识别目的，以帮助读者理解本发明，并且不产生限制，特别是不产生对于本发明的实施例的定位、取向或使用的限制。
98.现在参考图1，图1是根据本发明的实施例的医疗程序的示意图。在由专业人员22执行的程序期间，专业人员使用外科手术导航系统20，该外科手术导航系统20帮助专业人员执行该程序。外科手术导航系统20包括处理器26，处理器26操作系统的元件，并且处理器26与结合在系统中的由专业人员22佩戴的增强现实组件24通信。虽然组件24可以被结合佩戴到专业人员22身上的多个不同的保持结构中，但是在本描述中，保持结构被假设为类似于一副眼镜。增强现实领域的普通技术人员应意识到其他可能的结构，例如将增强现实组件结合到集成到由系统20的用户佩戴的头盔中的平视显示器中，并且所有这些结构都被假设为包括在本发明的范围内。
99.在一个实施例中，假设处理器26被结合在独立计算机内，并且处理器典型地与系统的其他元件(包括组件24)无线通信，如图1所示。可替代地或附加地，处理器26可以使用光缆和/或导电电缆进行通信。在另外的替代实施例中，处理器26集成在组件24内，或者集成在组件的安装中。处理器26典型地能够访问数据库38，在数据库38中存储有由系统20使用的图像、其他视觉元素和任何其他类型的数据，包括计算机代码。使处理器26能够操作系统20或组件24(或两者)的软件可以例如通过网络以电子形式下载到处理器或数据库38。可替代地或附加地，软件可以在非暂时性有形介质(例如光学、磁性或电子存储介质)上提供。
100.除其他外，组件24包括图像捕获装置72(在本文也称为照相机72)，图像捕获装置72具有视场74。照相机72可以被配置为捕获可见光谱、非可见光谱或两者中的图像。下面描述系统20、处理器26和装置72的组件24和功能。benishti等人的美国专利9,928,629中描述了类似于增强现实组件24的组件及其操作，该美国专利的公开内容通过引用并入本文。
101.在此例示的医疗程序在患者30身上执行，并且在该程序的初始阶段期间，专业人员22在患者背部上做出切口32。然后，专业人员将棘突夹具42插入到切口中，使得夹具的相对钳口位于棘突的相对侧上。专业人员调整夹具42以夹紧由专业人员选择的患者的一个或更多个棘突。
102.专业人员将对准目标44附接到夹具的基部94，当目标附接到基部时，目标作为患者标记物40操作。因此，患者标记物40包括联接到基部94的对准目标44。如下所述，患者标记物40供系统20用于在医疗程序期间确定患者30的定位和取向。
103.图2是示出根据本发明的实施例的组件24的示意图。如上所述，作为示例，组件24被配置成为一副安装在框架54上的眼镜50。
104.至少一个图像捕获装置68或72附接到框架54。典型地，装置68包括被配置为捕获由专业人员的眼睛观察的场景的图像(包括标记物40在可见光谱中的图像)的照相机。
105.如上所述，组件24包括照相机72，照相机72被配置为捕获组件24前面的场景的元素(包括标记物40)的图像。该图像由投射仪73投射出的射线产生，该射线在照相机72检测到的光谱中。投射仪73位于照相机72附近，使得来自投射仪的已经被反射回的射线被照相机72捕获。该照相机典型地具有被配置为阻挡其他射线(例如由手术灯投射出的射线)的带通滤波器。典型地，照相机72和投射仪73在光谱的非可见区域中(例如在近红外光谱中)操作。如下所述，典型地，从标记物40接收至少一些回射的射线，并且处理器26使用由照相机72从接收的射线产生的标记物的图像来跟踪标记物，并因此跟踪患者30的定位和取向。通过跟踪患者30的定位和取向，处理器能够向组件24中的专业人员22呈现与医生对患者的实际视线正确配准的患者图像(例如，计算机化断层扫描)。根据一些方面，照相机72可以在眼
镜50的两个镜片之间安装在框架54上。根据一些方面，投射仪73可以包括两个或更多个投射仪。根据另一示例性实施例，组件24仅包括一个捕获装置，例如照相机72，其被配置为在光谱的非可见区域中(例如在近红外光谱中)操作。然后，照相机72可以被配置为捕获由专业人员的眼睛观察的场景的图像，包括标记物40在非可见光谱中的图像。根据一些方面，照相机72和两个投射仪73可以在眼镜50的两个镜片之间安装在框架54上。可以在照相机72的每一侧上各安装一个投射仪73。
106.除了关于图1和图2所示和描述的，捕获装置68和/或72和投射仪73可以相对于框架54安装或定位在其他位置上或布置成其他构型，并且可以由本领域技术人员实践、实施或设想。
107.图3示意性地示出了根据本发明的实施例在夹具42已经被插入患者30体内和在患者30体内调整之后的情况。然后将目标44附接到夹具的基部94，从而形成标记物40。该图示出了夹具42已经被附接成夹紧患者30的骨骼21，具体地夹紧患者的脊柱的椎骨的棘突25。在附接之后，对准目标44位于患者体外。如图3所示，示例性夹具42包括从夹具的钳口内部地突出的齿，这些齿有助于夹具牢固地夹紧棘突。下面参照图4a-图4e更详细地描述标记物40的示例性构型。
108.图4a是根据本发明的实施例的标记物40的示意性透视图，并且图4b-图4e是本发明的实施例的标记物的不同取向的示意性视图。如上所述，通过将对准目标44附接到夹具42的基部94来形成标记物40。夹具描述如下。
109.示例性夹具42包括位于夹具的下区部中的一对钳口90、92。钳口在夹具的上区部中联接到夹具基部94，基部包括钳口调节机构96。在本文描述的实施例中，钳口92固定到基部94，并且钳口90通过围绕铰接销98旋转而相对于钳口92移动。钳口调节机构96包括调节螺钉100，该调节螺钉100通过控制杆102联接到钳口90，使得螺钉的旋转导致钳口90接近钳口92或退离钳口92。因此，专业人员22能够通过旋转螺钉100使夹具42的钳口夹紧或释放骨骼，例如棘突25。铰接销98限定铰接轴线106，钳口90围绕该铰接轴线旋转，并且每个钳口90、92基本上平行于铰接轴线。
110.为了清楚起见，在本文的描述中，作为示例，假设标记物40的元件参考xyz正交轴组，其原点在铰接销98的中心处。xyz轴组在图4a中示出，其中假设y轴对应于铰接轴线106，x轴与包括钳口90和92的平面正交，并且z轴与x轴和y轴正交。
111.对准目标44包括目标区域120和插座124，目标区域和插座通过连接杆46固定地连接在一起。对准目标44及其部件目标区域120和插座124大致是平面的，在本文称为xy平面，因为它们被假设处于平行于x轴和y轴的平面中。本发明的实施例测量对准目标44相对于夹具42的取向角度，使得从插座的中心130到目标区域的中心134绘制并从该中心130和中心134延伸出的线126在本文被假设为指示对准目标44的取向方向。
112.举例来说，目标区域120近似为矩形并且包括光学元件138。元件138以三维(3d)图案布置，没有对称的旋转轴线(除了用于旋转360
°
的普通对称轴线之外)，也没有对称的镜像平面，使得元件的图像能够明确确定目标区域的位置和取向。元件138典型地是回射器。根据一些方面，元件138被布置成二维(2d)图像。pct专利申请wo2019211741a1中描述了具有类似于本文的布置的光学元件布置的实体，该专利申请通过引用并入本文。
113.如上所述，插座124大致是平面的，并且假设限定通过插座中心130并与xy平面正
交的轴线152。在插座中心130位于z轴上的情况下，轴线152与z轴重合，如图4a所示。插座124包括围绕轴线152对称分布的四个基本上相似的孔150。插座124包括中心孔口156，并且螺钉154被配置为穿透该孔口并将插座连接到夹具基部94的上表面170，如图4c的引出图所示。一旦连接，则包括通过中心孔口156与表面170正交的轴线的基部轴线对应于轴线152。
114.表面170是xy平面的，平行于xy平面，并且包括围绕z轴对称分布的四个突起174。在表面中存在孔178，以提供接近调节螺杆100的途径，并且选择孔150的定位，使得不管目标44的取向如何，都可以通过孔150中的一个获得接近螺钉100的途径。在表面170中还存在成形的凹口182，凹口182包括弧形部186，该凹口成形为接受彩色或回射插入物160。
115.还如图4c所示，插座124包括平面下表面190，在该平面下表面190内嵌入四个凹陷部194，这四个凹陷部194围绕插座中心孔口156对称分布，并配置为与突起174配合。表面190被圆形壁196包围。多个弧形部198从表面190延伸，这些弧形部也围绕插座中心孔口156对称分布，并被配置为与凹口182的弧形部186配合。
116.图4b-图4e示出了当用螺钉154将目标连接到夹具以使得插座124与基部94配合时示例性对准目标44能够与夹具42形成的四种不同的离散取向。假设夹具的正y轴对应于0
°
的取向，并且这些取向被测量为从y轴绕z轴的顺时针旋转，那么图4b、图4c、图4d和图4e分别对应于具有0
°
、90
°
、180
°
和270
°
的离散取向的目标。在每个取向处，弧形部198与弧形部186配合，突起174与凹陷部194配合，并且壁196与基部94的外圆形边缘配合，该配合确保插座124相对于z轴居中。
117.如图4b-图4e所示，在每个取向处，插入物160通过孔150中的一个可见，并且可见的插入物充当取向的光学指示器162。在系统20的操作期间，处理器26计算指示器162和中心134之间的有向线段的坐标，该坐标充当取向度量。对于每个取向，存在唯一的有向线段，即唯一的取向度量，使得处理器26能够使用计算的坐标作为取向指示器。
118.下面的表i示出了针对目标44的示例性四个取向中的每一个的有向线段的坐标，即取向度量。(为了清楚起见，下面表i和表ii被绘制成二维系统，并且经必要的修改后可以适于三维或更高的系统。)坐标的计算假设指示器162位于以插座120的中心130为中心的圆半径r上，并且在中心130和中心134之间存在间隔d。
[0119][0120]
表i
[0121]
如本文所描述的，标记物40用于通过跟踪目标区域120的位置来跟踪患者30(典型地，患者的骨骼)相对于组件24的位置。由于目标区域的位置相对于标记物40所夹持的患者
的骨骼是固定的，因为标记物是不可弯曲的，所以可以通过跟踪目标区域并且通过添加固定的调整向量(因目标区域和骨骼的不同物理位置)来完成对患者的骨骼的跟踪。
[0122]
此外，由于目标区域位置与取向具有一对一的相关性，并且由于不同的目标区域位置彼此处于已知的几何关系，因此这些几何关系可以被预编程为取向变化向量，并用于在目标区域取向改变时继续跟踪患者。
[0123]
例如，如果目标区域120与插座124的距离为d，那么对于取向0
°
、90
°
、180
°
和270
°
(如图4b、图4c、图4d和图4e所示)，目标区域位置可以分别由二维有序对(0，d)、(d，0)、(0，-d)和(-d，0)表示。如果初始目标区域处于0
°
取向，那么与其他三个取向的几何关系(即取向变化向量)在表ii中给出：
[0124]
新取向取向变化向量(从0
°
取向)90
°
(d,0)-(0,d)＝(d,-d)180
°
(0,-d)-(0,d)＝(0,-2d)270
°
(-d,0)-(0,d)＝(-d,-d)
[0125]
表ii
[0126]
应当理解，表ii中呈现的三个取向变化向量不随标记物40的移动而变化。向量仅取决于目标区域的初始取向和最终取向，并因此，如上所述，可以被预编程。还应当理解，可以如表ii那样计算来自其他可能的初始取向(90
°
、180
°
和270
°
)的三个取向变化向量的集，并且也可以编程。
[0127]
如下面进一步解释的，在本发明的实施例中，当目标区域取向改变时，处理器将适当的取向变化向量添加到患者标记物的初始跟踪向量。这使得能够通过标记物连续跟踪患者，而无需重新配准标记物。
[0128]
图5是描述根据本发明的实施例的标记物(例如标记物40)在上述医疗程序中的使用的流程图。
[0129]
在初始步骤200中，专业人员22通过旋转螺钉100将夹具42或任何其他患者锚定装置附接到患者30的骨骼，本文假设包括患者的棘突25。
[0130]
在目标附接步骤204中，专业人员将对准目标以特定取向附接到患者锚定装置。对准目标包括指示标记物当前取向的光学指示器。例如，通过将插座124与夹具基部94的表面170对准，并拧紧螺钉154，对准目标44可以附接到夹具。应当理解，附接取向是图4b-图4e所示的四个取向之一，使得在附接之后，插入物160通过孔150中的一个可见，并且用作光学指示器162。
[0131]
上面参考表i描述的r和d的值以及用于目标的取向的取向度量的集可以被输入到处理器26或由处理器26访问。此外，上面参照表ii描述的取向变化向量坐标的集也可以被输入到处理器或由处理器访问。
[0132]
在图像采集步骤208中，经由头戴式组件捕获光学元件和对准标记物的光学指示器的图像。参照图1和图2，例如使用照相机72和/或一个或更多个装置68捕获目标区域120的光学元件138和指示器162的图像。可选地，图像可以包括患者30的骨骼或者靠近骨骼的区域，例如切口32和/或在靠近骨骼或对准目标44的区域中导航的工具。工具可以安装有工具标记物或包括工具标记物。然后可以经由工具标记物和对准目标(患者标记物)相对于患者识别工具定位。
[0133]
在分析步骤212中，处理器分析所采集的图像以识别对准目标和/或找到对准目标的定位，包括取向和位置。
[0134]
例如，处理器分析所采集的图像以识别和/或找到目标区域120的定位，包括取向和位置。在本文，作为示例，假设目标区域的位置对应于中心134。一旦已经找到目标区域定位，处理器就可以例如通过捕获目标区域的图像(例如每隔预定的时间间隔一次)来启动对目标区域的跟踪。
[0135]
处理器还识别所采集的图像中的对准目标的光学指示器。例如，处理器26可以在图像中找到指示器162的位置。根据两个位置的坐标，处理器计算连结这些位置的取向度量(如表i中所示)的坐标，并且根据步骤204中存储的度量，识别步骤204的取向。
[0136]
在调整步骤216中，处理器利用在步骤208中采集的图像(例如骨骼的图像、靠近骨骼的区域的图像和/或在靠近骨骼的区域中导航的工具的图像)来在增强现实组件24中向专业人员22生成增强现实显示。专业人员调整所呈现的图像的坐标以对应于专业人员通过组件可见的实际图像，并且处理器存储调整坐标。然后，处理器将存储的调整坐标作为调整向量连同对被跟踪的区域的跟踪(在步骤212中启动)一起施加到所呈现的图像，以便在连续的基础上将所呈现的图像与患者30配准。
[0137]
只要步骤204的取向不变，处理器就继续施加存储的调整向量，该调整向量充当患者跟踪向量。应当理解，使用存储的调整向量的配准抵消了患者和组件24之间的任何相对移动。
[0138]
步骤200-216对应于导航系统20的初始设置。下面描述的步骤220-232对应于可以在使用系统20的医疗程序期间实现的流程图的步骤。
[0139]
在连续成像步骤220中，连续采集(例如，每隔预定的时间间隔一次)对准目标的图像和可选的附加感兴趣元素(例如，在程序期间使用的工具或患者身体上的感兴趣区域)的图像。例如，包括目标区域120和指示器162的目标44的图像经由组件24连续采集(可选地由处理器26控制，但不是必须的)。根据目标区域120和指示器162的图像，处理器计算取向度量。
[0140]
在判定步骤224中，处理器检查在步骤220中计算的度量是否不同于在步骤212中计算的度量，以便检查目标区域是否已经改变取向。如果判定返回否定，即取向没有变化，那么在继续步骤228，处理器继续使用现有的调整坐标，即步骤216的调整坐标。
[0141]
如果判定返回肯定，即存在取向变化，那么在更新步骤232中，处理器通过将来自步骤204的适当的取向变化向量添加到现有的调整坐标来计算更新的调整坐标。处理器在向增强现实组件24中的专业人员22呈现患者的图像(例如，靠近骨骼的区域的图像)时应用更新的坐标。
[0142]
应当理解，判定224的肯定返回典型地是由专业人员22改变对准目标的取向引起的。专业人员可以例如通过拧开螺钉154，重新对准表面170上的插座124，使得目标44处于新的取向，然后拧紧螺钉154以将目标固定在其新的取向上，来改变取向。在一些实施例中，专业人员可以暂停对目标44的跟踪，同时将目标44定位在其新的取向上。
[0143]
专业人员典型地重新定位目标44以改善对患者的部分的接近和/或改善对患者的部分的可见性。应当理解，在重新定位之后不需要重复步骤200-216，因为新的调整坐标可以根据目标44的两个取向的已知几何关系来计算。(还应理解，无论任何重新定位，调节螺
钉100总是可经由孔150中的一个接近，因为螺钉与孔对准。)
[0144]
从步骤228和232，控制返回到判定步骤220，从而在该程序期间，处理器迭代地应用步骤220-232。
[0145]
图6a-图6d是根据本发明的实施例的患者标记物240的不同取向的示意性视图。标记物240包括联接到对准目标244的夹具基部294。夹具基部294是夹具242的基部。除了下面描述的差异之外，标记物240、夹具242、基部294和目标244的操作大致类似于标记物40、夹具42、基部94和目标44的操作，并且在两种标记物中由相同的附图标记物指示的元件在结构和操作上大致相似。关于标记物40，目标244相对于夹具242具有四个不同的离散取向。用于标记物240的轴线与用于标记物40的轴线相同。
[0146]
与夹具42的夹具基部94的上表面170相比，夹具242的夹具基部294的上xy表面270的顶上有圆形转台300。四个突起304固定到转台300，围绕转台的中心对称分布，并位于平行于表面270的xy平面内。转台300包括凹部308，凹部308被配置为接受插入物260，典型地是彩色的或回射的插入物。
[0147]
关于插座124，目标244的插座224包括围绕插座的中心对称分布的四个孔250。然而，插座224比插座124小，并且不管目标取向如何，孔250都不与螺钉100对准。相反，插座224足够小，使得在至少一些目标取向上，例如图6a、图6c和图6d的目标取向上，螺钉100可从套筒外部接近。
[0148]
连接杆246将目标120连接到插座224，但典型地具有比杆46小的宽度。
[0149]
插座224具有下圆形壁316，该下圆形壁316具有配置为与转台300配合的内表面。四个夹子312设置在壁内，这些夹子围绕插座的中心对称分布，并且定位成与突起304配合。当夹子312与突起304配合时，它们保持插座224，使得壁316包围并接触转台300的外表面，并且因此将插座固定到转台。
[0150]
因为突起304和配合的夹子312对称分布，应理解，目标244可以在图6a-图6d所示的四个取向中的一个取向上与夹具242配合，并且在每个取向上，插座224的中心与转台300的中心对准。
[0151]
与标记物40(其中光学指示器162由插入物160通过孔150之一的可见性形成)不同，在标记物240中，光学指示器262包括通过三个孔250观看的插入物260，如图6a-图6d所示。
[0152]
图5的流程图的描述经必要的修改适用于标记物240。例如，指示器262的定位可以假设为三个孔260中的中心孔的定位。
[0153]
标记物40和240各自具有四个对称分布的离散取向。然而，本发明的实施例可以具有其他数量的对称分布取向，其中数量可以少至两个。
[0154]
孔150的数量对应于离散取向的数量。如指示器162所例示的，用于生成光学指示器的孔的数量可以是单个孔。可替代地，如指示器262所例示的，用于生成光学指示器的孔的数量可包括比孔的总数少至少一个的任何固定数量的孔。在这种情况下，选择和布置孔，使得当旋转时，这些孔提供每个离散取向的明确标识。
[0155]
因此，对于对应于四个离散取向的四个孔，指示器可以是两个相邻的孔，但不是彼此相对的两个孔，因为彼此相对的两个孔不能提供每个取向的明确标识。
[0156]
图7a-图7e是根据本发明的实施例的患者标记物440的不同取向的示意性视图。标
记物440包括联接到对准目标444的夹具基部494。夹具基部494是夹具242的基部。除了下面描述的差异之外，标记物440、夹具442、基部494和目标444的操作大致类似于标记物40、夹具42、基部94和目标44的操作，并且在两个标记物中的由相同的附图标记物指示的元件在结构和操作上大致相似。与标记物40(在标记物40中，目标44只能相对于夹具42进行离散取向)不同，标记物440中的目标444可以相对于夹具442进行从0
°‑
360
°
变化的多个非离散、基本上连续的取向。
[0157]
图7a-图7e已经被绘制在与标记物40相同的xyz轴组上(尽管这些轴与图4b-图4e的轴相比旋转了180
°
)，并且取向被测量为从y轴围绕z轴顺时针旋转。图7a、图7b、图7c和图7d分别对应于相对于夹具具有0
°
、90
°
、180
°
和270
°
取向的目标。
[0158]
图7e示出了具有如下相对于夹具的取向θ的目标，其中0
°
≤θ《360
°
，并且目标区域的中心点的坐标已经被标记为(dsinθ,dcosθ)其中d是目标区域中心点距z轴的距离。
[0159]
与夹具42的夹具基部94的上表面170相比，夹具基部494的上板476的上xy平面表面470是圆形的。表面470具有对称地位于表面中的中心圆形凹陷部454，并且凹陷部在其下端由内螺纹终止。表面470还具有半圆弧形式的凹陷部464，该凹陷部464以圆形表面470的中心为中心。将是半圆弧形的且典型地是彩色的或回射性的插入物460插入到凹陷部464中，并且插入物被设定尺寸为使得插入物的上表面与表面470齐平。
[0160]
目标444的插座424包括平面下表面490，该平面下表面490被圆形壁496包围，圆形壁496被配置为与板476的外圆柱形表面474配合。多个弧形部498从表面490延伸，这些弧形部498围绕插座中心孔456对称分布，被配置为与凹陷部454配合。插座424还包括半圆形孔468，该半圆形468孔与插入物460一致。
[0161]
通过将插座424配合到板476使得壁496与表面474配合并且因此使得弧形部498与凹陷部454配合，目标444联接到夹具442。一旦如此联接，则通过将螺钉472拧入内螺纹终止凹陷部454中，目标444可以在专业人员22选择的任何取向上固定地保持在适当位置。
[0162]
在程序期间，处理器26能够通过对插入物460的成像以及将成像的插入物用作取向的光学指示器462来确定目标的取向，该取向为0
°
和360
°
之间的值。在一个实施例中，处理器26通过找到通过孔468可见的插入物的部分以及可见插入物的位置来确定取向。
[0163]
在本发明的实施例中，该部分可以包括插入物的部分区域，或者可替代地或附加地，包括插入物的部分线性尺寸(fractional linear dimension)，例如弧长。在一些实施例中，部分线性尺寸可以使用游标卡尺来测量。
[0164]
因此，图7a示出了通过孔可见的插入物的最大值，对应于0
°
的取向，并且图7c示出了通过孔可见的插入物的最小值，对应于180
°
的取向。图7b(对应于90
°
的取向)示出了插入物的一半可见，可见的一半位于x轴下方，并且图7d(对应于270
°
的取向)示出了插入物的一半可见，可见的一半位于x轴上方。
[0165]
用于从成像的插入物确定目标的取向的其他方法，例如通过找到成像的插入物的端点的坐标以及图像上的中间点的坐标，将是明显的，并且所有这些方法都被假设包括在本发明的范围内。
[0166]
在程序期间，处理器26根据成像光学指示器462确定目标444的取向，如上所述。下面的图8的流程图描述了处理器如何在程序期间使用取向的值。
[0167]
图8是描述根据本发明的实施例的在上述医疗程序中的标记物(例如标记物440)
的使用的流程图，并且图9是解释流程图的一些步骤的图。
[0168]
其中夹具442附接到患者的骨的初始步骤600基本上类似于上述初始步骤200。
[0169]
在附接步骤604中，专业人员22将插座424以目标444到夹具442的任何方便取向附接到基部494。专业人员使用螺钉472将目标固定到夹具基部。
[0170]
成像步骤608基本上类似于上述步骤208。
[0171]
在分析步骤612中，处理器分析指示器462的图像，如上文参考图7e所述，以确定目标相对于夹具42的取向角度θ。此外，处理器根据在步骤608中采集的区域的图像计算目标区域120的位置坐标。
[0172]
调整或配准步骤616基本上与上面针对步骤216所描述的相同。因此，在步骤616中，所呈现的图像的坐标被调整或配准以对应于专业人员通过增强现实组件24可见的实际图像。处理器26存储调整坐标，并将所存储的坐标作为调整向量应用，以便与患者30一起配准和跟踪所呈现的图像。
[0173]
步骤600-616对应于标记物440的导航系统20的初始设置。下面描述的步骤620-632对应于可以在使用系统20的医疗程序期间实现的流程图的步骤。
[0174]
在连续成像步骤620中，采集(例如每隔预定的时间间隔一次)目标444的图像(包括目标区域120和指示器462的图像)。可选地，还可以采集患者30的图像。由指示器462的图像，处理器计算目标区域120相对于夹具的取向角度θ。
[0175]
在判定步骤624中，处理器检查在步骤620中计算出的角度是否不同于在步骤612中计算出的角度，以便检查目标区域是否已经改变取向。如果判定返回否定，即取向没有变化，那么在继续步骤628，处理器继续使用现有的调整坐标，即步骤616的调整坐标，作为调整向量。
[0176]
如果判定624返回肯定，即存在取向变化，那么在更新步骤632中，处理器计算要添加到现有调整向量的取向变化向量，以使处理器能够保持患者30的图像与患者的配准。
[0177]
图9是示出根据本发明的实施例的处理器如何计算取向变化向量的示意图。具有长度d的线段pa表示调整目标444的初始取向，其中a是区域120的中心，并且θ1是中心的取向，在步骤612中测量这两个值。a的坐标为(dsinθ1,dcosθ1)。
[0178]
具有长度d的线段pb表示调整目标444的后续取向，其中b是区域120的中心，并且θ2是中心的取向，在步骤620中测量这两个值。b的坐标为(dsinθ2,dcosθ2)。
[0179]
处理器26按照b的坐标与a的坐标之间的差计算取向变化向量[ab]，如等式(1)所示：
[0180]
[ab]＝(d(sinθ
2-sinθ1),d(cosθ
2-cosθ1))
ꢀꢀꢀꢀꢀꢀ
(1)
[0181]
返回到图8的流程图，在步骤632中，处理器将根据等式(1)所描述的计算出的取向变化向量添加到现有的调整向量。
[0182]
从步骤628和632开始，控制返回到成像步骤620，随后是判定步骤624，使得在该程序期间，处理器迭代地应用步骤620-632。
[0183]
判定624的肯定返回典型地是由专业人员22通过先松开然后再拧紧螺钉472来改变目标444的取向引起的。在一些实施例中，专业人员可以暂停对目标444的跟踪，同时将目标定位在新的取向上。应当理解，在任何重新定向之后，不需要重复步骤600-616，因为通过迭代步骤620-632，处理器继续正确地将患者30的任何采集的图像与患者配准。
[0184]
根据一些方面，本文公开了一种患者标记物，其包括对准目标和标记物基部，对准目标和标记物基部可以经由锚定装置锚定到患者。对准目标联接到标记物基部。对准目标被配置为围绕标记物基部的轴线旋转。对准目标包括光学指示器，光学指示器指示对准目标围绕标记物基部轴线的取向角度。患者标记物还包括锚定接口。锚定接口联接到标记物基部。根据一些方面，标记物基部包括锚定接口。对准目标可以包括被配置为可旋转地配合到目标基部的插座。患者标记物被配置为以固定的方式经由锚定接口安装在患者锚定装置上，例如，安装在锚定装置的基部上，并且使得标记物基部轴线与锚定装置基部轴线(例如，夹具基部轴线)对准。光学指示器例如可以是光学指示器162、262或462的形式，并且可以被配置为根据光学指示器162、262或462操作，如相应地在图4a-图4e、图6a-图6d和图7a-图7e中所描述的以及参照这些图所描述的。对准目标可以被配置为围绕标记物基部的轴线旋转，例如根据在图4a-图4e、图6a-图6d和图7a-图7e中所描述的以及参照这些图所描述的旋转机构。本领域技术人员应理解如何在患者标记物中实施用于光学指示器的不同机制和用于对准目标的不同旋转机制，包括本文公开的那些机制，该患者标记物包括联接到标记物的基部的可旋转对准目标。上面的描述解释了例如光学指示器(诸如指示器162)如何可以与对准目标44的光学元件138一起用于找到对准目标围绕对准目标所连接的基部的轴线的取向角度。基部可以是标记物基部或锚定装置基部，例如夹具基部。应当理解，光学元件138识别对准目标。
[0185]
在本发明的一些实施例中，专业人员22在上述医疗程序中使用外科手术工具(图1)。工具具有在预定义的位置连接到工具或与工具集成的工具标记物，并且增强现实组件(例如，增强现实组件24)被配置为能够跟踪(例如，由处理器26跟踪)工具顶端的定位。在这些实施例中，代替使用光学指示器(诸如光学指示器162)来识别对准目标的取向角度，专业人员22可以使用工具来找到角度，如下所述。
[0186]
患者锚定装置或标记物基部可以包括固定的工具点(在下文也将被称为“工具点”)。工具点位置被配置为相对于锚定装置且因此相对于患者固定。例如，固定的工具点可以连接到锚定装置的基部。通常，其上安装有工具标记物的工具在其用于医疗程序中之前经由增强现实组件进行校准。在校准过程中，确定工具标记物和工具的顶端之间的空间比率，例如工具标记物(例如，工具标记物上的回射预定义点)和工具顶端之间的向量。专业人员可以用校准工具的顶端触碰固定的工具点，同时患者标记物的对准目标相对于锚定装置定向在特定的取向上。工具标记物和定向的患者标记物的图像由增强现实组件的捕获装置捕获。固定的工具点相对于对准目标的位置由处理器(诸如处理器26)基于图像来确定。随后，可以确定对准目标相对于锚定装置以及因此相对于患者的取向。根据一些方面，专业人员可以由增强现实组件(例如，由处理器26执行的软件)指导用工具的顶端触碰固定的工具点。根据一些方面，对准目标具有多个预定义取向，并且在每个取向上对准目标和固定的工具点之间的向量被预先计算。在这种情况下，可以确定对应于目标对准的每个预定义取向的空间区域，并将其用于确定对准目标的取向，例如，代替对准目标位置的精确计算。如上所述，捕获装置连续捕获感兴趣区域(包括患者标记物和工具标记物)的图像。对于经由捕获装置捕获的每个图像，处理器可以检查工具顶端是否基本上位于与可能的对准目标取向相对应的可能的工具点位置处，以识别工具顶端对工具点的触碰。在一个或更多个后续图像中识别特定的这种位置可以确定对准标记物的取向。
[0187]
经必要的修改，本领域普通技术人员将能够使本描述适用于对准目标的各种构型(包括目标44、244和444)。
[0188]
还应当理解，本发明的实施例可以测量(例如0
°
、90
°
、180
°
或270
°
的)取向的离散变化，或者0
°
和360
°
之间的基本上任何角度的取向的连续变化。
[0189]
应认识到，以上描述的实施例是通过示例的方式列举的，并且本发明不限于上文中已经特别示出和描述的那些。更确切地，本发明的范围包括在上文中所述的各种特征的组合和子组合，以及本领域中的技术人员在阅读了前述描述时将想到的且在现有技术中未公开的其变形和修改。