一种手术导航系统和确定兴趣点在坐标系中位置的方法与流程

一种手术导航系统和确定兴趣点在坐标系中位置的方法
1.本技术要求于2020年12月4日提交的美国临时专利申请第63/121,413号的优先权，该申请的全部内容通过援引并入本文。
技术领域
2.所描述的实施方式涉及医疗装置领域，特别是手术导航系统领域。


背景技术：

3.在典型的手术导航系统中，立体位姿追踪子系统动态地追踪与被导航的工具刚性连接的光学标记的位姿。在光学标记的3d坐标系中被追踪的工具的尖端位置是使用称为“工具尖端校准”的测量方法获得的。在典型的校准系统中，工具尖端的校准是通过要求用户将工具尖端压靠在由位姿追踪子系统同时追踪的校准装置的表面特征(诸如钻孔、凹槽或凹坑)上来完成的。该表面特征具有导航系统已知的位置和形状(例如，u.s.7,166,114、u.s.2003/0040879)，其然后用于计算尖端位置。替代地，指示用户围绕由表面特征固定的工具尖端位置移动工具，并且系统通过从测量移动来估计该固定的位置来计算工具尖端位置。这些校准方法中断手术工作流程，可能由于用户错误而引入不准确，并且需要额外的准备步骤，诸如校准装置的消毒。
4.此外，校准装置被设计用于针对特定尖端形状和尖端上或尖端内的特定兴趣点(poi)，以及因此可精确校准的工具尖端的范围受到限制。


技术实现要素：

5.本文描述的各种实施方式总体上涉及用于在手术工具上、内部或附近定位兴趣点(poi)的系统和方法，目的是提供导航指导以在手术期间操纵该工具。用于在手术工具上定位兴趣点的实例手术导航系统包括：
6.处理器；
7.手术工具，所述手术工具在所述手术工具的3d坐标系(工具坐标系)中具有兴趣点(poi)；
8.校准成像装置，所述校准成像装置被配置为捕获手术工具表面的一部分的图像，所述校准成像装置具有使得所述手术导航系统的处理器能够将图像中的2d位置映射到所述成像装置的3d坐标系(图像坐标系)中的光投影线上的校准数据；
9.其中所述处理器被配置为：
10.确定所述图像坐标系与所述工具坐标系之间的映射；以及
11.基于所述图像以及所述工具坐标系与所述图像坐标系之间的所述映射来确定所述poi在所述工具坐标系中的位置。
12.在任一实施方式中，为了确定poi在工具坐标系中的位置，所述处理器可以进一步配置为：
13.基于所述图像中所述工具表面的所述一部分的外观识别所述图像上的poi投影位
置；
14.计算所述图像上的poi投影位置的2d坐标；
15.基于所述校准数据计算对应于所述poi投影位置的所述图像坐标系中的poi投影线；以及
16.基于至少所述poi投影线以及所述图像坐标系与所述工具坐标系之间的所述映射来确定所述poi在所述工具坐标系中的位置。
17.在任一实施方式中，所述处理器可以进一步被配置为额外地基于以下确定所述poi在所述工具坐标系中的位置：基于将所述投影线与已知所述poi位于其上的所述工具坐标系中的至少一条线或至少一个表面相交来选择所述poi投影线上的位置。
18.在任一实施方式中，所述至少一条线或至少一个表面可以包括工具尖端旋转轴线，并且所述处理器可以进一步被配置为通过计算所述poi投影线与所述工具尖端旋转轴线之间的相交位置来选择所述poi投影线上的所述位置。
19.在任一实施方式中，所述手术工具的所述表面可以包括患者接触部分，并且所述处理器可以进一步被配置为获得所述患者接触部分的形状参数。
20.在任一实施方式中，确定poi在所述工具坐标系中的位置可以包括：
21.第二校准成像装置，所述第二校准成像装置从与第一图像不同的视角捕获所述手术工具表面的所述一部分的第二图像，所述第二校准成像装置具有使得所述处理器能够将所述第二图像中的2d位置映射到第二图像坐标系中的投影线上的第二校准数据，所述第二图像坐标系为所述第二成像装置的3d坐标系；
22.其中所述处理器可以进一步被配置为：
23.确定所述第二图像坐标系与所述工具坐标系之间的映射；
24.基于所述第二图像中所述工具表面的所述一部分的外观识别所述第二图像上的第二poi投影位置，计算所述第二图像上的第二poi投影位置的2d坐标；
25.基于所述第二校准数据，计算对应于所述第二poi投影位置的所述第二图像坐标系中的第二poi投影线，以及
26.通过计算所述poi投影线与所述第二poi投影线之间的相交位置确定所述poi在所述工具坐标系中的位置。
27.在任一实施方式中，所述处理器可以被配置为基于所述手术工具表面的所述一部分的所述图像确定所述图像坐标系和所述工具坐标系之间的映射。
28.在任一实施方式中，所述成像装置可以进一步包括被配置为捕捉所述手术工具表面的所述一部分的多个图像，所述多个图像中的每个图像是从不同视角拍摄的；以及所述处理器可以进一步被配置为，针对所述多个图像中的每个图像，以：
29.基于所述多个图像中的所述图像中的所述工具表面的所述一部分的外观识别所述图像上的所述poi投影位置；
30.计算所述图像上的poi投影位置的2d坐标；
31.基于所述校准数据，计算对应于所述图像上的所述poi投影位置的所述图像坐标系中的poi投影线，以及
32.通过计算所述poi投影线中的每个之间的相交位置来确定所述poi在所述工具坐标系中的位置。
33.在任一实施方式中，所述校准成像装置可以被配置为捕获所述手术工具表面的所述一部分的多个图像，所述多个图像中的每个图像具有所述图像坐标系和所述工具坐标系之间不同的映射，并且所述处理器可以进一步被配置为：
34.基于所述每个图像的映射，计算所述多个图像中每个图像中的工具表面投影轮廓搜索区域，每个工具表面投影轮廓搜索区域具有多个像素值；
35.对齐所述多个图像中的所述工具表面投影轮廓搜索区域；以及
36.基于组合所述对齐工具表面投影轮廓搜索区域中的所述像素值来计算所述poi投影位置，使得对应于对齐边缘的像素位置与对应于非对齐边缘的像素值是可区分的。
37.在任一实施方式中，所述处理器可以进一步被配置为：
38.基于由所述手术工具限定的空间区域选择所述工具坐标系中的第一位置和第二位置；
39.将所述工具坐标系的所述第一位置和所述第二位置映射到所述图像；
40.在矩形网格中对所述图像重新采样以形成重新采样的图像，所述矩形网格具有行和列，其中所述第一和第二位置位于相同的行或列上；
41.使用图像处理以定位所述图像坐标系中重新采样的poi投影位置的2d坐标；
42.将所述重新采样的poi投影位置的所述2d坐标映射到所述图像；以及
43.计算所述图像上的poi投影位置的2d坐标。
44.在任一实施方式中，所述处理器可以进一步被配置为：
45.将所述poi的所述位置存储在计算机可读存储器中，以及
46.在以一定时间间隔的多个时间期间，在以所述时间间隔的多个时间中的每一个时间，所述处理器被配置为：
47.操作所述手术导航系统以确定所述图像坐标系与所述工具坐标系之间的映射；以及
48.操作所述处理器以基于所述图像坐标系与所述工具坐标系之间的所述映射确定是否更新存储的poi位置。
49.一种操作手术导航系统以在确定兴趣点(poi)在手术工具的3d坐标系(工具坐标系)中的位置的实例方法，包括：
50.使用校准成像装置来捕获手术工具表面的一部分的图像，所述校准成像装置具有使得所述手术导航系统的处理器能够将图像中的2d位置映射到所述成像装置的3d坐标系(图像坐标系)中的光投影线上的校准；
51.操作所述手术导航系统以确定所述图像坐标系与所述工具坐标系之间的映射；以及
52.操作所述手术导航系统的所述处理器以基于所述图像以及所述图像坐标系与所述工具坐标系之间的所述映射来确定所述poi在所述工具坐标系中的位置。
53.在任一实施方式中，操作所述手术导航系统的所述处理器以确定所述poi的位置可以包括操作所述处理器以：
54.基于所述图像中所述工具表面的所述一部分的外观识别所述图像上的所述poi投影位置；
55.计算所述图像上的poi投影位置的2d坐标；
56.基于所述校准数据计算对应于所述poi投影位置的所述图像坐标系中的poi投影线；以及
57.基于至少所述poi投影线以及所述图像坐标系与所述工具坐标系之间的所述映射来确定所述poi在所述工具坐标系中的位置。
58.在任一实施方式中，操作所述处理器以确定所述poi在所述工具坐标系中的位置可以额外地基于以下：基于将所述投影线与已知所述poi位于其上的所述工具坐标系中的至少一条线或至少一个表面相交来选择所述poi投影线上的位置。
59.在任一实施方式中，所述至少一条线或至少一个表面可以包括工具尖端旋转轴线，并且选择所述poi投影线上的所述位置可以包括计算所述poi投影线与所述工具尖端旋转轴线之间的相交位置。
60.在任一实施方式中，所述手术工具的所述表面可以包括患者接触部分，并且所述方法可以进一步包括操作所述处理器以获得所述患者接触部分的形状参数。
61.在任一实施方式中，确定poi在所述工具坐标系中的位置可以包括：
62.使用第二校准成像装置从与第一图像不同的视角捕获所述手术工具表面的所述一部分的第二图像，所述第二校准成像装置具有使得所述处理器能够将所述第二图像中的2d位置映射到第二图像坐标系的第二校准数据，所述第二图像坐标系为所述第二成像装置的3d坐标系；
63.操作所述手术导航系统以确定所述第二图像坐标系与所述工具坐标系之间的映射；
64.操作所述手术导航系统的所述处理器以：
65.基于所述第二图像中所述工具表面的所述一部分的外观识别所述第二图像上的第二poi投影位置；
66.计算所述第二图像上的第二poi投影位置的2d坐标；
67.基于所述第二校准数据，计算对应于所述第二poi投影位置的所述第二图像坐标系中的第二poi投影线，
68.其中操作所述处理器以确定所述poi在所述工具坐标系中的位置可以进一步包括计算所述poi投影线与所述第二poi投影线之间的相交位置。
69.在任一实施方式中，确定所述图像坐标系和所述工具坐标系之间的所述映射可以基于所述手术工具表面的所述一部分的所述图像。
70.在任一实施方式中，所述方法可以进一步包括使用校准成像装置来捕捉所述手术工具表面的所述一部分的多个图像，所述多个图像中的每个图像是从不同视角拍摄的；以及
71.针对所述多个图像中的每个图像，操作所述手术导航系统的所述处理器以：
72.基于所述图像中所述工具表面的所述一部分的外观识别所述图像上的所述poi投影位置；
73.计算所述图像上的poi投影位置的2d坐标；
74.基于所述校准数据，计算对应于所述图像上的所述poi投影位置的所述图像坐标系中的poi投影线；以及
75.其中操作所述处理器以确定所述poi在所述工具坐标系中的位置可以进一步包括
计算所述poi投影线中的每个之间的相交位置。
76.在任一实施方式中，所述方法可以进一步包括使用校准成像装置来捕获所述手术工具表面的所述一部分的多个图像，所述多个图像中的每个图像具有所述图像坐标系和所述工具坐标系之间不同的映射，并且其中操作所述处理器以计算图像中的poi投影位置的2d坐标可以进一步包括操作所述处理器以：
77.基于所述每个图像的映射，计算所述多个图像中每个图像中的工具表面投影轮廓搜索区域，每个工具表面投影轮廓搜索区域具有多个像素值；
78.对齐所述多个图像中的所述工具表面投影轮廓搜索区域；以及
79.基于组合所述对齐工具表面投影轮廓搜索区域中的所述像素值来计算所述poi投影位置，使得对应于对齐边缘的像素位置与对应于非对齐边缘的像素值是可区分的。
80.在任一实施方式中，计算所述图像上的所述poi投影位置的所述2d坐标可以进一步包括操作所述处理器以：
81.基于由所述手术工具限定的空间区域选择所述工具坐标系中的第一位置和第二位置；
82.将所述工具坐标系的所述第一位置和所述第二位置映射到所述图像；
83.在矩形网格中对所述图像重新采样以形成重新采样的图像，所述矩形网格具有行和列，其中所述第一和第二位置位于相同的行或列上；
84.使用图像处理以定位所述图像坐标系中重新采样的poi投影位置的2d坐标；
85.将所述重新采样的poi投影位置的所述2d坐标映射到所述图像。
86.在任一实施方式中，所述方法可以进一步包括将所述poi的所述位置存储在计算机可读存储器中并且在以一定时间间隔的多个时间期间，在以所述时间间隔的所述多个时间中的每个时间：
87.操作所述手术导航系统以确定所述图像坐标系与所述工具坐标系之间的映射；以及
88.操作所述处理器以基于所述图像坐标系与所述工具坐标系之间的所述映射确定是否更新存储的poi位置。
89.下面将更详细地描述各种实施方式的这些和其他方面和特征。
附图说明
90.现在将参考附图详细描述几个实施方式，其中：
91.图1是根据至少一种实施方式的用于在手术工具上定位兴趣点的手术导航系统的实例图示；
92.图2是根据至少一种实施方式使用图1的手术导航系统拍摄的图像的实例图示；
93.图3是根据至少一种实施方式使用图1的手术导航系统拍摄的图像的另一实例图示；
94.图4是定位手术工具上的兴趣点的实例方法的流程图。
95.下面描述的附图是为了说明而非限制本文描述的实施方式的各种实例的方面和特征的目的而提供的。为了图示的简单和清楚起见，图中所示的元件不一定按比例绘制。为清楚起见，一些元件的尺寸可能相对于其他元件被夸大。应当理解，为了图示的简单和清
楚，在认为合适的情况下，附图中的附图标号可以重复以指示对应或类似的元件或步骤。
具体实施方式
96.应当理解，为了提供对本文描述的实例实施方式的透彻理解，阐述了许多具体细节。然而，本领域普通技术人员将理解，可以在没有这些具体细节的情况下实践本文描述的实施方式。在其他情况下，没有详细描述众所周知的方法、程序和部件，以免混淆本文描述的实施方式。此外，不应认为该描述和附图以任何方式限制本文描述的实施方式的范围，而是仅描述本文描述的各种实施方式的实施。
97.应当注意，程度术语诸如“基本上”、“约”和“大约”在本文中使用时意指修改术语的合理偏差量，使得最终结果不显著改变。如果这种偏差不否定它所修改的术语的含义，则这些程度术语应被解释为包括修改后的术语的偏差。
98.此外，如本文所用，措辞“和/或”旨在表示包含在内的或(inclusive-or)。即，例如，“x和/或y”旨在表示x或y或两者。作为进一步的实例，“x、y和/或z”旨在表示x或y或z或其任何组合。
99.需要说明的是，本文所使用的“耦连”一词表示两个元件可以直接相互耦连，也可以通过一个或多个中间元件相互耦连。
100.在至少一种实施方式中，本文描述的方法的方面，诸如下面参考图4描述的方法1000，可以用硬件或软件或两者的组合来实现。这些实施方式可以在可编程计算机上执行的计算机程序中实现，每个计算机包括至少一个处理器、数据存储系统(包括易失性存储器或非易失性存储器或其他数据存储元件或其组合)以及至少一个通信部件。例如但不限于，可编程计算机(以下称为数据处理器)可以是服务器、网络设备、嵌入式设备、计算机扩展模块、个人计算机、膝上型计算机、个人数据助理、蜂窝电话、智能电话设备、平板电脑、无线设备或任何其他能够被配置为执行本文描述的方法的计算设备。
101.在至少一种实施方式中，通信部件可以是网络通信接口。在其中组合元件的实施方式中，通信部件可以是软件通信接口，诸如用于进程间通信(ipc)的那些。在又其他实施方式中，可以存在作为硬件、软件及其组合实现的通信部件的组合。
102.程序代码可以应用于输入数据以进行本文描述的功能并生成输出信息。输出信息以已知方式应用于一个或多个输出设备。
103.每个程序可以以高阶进程或面向对象的编程和/或脚本语言或两者来实现，以与计算机系统进行通信。然而，如果需要的话，程序可以用汇编语言或机器语言实现。在任何情况下，该语言都可以是编译型或解释型语言。每个这样的计算机程序可以存储在通用或专用目的的可编程计算机可读的存储介质或设备(例如，rom、磁盘、光盘)上，用于当存储介质或设备被计算机读取时配置和操作计算机以进行本文描述的程序。该系统的实施方式也可以被认为是被作为配置有计算机程序的非暂时性计算机可读存储介质实现，其中如此配置的存储介质使计算机以特定和预定的方式操作以进行本文描述的功能。
104.现在参考图1，其中示出的是根据至少一种实施方式的用于确定手术工具的3d坐标系中的兴趣点(poi)的位置的系统100的实例图示。系统100包括手术工具200、校准成像装置300和处理器400。通过使用图像处理，校准成像装置300的使用可以消除手术导航系统中校准装置的需要。
105.手术工具200可以是在任何类型的手术期间使用的任何工具。在所示的实例中，手术工具200是牙科手持件。手术工具200具有带有马达212的本体210，该马达用于驱动手持件的头部内部的旋转卡盘。在至少一种实施方式中，该工具可以是另一种类型的电动工具，诸如螺丝刀或振动锯，或者是被动式工具，诸如具有锥形、圆形或球形尖端的探头或指示器。
106.手术导航系统100可以用于在手术工具200上或内部(通常在工具的患者接触表面处或附近)进行对用户的一个或多个兴趣点(poi)的校准。手术工具200的一个或多个poi可以根据工具200的期望用途而变化。例如，外科手术工具200可以具有在工具200的坐标系中具有固定旋转轴线224的可更换旋转钻头，由于对于所有旋转钻头，它相对于光学追踪器240都是固定的，因此可以在将任何钻头插入工具卡盘之前单独校准，诸如通过使用特殊的可追踪钻头。任何钻头的旋转轴线插入卡盘之前的校准可以通过任何方式进行。轴线校准的结果可以存储在处理器400的永久存储器中以供按需检索。
107.一旦钻头(drill bit)已插入卡盘中，poi将通常是沿预校准的旋转轴线的钻头尖端的位置。在至少一种实施方式中，工具200的尖端可以固定到工具200(即，不可更换)，但是尖端在工具坐标系中的位置可能已经改变，例如，因意外撞击在使用期间或在使用之间尖端弯曲。在至少一种实施方式中，工具200可以具有可重新定位的尖端，该尖端相对于工具200的坐标系沿着受限曲线或在受限区域内可移动。例如，可更换的尖端可以使用螺旋螺纹被拧到工具本体200上，使得其poi可以根据拧紧过程开始时尖端的取向和拧紧力的大小而沿着基本上圆形的路径变化。
108.在所示的实例中，工具200具有用于接收可更换钻头零件222的卡盘220。可更换钻头零件222可以是在手术期间使用的任何钻头。例如，在所示的实例中，钻头(bit)零件222是钻头(drill bit)。钻头零件222插入到卡盘220中，卡盘可以用于围绕其钻头轴线224旋转钻头零件222。钻头222具有患者接触部分226，其也可以称为工具尖端。在至少一种实施方式中，钻头222可以沿着钻头路径固定或重新定位和/或不可移除或可移除。
109.校准成像装置300可以是能够捕获手术工具200的至少一部分的图像的任何装置。例如，在图1所示的实例中，校准成像装置300是具有第一传感器310和第二传感器320的立体相机。第一传感器310和第二传感器320可以捕获从手术野(即，poi所在的空间区域)反射的光的同时投影，允许从两个视角捕获图像。与成像装置300相关联的是坐标系302，其是用于指定相对于成像装置300的本体的位置的3d坐标系。校准成像装置300包括使得能够使用在传感器310和/或传感器320中的2d像素位置处测量的光映射到图像坐标系302中的投影线的校准数据。
110.换句话说，通过处理器可以基于工具表面部分在图像中的外观来识别图像上的poi投影位置。识别图像中的poi投影位置可以基于关于其中poi230在工具坐标系202中的位置的隐式或显式假设。例如，poi位置可以通过包括但不限于以下来识别：在蓝色背景下用红点标记poi位置，其中处理器400被配置为识别图像中的颜色图案、poi附近的手术工具200的表面的投影的几何特征(诸如圆柱部分投影的平行边缘)和/或可以被训练以使得处理器400能够使用示出了工具表面的一部分并注释有poi位置的实例图像来识别poi的卷积神经网络。
111.通过使用来自多个不同视角的工具的多个图像，可以使识别更加可靠，例如通过
使用提供两个不同视角的立体相机来帮助区分工具和背景像素并减少测量噪音，如图1所示的。在至少一种实施方式中，校准成像装置300可以是单视场的并且可以具有单个镜头和单个图像传感器。如下文将进一步描述的，通过使用其中工具相对于固定背景移动的一连串的捕获图像，还可以提高区分工具和背景像素的可靠性。
112.手术工具200具有随工具200移动的3d坐标工具坐标系202。工具坐标系202可以通过使用校准成像装置300或通过任何其他方式来确定。例如，在所示的实例中，工具200具有刚性耦连到工具200的可追踪目标240，使得可追踪目标240共享工具坐标系202。在所示的实例中，可追踪目标240是具有三个光学目标242的光学标记。光学目标242可以用校准成像装置300、另一个成像装置或两者来追踪，以追踪工具坐标系202。
113.处理器400与成像装置300产生的图像数据流进行数据通信。处理器400可以是单个部件，或者可以实现为几个连接的计算元件。处理器400可以处理来自成像装置300的图像数据并且可以使用存储的校准数据来计算工具坐标系202和图像坐标系302之间的映射。成像装置300可以用于使用立体和单视场运动追踪方法的位姿追踪。在这样的情况下，校准成像装置300的图像数据流可以用于在工具坐标系202和图像坐标系302之间进行映射以及用于校准工具的poi两者，如本文所述的。
114.手术导航系统100可以用于基于识别已知poi位于其上或附近的工具200的空间区域来确定poi 230在工具坐标系中的2d位置。poi 230可以在工具200的表面之上或之内，位于工具200的可更换工具尖端222之上或之内，并且可以沿着曲线定位。例如，在图1所示的实例中，poi 230是钻头222的工具尖端226并且空间区域包括钻头轴线224，使得钻头轴线224限定直线段，其是简单曲线，poi 230必须位于其上。在另一实例中，在图3所示的实例中，poi(中心630)位于球形尖端表面222的中心。在至少一种实施方式中，钻头222可以相对于工具200重新定位。例如，一个或多个可锁定接头可用于重新定位钻头222。
115.在至少一种实施方式中，可以找到工具尖端226的可能位置的范围可以由可以在工具坐标系202中数学描述的路径或表面来限定。如上所述的，处理器400还可以基于图像中工具表面的一部分的外观来识别可能的位置。例如，poi可以位于或靠近可弯曲柄的尖端。柄的长度、形状和材料特性可以将poi所在的位置限制为工具坐标系202中的曲面，其描述子可以预先获得并存储，以及用于限制其中在2d应用poi识别的区域。该信息随后可以用于在3d中定位poi。
116.为了在图像中定位poi 230的2d坐标，基于工具表面部分在图像中的外观，可以计算对应于poi 230的像素位置。对应于poi 230的像素位置的确定可以随着工具200中使用的钻头的类型而变化。例如，当工具具有可旋转的可更换钻头时，可以使用钻头轴线224来定位对应于成像装置300拍摄的图像中的poi 230的2d坐标的像素位置。参考图2，可以基于由工具200限定的空间区域在工具坐标系202中选择第一位置512和第二位置514。在所示的实例中，第一位置512是钻头222离开卡盘220的位置，而第二位置514刚好超出其尖端需要检测的最长可能的钻头。可以将第一位置512和第二位置514从工具坐标系202映射到图像。
117.图像可以在矩形网格中重新采样以形成重新采样的poi搜索图像500。矩形网格具有行和列，其中第一位置512和第二位置514位于同一行或列上。在图2所示的实例中，第一位置512的投影在重新采样的图像500的顶部中间，并且第二位置514在该区域的底部中间。重新采样的图像500的区域的宽度可以基于要校准的钻头的大小外观范围来确定，这可以
基于与工具200一起使用的最大直径钻头的宽度以及该钻头将在校准期间呈现给成像装置300的最近距离。例如，该区域的宽度可以比在距将在其中对焦钻头的相机最短距离处的与工具200一起使用的钻头的最大宽度的外观宽几个像素。处理器400可以处理图像以定位图像坐标系302中的重新采样的poi投影位置的2d坐标并且可以将重新采样的poi投影位置的2d坐标映射到图像。
118.图像处理方法可以用于通过在与轴线224对齐的坐标和图像坐标之间的映射来在重新采样的图像500中，或替代地，在原始图像中沿钻头轴线224列(或行)定位poi 230的坐标。换句话说，在没有形成显式的轴线对齐图像的情况下可以根据需要重新采样图像。例如，图像处理方法可以包括但不限于应用使用大量钻头图像训练的卷积神经网络，在这些图像中手动标记poi，和/或边缘检测方法，该边缘检测方法依赖于绕钻头的投影外观的轴线224的近似对称以及poi 230附近的边缘的取向的变化。
119.一旦poi 230位于重新采样的图像500中，2d坐标就可以映射回完整图像并提供给处理器400以计算图像坐标系302和工具坐标系202之间的一条或多条3d投影线。基于成像装置300的校准数据，可以在图像坐标系302中计算从成像装置300到工具200上的一个或多个位置的一条或多条3d投影线。参考图1，在所示的实例中，第一传感器310将第一投影线312投影到poi 230并且将第二投影线314投影到追踪器240，而第二传感器320将第三投影线322投影到poi 230并且将第四投影线324投影到追踪器240。
120.手术导航系统100可以使用第一投影线312和第三投影线322来定位工具坐标系202中的poi 230的3d坐标。在图1所示的实例中，第二投影线314和第四投影线324，任选地与其他光学目标的相似投影线一起，可以用于定位三个或更多个光学目标242的位置以计算追踪器240的位姿，从而允许手术导航系统100在工具坐标系202和图像坐标系302之间映射。一旦计算出工具坐标系202和图像坐标系302之间的坐标映射，然后成像装置300的投影线可以被映射到两个坐标系中的任何一个中并且在各自的坐标系中相交以确定poi 230的位置。
121.在至少一种实施方式中，可以使用从不同位置的多个成像装置投影的不同视角来进行追踪。例如，单独校准成像装置可以用于通过在其坐标系302中追踪成像装置300来确定图像坐标系302和工具坐标系202之间的坐标映射，而成像装置300可以用于定位工具200上的poi 230。在至少一种实施方式中，工具200的追踪可以通过非光学方法来进行。例如，可以使用电磁追踪系统来进行工具200的追踪。
122.poi 230在工具坐标系202中的位置的计算可以基于第一投影线312、第三投影线322和/或已知其中poi 230位于其上的工具坐标系202中的空间区域。其中poi在工具坐标系202中所在的空间区域可以包括工具坐标系202中poi 230沿其驻留的线或表面。例如，在图1所示的实例中，空间区域可以包括钻头轴线224，其包含poi 230，因为轴线224延伸通过工具尖端226并且poi 230位于工具尖端226处。可以使用一个或多个投影线和工具尖端轴线224之间的相交位置来计算3d中poi的位置。在图1所示的实例中，轴线224可以与第一投影线312和第三投影线322中的一个或两个相交以定位投影位置。
123.在至少一种实施方式中，可以使用两条相交线来定位poi 230。例如，第一投影线312和第三投影线322可以用于在poi 230处相交，而不使用钻头轴线224。在至少一种实施方式中，单个投影线，诸如第一投影线312，可以与钻头轴线224相交以定位poi 230。在图1
所示的实例中，由于第一传感器310和第二传感器320的定位，第一投影线312和第三投影线322沿着不同的视角投影。
124.在至少一种实施方式中，可以操作校准成像装置300以捕获手术工具表面的一部分的多个图像，其中每个图像从不同的视角拍摄以使得能够通过工具坐标系中的多条投影线的相交来计算poi 230。针对多个图像中的每个图像，可以操作处理器400以基于所述图像中所述工具表面的所述一部分的外观识别所述图像上的所述poi投影位置；计算每个图像上的poi投影位置的2d坐标；以及计算对应于图像上所述poi投影位置的所述图像坐标系302中的poi投影线；以及将该投射线映射到所述工具坐标系202。然后可以通过定位来自多个图像的两个或更多个投影线之间的交点来计算工具坐标系202中的poi 230的位置。
125.在至少一种实施方式中，可以通过将工具200移动到不同的位置和/或取向以使得成像装置300捕获工具200的不同视角来获得多个图像的工具的不同视图。例如，工具200可以旋转和移动，同时成像装置300从不同的观察方向中的每一个捕获多个图像。在至少一种实施方式中，可以通过使用多个成像装置来获得多个图像的不同视角。
126.在至少一种实施方式中，多个图像的不同视角可以通过使用第二校准成像装置从与第一图像不同的视角捕获手术工具表面的一部分的第二图像来获得。第二校准成像装置可以具有第二校准数据，该第二校准数据使得处理器400能够将通过第二成像装置拍摄的图像中的2d位置映射到作为第二成像装置的3d坐标系的第二图像坐标系。
127.在至少一种实施方式中，可以获得多个图像，其中钻头222的廓形边缘的投影出现在多个不同的背景下。例如，这样的多个图像可以通过立体或按顺序的不同视频帧或两者来获得。使用工具坐标系和图像坐标系之间的映射，可以对齐其中poi被搜索的区域，例如通过它们的边界和/或通过它们的内容物的相似性最大化配准，并且重新采样了对齐的搜索区域500，使得表面轮廓的边缘228出现在所有重新采样的区域的相似位置。然后可以使用多个对齐的搜索区域来突出或抑制像素，使得可以更清楚地识别钻头222。例如，可以基于组合对齐搜索区域中的像素值来鉴别poi投影位置，使得对应于对齐边缘的像素位置与对应于非对齐边缘的像素位置更容易区分。例如，可以在多个对齐区域中对同一位置的像素值进行平均。然后对齐的图像中的静态边缘可以保持可检测的，而四处移动的边缘(即背景)可以通过与映射到其他图像中相同位置的非边缘像素进行平均而模糊掉。其他实例可以包括但不限于使用中值或总像素值，通过首先使用边缘检测算法设置二进制像素值(边缘或非边缘)以及然后计数穿过每个像素或其附近的边缘来检测每个图像中的边缘。
128.在至少一种实施方式中，可以将一个或多个校准限制应用于处理器400以限制校准何时发生。这些限制可以作为质量控制措施添加到算法中，以提高其可靠性和准确性。例如，在至少一种实施方式中，系统100可以包括计算机可读存储器并且poi 230的位置可以存储在计算机可读存储器中。在以一定时间间隔的多个时间期间，在以该时间间隔的多个时间中的每一个时间，可以操作系统100以确定图像坐标系302和工具坐标系202之间的映射。在以一定时间间隔的多个时间中的每一个时间，可以操作处理器400以基于图像坐标系302和工具坐标系202之间的映射来确定是否更新存储的poi位置。换句话说，poi在时间t的位置可以储存在计算机可读存储器中。稍后，可以操作处理器400来评估工具坐标系202和图像坐标系302之间的映射以确定是否应当重新计算和更新存储的poi位置。
129.处理器400可以通过使用一个或多个条件来确定是否更新存储的poi。例如，处理
器400可以计算对应于成像装置300和工具200之间的距离的距离值以及工具坐标系202中的线(诸如卡盘旋转轴线224)与工具上的某个位置(诸如512)与成像装置之间的一般视线之间的视角值。处理器400然后可以将距离值与距离值范围进行比较并且将视角与角度值范围进行比较。当距离值在距离值范围内且视角在角度值范围内时，可以操作处理器400以确定poi位置并更新所存储的poi位置。当距离值不在距离值范围内或视角不在角度值范围内时，不更新存储的poi位置。例如，如果工具200离成像装置300太远或太近，则工具200可能离焦。因此，系统100可以仅在工具200在一定视角和距离范围内时才能够进行校准，使得工具200更容易对焦，从而提高校准的可靠性。在另一实例中，为了确保poi定位算法仅在其中poi 230所在的空间区域在工具坐标系中可见时应用，仅当钻头轴线224被计算为近似垂直于视线时，该算法才可以被处理器400激活。即，在该实例中，仅当从侧面观察工具尖端226时才可以进行校准，如图2所示的。
130.在至少一种实施方式中，在以一定时间间隔的多个时间期间，在以该时间间隔的多个时间的每一个时间，可以操作处理器400以计算患者接触部分226的取向。当患者接触部分226的取向与作用在手术工具200上的重力方向基本上相反时，可以操作处理器400以确定poi位置并更新存储的poi位置，并且当患者接触部分226的取向与作用在手术工具200上的重力方向不基本上相反时，则不更新存储的poi位置。例如，钻头222可以沿轴线224轻微移动。当钻孔时，作用在钻头222上的力使钻头222被压入到卡盘220。当不钻孔并指向下方时，钻头222可以稍微移出卡盘220。因此，当工具尖端226向上指向时，重力可以作用在钻头222上以将其拉入卡盘220中到与钻头222压靠组织时的位置相似的位置，从而提供更可靠的校准。这些质量控制措施可以使校准更加可靠和准确。
131.额外的质量控制措施可以包括但不限于在定位图像中的尖端时考虑的图像边缘的强度和对称性的估计，和/或使用从视频流中的多个帧计算的尖端位置的统计分析以去除异常结果并平均化噪音和抖动。
132.在至少一种实施方式中，可以操作处理器400以获得患者接触部分226的形状参数。例如，可以获得钻头222的外部轮廓228的描述子。外部轮廓228可以用于提供当钻头222被卡盘220旋转时将被移除的钻头222的切割体积的形状的几何描述。换句话说，外部轮廓的描述子可以用于在手术期间向用户提供额外信息。
133.在至少一种实施方式中，固定的工具尖端的poi的位置可以存储在处理器400的永久性存储器中以允许处理器400根据需要重新校准。例如，一些工具，诸如指示器或解剖刀，具有通常在在手术期间可以弯曲的细长柄或刀片的末端的固定的尖端，使得poi 230在手术之间改变。poi 230可以在每次手术开始时重新校准以补偿poi 230在手术之间移动。先前的校准可以用作估计其中poi需要搜索的位置，以验证poi的位置没有改变，如果改变，则更新该位置。换句话说，一次计算的poi位置可以用作稍后发生的计算的poi位置的估计位置的基础。
134.参考图3，钻头222具有附连到柄的具有已知半径的基本上球形的尖端，其中poi 630位于球的中心。在操作期间，基于poi的较早的测量，球体的中心在像素610处被投影到图像600上。可以使用成像装置300和图像校准数据计算球形尖端在图像600上的投影轮廓620。通过在投影中心610附近搜索以定位实际投影中心630，可以处理图像600以确定附近圆形边缘的中心的坐标。然后可以从不同的视角重复该过程，诸如通过使用成像装置300的
两个传感器或通过在成像装置300前面旋转工具尖端。然后可以将两个或更个球体中心投影线相交以在3d中定位球体中心(poi)。
135.参考图4，其中示出了操作手术导航系统以确定poi在工具坐标系202中的位置的实例方法1000的流程图。
136.在步骤1100，校准成像装置300用于捕获手术工具表面的一部分的图像。如前所述的，校准成像装置具有校准数据，该校准数据使得手术导航系统100的处理器400能够将图像中的2d位置映射到成像装置的3d坐标系302中的投影线。
137.在步骤1200中，操作手术导航系统100以确定图像坐标系302和工具坐标系202之间的映射。该映射可以包括允许处理器400计算每个坐标系之间的位置的任何参数。例如，参数可以包括位置、距离和/或视角。
138.在步骤1300中，操作手术导航系统100的处理器400以基于图像以及图像坐标系与工具坐标系之间的映射来确定工具坐标系中的poi的位置。
139.任选地，可以操作处理器以：(i)基于所述图像中所述工具表面的所述一部分的外观识别所述图像上的poi投影位置；(ii)计算所述图像上的poi投影位置的2d坐标；(iii)基于所述校准数据计算对应于所述poi投影位置的所述图像坐标系中的poi投影线；以及(iv)基于至少所述poi投影线以及所述图像坐标系302与所述工具坐标系202之间的所述映射来确定所述poi 230在所述工具坐标系202中的位置。
140.任选地，可以操作手术导航系统100以基于以下确定所述poi在所述工具坐标系202中的位置：基于将所述投影线与已知所述poi 230位于其上的所述工具坐标系202中的至少一条线或至少一个表面相交来选择所述poi投影线上的位置。在至少一种实施方式中，poi 230在工具200的表面上可能是不可见的。例如，在图3所示的实例中，poi 230在630处的球体中心被示出，这在成像装置300拍摄的图像中将是不可见的。
141.本文仅通过实例的方式描述了各种实施方式。在不脱离仅由所附权利要求限制的本发明的精神和范围的情况下，可以对这些实例实施方式进行各种修改和变化。