提供用户指导以获得患者图像数据与手术跟踪系统之间的配准的技术的制作方法

1.本发明总体上涉及一种提供用于获得在患者图像数据的坐标系与手术跟踪系统的坐标系之间的变换的用户指导的方法。还提供了一种计算系统、一种手术导航系统和一种计算机程序产品。


背景技术：

2.一段时间以来，手术导航一直用于支持医务人员。例如，手术器械相对于患者图像数据的当前姿态的显示可以帮助外科医生将手术工具移动到患者的期望解剖位置。
3.如本领域已知的，可以通过跟踪光学或电磁手术跟踪系统来跟踪手术器械在跟踪坐标系中的当前姿态。为了确定手术器械相对于患者图像数据的当前姿态，需要在跟踪坐标系与患者图像数据的坐标系之间进行变换。这种变换有时被称为手术跟踪系统和患者图像数据之间的配准。
4.为了获得上述配准，外科医生或其他医务人员可以使用由手术跟踪系统跟踪的配准探头来采集患者的身体的表面上的一个或多个配准点。然后，可以将如此采集的配准点与患者图像数据进行比较以获得配准。
5.身体表面的某些区域比其他区域更适合采集配准点。因此，为外科医生或其他医务人员提供在患者的身体的表面上的何处采集配准点的指导，以便获得手术跟踪系统与患者图像数据之间的准确配准，将是有利的。
6.在某些情况下，避免用于提供用户指导的跟踪坐标系与患者图像数据的坐标系之间的变换可能是有利的。在某些情况下，在手术跟踪系统被激活或可用之前可能需要指导。


技术实现要素：

7.需要一种解决上述或其他问题中的一个或多个问题的技术。
8.根据第一方面，提供了一种提供用户指导以获得在患者图像数据的坐标系与手术跟踪系统的坐标系之间的变换的方法。该方法包括：获得患者的身体的至少一部分的第一患者图像数据；基于第一患者图像数据确定至少一个配准指令，所述至少一个配准指令指示相对于患者的身体的表面在何处采集至少一个配准点；获得患者的身体的至少一部分的第二患者图像数据，该第二患者图像数据已经由增强现实(ar)设备采集；确定第一患者图像数据的第一坐标系与第二患者图像数据的第二坐标系之间的第一变换；以及基于至少一个配准指令和第一变换，触发将至少一个配准指令显示在ar设备的显示器上，使得增强视图被呈现给ar设备的用户，其中，至少一个配准指令被叠加到患者的身体的至少一部分上，增强视图指导用户在何处采集至少一个配准点。
9.第一患者图像数据可以是例如已经由医学成像设备采集的(例如，术前或术中)医学图像数据。第一患者图像数据可以包括计算机断层扫描(ct)数据、磁共振(mr)数据、超声图像数据等。患者的身体的一部分可以包括身体的表面。该部分可以包括患者的面部的至
少一部分。
10.现在将描述用于确定第一变换的一个特定示例。可以基于第一患者图像数据和第二患者图像数据来确定第一变换。可以通过将第一患者图像数据与第二患者图像数据进行匹配来确定第一变换，反之亦然。可以通过将第一患者图像数据与第二患者图像数据相关来确定第一变换。可以通过将由第一患者图像数据表示的患者的身体的一部分与由第二患者图像数据表示的患者的身体的对应(例如，相同)部分进行匹配来确定第一变换。可以通过将第一坐标系和第二坐标系中的相似地标的位置相互比较来确定第一变换。用于确定第一变换的这个特定示例可能不需要将要由跟踪系统跟踪的ar设备。
11.至少一个配准指令可以包括患者的身体的至少一部分的表面的子部分的指示，至少一个配准点将在该子部分中被采集。
12.子部分可以是患者的身体的至少一部分的表面的一部分、区域或区段。子部分的指示可以包括子部分的轮廓和内容中的至少一个的可视化。
13.该方法可以包括：接收指示至少一个所采集的配准点的信息；以及处理指示至少一个所采集的配准点的信息，以获得第一患者图像数据的第一坐标系与手术跟踪系统的第三坐标系之间的第二变换。
14.指示至少一个所采集的配准点的信息可以包括至少一个所采集的配准点在第三坐标系中的位置的指示。
15.在一个示例中，指示至少一个所采集的配准点的信息已经由跟踪配准探头的手术跟踪系统采集。
16.处理指示至少一个所采集的配准点的信息可以包括：将至少一个所采集的配准点的(例如，在第三坐标系中的)位置与(例如，在第一坐标系中的)第一患者图像数据进行匹配。
17.至少一个所采集的配准点的位置可以匹配到由第一患者图像数据所描述的身体表面。身体表面可以由第一患者图像数据描述或从第一患者图像数据中提取例如为三维点云、表面或形状。第三坐标系中的至少一个配准点的位置可以匹配到第一坐标系中的表面。
18.该方法例如还包括：通过获取配准探头在第三坐标系中的至少一个位置来采集指示至少一个所采集的配准点的信息；以及通过将指示至少一个所采集的配准点的信息匹配到第一患者图像数据来确定第二变换。
19.该方法可以进一步包括：获得描述第三坐标系中的手术器械的姿态(例如，位置和取向中的至少一个)的跟踪数据；基于第一变换和第二变换，将手术器械的姿态变换到第二坐标系中；确定与手术器械在第二坐标系中的姿态相关联的至少一个导航指令；以及触发在ar设备的显示器上显示所述至少一个导航指令。
20.至少一个导航指令可以包括手术器械的类型、手术器械在第二坐标系中的位置和手术器械在第二坐标系中的取向中的至少一个的指示。
21.患者的身体的所述部分可以包括患者的面部的一个或多个部分，并且确定第一变换可以包括：将通用面部模型匹配到第一患者图像数据和第二患者图像数据中的至少一个。在这种情况下，确定第一变换可以包括：通过将通用面部模型匹配到第一患者图像数据和第二患者图像数据中的一个，确定初次变形的面部模型；以及将初次变形的面部模型与第一患者图像数据和第二患者图像数据中的另一个进行比较，以确定第一变换。通用面部
模型可以匹配到第一患者图像数据和第二患者图像数据中的一个，使得通用面部模型的多个预定义地标中的每一个都位于患者的身体的所述一部分的在第一患者图像数据和第二患者图像数据中的所述一个的对应地标上。
22.将初次变形的面部模型与第一患者图像数据和第二患者图像数据中的另一个进行比较可以包括：将由变形面部模型所识别的地标的位置与第一患者图像数据和第二患者图像数据中的另一个中的对应地标的位置进行比较。
23.在一个示例中，对应地标是患者的身体的生物特征。
24.生物特征可以是特色解剖特征、患者特定特征和患者的身体的表面特征中的至少一种。
25.通用面部模型可以是三维町变形模型(3d-mm)。通用面部模型可以与由第一患者图像数据和第二患者图像数据中的至少一个所描述的患者的身体的(例如，该)表面相匹配。
26.在第一变型例中，将初次变形的面部模型与第一患者图像数据和第二患者图像数据中的另一个进行比较包括：通过将通用面部模型或初次变形的面部模型匹配到第一患者图像数据和第二患者图像数据中的另一个，确定二次变形的面部模型；以及将初次变形的面部模型(例如，预定义地标的位置)与二次变形面部模型(例如，对应预定义地标的位置)进行比较。
27.在第二变型例中，将初次变形的面部模型与第一患者图像数据和第二患者图像数据中的另一个进行比较包括：对第一患者图像数据和第二患者图像数据中的另一个执行图像分析，以确定第一患者图像数据和第二患者图像数据中的另一个中的至少一个对应地标的位置；以及将第一患者图像数据和第二患者图像数据中的另一个中的对应地标中的至少一个的确定位置与位于第一患者图像数据和第二患者图像数据中的所述一个中的相同的对应地标上的初次变形的面部模型(例如，匹配面部模型)的多个预定义地标之一的位置进行比较。
28.该方法可以包括：确定(i)初次变形的面部模型与(ii)二次变形的面部模型或第一患者图像数据和第二患者图像数据中的另一个的比较的结果是否满足一个或多个预定义的接受标准；以及如果结果满足一个或多个预定义的接受标准，则触发显示所述至少一个配准指令。
29.一个或多个预定义的接受标准可以定义最大(例如，逐点或平均)空间偏差、最大(例如，逐点或平均)平移偏差、最大(例如，逐点或平均)旋转偏差中的至少一项。
30.在一个示例中，该方法包括：在已经触发至少一个配准指令的显示之后，指示手术跟踪系统开始跟踪。
31.该方法可以包括：响应于正在触发的至少一个配准指令的显示，指示手术跟踪系统开始跟踪。在触发要显示的至少一个配准指令之前，跟踪系统可能未激活或不可用。
32.第二患者图像数据可以指示(例如，包括、描述或组成)由ar设备的相机采集的二维图像。第二患者图像数据可能已经由ar设备的传感器(例如ar设备的相机(例如，2d相机、飞行时间(tof)相机或立体相机))采集。第二患者图像数据可以包括、描述为、包含二维图像数据、深度数据和三维图像数据中的至少一个。
33.根据第二方面，提供了一种计算系统。该计算系统包括至少一个存储器和至少一
个处理器，所述至少一个存储器存储指令，当在所述至少一个处理器上执行该指令时，该指令使所述至少一个处理器执行根据第一方面所述的方法。
34.根据第三方面，提供了一种手术导航系统。该手术导航系统包括根据第二方面所述的计算系统和至少一个选自ar设备(可选地被配置为头戴式显示器(hmd)和手术跟踪系统)的部件。手术导航系统可以被配置为使得选自ar设备和患者的身体的至少一个对象不能被手术跟踪系统跟踪。
35.根据第四方面，提供了一种计算机程序产品。计算机程序产品包括程序代码部分，该程序代码部分用于当计算机程序产品在至少一个处理器(例如根据第二方面所述的计算系统的至少一个处理器)上执行时执行根据第一方面所述的方法。计算机程序产品可以存储于一个或多个计算机可读记录介质上，例如存储在根据第二方面所述的计算系统的至少一个存储器上。
附图说明
36.本发明的进一步细节、优点和方面将结合附图从以下实施例中变得显而易见，其中：
37.图1示出了根据本发明的手术导航系统的示例性实施例；
38.图2示出了根据本发明的方法的示例性实施例；
39.图3示出了根据本发明的初次变形的面部模型的示意图；以及
40.图4示出了根据本发明的增强视图的示意性示例。
具体实施方式
41.在以下描述中，将参照附图解释一种方法和手术导航系统的示例性实施例。相同的附图标记将用于表示相同或相似的结构特征。
42.图1示出了根据本发明的手术导航系统100的示例性实施例。手术导航系统100包括增强现实(ar)设备2、手术跟踪系统4和计算系统6。
43.增强现实设备2包括被配置为采集具有第二坐标系14的图像的相机12。相机12可以被配置为采集二维图像、深度图像或三维图像。
44.增强现实设备2还包括显示器15。显示器15可以是平视显示器，例如包括作为投影表面的至少部分透明的屏幕，用于显示叠加在通过屏幕可见的对象上的可视化。或者，显示器15可以包括被配置为显示由摄像机12采集的患者的身体的图像的显示屏，该图像包括叠加在患者的身体的图像上的可视化。显示器15可以具有相对于相机12的已知的、优选固定的姿态(即，位置和取向中的至少一个)。这可以使得能够在显示器15上显示对象，其中，对象的姿态在第二坐标系中给出。即，触发在第二坐标系14中定义或与第二坐标系14相关联的信息(例如，仪器的姿态和/或叠加到患者的身体上的信息)的显示可以包括将信息从第二坐标系14变换到显示器15的使用显示器15在第二坐标系14中的已知姿态的坐标系中。在一个示例中，第二坐标系14可以对应于显示器15的坐标系。
45.例如，显示器15和相机12是相同的(例如便携式)单元的一部分。增强现实设备2可以被配置为例如呈眼镜的形式的头戴式显示器(hmd)。此类hmd的示例包括microsoft(微软公司)的hololens(全息眼镜)和hololens 2(全息眼镜2)。
46.所示示例中的手术跟踪系统4是包括电磁场发生器16的电磁跟踪系统。手术跟踪系统4可以替代地是使用用于跟踪对象的相机或立体相机的光学跟踪系统。
47.手术跟踪系统4被配置为在第三坐标系18中跟踪手术器械20。手术器械20的示例包括可用于采集配准点的配准探头、指示器、手术钻导向器、手术钻、手术凿、活检针、深部脑刺激(dbs)电极等。在所示示例中，手术器械20具有限定纵向工具轴线24的细长工具轴22，以及由用户抓握的手柄26。跟踪器28(例如使用生物相容性胶水)可移除地附接到患者的身体29的一部分。手术跟踪系统4还包括被配置为确定跟踪器28在第三坐标系18中的当前姿态的定位器30。定位器30进一步被配置为确定手术器械20在第三坐标系18中的当前姿态。所示示例中的增强现实设备2不能被手术跟踪系统4跟踪。这是因为增强现实设备没有配备与定位器30以通信的方式联接的电磁场传感器。在使用光学跟踪系统的情况下，增强现实设备2可以包括或不包括能够由光学跟踪系统跟踪的光学跟踪标记(跟踪器)。
48.计算系统6包括存储器32、处理器34和通信接口36。存储器32存储当在处理器34上执行时使处理器34执行本文所公开的方法的指令。增强现实设备2可以以通信的方式连接到计算系统6的通信接口36。或者，计算系统6可以是ar设备2的一部分。通信接口36以通信的方式连接到手术导航系统4(例如其定位器30)。注意，定位器30的功能可以由处理器34实现。即，定位器30可以是计算系统6的一部分。在一个示例性变型例中，计算系统6是手术跟踪系统4的一部分。
49.图1中还指示了具有第一坐标系39的第一患者图像数据37。可以如何使用第一患者图像数据37的细节将在下面参考图2进行描述。
50.图2示出了根据本发明的方法的示例性实施例。该方法可以由计算系统6的处理器34执行。该方法可以是计算机实现的数据处理方法。该方法不需要与患者的身体29的任何实质性物理相互作用。换句话说，该方法不包括手术步骤。
51.在步骤200中，获得患者的身体29的至少一部分的第一患者图像数据37。患者的身体29的部分可以包括患者的身体29的皮肤表面，例如在计划的手术中外科医生可见的皮肤表面。患者的身体29的部分可以包括患者头部的至少一部分，例如患者的面部。第一患者图像数据37可以包括二维医学图像数据和三维医学图像数据中的至少一个。第一患者图像数据37可以包括患者的身体29的该部分的一个或多个x射线图像。第一患者图像数据37可以包括患者的身体29的该部分的计算机断层扫描(ct)图像。第一患者图像数据37可以包括患者的身体的该部分的磁共振(mr)图像。第一患者图像数据37可以是术前图像数据。第一患者图像数据37可以从存储器32获得或经由接口36例如从图片存档和通信系统(pacs)接收。注意，可以通过医学成像设备预先执行对第一患者图像数据37的采集，并且可以不是本文所描述的方法的一部分。所获得的第一患者图像数据37可能已经由医学成像设备采集，其中，医学成像设备可以连接到pacs和/或计算系统6。
52.在步骤202中，基于第一患者图像数据37确定至少一个配准指令。可以仅基于第一患者图像数据37例如自动地确定至少一个配准指令。可以在不需要任何用户输入的情况下确定至少一个配准指令。所述至少一个配准指令指示相对于患者的身体29的表面在何处采集至少一个配准点。所述至少一个配准指令可以包括对患者的身体29的至少一部分的表面的子部分的指示，在该子部分中将采集至少一个配准点。
53.可以通过执行第一患者图像数据37的图像分析来确定子部分。可以通过识别由具
有一个或多个预定义属性的第一患者图像数据37所描述的患者的身体的表面的子部分来确定子部分。预定义属性可以包括以下中的至少一项：低机械变形性，例如由患者的身体29的表面和下面的骨骼之间的距离低于预定义的最大距离来指示；超过最小曲率的表面曲率；与预定义表面区域的表面曲率相反的表面曲率；与预定义区域(例如，邻近或围绕子部分的区域)的表面曲率偏离超过预定义量的表面曲率；与患者的身体29(的例如一部分)的剩余表面相反或偏离超过预定义量的表面曲率；与在至少一个所采集的配准点的位置处的表面曲率偏离超过预定义量的表面曲率；到至少一个所采集的配准点的超过预定义量的空间距离。用于确定至少一个配准指令的其他标准是可能的。例如，可以通过将预定义掩模与第一患者图像数据37进行匹配来确定至少一个配准指令，所匹配的预定义掩模定义患者的身体29的至少一部分的表面的子部分。可以根据2020年9月24日提交的欧洲专利申请号20198095.0中的描述来确定至少一个配准指令，该申请全文并入本文。参考所提交的该欧洲专利申请的权利要求1，图像数据可以对应于本文中所描述的第一患者图像数据37。再次参考所提交的该欧洲专利申请的权利要求1，至少一个表面点的优先级值的可视化或从优先级值导出的信息的可视化可以对应于本文中所描述的至少一个配准指令。
54.在步骤204中，获得患者的身体29的至少一部分的第二患者图像数据，该第二患者图像数据已经由增强现实(ar)设备2，例如相机12采集。第二患者图像数据可以指示(例如，描述、包括或组成)患者的身体29的至少一部分的二维或三维图像数据。可以在步骤200和/或步骤202之后或之前获取第二患者图像数据。在一个示例中，相机12采集视频图像，并且ar设备2或计算系统6通过对视频图像执行图像分析来确定在其中一个视频图像中是否描绘了人脸。以这种方式检测到人脸存在的图像然后可以用作第二患者图像数据。第二患者图像数据可以例如通过通信接口36由处理器34接收。
55.在步骤206中，确定第一患者图像数据37的第一坐标系39和第二患者图像数据的第二坐标系14之间的第一变换。如上所述，患者的身体29的所述部分可以包括患者的面部的一个或多个部分。在这种情况下，确定第一变换可以包括将通用面部模型与第一患者图像数据37和第二患者图像数据中的至少一个进行匹配。在有利的示例中，通用面部模型与已经由ar设备2的相机12采集的第二患者图像数据匹配。通用面部模型可以是可变形面部模型，特别是三维可变形面部模型。通用面部模型可以包括网格，例如由通过边而连接的节点组成。一些或所有节点可以指定预定义地标或与预定义地标相关联。
56.确定第一变换可以包括：通过将通用面部模型与第一患者图像数据37和第二患者图像数据中的一个进行匹配来确定初次变形的面部模型；以及将初次变形的面部模型与第一患者图像数据37和第二患者图像数据中的另一个进行比较以确定第一变换。在有利的示例中，通用面部模型与第二患者图像数据匹配以确定初次变形的面部模型，然后将初次变形的面部模型与第一患者图像数据37进行比较。
57.通用面部模型可以与第一患者图像数据37和第二患者图像数据中的一个匹配，使得通用面部模型的多个预定义地标中的每一个都位于患者的身体29的在第一患者图像数据37和第二患者图像数据中的一个中的部分的对应地标上。在有利的示例中，通用面部模型与第二患者图像数据匹配，使得通用面部模型的多个预定义地标中的每一个，例如节点中的每一个，都位于患者的身体29的在已经由相机12所采集的第二患者图像数据中的部分的对应地标上。
58.将通用面部模型与第一患者图像数据37和第二患者图像数据中的一个匹配可以包括：将通用面部模型与患者的身体的由第一患者图像数据37和第二患者图像数据中的一个所描述的部分的表面匹配。该表面可以由包括点云的点的三维坐标的三维点云来定义，或者由三维表面的代数或数值定义来定义。将通用面部模型与第一患者图像数据37和第二患者图像数据中的一个匹配可以包括：从第一患者图像数据37和第二患者图像数据中的一个中提取表面。例如，三维点云包括用于每个对应的地标的至少一个点。在一个示例中，通用面部模型与包含在第二患者图像数据中的一个或多个二维图像(例如与由第一图像采集单元所采集的第一二维图像和由第二图像采集单元所采集的第二二维图像)匹配，其中，第一图像采集单元和第二图像采集单元包含在相机12中。可以执行与二维图像所匹配的每个面部模型的比较以确定初次变形的面部模型。
59.通用面部模型可以定义限制通用面部模型的至少部分例如相对于通用面部模型的其他部分的变形的变形属性。变形属性可以确保变形的人脸模型仍然代表人脸的真实形式(例如，即使通用面部模型与二维图像匹配)。将通用面部模型与第一患者图像数据37和第二患者图像数据中的一个匹配可以包括：将通用面部模型与第一患者图像数据37和第二患者图像数据中的一个(例如，如所描述的患者的身体部分的表面)对齐。对齐可以包括使用对齐优化算法。在对齐之后，所对齐的通用面部模型可以变形以最小化所对齐的通用面部模型与第一患者图像数据37和第二患者图像中的一个之间的偏差。对于通用面部模型的对齐和变形，通用面部模型的预定义地标的位置可以被调整为对应于第一患者图像数据37和第二患者图像中的一个中所描述或描绘的患者的身体的表面上的对应地标的位置。对应的地标可以是患者的身体29的解剖地标、患者的身体29的特色表面特征和患者的身体29的生物特征中的至少一个。生物特征可以是患者特定的特征。因此，生物特征之间的相对位置可能因患者而异。
60.图3示出了根据本发明的初次变形的面部模型38的示意图。在该示例中，通用面部模型和初次变形的面部模型38均由十个节点和十一条边40组成。第一节点42与节点尖端相关联，第二节点44与左外眼角相关联，第三节点46与右外眼角相关联，第四节点48与左内眼角相关联，第五节点50与右内眼角相关联。每个节点42-50对应于面部模型的预定义地标并与第二患者图像数据52的对应生物特征相匹配。即，生物特征可以是外眼角、内眼角、鼻尖之类的。图3中还示出了匹配的面部模型38的预定义对称平面54，其可以额外地与第二患者图像数据52匹配，以确定或改进初次变形的面部模型38。显然，图3用于说明性的目的，并且可以使用通用面部模型或初次变形的面部模型38的其他形状和类型。
61.继续说明步骤206，在第一变型例中，将初次变形的面部模型与第一患者图像数据37和第二患者图像数据52中的另一个进行比较包括确定二次变形的面部模型。通过将通用面部模型或初次变形的面部模型38与第一患者图像数据37和第二患者图像数据52中的另一个匹配并且将初次变形的面部模型38与二次变形的面部模型进行比较来获得二次变形的面部模型。将通用面部模型或初次变形的面部模型38与第一患者图像数据37和第二患者图像数据52中的另一个匹配可以涉及，类似于以上所描述的第一匹配操作，从第一患者图像数据37和第二患者图像数据52中的另一个中提取表面，以及将通用面部模型或初次变形的面部模型38对齐和变形以表示三维表面的至少一部分的形状。注意，图3中所示的示意图及其描述可以类似地适用于如本文中所描述的二次变形的面部模型。
62.在第二变型例中，将初次变形的面部模型38与第一患者图像数据37和第二患者图像数据52中的另一个进行比较包括：对第一患者图像数据37和第二患者图像数据52中的另一个执行图像分析以确定患者的身体29的在第一患者图像数据37和第二患者图像数据52的另一个中的部分的对应地标中的至少一个的位置。在这种情况下，该方法可以进一步包括：将所确定的第一患者图像数据37和第二患者图像数据52中的另一个中的对应地标中的至少一个的位置与所匹配的位于第一患者图像数据37和第二患者图像数据之一中的相同的对应地标上的通用面部模型或初次变形的面部模型38的多个预定义地标之一的位置进行比较。
63.在有利的示例中，对可以包括患者的身体29的术前ct图像数据的第一患者图像数据37执行图像分析，以确定第一患者图像数据37中的对应地标中的至少一个的位置。这可能涉及从第一患者图像数据37中提取身体的表面并分析所提取的身体的表面的形状以识别对应地标的位置，例如鼻尖、右外眼角、左内眼角等的位置。然后，可以将在第一患者图像数据37中识别的位置和与在第二患者图像数据52中的相同地标相匹配的变形的面部模型38的预定义地标的位置进行比较。右外眼角的位置可以在第一患者图像37中识别并与通过将通用面部模型与第二患者图像数据52匹配而获得的初次变形的面部模型38的节点46的位置进行比较。左内眼角的位置可以在第一患者图像37中识别并且与初次变形的面部模型38的节点48的位置进行比较。可以对一些或所有预定义的地标或节点执行这种比较。换句话说，可以将第一患者图像数据37中的地标的多个位置与第二患者图像数据52中的由初次变形的面部模型38定义的相似地标的多个位置进行比较。换句话说，第一坐标系39和第二坐标系14中的相似地标的位置可以相互比较。
64.(多个)位置的比较可以用于确定第一变换。第一患者图像数据37中的地标的位置在第一坐标系39中给出，而在与第二患者图像数据52中的对应地标匹配之后的通用面部模型的预定义地标的位置在第二坐标系14中给出。将这两个位置相互比较可以产生第一坐标系39和第二坐标系14之间的变换。一般来说，两个坐标系39、14中的位置相互比较得越多，获得的第一变换越准确。例如，比较至少三个位置以获得可以包括平移分量和旋转分量的第一变换。可以采用点对点匹配算法来比较位置，其中点对点匹配的结果可以是第一变换。优化算法可以用于确定位置之间的最佳匹配以确定第一变换。优化算法可以是或包括迭代最近点(icp)算法。
65.再次参考图2，在步骤208中，基于至少一个配准指令和第一变换，触发将至少一个配准指令显示在ar设备2的显示器15上，使得向ar设备2的用户呈现增强视图，其中，至少一个配准指令被叠加到患者的身体29的至少一部分上。增强视图指导用户在患者的身体29的表面上的何处采集至少一个配准点。
66.如上所述，相机12和显示器15之间的空间关系可以是固定的和/或已知的。换句话说，第二坐标系与显示器15的坐标系之间的变换可以是已知的。这使得能够使用对象在第二坐标系中描述的姿态在显示器15上显示这些对象。显然，这种方法适用于要显示的任何对象、文本或指令。对象或指令的姿态可以由增强现实设备2和/或处理器34从第二坐标系14变换到显示器15的坐标系中。例如，步骤208可以包括通过使用第二坐标系与显示器15的坐标系之间的已知变换将(例如如在第二坐标系中所描述的)配准指令(的例如姿态)变换到显示器15的坐标系中而确定在显示器15的坐标系中的配准指令的姿势(即，位置和取向
中的至少一个)。
67.图4示出了根据本发明的增强视图的示意性示例。在显示器15包括至少部分透明的屏幕的情况下，ar设备2的用户可以通过该屏幕看到患者的身体29的一部分，则可以在屏幕上仅显示至少一个配准指令。在这种情况下，或者如果显示器15是平视显示器或另一种类型的半透明或全息显示器，则患者的身体29的部分可以通过增强现实设备2的显示器15可见。或者，如果显示器15包括一个显示屏幕，通过该显示屏幕，ar设备2的用户不能看到患者的身体29的一部分，则叠加到由相机12采集的患者的身体29的图像(例如包括在第二患者图像数据52中的图像)上的至少一个配准指令可以显示在屏幕上。由相机12采集的患者的身体29的实况视频可以显示在显示器15上以向ar设备2的用户提供增强视图。
68.增强视图可以包括叠加到患者的身体29的至少一部分上的至少一个配准指令，即使相机12和患者的身体29之间的相对位置在采集第二患者图像数据的时间和显示增强视图的时间之间已经改变。ar设备2或计算系统6可以(例如，连续地或周期性地)根据ar设备2相对于患者的身体29的当前姿态更新显示的增强视图。例如，周期性地执行步骤204-208。即，可以再次获得第二患者图像数据52，可以在步骤206中基于最近采集的第二患者图像数据52确定第一变换，并且在步骤208中使用的变换可以是最近确定的第一变换。替代地或附加地，该方法可以包括在ar设备2已经采集第二患者图像数据时确定ar设备2(例如，相机12)在世界坐标系中的第一姿态。该方法可以进一步包括(例如通过在世界坐标系中定位患者的身体29的部分)确定患者的身体29在世界坐标系中的姿态。这可以涉及识别第二患者图像数据52中的地标的位置，并且如果这两个坐标系不相等，则使用ar设备2的第一姿态将位置从第二坐标系14变换到世界坐标系。该方法还可以包括在再次触发至少一个配准指令的显示时(即，在第一次执行步骤208之后的时间)确定ar设备2在世界坐标系中的第二姿态。然后，可以基于至少一个配准指令、第一变换以及第一姿态与第二姿态的比较的结果来确定增强视图。即，可以补偿在采集第二患者图像数据52的(多个)时间点之后的ar设备2相对于患者的身体29的平移和/或旋转移位，使得增强视图总是向ar设备2的用户提供叠加到患者的身体29的部分上的至少一个配准指令。在这种情况下，不需要更新第一配准，只需更新ar设备2在世界坐标系中的第二姿态。ar设备2在世界坐标系中的姿态可以使用来自包括在ar设备2中的一个或多个传感器的数据来确定，例如来自相机12的(例如第二患者)图像数据、来自深度传感器、飞行时间相机、加速度计、陀螺仪等的数据。
69.在所示示例中，患者的身体29具有第一表面子部分56，在该第一表面子部分56的顶部上没有显示配准指令。至少一个配准指令包括子部分58和60的指示。患者表面的子部分58、60中的每一个都可以以不同的方式突出显示。例如，子部分58和60的指示可以在颜色、不透明度或光学图案中的至少一种上彼此不同。
70.患者的身体29的右眼睑上的子部分56未突出显示。这可能是因为在右眼睑上采集至少一个配准点是不利的，因为该身体部分是高度可变形的。例如，当在这种高度变形的身体部分上采集配准点时，所采集的配准点的位置很大程度上取决于配准探头被压在身体的表面上的压力。子部分58更有利于采集至少一个配准点，因为它们标示具有较低机械变形能力的区域，该区域由身体的表面和身体的表面下方的患者的身体的骨骼之间的较小距离表示。子部分60是采集至少一个配准点的最优选区域，因为它们具有比子部分60更高的表面曲率。关于可以如何确定子部分56、58和60的详细信息，参见上文对步骤202的描述。
71.可以有条件地触发至少一个配准指令的显示。例如，该方法可以包括确定(i)初次变形的面部模型38与(ii)二次变形的面部模型或第一患者图像数据37和第二患者图像数据52中的另一个的比较的结果是否满足一个或多个预定义的接受标准。该方法可以包括(例如，仅)在结果满足一个或多个预定义的接受标准的情况下，触发至少一个配准指令的显示。例如，一个或多个预定义的接受标准包括一个或多个预定义地标的位置的最大偏差或一组或所有预定义地标的位置的最大平均偏差。该偏差可以是一个或多个预定义空间方向上的平移偏差、围绕一个或多个预定义轴线的旋转偏差或其组合。这种方式可以保证只有在第一变换的精度可以接受的情况下才显示至少一个配准指令，从而避免了至少一个配准指令的错位显示。
72.例如，在(i)初次变形的面部模型38和(ii)二次变形的面部模型或第一患者图像数据37和第二患者图像数据52中的另一个之间确定相似度，并且确定相似度是否满足一个或多个预定义的接受标准。该方法可以包括，(例如，仅)在相似度满足一个或多个预定义的接受标准的情况下，触发至少一个配准指令的显示。相似度可以是初次变形的面部模型38和二次变形的面部模型或第一患者图像数据37和第二患者图像数据52中的另一个(例如，由其所描述或从中所提取的表面)的至少一个几何属性之间的差异或商。例如，一个或多个预定义的接受标准可以定义匹配节点46和匹配节点44之间的距离除以匹配节点40和匹配节点48之间的距离在初次变形的面部模型38和二次变形的面部模型之间必须相似并在预定义的公差范围内，例如5％、10％或12％。预定义的接受标准可以定义初次变形的面部模型38必须与二次变形的面部模型匹配到相同的患者。只有在第一患者图像数据37和第二患者图像数据52中描绘了同一患者的情况下，才可以触发至少一个配准指令的显示。可以分别基于第一患者图像数据37和第二患者图像数据52使用生物特征识别算法例如使用初次变形的面部模型38和二次变形的面部模型中的至少一个来正确识别患者。
73.在触发至少一个配准指令的显示时，手术跟踪系统4可能不会跟踪患者的身体29。例如，在已经触发至少一个配准指令的显示之前，患者的身体29不能被手术跟踪系统4跟踪或者可以停用手术跟踪系统4。本文所公开的方法可以包括：在已经触发至少一个配准指令的显示之后，例如响应于正在触发至少一个配准指令的显示，指示手术跟踪系统4开始跟踪。
74.该方法可以进一步包括获得或确定第一患者图像数据37的第一坐标系39与手术跟踪系统4的第三坐标系18之间的第二变换。可以说，第一变换和第二变换的链经由第一患者图像数据37的第一坐标系39连接ar设备2的第二坐标系14与手术跟踪系统4的第三坐标系18。例如，该方法包括：接收指示至少一个所采集的配准点的信息，处理指示至少一个所采集的配准点的信息以获得第二变换。指示至少一个所采集的配准点的信息可能已经由跟踪配准探头(例如手术工具20)的手术跟踪系统4采集。换句话说，指示至少一个所采集的配准点的信息可能已经使用由手术跟踪系统4跟踪的配准探头采集。可以经由通信接口36从手术跟踪系统4(例如定位器30)接收信息。一旦指示至少一个所采集的配准点的信息已经接收到或已经确定了第二变换，则该方法可以再次确定至少一个配准指令，这一次基于第一患者图像数据37和指示至少一个所采集的配准点的信息中的至少一个和第二变换。可以基于指示至少一个所采集的配准点的信息中的至少一个和第二变换来更新所显示的至少一个配准指令。
75.例如，用户可以将配准探头的远端放置在患者的身体29表面上的接触点上。指示至少一个所采集的配准点的信息可以包括该接触点在第三坐标系18中的位置。指示至少一个所采集的配准点的信息可以包括至少一个所采集的配准点在手术跟踪系统4的第三坐标系18中的位置。可替代地或附加地，指示至少一个所采集的配准点的信息可以包括与患者的身体29的表面接触的配准探头的姿态。基于配准探头与患者的身体的表面之间的已知空间关系，例如基于附接到配准探头的跟踪器与配准探头的远端之间的预定距离，可以例如通过计算系统6确定配准探头与患者的身体29的表面的接触点的位置。该接触点可以对应于或用作至少一个所采集的配准点。用户可以指示手术导航系统100，特别是定位器30或计算系统6，何时采集配准点，例如通过按下手术导航系统100的脚踏板、按下配准探头上的按钮来向手术导航系统100发送命令，说出能够由手术导航系统100的音频接口识别的控制命令等。
76.处理指示至少一个所采集的配准点的信息可以包括将至少一个所采集的配准点的位置与第一患者图像数据37匹配。该方法可以包括：通过获取配准探头在第三坐标系18中的至少一个位置来采集指示至少一个所采集的配准点的信息，以及通过将指示至少一个所采集的配准点的信息与第一患者图像数据37匹配来确定第二变换。
77.所采集的至少一个配准点在第三坐标系18中的位置可以例如使用点对面匹配算法与第一患者图像数据37中描述、检测或提取的患者的身体29的表面相匹配。。例如，第一患者图像数据37是患者头部的三维ct图像。可以使用图像分析算法来检测ct图像内的身体的表面，例如使用ct图像体素的最小和最大hounsfield值，进行异常值去除和表面平滑。检测到的身体的表面可以对应于上述提取的三维点云或表面。也可以使用用于检测患者图像数据中的身体的表面的其他技术。第三坐标系18中的至少一个配准点的(多个)位置与从第一患者图像数据37中提取的患者的身体29的表面的匹配可以包括：将第三坐标系18中的至少一个配准点的(多个)位置与第一坐标系39中的三维点云进行匹配这种方法可以称为点对点匹配。或者，将第三坐标系18中的至少一个配准点的(多个)位置与在第一患者图像数据37中检测到的患者的身体29的表面的匹配可以包括：将第三坐标系18中的至少一个配准点的(多个)位置与第一坐标系39中的三维表面进行匹配。这种方法可以称为点到表面匹配。
78.该方法还可以包括：获得描述手术器械20在第三坐标系18中的姿态的跟踪数据，以及基于第一变换和第二变换将手术器械20的姿态变换到第二坐标系14中。参考图1，显然可以使用第一变换和第二变换将第三坐标系18中的姿态变换为第二坐标系14中的姿态。即，可以使用已经如上所述获得的第二变换将姿态从第三坐标系18变换到第一坐标系10。然后，可以使用如上所述获得的第一变换将姿态从第一坐标系10变换到第二坐标系14。当然，该方法可以包括基于第一变换和第二变换确定组合变换，以将姿态直接从第三坐标系18变换到第二坐标系14。可以使用第二变换、第一变换以及基于ar设备2在世界坐标系中的第一姿势确定的第二坐标系14与世界坐标系之间的变换，将手术器械20的姿势从第三坐标系18变换到世界坐标系中。可以基于在世界坐标系中确定的ar设备2的当前姿态(例如与ar设备2的第一姿态的比较)，将手术器械20的姿势从世界坐标系变换到第二坐标系14中。如上所述，可以使用第二坐标系和显示器15的坐标系之间的已知变换将第二坐标系14中的手术器械20的姿态变换到显示器15的坐标系中。
79.该方法可以包括确定与手术器械20在第二坐标系14中(或例如在第三坐标系中或在世界坐标系中)的姿态相关联的至少一个导航指令。至少一个导航指令可以包括手术器械20在第二坐标系14中(或例如在第三坐标系中或在世界坐标系中)的类型指示、位置指示和取向指示中的至少一个。该方法还可以包括触发在ar设备2的显示器15(有利地在叠加到患者的身体29上的增强视图中)上显示至少一个导航指令。基于第一变换和第二变换，手术器械20在第三坐标系中的位置(例如，的指示)和取向(例如，的指示)可以被变换到世界坐标系或第二坐标系14中。手术器械20在世界坐标系中的位置(例如，的指示)和取向(例如，的指示)可以在触发世界坐标系中确定的至少一个导航指令(特别是相机12的姿态)的显示时使用增强现实设备2的第三姿态变换到第二坐标系14中。即，如上文针对至少一个配准指令所解释的，该方法可以包括在触发至少一个导航指令的显示时确定ar设备2在世界坐标系中的第三姿态。在采集第二患者图像数据时，ar设备2在世界坐标系中的第一姿态可以与第三姿态进行比较，以补偿ar设备2在采集第二患者图像数据52的(多个)时间点之后的相对于患者的身体29的平移和/或旋转偏移。显示器15可以向ar设备2的用户提供至少一个(例如，叠加到患者的身体29的部分上的)导航指令，而不管ar设备2和患者的身体29之间的相对方位随时间的变化。
80.再次参考图4，增强视图包括至少一个导航指令。特别地，增强视图包括一对十字准线64，该十字准线64指示由手术跟踪系统4跟踪的配准探头的尖端的位置。增强视图还包括指示配准探头的主轴线的取向的线66，例如轴线24。注意，为了显示所述至少一个导航指令，可能需要第二变换。因此，图4中所示的至少一个导航指令可以仅在如本文所公开的在一旦已经获得或确定第二变换时才显示。
81.图4中进一步可视化的是已经使用配准探头采集的多个配准点68的位置。这些位置被可视化叠加到患者的身体29的表面上的接触点上，在这些接触点上，已经用被跟踪的配准探头采集了配准点68。这会通知用户在患者的身体29的表面上的何处已经采集了配准点。在所示的图示中，用户已经在患者的身体29的表面上从人中开始并沿眉间的方向前进而移动配准探头了。被采集的配准点68所覆盖的区域58、60的部分62以与区域58、60不同的方式被突出显示，以通知用户不需要在何处采集额外的配准点。例如，部分62可以对应于区域58、60的在距一个或多个所采集的配准点58的预定距离内和/或具有偏离(例如，一个或多个)所采集的配准点58处的(例如，平均)表面曲率小于预定阈值的表面曲率的部分。可以应用用于确定部分62的其它标准。在这方面，还参考了2020年9月24日提交的欧洲专利申请no.20198095.0，特别是其中描述的第四和第五加权因子的确定。
82.如上所述，该方法可以通过更新至少一个配准指令的显示来进行，例如通过不仅基于第一患者图像数据37而且还基于所采集的至少一个配准点和第二配准来确定新的至少一个配准指令，以及如在至少一个配准指令的情况下触发新的至少一个配准指令的显示。换句话说，图4中所示的增强视图可以根据所采集的配准点的数量和位置(例如，周期性地或连续地)更新。增强视图的更新可以包括添加新采集的配准点并对应地改变区域56、58、60、62。第二变换可以不时地更新，例如在每次已经采集预定数量的新配准点时或在接收到用户命令时。这可以迭代地提高第二变换的准确性，从而也提高所显示的叠加到患者的身体29上的至少一个导航指令的准确性。如2020年9月24日提交的欧洲专利申请no.20198095.0中参考第四和第五加权因子所描述的，第二变换和至少一个配准指令的显
示可以在采集配准点的期间持续更新。
83.再次注意，本发明还涵盖其中确定ar设备2在世界坐标系中的第一姿态并且利用第一姿态和第一变换确定第二坐标系14与世界坐标系之间的变换的变型。可以参考世界坐标系来确定至少一个配准指令和/或至少一个导航指令。为了在显示器15上显示至少一个配准指令或至少一个导航指令，可以确定世界坐标系与第二坐标系14或显示器15的坐标系之间的变换，例如基于ar设备2在世界坐标系中的当前、第二或第三姿态或其与ar设备2在世界坐标系中的第一姿态的比较。这可以使得能够以相对于患者的身体29的固定空间关系显示至少一个配准指令和/或至少一个导航指令，即使ar设备2与患者的身体29之间的相对位置在第一变换之后的变化已经确定。
84.还提供了一种包括程序代码部分的计算机程序产品，当该计算机程序产品在诸如处理器34的至少一个处理器上执行时，该程序代码部分用于执行如本文所公开的方法。该计算机程序产品可以存储在一个或多个计算机可读的(例如诸如存储器32的)非暂时性记录介质。也可以提供包括当计算机程序在诸如处理器34的至少一个处理器上执行时用于执行如本文所公开的方法的程序代码部分的计算机程序。计算机程序可以存储在诸如存储器32的记录介质上或作为数字或模拟数据载波信号或信号波传输。本文中描述的实施例的许多修改是可能的。例如，在本文中所描述的方法步骤的顺序可以改变。并非所有方法步骤都是必需的或必不可少的。
85.本发明可以提供一种提供用户指导以获得第一患者图像数据37与手术跟踪系统4之间的配准的有利的方法。可以向ar设备2的用户呈现包括至少一个被叠加到患者的身体29上的配准指令的增强视图。配准指令可以指导用户在患者的身体29的表面上的何处使用由手术跟踪系统4跟踪的配准探头来采集配准点。这可以帮助用户例如以可重复的方式采集配准点。
86.本文所公开的方法的至少步骤200-208可能不需要存在或激活手术跟踪系统4。这在用户想要在将患者转移到手术跟踪系统4所在的手术室之前或在已经设置手术跟踪系统4之前检查配准指令的情况下可能是有利的。
87.手术跟踪系统4可能不需要跟踪ar设备2。这在手术跟踪系统4不能跟踪ar设备2的情况下是有利的，例如如果ar设备2不包括能够由第三坐标系18中的手术跟踪系统4定位的跟踪器。
88.该方法可以使用面部模型来获得第一坐标系39与第二坐标系14之间的变换。这可以提高所获得的第一变换的准确性并且可以减少处理工作量。此外，通常可用的ar设备可以在结构上进行优化以使用面部模型进行图像分析，这意味着可以在不需要复杂硬件的情况下实现本文所描述的方法。