采用机器学习来标识跟踪误差的外科手术跟踪系统和方法与流程

背景技术：

1、在外科手术环境中，出于若干原因，外科手术对象通常由跟踪系统来跟踪。例如，可跟踪外科手术器械、机器人系统和解剖结构，以提供器械或机器人相对于解剖结构的导航导引。跟踪系统通常是检测附接到外科手术对象的跟踪器的光学跟踪系统，诸如相机。被跟踪外科手术对象通常会在手术室内动态地移动，从而使得高度准确的跟踪成为必需。

2、尽管外科手术环境中需要高度准确的跟踪，但跟踪天然地容易出现跟踪误差。一种类型的跟踪误差与非系统性或外部相关因素(诸如对跟踪器的视线的遮挡)相关，这些因素降低了跟踪器的可检测性。另一种类型的跟踪误差是系统性误差，其中跟踪器可能完全可见，但是跟踪器的所检测的姿态仍然是不准确的。此类系统性跟踪不准确性可能出于诸如跟踪器的不可预测或非线性运动等各种原因而出现。

3、常规的跟踪系统可能无法准确地检测或表征此类系统性误差，尤其是在跟踪误差表现出不可预测或非线性行为时。在检测到此类误差的范围内，常规的跟踪系统通常会在跟踪误差超过默认误差阈值时通过中止系统操作来对误差进行补偿。例如，如果跟踪器的所检测的速度超过预定速度，则一些系统中止操作。然而，此类缓解方案是一刀切的方法，这些方法未能考虑若干因素，诸如跟踪器的类型、跟踪器移动的类型或情境、误差的来源或外科手术程序的情境。因此，常规的跟踪系统不能在给出其中发生误差的情形或情境的情况下评估跟踪误差是否可接受。因此，常规的跟踪系统更容易不加区分地标记跟踪误差，从而干扰外科手术程序。此外，常规的跟踪系统不太适于提供智能反馈来解决误差，因为此类系统不了解误差的本质，而是盲目地依赖于默认误差阈值。

技术实现思路

1、本 技术实现要素： 以简化的形式介绍以下在下文具体实施方式中进一步描述的一系列概念。本发明内容既不意图限制所要求保护的主题的范围，也不意图标识所要求保护的主题的关键特征或基本特征。

2、根据第一方面，提供了一种外科手术跟踪系统，所述外科手术跟踪系统包括：跟踪器，所述跟踪器耦接到外科手术对象；定位器，所述定位器被配置为检测所述跟踪器的姿态并且产生跟踪数据；以及控制器，所述控制器耦接到所述定位器并且被配置为：从所述定位器获得所述跟踪数据；将所述跟踪数据输入到机器学习模型中，所述机器学习模型被配置为标识与所述跟踪器相关的误差。

3、根据第二方面，提供了一种外科手术跟踪系统，所述外科手术跟踪系统包括：跟踪器，所述跟踪器耦接到外科手术对象；定位器，所述定位器被配置为检测所述跟踪器的姿态并且产生跟踪数据；以及控制器，所述控制器耦接到所述定位器并且被配置为：从所述定位器获得所述跟踪数据；将所述跟踪数据输入到机器学习模型中，所述机器学习模型被配置为标识与所述跟踪器相关的误差并且预测所述误差的来源。

4、根据第三方面，提供了一种外科手术跟踪系统，所述外科手术跟踪系统包括：跟踪器，所述跟踪器耦接到外科手术对象；定位器，所述定位器被配置为检测所述跟踪器的姿态并且产生跟踪数据；以及控制器，所述控制器耦接到所述定位器并且被配置为：从所述定位器获得所述跟踪数据；将所述跟踪数据输入到机器学习模型中，所述机器学习模型被配置为标识与所述跟踪器相关的误差并且预测建议以解决所述误差。

5、根据第四方面，提供了一种外科手术跟踪系统，所述外科手术跟踪系统包括：跟踪器，所述跟踪器耦接到外科手术工具；定位器，所述定位器被配置为检测所述跟踪器的姿态并且产生跟踪数据；以及控制器，所述控制器耦接到所述定位器并且被配置为：从所述定位器获得所述跟踪数据；将所述跟踪数据输入到机器学习模型中，所述机器学习模型被配置为标识与所述跟踪器相关的误差并且估计对所述外科手术工具的动作以解决所述误差。

6、根据第五方面，提供了一种外科手术跟踪系统，所述外科手术跟踪系统包括：跟踪器，所述跟踪器耦接到外科手术对象；定位器，所述定位器被配置为检测所述跟踪器的姿态并且产生跟踪数据；以及控制器，所述控制器耦接到所述定位器并且被配置为：从所述定位器获得所述跟踪数据；将所述跟踪数据输入到机器学习模型中，所述机器学习模型被配置为标识与所述跟踪器相关的误差并且预测应忽略所述误差。

7、根据第六方面，提供了一种外科手术跟踪系统，所述外科手术跟踪系统包括：跟踪器，所述跟踪器耦接到外科手术对象；定位器，所述定位器被配置为检测所述跟踪器的姿态并且产生跟踪数据；以及控制器，所述控制器耦接到所述定位器并且被配置为：从所述定位器获得所述跟踪数据；将所述跟踪数据输入到机器学习模型中，所述机器学习模型被配置为标识与所述跟踪器相关的误差并且控制所述跟踪器以解决所述误差。

8、根据第七方面，提供了一种外科手术跟踪系统，所述外科手术跟踪系统包括：跟踪器，所述跟踪器耦接到外科手术对象；机器人操纵器，所述机器人操纵器包括由连杆和关节形成的机器人臂；定位器，所述定位器耦接到所述机器人臂并可随所述机器人臂一起移动，并且被配置为检测所述跟踪器的姿态并且产生跟踪数据；以及控制器，所述控制器耦接到所述定位器并且被配置为：从所述定位器获得所述跟踪数据；将所述跟踪数据输入到机器学习模型中，所述机器学习模型被配置为标识与所述跟踪器相关的误差并且控制所述机器人臂以调整所述定位器的姿态来解决所述误差。

9、根据第八方面，提供了一种外科手术系统，所述外科手术系统包括：跟踪器，所述跟踪器耦接到外科手术对象；头戴式装置，所述头戴式装置包括显示器，所述显示器被配置为定位在所述头戴式装置的佩戴者的眼睛前面；定位器，所述定位器耦接到所述头戴式装置并可随所述头戴式装置一起移动，并且被配置为检测所述跟踪器的姿态并且产生跟踪数据；以及控制器，所述控制器耦接到所述定位器并且被配置为：从所述定位器获得所述跟踪数据；将所述跟踪数据输入到机器学习模型中，所述机器学习模型被配置为标识与所述跟踪器相关的误差并且提供反馈以解决所述误差。

10、根据第九方面，提供了一种外科手术系统，所述外科手术系统包括：头戴式装置，所述头戴式装置包括显示器，所述显示器被配置为定位在所述头戴式装置的佩戴者的眼睛前面；定位器，所述定位器耦接到所述头戴式装置并可随所述头戴式装置一起移动，并且被配置为检测手术室中对象(诸如人类的手)的姿态并且产生跟踪数据；以及控制器，所述控制器耦接到所述定位器并且被配置为：从所述定位器获得所述跟踪数据；将所述跟踪数据输入到机器学习模型中，所述机器学习模型被配置为标识与所述对象的所检测的姿态相关的误差并且提供反馈以解决所述误差。

11、根据第十方面，提供了一种外科手术跟踪系统，所述外科手术跟踪系统包括：跟踪器，所述跟踪器耦接到外科手术对象；定位器，所述定位器被配置为检测所述跟踪器的姿态并且产生跟踪数据；以及控制器，所述控制器耦接到所述定位器并且被配置为：从所述定位器获得所述跟踪数据；将所述跟踪数据输入到机器学习模型中，所述机器学习模型被配置为标识与所述跟踪器的所检测的姿态相关的误差；以及产生反馈以解决所述误差。

12、根据第十一方面，提供了一种外科手术系统，所述外科手术系统包括：跟踪器，所述跟踪器耦接到解剖结构；机器人操纵器，所述机器人操纵器耦接到所述解剖结构；定位器，所述定位器被配置为检测所述跟踪器的姿态并且产生跟踪数据；以及控制器，所述控制器耦接到所述定位器并且被配置为：从所述定位器获得所述跟踪数据；将所述跟踪数据输入到机器学习模型中，所述机器学习模型被配置为标识与所述跟踪器相关的误差并且控制机器人臂以调整所述解剖结构的姿态来解决所述误差。

13、根据第十二方面，提供了一种外科手术系统，所述外科手术系统包括：机器人操纵器，所述机器人操纵器包括机器人臂，所述机器人臂被配置为支撑外科手术工具并且相对于解剖结构移动所述外科手术工具；以及外科手术跟踪系统，所述外科手术跟踪系统包括：操纵器跟踪器，所述操纵器跟踪器耦接到所述机器人操纵器的组件；解剖结构跟踪器，所述解剖结构跟踪器耦接到所述解剖结构；定位器，所述定位器被配置为检测所述操纵器跟踪器的姿态和所述解剖结构跟踪器的姿态，并且产生与所述操纵器跟踪器和所述解剖结构跟踪器相关的跟踪数据；以及控制器，所述控制器耦接到所述定位器并且被配置为：从所述定位器获得所述跟踪数据；将所述跟踪数据输入到机器学习模型中，所述机器学习模型被配置为标识与所述操纵器跟踪器和所述解剖结构跟踪器中的一者或两者的所检测的姿态相关的误差；以及产生反馈以解决所述误差。

14、根据第十三方面，提供了一种外科手术系统，所述外科手术系统包括：机器人操纵器，所述机器人操纵器包括基座和耦接到所述基座的机器人臂，其中所述机器人臂支撑末端执行器；以及外科手术跟踪系统，所述外科手术跟踪系统包括：操纵器跟踪器，所述操纵器跟踪器耦接到所述机器人操纵器；配准跟踪器，所述配准跟踪器被配置为附接到所述末端执行器；定位器，所述定位器被配置为检测所述操纵器跟踪器的姿态和所述配准跟踪器的姿态，并且产生与所述操纵器跟踪器和所述配准跟踪器相关的跟踪数据；以及控制器，所述控制器耦接到所述机器人操纵器和所述定位器，并且被配置为：从所述定位器获得所述跟踪数据；将所述跟踪数据输入到机器学习模型中，所述机器学习模型被配置为标识与所述操纵器跟踪器和所述配准跟踪器中的一者或两者的所检测的姿态相关的误差；以及产生反馈以解决所述误差。

15、根据第十四方面，提供了一种外科手术系统，所述外科手术系统包括：机器人操纵器，所述机器人操纵器包括机器人臂，所述机器人臂被配置为支撑外科手术工具并且相对于解剖结构移动所述外科手术工具，其中所述外科手术工具包括tcp；以及外科手术跟踪系统，所述外科手术跟踪系统包括：操纵器跟踪器，所述操纵器跟踪器耦接到所述机器人操纵器的组件；解剖结构跟踪器，所述解剖结构跟踪器耦接到所述解剖结构；定位器，所述定位器被配置为检测所述操纵器跟踪器的姿态和所述解剖结构跟踪器的姿态，并且产生与所述操纵器跟踪器和所述解剖结构跟踪器相关的跟踪数据；以及控制器，所述控制器耦接到所述定位器并且被配置为：从所述定位器获得所述跟踪数据；基于所述跟踪数据，为所述操纵器跟踪器和所述解剖结构跟踪器计算预期误差；基于所述预期误差，计算所述操纵器跟踪器和所述预期解剖结构跟踪器的预期真实变换；基于所述跟踪数据和所述预期真实变换，相对于所述解剖结构的坐标系计算测量tcp值和真实tcp值；计算所述测量tcp值与所述真实tcp值之间的误差；以及确定所述误差是否超过阈值。

16、一种计算机实现的方法被提供用来执行由前述方面中的任何一个或多个方面的控制器实现的任何步骤。提供了一种非暂时性计算机可读介质或计算机程序产品，其包括指令，所述指令在由一个或多个处理器执行时被配置为实现前述方面中的一个或多个方面的任何特征。

17、上文描述的方面中的任何方面都可部分地或全部组合。以上方面中的任何方面都可部分地或全部与以下实现方式中的任何实现方式一起利用：

18、所述定位器可实现光学、电磁、惯性、射频或基于机器视觉的跟踪。所述跟踪器可包括能够由所述定位器检测的跟踪元件。所述跟踪器可耦接到任何外科手术对象，诸如外科手术器械；解剖结构；头戴式显示装置；机器人操纵器的机器人臂的连杆；耦接到机器人操纵器的基座的可调整臂；耦接到机器人操纵器的末端执行器；和/或位于操纵器的机器人臂与由所述机器人臂支撑的末端执行器之间的耦接器。所述跟踪器可包括操纵器跟踪器、解剖结构跟踪器、工具跟踪器或在配准过程期间所使用的配准跟踪器。

19、所述控制器可获取所述跟踪器的身份标识数据。所述控制器可将所述身份标识数据输入到所述机器学习模型中以使得机器学习能够标识所述误差。所述身份标识数据可包括所述跟踪器的所述跟踪元件的几何形状。所述跟踪数据可包括所述跟踪器的位置和/或取向。所述跟踪数据可包括所述跟踪器的速度和/或加速度。所述跟踪数据还可包括操纵器跟踪器和解剖结构跟踪器的速度。所述控制器还可利用与每个跟踪器相关联的跟踪器类型来计算预期误差。

20、所述机器学习模型包括(人工)神经网络，诸如深度学习神经网络。所述神经网络包括输入层、隐藏层和输出层，其中所述输入层被配置为接收所述跟踪数据，并且所述输出层被配置为标识所述误差。所述机器学习模型可包括耦接到所述神经网络的所述输入层的至少一个长短期记忆网络(lstm)，其中所述至少一个lstm包括循环神经网络(rnn)并且被配置为：随时间推移接收所述跟踪数据；修改所述rnn的权重以学习所述跟踪数据之间的长期依赖关系并且选择性地过滤所述跟踪数据；以及将经过滤的跟踪数据提供给所述神经网络的所述输入层。所述机器学习模型可基于所述跟踪数据、所述身份标识数据和所述跟踪器类型中的任何一个或多个来为一个或多个跟踪器计算预期误差。

21、所述误差可与所述跟踪器的所检测的姿态的不准确性相关。所述机器学习模型可基于从所述跟踪器或其他跟踪器的激光跟踪导出的基准真实数据来进行预训练。所述机器学习模型可基于所述跟踪数据与所述基准真实数据之间的比较来标识所述误差。所述机器学习模型可建立基于所述跟踪数据来动态地变化的误差阈值或范围。机器学习模型可响应于所述误差超过所述误差阈值或范围而标识所述误差。所述机器学习模型可预测所述误差的来源。所述来源可以是以下中的任何一个或多个：所述外科手术对象的不期望的移动；所述定位器的不期望的移动；或所述定位器或所述跟踪器的不正确的校准数据。所述机器学习模型可估计所述误差对以下中的一个或多个的准确度产生的影响：所述定位器、所述机器人操纵器或所述解剖结构。所述误差可包括测量工具中心点(tcp)值与真实tcp值之间的差异，并且所述控制器可使用从机器人配准过程导出的所述操纵器的配准变换和所述操纵器的运动学变换来计算所述误差。

22、所述控制器可以通知或警告提供反馈，以向用户告知所述误差。所述控制器可通过选择性地调整或置换所述跟踪数据来提供反馈以抵消所述误差。所述控制器可通过过滤所述跟踪数据来提供反馈。所述控制器可通过控制所述跟踪器来提供反馈。所述控制器可通过调整所述定位器的操作或定位来提供反馈。所述控制器可在机器人配准过程或解剖配准过程期间通过以下方式来提供反馈：使用所述机器学习模型过滤跟踪数据；将经过滤和未经过滤的跟踪数据与运动学数据或虚拟模型进行比较；在显示器上呈现多个配准结果；以及提示用户选择所述结果中的一个。所述控制器还可提供建议以纠正所述误差，并且可将来自外科手术探针的力数据输入到所述机器学习模型中，以标识与和不需要的组织交互相关联的误差。