装置的机器人定位的制作方法

1.本发明涉及到器械定位。具体地，本发明涉及一种用于器械定位的系统、一种控制用于器械定位的系统的方法、一种计算机程序单元和一种计算机可读介质。


背景技术：

2.机器人装置定位在包括例如手术器械引导、制造和机器操作，如飞机、建筑机械，用于钻孔、打钉等的应用中已变得越来越普遍。机器人解决方案通常依靠外部跟踪系统来定位机器人，并利用刚性地固定到关注物体(例如，患者或待钻孔的物体)的光学标记来建立机器人到物体的参考系(例如，患者参考系)。机器人解决方案的示例可以在us 2015/164607 a中找到。然而，参考系容易受意外的移动和阻碍的影响，从而降低了物体跟踪的准确度，并增加了配准误差的风险。
3.us 2018/0000546公开了一种医疗机器人系统，其包括与致动器元件联接的机器人，其中机器人被配置为用于受控的移动和定位。
4.us 2018/0185100公开了用于手术导航的系统和方法，其提供混合现实可视化。混合现实可视化描绘了与真实物体相结合的虚拟图像，以向用户提供改善的可视化。
5.wo 2019/204699公开了用于控制机器人臂的方法和系统，其包括使用运动跟踪系统来跟踪手持装置的运动，并控制机器人臂以基于手持装置的被跟踪到的运动来调整机器人臂的末端效应器的位置和取向中的至少一个。


技术实现要素：

6.本发明由权利要求限定。
7.可能存在改进机器人装置定位的需要。
8.本发明的目的通过独立权利要求的主题来解决，其中进一步的实施例被纳入从属权利要求中。应指出的是，本发明的以下描述方面也适用于系统、方法、计算机程序单元和计算机可读介质。
9.根据本发明的第一方面，提供了一种用于器械定位的系统。该系统包括：具有机器人臂的机器人系统，该机器人臂具有四个或更多个控制自由度(dof)；以及具有接口单元的系统控制器。机器人臂包括能够与器械连接的器械接口。系统控制器的接口单元被配置为提供传感器数据，传感器数据包括器械的姿态信息和关于于物体的目标位置。器械的姿态信息包括器械的位置和取向。系统控制器的接口单元被进一步配置为提供目标位置处的图像数据。在图像数据中规划目标轨迹，以用于将器械定位到目标位置。系统控制器被配置为将器械的姿态信息和规划的目标轨迹转移到物体坐标系中。系统控制器被进一步配置为计算器械的被跟踪到的姿态信息和规划的目标轨迹之间的位置误差。系统控制器被进一步配置为将位置误差转移到机器人系统的机器人坐标系中，以控制机器人臂将器械与规划的目标轨迹对准。位置误差包括平移误差和旋转误差中的至少一个。
10.换句话说，提供了一种系统，其包括用于器械定位的四个或更多个自由度的机器
人引导臂，它可用于具有集成的手术导航的混合手术室环境。该系统使用器械的姿态信息，即位置和取向，以在保持器械关于由用户(例如外科医生)规划的目标轨迹的轨迹中向机器人系统提供反馈。使用器械跟踪作为直接反馈来实现与规划轨迹的对准，不需要任何手工配准。所提出的系统可以基于4-dof或5-dof的装置位置反馈，而不需要在机器人上的附加跟踪主体。
11.在一些示例中，所提出的系统可被用作手术器械引导系统。
12.在一些示例中，所提出的系统可应用于制造业，以用于零件的对准或用于机器操作，如飞机、建筑机械等，其中钻孔、打钉或同心对准是常见的。
13.该器械具有细长的形状。系统控制器被配置为在每个新的目标选择时间的机器人臂的第一次运动期间控制机器人臂，以使器械在预定的移动中移动，以在物体坐标系和机器人坐标系之间产生粗略的六自由度的配准。预定的移动包括预定的旋转移动。
14.可选地，预定的移动也可以包括预定的平移移动。
15.换句话说，在仅4-dof或5-dof的器械跟踪可用的情况下：要么在被插入器械接口中的器械轴线上，如针引导件，要么在被附接到机器人臂的器械接口轴线上，使用近似配准方法来促进对准，因为关注物体(如患者)和机器人基座在短暂的治疗时间内相对于彼此通常是静态的。器械接口的位置相对于机器人臂也是已知的。物体坐标系和机器人坐标系之间的粗略的六自由度的配准是基于在移动之前和之后的器械的两个姿态信息和机器人臂的两个姿态信息产生的。这将在下文中解释，尤其是关于图3a和图3b中所示的示例性实施例。
16.机器人臂的第一次运动自动启动了粗略的配准过程。一般来说，假设机器人系统的运动和器械跟踪反馈可以精确地同步，用于粗略配准的预定的旋转移动可以是任意的，只要它包括大的旋转，因为较大的角度导致更准确的配准。也可以增加任意的平移。这个特征可以实时使用，以更新或验证配准没有因为患者相对于机器人系统的移动而改变。因此，系统控制器可以自动执行粗略配准，从而避免来自用户的任何输入或增加操作的时间。
17.根据本发明的实施例，传感器数据包括器械关于目标位置的实时姿态信息。系统控制器被配置为计算器械的被跟踪到的姿态信息和规划的目标轨迹之间的实时位置误差，并将实时位置误差转移到机器人系统的机器人坐标系中，以迭代地控制机器人臂，以使器械与规划的目标轨迹对准。
18.换句话说，实时的器械位置反馈可用于迭代地移动安装在器械接口中的器械，以便与目标轨迹对准，用于实现精确的对准。
19.在一示例中，在对准期间，系统控制器可被配置为保持器械接口相对于患者、工作台、成像轴、机器人基座、初始工具位置或其他物理或虚拟参考的高度不变。这种高度约束可以提供更安全和更直观的机器人行为。一旦对准，外科医生可以沿引导件轴线降低机器人臂，并且如果需要，可以命令机器人对准目标。
20.根据本发明的一实施例，系统控制器被进一步配置为在传感器数据不包括器械的姿态信息时，应用粗略的六自由度的配准来控制机器人臂以将器械与规划的目标轨迹对准。
21.所产生的配准过程可足以在开环的方式下将器械定位在预期的轨迹附近，例如，当在跟踪体积之外时。因此，作为进一步的选择，如果传感器数据不包括器械的姿态信息，
例如在跟踪体积之外时，系统控制器可被进一步配置为控制机器人臂，以基于粗略的六自由度的配准将器械与规划的目标轨迹对准。一旦装置在跟踪系统中可见，那么系统控制器可以使用器械的姿态信息来迭代地伺服到最终的较高准确度的对准。
22.根据本发明的一实施例，该系统还包括跟踪系统，该跟踪系统被配置为获得包括介入器械的姿态信息和关注物体的目标位置的传感器数据。跟踪系统包括以下中的至少一个：光学跟踪系统、电磁跟踪系统和声学跟踪系统。
23.光学跟踪系统可以使用布置在成像室内的一个或多个摄像头来跟踪器械的姿态信息。一个或多个摄像头能够检测红外光、可见光和/或近红外光。摄像头跟踪的标记可以被附接到器械上。
24.电磁(em)跟踪系统是基于相互感应的原理，其中磁场发生器产生已知的em场来定位被放置在跟踪范围内的小型em传感器。由于其不受视线限制、较小的传感器尺寸和使用方便，em跟踪器已获得了广泛的应用。由于其亚毫米级的尺寸，传感器可以容易地被放置在器械的末端内。
25.声学跟踪装置采用呈飞行时间换能器/传感器或相位参照系统形式的高频(如20khz或更高)的超声波。
26.正如本领域技术人员容易知道的，跟踪系统可以同时跟踪器械上的标记以及物体上的标记。因此，跟踪系统可以在物体坐标系和跟踪坐标系之间建立配准。
27.根据本发明的一实施例，跟踪系统位于图像获取系统的检测器上或内部。
28.在一示例中，跟踪系统，如摄像头，可附接到成像获取系统的检测器上。例如，在图像获取期间，摄像头可以暂时附接到成像获取系统的检测器上或内部的预定位置，并在图像获取后从检测器上分离。
29.在一示例中，跟踪系统可以是检测器的集成的一部分。
30.将跟踪系统设置于成像获取系统的检测器上或内部，可允许将跟踪坐标系固有地在空间上配准到图像坐标系。这可以减轻例如独立跟踪和配准外部跟踪系统的跟踪坐标系到图像坐标系的需要。
31.根据本发明的一实施例，该系统还包括图像获取系统，其被配置为获取关注物体的目标位置处的图像数据。该图像获取系统包括以下中的至少一个：x射线成像装置、超声成像装置和磁共振成像装置。
32.换句话说，器械定位系统可以在不同的成像模态中实现。
33.根据本发明的一实施例，机器人臂包括机械的“远程运动中心”(rcm)机构，其具有至少一个旋转控制自由度。器械接口被安装在rcm机构上。
34.如本文所用的，术语“rcm”是指远程固定点，在那里没有机构或其部分可以围绕其旋转的物理的转动关节。
35.rcm可以通过使用平移模块进行机器人平移。包括rcm可以使整体关节运动最小化，从而产生符合人体工程学的机器人构造和可预测的运动，以改善用户接口，特别是在执行笛卡尔旋转时。它可允许通过主要地致动平移模块而使器械被平移到进入点，然后使用一个或多个远侧关节(即rcm)而被旋转对准。最后连杆的形状可以被优化，使得器械接口更接近rcm，从而使器械接口的定位能够靠近物体，且便于使用短的器械。
36.根据本发明的一实施例，系统控制器被配置为控制机器人臂以将器械与规划的目
标轨迹对准，同时器械在用于防止碰撞的安全平面内平移。
37.在一示例中，安全平面可以是高于并平行于工作台的平面。例如，安全平面可以由机器人的xy平面和当前机器人引导件的位置限定。替代性地，安全平面的位置可以被定义为：相对于器械的末端，然后转换到机器人坐标系中，在一些合理的约束下相对于器械上的到目标轨迹的最接近点，使得该点不会离机器人引导件太远，或者相对于进入点。
38.更一般地说，安全平面可以是为防止机器人碰撞而定义的任何平面，如机器人与待检查的物体、机器人本身和相关设备的碰撞。换句话说，安全平面使机器人以可预测的方式移动，以防止机器人碰撞。
39.根据本发明的一实施例，传感器数据包括机器人臂的姿态信息。
40.换句话说，可以采用一种混合反馈控制，其包括机器人末端效应器跟踪和装置跟踪反馈两者。这将允许用不太精确的机器人跟踪进行粗略的对准(例如，在引导件中没有器械的情况下)，并且一旦器械在摄像头中可见并且在目标附近，那么系统控制器可以使用器械的姿态信息来伺服到最终的较高准确度的对准。
41.根据本发明的一实施例，该器械包括介入器械。
42.根据本发明的一实施例，介入器械包括以下中的至少一个：注射针、介入导管和介入激光装置。
43.根据本发明的第二方面，提供了一种用于控制如上文和下文所述的系统的方法，其包括以下步骤：
44.a)通过该系统的系统控制器的接口单元接收传感器数据，传感器数据包括器械关于相对于物体的目标位置的姿态信息，其中器械的姿态信息包括介入器械的位置和取向。
45.b)通过系统控制器的接口单元接收目标位置处的图像数据，其中在图像数据中规划目标轨迹，以用于将器械定位到目标位置；和
46.c)通过系统的系统控制器将器械的姿态信息和规划的目标轨迹转移到物体坐标系中，计算器械的被跟踪到的姿态信息和规划的目标轨迹之间的位置误差；并将位置误差转移到机器人系统的机器人坐标系中，以用于控制机器人臂以将器械与规划的目标轨迹对准，其中位置误差包括平移误差和旋转误差中的至少一个。
47.根据本发明的第三方面，一种用于控制设备的计算机程序单元，该计算机程序单元在被处理单元执行时适于执行如上文和下文所述的方法。
48.根据本发明的第四方面，一种计算机可读介质，其存储有该程序单元。
49.如本文所用，术语“细长的”是按其通常的含义使用的，即长度尺寸大于器械的宽度或直径。作为示例，细长的器械可以是针状的器械。
50.如本文所用，术语“器械”可指医疗装置，如手术工具、医疗工具、生物医疗工具和诊断器械。在一些示例中，器械可指用于机器操作的器械，如用于钻孔、打钉和同心对准的器械。
51.如本文所用，术语“关注物体”可指患者、人类受试者或动物受试者。在一些示例中，关注物体可以指制造和机器操作中的物体，例如，待钻孔、打钉等的物体。
52.如本文所使用，术语“系统控制器”可指、是其一部分或包括专用集成电路(asic)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或组)和/或存储器(共享、专用或组)、组合逻辑电路和/或提供所述功能的其他合适组件。系统控制器可以包括消费
电子装置、智能手机、平板个人电脑、可穿戴计算装置、个人数字助理(pda)、笔记本电脑和/或任何其他能够提供所述功能的类似物理计算装置。
53.如本文所使用，术语“器械接口”可指用于接收器械以用于机器人装置定位的机械部件。例如，器械接口可以是针引导件。手术装置，如注射针，可以被插入并固定在针引导件上。
54.如本文所用，术语“单元”可指、是其一部分或包括asic、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或组)和/或存储器(共享、专用或组)、组合逻辑电路和/或提供所述功能的其他合适组件。
55.在整个描述中，参考了不同的坐标系。这些坐标系可以是笛卡尔坐标系、极坐标系、球面坐标系、圆柱形坐标系、四边形坐标系、六边形坐标系，或上面讨论的任何其他三维(3d)坐标系。现在对下面提到的坐标系进行定义。
56.术语“物体坐标系”指的是这样的坐标系，其中位置是相对于原点定义的，该原点是与物体相关联的预选点，并具有与其保持恒定的相对位置。例如，如果物体是患者，术语“物体坐标系”也可以被称为患者坐标系。例如，物体坐标系可以是具有正交的轴xyz的笛卡尔坐标系，可相对于其预选点定义，并可使用自然语言的相对定位术语，如左、右、上、下、向前和向后，以确定相对于预选点的位置。替代性地，也可以使用极坐标来定义虚拟空间中相对于与物体相关联的预选点的位置。替代性，也可以使用任何其他3d坐标系。类似地，术语“机器人坐标系”指的是这样的坐标系，其中位置是相对于原点定义的，该原点是与机器人相关联的预选点，并具有与其保持不变的相对位置。例如，机器人坐标系可以是具有正交的轴xyz的笛卡尔坐标系，可相对于其预选点定义，并可使用自然语言的相对定位术语，如左、右、上、下、向前和向后，以确定相对于预选点的位置。替代性地，也可以使用极坐标来定义虚拟空间中相对于与机器人相关联的预选点的位置。另外，也可以使用任何其他3d坐标系。
57.类似地，术语“跟踪坐标系”指的是这样的坐标系，其中位置是相对于原点定义的，该原点是与跟踪系统相关联的预选点，并具有与其保持不变的相对位置。例如，跟踪坐标系可以是具有正交的轴xyz的笛卡尔坐标系，可以相对于其预选点定义，并可以使用自然语言的相对定位术语，如左、右、上、下、向前和向后，以确定相对于预选点的位置。替代性地，可以使用极坐标来定义虚拟空间中相对于与跟踪系统相关联的预选点的位置。另外，也可以使用任何其他3d坐标系。
58.本发明的这些和其他方面将从下文描述的实施方案中变得明显并得到阐明。
附图说明
59.下面将参照以下附图对本发明的示例性实施例进行描述。
60.图1示出了用于执行微创机器人手术操作的示例性的混合手术室(or)的透视图。
61.图2示出了根据本公开的一些实施例的在示例性示出的混合or中用于器械定位的示例性系统的俯视图。
62.图3a示出了用于器械定位的系统中的坐标系的示例。
63.图3b示出了用于对准的误差度量的示例。
64.图4示意性地示出了机器人臂的示例。
65.图5示出了根据本公开的一些实施例的控制系统的方法的流程图。
66.图6示出了根据本公开的一些其他实施例的控制系统的方法的流程图。
具体实施方式
67.在下文中，实施例是在机器人引导的椎弓根螺钉放置手术的背景下展示的，但可推广到任何需要准确(例如，小于2mm)位置引导的机器人装置定位应用中。机器人装置定位应用的示例可以包括但不限于神经外科肿瘤、活检、消融和许多其他微创手术和经皮应用。机器人装置定位应用的进一步示例可包括在制造和机器操作中的应用，如飞机、建筑机械等。
68.脊柱融合手术是解决脊柱退行性疾病和脊柱畸形的常见手术方法，在美国每年进行约45万例手术。在后路脊柱融合手术中，螺钉被放置在椎体的椎弓根中，并通过棒连接以融合椎体。为了机械稳定性，大直径的螺钉是期望的。然而，相对于椎弓根的尺寸而言，最大化的螺钉直径可能会增加椎弓根破损和对关键结构(如脊柱神经、脊髓或血管)造成损害的风险。因此，准确的椎弓根螺钉放置是至关重要的。目前朝向微创手术(mis)的趋势也强调了对准确度的需要。mis是一种有吸引力的技术，它与缩短住院时间、减少术后疼痛、降低失血量、降低感染风险和降低费用相关联。然而，mis中的椎弓根螺钉置入在很大程度上依赖于用于引导的工具，因为类似穿孔的小切口很少或没有给外科医生提供视觉反馈。通常情况下，引导是通过荧光透视提供的，但这具有的缺点是患者和工作人员的辐射暴露，以及对3d目标任务只提供2d视图。
69.手术导航系统提供了一种方式来规划手术方法，并将术前规划转化为术中的预期轨迹。此外，这类系统在手术区域内对外科医生(徒手操作)进行视觉引导。然而，手术导航要求外科医生在执行手术操作时手动保持器械与手术区域外的屏幕上显示的虚拟规划对准。机器人辅助自然适合这种对准和稳定的任务，而且有许多商业和学术解决方案。与徒手操作的方法相比，机器人的使用导致椎弓根螺钉放置的精度更高，减少了外科医生的辐射暴露，并能提前出院。
70.在椎弓根螺钉固定过程中，由机器人提供的主要帮助是将引导件或器械与导航软件中定义的规划轨迹精确对准。一旦器械(例如，针)与目标对准，并由机器人牢牢地保持在这种对准下，外科医生将针或钻头推进到骨上，并进一步进入椎体内部。在产生孔后，外科医生将螺钉放入这些导孔内，并用棒固定相邻的螺钉，以将多个椎体融合成预期的构造。
71.机器人解决方案通常依靠外部跟踪系统来定位机器人，并利用刚性固定到患者脊柱或髂嵴上的光学标记来建立机器人到患者的(动态)参考系。这些动态参考系趋于被附接在离目标椎体很远的位置，而且容易受意外的移动和阻碍的影响，从而降低了患者跟踪的准确度，增加了配准误差的风险。除了在通常拥挤的手术室中占据相当大的空间外，现有系统还需要使用专门硬件的手动配准步骤，该专门硬件需要被安装在机器人上或有创地安装在患者身上。
72.由于预期的工具位置是在跟踪坐标系中定义的，机器人需要被跟踪，和/或以某种方式被配准到跟踪坐标系中，以便能够将目标位置转换为其自己的坐标系(cf)，以用于将器械移动到目标轨迹。这通常是用机器人基座上的大型标记来完成的，这需要大的跟踪视场，并在目标和待放置的器械之间增加另一种转换。还有人增加了大型的6-dof的装置跟踪标记，并通过标准运动学的反变换来计算跟踪器的位置，但这需要多次校准和较高的精确
度。其他解决方案将机器人刚性地固定在患者或工作台上，然后执行配准步骤。这些方法需要非常好的前向运动学
‑‑
机器人和固定件的非常高质量的部件、组装、校准以及总体刚性。
73.图1示出了用于执行微创机器人手术操作的示例性混合or 100的透视图，其中机器人可被用于实现引导件或器械与导航软件中定义的规划轨迹的精确对准。
74.示例性混合or 100是单个房间，其具有能够进行二维(2d)或三维(3d)成像的专用的c型臂x光射线成像系统102。c型臂成像系统102具有支撑装置104，其可以通过方位角轴线和仰角轴线关于关注物体106平移。例如，c型臂x射线成像系统102可以被支撑在x射线设施的天花板上。支撑装置保持旋转的阳极x射线源108和x射线探测器110。
75.示例性混合or 100还包括患者支撑件112，以支撑关注物体106。c型臂102被配置为围绕关注物体106平移，该平移不仅仅是在平面旋转的意义上(在ct扫描仪的意义上)，而且还通过倾斜来实现。
76.示例性混合or 100通常包括外部显示器114，其允许外科医生查看内部手术部位，以提供手术导航。
77.c型臂x射线成像系统102例如由控制台116控制，该控制台包括例如显示屏幕118、可选地用作定子控制系统的计算机设备120，其可通过键盘122和鼠标124控制。
78.混合or可以通过覆盖从血管内手术到微创或开放手术的许多操作来改善设施的利用率；并且能够探索利用术中高质量成像和高水平的装置集成的新操作。将机器人引导纳入这一环境，可以通过将手术规划精确地转移到患者身上来提供增加的准确度，并简化手术工作流程。然而，由于现有的or设备、来自有限的手术空间和成像体积的几何约束，以及得到确认的手术工作流程，这可能是挑战性的。
79.例如，对于混合or内的脊柱手术，用于椎弓根螺钉放置的机器人引导系统可能需要快速设置、低轮廓，并且在手术区域附近无菌。此外，它可能需要为外科医生以及光学跟踪系统提供视觉路径。机器人可能需要在不调整其基座位置的情况下到达为给定体积规划的所有轨迹，以使工作流程的中断最小化。它可能还需要一种快速和简单的方法，以便在无论何时外科医生使用完毕时从手术区域缩回；并在正常的锥形束计算机断层扫描(cbct)期间装配在探测器下面，而不引发明显的图像伪影。外科医生不应被要求手动配准用于手术规划、患者跟踪和机器人的参考系。患者跟踪应是无创的，并且对部分阻碍是稳健的。最重要的是，机器人应高度准确地将导航规划转移到患者身上(《0.5mm和《0.5度的规划轨迹)，以使大于2mm的椎体破损(这在临床上是不可接受的)最小化。
80.基于上述需求，提出了一种系统，以用于提供完全集成的术中3d成像和规划；以及使用具有至少四个控制自由度的机器人将器械自动对准到规划的轨迹。
81.图2示出了在所示的混合or 100中用于器械定位的示例性系统10的俯视图。
82.系统10包括机器人系统12，其具有一个或多个机器人臂14，如图2中的机器人臂14a、14b和14c。机器人系统12可以安装在患者支撑件112的一侧，例如，通过导轨安装适配器16，在手术区域之外。每个机器人臂14具有四个或更多个控制自由度。机器人臂14包括器械接口，例如，针引导件，其可与器械18连接，例如图2中的器械18a、18b和18c。作为示例，中央的机器人臂14b可以支撑内窥镜摄像头18b。机器人臂14a和14c可以支撑介入器械，如介入激光装置，其操纵组织。
83.器械18可以是任何可连接到机器人臂且可由此被操纵的器械或工具。器械18的示
例可包括但不限于手术工具、医疗工具、生物医疗工具和诊断器械。手术工具可包括例如冲洗和注射针、末端和管(用于引入液体)、窥镜和探针(例如，光纤内窥镜和触觉探针)、超声组织破坏器、钻头、低温切片机和切割激光引导件。诊断器械可包括例如超声器械、计算机断层扫描(ct)扫描仪、磁共振成像仪(mri)。
84.一般来说，机器人臂14可被分为两个模块，包括平移模块和旋转模块，如旋转模块20a、20b和20c。图4中示出了这两个模块的示例。平移模块可以是3-dof的平移模块，其允许器械18被平移到进入点，然后利用旋转模块旋转以对准。
85.系统10还包括带有接口单元24的系统控制器22。例如，系统控制器22可以是图1中的示例性的控制台116。系统控制器22的接口单元24被配置为提供传感器数据，其包括器械的姿态信息和关于关注物体106的目标位置。器械的姿态信息包括介入器械的位置和取向。传感器数据可从跟踪系统26获得。例如，跟踪系统26可以是光学跟踪系统，其包括一个或多个摄像头或光学传感器，它们可以被布置在混合or中，以用于捕捉包括器械的姿态信息的传感器数据。非侵入性的一次性被动皮肤标记可以围绕目标位置分布，例如，围绕手术切口，以用于提供所需的阻碍冗余和跟踪的稳健性。通过在图像获取期间跟踪患者身上的这些标记，物体坐标系可以被配准到用于规划的图像坐标系和/或跟踪坐标系。替代性地或另外，跟踪系统可以包括电磁跟踪系统和/或声学跟踪系统。
86.例如，对于光学跟踪系统，涂有逆反射性材料的标记可用于反射在摄像头的镜头附近产生的光线。摄像头的阈值可以被调整，因此只有明亮的反射性标记会被采样，而忽略了皮肤和织物。替代性地，也可以使用基准标记。标记的中心点被估计为所捕获的二维图像内的位置。每个像素的灰度值可用于通过寻找中心点来提供亚像素级的准确度。每个标记的位置可用于相对于跟踪坐标系定义物体坐标系的轴。物体坐标系的原点可以被任意地定义，且轴的方向可以基于围绕目标位置的标记的位置来定义。因此，跟踪坐标系可以基于标记的位置(且可基于标记的取向)被配准到物体坐标系。
87.替代性地，电磁跟踪系统可以通过在发射器和接收器上的三个正交线圈的相对磁通量来计算围绕目标位置的电磁跟踪器的位置和取向。三个线圈的电压或电流的相对强度允许电磁跟踪系统通过细致地映射跟踪体积来计算范围和取向两者。类似地，跟踪坐标系可以基于标记的测量到的位置和取向被配准到物体坐标系。也可以使用其他跟踪系统。
88.优选地，如图2所示，跟踪系统26可以位于图像获取系统的检测器110上或内部。将跟踪系统设置于检测器上或内部将跟踪坐标系固有地在空间上配准到图像坐标系。这可以减轻例如独立跟踪和配准外部跟踪系统的跟踪坐标系到图像坐标系的需要。以这种方式跟踪器械18，与使用例如机器人上的形状传感器(其误差被复合到机器人的固定基座上)相比，可以提供更准确的器械跟踪。
89.系统控制器22的接口单元24被进一步配置为提供目标位置处的图像数据。图像数据可通过图像获取系统获取，如图1所示的x射线成像装置、超声成像装置或磁共振成像装置。用户30，例如外科医生，在图像数据中规划目标轨迹28，例如皮肤进入点和目标点，以用于将器械定位到目标位置。例如，进行术中cbct获取，外科医生在此基础上规划3d器械轨迹，例如椎弓根螺钉位置。
90.系统控制器22被配置为将器械18的姿态信息和规划的目标轨迹28转移到物体坐标系中。这是通过将物体坐标系配准到跟踪坐标系和图像坐标系来实现的。存在许多方法，
这些方法对于本领域的技术人员来说是已知的。这些方法之一包括使用跟踪系统与物体和器械上的标记，如前所述。
91.系统控制器22被进一步配置为计算器械的被跟踪到的姿态信息和规划的目标轨迹之间的位置误差。该位置误差包括平移误差和旋转误差中的至少一个。用于对准的误差度量是目标和轨迹之间的角度，而平移对准是从器械到目标轨迹矢量的矢量的长度。
92.图3a示出了系统10中的坐标系的示例。目标和进入点被定义在物体坐标系中。在图示的示例中，物体坐标系也可称为患者坐标系。器械的被跟踪到的姿态信息可以包括器械末端的位置(pd)和它的主轴线目标轨迹可通过皮肤进入点(pe)和椎弓根内的目标点(pq)来定义，从而对应于规划的螺钉轨迹。所有这些都被转换入患者坐标系(s)中。主要假设是器械轴线与机器人引导件轴线是共线的，而且在目标选择时间期间，患者的参考相对于机器人基座没有明显移动。
93.图3b示出了用于对准的误差度量的示例。在由机器人的xy平面和当前的机器人引导件位置定义的安全平面rπ1内，用于对准的误差度量是目标和轨迹之间的角度，而平移对准是从器械到目标轨迹矢量的矢量的长度。替代性地，安全平面的位置可以被定义为：相对于器械的末端，然后被转换入机器人坐标系中，在具有一些合理的约束下相对于器械上的到目标轨迹的最接近点，使得该点离机器人引导件不太远，或相对于进入点。
94.在图3b中，是在平面π1中从器械轴线到目标轨迹轴线的平移，是器械轴线和目标轨迹轴线之间的3-dof的旋转(轴角)。
95.系统控制器22被配置为将位置误差转移到机器人系统的机器人坐标系中，以控制机器人臂将器械与规划的目标轨迹对准。例如，如图2所示，系统控制器22可以通过控制线302引导机器人控制的器械18a-18c的移动，使器械的移动产生效果，以使用一个或多个机器人臂14将器械与规划的目标轨迹对准。
96.在操作中，关注物体106，例如，患者，被运送并准备进行手术。进行术中cbct获取，在此基础上，用户30，例如外科医生，规划3d器械轨迹，例如椎弓根螺钉位置。包括皮肤进入点和目标点的规划轨迹被转换到物理患者空间，并与器械跟踪一起可用于机器人系统。器械的姿态信息被系统控制器22用来自动对准在患者坐标系中定义的目标。一旦对准，机器人保持位置，外科医生将器械敲入椎弓根中，以形成导孔，螺钉被放入导孔中。外科医生可以通过启用“摆动臂”模式，手动地将机器人臂从手术部位移开，或者将其留在适当位置处以用于额外的引导或验证成像。
97.因此，通过将机器人臂14延伸入手术区域，系统10可以仅使用器械跟踪反馈，跟随手术规划而自动地对准器械18；不需要在机器人臂14上的跟踪标记。所提出的系统可以提供准确和工作流程友好的机器人引导系统，例如，用于在脊柱融合手术中形成椎弓根螺钉导孔。机器人臂将器械精确地对准预期的轨迹，且外科医生将器械锤入或钻入椎弓根中。系统控制器使用伺服控制方法，仅依靠例如4-dof或5-dof的器械跟踪反馈来实现较高的对准准确度，且不需要手动的机器人配准步骤。
98.可选地，传感器数据包括机器人臂的姿态信息。这可允许混合反馈控制，其包括机器人末端效应器跟踪和器械跟踪反馈。这可允许用不太精确的机器人跟踪进行粗略的对准，甚至在引导件中没有器械的情况下，并且一旦装置在跟踪系统中可见并且在目标轨迹附近，所提出的系统就可以用来伺服，以实现最终的高准确度的对准。
99.机器人系统
100.图4示意性地示出了机器人臂14的示例。机器人臂14可特征在于五个主动关节，和在作为末端效应器的单轴器械引导件内的第六个被动旋转件。示例性的机器人臂14被分为两个模块。3-dof的平移模块包括竖直的线性台(j0)、肩部转动关节(j1)和水平的线性台(j2)。它承载着2-dof的旋转模块：机械的远程运动中心(rcm)机构。在一些示例中(未示出)，对准到预定的平面(例如，4-dof)可能就足够了，因此对于这些示例，它可以承载1-dof的旋转模块。rcm可以包括两个球形连接装置：j3和j4，两者具有65
°
的角度，其中j3安装在与竖直方向成60
°
的位置。选择这种串行运动学结构是为了满足在笛卡尔空间内定位针状器械所需的最小数量的度。包括rcm可以使整体关节运动最小化，从而产生符合人体工程学的机器人构造和可预测的运动，以用于改善的用户体验，特别是在执行笛卡尔旋转时。它允许主要通过驱动前三个关节而使器械被平移到进入点，然后只使用两个远侧(rcm)关节而被旋转对准。最后的连杆的形状经过优化，使器械引导件更靠近rcm，从而能够实现更靠近皮肤切口的引导件定位，以改善向患者转移轨迹的精确度，且利于使用短的器械。
101.机器人系统10可包括导轨安装适配器16，其可以附接到标准的or工作台导轨，或集成到放置在患者下面的定制板中的导轨，以提供刚性和位置灵活性。连杆的长度和球形连接装置的角度提供了至少6个层面以及
±
60
°
的足够覆盖，以覆盖超出健康患者在矢状平面内的-14
°
至20
°
的范围，以及在横向平面内的
±
22
°
至35
°
的范围内的不寻常的轨迹角度。最后的连杆允许安装可变直径的引导件，其可以将器械锁定在适当的位置或提供侧向出口功能。机器人主体原型是用槽型铝材加工而成的，且在非结构性构件的情况下用3d打印。普通的现成的机电元件被用于电机和变速器。6-dof的力矩(ft)传感器可被集成到机器人的最后的连杆中，以在器械引导件处提供ft测量。ft被用于导纳(动手定位)控制方法，并在介入期间监测引导件中的负载。它提供gui、正向/反向运动学和各种控制模式(力控制、arsn对准伺服、远程操纵杆、插入等)。操纵杆可用于远程定位输入，以触发自动对准，并启用动手定位模式。在一些实施例中，ft接口也可用于通过检测用户何时保持器械引导件来触发自动对准。一旦不再保持器械引导件，则自动对准将停止。
102.系统控制器
103.系统控制器22可通过轨迹对准算法来控制，以使器械与规划的目标轨迹30对准。轨迹对准算法的目标是将器械与规划的目标轨迹对准，具有尽可能高的精度，同时不给外科医生的工作流程增加任何额外的(配准)步骤。对于具有4-dof或5-dof的器械，在没有精确的坐标系(cs)配准的情况下，器械跟踪反馈可能固有地不足以实现6-dof的笛卡尔机器人定位，特别是由于器械在器械接口内的确切位置(例如，深度)是未知的。
104.对于具有细长形状的器械来说，所提出的系统控制器22，在机器人上没有6-dof的参考体的情况下，可以被配置为在每个新的目标选择时间的机器人臂的第一次运动期间控制机器人臂，以使器械在预定的移动中移动，以在物体坐标系和机器人坐标系之间产生粗略的六自由度的配准。预定的移动包括预定的旋转移动，可选地，也可以包括预定的平移移动。一般来说，假设机器人系统的运动和器械跟踪反馈可以精确地同步，用于粗略配准的预定的旋转移动可以是任意的，只要它包括大的旋转，因为较大的角度导致更准确的配准。也可以增加任意的平移。这个特征可以实时使用，以更新或验证配准没有因为患者相对于机器人系统的移动而改变。
105.例如，现在参考图3b，为了产生粗略的配准被跟踪的针被固定在引导件中(以防止滑落)，在目标选择时间中命令对准到第一目标时，机器人例如通过围绕其rcm在预定的方向上旋转15度(朝向工作台的相对侧)来开始运动。当然，机器人也可以通过围绕其rcm在预定的方向上旋转其他度数来开始运动，例如5度、10度、20度、30度、40度、50度、60度、70度、80度或90度。在移动之前和之后收集两个机器人姿态(和)和两个针位置(sn1，sn2)，然后使用临时坐标系统(d)计算出作为提醒，患者坐标系被称为(s)，机器人坐标系被称为(r)。粗略的配准的计算如下：
106.平移分量(spd)是通过使用最小二乘法计算代表针轴线的两个线向量(sn1，sn2，)之间的最近点来确定的，该点对应于机器人的rcm位置(rp
rcm
＝rpd)。
107.旋转分量是使用标准交叉乘积法从两线的法线产生的。也是从机器人引导件的z轴的法线产生的。
108.患者坐标系和临时坐标系之间的(物体)配准被称为
109.机器人坐标系和临时坐标系之间的(机器人)配准被称为
110.患者坐标系和机器人坐标系之间的配准被称为
111.和分别由和构建。那么就是简单的
112.所产生的配准过程可能需要几秒钟，且可能足以在开环的方式下将器械定位在预期的轨迹附近，例如，当在跟踪体积之外时，但由于有限的配准数据，以及机器人的小误差可能不足以实现精确对准。
113.为了精确对准，可使用实时的针位置反馈来迭代地移动安装在引导件中的针，以便与目标轨迹对准。一旦对准，外科医生可以沿着引导件的轴线降低机器人(通过具有插入-沿轴约束的力控制)，且如果需要，可以命令机器人对准目标。
114.可选地，传感器数据可以包括器械关于目标位置的实时姿态信息。可选地，在对准期间，机器人引导件(即器械接口)的高度保持恒定。高度约束可以提供更安全和更直观的机器人行为。系统控制器可被配置为计算器械的被跟踪到的姿态信息和规划的目标轨迹之间的实时位置误差，并将实时位置误差转移到机器人系统的机器人坐标系中，以迭代地控制机器人臂，以使器械与规划的目标轨迹对准。
115.例如，现在参考图3b，针对每次迭代，引导件在机器人坐标系中的目标位置可以按以下方式计算：
116.考虑由机器人的xy平面(r[0，0，1]
t
)定义的平面rπ1和当前的机器人引导件位置rp
rcm
。
[0117]
计算rp
q1
，目标线和rπ1的交点；以及rp
n1
，针轴线与rπ1的交点。
[0118]
位移误差向量为那么目标平移由于rp
q1
和rp
n1
位于机器人坐标系的xy平面上(几乎平行于工作台)，机器人引导件的平移只在这个平面内。
[0119]
旋转误差是通过在针轴线和目标轨迹轴线之间建立轴角旋转而在机器人引导件框架中计算的：而它们之间的角度是α。
[0120]
将τ归一化，然后将设置为0.0，并再次归一化。
[0121]
这去除了围绕的旋转，因为由于4-dof或5-dof的目标和器械的定义，它是任意定义的，此外机器人不能执行这样的旋转。
[0122]
所期望的目标是其中是近似旋转误差以旋转矩阵来表示。
[0123]
旋转目标和平移目标被合并为单个同质变换[rrg，rg]，并被发送到机器人位置控制器。
[0124]
每次伺服迭代可以在前一个机器人指令完成后进行。在典型的设置中，机器人需要少于5个迭代步骤，才能在和α＜0.25
°
的误差公差内将被跟踪的针与目标对准。
[0125]
可选地，由机器人的xy平面(r[0，0，1]
t
)和当前的机器人引导件位置rp
rcm
定义的安全平面rπ1可以在每次迭代时更新，且可以由三角形的网格定义，其中每个三角形定义机器人可以在其上平移的平面。网格可以是从患者表面模型偏移例如5cm的偏移量，从而将机器人的运动约束在这个偏移量。这种模型可以是来自放置在患者身上的贴纸的近似。
[0126]
在一些示例中，系统控制器22可以计算出近似的配准，并在两个不同的步骤中交互地控制机器人朝向目标。替代性地，系统控制器22可以同时驱动机器人系统向目标前进，同时持续更新/改进物体坐标系和物体坐标系之间的配准。
[0127]
图5示出了根据本公开的一些实施例的控制如上文和下文所述的系统的方法200的流程图。该方法包括以下步骤：
[0128]
在步骤210中，即步骤a)，传感器数据由系统的系统控制器的接口单元接收。例如，提供跟踪系统，如光学跟踪系统，以获得传感器数据，并将获得的传感器数据传送给系统控制器。传感器数据包括器械关于相对于物体的目标位置的姿态信息。器械的姿态信息包括介入器械的位置和取向。
[0129]
在步骤220中，即步骤b)，系统控制器的接口单元接收目标位置的图像数据。在图像数据中规划目标轨迹，以便将器械定位到目标位置。步骤a)和步骤b)可以按不同的顺序执行，如a)
→
b)，b)
→
a)，或a)和b)同时执行。
[0130]
在步骤230中，即步骤c)，器械的姿态信息和规划的目标轨迹被系统的系统控制器转移到物体坐标系中。计算器械的被跟踪到的姿态信息和规划的目标轨迹之间的位置误差。该位置误差被转移到机器人系统的机器人坐标系中，以用于控制机器人臂以将器械与规划的目标轨迹对准。位置误差包括平移误差和旋转误差中的至少一个。
[0131]
图6示出了根据本公开的一些其他实施例的方法200的流程图。在方法200中，对于具有细长形状的器械，在步骤210至230之前可以提供粗略的配准步骤202。在该步骤中，在每个新的目标选择时间的机器人臂的第一次运动期间控制机器人臂，以使器械在预定的移动中移动，以便在物体坐标系和机器人坐标系之间产生粗略的六自由度的配准。预定的移动包括预定的平移移动和预定的旋转移动中的至少一个。机器人臂的第一次运动自动启动了粗略的配准过程。因此，系统控制器可以自动执行粗略配准，从而避免来自用户的任何输入或增加操作的时间。所产生的配准过程可能需要几秒钟，并可能足以在开环的方式下将器械定位在预期的轨迹附近，例如，当在跟踪体积之外时，但由于有限的配准数据，以及机器人的小误差可能不足以进行精确对准。
[0132]
换句话说，随着配准过程202，该方法还可包括步骤240。在该步骤中，基于物体坐
标系和机器人坐标系之间的粗略的六自由度的配准，器械与规划的目标轨迹对准。换句话说，粗略的六自由度的配准被用来在开环的方式下将器械定位在预期的轨迹附近，例如，当在跟踪体积之外时。一旦检测到器械，例如当在跟踪体积内时，则可以执行步骤230。
[0133]
在本发明的另一示例性实施例中，提供了一种计算机程序或计算机程序单元，其特征在于适于在适当的系统上执行根据前述实施例之一所述的方法的方法步骤。
[0134]
因此，计算机程序单元可被存储在计算机单元上，其也可以是本发明的实施例的一部分。该计算单元可适于执行或诱导执行上述方法的步骤。此外，它可以适于操作上述设备的部件。该计算单元可适于自动操作和/或执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此，该数据处理器可被配备成执行本发明的方法。
[0135]
本发明的该示例性实施例既覆盖从一开始就使用本发明的计算机程序，也覆盖通过更新的方式将现有程序变成使用本发明的程序的计算机程序。
[0136]
此外，计算机程序单元能够提供所有必要的步骤来完成如上所述的方法的示例性实施例的操作。
[0137]
根据本发明的另一示例性实施例，提出了一种计算机可读介质，例如cd-rom，其中该计算机可读介质具有存储在其上的计算机程序单元，该计算机程序单元通过前述部分进行了描述。
[0138]
计算机程序可以被存储和/或分布在适合的介质上，例如与其他硬件一起或作为其他硬件的一部分提供的光学存储介质或固态介质，但也可以以其他形式分布，例如通过互联网或其他有线或无线电信系统。
[0139]
然而，计算机程序也可以通过像万维网这样的网络提供，并可以从这样的网络下载到数据处理器的工作存储器中。根据本发明的另一示例性实施例，提供了一种用于使计算机程序单元可供下载的介质，该计算机程序单元被安排成执行根据本发明的前述实施例之一所述的方法。
[0140]
应指出的是，参考不同主题描述了本发明的实施例。尤其是，参考方法类型的权利要求描述了一些实施例，而参考装置类型的权利要求描述了另外的实施例。然而，本领域技术人员将从上文和下文描述中得出，除非另有指示，否则除了属于一种类型的主题的特征的任何组合之外，与不同主题相关的特征之间的任何组合也被认为由本技术公开。然而，所有特征都可以组合，从而提供多于特征的简单加和的协同效果。
[0141]
尽管已经在附图和前面的描述中例示说明和描述了本发明，但这样的例示说明和描述被认为是例示说明性的或示例性的而非限制性的。本发明不限于所公开的实施例。通过研究附图、公开内容和从属权利要求，本领域技术人员在实践所要求保护的本发明时，能够理解并实现所公开的实施例的其他变型。
[0142]
在权利要求中，“包括”一词不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。仅在互不相同的从属权利要求中记载某些措施并不表示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应解释为限制范围。