用于使用可驱动组件来进行协调多工具移动的方法和系统与流程

用于使用可驱动组件来进行协调多工具移动的方法和系统
1.相关申请的交叉引用
2.本技术根据35u s.c.
§
119(e)要求于2020年8月28日提交的序列号为63/071,971的美国临时专利申请的优先权，该申请通过引用整体并入本文。
技术领域
3.本发明大体上提供了改进的机器人和/或医疗(包括手术)设备、系统和方法。


背景技术：

4.机器人系统可以用于在工作部位处执行任务。例如，机器人系统可以包括一个或多个操纵器臂，每个操纵器臂包括被配置为联接到用于执行该任务的工具(也称为“器械”)的操纵器。操纵器臂可以包括通过一个或多个接头联接在一起的两个或更多个连杆。接头可以是由机器人系统主动移动的活动接头。接头也可以是不由机器人系统主动移动的被动接头。接头可以具有一个或多个自由度，并且例如可以是转动接头(revolute joint)、平动接头(prismatic joint)、球形接头或具有更复杂运动的复杂接头。操纵器臂以及联接到该操纵器臂的(一个或多个)工具的配置可以由该操纵器臂的一个或多个接头的位置、该操纵器臂的几何设计(包括该操纵器臂的一个或多个连杆和一个或多个接头的几何设计)来确定，并且被确定作为适用的考虑因素，例如操纵器臂的机械弹性。
5.示例机器人系统包括工业机器人系统和娱乐机器人系统。示例机器人系统还包括用于诊断、非手术治疗、手术治疗等程序的医疗机器人系统。作为具体示例，机器人系统包括微创机器人远程手术系统，其中外科医生可以从床边或远程位点对患者进行手术。远程手术通常是指使用手术系统进行的手术，其中外科医生使用某种形式的远程控制来操纵手术工具，而不是直接用手握住和操纵工具。可用于远程手术或其他远程医疗程序的机器人医疗系统可以包括具有可远程操作的操纵器的远程可控机器人操纵器臂。机器人医疗系统的操作员可以远程控制远程可控操纵器臂的运动。操作员还可以手动将机器人医疗系统的各个零件移动到其环境中的位置或取向。
6.机器人系统的可驱动结构可以支持多个工具。可驱动结构的移动可以用于实现所述工具中的一个的移动。然而，当多个工具由可驱动结构支持时，可驱动结构臂的移动可以导致由可驱动结构支持的所有工具的移动。
7.由于这些和其他原因，为机器人应用(包括工业、娱乐、医疗和其他机器人应用)提供改进的设备、系统和方法将是有利的。


技术实现要素：

8.一般而言，在一个方面，一个或多个实施例涉及一种机器人系统，其包括：操纵器组件，其包括：第一操纵器；第二操纵器；可驱动结构，其中所述第一操纵器被机械地联接到所述可驱动结构，并且其中所述第二操纵器被机械地联接到所述可驱动结构；以及处理系统，其被配置为进行包括以下操作的操作：从输入设备接收第一命令，所述第一命令指示用
于机械地联接到所述第一操纵器的第一工具的第一末端执行器的第一命令运动，其中所述第一操纵器和所述第一工具一起包括通过多个第一接头联接的多个第一连杆，确定用于实现所述第一命令运动的第一移动，所述第一移动包括所述第一末端执行器相对于所述可驱动结构的第一相对运动以及所述可驱动结构的可驱动结构运动，其中仅进行所述可驱动结构运动将引起所述第一末端执行器的第一引起运动并同时引起第二末端执行器的第二引起运动，所述第二末端执行器属于被机械地联接到所述第二操纵器的第二工具，其中所述第二操纵器和所述第二工具一起包括通过多个第二接头联接的多个第二连杆，确定所述多个第二接头的第二移动，其中与所述可驱动结构运动同时进行所述第二移动将补偿所述第二引起运动并维持所述第二末端执行器的状态，以及驱动所述操纵器组件以同时进行所述第一移动和所述第二移动。
9.一般而言，在一个方面，一个或多个实施例涉及一种机器人系统，其包括：可驱动组件，其包括：第一可驱动结构，其被配置为支持和移动第一工具；第二可驱动结构，其被配置为支持和移动第二工具，所述第二工具包括成像设备，其中所述第二可驱动结构和所述第二工具一起包括通过多个第二接头联接的多个第二连杆；第三可驱动结构，其被机械地联接到所述第一可驱动结构并机械地联接到所述第二可驱动结构，使得移动所述第三可驱动结构使所述第一可驱动结构和所述第二可驱动结构的近侧部分移动；以及处理系统，其被配置为进行包括以下操作的操作：从输入设备接收命令，所述命令指示所述第一工具的第一末端执行器相对于所述成像设备的成像参考系的命令运动，确定所述可驱动组件的第一移动以用于实现所述命令运动，所述第一移动包括所述第三可驱动结构的第三可驱动结构运动，确定所述多个第二接头的第二移动以补偿所述第三可驱动结构运动对所述成像参考系的影响并维持所述成像参考系相对于世界参考系的状态，以及驱动所述可驱动组件以同时进行所述第一移动和所述第二移动。
10.一般而言，在一个方面，一个或多个实施例涉及一种用于操作机器人系统的方法，所述机器人系统包括操纵器组件，所述操纵器组件包括：第一操纵器、第二操纵器、可驱动结构，其中所述第一操纵器被机械地联接到所述可驱动结构，并且其中所述第二操纵器被机械地联接到所述可驱动结构，并且所述方法包括：从输入设备接收第一命令，所述第一命令指示用于机械地联接到所述第一操纵器的第一工具的第一末端执行器的第一命令运动，其中所述第一操纵器和所述第一工具一起包括通过多个第一接头联接的多个第一连杆；确定用于实现所述第一命令运动的第一移动，所述第一移动包括所述第一末端执行器相对于所述可驱动结构的第一相对运动以及所述可驱动结构的可驱动结构运动，其中仅进行所述可驱动结构运动将引起所述第一末端执行器的第一引起运动并同时引起第二末端执行器的第二引起运动，所述第二末端执行器属于被机械地联接到所述第二操纵器的第二工具，其中所述第二操纵器和所述第二工具一起包括通过多个第二接头联接的多个第二连杆，确定所述多个第二接头的第二移动，其中与所述可驱动结构运动同时进行所述第二移动将补偿所述第二引起运动并维持所述第二末端执行器的状态，以及驱动所述操纵器组件以同时进行所述第一移动和所述第二移动。
11.一般而言，在一方面，一个或多个实施例涉及
12.一种用于操作机器人系统的方法，所述机器人系统包括可驱动组件，所述可驱动组件包括：第一可驱动结构，其被配置为支持和移动第一工具；第二可驱动结构，其被配置
为支持和移动第二工具，所述第二工具包括成像设备，其中所述第二可驱动结构和所述第二工具一起包括通过多个第二接头联接的多个第二连杆；第三可驱动结构，其被机械地联接到所述第一可驱动结构并机械地联接到所述第二可驱动结构，使得移动所述第三可驱动结构使所述第一可驱动结构和所述第二可驱动结构的近侧部分移动；并且所述方法包括：从输入设备接收命令，所述命令指示所述第一工具的第一末端执行器相对于所述成像设备的成像参考系的命令运动，确定所述可驱动组件的第一移动以用于实现所述命令运动，所述第一移动包括所述第三可驱动结构的第三可驱动结构运动，确定所述多个第二接头的第二移动以补偿所述第三可驱动结构运动对所述成像参考系的影响并维持所述成像参考系相对于世界参考系的状态，以及驱动所述可驱动组件以同时进行所述第一移动和所述第二移动。
13.本发明的其他方面根据以下描述和随附权利要求将变得显而易见。
附图说明
14.图1示意性地示出了根据一个或多个实施例的可驱动组件。
15.图2a示出了根据一个或多个实施例的远程操作机器人系统的示例。
16.图2b示意性地示出了根据一个或多个实施例的图1a的远程操作机器人系统的各种部件。
17.图3示出了根据一个或多个实施例的机器人操纵器组件的示例。
18.图4a示出了根据一个或多个实施例的具有轴偏移接头的工具的示例。
19.图4b示出了根据一个或多个实施例的没有轴偏移接头的工具的示例。
20.图5a和图5b示意性地示出了根据一个或多个实施例的使用支持多个工具的可驱动结构的移动来重新定位工具的示例。
21.图6示出了描述根据一个或多个实施例的用于使用机器人系统的协调多工具移动的方法的流程图。
22.图7a示出了描述根据一个或多个实施例的用于响应受限运动的方法的流程图。
23.图7b示出了描述根据一个或多个实施例的用于响应受限运动的方法的流程图。
24.图7c示出了描述根据一个或多个实施例的用于响应受限运动的方法的流程图。
25.图7d示出了描述根据一个或多个实施例的用于响应受限运动的方法的流程图。
26.图8示出了根据一个或多个实施例的参考系之间的变换。
具体实施方式
27.现在将参照附图详细描述本公开的具体实施例。为一致起见，各个图中的相同元件由相同的附图标记表示。
28.在本公开的实施例的以下详细描述中，阐述了许多具体细节以便提供对本发明的更透彻的理解。然而，对于本领域的普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践本发明。在另一些情况下，没有详细描述众所周知的特征以避免不必要地使描述复杂化。
29.在整个申请中，序数(例如，第一、第二、第三等)可以用作元素(即，申请中的任何名词)的形容词。序数的使用不是暗示或创建元素的任何特定排序，也不是将任何元素限制
为仅是单个元素(除非明确披露)，例如通过使用术语“之前”、“之后”、“单个”以及其他此类术语。相反，序数的使用是为了区分元素。作为示例，第一元素不同于第二元素，并且第一元素可以包含不止一个元素并且在元素的排序中在第二元素之后(或之前)。
30.尽管本文描述的一些示例涉及手术程序或手术工具、或者医疗程序和医疗工具，但所公开的技术适用于医疗和非医疗程序，以及医疗和非医疗工具。例如，本文所述的工具、系统和方法可以用于非医疗目的，包括工业用途、一般机器人用途以及感测或操纵非组织工件。另一些示例应用涉及美容改善、人体或动物解剖结构的成像、从人体或动物解剖结构收集数据、设置或拆除系统以及培训医疗或非医疗人员。附加示例应用包括用于对从人体或动物解剖结构中取出的组织(不返回人体或动物解剖结构)进行的程序，以及对人体或动物尸体执行程序。此外，这些技术还可以用于包括或不包括手术方面的医学治疗程序或诊断程序。
31.本公开的实施例有利于通过可驱动组件来移动工具。可驱动组件可以包括第三可驱动结构以及多个其他可驱动结构，所述多个其他可驱动结构被机械地联接到第三可驱动结构，使得第三可驱动结构的移动使所述其他可驱动结构移动。例如，可驱动组件可以包括操纵器组件，第一可驱动结构和第二可驱动结构可以包括第一操纵器和第二操纵器，并且第一操纵器和第二操纵器可以被机械地联接到操纵器组件的第三可驱动结构。在一些实施例中，第三可驱动结构包括可由驱动第三操纵器的致动器移动的第三操纵器。
32.作为具体示例，可驱动组件可以包括操纵器组件和多个操纵器，该操纵器组件包括可驱动结构，所述多个操纵器被机械地联接到可驱动结构。可驱动结构可以由操纵器组件的致动器驱动和移动。可驱动结构可以包括物理联接到操纵器的操纵器支持连杆。操纵器可以被配置为支持工具。因此，由操纵器支持的工具可以通过移动该工具的一个或多个接头或通过移动操纵器组件中靠近该工具的一部分来移动。例如，可以通过支持该工具的操纵器的运动、通过部分或全部可驱动结构的运动或通过整个操纵器组件的运动来移动该工具。可驱动结构的运动可以由可驱动结构的一个或多个接头的移动、由操纵器组件中靠近可驱动结构的一个或多个接头的移动或由整个操纵器组件本身的移动引起(例如，如果操纵器组件设置在轮式手推车上或包括轮式手推车，或者被可滑动地安装到桌子、地板或天花板的栏杆上，则整个操纵器组件可以平移和/或旋转)。因此，工具的末端执行器的移动可以部分或完全通过可驱动结构的运动来实现。移动可驱动结构以使工具移动可能是有益的，例如为工具提供额外的自由度或增加的运动范围。例如，与另一工具相比，由操纵器组件的第一操纵器支持的第一工具可能具有更少的自由度或更小的运动范围，这会使使用第一工具更加麻烦，或者甚至会限制第一工具到达工作部位的某些位点的能力。由于各种原因，自由度或运动范围可能会受限。例如，各种不同的工具可以具有提供不同自由度或运动范围的不同结构和设计。
33.现在参考附图(其中相同的附图标记在几个视图中代表相同的部分)，作为特定示例的图1示出了可驱动组件(100)，其可以包括第三可驱动结构(106)，第三可驱动结构(106)物理地支持第一可驱动结构(102)和第二可驱动结构(104)。第一可驱动结构(102)可以被配置为支持第一工具(122)，并且第二可驱动结构可以被配置为支持第二工具(124)。第一、第二和第三可驱动结构(102、104、106)以及第一和第二工具(122、124)中的每一个可以包括任意数量的任何类型的接头(144)和任意数量的任何几何形状的连杆(142)。虽然图
所示)的一组旋转接头。可驱动结构(222)用于以机器人方式使端口(230)(以及当时设置在其内的工具)围绕远程中心以偏航、俯仰和滚动(分别如箭头d、e和f所示)的角旋转方式枢转。
38.由(一个或多个)工具的(一个或多个)接头提供的自由度的致动可以由设置在所述(一个或多个)工具中的致动器提供，或者由其动力(例如，线性力或旋转扭矩)被传递到所述(一个或多个)工具的致动器提供。致动器的示例包括旋转马达、线性马达、螺线管等。致动器可以驱动操纵器和/或工具中的传动元件以控制所述(一个或多个)工具的自由度。例如，致动器可以驱动操纵器的与所述(一个或多个)工具的旋转盘联接的旋转盘，其中驱动所述工具的旋转盘驱动所述工具中的传动元件，所述传动元件联接以移动该工具的(一个或多个)接头，或者移动该工具的(一个或多个)末端执行器，如下面参考图3a和图3b进一步讨论的。因此，所述(一个或多个)工具的自由度可以由致动器控制，所述致动器根据基于来自相关联的输入设备(例如，用户输入系统(250)的输入设备(252))的输入确定的控制信号来驱动所述(一个或多个)工具。控制信号可以被确定成引起工具运动或如输入控制设备的移动或任何其他控制信号所指示的其他致动。此外，可以提供适当定位的传感器，例如编码器、电位计等，以实现对接头位置的指示的测量或能够用于导出接头位置的其他数据(例如接头速度)。致动器和传感器可以设置在所述(一个或多个)操纵器(226)中，或者向所述(一个或多个)操纵器(226)传送信号或从所述(一个或多个)操纵器(226)接收信号。
39.虽然操纵器组件(210)的特定配置在图2a中示出，但是本领域技术人员将理解，本公开的实施例可以与任何设计的操纵器组件一起使用。例如，与图2a所示的不同，操纵器组件可以具有任意数量和任何类型的自由度，可以被配置或不被配置为联接到端口或使用除插管之外的端口等。
40.在图2a所示的示例中，用户输入系统(250)包括由操作员(298)操作的一个或多个输入设备(252)。在图2a所示的示例中，所述一个或多个输入设备(252)由操作员(298)的手接触和操纵，每只手一个输入设备。这种手输入设备的示例包括可由人类用户手动操作的任何类型的设备，例如操纵杆、轨迹球、按钮组件(button cluster)和/或通常配备有多个自由度的其他类型的触觉设备。位置、力和/或触觉反馈设备(未示出)可以用于通过输入设备(252)将位置、力和/或触觉感觉从工具传送回操作员的手。
41.输入设备(252)由用户输入系统(250)支持并且被示为机械接地，并且在另一些实施方式中可以是机械不接地的。在一些实施方式中可以提供人体工程学支撑物(256)；例如、图2a示出了包括前臂撑架的人体工程学支撑物(256)，操作员(298)可以在操纵输入设备(252)时将他或她的前臂搁在前臂撑架上。在一些示例中，操作员(298)可以在医疗过程期间通过使用输入设备(252)控制操纵器组件(210)来在操纵器组件(210)附近的工作部位处执行任务。
42.显示单元(254)包括在用户输入系统(250)中。显示单元(254)可以显示供操作员(298)观看的图像。显示单元(254)可以向操作员(298)提供与操纵器组件(210)交互的工作部位的视图。该视图可以包括立体图像或三维图像以提供工作部位及工作部位中的操纵器组件(210)的(一个或多个)工具的深度感知。显示单元(254)可以以各种自由度移动以适应操作员的观看位置和/或提供控制功能。在显示单元(例如显示单元(254))也用于提供控制功能(例如，以命令操纵器组件)的情况下，显示单元还包括输入设备(例如，另一个输入设
备(252))。
43.当使用用户输入系统(250)时，操作员(298)可以坐在用户输入系统(250)前面的椅子或其他支撑物上，定位他或她的眼睛以查看由显示单元(254)显示的图像，抓住并操纵输入设备(252)，并根据需要将他或她的前臂搁在人体工程学支撑物(256)上。在一些实施方式中，操作员(298)可以站在工作站处或采取其他姿势，并且显示单元(254)和输入设备(252)可以在构造上不同、在位置(高度、深度等)上进行调整，等等。
44.图2b示意性地示出了系统(270)。系统(270)可以对应于机器人系统(200)并且可以包括一个或多个计算系统(272)。计算系统(272)可以包括处理系统，并且用于处理由用户输入系统(250)提供的输入，例如，来自由操作员操纵的(一个或多个)输入设备(252)的输入。计算系统(272)进一步可以用于向显示单元(274)提供输出，例如视频图像。显示单元(274)的示例包括lcd、led、有机led显示器、投影仪等。一个或多个计算系统(272)进一步可以用于控制操纵器组件(210)。
45.在一个或多个实施例中，(一个或多个)计算系统(272)执行控制方法。控制方法可以包括用于控制操纵器组件(210)的一个或多个部件的指令。在一个或多个实施例中，操纵器组件(210)的接头运动由使用操纵器组件(210)的致动器驱动一个或多个接头的控制方法控制，接头运动由所述(一个或多个)计算系统(272)的处理系统的处理器计算。控制方法可以处理来自用户输入系统(250)或其他地方的控制信号，和/或传感器信号(例如，来自接头位置传感器的位置编码器数据、来自诸如超声探头或相机或内窥镜等图像工具的图像数据等)，以计算用于接头致动器的命令。
46.控制方法可以使用向量和/或矩阵来执行接头命令的计算中的至少一些，所述向量和/或矩阵中的一些可以具有对应于接头的位置、速度和/或力/扭矩的元素。可用于控制方法的可选接头配置的范围可以概念化为接头空间。接头空间例如可以具有与操纵器组件具有的自由度一样多的维度，并且操纵器组件的特定配置可以表示接头空间中的特定点，其中每个坐标对应于操纵器组件的相关联的接头的接头状态。
47.如本文所使用的，一个接头或多个接头的“状态”这个术语是指分别与所述一个接头或多个接头相关联的控制变量。例如，角接头的状态可以指由该接头在其运动范围内定义的角度，和/或指该接头的角速度(或者速率或方向)。类似地，轴向或平动接头的状态可以指该接头的轴向或线性位置，和/或其轴向或线性速度(或者速率或方向)。虽然本文描述的控制方法中的一种或多种包括位置控制器，但它们通常还具有速度控制方面。替代实施例可以主要或完全依赖于速度控制器、力控制器、加速度控制器等而不背离本公开。可以在此类设备中使用的控制系统的许多方面在美国专利第6,699,177号中进行了更全面的描述，该专利的全部公开内容通过引用并入本文。因此，只要所描述的移动基于相关联的计算，本文描述的接头移动和末端执行器移动的计算可以使用位置控制技术、速度控制技术、加速度控制技术、力或扭矩控制技术、上述部分或全部的组合等来进行。
48.可以进一步存在多种控制模式。例如，在由用户操作的输入设备(252)的控制下执行机器人任务期间，操纵器组件的各种接头可以是位置控制的。然而，在另一种控制模式中，接头中的一个或多个可以是“浮动的”，从而允许操作员或助手容易地从外部铰接这些一个或多个浮动接头。由于外部施加的力，浮动接头有利于该接头的运动。例如，通过制动器保持在适当位置的接头可以通过部分或全部释放该制动器而浮动；这种接头的一个示例
包括通过电磁制动器保持在适当位置的被动接头。作为另一个示例，由(一个或多个)致动器驱动以移动的接头可以由所述(一个或多个)致动器保持在适当位置，并通过将命令更新到所述(一个或多个)致动器而浮动至当前位置或速度或加速度。
49.浮动接头因此很容易通过外部施加的力或扭矩而被重新配置，而无需控制算法和/或制动力来抵消由足够的外部施加的力或扭矩引起的重新配置。附加地或替代地，还可以控制浮动接头以施加其他特性，例如一定程度的阻尼。在操纵器组件的操作期间可以组合多种控制模式，例如，可以控制一些接头以抵抗这些接头的外部接头铰接或从这些接头的外部铰接中反弹，而其他接头可以是浮动的并且有助于那些其他接头的外部铰接。接头传感器可以检测接头的位置、速度或加速度等参数。传感器信号可以用于提供操纵器组件的运动学信息。浮动接头仍可被制动、致动或以其他方式管理以进行摩擦或重力补偿；例如，补偿可以由被动弹簧、主动驱动的致动器等提供。此外，在一些实施例中，不被致动器移动的接头仍然可以由致动器进行重力补偿、摩擦补偿、阻尼等。
50.用于控制操纵器组件的控制方法的架构可以是任何适当的形式。作为具体示例，控制架构可以是分层的，并且可以包括高级控制器和多个接头控制器。高级控制器可以在例如笛卡尔坐标空间(本文称为笛卡尔空间)中接收命令的移动。例如，命令的移动可以基于从用户输入系统(250)或提供移动命令的任何其他系统接收的移动命令(例如，以位置和/或速度的形式)。命令的移动可以被转换成命令的接头位置或接头速度(例如，线性或角接头位置、线性或角接头速度)。可以使用逆运动学算法来执行转换。随后，接头控制器可以将接收到的命令的接头位置或速度转换为命令的电流以驱动致动器产生接头移动。接头移动一起可以产生反映命令的移动的操纵器组件移动。
51.在本公开的一个实施例中，接头控制器控制接头位置。可替代地，接头控制器可以控制其他变量，例如接头速度、接头力(线性力或角扭矩)。接头控制器可以从关联的接头传感器接收以感测接头状态形式的反馈信号，它可以将其用于闭环控制。感测到的接头状态可以包括表示接头移动的接头位置、接头速度(或速度的分量，例如速率或方向)和/或接头加速度(或加速度的分量)等。感测到的接头状态可以从自接头传感器获得的信号中导出。这种传感器可以包括例如编码器、电位计、加速度计、霍尔效应传感器等。可以使用状态观察器或估计器(未示出)。每个接头控制器可以实施任何适当的控制方案，例如比例积分微分(pid)、比例微分(pd)、全状态反馈、滑动模式或各种其他控制方案，而不背离本公开。
52.在一个或多个实施例中，控制方法进一步执行图6、图7a、图7b、图7c或图7d中描述的步骤中的至少一个。这些方法可以用于驱动操纵器组件(210)的致动器中的一个或多个。
53.计算系统(272)可以包括一个或多个计算机处理器、非永久性存储设备(例如，易失性存储器，诸如随机存取存储器(ram)、高速缓冲存储器)、永久性存储设备(例如，硬盘、诸如光盘(cd)驱动器或数字多功能磁盘(dvd)驱动器之类的光驱、闪存等)、通信接口(例如，蓝牙接口、红外接口、网络接口、光学接口等)以及许多其他元件和功能。计算系统(272)的计算机处理器可以是用于处理指令的集成电路。例如，计算机处理器可以是处理器的一个或多个核或微核。计算系统(272)的通信接口可以包括用于将计算系统(272)连接到网络(未示出)和/或另一个设备(例如另一个计算系统(272))的集成电路。此外，计算系统(272)可以包括一个或多个输出设备，例如显示单元(274)、打印机、扬声器、外部存储设备或任何其他输出设备。用于执行本公开的实施例的计算机可读程序代码形式的软件指令可以全部
或部分地、临时或永久地存储在非暂时性计算机可读介质上。具体地，软件指令可以对应于计算机可读程序代码，当由(一个或多个)处理器执行时，该程序代码被配置为执行本发明的一个或多个实施例。计算系统(272)可以连接到网络或者是网络的一部分。该网络可以包括多个节点。每个节点可以对应于一个计算系统或一组节点。
54.操纵器组件(210)可以联接到包括成像设备(例如，内窥镜或超声探头)的工具，以捕获工作部位的图像并将捕获的图像输出到辅助系统(280)。辅助系统(280)可以在任何后续显示之前以多种方式处理捕获的图像。例如，辅助系统(280)可以在经由用户输入系统(250)向操作员显示组合图像之前用虚拟控制界面覆盖所捕获的图像。一个或多个单独的显示单元(274)也可以与计算系统(272)和/或辅助系统(280)联接，以用于本地和/或远程显示图像，例如手术程序部位的图像或其他相关图像。
55.转到图3，示出了根据一个或多个实施例的可驱动结构组件(300)的示例。可驱动结构组件(300)包括第三可驱动结构(306)，该第三可驱动结构物理地支持第一可驱动结构(302)和第二可驱动结构(304)。第一可驱动结构(302)可以支持第一工具(322)，并且第二可驱动结构可以支持第二工具(324)。在各种实施例中，可驱动结构组件(300)包括操纵器组件，其中第一可驱动结构(302)包括第一操纵器并且第二可驱动结构(304)包括第二操纵器。第一、第二和第三可驱动结构(302、304、306)以及第一和第二工具(322、324)中的每一个各自可以包括任意数量的任何类型的接头(344、346)和任意数量的任何几何形状的连杆(342)。在一个实施例中，可驱动结构组件(300)是医疗机器人系统的一部分。
56.可驱动结构组件(300)可以被配置为台侧安装的医疗机器人系统。例如，第三可驱动结构(306)可以附接到手术台或检查台的基座。如图3所示，第三可驱动结构可以为第一和第二可驱动结构(302、304)提供可移动支持。平动接头(346)可以实现第一和第二可驱动结构(302、304)相对于第三可驱动结构(306)的平移移动。虽然在图3中示出了两个可驱动结构(第一和第二可驱动结构(302、304))，但是第三可驱动结构(306)可以支持任意数量的可驱动结构。此外，医疗机器人系统可以包括具有相同或不同设计的一个或多个附加可驱动结构组件。例如，可驱动结构组件(300)可以安装在工作台的一侧，并且相同或不同的操纵器组件可以安装在工作台的同一侧或另一侧。
57.转到图4a和图4b，示出了工具(400、450)(也称为器械(400、450))的示例。根据一个或多个实施例，工具(400、450)可以用于机器人程序，诸如机器人医疗程序(例如手术)。
58.图4a中的工具(400)包括轴(410)和位于工具(400)的第一端处的末端执行器。布置成将工具(400)可释放地联接到操纵器(例如，在图2a中示出)的外壳(430)位于工具(400)的第二端处。轴(410)可以可旋转地联接到外壳(430)以使轴(410)能够相对于外壳(430)进行角位移，如箭头(448)所示。
59.存在各种类型的末端执行器(440)。例如，末端执行器(440)可以包括一个指状物、两个指状物(例如，可以打开和关闭的钳爪(442))或者三个或更多个指状物。末端执行器的示例包括但不限于剪刀、镊子、缝合器等。作为另一个示例，末端执行器可以进一步包括成像设备，例如内窥镜或超声探头，以捕获工作部位的图像。末端执行器可以由将工具的部件连接到外壳(430)中的驱动元件(例如，滑轮、绞盘、线轴、螺母、线性滑轨或类似物)(未示出)的传动元件(例如，缆线、金属带、螺钉、管子、推杆等)致动。驱动元件的移动(例如平移或旋转)因此可以控制末端执行器的位置或诸如钳爪开度的其他自由度，使得末端执行器
可以平移或旋转，钳爪可以打开和关闭等。在将工具(400)联接在诸如操纵器的可驱动结构上时，驱动元件可与可驱动结构的致动器接合，例如通过与联接到致动器的传动元件接合。作为示例，可以在名称为“用于微创远程手术应用的手术工具(surgical tools for use in minimally invasive telesurgical applications)”的美国专利第6,394,998号中找到对与工具(400)一样的工具的控制的描述。
60.在图4a所示的示例中，工具(400)的接头包括靠近末端执行器(440)的腕部(420)和靠近腕部(420)的两个轴偏移接头(422、424)。腕部(420)可以使末端执行器(440)能够在一个或多个方向上旋转。除了由腕部(420)提供的旋转之外，轴偏移接头(422、424)还可以实现例如末端执行器(440)相对于插入轴线(412)的平移偏移(426)。因此，轴偏移接头(422、424)可以增加工具(400)的末端执行器(440)可到达的工作空间。与末端执行器(440)一样，腕部(420)和轴偏移接头(422、424)可以由控制缆线驱动。
61.图4b所示的工具(450)包括图4a所示的工具(400)的各种元件，并且可以以与图4a所示工具(400)基本相似的方式操作。具体地，工具(450)包括轴(460)和靠近末端执行器(490)的腕部(470)。此外，工具(450)具有用于插入/缩回工具(450)的插入轴线(462)。工具(450)还允许轴(460)相对于外壳(480)的角位移，如箭头(498)所示。与图4a中的工具(400)不同，工具(450)没有配备轴偏移接头。因此，工具(450)不能像工具(400)那样实现末端执行器(440)相对于插入轴线(462)的平移偏移。与包括轴偏移接头的类似轴(例如轴(410))相比，没有轴偏移接头的轴(460)可以制造得更刚性，可以被配置为允许传递更高的力或扭矩，或者可以被配置为以减小的摩擦来传递力和扭矩。与其他工具相比，通常利用传递更高力的工具的示例是组织缝合器。此外，在各种实施方式中，与具有轴偏移接头的可比工具相比，没有轴偏移接头的工具可能成本更低、更易于维修、维护和/或清洁。
62.虽然图4a和图4b示出了工具的特定配置(其被设计为与特定类型的操纵器接合)，但是工具的其他配置也在本公开的范围内。例如，工具(400、450)的实施例可以具有多自由度腕部(例如，俯仰和偏航自由度)、单自由度腕部(例如，俯仰或钳爪)、或者没有腕部。此外，工具(400、450)的实施例可以具有任何类型的末端执行器(440、490)，包括例如剪刀、镊子、缝合器、冲洗喷嘴、钩子、剪刀、钝性解剖工具、持针器、成像设备或类似物。此外，不同的外壳(430、480)可以用于与不同类型的操纵器相接。
63.图5a和图5b示意性地图示了根据一个或多个实施例的使用靠近一工具和其他工具的可驱动结构的移动来重新定位该工具的末端执行器。图5a示出了重新定位之前的场景(500a)，而图5b示出了重新定位之后的场景(500b)。
64.具体来说、图5a和图5b示出了包括操纵器组件的可驱动结构组件，其中包括操纵器支持连杆(502)的可驱动结构支持联接到多个工具(504、510、516)的多个操纵器(550、552、554)。换言之，操纵器支持连杆(502)形成用于支持工具(504、510、516)的操纵器(550、552、554)的公共机械基座。操纵器支持连杆(502)可以对应于如先前参考图2a介绍的可驱动结构的操纵器支持连杆。例如，可驱动结构的一个或多个接头的移动可以导致操纵器支持连杆(502)的移动。当操纵器支持连杆(502)移动时，附接到操纵器支持连杆(502)的操纵器(550、552、554)的部分也移动。如果操纵器(550、552、554)在配置中保持固定，则操纵器支持连杆(502)的移动也使工具(504、510、516)移动。
65.通过诸如操纵器支持连杆(502)之类的公共机械基座的移动来重新定位工具(例
如，工具504、510或516)可以用于增加工具(例如，工具504、510或516)的自由度和/或运动范围。例如，考虑图5a中的工具(510)。工具(510)配备有末端执行器(512)。假设末端执行器(512)在程序中与目标(596)交互。例如，假设操作员通过经由图2a中的输入设备(252)提供命令运动来远程控制工具(510)的末端执行器(512)。在图5a和图5b的示例中，操作员可以提供旨在使末端执行器(512)与目标(596)交互的命令。目标(596)可以是任何种类的物体，并且工具(510)可以是任何种类的工具，其配备有适合与目标(596)交互的末端执行器。例如，在手术场景中，末端执行器可以包括镊子，并且目标可以包括组织。
66.在图5a所示的配置中，如果操纵器支持连杆(502)不相对于目标(596)移动，则末端执行器(512)无法够到目标(596)。导致末端执行器(512)无法够到目标(596)的一个因素是工具(510)与一些其他工具相比具有更少的接头。例如，工具(510)缺少轴偏移接头，而工具(504、516)包括轴偏移接头(508、520)。如果工具(510、504、516)除了工具(510)缺少轴偏移接头之外是相同的，那么与工具(510)相比，工具(504)和(516)通常具有增加的自由度数量和/或增加的运动范围。然而，即使工具(510)包括额外的接头，例如轴偏移接头或其他接头，如果额外的接头没有提供足够的附加移动范围，那么在操纵器支持连杆(502)未运动的情况下，末端执行器(512)可能仍然无法够到目标(596)。
67.在图5a和图5b的示例中，工具(516)的末端执行器包括成像设备(518)。成像设备(518)被配置为捕获图像并提供图像以显示给工具(504、510)的操作员。在工具(504、510)在这些图像中可见的情况下、图像提供能够由工具(504、510)的操作员在控制工具(504、510)时使用的视觉反馈。在图5a和图5b的示例中，工具(504、510、516)通过插管(530)朝向包含目标(596)的工作部位(598)插入；插管(530)通过屏障(594)中的孔隙(592)插入。在医疗场景中，屏障(594)可以是患者的体壁，而孔隙(592)可以是患者的微创切口或自然身体孔口。
68.图5b图示了围绕远程运动中心(540)(也称为“远程中心”(540))的枢转运动(532)，操纵器组件的部分围绕该远程运动中心枢转。在图5b所示的示例中，操纵器组件已被定位和/或被控制，使得远程中心(540)大致位于孔隙(592)中央。如图5b的示例所示，操纵器支持连杆(502)相对于目标(596)的移动(例如，枢转运动(532)或一些其他移动(例如平移移动、组合的平移移动和旋转移动等))可以使末端执行器(512)能够执行由操作员经由输入设备(252)指示的、末端执行器(512)可能无法以其他方式执行的命令运动。
69.在一个或多个实施例中，移动(例如枢转运动(532))使支持操纵器(550、552、554)的操纵器支持连杆(502)移动，其中操纵器(550、552、554)支持工具(504、510、516)。如果操纵器(550、552、554)相对于操纵器支持连杆(502)保持静止，则工具(504、510、516)响应于操纵器支持连杆(502)的移动(全部围绕远程中心(540)随着枢转运动(532)枢转)以共同运动联合移动。因此，如果操纵器相对于操纵器支持连杆(502)保持静止，则枢转运动(532)将引起工具(510)的末端执行器(512)的运动，从而使其到达图5b所示位置，并且还将引起工具(504、516)的末端执行器(506，包括成像设备(518)的末端执行器)的运动，使得工具(504、516)到达图5b中虚线所示的位置，如果这些引起的运动没有得到补偿的话。在图5b所示的示例中，工具(510)的移动被命令并且因此是期望的，但是将由仅执行枢转运动(532)导致的工具(504、516)的移动可能不是命令的、预期的或期望的。例如，可以预期工具(504、516)在没有移动命令的情况下保持静止不动。可替代地，工具(504、516)可以预期遵循为这
些工具提供的命令，而独立于工具(510)的移动。
70.在一个或多个实施例中，支持工具(504、516)的操纵器(550、552、554)被驱动以以部分或完全补偿由操纵器支持连杆(502)的移动引起运动(例如枢转运动(532))的方式移动。补偿可涉及支持工具(504、516)的操纵器(550、552、554)的一个或多个接头和/或工具(504、516)的一个或多个接头的移动。例如，补偿可涉及移动轴偏移接头(508、520)或工具(504、516)的其他接头，和/或移动操纵器(550、554)以沿着工具(504、516)的插入轴线执行插入或缩回移动。可以执行补偿，使得末端执行器(506，包括成像设备(518)的末端执行器)在工作部位内保持基本静止不动，而工具(510)的末端执行器(512)相对于工作部位重新定位。执行以实现参考图5a和图5b讨论的操作的示例方法在下面以流程图的形式提供。
71.在以上讨论中，工具(504、516)和工具(510)之间的区别在于工具(510)具有较少的接头(例如，缺少轴偏移接头或其他接头)。然而，更一般地，与联接到操纵器支持连杆(502)的操纵器(550、554)所支持的其他工具相比，工具(510)可以具有相同或更多数量的接头、相同或更多数量的自由度、或相同或更大的运动范围。在所有这些情况下，操纵器支持连杆(502)的移动能够帮助增加诸如工具(510)之类的工具(或远端联接到操纵器支持连杆的另一工具，包括工具(504、516)或其他一些工具)的自由度和/或运动范围。此外，虽然图5a和图5b图示了与可通过孔隙进入的工作部位相结合的枢转运动(532)，但是所描述的方法适用于任何类型的移动而不限于枢转。例如，操纵器支持连杆(502)的移动可以替代地是或包括一种或多种其他旋转移动、线性或非线性平移移动、平移移动和旋转移动的组合等。
72.虽然图1、图2a、图2b、图3、图4a、图4b、图5a和图5b示出了部件的各种配置，但在不脱离本公开的范围的情况下可以使用其他配置。例如，可以组合各种部件以创建单个部件。作为另一示例，由单个部件执行的功能可以由两个或更多个部件执行。此外，虽然部件通常在诸如手术场景之类的医疗场景的背景下进行描述，但本公开的实施例可以同样适用于涉及机器人操纵的其他领域，例如，非手术场景或系统、非医疗场景或系统等。
73.随后参考图6、图7a、图7b、图7c和图7d的流程图描述用于执行所描述的移动和补偿的方法。概括地说，根据一个或多个实施例的方法适用于任何类型的可驱动组件，即，如先前介绍的机械地连接的可驱动结构的配置。这种可驱动组件可以包括第一可驱动结构和第二可驱动结构，这两个可驱动结构均机械地设置在第三可驱动结构上。多于两个的可驱动结构可以设置在第三可驱动结构上。第一可驱动结构、第二可驱动结构(以及任何附加的可驱动结构，如果存在的话)可以各自支持工具。
74.用于执行所描述的移动和补偿的方法可以具有各种应用。例如，与同时使用的其他工具相比，这些方法可以便于使用具有更少接头的工具(例如，缺少如图5a和图5b中示意性图示的轴偏移接头)。然而，本公开中所述技术的使用不限于缺少轴偏移接头的工具或与其他工具相比具有更少接头的工具。例如，所描述的用于移动工具的技术可以用于增加该工具的可达工作空间、增加该工具的自由度或运动范围、避开障碍物等，而不管该工具具有多少个接头或什么接头。本公开中描述的技术还可以用于增加具有相同或更多数量的接头、自由度、运动范围等的工具的自由度和运动范围。因此，所描述的技术通常可以增加机器人系统的多功能性。
75.图6、图7a、图7b、图7c和图7d示出了根据一个或多个实施例的流程图。图6、图7a、
图7b、图7c和图7d描绘了根据一个或多个实施例的用于使用可驱动组件移动的协调多工具移动的方法。图6、图7a、图7b、图7c和图7d中的一个或多个步骤可以由之前参考图1、图2a、图2b、图3、图4a、图4b、图5a和图5b描述的系统的各种部件来执行。
76.随后描述的方法不限于可驱动结构、工具和/或自由度的特定配置。相反，所述方法适用于联接到共同的近侧可驱动结构的远侧可驱动结构的任何组合，并用于任何类型的场景。例如，所描述的方法适用于图1、图2a、图2b、图3a、图3b、图4a和图4b所示的任何配置。
77.尽管顺序地呈现和描述了这些流程图中的各个步骤，但普通技术人员将理解，这些步骤中的一些或全部可以以不同的顺序执行，可以组合或省略，并且这些步骤中的一些或全部可以并行执行。另外，进一步可以执行附加步骤。此外，可以响应于触发事件(例如，轮询、中断、某些传感器输入等)来执行这些步骤，或者在不需要特定触发事件(例如，时间的流逝、先前过程的完成等)的情况下执行这些步骤。因此，本公开的范围不应被认为限于图6、图7a、图7b、图7c和图7d中所示的步骤的具体布置。
78.图6的流程图可以被理解为描述与使用可驱动组件的协调多工具移动相关联的步骤的第一流程图。图7a、图7b、图7c和图7d描述了附加方面。如前所讨论的，所描述的步骤中的一些或这些附加方面中的一些可以包括或可以不包括在具体实施方式中。
79.转到图6的流程图，示出了根据一个或多个实施例的使用可驱动组件协调多工具移动的方法。广义地说，该方法可以被执行以基于从一个或多个输入设备接收到的一个或多个命令来控制可驱动组件的接头配置。可驱动组件例如可以是参考图2a描述的操纵器组件，或者是任何其他可驱动组件，包括被配置为支持多于两个末端执行器的可驱动组件。命令可以用于控制由可驱动组件支持的一个或多个末端执行器的状态(例如，位置、取向、速度和/或加速度)。参考图1的可驱动组件(100)，第三可驱动结构运动用于引起由第一可驱动结构支持的第一末端执行器的移动。如果第二可驱动结构的引起运动未被补偿，则第三可驱动结构运动还将引起由第二可驱动结构支持的第二末端执行器的潜在不希望的运动。该方法计算并引起补偿移动以减少或阻止第二末端执行器的潜在不希望的运动。第二可驱动结构和/或包括第二末端执行器的工具的附加运动可以叠加以根据另一命令移动第二末端执行器，例如，由用户提供的第二末端执行器的命令运动。
80.在图6的这个讨论中，第一、第二和第三可驱动结构可以具有任何配置(例如，具有任意数量的任何类型的接头和/或任意数量的任何几何配置的连杆)。第一和第二可驱动结构可以分别支持任何类型的第一和第二工具。这些步骤和方法适用于各种实施例，包括本公开中描述的实施例。为了帮助解释，使用参考图1中提供的示例的术语来描述这些步骤，并且还通过关于具体实施例(例如图2a或图5a-5b中提供的那些)的描述来进一步说明。
81.在步骤600中，例如从输入设备或从另一个外部或内部源接收第一命令。例如，第一命令可以是用户输入，或者它可以由控制可驱动组件的操作的自主或半自主算法在内部产生。第一命令可以指示用于第一工具的第一末端执行器的第一命令运动。第一命令运动可以指定任何运动参数，例如平移或旋转位置和/或速度和/或加速度，诸如以第一末端执行器的轨迹的形式。第一命令运动可以包括各种分量。例如，第一命令运动可以用于重新定位和/或重新定向第一末端执行器。另外，第一命令运动还可以涉及其他部件，例如打开/关闭第一末端执行器的钳爪(如果适用)或以其他方式操作第一末端执行器。在一个或多个实施例中，第一命令运动是相对于成像设备的成像参考系提供的。如下文进一步讨论的，成像
设备可以包括在由可驱动组件支持的第二工具的第二末端执行器中，如图1所示。下面参考图8提供对参考系的讨论。
82.在步骤602，接收第二命令。与第一命令类似，第二命令可以来自输入设备或任何其他外部或内部源。第二命令可以指示第二工具的第二末端执行器的第二命令运动。第二命令运动可以指定运动参数，例如，以第二末端执行器的轨迹的形式。第二命令运动可以包括各种分量，正如第一命令运动可以包括各种分量一样。在一个或多个实施例中，第二命令运动是相对于成像设备的成像参考系提供的。步骤602的存在和执行是可选的。可以可选地接收用于附加工具的附加末端执行器的附加命令。
83.在步骤604中，确定用于实现第一末端执行器的第一命令运动的第一移动。在一个或多个实施例中，并且参考图1，第一移动包括第三可驱动结构的第三可驱动结构运动。在图5a和图5b的示例中，可驱动结构运动可以是操纵器支持连杆(502)的运动。可驱动结构运动可以通过执行如之前参照图2b描述的控制方法来获得。例如，可以通过逆运动学算法处理第一命令运动以获得与可驱动结构相关联的接头的接头位置(例如，旋转接头的接头角度)。
84.第三可驱动结构运动引起第一可驱动结构的第一引起运动。因为至少第二可驱动结构设置在可驱动结构上，所以执行第三可驱动结构运动还将引起第二可驱动结构(以及由第二可驱动结构支持的工具的第二末端执行器)的第二引起运动，如果第三可驱动结构运动是执行的唯一运动的话。在实施例中，第二工具的末端执行器包括操纵工具并且不包括成像设备。在另一个实施例中，第二工具的末端执行器包括成像设备。在第二工具包括具有成像参考系的成像设备并且相对于成像参考系执行第一移动的情况下，仅执行第三可驱动结构运动将在移动成像参考系的同时移动第一末端执行器。
85.作为具体示例，当执行图2a所示实施例的步骤604时，第一命令运动引起第一移动。第一移动包括可驱动结构运动。可驱动结构的移动如果单独执行(没有附加的补偿移动)将引起设置在第一操纵器上的第一末端执行器的第一引起运动，同时引起设置在第二操纵器上的第二末端执行器的第二引起运动。在一个或多个实施例中，第一移动进一步包括第一末端执行器相对于可驱动结构的相对运动。第一末端执行器的相对运动可以是第一工具沿第一工具的插入轴线的插入/缩回、第一工具的第一末端执行器的打开/关闭、第一工具的第一末端执行器(例如，在腕部处)的枢转或第一末端执行器的任何其他致动。
86.在步骤606中，确定用于补偿第二引起运动的第二移动以维持第二末端执行器的状态(例如，位置和/或取向，或者线性或角速度或加速度)。可以通过执行如之前参照图1b描述的控制方法来获得第二移动。例如，可以通过逆运动学算法处理第一命令运动以获得第二移动中涉及的接头的接头位置(例如，旋转接头的接头角度)。
87.作为参考图1(其示出了作为第二末端执行器的成像设备)的具体示例，第二移动补偿第三可驱动结构运动对相对于世界参考系的成像参考系的影响。因此，当第二移动与第三可驱动结构运动同时进行时，成像参考系相对于世界参考系的状态将部分或全部维持。换言之，成像参考系(位置和/或取向)将在世界参考系中保持静止不动。第二移动可以涉及一组接头的移动，该组接头包括第二可驱动结构和第二工具的一个或多个接头。
88.作为参考图2a的具体示例，当第二移动与可驱动结构运动同时执行时，第二移动补偿第二引起运动以维持第二末端执行器的状态。第二移动可以涉及一组接头，包括第二
操纵器和第二工具的接头。
89.现在参考图4a、图5a和图5b所示的示例，在第二移动中涉及的这组接头可以包括轴偏移接头、沿插入轴线提供插入/缩回的接头和/或另一个接头。
90.步骤606可以可选地针对设置在第三可驱动结构上的附加可驱动结构和末端执行器进行。
91.在步骤608中，确定用于实现第二末端执行器的第二命令运动的第三移动。当第三移动叠加在第一移动和第二移动上时，第三移动可以实现第二命令运动。可以通过执行如先前参照图2b描述的控制方法来获得第三移动。例如，可以通过逆运动学算法处理在步骤602中获得的第二命令运动，以获得包括第二操纵器和第二工具的接头的这组接头的接头位置(例如，旋转接头的接头角度)。步骤608的存在和执行是可选的。具体地，步骤608的执行可以在步骤602之后进行。虽然步骤608是针对第二末端执行器描述的，但它也可以适用于任何附加的要控制的末端执行器。
92.在步骤610中，驱动可驱动组件以同时进行第一和第二(以及可选地第三)移动。驱动可驱动组件可以涉及使用在确定第一、第二和第三移动时计算的逆运动学算法的输出来驱动可驱动组件的各个接头。所述输出可以是用于驱动接头致动器(例如，图1的可驱动结构的第一、第二和第三可驱动结构以及第一和第二工具的接头致动器，或者图2b的操纵器组件的可驱动结构、第一和第二操纵器以及第一和第二工具的接头致动器)的接头状态(例如，位置和/或取向，和/或线性或角速度或加速度)。
93.如前所述，步骤604、606和608的执行可以涉及逆运动学算法。可以存在各种实施方式。例如，在一个实施例中，单个逆运动学算法进行步骤604、606和608所需的计算。在另一实施方式中，使用多个模块化逆运动学算法。例如，在模块化机器人系统中，第一、第二和第三可驱动结构中的每一个都可以通过单独执行算法来控制。重要的是，虽然算法可以单独执行，但它们以相互依赖的方式执行。例如，第二移动(步骤606)中涉及的接头可能需要与第一移动(步骤604)中涉及的接头协调。此外，与确定第二移动中涉及的接头的接头位置和/或取向有关的计算不仅基于要进行以消除第一移动的影响的补偿(步骤606)而且还基于第二命令运动(步骤608)来进行。
94.监督算法可以协调模块化逆运动学算法的操作。模块化逆运动学算法中的每一种只能共享有限的信息。例如，监督算法可以使用第一末端执行器相对于第一可驱动结构的基座(第一可驱动结构与第三可驱动结构相接的点)的笛卡尔位置/取向命令来周期性地指导与第一可驱动结构和第一工具相关联的逆运动学算法。然后该逆运动学算法可以生成适当的命令来驱动第一可驱动结构和第一工具的接头致动器。类似地，监督算法可以周期性地指导与第三可驱动结构相关联的逆运动学算法。可以为第三可驱动结构相对于第三可驱动结构的基座的远侧点(在那里第三可驱动结构支持第一可驱动结构)提供笛卡尔位置命令。然后，该逆运动学算法可以生成适当的命令来驱动第三可驱动结构的接头致动器等。
95.可以重复步骤600-610直到方法的执行终止。以高速率(例如，每隔几毫秒或更快)进行所述步骤中的至少一些以确保平滑控制第一、第二和第三移动中涉及的接头。
96.虽然图6的方法可以在某些情况下用于协调多工具移动，但是该方法不一定总是有效的。例如，当没有第一工具联接到第一可驱动结构时，或者当没有第二工具联接到第二可驱动结构时，可以不进行该方法。
97.在以下段落中，描述了另外的方法。广义上讲，所述另外的方法可以用于检测可驱动结构运动(例如，第一、第二、第三可驱动结构、第一工具和/或第二工具等的运动)受限的条件。取决于哪个操纵器移动受限，可能会产生不同的结果，这些结果中的至少一些是不希望的。如随后讨论的，机器人系统可以响应(一个或多个)受限运动。而且，在任何或所有示例中，可以向操作员提供限制或响应的状态消息或其他指示。
98.图7a-7d中的每一个示出了图示根据一个或多个实施例的用于响应受限运动的方法的流程图。结合图7a-d描述的方法中的每一个可以在执行图6的方法的同时执行。例如、图7a、图7b、图7c和/或图7d的方法可以用于补充图6的方法的执行并对某些例外情况作出响应。
99.从图7a开始，在步骤700中，参考图1所示的配置，进行评估以确定第三可驱动结构的运动是否受限。评估不限于在图6的步骤604中确定的第三可驱动结构运动，而是可以应用于第三可驱动结构的一些或所有种类的运动。第三可驱动结构的运动受限的原因可以包括但不限于：已经发生或即将发生的与其他操纵器或物体的碰撞、一个或多个接头的当前或预测运动超过运动范围极限、出故障的接头致动器等。可以以各种方式进行评估。例如，如果第三可驱动结构在其中操作的工作空间是已知的，则可以使用模拟来预测命令移动的碰撞。可以基于当前的接头配置和已知的运动范围极限来评估已经达到或即将达到运动范围极限。此外，将可驱动组件的命令移动与实际移动进行比较还可以包括评估第三可驱动结构的移动是否受限。例如，可以使用接头参数传感器获得实际移动。例如，如果发现实际移动以任何方式或以特定方式偏离命令移动，则可以得出移动受限的结论。
100.如果在步骤700中进行的评估指示第三可驱动结构的运动受限，则该方法可以继续执行步骤710。如果评估指示该可驱动结构的运动不受限，该方法可以重复执行步骤700。
101.虽然已经参考图1所示的配置描述了步骤700，但是图7的方法同样适用于其他实施例。例如，在图2a所示的实施例中，可以进行类似的评估以确定所述可驱动结构的运动是否受限。
102.在步骤710中，至少部分地阻止了第一工具的运动。至少部分地阻止第一工具的运动可以帮助避免意外结果。例如，如果第二移动(在步骤606中确定)继续而第三可驱动结构的运动受限，则第二末端执行器可以朝着非预期位点移动。类似地，第一和第二末端执行器之间的相对定位可以不再如预期的那样。如步骤712和714中所述，用于减轻受限的可驱动结构运动的不同选项是可用的。循环执行步骤700和710可以帮助确保在限制的持续时间内至少部分地阻止第一工具的运动。
103.在步骤712中，与(第三)可驱动结构的任何运动相关联的第一工具的运动被阻止，而与(第三)可驱动结构的不运动相关联的第一工具的运动被允许。因此，当(第三)可驱动结构的运动受限时，仅允许能够在(第三)可驱动结构不运动的情况下进行第一工具的运动。步骤712的执行可以帮助确保移动不会不完全进行。
104.在步骤714中，在第一工具的运动与(第三)可驱动结构的受限运动(该限制可以在于笛卡尔空间或(第三)可驱动结构的接头空间中的一个或多个自由度)相关联的情况下，阻止第一工具的运动。因此，如果第一工具的运动需要(第三)可驱动结构的不能执行的运动，则阻止该运动。与不受限的(第三)可驱动结构的其他运动相关联的第一工具的运动是允许的。因此，当(第三)可驱动结构的运动受到部分限制时，步骤714适应第一工具的更多
运动。
105.继续图7b，在步骤720中，进行评估以确定第三可驱动结构运动是否受限。与图7a的步骤700中的评估不同，步骤720中的评估具体评估在图6的步骤604中确定的第三可驱动结构运动，而步骤700中的评估更一般地评估(第三)可驱动结构的运动。第三可驱动结构的运动受限的原因可以包括与针对图7a描述的相同的原因。可以以各种方式进行评估，包括结合图7a描述的应用于步骤604中确定的第三可驱动结构运动的那些方式。例如，可以使用结合图7a描述的任何技术来获得实际移动。
106.如果在步骤720中进行的评估指示第三可驱动结构运动受限，则该方法可以继续执行步骤730。如果评估指示第三可驱动结构运动不受限，该方法可以重复执行步骤720。
107.在步骤730，阻止第一移动的完成。步骤730的执行可以帮助确保由执行图6的方法所产生的移动没有完全进行。如步骤732和734中所描述的，用于阻止完成第一移动的不同选项是可用的。循环执行步骤720和730可以帮助确保在限制的持续时间内阻止完成第一移动。
108.在步骤732中，允许不进行第一移动。换言之，可以完全阻止第一移动的执行。
109.在步骤734中，可以允许第一移动的部分进行。步骤734可以允许某些移动，例如不涉及第三可驱动结构运动的移动。仍可允许的示例运动包括：沿第一工具的插入轴线的插入和/或缩回、第一末端执行器在腕接头处的枢转和/或末端执行器的致动(例如有钳爪的末端执行器的打开和/或关闭)。
110.在一个实施例中，进行经调整的第一移动而不是进行第一移动。经调整的第一移动可以包括不受限的第三可驱动结构运动。经调整的第三可驱动结构运动与第三可驱动结构运动的不同之处在于它能够在存在限制的情况下进行。例如，经调整的第三可驱动结构运动可以只涉及不受限的第三可驱动结构接头的接头移动，而不涉及受限的第三可驱动结构接头的接头移动。结果，经调整的第三可驱动结构运动偏离了受限的第三可驱动结构运动。因此，经调整的第三可驱动结构运动将引起第二末端执行器的经调整的第二引起运动，而不是与未调整的第三可驱动结构运动相关联的第二引起运动。确定经调整的第二移动来代替第二移动。经调整的第二移动在与经调整的第三可驱动结构运动同时进行时将适当地补偿经调整的第二引起运动。当驱动可驱动组件同时进行第一调整移动和第二调整移动时，可以实现补偿。
111.继续图7c，在步骤740中，进行评估以确定如图6的步骤606中确定的第二移动是否受限。第二移动受限的原因可以包括但不限于已经发生或即将发生的与其他操纵器或物体的碰撞、一个或多个接头的当前或预测运动超过运动范围极限、出故障的接头致动器等。可以以各种方式进行评估。例如，如果第二可驱动结构和/或第二工具在其中操作的工作空间是已知的，则可以使用模拟来预测命令移动的碰撞。可以基于当前的接头配置和已知的运动范围极限来评估已经达到或即将达到运动范围极限。此外，将命令与可驱动组件的实际移动进行比较还可以包括评估第二移动是否受限。例如，可以使用接头参数传感器获得实际移动。如果发现实际移动以任何方式或以特定方式偏离命令移动，则可以得出移动受限的结论。
112.如果在步骤740中进行的评估指示第二移动受限，则该方法可以继续执行步骤750。如果评估指示第二移动不受限，该方法可以重复执行步骤740。
113.在步骤750，阻止完成第一移动。步骤750的执行可以帮助确保由执行图6的方法产生的移动没有完全进行。循环执行步骤740和750可以帮助确保在限制的持续时间内阻止第一移动的完成。
114.继续图7d，在步骤760中，进行评估以确定第二可驱动结构和/或第二工具的运动是否受限。如果第二组接头中的至少一个的移动受限，则第二可驱动结构和/或第二工具的运动可能受限。第二可驱动结构和/或第二工具的运动受限的原因可以包括结合图7c描述的原因中的任何一种。可以以各种方式进行评估，包括以结合图7c描述的任何方式。可以使用结合图7c描述的任何技术来获得实际移动。
115.如果在步骤760中进行的评估指示第二移动受限，则该方法可以继续执行步骤770。如果评估指示第二移动不受限，该方法可以重复执行步骤760。
116.在步骤770中，至少部分地阻止第一工具的运动。例如，如果第一工具的运动与第二可驱动结构和/或第二工具在受限的自由度中的运动相关联，则阻止第一工具的运动，而第一工具的其他运动可以被允许。换言之，可以允许第一工具的运动，只要它们不涉及第二可驱动结构和/或第二工具的受限的自由度。如步骤772和774中所述，用于减轻受限的第二可驱动结构和/或第二工具运动的不同选项是可用的。循环执行步骤760和770可以帮助确保在限制的持续时间内至少部分地阻止第一工具的运动。
117.在步骤772中，与第二可驱动结构和/或第二工具的任何运动(例如，如前所述为补偿而进行的)相关联的第一工具的运动被阻止，而与第二可驱动结构和/或第二工具的不运动相关联的第一工具的运动是允许的。因此，当第二可驱动结构和/或第二工具的运动受限时，仅允许能够在第二可驱动结构和/或第二工具不运动的情况下进行第一工具的运动。步骤712的执行可以帮助确保移动不会不完全地执行。
118.在步骤774中，在第一工具的运动与第二可驱动结构和/或第二工具的受限运动(该限制可以在于笛卡尔空间或第二可驱动结构和/或第二工具的接头空间中的一个或多个自由度)相关联的情况下，阻止第一工具的运动。因此，如果第一工具的运动需要第二可驱动结构的不能执行的运动，则阻止该运动。与不受限的第二可驱动结构的其他运动相关联的第一工具的运动是允许的。因此，当第二可驱动结构的运动受到部分限制时，步骤774适应第一工具的更多运动。
119.虽然图7a、图7b、图7c和图7d的流程图讨论了对与第二或第三可驱动结构相关联的限制的响应，但本领域技术人员将理解与第一可驱动结构(或机器人系统的任何其他可驱动结构)相关联的限制可以以类似方式处理。
120.转到图8，示出了根据一个或多个实施例的参考系之间的变换。如上文针对一些实施例所述，在一个或多个实施例中，相对于成像设备的成像参考系提供(例如，末端执行器的)命令运动。
121.在相对于成像设备的成像参考系提供命令运动的一些实施例中，用于控制工具的末端执行器的方法导致末端执行器的取向和位置移动，如在图2a的显示单元(254)的图像中所见。如随后描述的，这样的移动被映射到(一个或多个)输入设备(252)的取向和位置移动。
122.在以下描述中，单个输入设备与工具的单个末端执行器相关联。输入设备随后被称为“领导者”，而相关的操纵器臂和工具被称为“跟随者”。这种系统在行业中通常被称为
远程操作系统或主从系统，其中输入设备被称为“主”，而相关联的操纵器臂和工具被称为“从”。
123.通过将眼睛笛卡尔坐标参考系(本文也称为“眼睛参考系”)中的领导者位置和取向与相机笛卡尔坐标参考系(本文也称为“成像参考系”)中的跟随者位置和取向进行比较来实现领导者与跟随者移动之间的控制。因此，当领导者静止不动时，将成像参考系内的跟随者位置和取向与眼睛参考系中的领导者位置和取向进行比较，并且如果成像参考系中跟随者的位置和/或取向不与眼睛参考系中的领导者的位置和/或取向相对应，使跟随者移动到成像参考系中的位置和/或取向，在该位置和/或取向上它在成像参考系中的位置和/或取向确实对应与眼睛参考系中领导者的位置和/或取向。
124.当领导者移动到眼睛参考系中的新位置和/或取向时，新的领导者位置和/或取向与成像参考系中先前对应的跟随者位置和/或取向不对应。然后，控制方法可以使跟随者移动到成像参考系中的新位置和/或取向，在该位置和/或取向上，成像参考系中的位置和取向确实与眼睛参考系中的领导者的新位置和/或取向相对应。
125.在该控制范例中，响应于操作员对领导者控制装置的操纵而对工具的控制可以依赖于若干个附加的可定义参考系以及对应的用于将一个系中的点映射到另一系中的对应点的系变换，如随后参考图8讨论的。
126.图8示出了这种参考系和对应变换的一般化示例。具体地，图8的图示用于说明在成像参考系(804)中具有末端执行器参考系(854)的末端执行器(652)的表示图。末端执行器参考系(854)属于第一工具的末端执行器，并且成像参考系属于包括成像设备(802)的第二工具。成像设备(802)具有视场(806)。成像参考系(804)中末端执行器(852)的表示图可以通过使用同质变换的映射来完成。同质变换可以是4x4矩阵，包括描述该变换的平移分量和旋转分量的元素。如图8中一般图示的变换可分解为一系列变换，包括经由成像设备(802)的参考系(804)与基本参考系或世界参考系(880)之间的中间参考系(808、810)的中间变换，以及经由末端执行器(852)的末端执行器参考系(654)和基本或世界参考系(880)之间的中间参考系(856、858)的附加中间变换。因此，可以经由一系列顺序进行的变换以逐步方式完成变换
127.参考图5a和图5b中介绍的示例，可以将定义为附连到成像设备(518)的相机参考系与经由附连到操纵器支持连杆(502)的参考系而附连到末端执行器(512)的工具参考系之间的一系列变换。因此，附连到操纵器支持连杆(502)的参考系可以对应于图8中的基本参考系(880)。可以将多个中间参考系附连到工具(510)和工具(516)的连杆，其中中间变换链接这些参考系。可以进一步为工具(504)建立额外的参考系。虽然在图5a和图5b的示例中将基本参考系附连到操纵器支持连杆(502)以使末端执行器能够在成像设备的成像参考系中表示就足够了，但是基本参考系可以替代地放置在别处，而无需脱离本公开。例如，基本参考系可以附连到图2a的机器人操纵器组件(210)的基座(212)，其中沿着连杆(214、220)和/或可驱动结构(222)有多个变换。根据控制算法(例如，用于确定接头位置和/或取向的逆运动学控制算法)如何模块化，参考系的不同选择可能是有利的。
128.虽然已经针对有限数量的实施例描述了本发明，但是受益于本公开的本领域技术
人员将理解，可以设计出不脱离本文公开的发明范围的其他实施例。因此，本发明的范围应仅由随附权利要求限制。