用于确定机器人操纵器或相关联工具的配准和控制的系统和方法与流程

用于确定机器人操纵器或相关联工具的配准和控制的系统和方法
1.相关申请的交叉参考
2.本技术要求获得2020年3月24日提交的美国临时申请62/993,960的利益，该临时申请的全部内容通过引用并入本文。
技术领域
3.本公开涉及用于执行机器人规程的系统和方法，并且更特别地涉及用于确定机器人操纵器的配准以用于控制机器人操纵器和/或相关联工具的移动的系统和方法。


背景技术：

4.机器人操纵器组件包括一个或多个机器人操纵器，其可以被操作以控制工作空间中工具的运动。例如，此类机器人操纵器可用于执行非医疗和医疗规程。作为具体示例，远程操作的手术操纵器可用于执行微创医疗技术。
5.在医疗技术中，期望改善患者的结果，并促进临床医生诊断或治疗规程。例如，对于涉及进入患者解剖结构中的医疗规程，可以通过患者解剖结构中的自然孔口或通过一个或多个切口来执行微创技术。通过这些自然孔口或切口，临床医生可以插入医疗工具以到达目标组织位置。微创医疗工具包括工具诸如治疗工具、诊断工具和外科手术工具。微创医疗工具还可包括成像工具，诸如内窥镜工具，其向用户提供患者解剖结构内的视场。机器人医疗系统允许用户经由操纵器控制医疗器械。操纵器可包括由一个或多个接头联接在一起的两个或更多个连杆。接头可以包括主动控制的接头，其位置或运动由致动器主动驱动。接头也可以包括被动接头，其位置或运动不由致动器主动驱动。
6.机器人操纵器可以是远程操作的或以其他方式由计算机辅助的。为了在手术部位(例如，患者体内的外科部位)处执行和查看机器人规程，可以使用两个或更多个操纵器来持有和操纵工具，包括例如外科手术器械工具和成像工具。操作员可以使用与工具和持有工具的操纵器选择性地相关联的主控装置。在此种机器人系统中，响应于操作员对主控装置的操纵而对工具的控制可具有多个可定义的参考系和对应的参考系变换，以将一个参考系中的坐标映射到另一个参考系的对应坐标。然而，当参考系和/或参考系变换的位置和/或取向中的一个或多个未知时，工具的精确控制可能难以实现。在此类情况下，规程的成功率和准确性可能会降低。在医疗机器人情境中，通过对工具的更精确的控制，可以实现更大的便利性和功效。
7.在包括多个操纵器组件的远程操作医疗系统中，期望知道操纵器组件相对于彼此的位置和/或取向。例如，此种信息可用于增强操作或避免碰撞。在一些远程操作医疗系统中，操纵器组件共享已知的参考，如共同的安装基座，因此有可能使用操纵器组件和其已知参考之间的运动学关系推导出操纵器组件(及其端部效应器)的相对位置。
8.在一些情况下，远程操作医疗系统包括不共享已知参考的独立操纵器组件(例如，操纵器组件在单独的可移动小车上或在不同的未知位置处安装到共同的桌子)。在此类系
统中，与操纵器组件的相应基座相对于彼此的定位或取向有关的一个或多个参数是未知的，或者在规程之间或规程期间可能改变(例如，如果安装基座位置被移动)。因此，尽管每个操纵器的运动学可以提供与其相对于自己基座的单独位置或取向有关的信息，但此类单独操纵器运动学可能不会提供操纵器组件相对于彼此的取向和位置。因此，提供改善的方法和系统以用于配准机器人系统例如远程操作医疗系统的独立操纵器组件将是有利的。


技术实现要素：

9.本发明的实施例由所附的权利要求描述。
10.与一些实施例一致，机器人系统包括在操作环境中的第一操纵器组件和第二操纵器组件，并且具有单独的可移动基座。处理单元被配置为从设置在第一操纵器组件上的多个第一传感器接收第一传感器数据，其中第一传感器数据提供关于第一操纵器组件外部的操作环境的空间信息。使用包括第一传感器数据的数据确定第二操纵器组件相对于第一操纵器组件的第一空间关系。基于第一空间关系建立第一操纵器组件和第二操纵器组件之间的第一对准关系。基于第一对准关系，响应于来自可由操作员操作的第一输入装置的命令，命令第二操纵器组件的运动。
11.与其他实施例一致，操作机器人系统的方法包括从设置在操作环境中的第一操纵器组件上的多个第一传感器接收第一传感器数据。第一传感器数据提供关于第一操纵器组件外部的操作环境的空间信息。第一操纵器组件包括物理联接到第一基座的多个第一连杆。操作环境包括第二操纵器组件，其包括物理联接到第二基座的多个第二连杆，第二基座可相对于第一基座单独移动。该方法进一步包括使用包括第一传感器数据的数据确定第一操纵器组件和第二操纵器组件之间的第一空间关系，基于第一空间关系建立第一操纵器组件和第二操纵器组件之间的第一对准关系，以及基于第一对准关系，响应于来自由操作员操作的第一输入装置的命令，命令第二操纵器组件的运动。
12.其他实施例包括对应的计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序，其每个都被配置为执行方法的动作。
13.应当理解，前述一般描述和以下详细描述两者事实上都是示例性的和解释性的，并且意图提供对本公开的理解而不限制本公开的范围。在这方面，对于本领域技术人员来说，本公开的额外方面、特征和优点将从以下详细描述明显看出。
附图说明
14.当与附图一起阅读时，从以下详细描述最好地理解本公开的各个方面。需要强调的是，根据行业中的标准实践，各种特征没有按比例绘制。实际上，为了讨论清楚，各种特征的尺寸可以任意增大或减小。此外，本公开可能会在各个示例中重复参考数字和/或字母。该重复是为了简单和明确，并且其本身不决定所讨论的各种实施例和/或配置之间的关系。
15.图1是根据本公开的实施例的机器人医疗系统的示意图。
16.图2是根据本公开的实施例的具有外部环境检测传感器系统的操纵器组件的透视图。
17.图3展示了根据本公开的实施例的流程图，其提供了用于为彼此可单独移动的操纵器组件执行配准过程的方法。
18.图4a是根据本公开的实施例的两个操纵器组件的透视图；图4b是根据本公开的实施例的图4a的两个操纵器组件的俯视图；图4c是根据本公开的另一个实施例的图4a的两个操纵器组件的俯视图；图4d是根据本公开的又一个实施例的图4a的两个操纵器组件的俯视图；图4e是根据本公开的又一个实施例的图4a的两个操纵器组件的示意图。
19.图5a是根据本公开的一个实施例的三个操纵器组件的透视图；图5b是根据本公开的一个实施例的图5a的三个操纵器组件的俯视图；图5c是根据本公开的另一个实施例的图5a的三个操纵器组件的俯视图；图5d是根据本公开的又一个实施例的图5a的三个操纵器组件的俯视图；图5e是根据本公开的又一个实施例的图5a的三个操纵器组件的俯视图。
20.图6展示了根据本公开的另一个实施例的流程图，其提供了用于为彼此可单独移动的操纵器组件执行配准过程的方法。
21.通过参考以下详细描述，最好地理解本公开的实施例及其优点。应该理解的是，相似的参考数字用于识别在附图中的一个或多个中展示的相似要素，其中的示出是为了展示本公开的实施例，并且不是为了限制这些实施例。
具体实施方式
22.为了促进对本公开的原理的理解，现在将参考附图中展示的实施例，并且将使用具体的语言来描述这些实施例。但应理解的是，不意图限制本公开的范围。在对本公开的各个方面的以下详细描述中，为了提供对所公开的实施例的全面理解，阐述了许多具体细节。然而，对于本领域技术人员来说，本公开的实施例显然可以在没有这些具体细节的情况下实践。在其他情况下，众所周知的方法、规程、部件和电路没有被详细描述，以便避免不必要地掩盖本公开的实施例的各个方面。
23.对所描述的装置、工具、方法的任何变更和进一步修改，以及对本公开的原理的任何进一步应用，都被完全考虑，因为对于与本公开有关的领域的技术人员来说，通常会发生这种情况。特别地，完全考虑了可以将关于一个实施例描述的特征、部件和/或步骤与关于本公开的其他实施例描述的特征、部件和/或步骤组合。此外，本文提供的尺寸针对具体示例，并且考虑了利用不同的大小、尺寸和/或比率来实施本公开的概念。为了避免不必要的描述性重复，如果适用的话，根据一个说明性实施例描述的一个或多个部件或动作可以在其他说明性实施例中使用或省略。为了简洁起见，这些组合的众多迭代将不被单独描述。为了简单起见，在一些情况下，整个附图中使用相同的参考数字来指代相同或相似的部分。
24.尽管本文描述的示例中的一些经常提到外科规程或工具，或医疗规程或工具，但所公开的技术也应用于非医疗规程和非医疗工具。例如，本文描述的工具、系统和方法可用于非医疗目的，包括工业用途、一般机器人用途以及非组织工件的感测或操纵。其他示例应用涉及外科或非外科美容改善、人类或动物解剖结构的成像或收集数据、培训医疗或非医疗人员、在从人类或动物解剖结构取出的组织上执行规程(不返回人类或动物解剖结构)，以及在人类或动物尸体上执行规程。
25.下面的实施例将按照三维空间中的状态来描述各种工具和工具的部分。如本文所用，术语“位置”是指物体或物体的一部分在三维空间中的位置(例如，可以使用笛卡尔x、y、z坐标的变化来描述的三个平移自由度，诸如沿笛卡尔x、y、z轴)。如本文所用，术语“取向”是指物体或物体的一部分的旋转放置(三个旋转自由度——例如，其可以使用滚转、俯仰和
偏航来描述)。如本文所用，术语“姿态”是指物体或物体的一部分在至少一个平移自由度中的位置，以及该物体或该物体的该部分在至少一个旋转自由度中的取向。对于三维空间中的不对称刚体，可以用六个总自由度中的六个参数来描述完整的姿态。
26.参考附图的图1，示出了示例机器人系统。具体而言，在图1中，计算机辅助的机器人医疗系统，可被远程操作并用于例如包括诊断、治疗或外科规程的医疗规程，一般由参考数字10指示。如将要描述的，本公开的远程操作系统在操作员的远程操作控制下。在一些实施例中，机器人系统的操纵器或其他部分可以通过与操纵器(或其他部分)本身的手动互动来直接控制。因此，本技术中使用的“远程操作的操纵器”包括可以部分或完全通过远程操作来控制的操纵器，并且包括可以同时或以时间复用的方式通过远程操作和直接手动控制两者来控制的操纵器。此外，在一些实施例中，非远程操作或机器人医疗系统可以在被编程为执行规程或子规程的计算机的部分控制下。在其他可替代实施例中，可以使用在被编程为执行规程或子规程的计算机的完全控制下的完全自动化的医疗系统来执行规程或子规程。
27.如图1所示，机器人医疗系统10一般包括安装到操作台o或靠近操作台o安装的操纵器组件12，患者p被定位在该操作台o上。本文描述的操纵器组件通常包括一个或多个机器人操纵器和安装在其上的工具，尽管术语“操纵器组件”也包括没有安装在其上的工具的操纵器。操纵器组件12在该示例中可称为患者侧推车，因为其包括推车并且被设计成在患者旁边使用。医疗工具14(也被称为工具14)和医疗工具15可操作地联接到操纵器组件12。在本公开内，医疗工具15包括成像装置，并且也可称为成像工具15。成像工具15可以包括使用光学成像技术的内窥镜成像系统，或者包括使用其他技术的另一种成像系统(例如超声波、荧光等)。操作员输入系统16允许操作员诸如外科医生或其他类型的临床医生s查看代表手术部位的图像，并控制医疗工具14和/或成像工具15的操作。
28.用于机器人医疗系统10的操作员输入系统16可以通过连接到带有联动装置的基座(诸如连接到操作员控制台)而“机械地接地”，或者其可以“机械地不接地”并且不这样连接。如图1所示，操作员输入系统16连接到操作员控制台38，该控制台在外科规程期间通常与操作台o位于同一房间中。然而，应该理解的是，操作员s可以位于与患者p不同的房间或完全不同的建筑物中。操作员输入系统16通常包括一个或多个控制装置以用于控制医疗工具14。操作员输入系统16在本文也被称为“主操纵器”、“主控装置”、“主输入装置”和“输入装置”。(多个)控制装置可以包括任何数量的各种输入装置中的一个或多个，诸如手握器、操纵杆、轨迹球、数据手套、扳机枪、脚踏板、手控器、语音识别装置、触摸屏、身体运动或存在传感器等等。在一些实施例中，(多个)控制装置将被提供与机器人组件的医疗工具相同的自由度，以向操作员提供远程呈现；也就是说，操作员具有(多个)控制装置与工具成一体的感知，使得操作员具有直接控制工具的感觉，如同在规程现场。在其他实施例中，(多个)控制装置可具有比相关联医疗工具更多或更少的自由度，并且仍向操作员提供了远程呈现。在一些实施例中，(多个)控制装置是手动输入装置，其以六个自由度移动，并且还可以包括用于致动医疗工具的可致动手柄(例如，用于关闭抓取爪端效应器、向电极施加电位、捕获图像、输送药物治疗等)。
29.操纵器组件12支持并操纵医疗工具14，同时操作员s通过操作员控制台查看手术部位。手术部位的图像可以由医疗工具15获得，诸如经由包括单镜或立体内窥镜的成像系
统，其可以由操纵器组件12操纵以将医疗工具15取向。电子推车可用于处理手术部位的图像，以用于随后通过操作员控制台向操作员s显示。一次使用的医疗工具14的数量一般取决于医疗诊断或治疗(例如外科)规程和手术室内的空间限制等因素。操纵器组件12可以包括由一个或多个非伺服控制接头联接的一个或多个连杆的运动学结构，以及伺服控制的机器人操纵器。在各种实施方式中，非伺服控制的接头可以被手动定位或锁定，以允许或抑制物理上联接到非伺服控制接头的连杆之间的相对运动。操纵器组件12包括多个马达，其驱动医疗工具14上的输入。这些马达响应于来自控制系统(例如，控制系统20)的命令而移动。马达包括驱动系统，其在联接到医疗工具14时可将医疗器械推进到自然或外科手术创造的解剖孔中。其他电动驱动系统可以在多个自由度中移动医疗器械的远端，这些自由度可包括三个线性运动度(例如，沿x、y、z笛卡尔轴的线性运动)和三个旋转运动度(例如，绕x、y、z笛卡尔轴的旋转)。此外，马达可用于致动工具的可铰接的端部效应器，以用于在活检装置等的棘爪中抓取组织。医疗工具14可包括具有单个工作构件的端部效应器，该工作构件诸如手术刀、钝刀、针、成像传感器、光纤、电极等。其他端部效应器可包括多个工作构件，并且示例包括镊子、抓取器、剪刀、施夹器、装订机、双极电灼器等。
30.机器人医疗系统10还包括控制系统20。控制系统20包括至少一个存储器24和至少一个处理器22，并且通常是多个处理器，以用于实现医疗工具14、操作员输入系统16和其他辅助系统26之间的控制，这些辅助系统可以包括，例如，成像系统、音频系统、流体输送系统、显示系统、照明系统、转向控制系统、冲洗系统和/或抽吸系统。控制系统20还包括编程指令(例如，存储指令的计算机可读介质)，以实施根据本文公开的方面描述的方法中的一些或全部。尽管控制系统20在图1的简化示意图中示为单个块，但系统可以包括两个或更多个数据处理电路，其中处理中的一部分可选地在操纵器组件12上或邻近的地方执行，处理中的另一部分在操作员输入系统16处执行，等等。可采用各种集中式或分布式的数据处理架构中的任一种。类似地，编程指令可以实施为多个单独的程序或子规程，或者它们可以被集成到本文中描述的远程操作系统的多个其他方面。在一个实施例中，控制系统20支持无线通信协议，诸如蓝牙、irda、homerf、ieee 802.11、dect和无线遥测。
31.在一些实施例中，控制系统20可以包括一个或多个致动器控制器，其从医疗工具14或从操纵器组件12接收力和/或扭矩反馈。响应于该反馈，致动器控制器将信号传输到操作员输入系统16。(多个)致动器控制器也可以传输信号，其指示操纵器组件12移动经由身体中的开口延伸到患者身体内的内部手术部位中的(多个)医疗工具14和/或15。可以使用任何合适的常规或专门的控制器。控制器可以与操纵器组件12分离，或与之集成。在一些实施例中，控制器和操纵器组件被提供为集成系统的一部分，诸如在医疗规程期间定位在患者身体附近的远程操作臂车。
32.控制系统20可以联接到医疗工具15，并且可以包括处理器以处理捕获的图像用于随后显示，诸如向使用操作员控制台或佩戴头戴式显示系统的操作员显示、在控制系统附近的一个或多个固定或可移动监视器上显示，或在位于本地和/或远程的另一个合适的显示器上显示。例如，在使用立体内窥镜的情况下，控制系统20可以处理捕获的图像以向操作员呈现手术部位的协调立体图像。此种协调可以包括立体图像之间的对准，并且可以包括调整立体内窥镜的立体工作距离。
33.在可替代实施例中，机器人系统可以包括一个以上的操纵器组件和/或一个以上
的操作员输入系统。操纵器组件的确切数量将取决于外科规程和手术室内的空间限制等因素。操作员输入系统可以并置，或它们可以定位在在分离的位置。多个操作员输入系统允许一个以上的操作员以各种组合来控制一个或多个操纵器组件。
34.在各种实施例中，操作员控制台38包括左眼显示器和右眼显示器以用于向操作员s呈现实现深度感知的外科环境的协调立体视图。操作员控制台38的操作员输入系统16包括一个或多个输入控制装置，其继而使操纵器组件12操纵一个或多个医疗工具14和/或15。输入控制装置可用于例如关闭抓取爪端效应器、对电极施加电动势、输送药物治疗，等等。在各种替代方案中，输入控制装置可以另外或可替代地包括操纵杆装置、轨迹球、数据手套、扳机枪、手控器、语音识别装置、触摸屏、身体运动或存在传感器等。在一些实施例中并且对于一些相关联的医疗工具14，输入控制装置将提供与它们的相关联医疗工具14相同的自由度，以向操作员s提供远程呈现，或者让人觉得输入控制装置36与工具14是一体的，使得操作员s具有直接控制工具14的感觉。在其他实施例中，输入控制装置可以具有比相关联医疗工具更多或更少的自由度，并且仍然向操作员s提供远程控制。为此，可以采用位置、力和触觉反馈传感器，以通过输入控制装置将位置、力和触觉感觉从工具14传回操作员s的手中。操作员控制台38的操作员输入系统16也可以包括输入控制装置，其包括接收来自用户脚的输入的脚踏板。
35.现在参考图2，展示了具有单个操纵器302的操纵器组件300。操纵器组件300可以被配置成患者侧推车的形式(例如，图1的示例的操纵器组件12)，或者安装到患者台或台导轨(例如，外科手术台、检查台)、安装到天花板、安装到墙，或者安装到地板。在图2的示例中，操纵器组件300包括操纵器302，并示出了安装在操纵器302上的可更换工具350。操纵器302和工具350在本文中也可被称为器械350。
36.在一些实施例中，工具350可被配置用于操纵工业工件，或为医疗治疗或诊断以外的原因操纵人类或动物组织。在一些实施例中，工具350可以包括用于执行医疗规程的工具。工具350包括安装部分352和轴354。在图2所示的示例中，安装部分352包括位于工具350的近侧部分上的托架。如本文所用，术语近侧一般是指远离工件或患者的方向或位置，并且远侧一般是指更靠近工件或患者的方向或位置。托架被配置用于将工具350可移除地联接到使操纵器302的滑架353能够移动的第五接头。如图2所示，该第五接头包括沿工具350的插入方向对准的棱形接头。轴354使用腕部358联接到端部效应器360。端部效应器360具有工具尖端362。在一些实施例中，操纵器组件300可以包括用于端口装置(例如，用于一些医疗规程的插管)的支撑件，该支撑件引导或限制工具350相对于操纵器组件300的移动。与每个操纵器组件300相关联的工具350也可以由操作员在操作员输入系统(例如，图1的示例的操作员输入系统16)处控制。
37.更详细地说，示例操纵器302包括连杆l1、l2、l3、l4和第五连杆(例如，表示为l5，包括滑架353)，它们通过接头j1、j2、j3、j4和第五接头(例如，表示为j5)连接成运动学链。工具350的安装部分352安装到l5，其物理联接到连杆l4。接头(例如，j1、j2、j3、j4和j5)中的每个都由马达控制。在示例中，j5的移动使l5相对于l4移动，并向工具350提供插入和退出运动。其他操纵器设计可能没有实现可移动滑架353的此种j5；或者，其他操纵器设计可能根本没有滑架353，并且以另一种方式与工具350联接，并且操纵器通过移动一个或多个其他接头(例如接头j2-j4)插入和退出工具350。因此，操纵器组件300的至少部分被配置为
使用电动或主动接头移动。在该实施例中，操纵器302的马达在控制系统(例如控制系统20)的控制下，并且如果操纵器组件300具有(多个)其他操纵器，则可与同一操纵器组件300的(多个)其他操纵器的马达协调操作，或与其他操纵器组件协调操作，以摆出期望姿态，其可协助在工件(或医疗规程中的患者)上方推进、安装工具、准备步骤、储存、移动到患者体内的目标解剖结构并操纵组织、放置运动的远程中心，为助手、障碍物或围绕患者的设备腾出空间，对解剖结构施加力，诸如用于触诊组织等活动。此外，与操纵器组件200的每个马达或接头相关联的编码器和其他传感器向控制系统提供反馈，使得控制系统接收与操纵器组件300的接头/马达运动状态、状态、由接头施加或在接头上施加的扭矩以及设置有关的数据，感知或检测或确定接头/马达的运动状态、操纵器组件300的状态、由接头施加或在接头上施加的扭矩以及设置。
38.尽管接头(例如，j1、j2、j3、j4和j5)中的每个可以由单独或多个接头或致动器控制器控制，但接头和致动器控制器可以由共同控制系统(例如，控制系统20、主/从控制系统等)的共同接头控制单元控制。因此，工具350、工具350的尖端362和端部效应器360以及操纵器302可以通过用户(例如，操作员s)对其相关联控制装置(例如，图1的示例的操作员输入系统)的操纵来控制。
39.注意，图2所示的操纵器组件300的运动学配置只是示例性的，并且不意图在所附权利要求中具体叙述的内容之外进行限制。掌握本公开的本领域技术人员将理解，可以使用其他配置。例如，接头(例如，接头j1、j2、j3、j4、j5)中的一个或多个可以是非伺服控制的，并且可以被配置为使得可以手动定位或锁定。作为另一个示例，操纵器组件300可以包括不同数量、类型(例如，旋转接头、棱形接头)的接头和接头组合。在一个示例中，操纵器组件300可以包括平行四边形联动装置。在另一个示例中，操纵器组件300可以包括在基础连杆l0近侧的棱形接头，和在基础连杆l0远侧的一个或多个旋转接头。在该示例中，在基础连杆l0远侧的一个或多个旋转接头可以在特别平面中或三维中旋转。在又一个示例中，操纵器组件300可以包括单端口平台，其包括承载多个子操纵器的基础操纵器。在该示例中，子操纵器中的每个可以串联地连接到基础操纵器。
40.在图2的示例中，外部环境检测传感器系统304(也被称为外部环境传感器系统304或传感器系统304)附接到操纵器组件300。在各种示例中，外部环境检测传感器系统304的传感器可以位于操纵器组件300的连杆(l0、l1、l2、l3、l4或l5)和接头(j1、j2、j3、j4或j5)中的一个或多个处。在其中操纵器组件300包括夹钳的一些示例中，操纵器组件的(多个)传感器可以联接到该夹钳。
41.外部环境检测传感器系统304可以提供关于操纵器组件300的外部环境的信息(例如，到控制系统20)。外部环境检测传感器系统304可以包括一个或多个传感器，其包括例如光学传感器、深度传感器、飞行时间传感器、发射器-接收器传感器、任何其他合适的传感器，和/或其组合。在一些示例中，光学传感器包括检测可见光或非可见光的成像装置。光学传感器将检测其他操纵器组件的图像，并处理产生的图像以识别和定位外部物体(例如，其他操纵器组件)的部分。例如，不同的操纵器组件可以通过对此类传感器可见的操纵器组件特有的标记、颜色、形状、支持工具、移动来识别。深度信息可由集成或单独的深度传感器提供，通过使用多个成像装置或立体成像装置进行三角测量或任何适当的技术来提供。在一些示例中，飞行时间传感器包括激光测距仪、led测距仪、激光雷达、雷达等。在实施例中，当
传感器包括光学传感器或飞行时间传感器时，控制系统可检测和处理遮挡，因为那些传感器只有在其能够查看外部物体的至少一部分时才可提供外部物体的信息。
42.在一些实施例中，传感器可以包括加速度计、电磁传感器、rfid传感器、倾角仪或惯性测量单元(imu)。加速度计、倾角仪和imu可以不直接提供操纵器组件到操纵器组件的配准数据；相反，它们可以用来提供相对于世界参考系的取向信息，这可以用来提供操纵器组件之间的旋转变换中的一些，或者作为对以其他方式计算的旋转变换的检查。
43.在各种实施例中，操纵器组件300可以具有不同的外部环境检测传感器系统布置。在图2的示例中，操纵器组件300可以包括多个传感器，每个传感器分别位于操纵器组件300的不同连杆或接头。在一些示例中，单个连杆或接头可具有外部环境检测传感器系统304的多个传感器。注意，尽管在图2中，外部环境检测传感器系统304附接到操纵器302的每个连杆(或刚性安装到连杆的工具)和每个接头，但在一些实施例中，操纵器302可以包括没有任何外部环境检测传感器系统附接在其上的连杆和/或接头。
44.如图2的示例所示，不同的工具350和/或端部效应器360可以安装到操纵器组件300以执行不同的功能。在该示例中，附接到操纵器302的那些外部环境检测传感器系统304可用于提供数据以用于控制不同的工具350和/或端部效应器360的移动。
45.在一些实施例中，由外部环境检测传感器系统304提供的传感器数据包括相对于操纵器组件300的所检测的外部物体(例如，另一个操纵器组件)的空间信息。在一些示例中，传感器数据包括由外部环境检测传感器系统304的一个或多个图像传感器分别检测的一个或多个图像。在一些示例中，传感器数据还可以包括用于识别所检测的外部物体(例如，另一个操纵器组件)的识别信息。在一些示例中，传感器数据可包括用于识别传感器位置(例如，操纵器组件的连杆)的识别信息。
46.在各种实施例中，本文中描述的图像传感器可包括用于各种类型的感测技术的各种传感器，其可用于提供各种维度的图像(例如，空间的二维(2d)、三维(3d)或任何其他合适的更高维表示的图像)。在各种示例中，可以提供3d图像，例如，直接由3d图像传感器提供、从一系列2d传感器信息和任何/或其他合适的传感器信息构建，和/或使用任何其他合适的技术构建。例如，3d图像可以使用包括深度图的深度信息从2d传感器信息构建。在各种示例中，深度信息可由各种技术提供，包括例如立体图像、深度相机、激光测距技术等。因此，本文中描述的图像传感器可以包括被配置为生成空间的2d、3d或更高维表示的任何传感器，包括例如被设计成提供区域中电容的电容式2d表示的电容式传感器(例如手机上的触摸屏)、液位传感器、开关、ir相机、激光雷达、深度相机、雷达、声呐、超声波传感器、光学相机、任何其他合适的传感器，和/或其组合。
47.如下面参考图3至图6描述，在包括具有可单独移动基座的多个操纵器组件的环境中，控制系统(例如用于图1的示例的控制系统20)可以接收包括对应操纵器组件外部的环境信息的传感器数据。此种传感器数据可由对应操纵器组件上的一个或多个外部环境检测传感器系统提供，并且控制系统可使用传感器数据来执行多个操纵器组件的配准。此种配准可用于控制那些操纵器组件和/或相关联工具，并提供增强操作和/或避免碰撞。在一些实施例中，传感器数据(例如，用于配准)被用于确定环境信息，诸如非操纵器项目(例如，包括例如一个或多个操作员或患者的障碍物)的位置或形状。此种确定可以以连续或定期的方式执行，并提供动态和/或实时的障碍物检测，这可进一步用于增强操作、避免碰撞等。
48.参考图3的示例，流程图提供了用于为可相对彼此单独移动的操纵器组件执行配准过程的方法380。方法380开始于过程382，其中提供机器人系统操作的操作环境，并且该机器人系统包括具有可单独移动的基座的第一操纵器组件和第二操纵器组件。方法380可以进行到过程384，其中控制系统接收传感器数据，其包括来自第一操纵器组件上的多个传感器的第一传感器数据，以提供第一操纵器组件外部的操作环境。方法380可以进行到过程386，其中控制系统使用包括第一传感器数据的传感器数据确定第一操纵器组件和第二操纵器组件之间的空间关系。然后，方法380可以进行到过程388，其中控制系统基于第一空间关系建立第一操纵器组件和第二操纵器组件之间的第一对准关系(例如，用于配准的变换)。方法380可以进行到过程390，其中控制系统从配准模式(例如，包括过程382-388)切换到工具控制模式(例如，在医疗示例中，在医疗规程期间对操作台上的患者执行动作)。当在工具控制模式下操作时，控制系统可以控制第二操纵器组件或其中的相关联工具相对于成像装置的参考系(也被称为“成像装置参考系”)的移动，以响应于与该工具相关联的主控装置的移动。
49.参考图4a、图4b、图4c、图4d和图4e的示例，展示了机器人系统400中外部环境检测传感器系统的各种配置，包括具有可单独移动的基座的两个操纵器组件。参考图4a的示例，展示了机器人系统400(例如，图1的机器人医疗系统10)，其包括分别在单独基座406和422上的两个操纵器组件402和404。操纵器组件402包括基座406、结构支撑件408和操纵器410。在图4a的示例中，成像工具15安装在操纵器410上，并因此操纵器组件402可被视为进一步包括安装的成像工具15。成像工具15包括轴412和成像装置414。成像装置414可以包括例如光学成像器、超声波成像器、电磁成像器诸如荧光成像器、热成像器、热声成像器，以及任何其他合适的成像器。成像装置414具有视场416。
50.如图4a所示，基座406具有参考系418，其也被称为成像基座参考系418(表示为b1)。成像装置414具有参考系420，其也被称为成像装置参考系420(表示为c)。从基座参考系418到成像装置参考系420的变换被表示为
b1
tc，其可以基于操纵器组件402的前向运动学来确定。
51.如图4a所示，机器人系统400还包括操纵器组件404。操纵器组件404包括基座422，其在物理上与操纵器组件402的基座406分离并独立。操纵器组件404包括结构支撑件424和操纵器426。在图4a的示例中，工具14安装在操纵器426上，并因此操纵器组件404可以被认为进一步包括安装的工具14。工具14包括轴428、联接到轴428的远端的腕部430，以及联接到腕部430的端部效应器432。基座422具有参考系434，其也被称为工具基座参考系434(表示为b2)。工具14的轴428具有参考系436，其也被称为轴参考系436(表示为s)。从工具基座参考系434到轴参考系436的变换可以表示为
b2
ts，并且可以被确定(例如，基于操纵器组件404的前向运动学)。
52.在示例中，操纵器组件402和404可以被设置在可相对于彼此移动的不同推车中。在另一个示例中，操纵器组件402和404可以包括允许它们分别夹持到不同部件(例如，床架、床轨、天花板夹具等)的夹钳。在一些示例中，每个操纵器组件包括用于将操纵器组件可移除地联接到外科手术台导轨的夹钳，这允许操纵器组件取决于要执行的外科规程以不同的配置围绕外科手术台定位。在一些示例中，一个或多个操纵器组件联接到各自的安装系统。在那些示例中，每个操纵器组件相对于另一个操纵器组件可独立移动，并可以取决于要
执行的外科规程，围绕外科手术台以不同的配置定位在外科手术台旁边。
53.在各种实施例中，基座406和422相对于彼此的位置和取向是未知的。因此，从成像基座参考系418b1到工具基座参考系434b2的变换
b1
t
b2
是未知的。基座406和422之间的此种未知的对准关系可能使主控装置对从属工具/端部效应器的直观控制变得困难。为了在主控装置和其从属工具/端部效应器之间提供有效的控制关系(也被称为主机-工具对准)，需要在主控装置和工具/端部效应器之间进行空间对准。此种空间对准在操作员感知到的主控装置的运动(例如，本体感觉)和操作员感知到的包括轴和端部效应器的工具的结果运动(例如，视觉感觉)之间提供了合理准确的关系。例如，如果操作员将抓握主控装置的手向左移动，则操作员希望感知到相关联的从属工具/端部效应器也向左移动。如果感知到的空间运动匹配，那么操作员可以通过移动主控装置轻松地控制从属工具/端部效应器的移动。但如果感知到的空间运动不匹配(例如，主控装置向左移动导致从属工具/端部效应器向上和向右移动)，那么操作员难以通过移动主控装置来控制从属工具的移动。如下文中详述，使用外部环境传感器系统的配准过程可用于确定基座406和422之间的未知对准关系(也被称为操纵器组件402和404之间的对准关系)，其然后可用于确定主机-工具对准和主机-工具变换。
54.操纵器组件402和404(例如，图2的操纵器组件300)中的一个或多个可以包括对应的外部环境传感器系统(例如，外部环境传感器系统304)。配准过程可以使用来自联接到操纵器组件的外部环境传感器系统的传感器数据，以确定操纵器组件的对准和主机-工具对准。也可以使用附加信息(例如，机器人系统中的已知运动学关系和参考系变换)。在一些示例中，此种附加信息可以包括由附接到操纵器的连杆和/或附接到操纵器支持的工具的连杆传感器系统提供给控制系统的连杆数据，其中连杆数据可以包括，例如，连杆的状态(例如，姿态、速度、加速度)的测量和/或估计。下面以笛卡尔术语描述这些关系，尽管可以使用其他3维坐标系。
55.可以提供传感器系统304的各种配置。如下面的图4b至图4e所示，操纵器组件的传感器系统304中的多个传感器提供了冗余和冗余数据，这缓解了由遮挡引入的问题，并提高了数据集的整体准确度。在一些示例中，包括具有传感器的夹钳的操纵器组件被联接到外科手术台的同一导轨(即联接在外科手术台的同一侧上)。在此类示例中，联接到不同操纵器组件的夹钳的传感器可以在彼此的视场范围内。这些传感器可以彼此通信，和/或与控制系统通信，这使得控制系统能够确定一个操纵器组件相对于另一个操纵器组件的位置。控制系统可以使用包括由所有传感器提供的冗余数据(例如，使用运动学和/或动态计算)的数据确定那些相对位置。
56.在其他示例中，操纵器组件联接到外科手术台的不同导轨(即，联接在外科手术台的不同或相反的侧面上)。在那些示例中，连接到不同操纵器组件的夹钳的一些传感器之间可能存在遮挡(例如，第一操纵器组件的第一传感器从第二操纵器组件的第二传感器的视场中或在其外被遮挡)。然而，因为每个操纵器组件上的冗余传感器，所以操纵器组件的其他传感器(例如，联接到其他接头或连杆)不会彼此遮挡，并且那些非遮挡的传感器可以提供足够的空间关系信息，这使得控制系统能够确定一个操纵器组件相对于另一个操纵器组件的空间关系。
57.参考图4b的示例，展示了具有外部环境传感器系统的机器人系统400的示例。操纵
器组件402和404安装在靠近操作台o的导轨450上的不同位置。操纵器组件402的外部环境传感器系统304包括传感器304-1和304-2。在一些实施例中，传感器304-1包括具有视场452-1的成像装置，其中来自传感器304-1的传感器数据(例如，图像数据)不包括用于确定操纵器组件402和404之间的空间关系的足够信息(例如，操纵器组件404的整个或部分的图像)。在示例中，如图4b所示，操纵器组件404不在视场452-1中。
58.在图4b的示例中，传感器304-2包括具有视场452-2的成像装置。在图4b的示例中，操纵器组件404在视场452-2中，但是从传感器304-2部分或完全遮挡(例如，由中间物体453)，使得来自传感器304-2的传感器数据(例如，图像数据)不包括用于确定操纵器组件402和404之间的空间关系的足够信息(例如，操纵器组件404的整个或部分的图像)。在其他示例中，操纵器组件404没有被传感器304-1遮挡，并且来自传感器304-2的传感器数据(例如，图像数据)包括用于由控制系统确定操纵器组件402和404之间的空间关系的足够信息(例如，操纵器组件404的整个或部分的图像)。
59.在图4b的示例中，操纵器组件404不包括外部环境传感器系统304。在其他示例中，操纵器组件404还包括外部环境传感器系统304。
60.参考图4c的示例，展示了具有外部环境传感器系统的机器人系统400的另一个示例。图4c的机器人系统400基本上类似于图4b的机器人系统400，除了下面描述的差异之外。操纵器组件404的外部环境传感器系统304包括传感器304-3和304-4。在一些实施例中，传感器304-3包括具有视场452-3的成像装置，其中来自传感器304-3的传感器数据(例如，图像数据)不包括用于确定操纵器组件402和404之间的空间关系的足够信息(例如，操纵器组件402的整个或部分的图像)。在示例中，如图4c所示，操纵器组件402不在视场452-3中。在另一个示例中，操纵器组件402在视场452-3中，但是被传感器304-3遮挡(例如，由第三部件遮挡)，使得来自传感器304-3的传感器数据(例如，图像数据)不包括用于确定操纵器组件402和404之间的空间关系的足够信息(例如，操纵器组件402的整个或部分的图像)。
61.在图4c的示例中，传感器304-4包括具有视场452-4的成像装置，其包括操纵器组件402，并且来自传感器304-4的传感器数据(例如，图像数据)包括用于确定操纵器组件402和404之间的空间关系的足够信息(例如，操纵器组件402的整个或部分的图像)。在该示例中，操纵器组件402没有被传感器304-4遮挡。
62.参考图4d的示例，展示了具有外部环境传感器系统的机器人系统400的又一个示例。在图4d的示例中，外部环境传感器系统的多个传感器可以包括基于反射的发射器-接收器传感器。例如，操纵器组件402的外部环境传感器系统304包括发射器-接收器传感器304-5，其可以检测附近物体的空间关系(例如，距离、取向)。发射器-接收器传感器304-5可以是光学飞行时间传感器，包括发射器454(例如，被配置为发射红外光458)，和接收器456(例如，被配置为接收反射的红外光460)，以确定物体(例如操纵器组件404)的距离。
63.参考图4e的示例，展示了具有外部环境传感器系统的机器人系统400的又一个示例。图4c的机器人系统400基本上类似于图4b的机器人系统400，除了下面描述的差异之外。操纵器组件404的外部环境传感器系统304包括传感器304-1和304-2。传感器304-1包括具有视场452-1的成像装置，其中来自传感器304-1的传感器数据(例如，图像数据)不包括用于确定操纵器组件402和404之间的空间关系的足够信息(例如，操纵器组件402的整个或部分的图像)。传感器304-2包括具有视场452-2的成像装置，其中来自传感器304-2的传感器
数据(例如，图像数据)包括操纵器组件402的部分视图。在各种实施例中，来自传感器304-2的此种部分视图传感器数据可以提供用于确定操纵器组件402和404之间的空间关系的足够信息，其中控制系统可以既使用部分视图传感器数据又使用操纵器组件402和404两者的完整运动学信息来确定空间关系。
64.参考图5a、图5b、图5c、图5d和图5e的示例，展示了机器人系统500中外部环境检测传感器系统的各种配置，该系统包括除了具有可单独移动的基座的两个操纵器组件之外的第三部件。尽管在图5a至图5e的示例中，第三部件是在可单独移动的基座上的另一个操纵器组件，但在各种实施例中，第三组件可以是在包括机器人系统500的操作环境中的具有可移动或固定基座的任何合适的部件，包括例如柱子、夹钳、夹具等。
65.参考图5a的示例，展示了机器人系统500。机器人系统500基本上类似于图4a的机器人系统400，除了下面描述的差异之外。机器人系统500除了两个操纵器组件之外还包括第三部件。在图5a的示例中，第三部件包括操纵器组件502。操纵器组件502包括基座504，其在物理上与操纵器组件402的基座406和操纵器组件404的基座422分离并独立。操纵器组件502包括结构支撑件508和操纵器510。在图5a的示例中，工具512安装在操纵器510上，并因此操纵器组件502可以被认为进一步包括安装的工具512。工具512包括轴514、联接到轴514的远端的腕部516，以及联接到腕部516的端部效应器518。基座504具有参考系506，其也可以表示为b3。工具512的轴514具有参考系，并且从基座参考系506到轴参考系的变换可以基于操纵器组件502的前向运动学来确定。
66.在各种实施例中，基座504、406和422的相对位置和取向是未知的。如下面详细讨论的，在各种实施例中，可以使用第三部件(例如操纵器组件502)确定从成像基座参考系b1 418到工具基座参考系b2 434的变换
b1
t
b2
。在示例中，变换
b1
t
b2
可以如下确定：
67.b1
t
b2
＝
b1
t
b3
*
b3
t
b2
ꢀꢀꢀ
(1)
68.其中
b1
t
b3
是从成像基座参考系b1 418到基座参考系b3 506的变换，并且其中
b3
t
b2
是从基座参考系b3 506到基座参考系b2 422的变换。变换t可以包括完整的6x6的变换矩阵、3x3的旋转矩阵(也被称为r)，或任何合适的变换格式。
69.参考图5b的示例，展示了具有外部环境传感器系统的机器人系统500的示例。机器人系统500包括安装在操作台o附近的导轨上的操纵器组件402、404和502，来自操纵器组件402的外部环境传感器系统304的传感器304-2的传感器数据不提供关于操纵器组件404(例如，因为遮挡520)相对于操纵器组件402的足够空间信息，尽管如果没有遮挡520，操纵器组件404处于传感器304-2的视场内。来自操纵器组件402的外部环境传感器系统304的传感器304-7的传感器数据不提供关于操纵器组件404相对于操纵器组件402的足够空间信息(例如，因为图像传感器304-7的遮挡或有限视场)。来自操纵器组件404的外部环境传感器系统304的传感器304-8的传感器数据不提供关于操纵器组件402相对于操纵器组件404的足够空间信息(例如，因为图像传感器304-8的遮挡或有限视场)。
70.在图5b的示例中，来自操纵器组件402的外部环境传感器系统304的传感器304-7的传感器数据提供关于操纵器组件502相对于操纵器组件402的足够空间信息。因此，控制系统可以使用来自传感器304-7的传感器数据，例如通过确定变换
b1
t
b3
来确定操纵器组件402和502之间的第一对准关系(该第一对准关系是对应的基座b1和b3之间的对准关系)。
71.来自操纵器组件404的外部环境传感器系统304的传感器304-8的传感器数据提供
关于操纵器组件502相对于操纵器组件404的足够空间信息。因此，控制系统可以使用来自传感器304-8的传感器数据，例如通过确定变换
b3
t
b2
来确定操纵器组件404和502之间的第二对准关系(该第二对准关系是对应的基座b2和b3之间的对准关系)。
72.然后，控制系统可以基于第一对准关系和第二对准关系确定操纵器组件402和404之间的对准关系，例如，通过根据方程(1)基于
b1
t
b3
和
b3
t
b2
确定变换
b1
t
b2
。
73.在一些示例中，第三部件(例如，操纵器组件502)可以没有对应的外部环境传感器系统304。在一些示例中，第三部件、操纵器组件502可以具有对应的外部环境传感器系统304，但对应的传感器数据不被控制系统用于确定操纵器组件402和404之间的对准关系。
74.参考图5c的示例，展示了具有外部环境传感器系统的机器人系统500的另一个示例。机器人系统500包括安装在操作台o附近的导轨上的操纵器组件402、404和502。操纵器组件402的外部环境传感器系统304的传感器304-7基本上类似于图5b的传感器304-7，其不提供关于操纵器组件404相对于操纵器组件402的足够空间信息(例如，因为图像传感器304-7的遮挡或有限视场)。
75.在图5c的示例中，来自操纵器组件402的外部环境传感器系统304的传感器304-7的传感器数据提供关于操纵器组件502相对于操纵器组件402的足够空间信息。因此，控制系统可以使用来自传感器304-7的传感器数据，例如通过确定变换
b1
t
b3
，来确定操纵器组件402和502之间的第一对准关系(该第一对准关系是对应基座b1和b3之间的对准关系)。
76.来自操纵器组件502的外部环境传感器系统304的传感器304-9的传感器数据不提供关于操纵器组件402相对于操纵器组件502的足够空间信息(例如，因为图像传感器304-9的遮挡或有限视场)。另一方面，来自操纵器组件502的外部环境传感器系统304的传感器304-9的传感器数据提供关于操纵器组件404相对于操纵器组件502的足够空间信息。因此，控制系统可以使用来自传感器304-9的传感器数据，例如通过确定变换
b3
t
b2
，来确定操纵器组件404和502之间的第二对准关系(该第二对准关系是对应基座b2和b3之间的对准关系)。
77.然后，控制系统可以基于第一对准关系和第二对准关系确定操纵器组件402和404之间的对准关系，例如，通过根据方程(1)基于
b1
t
b3
和
b3
t
b2
确定变换
b1
t。
78.在一些示例中，操纵器组件404可以没有对应的外部环境传感器系统304。在一些示例中，操纵器组件404可以具有对应的外部环境传感器系统304，但是对应的传感器数据不被控制系统用于确定操纵器组件402和404之间的对准关系。
79.参考图5d的示例，展示了具有外部环境传感器系统的机器人系统500的又一个示例。在图5d的示例中，来自操纵器组件502的外部环境传感器系统304的传感器304-10的传感器数据提供关于操纵器组件402相对于操纵器组件502的足够空间信息。因此，控制系统可以使用来自传感器304-10的传感器数据，例如通过确定变换
b1
t
b3
，来确定操纵器组件402和502之间的第一对准关系(该第一对准关系是对应基座b1和b3之间的对准关系)。
80.在图5d的示例中，来自操纵器组件502的外部环境传感器系统304的传感器304-9的传感器数据提供关于操纵器组件404相对于操纵器组件502的足够空间信息。因此，控制系统可以使用来自传感器304-9的传感器数据，例如通过确定变换
b3
t
b2
，来确定操纵器组件404和502之间的第二对准关系(该第二对准关系是对应基座b2和b3之间的对准关系)。
81.然后，控制系统可以基于第一对准关系和第二对准关系确定操纵器组件402和404之间的对准关系，例如，通过根据方程(1)基于
b1
t
b3
和
b3
t
b2
确定变换
b1
t
b2
。
82.在一些示例中，操纵器组件402和404可以没有对应的外部环境传感器系统304。在一些示例中，操纵器组件402和404中的一个或多个具有对应的外部环境传感器系统304，但是对应的传感器数据不被控制系统用于确定操纵器组件402和404之间的对准关系。
83.参考图5e的示例，展示了具有外部环境传感器系统的机器人系统500的又一个示例。
84.来自操纵器组件502的外部环境传感器系统304的传感器304-10的传感器数据不提供关于操纵器组件404的相对于操纵器组件502的足够空间信息(例如，因为图像传感器304-10的遮挡或有限视场)。另一方面，来自操纵器组件502的外部环境传感器系统304的传感器304-10的传感器数据提供关于操纵器组件402相对于操纵器组件502的足够空间信息。因此，控制系统可以使用来自传感器304-10的传感器数据，例如通过确定变换
b1
t
b3
，来确定操纵器组件402和502之间的第二对准关系(该第二对准关系是对应基座b2和b3之间的对准关系)。
85.在图5e的示例中，来自操纵器组件404的外部环境传感器系统304的传感器304-11的传感器数据不提供关于操纵器组件402相对于操纵器组件402的足够空间信息(例如，因为图像传感器304-11的遮挡或有限视场)。另一方面，来自传感器304-11的传感器数据提供关于操纵器组件502相对于操纵器组件404的足够空间信息。因此，控制系统可以使用来自传感器304-7的传感器数据，例如通过确定变换
b1
t
b3
，来确定操纵器组件402和502之间的第一对准关系(该第一对准关系是对应基座b1和b3之间的对准关系)。
86.然后，控制系统可以基于第一对准关系和第二对准关系确定操纵器组件402和404之间的对准关系，例如，通过根据方程(1)基于
b1
t
b3
和
b3
t
b2
确定变换
b1
t
b2
。
87.在一些示例中，操纵器组件402可以没有对应的外部环境传感器系统304。在一些示例中，操纵器组件402可以具有对应的外部环境传感器系统304，但是对应的传感器数据不被控制系统用于确定操纵器组件402和404之间的对准关系。
88.参考图6的示例，流程图提供了用于为相对于彼此可单独移动的操纵器组件执行配准过程的方法600。方法600开始于过程602，其中提供机器人系统操作的操作环境，并且该机器人系统包括具有可单独移动的基座的第一操纵器组件和第二操纵器组件。在图4a至图5e的示例中，提供了包括操纵器组件402和404的机器人系统(例如，机器人系统400或500)的操作环境。
89.方法600可以进行到过程604，其中控制系统从第一操纵器组件上的多个传感器接收包括第一传感器数据的传感器数据，以提供第一操纵器组件外部的操作环境。在图4a至图5e的示例中，控制系统从设置在操纵器组件402上的外部环境传感器系统304的多个传感器接收第一传感器数据(如果可用)。第一传感器数据可以来自位于操纵器组件402的各个部分(例如，不同的连杆和/或接头)上的传感器。在一些示例中，用于第一操纵器组件外部的操作环境的信息提供了其他操纵器组件(例如，操纵器组件404)相对于操纵器组件402的空间信息(例如，取向、位置等)。
90.注意，尽管在本文的描述中，操纵器组件402被用作第一操纵器组件的示例，并且操纵器组件404被用作第二操纵器组件的示例，但是在各种示例中，术语“第一”和“第二”可以被颠倒，使得操纵器组件402和404可以分别是第二操纵器组件和第一操纵器组件。
91.方法600可以进行到过程606，其中控制系统从第二操纵器组件上的多个传感器接
收包括第二传感器数据的传感器数据，以提供第二操纵器组件外部的操作环境。在图4a至图5e的示例中，控制系统从设置在操纵器组件404上的外部环境传感器系统304的多个传感器接收第二传感器数据(如果可用)。第二传感器数据可以来自位于操纵器组件404的各个部分(例如，不同的连杆和/或接头)上的传感器。在一些示例中，用于第二操纵器组件外部的操作环境的信息提供了其他操纵器组件(例如，操纵器组件402)相对于操纵器组件404的空间信息(例如，取向、位置等)。
92.方法600可以进行到过程608，其中控制系统确定所接收的传感器数据(即，所接收的第一传感器数据和第二传感器数据)是否足以建立第一操纵器组件和第二操纵器组件之间的对准关系(包括例如变换)。
93.在一些实施例中，在过程608，控制系统确定所接收的传感器数据足以建立第一操纵器组件和第二操纵器组件之间的对准关系。在这些实施例中，方法600可以进行到过程616以执行调整操作。
94.在一些实施例中，过程616的调整操作可以包括过程618，其中控制系统可以为操作员提供指示(例如，在显示器上)，以将传感器中介添加到操作环境中。在接收指示后，操作员可以将传感器中介添加到操作环境中。在图5a至图5e的示例中，操作员可以添加第三部件(例如，操纵器组件502或其他部件)作为传感器中介。可以提供与传感器中介相关联的附加传感器数据。例如，如图5b、图5c和图5e所示，附加传感器数据可以包括由操纵器组件402和/或404的传感器系统304(例如，传感器304-7、304-8、304-11)提供的传感器数据，并且包括第三部件相对于操纵器组件402和/或404的空间关系信息。对于进一步的示例，如图5c、图5d和图5e所示，附加传感器数据可以包括由第三部件的传感器系统304(例如，传感器304-9、304-10)提供的传感器数据，并且包括操纵器组件402和/或404相对于第三部件的空间关系信息。那些附加传感器数据可用于在后续步骤中建立操纵器组件402和404之间的对准关系。
95.在一些实施例中，过程616的调整操作可以包括过程620，其中控制系统可以为操作员提供指示(例如，在显示器上)以移动第一操纵器组件和第二操纵器组件中的一个或多个。该指示还可以包括第一操纵器组件和第二操纵器组件的建议位置(例如，导轨上的位置，操作台顶部下的位置)，以消除遮挡并提高用于确定对准关系的传感器数据的足够性。在一些示例中，对于工作台安装的系统，指示可以建议操纵器组件在结构支撑件408的中间部分处安装到操作台，并且结构支撑件408延伸到操作台下面(即夹钳附接点下面)。在那些示例中，飞行时间或其他传感器可用于提供操作台下的无遮挡视图。
96.在其中机器人系统包括第三部件的一些示例中，该指示还可以包括第三部件(例如，第三操纵器组件502或任何其他合适的第三部件)的建议的位置。在接收指示后，操作员可以将一个或多个操纵器组件和/或第三部件移动到新的位置(例如，建议的位置)。
97.在一些实施例中，过程616的调整操作可包括过程622，其中控制系统可自动移动操纵器组件和/或第三部件中的一个或多个以提高传感器数据的足够性。
98.然后，方法600可以进行到过程624，其中控制系统在执行(多个)调整操作之后接收更新的传感器数据，并进行到过程608以确定更新的传感器数据是否足以建立第一操纵器组件和第二操纵器组件之间的对准关系。
99.在一些实施例中，在过程608，控制系统确定传感器数据足以确定第一操纵器组件
和第二操纵器组件之间的对准关系(例如，一个或两个或取向和位置关系)。在那些实施例中，方法600可以进行到过程610以建立对准关系。
100.在一些实施例中，过程610可包括过程611，其中控制系统使用第一和/或第二传感器数据确定第一操纵器组件和第二操纵器组件之间的相对空间关系。基于确定的相对空间关系，确定第一操纵器组件和第二操纵器组件之间的对准关系。
101.在一些实施例中，其中更新的传感器数据包括与传感器中介相关联的附加传感器数据，过程610可包括过程612，其中控制系统使用与传感器中介相关联的附加传感器数据确定第一操纵器组件和第二操纵器组件之间的对准关系。在图5a至图5e的示例中，控制系统基于与传感器中介(例如，第三部件)相关联的附加传感器数据，例如基于方程(1)，确定第一操纵器组件和第二操纵器组件之间的对准关系。
102.然后，方法600可以进行到过程614，其中控制系统从配准模式切换到工具控制模式(例如，在医疗规程期间对操作台上的患者执行操作)。当在工具控制模式下操作时，控制系统可以响应于与工具相关联的主控装置的移动来控制工具相对于成像装置参考系的移动。为了在成像装置参考系中有效地移动工具，控制系统使用操纵器组件402和404之间的对准关系(包括例如在配准过程确定的基座变换
b1
t
b2
)，确定成像装置参考系和端部效应器参考系之间的对准关系。
103.例如，控制系统可以如下计算从成像装置参考系c到端部效应器参考系的变换ct
end effector
：
104.c
t
end effector
＝ct
b1
*
b1
t
b2
*
b2
t
end effector
,
ꢀꢀꢀ
(2)
105.其中ct
b1
是从成像装置参考系420到成像基座参考系418的变换，
b2
t
end effector
是从工具基座参考系434到端部效应器参考系的变换。ct
b1
和
b2
t
end effector
是可分别基于操纵器组件402和404的正向和反向运动学来确定的变换，并且
b1
t
b2
已经先前在过程610通过配准过程确定。
106.在一些实施例中，在过程614，控制系统可以响应于由成像系统提供的状态变量信号来推导出主机-工具变换，使得显示器中的工具图像看起来基本上连接到主控装置。这些状态变量通常指示如由支撑成像装置的操纵器提供的成像装置视场的笛卡尔位置。控制系统可以使用由配准过程确定的基座变换
b1
t
b2
来推导出主机-工具变换，使得控制系统可以响应于主控装置的移动，适当地控制工具14相对于成像装置参考系的移动。
107.在一些实施例中，相对于显示器或观看显示器的操作员，定义了操作员参考系。在那些实施例中，控制系统可以确定输入装置和操作员参考装置之间的对准关系，并基于输入装置和操作员参考系之间的该对准关系，响应于输入装置对应于第二操纵器组件的姿态的变化，来命令第二操纵器组件的运动。
108.在一些实施例中，控制系统确定第一操纵器组件和第三部件之间的对准关系，其中第三部件是另一个操纵器组件。在那些实施例中，第三操纵器组件的运动可以响应于来自输入装置的命令，诸如基于输入装置的姿态变化的命令，基于第一操纵器组件和第三操纵器组件之间的该对准关系来作出命令。用于控制第三操纵器组件的该输入装置可以与控制第二操纵器组件的输入装置不同。
109.在各种实施例中，机器人系统的操纵器组件(例如，第一操纵器组件、第二操纵器组件、第三操纵器组件)中的每个可以包括任何数量的操纵器。例如，操纵器组件可以包括
单个操纵器，如图2的示例中所描绘的，或多个操纵器安装到共同的物理基座，如图1的示例中所描绘的。作为具体示例，包括多个操纵器的操纵器组件可具有安装到共同的物理基座的两个、三个、四个或更多个操纵器。在第一示例中，在操纵器组件之间执行配准，诸如在其中每个操纵器组件都具有一个操纵器的操纵器组件之间，在其中每个操纵器组件都具有安装到共同基座的多个操纵器的操纵器组件之间，或者在其中第一操纵器组件具有单个操纵器，第二操纵器组件具有安装到共同基座的多个操纵器的操纵器组件之间。在该第一示例中，操纵器组件之间的配准可以根据本公开中描述的技术，使用外部环境检测传感器系统或通过任何适当的技术执行。在第二示例中，配准在同一操纵器组件的操纵器之间执行，这些操纵器具有共同基座。在该第二示例中，其中操纵器共享共同的物理基座，操纵器之间的配准可以通过用关于操纵器配置的足够运动学信息(诸如由传感器，诸如形状传感器、接头传感器等提供)进行运动学建模来实现。提供操纵器形状信息或接头位置信息，可以使用两个操纵器的运动学信息实现相对配准。可替代地或此外，也可以根据本公开中描述的技术，使用外部环境检测传感器系统或通过任何适当的技术执行配准；该类型的配准可用于验证通过运动学实现的配准，以在主要配准技术不足的情况下提供备用配准技术(例如，在用于主要配准技术的一个或多个传感器失效的情况下，或在用于主要配准技术的传感器数据太嘈杂的情况下)。
110.在各种实施例中，配准过程可以在操作(例如，医疗操作)之前、期间或之后执行。在医疗示例中，配准过程可以在医疗操作之前(例如在设置期间)在患者体外或在患者体内执行。在另一个示例中，配准过程可以在医疗操作期间执行。在又一个示例中，配准过程可以作为备用和/或校准检查配准方法执行，其中另一个配准过程(例如，基于操纵器组件的安装位置的配准过程)是主要的配准过程。在又一个示例中，配准过程可用于具有在同一基座上的操纵器的机器人系统，以检查和确认那些操纵器与其相应工具的配准。在又一个示例中，操纵器组件的导向安装位置可用于缩小搜索范围、提供初步猜测，和/或为配准过程提供确认检查。
111.在本公开中，选择用来描述一个或多个实施例和可选要素或特征的具体词语并不意图限制本发明。例如，空间相对术语——诸如“下面”、“下方”、“下部”、“上方”、“上部”、“近侧”、“远侧”等——可用于描述如图所示的一个要素或特征与另一个要素或特征的关系。这些空间相对术语意图包括装置除了图中所示的位置和取向之外在使用或操作中的不同位置(即平移位置)和取向(即旋转放置)。例如，如果图中的装置被翻转，那么被描述为在其他要素或特征“下方”或“下面”的要素将在其他要素或特征“上方”或“上面”。因此，示例性术语“下方”可以包括上方和下方的位置和取向两者。装置可以以其他方式取向(例如，旋转90度或在其他取向)，并且本文使用的空间相对描述符因此解释。同样，沿(平移)和绕(旋转)各种轴线的移动的描述包括各种特殊的装置位置和取向。身体的位置和取向的组合定义了身体的姿态。
112.类似地，几何术语，诸如“平行”和“垂直”不意图要求绝对的数学精度，除非上下文另有指示。相反，此类几何术语允许由于制造或等效功能而产生的变化。
113.此外，除非上下文另有指示，否则单数形式“一个”、“一件”和“该”意图也包括复数形式。并且术语“包括(comprises)”、“包括(comprising)”、“包括(includes)”、“具有”等指明了所陈述的特征、步骤、操作、要素和/或部件的存在，但不排除存在或添加一个或多个其
他特征、步骤、操作、要素、部件和/或组。被描述为联接的部件可以在电气或机械上直接联接，或它们可以经由一个或多个中间部件被间接联接。助动词“可以”同样意味着特征、步骤、操作、要素或部件是可选的。
114.参考一个实施例、实施方式或应用详细描述的要素，只要切实可行，就可以可选地包括在没有具体示出或描述它们的其他实施例、实施方式或应用中。例如，如果参考一个实施例详细描述了要素，并且没有参考第二实施例进行描述，则该要素仍然可以被称为包括在第二实施例中。因此，为了避免在下面的描述中出现不必要的重复，与一个实施例、实施方式或应用相关联地示出和描述一个或多个要素可以并入其他实施例、实施方式或方面，除非另有具体描述，除非该一个或多个要素会使实施例或实施方式失去功能，或者除非要素中的两个或更多个提供冲突的功能。
115.对所描述的装置、器械、方法的任何更改和进一步修改，以及对本公开的原理的任何进一步应用，都被完全考虑为对于本公开所涉及领域的技术人员来说通常都会发生。特别地，完全考虑将关于一个实施例描述的特征、部件和/或步骤可以与本公开的其他实施例中描述的特征、部件和/或步骤组合。此外，本文提供的尺寸针对具体示例，并且考虑可以利用不同的大小、尺寸和/或比例来实施本公开的概念。为了避免不必要的描述性重复，根据一个说明性实施例描述的一个或多个部件或动作可以视情况在其他说明性实施例中使用或省略。为简洁起见，这些组合的众多重述将不单独描述。为简单起见，在一些情况下，整个附图中使用相同的参考号来指代相同或相似的部分。
116.各种器械和器械的部分以其在三维空间中的状态进行了描述。如本文所用，术语“位置”是指物体或物体的一部分在三维空间中的位置(例如，沿笛卡尔x、y、z坐标的三个平移自由度)。如本文所用，术语“取向”是指物体或物体的一部分的旋转放置(三个旋转自由度——例如，滚动、俯仰和偏航)。如本文所用，术语“姿态”是指物体或物体的一部分在至少一个平移自由度中的位置，以及该物体或该物体的一部分在至少一个旋转自由度中的取向(至多六个总自由度)。如本文所用，术语“形状”是指沿物体测量的一组姿态、位置或取向。
117.尽管本文描述的示例中的一些是指外科规程或器械，或医疗规程和医疗器械，但所公开的技术可选地应用于非医疗规程和非医疗器械。例如，本文描述的器械、系统和方法可用于非医疗目的，包括工业用途、一般机器人用途，以及感测或操纵非组织工件。其他示例应用涉及美容改善、人类或动物解剖结构的成像、从人类或动物解剖结构收集数据，以及培训医疗或非医疗人员。附加示例应用包括在从人类或动物解剖结构取出的组织上执行规程(不返回人类或动物解剖结构)，以及在人类或动物尸体上执行规程。此外，这些技术也可用于外科和非外科医学治疗或诊断规程。
118.此外，尽管本公开中提出的示例中的一些讨论了远程操作机器人系统或可远程操作的系统，但所公开的技术也部分或全部地可应用于由操作员直接和手动移动的计算机辅助系统。计算机是遵循编程指令对输入信息执行数学或逻辑功能以产生经处理的输出信息的机器。计算机包括执行数学或逻辑功能的逻辑单元，以及存储编程指令、输入信息和输出信息的存储器。术语“计算机”和类似术语，诸如“处理器”或“控制器”或“控制系统”，是相似的。
119.尽管在附图中已描述和示出了本发明的某些示例性实施例，但是应当理解，此类实施例仅是说明性的，并且不是对广泛的发明的限制，并且本发明的实施例不限于示出和
描述的具体构造和布置，因为对于本领域普通技术人员来说可能会发生各种其他修改。