用于外科机器人的手持式用户界面设备的制作方法

1.本主题技术整体涉及机器人和外科系统，并且更具体地涉及基于屏幕的界面，用于识别和操纵部件，诸如外科机器人臂，或用于识别和操纵其他部件，诸如用于准备或执行微创外科手术的外科机器人系统的台。


背景技术：

2.微创外科手术(mis)诸如腹腔镜手术涉及旨在在外科规程期间减少组织损伤的技术。例如，腹腔镜式手术通常涉及在患者体内(例如，在腹部)形成多个小切口，并通过切口将一个或多个手术工具(例如，端部执行器和内窥镜)引入患者体内。然后可使用引入的手术工具执行外科手术，其中可视化辅助由内窥镜提供。
3.一般来讲，mis提供多重有益效果，诸如减少患者疤痕、减轻患者疼痛、缩短患者恢复期以及降低与患者恢复相关联的医疗费用。最近的技术发展允许使用机器人系统执行更多的mis，该机器人系统包括一个或多个机器人臂，该机器人臂用于基于来自远程操作员的命令操纵手术工具。机器人臂可以例如在其远侧端部处支承各种设备，诸如外科端部执行器、成像设备、用于提供进入患者体腔和器官的通路的插管等。在机器人mis系统中，可能期望为由机器人臂支承的外科器械建立并保持较高定位准确度。
4.现有的机器人辅助的外科系统通常由外科医生控制台组成，外科医生可从该控制台选择和操纵机器人臂和附接到机器人臂的设备。机器人控制器可通过在外科医生控制台上呈现标识符诸如与多个机器人臂相关联的编号或安装位置来请求外科医生选择机器人臂。由于外科医生在外科医生控制台处看到的机器人臂与直接观察到的机器人臂之间缺乏自然空间关系，因此外科医生可能选择错误的机器人臂。移动错误的机器人臂可能对患者、其他装备或床边人员造成严重伤害。希望具有这样的界面，该界面允许外科医生以更直观的方式控制外科机器人系统，从而在执行机器人辅助的外科手术时将错误降至最低。


技术实现要素：

5.本文公开了一种用于控制机器人辅助的外科系统的移动界面设备，该机器人辅助的外科系统也称为外科机器人系统，是被设计用于供外科医生执行微创外科手术的软件控制的机电系统。该移动界面设备为外科医生提供外科机器人系统的直接和实时视图，并且允许外科医生轻松且直观地选择、控制或操纵外科机器人系统的各种目标部件。例如，该移动界面设备可将位于外科医生的注意力中心的或出现在由界面设备捕获的图像的中心的机器人臂自动识别为由外科医生选择的目标部件。基于目标部件的当前位姿或位置，该移动界面设备可生成控制选项的列表。外科医生可选择控制选项以操纵目标部件，诸如命令所选择的机器人臂至期望位姿的机器人辅助移动。
6.用于外科机器人系统的界面设备可包括相机、处理器、显示器和一个或多个控制按钮。相机可捕获外科机器人系统的实时图像或视频。处理器可对所捕获的实时视频或图像执行图像处理软件，以识别外科机器人系统的要使用界面设备来控制的目标部件并确定
目标部件的初始或当前位姿。显示器可显示所捕获的实时图像或视频，包括识别外科机器人系统的目标部件。显示器可显示目标部件的一个或多个可能目标位姿。界面设备可呈现控制选项以允许外科医生选择可能目标位姿中的一个目标位姿并控制目标部件。控制按钮可用于向外科机器人系统生成输入命令以将目标部件从当前位姿移动到所选择的目标位姿。
7.在一个方面，处理器可通过处理所捕获的视频或图像来识别目标部件的可能目标位姿，从而识别目标部件可接合的一个或多个对象。在一个方面，界面设备可从外科机器人系统或通过由外科医生输入到界面设备中的命令来接收关于目标位姿的信息。在一个方面，界面设备可包括一个或多个传感器。传感器可在三个维度上测量由相机捕获的外科机器人系统的各个表面点与界面设备的相对位置。界面设备可处理来自传感器的测量结果以帮助识别目标部件、确定目标部件的当前位姿或识别目标部件的可能目标位姿。
附图说明
8.为了更全面地理解本发明，附图与本主题技术的各个方面和实施方案的以下描述一起提供。附图和实施方案是对本发明的举例说明，并不旨在限制本发明的范围。应当理解，本领域的普通技术人员可修改附图以生成仍将落入本发明的范围内的其他实施方案的附图。
9.图1是根据本主题技术的各方面的手术场所中的示例性外科机器人系统1的绘画视图。
10.图2a是根据本主题技术的各方面的界面设备的前视图，其示出了显示器，其中外科机器人系统的机器人臂被可视化以实现单个部件的识别或选择/目标选定；并且图2b是根据本主题技术的各方面的界面设备的后视图，其示出了相机、任选的3d相机和控制按钮(它们也可位于设备的正面或侧面上)。
11.图3示出了根据本主题技术的各方面的用于控制机器人臂从初始位姿移动到最终位姿的界面设备。
12.图4是示出根据本主题技术的各方面的界面设备的示例性硬件部件的框图。
13.图5是示出根据本主题技术的各方面的外科机器人系统的示例性硬件部件的框图。
14.图6是示出根据本主题技术的各方面的使用移动设备来控制外科机器人系统的方法的流程图。
具体实施方式
15.本主题技术的各个方面和变型的示例在本文描述并在附图中示出。以下描述并非旨在将本发明限制于这些实施方案，而是旨在使本领域的技术人员能够制备和使用本发明。
16.本文公开了一种界面设备，该界面设备允许外科医生直观地控制外科机器人系统，该外科机器人系统是被设计成帮助外科医生执行微创外科手术的软件控制的机电系统。该界面设备允许直接观察手术室环境的外科医生在术前设置期间、在外科手术期间或在术后规程期间选择、控制或操纵外科机器人系统的各种部件或附接到其上的附件。例如，
外科医生可使用便携式界面设备，通过将机器人臂放置在界面设备的相机的视野中心附近来选择外科机器人系统的机器人臂。该界面设备可自动识别感兴趣的机器人臂，并且可通过对由相机捕获的外科机器人系统的图像运行图像处理来确定其初始或当前位姿。通过由界面设备提供的直接视图而不是通过远程控制台的间接视图来选择和控制外科机器人系统的部件，可降低外科医生错误地选择和移动外科机器人系统的错误部件的风险。
17.基于所选择的部件的初始位姿，界面设备可呈现所选择的部件的控制选项。外科医生可选择控制选项以激活所选择的部件的通过计划轨迹至目标位置的机器人辅助移动。例如，外科医生可将机器人臂从准备位置移动到预对接位置以与内窥镜器械或旨在用于组织的内窥镜操纵的附件接合，组织的内窥镜操纵包括抓握、切割、钝性和锐性解剖、逼近、结扎、电烧灼和缝合。又如，外科医生可改变外科手术台的角度以升高患者的脚部，从而为内窥镜器械提供目标组织或器官的更清晰视图。
18.图1是根据本主题技术的各方面的手术场所中的示例性外科机器人系统1的绘画视图。机器人系统1包括用户控制台2、控制塔3以及外科机器人平台5(例如台、床等)处的一个或多个外科机器人臂4。系统1可结合用于对患者6执行外科手术的任何数量的装置、工具或附件。例如，系统1可包括用于执行外科手术的一个或多个外科工具7。外科工具7可以是附接到外科臂4的远侧端部的端部执行器，以用于执行外科规程。
19.每个外科工具7可在外科手术期间手动操纵、机器人操纵或两者。例如，外科工具7可以是用于进入、查看或操纵患者6的内部解剖结构的工具。在一个实施方案中，外科工具7为可抓紧患者的组织的抓持器。外科工具7可由床边操作者8手动控制；或者其可经由其所附接的外科机器人臂4的致动移动而由机器人控制。机器人臂4被示出为台上安装系统，但在其他配置中，臂4可安装在手推车、天花板或侧壁上，或者安装在另一个合适的结构支撑件中。
20.一般来讲，远程操作者9(诸如外科医生或另一人员)可使用用户控制台2来远程操纵臂4和/或所附接的外科工具7，例如远程操作。用户控制台2可位于与系统1的其余部分相同的手术室中，如图1所示。然而，在其他环境中，用户控制台2可位于相邻或附近的房间中，或者其可位于远程位置，例如，在不同的建筑物、城市或国家中。用户控制台2可包括座椅10、脚动控件13、一个或多个手持式用户输入设备(uid)14以及至少一个用户显示器15，该用户显示器被配置成显示例如患者6体内的外科手术部位的视图。在示例性用户控制台2中，远程操作者9坐在座椅10中并查看用户显示器15，同时操纵脚动控件13和手持式uid 14，以便远程控制臂4和外科工具7(它们安装在臂4的远侧端部上)。
21.在一些变型中，床边操作者8还可以“床上”模式操作系统1，其中床边操作者8(用户)现在位于患者6的一侧并且同时操纵机器人驱动的工具(附接到臂4的端部执行器)，例如，用一只手握持手持式uid 14和手动腹腔镜工具。例如，床边操作者的左手可操纵手持式uid以控制机器人部件，而床边操作者的右手可操纵手动腹腔镜工具。因此，在这些变型中，床边操作者8可对患者6执行机器人辅助微创外科手术和手动腹腔镜外科手术两者。
22.在示例性规程(外科手术)期间，以无菌方式对患者6进行准备并覆盖消毒盖布以实现麻醉。在机器人系统1的臂处于收起构造或撤回构造时，可手动地执行对手术部位的初始触及(以便于触及手术部位)。一旦完成触及，就可执行机器人系统1(包括其臂4)的初始定位或准备。例如，用户控制台2处的远程操作者9或床边操作者8可使用手持式uid 14在术
前设置期间将臂4从收起构造移动到患者6上方的准备位置。另选地，直接观察台5的外科医生或床边人员可操作本文所公开的界面设备以选择臂4并将其移动到准备位置。接着，外科手术继续，其中用户控制台2处的远程操作者9利用脚动控件13和uid 14来操纵各种端部执行器以及可能的成像系统，以执行外科手术。也可由身着消毒手术衣的床边人员(例如床边操作者8)在手术床或手术台5处提供手动辅助，该床边人员可对机器人臂4中的一个或多个臂执行任务，诸如回缩组织、执行手动重新定位以及工具更换。也可存在非消毒人员以在用户控制台2处辅助远程操作者9。当规程或外科手术完成时，系统1和用户控制台2可被配置或设定成一定状态以便于完成术后规程，诸如清洁或消毒以及经由用户控制台2输入或打印医疗档案。
23.在一个实施方案中，远程操作者9保持并移动uid 14以提供输入命令，从而移动机器人系统1中的机器人臂致动器17。uid14可例如经由控制台计算机系统16被通信地耦合至机器人系统1的其余部分。uid 14可生成对应于uid 14的移动的空间状态信号，例如uid的手持式外壳的位置和取向，并且空间状态信号可以是控制机器人臂致动器17的运动的输入信号。机器人系统1可使用源自空间状态信号的控制信号来控制致动器17的成比例运动。在一个实施方案中，控制台计算机系统16的控制台处理器接收空间状态信号并生成对应的控制信号。基于控制致动器17如何通电以移动臂4的区段或连接件的这些控制信号，附接到臂的对应外科工具的移动可模拟uid 14的移动。类似地，远程操作者9与uid 14之间的交互可生成例如抓持控制信号，该抓持控制信号导致外科工具7的抓持器的钳口闭合并抓持患者6的组织。
24.外科机器人系统1可包括若干uid 14，其中为每个uid生成控制相应臂4的致动器和外科工具(端部执行器)的相应控制信号。例如，远程操作者9可移动第一uid 14以控制位于左机器人臂中的致动器17的运动，其中致动器通过移动臂4中的连杆、齿轮等来响应。类似地，远程操作者9对第二uid 14的移动控制另一个致动器17的运动，这继而移动机器人系统1的其他连杆、齿轮等。机器人系统1可包括固定到患者的右侧的床或台5的右臂4，以及位于患者的左侧的左臂4。致动器17可包括一个或多个马达，控制该一个或多个马达，使得它们驱动臂4的接合部旋转，以例如相对于患者改变附接到该臂的外科工具7的内窥镜或抓持器的取向。同一臂4中的若干致动器17的运动可由从特定uid 14生成的空间状态信号控制。uid 14还可控制相应外科工具抓持器的运动。例如，每个uid 14可生成相应的抓持信号以控制致动器(例如，线性致动器)的运动，该致动器在外科工具7的远侧端部处打开或闭合抓持器的钳口以抓持患者6体内的组织。
25.在一个方面，代替模拟远程操作者9的手中的uid 14的移动的臂4或所附接的外科工具7，直接观察臂4或外科工具7的外科医生可使用本文所公开的界面设备将臂4或外科工具7移动到期望的位置。例如，外科医生可通过在界面设备的相机的视野中心附近框定目标臂来选择臂4中的一个臂。界面设备可对由相机捕获的图像运行图像处理软件，以将目标臂自动识别为要控制的对象并确定其初始或当前位姿。例如，界面设备可将图像帧的中心附近的臂识别为目标臂，并且可确定目标臂处于准备位置。界面设备可通过在屏幕上显示视觉指示符来突出显示目标臂，诸如通过用绿色接合指示符在显示屏上勾勒目标臂轮廓或通过渲染用虚拟信息增强的目标臂的图像。在另一方面，外科医生可使用触摸屏，通过触摸对象例如通过触摸触摸屏上显示的臂4来指示要控制的对象。
26.在一个方面，界面设备可运行图像处理软件以将图像帧中的对象附近的一个或多个对象或点识别为目标臂的可能目的地位置。界面设备可在显示屏上识别或突出显示可能目的地位置，可在显示屏上显示可能目的地位置的名称，并且可请求外科医生确认目的地位置。例如，界面设备可通过在屏幕上突出显示套管针并请求外科医生予以确认，从而将目标臂附近的套管针识别为目标臂可能希望接合的外科工具，并且因此识别目标臂的可能目的地位置。如果外科医生确认，则界面设备可计算用于将目标臂从准备位置移动到靠近套管针的预对接位置的轨迹，使得套管针可附接到目标臂的远侧端部。界面设备可将所计算的轨迹显示为用于外科医生选择的选项中的一个选项。在另一方面，外科医生可使用触摸屏，通过例如按下触摸屏上显示的套管针来指示目标臂的目的地位置。在另一方面，界面设备可显示多个选项以用于外科医生选择，该多个选项指示作为目标臂的可能目的地位置的预定义位置或位姿和至预定义位置的计划轨迹。一旦外科医生选择了轨迹、位置或位姿，界面设备就将信息传输到外科机器人系统1，以使外科机器人系统1能够激活致动器17以驱动目标臂的齿轮、连杆或接合部，从而使目标臂移动通过所选择的或所编程的轨迹至目的地位置或位姿。
27.在一些方面，平台5与用户控制台2或界面设备之间的通信可通过控制塔3，该控制塔可将从用户控制台2(并且更具体地从控制台计算机系统16)或从界面设备接收的用户命令转换成传输到机器人平台5上的臂4的机器人控制命令。控制塔3还可将状态和反馈从平台5传输回用户控制台2或界面设备。机器人平台5、用户控制台2和控制塔3之间的通信连接可经由有线和/或无线链路，使用各种数据通信协议中的任何合适的数据通信协议。任何有线连接可任选地内置于手术室的地板和/或墙壁或天花板中。机器人系统1可向一个或多个显示器(包括手术室内的显示器以及可经由互联网或其他网络访问的远程显示器)提供视频输出。还可加密视频输出或馈送以确保隐私，并且视频输出的全部或部分可保存到服务器或电子保健记录系统。
28.在利用外科机器人系统1开始外科手术之前，外科手术团队可执行术前设置。在术前设置期间，外科机器人系统的主要部件(台5和机器人臂4、控制塔3和用户控制台2)定位在手术室中、连接并通电。台5和机器人臂4可处于完全收起构造，其中臂4处于台5下方以用于储存和/或运输目的。外科手术团队可将臂从其收起位置延伸以用于进行无菌盖布。在盖布之后，臂4可部分地回缩，直到需要使用。可能需要执行多个常规腹腔镜步骤，包括套管针放置和注气。例如，每个套管可借助于填塞器插入到小切口中并穿过体壁。套管和闭塞器允许光学进入，以用于在插入期间使组织层可视化，从而使放置期间的损伤风险最小化。通常，首先放置内窥镜以提供手持式相机可视化，以用于放置其他套管针。在注气之后，如果需要，可将手动器械插入穿过套管，以用手执行任何腹腔镜步骤。
29.接下来，外科手术团队可将机器人臂4定位在患者上方并且将每个臂附接到其对应的套管。外科机器人系统1能够在每个工具(内窥镜和外科器械)被附接时立即唯一地识别每个工具并且能够在用户控制台2处的开放式或沉浸式显示器15上以及在控制塔3上的触摸屏显示器上显示工具类型和臂位置。对应的工具功能启用并且可使用主uid 14和脚踏开关13进行激活。患者侧助手可在整个规程中根据需要附接和拆卸工具。坐在用户控制台2处的外科医生可使用由两个主uid 14和脚踏开关13控制的工具开始进行手术。系统通过主uid 14将外科医生的手部移动、腕部移动和手指移动转换成外科工具的精确实时移动。因
此，系统会持续监控外科医生的每次外科手术操作，并且如果系统无法精确反映外科医生的手部运动，则会暂停器械移动。在外科手术期间内窥镜从一个臂移动到另一个臂的情况下，系统可调节主uid 14以用于使器械对准并继续控制器械和使其运动。脚踏开关13可用于激活各种系统模式，诸如内窥镜控制和各种器械功能，包括单极烧灼和双极烧灼，而无需使外科医生的手从主uid 116移开。
30.可在术中重新定位台5。出于安全原因，所有刀头应当处于在用户控制台2处的外科医生的视野中并受其主动控制。必须移除未受外科医生主动控制的器械，并且必须锁定台脚。在台运动期间，集成机器人臂4可被动地跟随台移动。音频提示和视觉提示可用于在台运动期间指导外科手术团队。音频提示可包括音调和语音提示。在用户控制台2和控制塔3处的显示器上的可视化消息可向外科手术团队通知台运动状态。
31.在一个方面，直接观察台5的外科医生可使用本文所公开的界面设备来重新定位台5。例如，外科医生可能希望升高患者6的上部躯干。外科医生可通过在相机的视野中心附近框定台区段来选择台5的保持患者的上部躯干的区段。界面设备可对相机图像运行图像处理软件以将该台区段识别为要控制的对象。在另一方面，外科医生可使用触摸屏，通过触摸台区段来指示要控制的台区段。界面设备可呈现指示可升高或降低台区段的不同程度的多个选项。在一个方面，外科医生可指定仰角。一旦外科医生选择或输入了台区段的新位置，界面设备就将信息传输到外科机器人系统1，以使外科机器人系统1能够驱动机构以将台区段升高到期望的位置。
32.图2a是根据本主题技术的各方面的界面设备的前视图25，其示出了显示器，其中外科机器人系统的机器人臂被可视化以实现单个部件的识别或选择/目标选定。界面设备包括显示屏26和手柄27。显示屏26可显示由界面设备的背面上的相机捕获的实时图像或视频。显示屏26可以是触摸屏以允许用户输入命令、进行选择或操纵所显示的对象。在一个方面，用户可选择外科机器人系统的目标部件以进行控制，方法是将界面设备指向目标部件，使得该目标部件出现在显示屏26的中心附近。在一个方面，图像处理算法可处理由相机捕获的图像或视频，以将外科机器人系统的出现在显示屏26的中心附近的部件自动识别为目标部件。在一个实施方案中，界面设备上的处理器可运行图像处理算法。在另一个实施方案中，外科机器人系统的计算机诸如图1的控制塔3可运行图像处理算法。界面设备可将所捕获的图像或视频传输到外科机器人系统以用于远程图像处理操作，并且可从外科机器人系统接收所识别的目标部件。在一个实施方案中，用户可通过触摸显示屏26上的目标部件来识别目标部件。
33.在一个方面，图像处理算法可确定目标部件的初始位姿或位置。例如，机器人臂可在收起位置中折叠以用于储存，在盖布位置中延伸以用于进行无菌盖布，在术前设置期间在准备位置中弯曲在患者上方，被配置成处于准备好附接到附近的外科工具的预对接位置，或处于附接到外科工具的对接位置。界面设备可例如通过用接合指示符突出显示目标部件来在显示屏26上突出显示目标部件以用于用户确认。用户可确认或可拒绝目标部件，在这种情况下，界面设备可尝试识别另一部件。在一个方面，在用户确认目标部件之前，如果用户移动界面设备使目标部件不在相机的视野中，则图像处理算法可取消选择目标部件。在另一方面，在用户确认目标部件之后并且当外科机器人系统被激活以移动目标部件时，如果用户移动界面设备使目标部件不在相机的视野中，则界面设备可取消选择目标部
件并且可冻结其移动以防止用户在目标部件不是用户注意的焦点时移动目标部件。
34.基于确认的目标部件和目标部件的初始位置或位姿，界面设备可生成用于用户控制目标部件的位置、取向、移动、功能等的选项列表。例如，如果用户确认处于盖布位置的机器人臂是目标部件，则界面设备可呈现用于将机器人臂移动到预定义的准备位置或预对接位置的选项列表。在一个方面，选项列表可包括机器人臂至预定义位置的计划轨迹。界面设备可呈现目标部件的预定义目标位置、预定义目标位置(例如，准备位置、预对接位置等)的名称或至预定义目标位置的计划轨迹的列表作为叠层，例如作为显示屏26上的增强现实(ar)叠层。用户可选择预定义目标位置中的一个预定义目标位置作为目标部件的期望目标位置。界面设备可计算用于将目标部件从初始位置移动到所选择的目标位置的轨迹。在一个方面，当选择期望目标位置时，用户可选择计划轨迹中的一个计划轨迹。
35.在一个实施方案中，图像处理算法可将图像或视频中的另一对象识别为目标部件的可能目的地位置。例如，如果将处于准备位置的机器人臂确认为目标部件，则图像处理算法可将图像或视频中的外科工具识别为机器人臂可附接到的可能目标。界面设备可呈现外科工具的当前位置或位姿，或者将紧邻外科工具的空间中的体积呈现为机器人臂的可能预对接目的地位置。如果用户选择了所呈现的预对接位置，则界面设备可计算用于将机器人臂从准备位置移动到预对接位置的轨迹。界面设备可计算轨迹，使得机器人臂避免与其他机器人臂的操作碰撞或干扰。在一个方面，如果机器人臂的计划移动需要移动其他机器人臂，则选项列表可包括用于多个机器人臂中的每一个机器人臂的一个或多个计划轨迹。
36.在一个实施方案中，用户可通过例如触摸所显示的外科工具来直接在触摸屏上指示目的地位置。界面设备可突出显示所选择的外科工具以请求用户确认选择。如果确认，则界面设备可计算用于将机器人臂移动到所选择的外科工具的轨迹，并且可将轨迹呈现为用于用户选择的选项。在一个实施方案中，外科机器人系统的计算机诸如控制塔可代替界面设备来计算轨迹。
37.一旦用户选择了用于移动或改变机器人臂的位置、取向或功能的选项，界面设备就将关于轨迹的选择和信息(如果有的话)传输到外科机器人系统的控制塔3。用户可能会收到提示，以通过按下连续激活按钮来激活机器人臂的移动。当用户按下连续激活按钮时，界面设备可向控制塔3传输激活信号。在接收到激活信号后，控制塔3可生成控制信号以激活致动器17，从而驱动机器人臂的齿轮、连杆或接合部，以使机器人臂移动通过所选择的轨迹至目的地位置。出于安全原因，用户可能需要按住连续激活按钮，直到机器人臂完成其至目的地位置的轨迹。如果用户松开连续激活按钮，则界面设备停止传输激活信号，从而使控制塔3停止机器人臂的运动。在移动期间，显示屏26可继续用接合指示符突出显示机器人臂，以向用户可视地指示机器人臂正在移动。为了增加安全性，如果用户移动界面设备使机器人臂不在相机的视野中，则界面设备可切断激活信号的传输以停止机器人臂的移动，从而防止分心的用户对患者造成伤害。
38.参见图2a，显示屏26示出了目标机器人臂28和第二臂29的示例性图像。图像处理算法将出现在图像中心中的目标机器人臂28识别为外科机器人系统的要控制的目标部件。图像处理算法确定目标机器人臂28处于停放在患者上方的准备位置。显示屏26通过用接合指示符30包封目标机器人臂28来突出显示该目标机器人臂。基于确定目标机器人臂28处于准备位置，显示屏26显示用于用户控制目标机器人臂28的位置、取向、移动、功能等的选项
列表31。例如，选项列表31可包括用于将目标机器人臂28移动到预定义预对接位置、移动到外科工具附近的预对接位置、移动通过计划轨迹等的选项。用户可在显示屏26上选择选项。一旦进行了选择，接合指示符30就可变为不同颜色，诸如绿色，以指示目标机器人臂28已准备好被激活。用户可按住界面设备背面上的连续激活按钮，以激活目标机器人臂28通过其轨迹至所选择的目的地位置的移动。当目标机器人臂28完成其轨迹到达其目的地位置时，移动停止并且可关闭接合指示符30以指示目标机器人臂28被停用并被取消选择。
39.图2b是根据本主题技术的各方面的界面设备的后视图35，其示出了相机37、任选的三维(3-d)相机38和控制按钮36。相机37可捕获外科机器人系统或其部件的平面图像或视频以显示在界面设备前方上的显示屏26上。在一个实施方案中，界面设备可将所捕获的图像或视频传输到外科机器人系统以显示在远程屏幕上。如所讨论的那样，在界面设备或外科机器人系统上运行的图像处理算法可处理图像或视频，以将外科机器人系统的出现在图像或视频的中心附近的部件自动识别为要用户控制的目标部件。另外，图像处理算法可确定目标部件的初始位姿或位置。在一个实施方案中，图像处理算法可将图像或视频中的另一对象识别为目标部件的可能目的地位置。
40.为了辅助图像处理算法识别目标部件或其他对象以及它们的位置，界面设备可具有传感器诸如3-d相机38，以确定外科机器人系统的部件相对于界面设备的3-d位置。例如，3-d相机可测量相对于外科机器人系统的部件的表面点的界面设备的3-d位置。3-d相机的实施方案可包括发射立体红外投影图案的红外相机跟踪系统、惯性测量单元、结构化光相机、微飞行时间相机、立体相机等。在一个实施方案中，外科医生可使用界面设备的3-d相机在术前设置期间扫描手术台上的患者，以帮助外科医生使用外科机器人系统计划外科手术。
41.控制按钮36可放置在两个手柄27上以与显示在显示屏26上的控制选项对准。用户可使用控制按钮36来选择用于操作目标部件的控制选项。一旦选择了控制选项，用户就可使用该控制按钮来操作目标部件以执行所选择的选项。在一个方面，控制按钮36可以是连续激活按钮，该连续激活按钮需要连续地按压以允许用户激活目标部件从初始位置通过计划轨迹至目的地位置的移动。当用户松开控制按钮时，即使当目标部件尚未完成其轨迹时，目标部件的移动也可以停止。
42.图3示出了根据本主题技术的各方面的用于控制机器人臂从初始位姿移动到最终位姿的界面设备。手术室环境35显示患者39位于外科机器人系统的台36a上。第一机器人臂37a和第二机器人臂38定位在台36a的一侧上。套管针40a已放置在第一机器人臂37a附近的患者39身上。
43.直接观察手术室环境35的用户使用界面设备的相机来捕获外科机器人系统的实时图像或视频。显示屏26显示了第一机器人臂37b、台36b和套管针40b的图像。第二臂38不在相机的视野中。图像处理算法将出现在图像的中心中的第一机器人臂37b识别为外科机器人系统的要控制的目标部件。图像处理算法确定第一机器人臂37b处于停放在患者39上方的准备位置。显示屏26通过用第一颜色诸如黄色的接合指示符30包封第一机器人臂37b来突出显示该第一机器人臂。基于确定第一机器人臂37b处于准备位置，显示屏26显示用于用户控制第一机器人臂37b的位置、取向、移动、功能等的选项列表31。
44.图像处理算法可另外将套管针40b识别为第一机器人臂37b的可能目的地位置。因
此，选项列表31可包括用于将第一机器人臂37b移动通过计划轨迹至套管针40b附近的预对接位置的选项。用户可在显示屏26上选择该选项。一旦进行了选择，接合指示符30就可变为第二颜色，诸如绿色，以指示第一机器人臂37b已准备好被激活。用户可按住界面设备背面上的连续激活按钮，以激活第一机器人臂37b通过其轨迹至套管针40b附近的预对接位置的移动。当第一机器人臂37b完成其轨迹到达预对接位置时，移动停止并且可关闭接合指示符30以指示第一机器人臂37b被停用并被取消选择。
45.界面设备还可用于选择外科机器人系统的其他部件。例如，界面设备和图像处理算法可将出现在图像的中心中的台36b识别为外科机器人系统的要控制的目标部件。在一个实施方案中，界面设备可用于在术前设置期间执行台上的患者的3-d扫描，以帮助外科医生使用外科机器人系统计划外科手术。界面设备可随后用于控制机器人臂和台，以用于实现患者特定的最佳机器人臂和台运动。界面设备可有利于用户使用虚拟表示或增强现实视图来选择外科机器人系统的部件。例如，显示屏26可显示部件的渲染图像或虚拟模型，诸如部件的用附加或虚拟信息增强的相机视图。
46.界面设备可提供其他功能，诸如web门户(例如，浏览器)，并且可显示信息，诸如病例设置、外科医生偏好卡、器械寿命、文档、用于文档的来自内窥镜的快照、用于文档的患者的照片、系统eifu、患者数据、规程指南。其他功能可包括：使用麦克风、扬声器、前置网络摄像头的电话会议；使用麦克风、扬声器、后置网络摄像头的服务呼叫；使用指纹读取器和/或nfc读卡器的用户身份验证；用于连接到外科机器人系统的对接站，诸如通过将界面设备滑入对接站而使新界面设备与外科机器人系统配对，以用于使外科机器人系统识别界面设备；使用蓝牙和wifi对界面设备到控制塔进行范围检测，以监测连接的信号强度并在界面设备过远时触发警报。
47.图4是示出根据本主题技术的各方面的界面设备50的示例性硬件部件的框图。界面设备50包括相机51、传感器52、显示器53、用户命令界面54、处理器55、存储器56和网络接口57。相机51可被配置成捕获外科机器人系统的平面图像或视频。传感器52可以是被配置成确定外科机器人系统的部件相对于界面设备的3-d位置的3-d相机。由相机51捕获的图像和由传感器52进行的3-d位置测量结果可显示在显示器53上，该显示器可以是触摸屏。
48.处理器55可被配置成运行图像处理算法以处理由相机51捕获的图像和由传感器52进行的测量，从而将外科机器人系统的出现在图像的中心附近的部件自动识别为要用户控制的目标部件。处理器55可被配置成运行操作系统以控制界面设备50的操作。存储器56可存储处理器55使用的图像处理算法、操作系统、程序代码和其他数据存储器。用户命令界面54可包括用户使用的连续激活按钮，以选择控制选项，从而操作目标部件并执行所选择的选项，以将目标部件移动到其目的地位置。
49.硬件部件可经由总线通信。界面设备可使用网络接口57通过外部接口58与外科机器人系统通信。外部接口58可以是无线或有线接口。
50.图5是示出根据本主题技术的各方面的外科机器人系统60的示例性硬件部件的框图。示例性外科机器人系统60可包括界面设备50、外科机器人80和控制塔70。界面设备50已结合图4进行讨论，因此不再重复。外科机器人系统60可包括其他硬件部件或附加的硬件部件；因此，以示例的方式提供该图，而并非是对系统架构的限制。
51.控制塔70可以是容纳触摸屏显示器的移动现场护理推车、控制外科医生通过机器
人辅助操纵器械的计算机、安全系统、图形用户界面(gui)、光源以及视频计算机和图形计算机。如图5所示，控制塔70可包括中央计算机71(至少可包括可视化计算机、控制计算机和辅助计算机)、各种显示器73(可包括团队显示器和护士显示器)和将控制塔70耦合至界面设备50和外科机器人80两者的网络接口78。控制塔70还可容纳第三方设备，诸如高级光引擎72、电外科发生器装置(esu)74以及吹入器和co2罐75。控制塔70可提供附加功能以用于实现用户便捷性，诸如护士显示触摸屏、软电源和e保持按钮、用于视频和静止图像的面向用户的usb以及电子脚轮控制接口。辅助计算机还可运行实时linux，从而提供日志记录/监测以及与基于云的web服务的交互。
52.外科机器人80包括具有多个集成臂82的关节运动式手术台84，多个集成臂可定位在目标患者解剖结构上方。可将一组兼容工具83附接到/拆卸离开臂82的远侧端部，使得外科医生能够执行各种外科规程。外科机器人80还可包括用于手动控制臂82、手术台84和工具83的控制接口85。控制接口85可包括诸如但不限于遥控器、按钮、面板和触摸屏等物品。可还操纵其他附件诸如套管针(套管、密封药筒和填塞器)和盖布，以使用系统执行手术。在一个实施方案中，多个臂82可包括安装在手术台84的两侧上的四个臂，其中每侧上具有两个臂。对于特定的外科规程，安装在手术台84的一侧上的臂可通过在手术台84和安装在另一侧上的臂下方拉伸和交叉而定位在手术台84的另一侧上，从而总共三个臂定位在手术台84的相同侧上。外科工具还可包括台计算机81和网络接口88，该网络接口可将外科机器人80放置在与控制塔70通信的位置。
53.图6是示出根据本主题技术的各方面的使用移动设备来控制外科机器人系统的方法90的流程图。移动设备可以是图2a、图2b或图4的界面设备。
54.在框91中，移动设备可捕获外科机器人系统的一部分的实时图像。移动设备可使用相机来捕获外科机器人系统的部件的平面图像或视频以显示在屏幕上。
55.在框93中，移动设备或用户可从所捕获的实时图像识别外科机器人系统的目标部件。例如，用户可选择外科机器人系统的目标部件以进行控制，方法是将移动设备指向目标部件，使得该目标部件出现在显示屏的中心附近。在移动设备上或在控制塔上运行的图像处理算法可处理所捕获的实时图像以识别目标部件。
56.在框95中，移动设备可在屏幕上显示所捕获的实时图像、目标部件和目标部件的可能目标位姿。例如，移动设备可将机器人臂突出显示为屏幕上的目标部件，方法是显示勾勒机器人臂轮廓的视觉指示符或渲染机器人臂的叠层有增强或虚拟信息的图像。在另一方面，移动设备可对所捕获的实时图像运行图像处理算法，以将机器人臂可接合的一个或多个对象识别为机器人臂的可能目标位姿。
57.在框97中，移动设备可从用户接收输入以选择目标部件的所显示目标位姿中的一个目标位姿。例如，用户可在触摸屏上指示机器人臂的预对接目的地位置。在其他方面，用户可使用触摸屏来选择用于移动或改变机器人臂的位置、取向或功能的选项。
58.在框98中，移动设备可生成输入命令以将目标部件驱动至所选择的目标位姿。例如，移动设备可向控制塔传输激活信号以用于使控制塔生成控制信号，从而激活致动器以驱动机器人臂的齿轮、连杆或接合部通过计算的轨迹至所选择的目的地位置。在一个方面，移动设备或控制塔可计算用于将机器人臂从初始位姿移动到目的地位姿的轨迹。可计算轨迹，使得机器人臂避免与其他机器人臂的操作碰撞或干扰。
59.出于解释的目的，前述描述使用特定命名来提供对本发明的透彻理解。然而，对于本领域的技术人员将显而易见的是，实践本发明不需要具体细节。出于举例说明和描述的目的，已经提供了本发明的特定实施方案的前述说明。它们并非旨在为详尽的或将本发明限制为所公开的具体形式；根据上述教导内容可对本公开进行多种修改和改变。选择和描述实施方案是为了最好地解释本发明的原理及其实际应用。因此，这些实施方案使得本领域的其他技术人员能够最好地利用本发明以及经过适合于所设想的特定用途的各种修改的各种实施方案。以下权利要求书及其等同项旨在限定本发明的范围。
60.可按多种不同的方式和硬件和软件的多种不同组合来实现上述方法、设备、处理和逻辑部件。控制器和估计器可包括电子电路。例如，实施方式的全部或部分可以是电路，该电路包括指令处理器，诸如中央处理单元(cpu)、微控制器或微处理器；专用集成电路(asic)、可编程逻辑设备(pld)或现场可编程门阵列(fpga)；或包括分立逻辑部件或其他电路部件(包括模拟电路部件、数字电路部件或两者)的电路；或它们的任何组合。作为示例，该电路可包括分立互连的硬件部件，并且/或者可组合在单个集成电路管芯上，分布在多个集成电路管芯之间，或者在共同封装中的多个集成电路管芯的多芯片模块(mcm)中实现。
61.该电路还可包括或访问由电路执行的指令。该指令可存储在除瞬态信号之外的有形存储介质中，诸如闪存存储器、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom)；或在磁盘或光盘上，诸如光盘只读存储器(cdrom)、硬盘驱动器(hdd)或其他磁盘或光盘上；或在另一机器可读介质之中或之上。产品(诸如计算机程序产品)可包括存储介质和存储在该介质中或介质上的指令，并且该指令在由设备中的电路执行时可使得该设备实现上文所述或附图所示的任何处理。
62.这些实施方式可作为电路分布在多个系统部件之间，诸如在多个处理器和存储器之间，可选地包括多个分布式处理系统。可将参数、数据库和其他数据结构单独存储和管理，可将其结合到单个存储器或数据库中，可以多种不同的方式在逻辑上和物理上对其进行组织，并且可以多种不同的方式实现，包括作为数据结构，诸如链接表、散列表、阵列、记录、对象或隐式存储机构。程序可以是单个程序的部分(例如，子例程)、独立的程序、跨多个存储器和处理器分布、或以多种不同方式实现，诸如在库中，诸如共享库(例如，动态链接库(dll))。例如，当由电路执行时，该dll可存储执行上文所述或附图所示的任何处理的指令。
63.另外，本文所讨论的各种控制器可采用例如处理电路、微处理器或处理器以及存储可由(微)处理器执行的计算机可读程序代码(例如，固件)的计算机可读介质、逻辑门电路、开关、专用集成电路(asic)、可编程逻辑控制器和嵌入式微控制器的形式。控制器可配置有硬件和/或固件以执行下文所述和流程图中所示的各种功能。另外，被示出为在控制器内部的一些部件也可存储在控制器外部，并且可使用其他部件。