用于机器人外科系统的图形用户引导的制作方法

1.以下实施方案整体涉及机器人手术领域，并且更具体地涉及用于机器人外科系统的图形用户引导。


背景技术：

2.微创外科手术(mis)诸如腹腔镜手术涉及旨在在外科规程期间减少组织损伤的技术。例如，腹腔镜手术通常涉及在患者体内(例如，在腹部)形成多个小切口，并通过切口将一个或多个外科器械(例如，端部执行器、至少一个相机等)引入患者体内。然后可使用引入的外科器械执行外科规程，其中可视化辅助由相机提供。
3.一般来讲，mis提供多重有益效果，诸如减少患者疤痕、减轻患者疼痛、缩短患者恢复期以及降低与患者恢复相关联的医疗费用。在一些实施方案中，可用机器人系统执行mis，该机器人系统包括用于基于来自操作者的命令操纵外科器械的一个或多个机器人臂。机器人臂可以例如在其远侧端部处支撑各种设备，诸如外科端部执行器、成像设备、用于提供进入患者的体腔和器官的通路的插管等。
4.在一些实施方案中，操作者可提供用于操纵外科器械的命令，同时查看由相机提供并在显示器上向用户显示的图像。
附图说明
5.本专利或专利申请文件包含至少一张绘制成彩色的附图。在提出请求并且支付必要的费用后，美国专利和商标局将会提供本专利或专利申请公开的带彩图副本。
6.图1a描绘了实施方案的具有机器人外科系统和用户控制台的手术室布置的示例。
7.图1b是实施方案的机器人臂操纵器、工具驱动器和具有外科工具的插管的一个示例性变型的示意性图示。
8.图1c是实施方案的示例性用户控制台的示意性图示。
9.图2是用于与一个或多个第三方设备通信的实施方案的机器人外科系统的用户控制台的示例性变型的示意性图示。
10.图3是具有图形用户界面(gui)模块的实施方案的外科机器人平台的示意图，其中外科机器人平台与多个医学数据资源通信。
11.图4a和图4b分别是实施方案的手持式用户输入设备的一个示例性变型的透视图和纵向横截面视图。
12.图5是指示用户拿起控制器的实施方案的机器人外科系统的gui的图示。
13.图6是用于在实施方案的机器人外科系统的gui上显示数据的实施方案的方法的流程图。
14.图7是指示用户匹配握把的实施方案的机器人外科系统的gui的图示。
15.图8a至图8f是可以用于指示用户匹配握把的实施方案的各种图形工具的图示。
16.图9是实施方案的机器人外科系统的gui的图示。
17.图10是示出当用户将他的脚悬停在踏板上方时的悬停指示器的实施方案的机器人外科系统的gui的图示。
18.图11是示出当用户压下能量踏板时的能量激活指示器的实施方案的机器人外科系统的gui的图示。
19.图12是显示接近工作空间限制的通知的实施方案的机器人外科系统的gui的图示。
20.图13是显示已超出工作空间限制的通知的实施方案的机器人外科系统的gui的图示。
21.图14是显示已达到旋转限制的通知的实施方案的机器人外科系统的gui的图示。
22.图15是显示已失去目光接触的通知的实施方案的机器人外科系统的gui的图示。
23.图16是指示用户在暂时丢失目光接触之后匹配握把的实施方案的机器人外科系统的gui的图示。
24.图17是指示用户在已失去目光接触超过三十秒后匹配握把的实施方案的机器人外科系统的gui的图示。
25.图18是显示用户输入设备已掉落的通知的实施方案的机器人外科系统的gui的图示。
26.图19是指示用户在用户输入设备已掉落之后轻敲离合器踏板的实施方案的机器人外科系统的gui的图示。
27.图20至图23是在gui的第二区域的显示区中显示应用程序的实施方案的机器人外科系统的gui的图示。
28.图24至图25是在gui的第一区域中显示ct图像的实施方案的机器人外科系统的gui的图示。
29.图26是用户指示机器人外科系统将ct图像固定到第二区域中的显示区的实施方案的机器人外科系统的gui的图示。
30.图27是ct图像被固定到第二区域中的显示区的实施方案的机器人外科系统的gui的图示。
具体实施方式
31.实施方案的各个方面和变型的非限制性示例在本文中描述并在附图中示出。
32.机器人外科系统概述
33.图1a是具有机器人外科系统的示例性手术室环境的图示。通常，如图1a所示，机器人外科系统包括用户控制台100(在本文中有时称为“外科医生桥”或“桥”)、控制塔133和位于机器人平台(例如，台、床等)处的一个或多个机器人臂160，其中外科器械(例如，具有端部执行器)附接到机器人臂160的远侧端部以执行外科规程。机器人臂160被示出为台式安装系统，但是在其他构型中，一个或多个机器人臂可安装在手推车、天花板或侧壁，或者其他合适的支撑表面。
34.作为进一步的图示，如图1b的示例性示意图所示，机器人外科系统可以包括至少一个机器人臂160和通常附接到机器人臂160的远侧端部的工具驱动器170。联接到工具驱动器170的端部的插管180可以接收并引导外科器械190(例如，端部执行器、相机等)。此外，
机器人臂160可以包括被致动的多个连杆，以便定位和定向工具驱动器170，该工具驱动器致动外科器械190。
35.通常，如图1a所示，用户控制台100可以用于与机器人外科系统150介接。用户(诸如外科医生或其他操作者)可以使用用户控制台100远程操纵机器人臂160和/或外科器械(例如，在远程操作中)。用户控制台100可位于与机器人系统150相同的手术室中，如图1a所示。在其他实施方案中，用户控制台100可位于相邻或附近的房间中，或者从不同建筑物、城市或国家的远程位置进行远程操作。在一个示例中，用户控制台100可以包括座椅110、脚踏控制件(踏板)120、一个或多个手持式用户输入设备122，以及至少一个用户显示器130，该用户显示器被配置成显示例如患者体内的手术部位的视图(例如，用内窥镜相机捕获)，和/或其他手术或医学信息。
36.在图1c所示的示例性用户控制台中，位于座椅110中并且观看用户显示器130的用户可操纵脚踏控制件120和/或手持式用户输入设备122以远程控制机器人臂160和/或安装到该臂的远侧端部的外科器械。脚踏控制件120和/或手持式用户输入设备122可以另外或替代地用于控制用户控制台100或机器人系统150的其他方面。例如，在用户通常控制(在任何给定时间)指定的“左手”机器人臂/器械和指定的“右手”机器人臂/器械的变型中，脚踏控制件120可以使用户能够从较大的一组可用的机器人臂/器械中指定哪些机器人臂/器械包括“左手”和“右手”机器人臂/器械(例如，经由在可用的机器人臂/器械中选择时切换或旋转)。其他示例包括调整或配置座椅110、脚踏控制件120、用户输入设备122和/或用户显示器130。
37.在一些变型中，用户可以在“床上”(otb)模式下操作外科机器人系统，其中用户位于患者的一侧并且同时操纵附接到患者的机器人驱动的器械/端部执行器(例如，用一只手握持的手持式用户输入设备122)和手动腹腔镜工具。例如，用户的左手可以操纵手持式用户输入设备122以控制机器人外科部件，而用户的右手可以操纵手动腹腔镜工具。因此，在这些变型中，用户可以对患者执行机器人辅助的mis和手动腹腔镜手术两者。
38.在示例性规程或手术期间，以无菌方式对患者进行准备并遮盖，并且实现麻醉。可利用处于收起构型或缩回构型的机器人系统150手动地执行对手术部位的初始接近，以有助于接近手术部位。一旦完成接近，就可执行机器人系统的初始定位和/或准备。在外科规程期间，用户控制台100中的外科医生或其他用户可以利用脚踏控制件120、用户输入设备122和/或其他合适的控制件来操纵各种端部执行器和/或成像系统以执行规程。可以由其他人员在规程台处提供手动辅助，这些人员可以执行包括但不限于以下任务：牵开组织，或执行涉及一个或多个机器人臂160的手动重新定位或工具更换。可存在其他人员以在用户控制台100处辅助用户。辅助其他医务人员(例如，护士)的医疗和手术相关信息可以提供在额外显示器上，诸如控制塔133上的显示器134(例如，用于机器人外科系统的控制系统)和/或位于靠近患者的床边的显示器132。例如，如本文进一步详细描述的，在用户控制台100中显示给用户的一些或所有信息也可以显示在其他人员的至少一个额外显示器上以及/或者提供用于人员间通信的额外路径。当完成规程或手术时，机器人系统150和/或用户控制台100可被配置或设置成处于有助于进行一个或多个术后规程的状态，包括但不限于机器人系统清洁和/或消毒，以及/或者诸如经由用户控制台100的医疗记录输入或打印输出，无论是电子拷贝还是硬拷贝。
39.在一些变型中，机器人系统150、用户控制台100和任何其他显示器之间的通信可以通过控制塔133，该控制塔可以将来自用户控制台100的用户命令转译成机器人控制命令，并将这些命令传输到机器人系统150。控制塔133还可将状态和反馈从机器人150传输回用户控制台100(和/或其他显示器)。外科机器人150、用户控制台100、其他显示器和控制塔133之间的连接可以是经由有线和/或无线连接，并且可以是专有的和/或使用多种数据通信协议中的任一种数据通信协议来执行。任何有线连接都可以内置于手术室的地板和/或墙壁或天花板中。外科机器人系统可向一个或多个显示器提供视频输出，包括手术室内的显示器以及可经由互联网或其他网络访问的远程显示器。视频输出或馈送可被加密以确保隐私，并且视频输出的全部或一个或多个部分可被保存到服务器、电子健康护理记录系统或其他合适的存储介质。
40.在一些变型中，可以提供额外用户控制台100，例如以控制额外外科器械以及/或者在主用户控制台上控制一个或多个外科器械。这将允许例如外科医生在外科规程期间与医学生和训练中的医师接替或说明一种技术，或者在需要多个外科医生同时或以协调的方式行动的复杂手术期间进行辅助。
41.在一些变型中，如图2的示意性图示所示，一个或多个第三方设备240可以被配置成与用户控制台210和/或机器人外科系统的其他合适部分通信。例如，如本文其他地方所描述，外科医生或其他用户可以坐在用户控制台210中，该用户控制台可以与控制塔230和/或机器人系统220中的机器人器械通信。医学数据(例如，内窥镜图像、患者生命体征、工具状态等)可以显示在用户控制台210、控制塔230和/或其他显示器处。手术和其他医疗相关信息的至少一个子集还可以显示在第三方设备240，诸如远程计算机显示器，该远程计算机显示器由同一房间中或房间外部的手术协作者观看。其他通信，诸如使用音频和/或视觉通信的电话会议，可以进一步向第三方设备提供并且从第三方设备提供。手术协作者可以是例如监督者或训练者、医务同事(例如，放射科医师)或其他第三方，他们可以例如经由第三方设备240查看和通信以辅助外科规程。
42.图3是系统300的示例性变型的示意性图示，该系统包括机器人外科系统和其与其他设备和其他方的交互。尽管图3中描绘了各种连接和通信系统的特定架构，但是应当理解，在其他变型中，可以使用其他合适的架构，并且图3中所示的布置是出于说明性目的。系统300可以包括外科机器人平台302，该外科机器人平台有助于集成来自从各方生成的离散医学数据资源的医学数据。来自离散医学数据资源的数据可以例如用于形成在时间上协调的医学数据。如本文进一步所描述，可以配置和呈现在时间上协调的医学数据的多面板显示器。
43.平台302可以是例如具有经由总线314连接到一个或多个输入/输出设备312的一个或多个处理器310的机器。至少一个处理器可以例如包括中央处理单元、图形处理单元、专用集成电路、现场可编程逻辑设备，或它们的组合。
44.外科机器人平台302可以包括一个或多个输入端口以从离散医学数据资源接收医学数据。例如，外科机器人端口329可以从外科机器人330接收外科机器人数据。例如，此类数据可以包括位置数据或其他合适的状态信息。成像端口331可以从成像设备332(诸如内窥镜)接收成像数据，该成像设备被配置成捕获手术部位的图像(例如，静止图像、视频图像)。内窥镜可以例如通过自然孔口或通过手术患者体内的孔插入。作为另一示例，一个或
多个医疗仪器端口333可以从医疗仪器334(例如，脉冲血氧仪、心电图设备、超声设备等)接收患者生命体征信息。另外，作为另一示例，一个或多个用户控制数据端口335可以从一个或多个控制设备接收用户交互数据，该控制设备接收来自用户的用户输入以控制系统。例如，一个或多个手持式用户输入设备、一个或多个脚踏板和/或其他合适的设备(例如，眼睛跟踪、头部跟踪传感器)可以接收用户输入。
45.外科机器人平台302可以还包括一个或多个输出端口337，该输出端口被配置成用于连接到一个或多个显示器338。例如，显示器338可以包括在用户控制台中的开放式显示器(例如，监视器屏幕)、具有显示器的沉浸式显示器或头戴式设备、诸如在控制塔显示器上的补充显示器(例如，团队显示器)、床边显示器(例如，护士显示器)、头顶“体育场”风格的屏幕等。例如，本文所公开的图形用户界面可以呈现在一个或多个显示器338上。一个或多个显示器338可以呈现三维图像。在一些变型中，一个或多个显示器338可以包括触摸屏。一个或多个显示器138可以是具有多个面板的单个显示器，其中每个面板呈现不同内容。替代地，一个或多个显示器138可以包括单独显示器的集合，其中每个单独显示器呈现至少一个面板。
46.在一些变型中，网络接口316也可以连接到总线314。例如，网络接口316可以提供与网络317的连接性，该网络可以是一个或多个有线和/或无线网络的任何组合。例如，网络317可以帮助实现外科机器人平台302与其他数据源或其他设备之间的通信。例如，一个或多个第三方数据源340也可以连接到网络317。第三方源340可以包括第三方设备(例如，由诸如另一医生或医学专家的第三方操作的另一计算机)、视频外科规程数据的储存库(例如，该数据可能与由外科医生执行的规程相关)，或与外科规程相关的其他合适的额外信息源。例如，可以将第三方设备数据传送到在规程之前、期间或之后向外科医生显示的面板。
47.作为另一示例，一个或多个应用程序数据库342可以连接到网络317(或替代地，本地存储在外科机器人平台302内的存储器320内)。应用程序数据库342可以包括软件应用程序(例如，如下文进一步详细描述的)，外科医生可能在规程期间对软件应用程序感兴趣。例如，软件应用程序可以提供对所存储的患者医疗记录的访问，提供外科规程的手术任务的检查表，执行用于辅助规程的机器视觉技术，执行机器学习任务以改进手术任务等。可以调用任何合适数目的应用程序。在规程期间，可以在多面板显示器或其他合适的显示器中显示与应用程序相关联的信息。另外或替代地，由一个或多个应用程序提供的信息可以通过单独的资源(例如，机器学习资源)来提供，该资源另外与外科机器人平台302合适地通信。
48.在一些变型中，软件应用程序中的一个或多个软件应用程序可以作为使用应用程序程序界面(api)来绘制显示器上的对象和/或图像的单独过程来运行。可以使用不同复杂性的api。例如，简单的api可以包括具有固定小部件大小和位置的几个模板，所述模板可以由gui模块用来自定义文本和/或图像。作为另一示例，更复杂的api可以允许软件应用程序创建、放置和删除不同的小部件，诸如标签、列表、按钮和图像。
49.另外或替代地，一个或多个软件应用程序可以渲染自身以用于显示。这可以例如允许应用程序的高级自定义和复杂行为。例如，此方法可通过允许应用程序传递由图形用户界面(gui)模块324渲染的帧来实施，该gui模块可为由处理器310执行的计算机可读程序代码。替代地，图像缓冲区可用作应用程序向其渲染自身的储存库。
50.在一些变型中，一个或多个软件应用程序可以独立于gui模块324运行并渲染自
身。然而，gui模块仍然可以启动此类应用程序、指示应用程序或操作系统将应用程序定位在显示器上的哪里，等等。
51.作为另一方法，在一些变型中，一个或多个应用程序可以与由gui模块渲染的gui完全分开运行。例如，此类应用程序可以具有与系统的物理视频连接和数据连接(例如，通过合适的输入/输出设备、网络等)。数据连接可用于将应用程序的视频馈送配置成适当的像素尺寸(例如，全屏、半屏等)。
52.如图3所示，在一些变型中，存储器320也可以连接到总线314。存储器320可以被配置成存储根据本文所描述的方法和系统的实施方案来处理的数据。
53.在一些变型中，存储器320可以被配置成存储用于执行的其他种类的数据和/或软件模块。例如，用户控制台可以包括存储器320，该存储器存储具有可执行指令以实施本文所公开的操作的gui模块324。gui模块可以例如组合和聚合来自各种软件应用程序和/或其他医学数据资源的信息以用于显示。在一些示例性变型中，一个或多个软件应用程序可以结合到gui模块的基码中，使得模块绘制图形并在显示器上的适当位置显示文本。例如，模块可以从数据库中获取图像，或者可以经由有线或无线接口将图像从手术室中的器械(例如，内窥镜相机)推送到接口。
54.在一些变型中，可以从离散医学数据资源(例如，外科机器人330、内窥镜332、医疗仪器334、控制设备336、第三方数据源340、应用程序数据库342等)收集医学数据。另外，医学数据中的至少一些医学数据可以是在时间上协调的，使得在必要时，来自不同医学数据资源的时间敏感信息在公共时间轴上对准。例如，外科机器人位置数据可以与内窥镜数据进行时间协调，该内窥镜数据与来自控制设备的操作者交互数据协调。类似地，诸如由一个或多个软件应用程序提供的信息的网络资源可以在适当的时间点与其他在时间上协调的数据一起呈现。多面板显示器和/或其他合适的显示器可以被配置成将医学信息(例如，包括在时间上协调的医学数据)作为图形用户界面(gui)的一部分进行传达。
55.本文描述了机器人外科系统的gui的各种示例性方面。在一些变型中，gui可以在控制机器人外科系统的用户控制台处的多面板显示器中显示。另外地或替代地，gui可以显示在一个或多个额外显示器处，诸如机器人外科系统的控制塔处、患者床边处等。通常，gui可以向用户控制台中的用户和/或其他人员提供更有效的信息通信，以及在外科规程中涉及的不同方之间提供更有效的通信和协作，如下文进一步描述。
56.图形用户界面(gui)交互
57.在一个实施方案中，gui在用户控制台100中的显示器130上显示，该用户控制台用于(例如，由外科医生)控制机器人外科系统150，并且在显示器130上显示的交互式图形对象中的至少一些交互式图形对象可以经由也用于控制外科系统(例如，外科器械)的方面的一个或多个用户控制件来控制、选择或以其他方式与其交互。例如，用户可以使用一个或多个手持式用户输入设备122和/或一个或多个脚踏板120来选择性地控制机器人外科系统150的方面并且选择性地与gui交互。通过使得能够用相同的用户控制件来控制机器人外科系统150和gui两者，用户可以有利地避免必须在两种不同类型的用户控制件之间切换。使得用户能够使用相同的输入设备来控制机器人系统150和gui精简了外科规程并提高了效率，以及帮助用户在整个外科规程中保持无菌性。
58.如图4a和图4b中大体上所示，用于控制机器人系统的手持式用户输入设备122的
示例性变型可以包括构件410、至少部分地设置在构件410周围并且被配置成握持在用户手中的外壳420，以及被配置成至少检测设备的至少一部分的位置和/或定向的跟踪传感器系统440。外壳420可以是柔性的(例如，由硅胶制成)。在一些实例中，设备的检测到的位置和/或定向可以与机器人系统的控制件相关。例如，用户输入设备122可以控制机器人臂的至少一部分、联接到机器人臂的远侧端部的末端执行器或工具(例如，抓钳或钳夹)、gui或机器人外科系统150的其他合适方面或特征。另外，在一些实例中，设备122的检测到的位置和/或定向可以与gui的控制件相关。此外，在一些变型中，用户输入设备122可以包括一个或多个传感器，以用于检测用户输入设备122的其他操纵，诸如挤压外壳420(例如，经由一个或多个压力传感器、一个或多个电容传感器等)。
59.通常，用于控制机器人外科系统的用户界面可以包括至少一个手持式用户输入设备122，或者可以包括至少两个手持式用户输入设备122(例如，要由用户的左手握持的第一用户输入设备，以及要由用户的右手握持的第二用户输入设备)，或任何合适的数目。每个用户输入设备122可以被配置成控制机器人系统的一个或多个不同方面或特征。例如，握持在用户的左手中的用户输入设备可以被配置成控制在提供给用户的相机视图的左侧上表示的端部执行器，而握持在用户的右手中的用户输入设备可以被配置成控制在相机视图的右侧上表示的端部执行器。
60.在一些变型中，手持式用户输入设备122可以是被配置成握持在手中并且在自由空间中操纵的无接地用户输入设备。例如，用户输入设备122可以被配置成握持在用户的手指之间，并且在用户移动他或她的手臂、手和/或手指时由用户自由地(例如，平移、旋转、倾斜等)移动。另外或替代地，手持式用户输入设备122可以是主体接地的用户输入设备，因为用户输入设备122可以直接或经由任何合适的机构(诸如手套、手带、套筒等)联接到用户的一部分(例如，用户的手指、手和/或手臂)。此类主体接地的用户输入设备仍然可以使得用户能够在自由空间中操纵用户输入设备。因此，在用户输入设备122是无接地或主体接地(与永久安装或接地到固定控制台等相反)的变型中，用户输入设备122可以是符合人体工程学的并且提供灵巧的控制，诸如通过使得用户能够以不受接地系统的固定特性阻碍的自然身体移动来控制用户输入设备。
61.手持式用户输入设备122可以包括有线连接，例如，可以向用户输入设备122提供电力、携带传感器信号(例如，来自跟踪传感器组件和/或诸如电容传感器、光学传感器等的其他传感器)。替代地，用户输入设备可以是无线的，如图4a所示，并且经由诸如射频信号(例如，wifi或诸如400mm至500mm范围等的短距离)或其他合适的无线通信协议(诸如蓝牙)传达命令和其他信号。利用光学读取器传感器和/或相机(其被配置成检测用户输入设备122上的光学标记)、红外传感器、超声传感器或其他合适的传感器，可以促进其他无线连接。
62.手持式用户输入设备可以包括离合器机构，以用于在控制机器人臂或端部执行器与控制图形用户界面等之间进行切换，和/或在其他控制模式之间进行切换。下文进一步详细描述的各种用户输入中的一个或多个用户输入可以以任何合适的组合用作离合器。例如，触摸设备的手势触摸区域、挤压外壳、轻弹或旋转用户输入设备等可以起到接合离合器的作用。作为另一示例，挤压和握持用户输入设备与旋转用户输入设备的组合可以用作离合器。然而，任何合适的手势组合都可以用作离合器。另外或替代地，对其他用户输入设备
(例如，脚踏板组件)的用户输入可以单独或与对手持式用户输入设备的用户输入组合地用作离合器。
63.在一些变型中，离合器机构的接合和脱离可以使得能够在使用手持式用户输入设备作为用于机器人系统的控制件与使用手持式用户输入设备作为用于gui的控制件之间转变(例如，操作在屏幕上显示的光标)。当离合器机构被接合使得用户输入设备被用于控制gui时，机器人臂的位置或姿态可以被基本上锁定在适当的位置以“暂停”机器人系统的操作，使得当离合器被接合时用户输入设备的后续移动将不会无意中引起机器人臂的移动。
64.gui布局
65.可以使用gui的任何合适布局。例如，如图5所示，在一个实施方案中，gui包括第一区域500和第二区域510。这些区域500、510中的每一者可以具有一个或多于一个显示区。在图5所示的示例中，第一区域500定位在显示器的中间，并且第二区域510具有在第一区域500的左侧和右侧上显示的两个显示区。在此实施方案中，第一区域500显示由机器人外科系统150的内窥镜相机拍摄的患者体内的手术部位的内窥镜视图(例如，视频图像或静止图像)。
66.机器人外科系统150的gui可以用于向用户提供信息和引导。为了使此实施方案中的gui有意简单化并且不分散注意力，机器人外科系统150的处理器310基于要显示的数据的类型确定使用哪个区域500、510来显示数据。图6是可由处理器310实施以执行此操作的方法的流程图600。如图6所示，处理器310(例如，使用gui模块324中的代码)在显示设备130上显示gui，其中gui具有第一区域500和第二区域510(动作610)。接下来，处理器310接收要在显示器130上显示的数据(动作620)。数据可以源自正由处理器310执行的一个或多个应用程序或源自外部位置。然后，处理器310确定数据是用户反馈信息还是用于接合机器人臂160的引导消息(动作630)。如果数据是用于接合机器人臂160的引导消息，则处理器130通过在第一区域500中的手术部位的内窥镜视图的顶部上叠加引导消息而在第一区域500中显示数据(动作640)。然而，如果数据是用户反馈信息，则处理器310在第二区域510中显示数据(动作650)。现在将论述以下段落和附图以说明此实施方案。
67.返回图5，第一区域500显示由机器人外科系统150的内窥镜相机拍摄的患者体内的手术部位的内窥镜视图。此视图通常示出患者组织和机器人臂的端部执行器。第二区域510(此处为左侧面板和右侧面板)可用于显示用户反馈信息，诸如但不限于错误、警告、警报和通知。举例来说，在此图示中，第二区域510的左侧的上部部分示出了登录到机器人外科系统150中的用户的姓名首字母、所使用的镜的类型(此处为指向上方的30度镜)和水平线指示器。第二区域510的其他拐角显示指示位于机器人臂中的三个机器人臂上的工具(此处为抓钳、双极开窗器和缝合剪)的消息。
68.如上所述，在此实施方案中，机器人外科系统150根据要显示的数据的类型确定是在第一区域500还是第二区域510中显示数据。在一个实施方案中，叠加在第一区域50中的手术部位的图像的顶部上的消息仅是为外科医生提供用户指令以接合机器人臂160的引导消息。如本文所用，当多个用户输入设备中的至少一个用户输入设备的移动被实时转换为机器人臂的端部执行器的移动时，机器人臂“接合”。由于外科医生通常专注于第一区域50中的手术部位的图像上，因此在第一区域500中的手术部位的图像上叠加引导信息很可能引起外科医生的注意。使用户反馈信息在第二区域510中(并且不在第一区域500中的手术
部位的图像上方)显示避免了在手术期间分散外科医生的注意力(使认知负荷最小化)，从而允许外科医生专注于外科规程而不是gui。如果并且当外科医生想要查看用户反馈信息时，他可以通过扫视第二区域510。利用此布局，外科医生可以专注于规程和患者，因为显示器是干净的并且噪声减小了。
69.在图5所示的示例中，引导消息“拿起控制器以开始”叠加在第一区域500中的手术部位的图像上，从而指示外科医生拿起手持式左右用户输入设备122(手持式设备122用于说明此示例，但是应当理解，可以使用其他类型的用户输入设备)。例如，当外科医生首次坐在用户控制台100处时或者在外科医生放下或掉落用户输入设备122之后，此种情况可能发生。在一个实施方案中，脚控制件中的一个脚控制件用作“离合器踏板”，该离合器踏板可以在控制机器人臂与控制图形用户界面之间切换用户输入设备122的功能性。
70.在外科医生拿起手持式左右用户输入设备122之后，叠加在第一区域500中的手术部位的图像上的消息改变为“匹配握把”，如图7所示。“匹配握把”指示外科医生打开和关闭控制器的握把以匹配器械的当前状态(例如，端部执行器的握把角度)。在外科医生“匹配握把”之后，他完全接合机器人臂，并且可以进行手术。
71.可使用各种辅助工具来帮助外科医生匹配握把。例如，如图7所示，左右用户输入设备122的图标也叠加在手术部位的图像上。当外科医生打开和关闭每个控制器的握把时，如果外科医生需要提供更紧或更松的握把以使他的握把与器械的状态对准，则图标的颜色可以改变以向他提供反馈。可提供用于向外科医生提供对“匹配握把”的反馈的其他方式。例如，图8a至图8f是可以用于指示用户匹配握把的各种图形工具的图示。在图8a中，要匹配的握把由内圆圈表示，并且外圆圈表示用户输入设备的当前握把。当用户更紧地抓握用户输入设备时，外圆圈将更靠近内圆圈移动。在图8b中，要匹配的握把由中间的条表示，并且上面的条表示用户输入设备的当前握把。当用户更紧地抓握用户输入设备时，上面的条将更靠近中间的条移动。在图8c中，要匹配的握把由内形状表示，并且外形状表示用户输入设备的当前握把。当用户更紧地抓握用户输入设备时，外形状将更靠近内形状形成。在图8d中，示出了用户输入设备的物理形状的表示，其中箭头表示压下或释放用户输入设备握把。在图8e中，用户输入设备的钳夹表示用户输入设备的实际状态，并且线路径指示uid的挤压量以匹配握把。在图8f中，左点表示用户输入设备的状态，并且右点表示端部执行器的状态。点之间的路径指示用户输入设备需要经过的步骤。
72.一旦外科医生将左右用户输入设备122的握把与器械的当前状态匹配，外科医生就成功地接合了机器人臂并且可以操纵左右用户输入设备122以对患者执行手术。在手术期间，图形用户界面可以及时、可感知但非侵入性的方式在第二区域510中向外科医生呈现反馈信息。例如，如图9所示，第二区域510的右下部分示出了“点亮”的“切割”和“凝血”条，从而指示此工具是活动的。这些条被颜色编码到机器人外科系统150的踏板120，并且条的长度指示由踏板120施加到工具的能量的量。图10中的长“切割”条是悬停指示器。在此实施方案中，当外科医生的脚位于踏板120上方但未压下该踏板时，踏板120具有悬停传感器。悬停指示器可以是脉动的或动画的，以引起外科医生的注意。这是一种安全特征，因为可能希望在外科医生实际压下踏板120之前使悬停指示器引起注意。如图11所示，当踏板120被推动并施加切割能量时，整个工具包被填充为黄色，从而示出能量的类型和水平。
73.图12和图13是当在第二区域510中显示的用户反馈信息与用户输入设备122的位
置相关时的示例。在一个实施方案中，机器人外科系统150使用电磁跟踪器来跟踪用户输入设备122的位置。用户输入设备122可以在其内操作的空间由边界(例如，立方体)限定，并且系统150限定边界边缘周围的缓冲区。当外科医生将用户输入设备122移动到缓冲区中时，机器人外科系统150在第二区域510中显示消息，以通知外科医生他即将超出工作空间限制。这示出于图12中。如该图所示，第二区域510的右侧示出了用户反馈消息，该用户反馈消息通知医生他正在接近右用户输入设备的工作空间限制。消息在第二区域510的右侧上显示，因为该消息与右用户输入设备相关。如果消息与左用户输入设备相关，则该消息可以在第二区域510的左侧上显示。
74.在消息周围显示的圆圈提供了用户输入设备122接近超出限制的程度的指示。当用户接近工作空间限制时，可以添加更大的圆圈。可以使用许多替代图形。例如，可以使用线/条代替增大的圆圈。此外，圆圈的原点可以位于第二区域510的边缘附近，该边缘对应于用户正在接近的限制的位置(例如，如果用户正在接近下部边缘工作空间限制，则是第二区域510的底部)。可以使用各种图形和/或动画。
75.如图13所示，如果超出了限制，则机器人外科系统150在第二区域510中显示消息(现在完全呈蓝色)，从而通知他这个情况以及如何重新定位用户输入设备以重新接合机器人臂。在外科医生将用户输入设备移回工作空间之后，外科医生将轻敲离合器踏板并重复上述匹配握把过程。
76.图14示出了当外科医生过度旋转端部执行器时在第二区域510中显示的消息。如图14所示，消息指示外科医生在相反方向上旋转用户输入设备(同样，消息位于第二区域510的右侧上，因为消息与右用户输入设备相关)。图14示出了一个实施方案中的消息呈高对比度(此处是黑底白字)以引起外科医生的注意，同时仍然不分散第一区域500中的外科视图的注意力。还可能希望在消息周围提供空白空间，以避免使消息区混乱，并为其他语言的翻译提供空间，其中翻译可能比英语消息更长。
77.在一些实施方案中，机器人外科系统150在用户控制台/外科医生桥100上具有眼睛传感器，以感测外科医生是否正在观看显示屏130。如果外科医生没有在观看显示屏130，则外科医生可能没有专注于手术部位，并且用户输入设备的移动可以引起可能伤害患者的机器人臂的移动。因此，当机器人外科系统150检测到已失去目光接触时，机器人外科系统150暂停器械的操作，并且在第二区域510中显示关于该效果的消息(此处，在左侧和右侧两者上显示，以指示已失去双眼的目光接触)。
78.在重新建立目光接触之后，外科医生需要与机器人外科系统150重新接合。在一个实施方式中，所需的动作取决于失去目光接触是暂时的还是不是暂时的(例如，小于三十秒，或三十秒或更久)。如果失去目光接触是暂时的，则机器人外科系统150在第一区域500中的手术部位的图像上方显示消息，从而指示外科医生匹配握把(图16)。一旦握把已匹配，外科医生就已与机器人外科系统150重新接合，并且可以继续进行手术。然而，如果在此示例中失去目光接触超过五秒，则机器人外科系统150在第一区域500中的手术部位的图像上方显示消息，从而指示外科医生轻敲离合器踏板(图17)，之后机器人外科系统150将在第一区域500中的手术部位的图像上方显示消息，从而指示外科医生匹配握把。
79.在第二区域510中显示的一些消息可能比其他消息更重要，并且机器人外科系统150可以使用不同的方式来指示消息的重要性。例如，如图18所示，在一个实施方案中，当外
科医生掉落用户输入设备时，机器人外科系统150在第二显示区域510中显示带有红色背景的消息，从而通知外科医生用户输入设备已掉落并且需要拿起该用户输入设备以继续。一旦外科医生拿起掉落的用户输入设备，机器人外科系统150就在第一区域500中的手术部位的图像上方显示消息，从而指示外科医生轻敲离合器踏板(图19)，之后机器人外科系统150将在第一区域500中的手术部位的图像上方显示消息，从而指示外科医生匹配握把。
80.在一个实施方案中，第二区域510还可用于除显示消息以外的目的。例如，如图20至图23所示，第二区域510可以用于显示在机器人外科系统150上运行的一个或多个应用程序。图20示出了第二区域510中的若干应用程序。应用程序的布局和位置可以以任何合适的方式选择，并且可以重新配置。在图20所示的示例中，第二区域510的左上角包括与医疗记录数据库或其他合适的储存库通信的图像查看应用程序，使得图像查看器应用程序可以接收与外科规程相关的医学图像。例如，图像查看器应用程序可以接收并显示患者的术前图像(例如，x射线、ct、mri、超声等)。术前图像的此类显示可以允许外科医生和/或其他用户在外科规程之前、期间和/或之后轻松地查看术前图像，并且可以帮助外科团队做出与外科规程相关的更好、更明智的决策。第二区域510的左下角包括可以用于生成与外科规程的执行相关的项目列表的规程模板应用程序。例如，规程模板应用程序可以显示作为外科规程的一部分的外科任务的检查列表、外科规程所需的仪器或工具的列表、手术室设置任务的列表、端口位置和臂/外科器械设置的示意图等。第二区域510的右上角包括可以例如跟踪外科规程的持续时间和/或外科规程的片段的持续时间(例如，单独的外科任务和执行的其他任务)的定时器应用程序。可以使用其他类型的应用程序和实施方案，诸如在2017年12月14日提交的美国专利申请15/842,485“multi-panel graphical user interface for a robotic surgical system”中描述的应用程序和实施方案，该专利申请据此以引用方式并入。
81.用户输入设备122可以用于在各种显示器和应用程序之间切换。例如，在一个实施方案中，图20中的显示器是外科医生压下离合器踏板并挤压两个用户输入设备122的结果，图21中的显示器是外科医生再次挤压两个用户输入设备122的结果，并且图22和图23中的显示器是用户输入设备122悬停在显示器的各个部分上方的结果。在一个实施方案中，光标悬停在其上方的显示区的边界被突出显示以指示哪个显示区是活动的。
82.第一显示区域500和/或第二显示区域510的各个面板可以动态地改变。例如，如图24和图25所示，示出ct图像的图23中的第二区域510中的显示面板可以移动到更大的第一区域510，并且手术部位的图像可以移动到第二区域510中的面板。每个缩略图可以与单个图像相关联，或者可以与图像系列(例如，在同一日期拍摄的多个图像)相关联。利用所示的大ct图像，外科医生可以使用用户输入设备来“快速浏览”ct扫描组中的不同图像。如果外科医生找到感兴趣的图像，则外科医生可以将该特定图像“固定”到第二显示区域510(例如，通过挤压两个用户输入设备)。当发生这种情况时，在第一显示区域500中的ct图像上方显示消息，确认发生了固定操作(图26)，并且ct图像稍后被固定在第二显示区域510中(图27)。
83.出于解释的目的，前述描述使用特定命名来提供对本发明的透彻理解。然而，对于本领域的技术人员将显而易见的是，实践本发明不需要具体细节。出于举例说明和描述的目的，已经提供了本发明的特定实施方案的前述说明。它们并非旨在为详尽的或将本发明
限制为所公开的具体形式；根据上述教导内容可对本公开进行多种修改和改变。选择和描述实施方案是为了最好地解释本发明的原理和其实际应用，从而其使得本领域的其他技术人员能够最好地利用本发明和具有适合于所设想的特定用途的各种修改的各种实施方案。以下权利要求书及其等同项旨在限定本发明的范围。