集成用户环境的制作方法

集成用户环境
1.本技术是于2015年11月12日提交的名称为“集成用户环境”的中国专利申请2015800722852(pct/us2015/060298)的分案申请。
2.相关引用
3.本专利申请要求于2014年11月13日提交的题为“集成用户环境”的美国临时专利申请62/079,392的申请日的优先权和权益，该申请通过引入以其整体并入本文。
技术领域
4.本文描述的实施例大体涉及网络通信，并且更具体地涉及用于集成用户环境的系统和方法。


背景技术：

5.微创医疗技术旨在降低在诊断或外科手术程序期间被损坏的组织量，从而降低患者恢复时间、不适和有害的副作用。使用机器人技术的远程操作外科手术系统(所谓的外科手术机器人系统)可以被用于克服手动腹腔镜检查和开放外科手术的限制。远程呈现系统的进步给外科医生提供了患者身体内部的视图、外科器械的数量增加的运动自由度以及远距离外科手术合作的能力。由于与远程操作外科手术系统一起工作的复杂性，适当和有效的培训是重要的。
附图说明
6.在图中(不一定成比例绘制)，相同数字可以在不同视图中描述相同部件。具有不同字母后缀的相同数字可以代表相同部件的不同实例。一些实施例以示例而非限制的方式在附图的图中被图示说明，其中：
7.图1是根据实施例图示说明远程操作外科手术系统的示意图。
8.图2a是根据实施例图示说明主控组件的绘图。
9.图2b是根据实施例图示说明主控组件的主控制器的绘图。
10.图2c是根据实施例图示说明主控组件的扶手的绘图。
11.图3根据实施例图示说明虚拟外科手术部位。
12.图4根据实施例图示说明合成两个虚拟外科手术部位的过程。
13.图5是根据实施例图示说明受训者系统和监督者系统之间共享的协作数据的数据流程图。
14.图6是根据实施例图示说明主控组件的框图。
15.图7是根据实施例图示说明用于为远程操作外科手术培训课程打分的方法的流程图；并且
16.图8是根据示例性实施例图示说明计算机系统的示例形式的机器的框图，其中可以执行一组或一系列用于使机器执行本文讨论的任何一种方法的指令。
具体实施方式
17.以下说明被呈现以使本领域技术人员能够创造和使用医疗装置模拟器的系统和方法。对实施例的各种修改对于本领域技术人员来说将是显而易见的，并且本文定义的一般性原则可以被应用到其他实施例和应用中，而不脱离本发明主题的精神和范围。此外，在以下说明中，许多细节出于解释的目的被阐述。然而，本领域普通技术人员将认识到，发明主题可以在不利用这些具体细节的情况下被实践。在其他实例中，公知的机器部件、过程、数据结构以框图形式示出，以避免不必要的细节使本公开变得模糊不清。以下参考的图中的流程图用于表示过程。计算机系统可以被配置为执行一些这些过程。表示计算机执行过程的流程图内的模块或子系统依据用于执行参考这些模块描述的动作的计算机程序代码来表示计算机系统的配置。因此，发明主题不旨在限制所示实施例，而是使其符合与本文公开的原理和特征相一致的最宽的范围。
18.引言
19.外科手术培训能够以各种形式进行，包括观察、用尸体或外科手术培训模型实践以及模拟培训。在远程操作外科手术领域中，所有这些培训技术都可以被使用。为了提供连续的和可重复的体验，模拟培训提供了明显的优势。
20.当分析远程操作模拟器的性能时，可以在连续区(continuum)上看到教学目标(instructional objective)，其中基本系统技能在连续区的一端并且机器人外科手术程序在另一端。在中间，表示机器人外科手术技能和任务。因此用户能够从基本机器人系统技能开始学习，诸如像针瞄准、移动对象或在空间中导航器械之类的灵巧任务。最后，用户能够前进到连续区的中间并且实践机器人外科手术技能，诸如缝合或打结。在技能上取得娴熟后，用户能够前进到机器人外科手术程序和程序任务，诸如子宫切除术。
21.模拟培训能够以各种模式被提供给用户。用户能够参与个人培训模块，个人培训模块在有指导或没有指导的情况下尝试培训任务。这样的指导能够通过培训模块例如以声音提示、文本覆盖或者诸如此类来提供。可替代地，用户能够与提供指导的专家用户(例如，监督者、指导者或导师)一起参与协作环境。本文图示说明的系统和过程描述了协作环境，其中一个或更多远程用户能够看到专家用户的活动和注释。这样的专家指导体验能够改善教育并且减少培训时间。
22.远程操作外科手术系统
23.图1是根据实施例图示说明远程操作外科手术系统100的示意图。远程操作外科手术系统100包括外科手术操纵器组件102，其用于在对患者106执行各种程序中控制外科器械104的操作。组件102靠近手术台108安装或定位。用户界面诸如主控组件110允许外科医生112观察外科手术部位以及控制操纵器组件102。
24.在替代实施例中，远程操作外科手术系统100可以包括多于一个操纵器组件102。操纵器组件的确切数量将取决于外科手术程序和手术室内的空间限制以及其他因素。
25.主控组件110可以被定位在与手术台108相同的房间中。然而，应理解的是，外科医生112可以被定位在与患者106不用的房间或完全不同的建筑中。主控组件110通常包括用于控制操纵器组件102的一个或更多个控制装置114。(一个或更多个)控制装置114可以包含任意数量的各种输入装置，诸如重力平衡臂、操纵杆、轨迹球、手套、触发把手、手动控制器、手运动传感器、语音识别装置、眼睛运动传感器或者诸如此类。在一些实施例中，(一个
或更多个)控制装置114可以被提供有与相关联的外科器械104相同的自由度，从而为外科医生112提供远程呈现/临场感，或控制装置114与器械104是一体的以便外科医生112具有直接控制器械104的强烈感觉的感知。在一些实施例中，控制装置114是以6个自由度或者更多自由度移动的手动输入装置，并且其也可以包括用于致动器械(例如，用于闭合抓取爪、向电极施加电势、递送药物治疗或诸如此类)的可致动手柄或其他控制特征(例如，一个或更多按钮、开关等)。
26.可视化系统116向外科医生112提供外科手术部位的并行的二维或三维视频图像。可视化系统116可以包括观察镜组件(viewing scope assembly)。在一些实施例中，视觉图像可以由安置在外科手术部位内的内窥镜捕获。可视化系统116可以被实现为硬件、固件、软件或其组合，并且它与一个或更多计算机处理器交互或由一个或更多计算机处理器以其他方式执行，该一个或多个处理器可以包括控制系统118的一个或更多处理器。
27.显示系统120可以显示由可视化系统116捕获的外科手术部位和外科器械104的视觉图像。显示系统120和主控制装置114可以被定向，从而使得外科器械104和镜组件中的视觉成像装置的相对位置与外科医生的眼睛和手的相对位置相似，这样，操作者(例如，外科医生112)可以用主控制装置114操纵外科器械104，仿佛在基本真实在场的情况下观察邻近器械104的工作体积。“真实在场”表示图像的呈现是真实透视图像，该真实透视图像模拟正在物理操纵外科器械104的操作者的视角。
28.控制系统118包括至少一个处理器(未示出)并且一般包括用于实现外科手术操纵器组件102、主控组件114和显示系统116之间的控制的多个处理器。控制系统118也包括软件程序指令，以执行本文描述的一些或全部方法。虽然控制系统118在图1的简化示意图中被示出为单个方框，但是控制系统118可以包括许多数据处理电路(例如，在外科手术操纵器组件102上和/或在主控组件110上)。任何各种各样的集中式或分布式数据处理架构可以被使用。类似地，程序代码可以被实现为多个独立程序或子例程，或者其可以融入本文描述的远程操作系统的多个其他方面。在各实施例中，控制系统118可以支持无线通信协议，诸如蓝牙、红外数据传输(irda)、homerf、ieee 802.11、dect(数位增强型无绳通信)和无线遥测。
29.在一些实施例中，控制系统118可以包括伺服控制器，用于将力和扭矩反馈从外科器械104提供到主控组件114。任何合适的常规伺服控制器或专用伺服控制器都可以被使用。伺服控制器可以与操纵器组件102分开或集成。在一些实施例中，伺服控制器和操纵器组件102作为机器人臂推车的一部分被提供，该机器人臂推车邻近患者106安置。伺服控制器传输指示操纵器组件102移动器械104的信号，器械104经由患者身体中的开口延伸到患者身体内的内部外科手术部位内。
30.每个操纵器组件102支撑至少一个外科器械104(例如，“从动装置”)并且可以包含远程操作机器人操纵器和一系列非远程操作的可手动铰接联动装置。联动装置可以被称为设置结构，其包含与接头耦连的一个或更多连杆，这些接头允许设置结构在空间中以一定的位置和取向被安置和保持。操纵器组件102可以由一系列致动器(例如，马达)驱动。这些马达响应于来自控制系统118的命令积极地移动机器人操纵器。马达进一步被耦连到外科器械104，以便将外科器械104推进到自然形成的或者外科手术形成的解剖孔口中，并且以多个自由度移动外科器械104，该多个自由度可以包括三个线性运动度(例如，x、y、z线性运
动)和三个旋转运动度(例如，滚转，俯仰，偏摆)。此外，马达可以被用于致动外科器械104的执行器，诸如用于抓取活组织检查装置的夹爪中的组织的可铰接执行器、或者用于获得组织样品或用于配药的执行器、或者用于提供如下文更充分地描述的其他治疗的另外的执行器。例如，器械104可以围绕远程运动中心俯仰和偏摆，并且器械104可以通过远程运动中心被插入和抽出(例如，z轴运动)。其他自由度可以通过仅移动器械的部分(例如，末端执行器)来提供。例如，末端执行器可以通过滚转轴来滚转，并且末端执行器在远端腕部处俯仰和偏摆。
31.图2a是图示说明主控组件110的绘图，其是可由用户使用以控制操纵器组件102(在图1示出)的用户界面的示例。用户可以坐在主控组件110处并且可以访问显示系统202、主控制器204和脚踏开关面板206。脚踏开关面板206使用户能够执行各种任务，诸如在各种外科器械或控制视频或摄像机特征之间切换。当坐在主控组件110处时，用户可以将其手臂倚靠在扶手208上。当在现场外科手术中操作时，显示系统202显示从摄像机捕获的外科手术视野(field)，该摄像机通过小开口插入到外科手术部位，有时被称为门(portal)或套管。诸如主控组件110的用户界面也可以被用于培训用户关于远程操作外科手术系统(例如，图1示出的远程操作外科手术系统100)的使用，该用户界面没有一个或更多对应的操纵器组件(例如，图1示出的操纵器组件102)。为了培训目的，模拟环境可以被显示在显示系统202上，其中模拟环境可以是外科手术部位和虚拟从动外科器械的立体显示器。当用户移动主控制器204时，虚拟外科器械可以在立体显示器中以对应方式移动。
32.图2b是根据实施例图示说明主控组件110的主控制器204的绘图。主控制器204包括手持部分或万向节。主控制器204具有铰接臂部分，其包括由枢轴连接或接头连接在一起的多个构件或连杆。用户通过将他或她的拇指和食指放置在夹捏(pincher)结构212上来抓住指环210。用户的拇指和食指通常通过穿过狭缝以形成指环210的带子而被保持在夹捏结构上。当夹捏结构212在拇指和食指之间被挤压时，手指或外科器械104的其他元件同步移动。主控制器204的接头可操作地连接到致动器例如电动机或诸如此类，以提供例如力反馈、重力补偿及诸如此类。此外，适当安置的传感器(例如编码器或电位计或诸如此类)被安置在主控制器204的每个接头上，以便使主控制器204的接头位置能够由远程操作外科手术系统100中的主控组件110或其他控制系统确定。
33.在一实施例中，有两个主控制器204，每个主控制器具有两个指环210，对于这两个指环210，用户可以插入相应手的食指和拇指。两个主控制器204可以各自控制虚拟外科器械。用户可以被提供有软件或硬件机构以在用于一个或两个主控制器204的多个器械之间交换。例如，用户可以被提供三个器械，诸如两个钳子和一个牵引器。钳子的一个或两个可以是能够灼烧组织的能量器械。用户可以首先在每个主控制器204处使用钳子，然后切换右侧主控制器204以控制牵引器暴露外科手术区的一部分，并且随后将右侧主控制器204切换回钳子以继续切割、探通或解剖组织。
34.当使用主控制器204时，除了用食指和拇指(或插入环210的任意两个手指)进行夹捏运动之外，用户还被提供有全部三维范围的运动(x轴、y轴和z轴)以及旋转运动(滚转、俯仰、偏摆)。因此，通过移动适当的主控制器204，用户能够通过全范围运动来操纵对应的外科器械。
35.图2c是根据实施例图示说明主控组件110的扶手208的绘图。扶手208可以包括一
个或更多个触摸控制件，诸如触摸屏、软按钮、机械按钮或诸如此类。在图2c中图示说明的示例中，单个触摸屏214被示出，用户可以通过该触摸屏214配置各种视频、音频或其他系统设置。
36.在实施例中，显示系统120可以显示模拟患者内外科手术部位的虚拟环境。除外科器械104之外，虚拟环境还可以包括各种生物学结构。外科医生112在虚拟环境内操作器械104，以在没有危害真实患者的可能性的情况下培训、获得证书或以各种技术或程序进行试验。模拟外科手术程序还具有需要更少部件的优势。例如，不需要患者侧推车，因为没有实际患者。因此，模拟提供增加的便利和易用性。
37.模拟培训环境的概述
38.本文公开的是虚拟培训环境，其包括被渲染(render)在虚拟外科环境中的本地用户的虚拟外科器械以及专家用户的外科器械。一个目标是获得更一致的培训结果。另一个目标是减少培训时间。其他目标包括但不限于提供更多吸引人的和交互式的培训环境以及提供用于专家反馈的平台以增加培训功效。
39.图3根据实施例图示说明虚拟外科手术部位300。虚拟外科手术部位300可以被显示在显示系统202上并且包括两个虚拟从动外科器械302。在协作培训环境中，第二组虚拟外科器械可以被覆盖在用户的显示器上。第二组虚拟外科器械可以代表专家用户(例如，监督者、指导者、导师等)控制的虚拟器械。图4根据实施例图示说明合成两个虚拟外科手术部位的过程。受训者可以在一个虚拟环境中操作，该虚拟环境可以被渲染在受训者场景400中。类似地，专家用户可以查看同样或类似的环境并且具有独立的虚拟外科器械的控制。专家场景402被分开渲染。组合场景404是受训者场景400和专家场景402的合成，并且被输出到主控组件处的受训者。类似地，组合场景被输出到专家的主控组件。
40.专家用户的外科器械能够在受训者的屏幕中以通透的(translucent)或半透明的覆盖(在组合场景404中由虚线轮廓的虚拟器械表示)被呈现。以这种方式，在显示系统中，正在操作独立的主控组件的专家用户能够在视觉上指导或建议受训者用户，并且受训者可以模仿或观看专家的虚拟器械。其他视觉效果可以被应用到专家用户的外科手术器械，诸如半透明效果、透明效果或抽象表示(例如，虚线轮廓、幻影形状、卡通绘图等)。可选地，在一些实施例中，专家用户的外科器械以与受训者用户的虚拟外科器械类似的方式(例如，不透明的、有阴影的等)被渲染。此外，虽然一些实施例用视觉上修改(例如，使用半透明效果)的专家虚拟外科器械描述，但是应理解的是，这样的修改可以被应用到受训者用户的虚拟器械中。例如，在一实施例中，在专家用户站处，专家用户的虚拟器械被渲染为不透明的，同时受训者的虚拟器械被渲染为半透明的或透明的。此外，用在(或者受训者或者专家)虚拟器械上的效果可以在练习之前或期间被修改。修改可以被用于改善培训方法。
41.图5是根据实施例图示说明在受训者系统500和监督者系统502之间共享的协作数据的数据流程图。在一个实施例中，受训者系统500和监督者系统502中的每个都是远程操作外科手术系统(例如图1中示出的远程操作外科手术系统100)。在替代性实施例中，受训者系统500和监督者系统502的至少一个包含远程操作外科手术系统(例如，图2a中示出的主控组件110)的用户界面部件，该远程操作外科手术系统没有一个或更多个相关联的操纵器组件(例如，图1中示出的操纵器组件102)。当在受训者系统处的用户(例如，受训者)经由主控制装置(例如，主控制器、脚踏板等)操作主控组件时，受训者系统500接收输入数据，诸
如各种主控制装置的位置、速度或状态。在受训者系统处接收的一些或全部输入数据被传输到专家系统(箭头504)。输入数据被用于将受训者系统500上的虚拟外科器械的位置和状态渲染为本地场景508。类似地，输入数据被用于在专家系统502上渲染受训者系统510的环境。从专家系统502处的用户的角度来看，这是远程场景。
42.以类似的方式，在专家系统502处作为专家系统502的用户操作的结果接收的一些或全部输入数据被传输到受训者系统500。在专家系统502处，在专家系统502处作为专家系统502的用户操作的结果接收的输入数据被用于渲染本地场景512(相对于专家系统502处的用户是本地的)。在专家系统502处作为专家系统502的用户操作的结果接收的输入数据被传输(箭头514)到受训者系统500并且被渲染为远程场景516(相对于受训者系统500是远程的)。
43.受训者系统500渲染合成场景518，其包括本地场景508和远程场景516。合成场景518可以通过使用各种图形操纵，例如使远程场景516通透、改变远程虚拟器械的颜色或允许受训者系统500的用户更容易区分合成场景518中的本地虚拟外科器械与远程(例如，专家)外科器械的其他改进，来改变远程场景516。专家系统502产生类似的合成场景520以给专家系统502用户提供本地和远程虚拟外科器械的视图。专家系统502可以通过使用各种图形操纵例如通过使本地场景512或远程场景510通透、半透明，改变虚拟器械的颜色等，来可选地改变本地场景512或远程场景510(从专家系统502的角度是本地的和远程的)。
44.图6是图示说明主控组件110的框图。主控组件110是用户界面的一个实施例，其可以被用于在远程操作外科手术系统中通过相关联的操纵器组件(例如，图1中的操纵器组件102)控制一个或更多外科器械(例如，图1示出的外科器械104)。主控组件110也可以被用于在虚拟环境中执行模拟程序，以培训人员远程操作外科手术系统的使用。当用户操纵主控制器114以在虚拟外科手术模拟中控制虚拟外科器械时，输入信号被传输到输入/输出(i/o)缓冲器600。输入信号包括(例如，主控制器204的)各种臂移动和位置、摄影机控制或在主控组件110处从用户接收的其他输入。输入控制信号可以被扫描、滤波和处理，以识别影响虚拟外科手术模拟的输入控制信号。这样的输入控制信号被发送到主控组件110处的视频子系统602。视频子系统602可以包括视频处理器、视频存储器和其他元件，以渲染用于呈现在显示器604上的视频图像。输入控制信号也被发送到通信模块606。通信子模块606将输入控制信号传输到另一个(远程)主控组件110(未示出)，其可以随后使用输入控制信号，仿佛输入控制信号是本地生成到该(远程)主控组件110的。通信子系统606也能够从远程主控组件110接收输入控制信号，其中接收的输入控制信号代表远程主控组件110的远程用户采取的动作。从远程用户接收的输入控制信号被转发到i/o缓冲器600，其随后将接收的输入控制信号传送给到视频子系统602进行处理。
45.应理解的是，不止一个远程主控组件110可以接收来自通信子系统606的输入控制信号，并且通信子系统606可以接收来自不止一个远程主控组件110的输入控制信号。以这种方式，多个指导者可以为本地用户提供同时的指示或指导，每个指导者具有表示在本地用户的显示器上的虚拟外科器械。同样以这种方式，多个受训者用户可以接收来自一个或更多指导者的指导。虽然图6图示说明通信子系统606接收来自i/o缓冲器600的输入控制信号，但是应理解的是，通信子系统606可以接收来自其他中间源的输入控制信号，其他中间源诸如操作系统、装置驱动器、应用或其他中间设备。
46.通信子系统606可以使用各种网络协议或技术与远程主控组件110通信，各种网络协议或技术诸如局域网(lan)、广域网(wan)、英特网、移动电话网络、普通老式电话(pots)网络和无线数据网络(例如，wi-fi、3g和4glte/lte-a或wimax网络)。
47.图6图示说明用于管理用户界面的系统，其包括第一用户界面(例如，主控组件110)，第一用户界面具有被配置为在第一用户界面处从第二用户界面接收描述第二用户界面的操作的环境变量的通信子系统606。第一用户界面也包括视频子系统602，用于在第一用户界面处渲染本地场景，本地场景表示第一用户界面的操作的状态。视频子系统602在第一用户界面处渲染远程场景，所述远程场景表示第二用户界面的操作的状态并且所述远程场景至少部分地基于环境变量。随后，视频子系统602将本地场景和远程场景合成以产生合成场景，并且经由显示器604为第一用户界面的使用者呈现合成场景。
48.环境变量可以被表示为一个或更多个n元组数据结构。例如，n元组可以是如(输入_id、x-位置、y-位置、z-位置)的4元组。在一些实施例中，输入_id可以被用于唯一地识别远程操作外科手术系统的用户界面的输入。例如，值“1”可以对应于左侧主控制器，并且值“2”可以对应于右侧主控制器。这样，(1，33.4，24.9，18.4)的4元组代表左侧主控制器的位置在x-位置是33.4cm、在y-位置是24.9cm以及在z-位置是18.4cm。主控组件可以将x-y-z位置转换成虚拟环境中的对应位置，以正确地表示对应于左侧主控制器的虚拟外科器械的位置、姿态或速度。同样的4元组可以在本地使用以渲染本地场景，或被传输到远程操作外科手术系统的远程主控制器以渲染场景。传输n-元组的优势在于其降低网络负载并且减少延迟。
49.在另一实施例中，除主控制器的x-y-z位置之外的主控制器姿态也从一个主控组件被传输到另一个主控组件。这给出手腕的取向。器械夹捏结构的开启/关闭的值也被传输。使用具有在左上方的3
×
3旋转矩阵和在右上方的3
×
1平移向量的4
×
4变换矩阵。此外，输入_id表明左/右手、(在有多个远程用户的情况下)是哪个远程用户以及夹子的开启/关闭位置(在0和1之间，0是完全开启并且1是完全关闭)被传输。
50.在一实施例中，第二用户界面包括由第二用户界面的用户操作的主控制器，并且环境变量包含主控制器的位置、速度或旋转。
51.在一实施例中，通信子系统606进一步被配置为接收来自第二用户界面的注释变量，注释变量描述用于渲染在合成场景上的注释。在这样的实施例中，视频子系统602进一步被配置为合成该合成场景以包含注释以及在合成场景中呈现注释。在一实施例中，注释包括画笔控制、高亮控制或指针图标。例如，远程用户(例如，监督者、指导者或教师等)可以使用主控制器204来控制画笔图标以在共享屏幕上绘制箭头、圆、划线等以便注释它们。注释可以被提供为文本、图形(例如，圆、正方形等)、自由式绘图、图片、图标或诸如此类。注释可以由第二用户界面的用户选择。
52.注释可以被渲染在世界坐标系中，以便它们被绑定到环境而非特定摄像机参考系。在这种配置中，不管摄像机角度如何变化，注释都能够在环境中的给定部位处持续存在。例如，在实践期间，专家可以将点注释在受训者要聚焦的缝合海绵上，其中不管摄像机如何改变，在练习期间，点都维持在海绵上的持久位置。
53.在一实施例中，环境变量包括摄像机控制变量。在这样的实施例中，视频子系统602进一步被配置为渲染本地场景，包括使用摄像机控制变量渲染本地场景。
54.在一实施例中，本地场景包括由第一用户界面的用户控制的虚拟外科器械。
55.在一实施例中，视频子系统进一步被配置为渲染远程场景为通透层，通透层允许第一用户界面的用户在查看合成场景时查看本地场景。
56.在一实施例中，主控组件可以包括为第一用户界面的用户提供外科手术练习的培训子系统，其中外科手术练习也基本同时提供给第二用户界面的用户。
57.在一实施例中，通信子系统606被配置为在广域网上接收环境变量。在一实施例中，广域网包括因特网。在一实施例中，广域网包括无线网络。
58.在一实施例中，视频子系统602被配置为在分开的画布上渲染本地场景和远程场景。
59.在一实施例中，视频子系统602被配置为在与渲染本地场景分开的画布上渲染合成场景。
60.图7是根据实施例图示说明给远程操作外科手术培训课程打分的方法700。在方框702处，在第一用户界面处从第二用户界面接收描述第二用户界面的操作的环境变量。在一实施例中，第二用户界面包括由第二用户界面的用户操作的主控制器，并且其中环境变量包括主控制器的位置、速度或旋转。在一实施例中，环境变量包括摄像机控制变量，并且其中渲染本地场景包括利用摄像机控制变量渲染本地场景。
61.在一实施例中，接收环境变量包括在广域网上接收环境变量。在一实施例中，广域网包括因特网。在一实施例中，广域网包括无线网。
62.在方框704处，本地场景被渲染在第一用户界面上，本地场景表示第一用户界面的操作的状态。
63.在方框706处，远程场景被渲染在第一用户界面上，远程场景表示第二用户界面的操作的状态，并且远程场景至少部分地基于环境变量。在一实施例中，渲染远程场景包括将远程场景渲染为通透层，该通透层允许第一用户界面的用户在查看合成场景时查看本地场景。
64.在方框708处，本地场景和远程场景被合成以产生合成场景。在一实施例中，本地场景包括由第一用户界面的用户控制的虚拟外科器械。在一实施例中，渲染本地场景和渲染远程场景是在分开的画布上执行的。
65.在方框710处，合成场景被呈现给第一用户界面的用户。在一实施例中，渲染合成场景是在与渲染本地场景分开的画布上执行的。
66.在一实施例中，方法700包括接收来自第二用户界面的注释变量，该注释变量描述用于渲染在合成场景上的注释，并且合成该合成场景以包含注释；其中呈现合成场景包括在合成场景中呈现注释。在一实施例中，注释包括画笔控制、高亮控制或指针图标。在一实施例中，注释由第二用户界面的用户选择。
67.在进一步实施例中，方法700包括为第一用户界面的用户提供外科手术练习，并且其中外科手术练习也基本同时提供给第二用户界面的用户。
68.计算机硬件和存储装置
69.图8是根据示例性实施例图示说明计算机系统800的示例形式的机器的框图，其中用于使机器执行本文论述的任一方法的一组指令或一系列指令可以被执行。在替换性实施例中，机器作为独立装置操作或可以被连接(例如，网络化)到其他机器。在网络化部署中，
机器可以以服务器-客户网络环境中的服务器或客户机的性能操作，或者其可以在对等(或分布式)网络环境中充当对等机。机器可以是个人电脑(pc)、平板电脑、机顶盒(stb)、掌上电脑/个人数字助理(pda)、移动电话、网络设备(web appliance)、网络路由器、开关或桥接，或者任何能够执行指令(连续的或不连续的)的机器，该指令指定由该机器采取的动作。更进一步，虽然仅单个机器被图示，但是术语“机器”也将被视为包括任何机器集合，它们单独地或共同地执行一组(或多组)指令以实现本文讨论的任何一个或更多个方法。
70.示例性计算机系统800包括至少一个处理器802(例如，中央处理单元(cpu)、图形处理单元(gpu)或两者、处理器内核、计算节点等)、主存储器804和静态存储器806，它们经由链路808(例如，总线)互相通信。计算机系统800可以进一步包括视频显示单元810、字母数字输入装置812(例如，键盘)和用户界面(ui)导航装置814(例如，鼠标)。在一实施例中，视频显示单元810、输入装置812和ui导航装置814被合并到触屏显示器中。计算机系统800可以另外包括存储装置816(例如，驱动单元)、信号产生装置818(例如，扬声器)、网络接口装置820和一个或更多个传感器(未示出)，诸如全球定位系统(gps)传感器、罗盘、加速度计或其他传感器。
71.存储装置816包括机器可读介质822，在机器可读介质上存储一组或更多组数据结构和指令824(例如，软件)，这些数据结构和指令体现了本文描述的任何一个或更多方法或功能，或者任何一个或更多方法或功能使用。指令824也可以在由计算机系统800执行期间完全地或至少部分地驻留于主存储器804、静态存储器806和/或处理器802内，并且主存储器804、静态存储器806和处理器802也构成机器可读介质。
72.虽然机器可读介质822在示例性实施例中被图示为单个介质，但是术语“机器可读介质”可以包括存储一个或更多指令824的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“机器可读介质”也将被视为包括任何有形介质，所述任何有形介质能够存储、编码或承载用于由机器执行的指令，并且使机器执行本公开的任何一个或更多方法，或者能够存储、编码或承载由这样的指令使用的或与这样的指令有关的数据结构。术语“机器可读介质”将因此被视为包括但不局限于固态存储器和光学介质和磁性介质。机器可读介质的具体示例包括：非易失性存储器，举例来说其包括半导体存储器装置(例如，电可编程只读存储器(eprom)、电可擦可编程只读存储器(eerpom))和闪存装置；诸如内置硬盘和可移动磁盘的磁盘；磁光盘；以及cd-rom盘和dvd-rom盘。
73.可以通过利用多个公知的传输协议(例如，http)中的任何一个，经由网络接口装置820使用传输介质在通信网络826上进一步传输或接收指令824。通信网络的示例包括局域网(lan)、广域网(wan)、因特网、移动电话网络、普通老式电话(pots)网络和无线数据网络(例如，wifi、3g和4g lte/lte-a或wimax网络)。术语“传输介质”应该被视为包括能够存储、编码或承载用于由机器执行的指令的任何无形介质，并且包括数字通信信号或模拟通信信号或有利于这种软件的通信的其他无形介质。
74.应认识到，为了明确的目的，上述说明描述关于不同功能单元或处理器的一些实施例。然而，显而易见的是，在不减损本公开的情况下，不同功能单元、处理器或域名之间的功能的任何适当分配都可以被使用。例如，被图示为由分开的处理器或控制器执行的功能可以由相同的处理器或控制器执行。因此，参考特定功能单元仅被看做参考用于提供所述功能的适当手段，而不是表示严谨逻辑或物理构造或组织。
75.虽然已经结合一些实施例描述了本公开，但是不旨在限制本文阐述的具体形式。本领域技术人员应认识到，描述的实施例的各种特征可以根据本公开被组合。此外，应认识到，各种修改和变更可以由本领域技术人员做出，而不脱离本公开的精神和范围。
76.此外，在先前的详细说明中能够看出，为了简化本公开，各种特征被集中在单个实施例中。本公开的方法不应被解释为反映要求保护的实施例需要比在各权利要求中明确限定特征更多的特征的意图。相反地，如所附权利要求反映的，发明主题少于单个公开实施例的全部特征。因此，所附权利要求由此被并入具体实施方式，并且每个权利要求以其自身作为单独实施例。
77.根据本发明的实施例的上述说明和附图仅说明发明主题的原理。因此，应理解的是，本领域技术人员可以对实施例进行各种修改，而不脱离本发明主题的精神和范围，本发明主题的精神和范围被限定在所附的权利要求中。
78.因此，虽然本发明的某些示例性实施例已经被描述和展示在附图中，但是应理解的是，这样的实施例仅是发明主题的说明而不是对发明主题的广度的限制，并且本发明的实施例不局限于被显示和被描述的具体构造和布置，因为本领域技术人员可以想到各种其他修改。