利用外科手术过程图集配置外科手术系统的制作方法

occurrence)而被记录。基于所记录的表示外科手术器械运动的运动学信息来确定运动学签名(signature)。在计算机可读存储设备中产生信息结构，其使相应运动学签名与用于外科手术系统的相应电子控制信号相关联。在使用外科手术系统执行外科手术过程期间，在该过程期间由该系统产生的外科手术器械运动学信息与至少一个运动学签名进行比较。响应于在外科手术过程期间产生的运动学信息与相应运动学签名之间的匹配，与至少一个运动学签名相关联的电子控制信号在外科手术系统内被发射。更具体地，一些系统行为基于运动学分析被触发。
10.在另一方面，提供一种用于与遥控外科手术系统一起使用的方法。在机器人辅助的外科手术过程期间产生的外科手术场景的运动图/影片(motion picture)图像针对外科手术过程的多次发生而被记录。基于所记录的运动图图像确定外科手术图像签名。在计算机可读存储设备中产生信息结构，其使相应外科手术图像签名与用于外科手术系统的相应电子控制信号相关联。在使用外科手术系统执行外科手术过程期间，在该过程期间产生的运动图图像与至少一个外科手术图像签名进行比较。响应于在外科手术过程期间产生的外科手术图像与相应外科手术图像签名之间的匹配，与至少一个外科手术图像签名相关联的电子控制信号在外科手术系统内被发射。更具体地，一些系统行为基于视频分析被触发。
11.在另一方面，提供一种用于与遥控外科手术系统一起使用的训练方法。记录运动图图像，其示出在外科手术过程期间在外科手术系统的查看器内显示的外科手术场景内的解剖组织。响应于在与所显示的解剖组织接触期间赋予(imparted)外科手术器械的力而被赋予外科手术器械控制的外科手术系统控制触觉信息被记录。在外科手术过程的模拟期间，所记录的运动图图像在外科手术系统观察器内被重放。在外科手术过程的模拟期间在所记录的运动图图像的重放期间，所记录的外科手术器械控制触觉被赋予外科手术器械控制。在一些实施例中，通过控制输入的振动触觉模拟，重放外科手术控制触觉。
12.在另一方面，提供一种用于与遥控外科手术系统一起使用的训练方法。针对外科手术过程在机器人辅助的外科手术系统内的许多次发生中的每次，记录(一个或更多个)诊断数据信息实例。每个诊断数据信息实例包括：在外科手术过程期间，在外科手术系统的查看器内显示的外科手术场景内的解剖组织的相应运动图图像。每个诊断数据信息实例还包括：在外科手术过程期间，响应于在与所显示的解剖结构接触期间赋予外科手术器械的力，被赋予外科手术器械控制的外科手术器械控制触觉。在计算机可读存储设备中产生信息结构，其使相应诊断数据信息实例和相应诊断相关联。选择相应诊断数据信息实例。在外科手术过程的模拟期间，来自经选择的相应记录的诊断数据信息实例的记录的运动图图像在外科手术系统查看器内被重放。在外科手术过程的模拟期间在重放记录的运动图图像期间，来自经选择的相应记录的诊断数据信息实例的记录的外科手术器械控制触觉信息被赋予外科手术器械控制。
13.在另一方面，遥控外科手术系统包括在计算机可读存储设备中的信息结构，其使外科手术图像签名与控制信号相关联。处理器被配置为将在外科手术过程期间的外科手术场景内产生的外科手术图像与至少一个外科手术图像签名进行比较。处理器被配置为响应于外科手术图像与至少一个外科手术图像签名之间的匹配而发射控制信号。器械被配置为响应于控制信号调整其运动。
14.在另一方面，遥控外科手术系统包括在计算机可读存储设备中的信息结构，其使
相应外科手术图像签名与相应控制信号相关联。处理器被配置为将在外科手术过程期间的外科手术场景内的外科手术图像与至少一个外科手术图像签名进行比较。处理器被配置为响应于在外科手术过程期间的外科手术图像与至少一个外科手术图像签名之间的匹配而发射控制信号。器械被配置为响应于控制信号调整其运动。
附图说明
15.图1是微创遥控外科手术系统的平面图。
16.图2是外科医生的控制台的透视图。
17.图3是电子推车的透视图。
18.图4是遥控外科手术系统的示意图。
19.图5a是遥控外科手术系统的示意图。
20.图5b是外科手术系统的患者侧推车的透视图。
21.图5c是外科手术场景的示意图。
22.图6是外科手术器械的正视图。
23.图7是器械操纵器的透视图。
24.图8是外科手术计划工具的示意图。
25.图9是使用外科手术计划工具的方法的流程图。
26.图10是表示根据一些实施例的在计算机可读存储设备中存储图集(atlas)的示意图。
27.图11是表示根据一些实施例的包括在图集内的第一数据信息结构的示例性实例的示意图，其包括关于各个外科手术过程的信息。
28.图12是表示根据一些实施例的包括在图集内的第二数据信息结构的示例性实例的示意图，其关联来自各个外科手术过程的所记录的运动图图像片段、对应的外科手术器械运动学信息片段、对应的外科手术系统致动状态和对应的注释。
29.图13a-13c是示出根据一些实施例的示例性外科手术器械和致动器组件的示意图，其中外科手术器械以三种不同的示例性器械状态被示出。
30.图14是表示根据一些实施例的控制信号规则信息结构的示例性实例的示意图，其包括关联运动学、图像和系统致动状态与控制信号的规则。
31.图15是表示根据一些实施例的至少部分基于解剖图像信息、器械运动学和系统状态产生控制信号的过程的示意流程图。
32.图16是表示根据一些实施例的包括在图集内的第三数据信息结构的示例性实例的示意图，其将所记录的运动图图像片段与触觉信息片段相关联。
33.图17是表示根据一些实施例的配置遥控机器人辅助的外科手术系统以重放外科手术经历的过程的示意流程图。
34.图18是表示根据一些实施例的包括在图集内的诊断规则信息结构的示例性实例的示意图，其包括关联图像签名信息和触觉反馈信息与诊断的规则。
35.图19是表示根据一些实施例的至少部分基于解剖图像信息和触觉反馈信息产生诊断的过程的示意流程图。
具体实施方式
36.图示说明本发明的方面、实施例、实施方式或应用的此说明书和附图不应当被认为是限制性的—权利要求限定所保护的发明。在不脱离此说明书和权利要求的范围的情况下，可以做出各种机械、成分、结构、电气和操作变更。在一些实例中，众所周知的电路、结构或技术未被详细地示出和描述，以免混淆本发明。两个或更多个附图中的相似数字表示相同或相似元素。
37.参考一个实施例、实施方式或应用详细描述的元素无论何时实施都可以被包括在未具体显示和描述的其他实施例、实施方式或应用中。例如，即使一个元素参考一个实施例被详细描述而不参考第二实施例进行描述，然而该元素可以被视为包括在第二实施例中。因此，为了避免在以下描述中的不必要的重复，除非特别地以其他方式进行描述，否则与一个实施例、实施方式或应用相关联的所示出和描述的一个或更多个元素可以被并入其他实施例、实施方式或方面中，除非一个或更多个元素使某个实施例或实施方式不起作用或者除非两个或更多个元素提供相冲突的功能。
38.虽然主要根据使用由加利福尼亚州的森尼韦尔市的直观外科手术操作公司商业化的da外科手术系统(具体地，model is4000，其被销售为daxi
tm hd
tm
外科手术系统)的实施方式来描述本发明的各方面，但是本领域技术人员将理解的是本文公开的本发明方面可以以各种方式(包括机器人，并且如果适用的话也包括非机器人实施例和实施方式)来体现和实施。在da外科手术系统(例如，model is4000 daxi
tm
外科手术系统、model is3000 da vinci外科手术系统)上的实施方式仅仅是示例性的，并且不被认为限制本文公开的发明方面的范围。
39.根据各个方面，本公开描述了一种外科手术计划工具，其包括被配置为对外科手术过程的执行进行视频记录的医疗设备。视频记录能够被嵌入有各种元数据，例如医疗人员所做出的标记。此外，视频记录能够被标识有各种元数据，例如描述视频的某一主题的文本注释、视频记录所对应的患者的身份、关于患者的档案或医疗信息等。在一方面，被标识的元数据被嵌入视频记录中。
40.根据进一步的方面，信息形态在从若干遥控外科手术过程收集的运动图图像和外科手术器械运动学信息内被识别。例如，运动图信息能够指示解剖组织的几何形状和颜色。运动学信息能够指示外科手术器械运动特性，例如，诸如器械运动的方向、器械运动的速度和加速度和器械运动的顺序。信息形态能够基于记录的运动图被识别，且运动学信息能够作为在外科手术期间管理或调节控制外科手术器械的基础。信息形态能够用作向外科医生提供术中引导的基础。
41.根据进一步的方面，与触觉反馈一致的运动图图像能够用作外科手术训练的基础。例如，一个外科医生能够通过外科手术模拟重放由该同一外科医生在先前外科手术期间产生的运动图图像和对应的触觉反馈来重新经历由该外科医生执行的先前外科手术过程。替代地，例如，一个外科医生能够通过外科手术模拟重放由另一外科医生在之前的外科手术期间产生的运动图图像和对应的触觉反馈来经历由不同的外科医生执行的该之前的外科手术过程。因此，外科医生能够使用外科手术模拟作为机会来通过模拟的实践外科手术重放由该外科医生或另一外科医生的视觉线索和触觉线索之间的关系的实际外科手术经历来改善外科手术技能。
42.根据又进一步的方面，基于从若干遥控外科手术过程收集的运动图图像和外科手术器械运动学信息内识别的信息形态，开发推荐的术中诊断。一个熟练的外科医生通常能够至少部分地基于组织几何形状和颜色来评估组织疾病状态和组织损伤状态。所记录的运动图提供关于外科手术系统内的外科手术场景内的解剖组织的组织几何形状和组织颜色的信息。再者，一个熟练的外科医生能够至少部分地基于组织的触诊来评估组织疾病状态和组织损伤状态。在遥控外科手术系统中，组织的触诊能够通过使用外科医生操作的器械控制以触摸组织结构来实现，该外科医生操作的器械控制向操作该控制的外科医生提供触觉反馈，这指示响应于器械触摸组织结构而赋予器械的反作用力。所收集的运动图图像和外科手术器械运动学信息的专家外科医生评估被用于识别指示不同术中诊断的不同形态的图像和运动学。视频记录和关联运动图图像与外科手术器械运动学信息的信息结构能够被存档在本地或远程(例如，在远程计算机系统上、在lan或wan上、或在云数据存储服务器上)实施的电子医疗记录数据库上。相似地，在一些实施例中，例如，关联运动图图像与控制触觉反馈信息和对应的诊断建议的信息结构能够被存档在本地或远程实施的电子医疗记录数据库上，以用于外科医生训练。该视频记录和信息结构能够可用于感兴趣的卫生保健提供者。在一些实施例中，存储的信息结构能够可用于与遥控机器人辅助的外科手术系统一起使用，以生成提供到外科手术系统的控制信号信息以在外科手术过程期间产生对外科医生的术中外科手术引导并且提供器械的机器人辅助的外科手术控制。在一些实施例中，存储的信息结构能够可用于与外科手术模拟系统一起使用，以重放外科手术场景和对应的触觉反馈，以用在外科医生训练操作外科手术系统的技术中。在一些实施例中，存储的信息结构能够可用于与外科手术模拟系统一起使用，以重放外科手术场景和对应的触觉反馈，以用在外科医生训练在使用外科手术系统执行外科手术时诊断组织结构疾病状态和组织破损状态中。
43.例如，卫生保健提供者能够基于待执行的外科手术过程、组织结构特性和使用上述元数据标识针对感兴趣的视频和信息结构关系的外科手术器械运动学中的一个或更多个来搜索医疗设备数据库。另外，在一方面，外科手术计划工具包括基于计算机的形态匹配和分析算法。在一方面，形态匹配算法通过存储在电子医疗记录数据库上的视频挑选，以识别在视频记录中的视觉特性与医疗人员做出的相关联的元数据标识之间的相关性。外科手术计划工具能够将这些相关性应用到新遇到的解剖结构，从而帮助执行过程的医疗人员确定患者解剖结构、优选的外科手术途径、疾病状态、潜在的并发症等。
44.在另一方面，例如，形态匹配算法通过记录的运动图图像信息和可选的运动学信息挑选，以识别解剖组织特征(诸如几何形状)与器械运动之间的相关性。此形态能够是有用的，例如以识别与各种器械运动相关联的各种解剖学特征。此形态也能够是有用的，例如以识别与各种器械运动不相关联的各种解剖学特征。例如，此形态信息能够用作在外科手术期间产生外科手术引导以呈现给外科医生的基础。例如，此形态信息能够用作在外科手术期间制止或赋予外科手术一定的外科手术器械运动的基础。
45.在另一方面，例如，形态匹配算法通过记录的运动图图像信息和触觉反馈信息挑选，以响应于通过外科手术器械的触摸来识别解剖组织特征(诸如几何形状)与由组织结构赋予的反作用力之间的相关性。此形态能够是有用的，例如，以响应于通过机器人辅助的器械的触诊，识别可视的解剖组织结构与由组织结构赋予的触觉反馈之间的相关性。在一些
实施例中，相关的运动图图像形态和触觉反馈信息与用在外科医生训练中的专家外科医生诊断评估相关联。
46.微创遥控外科手术系统
47.遥控/远程操作指的是在一定距离操作机器。在微创遥控医疗系统中，外科医生可以使用包括摄像机的内窥镜来查看患者体内的外科手术部位。在一些实施例中，立体图像能够被捕获，这允许在外科手术过程期间的深度的感知。
48.现在参考附图，其中在整个附图中相似的参考符号表示相似的部件，图1是微创遥控外科手术系统10的平面图，该微创遥控外科手术系统10通常用于对躺在手术台14上的患者12执行微创诊断或外科手术过程。该系统包括外科医生的控制台16，用于由外科医生18在该过程期间使用。一个或更多个助手20也可以参与到该过程中。微创遥控外科手术系统10还包括(一个或多个)患者侧推车22和电子推车24。患者侧推车22能够通过患者12体内的微创切口操纵至少一个外科手术器械26，同时外科医生18通过外科医生的控制台16查看外科手术部位。外科手术部位的图像能够通过内窥镜28(例如立体内窥镜)获得，患者侧推车22能够操纵该内窥镜以对内窥镜28进行取向。位于电子推车24上的计算机处理器能够用于处理外科手术部位的图像，以随后通过外科医生的控制台16显示给外科医生18。注意：虽然为了示例性目的而描绘和描述了分离式系统部件(即，患者侧推车22、电子推车24和外科医生的控制台16)，但是在各种实施例中，其中所包含的元件能够被组合和/或分离。例如，在一些实施例中，电子推车24的计算机处理器能够被并入到外科医生的控制台16和/或患者侧推车22中。一次使用的外科手术器械26的数量一般取决于诊断或外科手术过程以及手术部位内的空间约束等因素。如果需要更换在过程中正被使用的外科手术器械26中的一个或更多个，则助手20能够在手术室中从患者侧推车22移除外科手术器械26，并且用来自托盘30的另一外科器械26替换它。
49.图2是外科医生的控制台16的透视图。外科医生的控制台16包括查看器31，其包括左眼显示器32和右眼显示器34，用于向外科医生18呈现能够进行深度感知的外科手术部位的协调的立体图像。控制台16进一步包括一个或更多个控制输入36。被安装用在患者侧推车22(如图1所示)上的一个或更多个外科手术器械响应于外科医生18对一个或更多个控制输入36的操纵而移动。控制输入36能够提供与其相关联的外科手术器械26(如图1所示)相同的机械自由度，以便向外科医生18提供控制输入36与器械26为一体化的远程呈现或感知，使得外科医生具有直接控制器械26的强烈意识。为此目的，位置、力和触觉反馈传感器(未显示)可以被采用以将位置、力和触觉感知从外科手术器械26通过控制输入36传送回到外科医生的手，这遭受通信延迟约束。需要注意的是，虽然为了示例性目的描绘和描述了带有固定查看器31和机械耦接的控制输入36的物理控制台16，但是在各种其他实施例中，能够使用“无基础的(ungrounded)”控制输入和/或显示结构。例如，在一些实施例中，查看器31能够是头戴式显示器和/或控制输入36能够机械地独立于任何基本结构(例如，有线、无线或基于手势的，如微软的kinect)。
50.外科医生的控制台16通常位于与患者相同的房间中，使得外科医生能够直接监视该过程，如果必要能够在实际存在，并且直接与患者侧助手通话，而不是通过电话或其他通信介质。然而，外科医生能够位于允许远程外科手术过程的与患者不同的房间、完全不同的建筑物或其他远程位置中。
51.图3是电子推车24的透视图。电子推车24能够与内窥镜28相耦接，并且电子推车24包括计算机处理器来处理捕获的图像用于随后显示，如在外科医生的控制台上或位于本地和/或远程的另一合适显示器上显示给外科医生。例如，如果使用立体内窥镜，电子推车24上的计算机处理器能够处理捕获的图像，以便向外科医生呈现外科手术部位的协调的立体图像。此类协调能够包括对置图像之间的对准，并且能够包括调整该立体内窥镜的立体工作距离。作为另一示例，图像处理能够包括使用之前确定的摄像机校准参数，以便补偿图像捕获装置的成像误差，如光学像差。任选地，电子推车中的装备可以被集成到外科医生的控制台或患者侧推车中，或者它可以分布于手术室中的各种其他位置。
52.图4图示地说明遥控外科手术系统50(诸如图1的微创遥控外科手术系统10)。外科医生的控制台52(诸如图1中的外科医生的控制台16)能够在微创过程期间由外科医生使用以控制患者侧推车54(诸如图1中的患者侧推车22)。患者侧推车54能够使用成像设备，诸如立体内窥镜，以捕获外科手术部位的图像并将捕获的图像输出到位于电子推车56(如图1中的电子推车24)上的计算机处理器。计算机处理器通常包括一个或更多个数据处理板，其打算用于执行存储在计算机处理器的非易失性存储器设备中的计算机可读代码。在一方面，计算机处理器能够在任何后续显示之前以各种方式处理捕获的图像。例如，计算机处理器能够利用虚拟控制界面对捕获的图像进行叠加，然后通过外科医生的控制台52向外科医生显示组合的图像。
53.另外或者替代地，捕获的图像能够由位于电子推车56外部的计算机处理器来进行图像处理。在一方面，遥控外科手术系统50包括类似于位于电子推车56上的计算机处理器的可选的计算机处理器58(如虚线所示)，并且在外科医生的控制台52上显示前，患者侧推车54将捕获的图像输出到计算机处理器58以用于图像处理。在另一方面，捕获的图像首先由电子推车56上的计算机处理器进行图像处理，且然后在外科医生的控制台52上显示之前，通过计算机处理器58进行额外的图像处理。遥控外科手术系统50能够包括可选的显示器60，如虚线所指示的。显示器60与位于电子推车56上的计算机处理器以及与计算机处理器58相耦接，并且由这些计算机处理器处理的捕获的图像除了被显示在外科医生的控制台52的显示器上之外也能够被显示在显示器60上。
54.图5a是示出根据一些实施例的使用一个或更多个机械支撑臂510执行外科手术过程的遥控外科手术系统10的部件的布置的示意性简化框图。系统10的方面包括机器人辅助的和自主手术的特征。这些机械支撑臂510经常支撑外科手术器械。例如，机械外科手术臂(例如，中心机械外科手术臂510c)可以用来支撑具有立体或三维外科手术图像捕获设备101c的内窥镜。机械外科手术臂510c可以包括无菌适配器、或钳子、夹子、螺钉、槽/沟，或其他紧固机构来将包括图像捕获设备101c的内窥镜机械地固定到机械臂。
55.用户或操作者o(一般为外科医生)通过操纵控制输入设备36(诸如，在主控制控制台16处的手柄和脚踏板)对患者p执行外科手术过程。操作者能够通过立体显示查看器31查看患者体内的外科手术部位的图像的视频帧。控制台16的计算机处理器58通过控制线159引导遥控控制的内窥镜外科手术器械101a-101c的运动，从而影响使用患者侧系统24(也称为患者侧推车)的器械的运动。
56.患者侧系统24包括一个或更多个机械支撑臂510。通常地，患者侧系统24包括至少三个机械外科手术臂510a-510c(一般称为机械外科手术支撑臂510)，其通过对应的定位设
定臂156来支撑。中心机械外科手术臂510c可以支撑内窥镜摄像机101c，其适合捕获在摄像机的视场内的图像。中间的左右两边的机械外科手术支撑臂510a和510b分别可以支撑可以操纵组织的器械101a和101b。
57.图5b是根据实施例的微创遥控外科手术系统10的患者侧推车500的透视图。患者侧推车500包括一个或更多个支撑臂组件510。外科手术器械操纵器512被安装在每个支撑臂组件510的末端处。此外，每个支撑臂组件510能够任选地包括一个或更多个设定接头(例如，无动力的和/或可锁定的)，其用于相对于患者定位附接的外科手术器械操纵器512以用于外科手术。如所描述的，患者侧推车500放置在地板上。在其他实施例中，患者侧推车的操作部分能够被安装到壁、安装到天花板、安装到也支撑患者身体522的手术台526或安装到其他手术室设备。进一步地，虽然患者侧推车500被显示为包括四个外科手术器械操纵器512，但是可以使用更多或更少的外科手术器械操纵器512。
58.功能性遥控外科手术系统一般将包括视觉系统部分，其使该遥控外科手术系统的用户能够从患者身体552的外面查看外科手术部位。该视觉系统通常包括用于捕获视频图像的摄像机器械528和用于显示所捕获的视频图像的一个或更多个视频显示器。在一些外科手术系统配置中，摄像机器械528包括光学装置，其从摄像机器械528的远端向患者身体522外面的一个或更多个成像传感器(例如，ccd或cmos传感器)传输图像。替代地，(一个或多个)成像传感器能够被定位在摄像机器械528的远端处，并且由(一个或多个)传感器产生的信号能够沿着引线传输或者无线地传输，以进行处理并在一个或更多个视频显示器上显示。视频显示器的一个示例是由加利福尼亚州的森尼韦尔市的直观外科手术操作公司商业化的在外科手术系统中的外科医生的控制台上的立体显示器。
59.参考图5a-5b，安装到每个外科手术器械操纵器512的是外科手术器械520，其在患者身体522内的外科手术部位处操作。每个外科手术器械操纵器512能够以各种形式被提供，以允许相关联的外科手术器械以一个或更多个机械自由度(例如，所有的六个笛卡尔自由度、五个或更少的笛卡尔自由度等)移动。通常地，机械或控制约束限制每个操纵器512围绕器械上的相对于患者处于静止的运动中心移动其相关联的外科手术器械，并且此运动中心通常位于器械进入身体的位置处。
60.在一方面，外科手术器械520通过计算机辅助的遥控来控制。功能性微创遥控外科手术系统包括控制输入，该控制输入从遥控外科手术系统的用户(例如，外科医生或其他医疗人员)接收输入。控制输入与一个或更多个计算机控制的遥控致动器通信，所述致动器诸如，外科手术器械520被耦接到的所述一个或更多个马达。以这种方式，外科手术器械520响应于控制输入的医疗人员的移动而移动。在一方面，一个或更多个控制输入被包含在外科医生的控制台(诸如图2处所示的外科医生的控制台16)中。外科医生能够操纵外科医生的控制台16的控制输入设备36，从而操作患者侧推车500的遥控致动器。由遥控致动器生成的力经由动力传动机构被转移，该动力传动机构将力从遥控致动器传送到外科手术器械520。
61.参考图5a-5b，在一方面，外科手术器械520和套管524被可移除地耦接到操纵器512，其中外科手术器械520通过套管524插入。操纵器512的一个或更多个遥控致动器整体移动外科手术器械512。操纵器512还包括器械托架530。外科手术器械520被可拆卸地连接到器械托架530。在一方面，器械托架530将一个或更多个遥控致动器容纳在里面，从而提供许多控制器运动，外科手术器械520使这些控制器运动转化成外科手术器械520上的末端执
行器的各种移动。因此，在器械托架530中的遥控致动器仅移动外科手术器械520的一个或更多个部件而不整体移动该器械。整体控制器械或者控制器械的部件的输入使得由外科医生或者其他医疗人员提供到控制输入(“主”命令)的输入被转化成外科手术器械的对应动作(“从”响应)。
62.根据一些实施例，外科手术系统10能够具有多个系统致动状态，包括对接(docked)、跟随(following)、器械类型(instrument type)和导向(head-in)。在对接系统状态期间，一个或更多个操纵器512已经被耦接到套管524。在跟随状态期间，外科手术器械(“从”)正在追踪控制输入(“主”命令)。在器械类型系统状态期间，该系统已经在其中安装了适合于执行特定外科手术过程或适合于在外科手术过程期间执行特定外科手术活动的一套器械。在导向系统状态期间，系统正在等待外科医生指示他/她已经掌控“主”控制输入设备。
63.在替代实施例中，器械托架530没有容纳遥控致动器。能够实现外科手术器械520的末端执行器的各种移动的遥控致动器被容纳在远离器械托架530的位置中，例如在患者侧推车500上的其他地方。基于电缆的力传输机构或类似物被用于将远程定位的遥控致动器中的每个的运动转移到位于器械托架530上的对应的与器械接口的致动器输出。在一些实施例中，外科手术器械520被机械地耦接到第一致动器，该第一致动器控制外科手术器械的第一运动，诸如纵向(z轴线)旋转。外科手术器械520被机械地耦接到第二致动器，该第二致动器控制外科手术器械的第二运动，诸如二维(x，y)运动。外科手术器械520被机械地耦接到第三致动器，该第三致动器控制外科手术器械的第三运动，诸如夹爪末端执行器的打开和关闭。
64.图5c是根据一些实施例的表示外科手术场景550并且也示出安装用于记录场景的摄像机528的内窥镜101c的示意图。场景550被设置在患者的体腔内。场景550包括示例性假设球面解剖结构552，该球面解剖结构包括几何轮廓554。场景550包含外科手术器械556。安装在内窥镜101c上的摄像机528捕获场景，该场景被显示在查看器31内并且被记录以用于稍后重放。
65.图6是外科手术器械520的侧视图，其包括通过具有细长管中心轴线611的细长管610耦接的远侧部分650和近侧控制机构640。外科手术器械520被配置成插入到患者的体内并且用于执行外科手术或诊断过程。外科手术器械520的远侧部分650能够提供各种末端执行器654中的任一个，诸如所示出的镊子、针驱动器、烧灼装置、切割工具、成像设备(例如，内窥镜或超声波探头)或者类似物。外科手术末端执行器654能够包括功能性机械自由度，例如打开或者关闭的夹爪，或者沿着路径平移的刀。在所示的实施例中，末端操纵器654通过腕部652被耦接到细长管610，从而允许末端执行器相对于细长管中心轴线611进行取向。外科手术器械520也能够包含(例如，在与器械相关联的半导体存储器上)存储的信息，该存储的信息可以是永久性的或可以通过被配置成操作外科手术器械520的外科手术系统更新。因此，外科手术系统可以提供外科手术器械520与外科手术系统的一个或更多个部件之间的单向或者双向信息通信。
66.图7是外科手术器械操纵器512的透视图。器械操纵器512被显示为没有安装外科手术器械。器械操纵器512包括器械托架530，外科手术器械(例如，外科手术器械520)能够被可拆卸地连接到该器械托架530。器械托架530容纳多个遥控致动器。每个遥控致动器包
括致动器输出705。当外科手术器械被安装在器械操纵器512上时，器械近侧控制机构(例如，图6处的近侧控制机构640)的一个或更多个器械输入(未显示)与对应的致动器输出705机械地耦接。在一方面，这种机械耦接是直接的，其中致动器输出705直接接触对应的器械输入。在另一方面，这种机械耦接通过中间接口发生，所述中间接口诸如被配置为在器械操纵器512与相关联的外科手术器械之间提供无菌屏障的帷帘的部件。
67.在一方面，通过对应的遥控致动器的一个或更多个器械输入的移动导致外科手术器械机械自由度的移动。例如，在一方面，安装在器械操纵器512上的外科手术器械是外科手术器械520，如图6所示。参考图6，在一方面，通过对应的遥控致动器的近侧控制机构640的一个或更多个器械输入的移动相对于近侧控制机构640围绕细长管中心轴线611旋转细长管610(和附接的腕部652和末端执行器654)。在另一方面，通过对应的遥控致动器的一个或更多个器械输入的移动导致腕部652的移动，从而相对于细长管中心轴线611对末端执行器654进行取向。在另一方面，通过对应的遥控致动器的一个或更多个器械输入的移动导致末端执行器654的一个或更多个可移动元件(例如，夹爪构件、刀构件等)的移功。因此，安装在器械操纵器512上的外科手术器械的各种机械自由度能够通过器械托架530的遥控致动器的操作而被移动。
68.注释记录的视频
69.图8示出示例性外科手术计划工具800的示意图。在一方面，外科手术计划工具800包括遥控外科手术系统50，该遥控外科手术系统50与电子医疗设备记录数据库830进行数据通信。在此所示的遥控外科手术系统50类似于图4处所示的遥控外科手术系统50。在一方面，电子医疗记录数据库830包括患者在特定医院或多个医院进行治疗的医疗记录。数据库830能够在位于医院现场的服务器上实现。数据库830中包含的医疗记录条目能够从医院计算机通过内部网络进行访问。替代地，数据库830能够在医院外定位的远程服务器上实现，例如使用多种云数据存储服务器中的一种。在这种情况下，数据库830的医疗记录条目被存储在云服务器上，并且能够通过计算机利用互联网接入来访问。
70.在一方面，使用遥控外科手术系统50对第一患者执行外科手术过程。与遥控外科手术系统50相关联的成像设备捕获外科手术部位的图像并且将捕获的图像作为视频帧显示在外科医生的控制台52的显示器上。在一方面，在外科医生的控制台52处的医疗人员使用外科医生的控制台52的输入设备标记或者注释在所显示的视频中示出的某一患者解剖结构。这种输入设备的一个示例是图2处所示的控制输入36，该控制输入36被耦接到与覆盖在所显示的视频上的图形用户界面相结合操作的光标。该图形用户界面能够包括qwerty键盘、定点设备(诸如鼠标)和交互式屏幕显示器、触摸屏显示器、或用于数据或者用于文本条目或声音注释/或通过麦克风和处理器的语音到文本的转换的其他装置。因此，医疗人员能够在所显示的图像中标记某些感兴趣的组织或录入文本注释。
71.在一方面，外科手术部位视频被附加地显示在位于电子推车56上的显示器上。在一方面，电子推车的显示器是触摸屏用户界面，其可由医疗人员使用，以标记或者注释在被显示用于在电子推车上的显示器上查看的图像上示出的患者解剖结构的某些部分。用户通过触摸显示在触摸屏用户界面上的患者解剖结构的部分能够标记所显示的图像的部分。此外，包括qwerty键盘的图形界面能够覆盖在所显示的图像上。用户能够使用qwerty键盘录入文本注释。
72.在一方面，由与遥控外科手术系统50相关联的成像设备捕获的外科手术部位视频除了实时地或接近实时地显示给用户外还被遥控外科手术系统50记录并且存储在数据库830上。由用户做出的与记录的视频相关联的标记和/或注释也能够被存储在数据库830上。在一方面，由用户做出的标记在其存储在数据库830上之前被嵌入有记录的视频。在稍后的时间，记录的视频能够被检索以用于查看。在一方面，查看记录的视频的人能够选择是否从视图显示或隐藏标记。类似地，与记录的视频相关联的注释也能够被存储在数据库830上。在一方面，由用户做出的注释被用于标识记录的视频，并且能够被用于提供为一种识别记录的视频中所包含的主题的手段。例如，一个注释可以描述某种疾病状态的状况。此注释被用于标识记录的视频。在稍后的时间，希望查看与这种疾病状态相关的记录过程的人能够使用关键字搜索来定位视频。
73.存储的视频检索
74.在一些情况下，期望的是医疗人员能够查看对给定患者执行的过去外科手术过程的视频记录。在一方面，先前经受第一外科手术过程治疗医疗状况的患者随后需要第二外科手术过程来治疗重复出现的同一医疗状况或治疗与第一外科手术过程的外科手术部位相邻的解剖结构。在一方面，第一外科手术过程的外科手术部位事件被捕获在外科手术部位视频记录中，并且该视频记录被存档在数据库830中，作为患者的电子医疗记录的一部分。在对患者执行第二外科手术过程之前，医疗人员能够执行数据库830的搜索以找出患者的较早外科手术过程的视频记录。
75.在一些情况下，期望的是计划对患者执行外科手术过程的医疗人员能够查看对具有某些类似于该患者的特性的人执行的类似外科手术过程的视频记录。在一方面，在每个视频记录被存档在数据库830中之前，外科手术过程的外科手术部位视频记录能够被标识有元数据信息，诸如患者的年龄、性别、体重指数、遗传信息、患者经受的手术类型等。在一方面，用于标识视频记录的元数据信息自动地从患者的现有医疗记录中检索，并且然后被用于在该视频记录被存档到数据库830中之前标识该视频记录。因此，在对患者执行医疗过程之前，医疗人员能够针对对与该患者具有某些共同特性的患者执行的类似过程的视频记录来搜索数据库830。例如，如果医疗人员计划使用遥控外科手术系统50对一个体重指数升高的65岁男性患者执行前列腺切除术，则该医疗人员能够针对使用遥控外科手术系统50对具有相似年龄并具有相似升高的体重指数的其他男性患者执行的前列腺切除术的外科手术部位视频记录来搜索数据库830。
76.在一方面，外科手术过程的视频记录通过数据库830通信到可选的个人计算机820(如虚线所示)，并且可用于由计划执行外科手术过程的医疗人员查看。另外地或替代地，较早的外科手术过程的视频记录能够通过数据库830通信到遥控外科手术系统50，并且可用于术前或术中查看。在一方面，视频记录通过遥控外科手术系统50被显示在位于外科医生的控制台52上的显示器上。在另一方面，第一外科手术过程的视频记录被显示在位于电子推车56上的显示器上。
77.基于云的视频数据库
78.在一方面，数据库830使用云数据存储服务器在远程服务器上实现，并且可供多个卫生保健提供者访问。参考图8，如虚线所示，外科手术计划工具800可选地包括遥控外科手术系统850(如虚线所示)和个人计算机840(如虚线所示)。在一方面，遥控外科手术系统850
类似于遥控外科手术系统50，并且个人计算机840类似于个人计算机820，除了遥控外科手术系统50和个人计算机820位于第一卫生保健提供者处，而遥控外科手术系统850和个人计算机840位于第二位置或甚至具有第二卫生保健提供者的第二位置处。在一方面，第一患者需要医疗状况的外科手术治疗，并且在第一卫生保健提供者处使用遥控外科手术系统50进行外科手术过程。外科手术过程的视频记录被存档在数据库830上。在稍后的时间，第二患者需要同一医疗状况的外科手术治疗，并且计划在第二卫生保健提供者处接受(receive)使用遥控外科手术系统850的外科手术治疗。在对第二患者执行外科手术过程之前，医疗人员通过安全网络连接访问数据库830，并且针对类似过程的外科手术部位视频记录搜索数据库830。在一方面，治疗第二患者的医疗人员能够从数据库830中检索第一患者的外科手术过程的视频记录，而不需要了解第一患者的身份。以这种方式，维护第一患者的隐私。在一方面，第一患者的外科手术过程的视频记录包括对第一患者进行治疗的医疗人员所做出的标记和/或注释。
79.基于计算机的形态匹配与分析
80.外科手术计划工具800能够包括形态匹配和分析算法，其以计算机可执行代码的形式来实现。在一方面，形态匹配和分析算法被存储在外科手术计划工具800的非易失性存储器设备中，并且被配置为分析数据库830中存档的视频记录。如之前讨论的，存档在数据库830中的每个视频记录能够被标识和/或嵌入某些元数据信息。此元数据信息能够包括患者信息，诸如患者年龄、性别和描述患者健康或医疗历史的其他信息。此外，如之前讨论的，元数据信息能够包括由医疗人员做出的标记或注释。在一方面，这些标记和注释被嵌入有视频记录，并且与数据库830中的视频一起被存档。
81.在一方面，形态匹配和分析算法包括图像分析部件，该图像分析部件识别存储在数据库830上的多个视频记录之中共享的形状和颜色的形态。形态匹配和分析算法然后检查与视频记录的子集相关联的标识的元数据，以确定任何单词和短语是否与该子集内的视频频繁关联。通过形态匹配和分析算法执行的这些分析能够被用于辅助医疗人员关于患者解剖结构、优选外科手术途径、疾病状态、潜在并发症等做出决定。
82.使用外科手术计划工具的方法
83.图9示出使用外科手术计划工具的方法900。在一方面，外科手术计划工具与图8处的外科手术计划工具800相似。在910处，描述医疗患者的事实或特性(例如患者遭受的医疗状况)由医疗设备接收。医疗设备能够经由位于遥控外科手术系统(例如，图1处的遥控外科手术系统10或图4处的遥控外科手术系统50)上的用户接口来接收这种事实或情况，或者替代地，通过类似于图8处的个人计算机820的个人计算机来接收这种事实或情况。在920处，医疗设备使用在910处接收到的事实或特性从医疗设备数据库检索外科手术过程的至少一个相关视频记录。在930处，医疗设备使用视频记录确定外科手术计划信息。在一方面，外科手术计划信息包括在记录的过程中使用的器械类型。在940处，医疗设备向用户显示在930处确定的外科手术计划信息。
84.图10是根据一些实施例的表示在计算机可读存储设备1004中的存储图集1002的示意图。存储图集1002包括第一数据信息结构1006，其指示之前执行的外科手术过程的实例。第一数据信息结构1006的每个不同实例对应于不同的外科手术。与各个外科手术事件相关联的第二数据信息结构1008在对应的时间间隔(t1、t2、
……
tn)使运动图图像片段
(mpi1、mpl2、
……
mpin)与运动学信息片段(kin1、kin2、
……
kinn)相关联、与外科手术系统致动状态(astate1、astate2、
……
astaten)相关联以及与对应的注释(anot1、anot2、
……
anotn)相关联。基于给定类型的多个外科手术事件产生的第一控制信号规则信息结构1010使运动学/图像签名/致动状态组合与控制信号相联，例如(sigk1、sigi1、astate1、cntl
kia1
)
……
(sigkn、sigin、astaten、cntl
kian
)。第一规则信息结构1010的每个不同实例对应于不同的外科手术类别。与各个外科手术事件相关联的第三数据信息结构1012在对应的时间间隔(t1、t2、
……
tn)使运动图图像片段(mpi1、mpl2、
……
mpin)与触觉信息片段(hap1、hap2、
……
hapn)相关联。基于给定类型的多个外科手术事件产生的第二诊断规则信息结构1014使诊断图像签名(sigi
diag1
、sigi
diag2
、
……
sigi
diagm
)与诊断运动学签名(sigk
diag1
、sigk
diag2
、
……
sigk
diagm
)相关联和与诊断(diag1、diag2、
……
diagm)相关联。第二诊断规则信息结构1014的每个不同实例对应于不同的外科手术类别。
85.根据一些实施例，图像信息能够为跨越整个可见光谱、荧光、高光谱、ct/mri的视频图像的形式。图像信息或这些图像信息中的一些的组合能够作为用于评估疾病状态/确定诊断的基础。
86.图11是表示根据一些实施例的被包括在存储设备1004中的图集1002内的第一数据信息结构1006的示例性实例的示意图，其包括关于各个外科手术过程的信息。应当理解的是，由许多不同外科医生使用本文描述的机器人辅助的外科手术系统的许多不同实例对多个不同的患者执行多次外科手术过程。第一数据信息结构1006的实例能够针对被执行的每个外科手术过程被产生并且存储在计算机可读存储设备中。例如，示例性第一数据信息结构1006包括外科手术类型字段1006-1，其指示外科手术的类型，诸如前列腺切除术、子宫切除或部分肾切除术。
87.例如，示例性第一数据信息结构1006包括患者健康记录字段1006-2，其提供关于在做手术的患者的信息，诸如年龄、体重、血型、身高、性别和种族。例如，示例性第一数据信息结构1006包括医师信息字段1006-3，其提供关于执行各个手术的外科医生的信息，诸如大体的经验水平和操作机器人辅助的外科手术系统的经验水平。例如，示例性第一数据信息结构1006包括外科手术系统字段1006-4，其提供关于用于执行手术的外科手术系统的信息，诸如制造、模型和序列号。例如，示例性第一数据信息结构1006包括外科手术记录字段1006-5，其提供在外科手术过程期间使用系统提供的诸如运动图图像、器械运动学和触觉反馈的信息。示例性第一数据信息结构1006包括外科手术记录字段1006-6，其提供注释信息，诸如包含描述性信息的已经与示例性第一数据信息结构1006内的图像信息、运动学信息或触觉信息相关联的标识。
88.图12是表示根据一些实施例的包括在存储设备1004中的图集1002内的第二数据信息结构1008的示例性实例的示意图，其关联来自各个外科手术过程的所记录的运动图图像片段、对应的外科手术器械运动学信息片段、对应的外科手术系统致动状态和对应的注释。示例性第二数据信息结构1008在第一数据信息结构1006的记录字段1006-5内提供额外的信息细节。在一方面，患者解剖结构的运动图图像、对应的外科手术器械运动学和对应的外科手术系统致动状态被记录，并且在外科手术期间进行时间戳记(t1、t2、
……
tn)，以产生外科手术活动的时序记录和在该外科手术过程期间的对应的外科手术器械运动学。在一些实施例中，运动图图像也包含用于在外科手术期间在解剖结构上操作的外科手术器械的
图像。时间戳记将运动图图像与外科手术器械运动学临时配准。
89.在外科手术期间，用户(例如外科医生或外科手术团队的其他成员)可利用元数据注释记录的运动图信息和相关联的记录的外科手术器械运动学信息，其指示对应的外科手术活动，例如，诸如解剖或缝合、解剖学特征、特定的外科手术复杂性、外科医生观察或过程的阶段。例如，注释可以包括标识到记录的运动图信息和/或记录的外科手术器械运动学信息的编写笔记、视频记录中的图像的颜色或标记(例如，远程图解(telestration))中的一个或更多个，或者是其组合。例如，注释可以稍后被添加到时间戳记的记录的图像信息和/或记录的运动学信息。
90.应当理解的是，在遥控外科手术过程期间，外科手术活动能够出现，从而导致外科手术系统致动状态的改变。外科医生可以将他的头移动到查看器31中并且从查看器31移出，从而导致导向状态的改变。例如，外科医生可以将他的手或脚移动接触或不接触控制器输入36，从而导致跟随状态的改变。例如，使用中的器械的组合可以被改变，从而导致器械类型状态的改变。
91.外科手术器械支持在一个或更多个外科手术状态中的外科手术活动的操作导致在外科手术系统内的指示器械运动的运动学信息的产生，该器械运动指示外科医生执行外科手术活动的实际方式。例如，外科医生可能已经迅速或缓慢地移动器械。例如，外科医生可能已经在一个方向上朝向解剖结构或在一个方向上远离解剖结构沿着一个或另一个路径移动外科手术器械。例如，外科医生在致动特定器械之前可能已经调整不同器械的位置。应当理解的是，所记录的解剖结构图像信息和所记录的器械运动学信息的组合以及所记录的系统致动状态提供在外科手术期间呈现给外科医生什么图像以及外科医生从事的哪些活动与这些图像有关以及当时的外科手术系统是什么系统致动状态的记录。对应的注释能够对在外科手术过程中记录的相关联的图像和运动学提供额外的了解。注意：虽然运动学信息能够直接从外科手术系统(例如，经由接头数据或其他机械跟踪)中导出，但是在各种其他实施例中，运动学信息能够从图像处理或传感器数据(例如，内窥镜图像内的工具/器械跟踪)中提取。
92.图13a-13c是示出根据一些实施例的示例性外科手术器械1202和致动器组件1203的示意图，其中外科手术器械以三种不同的示例性器械致动状态被示出。示例性器械1202包括夹爪末端执行器1204，该夹爪末端执行器1204能够在打开状态和关闭状态之间转变，以及连续在其间的部分打开/部分关闭状态之间转变。示例性器械1202也包括二自由度(2-dof)腕部1206，其能够在不同的二维(x、y)位置状态之间移动。示例性致动器组件1203包括第一致动器1208，在一些实施例中该第一致动器1208包括用于致动夹爪末端执行器1204的夹爪马达(jm)。示例性致动器组件1203包括第二致动器1210，在一些实施例中该第二致动器1210包括用于致动腕部1206的腕部马达(wm)。在外科手术期间，外科手术器械1202可以转变通过对应于在外科手术过程期间的不同活动的各种器械致动状态。每次转变导致运动学信息的生成，该运动学信息被捕获和存储并且指示随着器械从在一种状态下的其物理位置和部署(如，打开的或关闭的)转变到在下一种状态下的其物理位置和部署的器械运动。如图13a中所表示的，例如，外科手术过程可涉及第一外科手术活动，其中第一致动器1208(jm)将夹爪末端执行器1204布置成完全打开状态，并且第二致动器1210(wm)将腕部1206布置成第一位置状态(x1、y1)。如图13b中所表示的，例如，外科手术过程可涉及第二外科手术
活动，其中第一致动器1208将夹爪末端执行器1204转变到完全关闭状态，并且第二致动器1210将腕部1206转变到第二位置状态(x2、y2)。如图13c中所表示的，例如，外科手术过程可涉及第三外科手术活动，其中第一致动器1208将夹爪末端执行器1104布置成部分打开/部分关闭状态，并且第二致动器1210将腕部1206转变到第三位置状态(x3、y3)。
93.图14是表示根据一些实施例的被包括在存储设备1004中的图集1002内的第一控制信号规则信息结构1010的示例性实例的示意图，其包括关联运动学签名信息、图像签名信息和系统致动状态信息与控制信号的规则。该规则基于来自在第一和第二数据信息结构1006、1008中所表示的先前外科手术的数据来开发。第一规则将解剖图像、器械运动学和系统状态的形态与用于控制系统操作或在外科手术期间向外科医生提供引导的控制信号关联。
94.根据一些实施例，运动学签名包括多维矢量。在一些实施例中，例如，将器械的记录的运动学运动被分解为表示运动学特征的多个矢量，该运动学特征诸如瞬时速度、瞬时加速度、瞬时三维位置、当前运动路径和预测的运动路径。不仅器械的运动和位置，而且该器械的背景(诸如解剖结构相对于该器械的物理位置、其他器械的物理位置、患者的健康和外科手术的性质)与运动学信息的解释有关。而且，之前的器械运动能够与评估有关，例如器械下一步移动到的位置，其至少部分地基于器械运动学。因此，在一些实施例中，例如，器械运动学矢量还包括指示解剖结构的位置、其他器械的位置、患者健康、外科手术的类型和器械的先前运动的矢量。
95.根据一些实施例，图像签名包括多维矢量。例如，在一些实施例中，解剖结构的记录的运动图图像被分解成多个矢量，其表示图像特征，诸如颜色、纹理和几何形状。而且，在卷积神经网络中，存在较低级的特征(例如，颜色边缘等)；在随后的层中，获悉较高级的特征，最终导致例如解剖结构或组织类型的分类。不仅解剖结构的外观，而且该解剖结构的背景(诸如患者的健康、外科手术的性质、外科医生在特定类型的机器人辅助外科手术中的技能水平，以及系统状态是否指示当前系统中安装了正确的外科手术器械)与解剖图像的解释有关。而且，在外科手术过程中的解剖结构的外观的改变能够与解剖图像的解释有关。因此，在一些实施例中，例如，图像矢量还包括指示患者健康记录信息、外科手术类型以及在不同外科手术阶段解剖图像外观的比较的矢量。
96.根据一些实施例，不同的控制信号与图像签名、运动学签名和致动系统状态的不同组合相关联。在一些实施例中，一些控制信号控制器械致动状态。例如，图像签名、运动学签名和致动系统状态的某些组合可对应于不安全的外科手术活动，并且对应的控制信号可以操作使外科手术系统冻结器械的运动，和/或向外科医生生成通知(例如，可视的、可听见的和/或触觉警告，或相关引导/信息可用的指示)。例如，器械运动在摄像机的视场之外。替代地，例如，图像签名、运动学签名和致动系统状态的某些组合可对应于特别精细的外科手术活动，并且对应的控制信号可以操作使外科手术系统降低器械运动的速率到安全速度或可以限制器械的运动范围以避免损伤或可以向外科医生生成建议通知(例如，查看器内显示的纠正/警告信息的叠加，或相关引导/信息的入口的呈现)。例如，在前列腺切除术期间保留神经，或在二尖瓣修复期间缝合。
97.根据一些实施例，机器学习技术能够被用于生成图像签名并生成运动学签名。更具体地，例如，分类器能够与专家知识一起使用，以将图像签名和运动学签名与控制信号相
关联。基于例如专家外科医生输入，对第一和第二数据信息结构1006、1008内的外科手术数据进行评估，以在不同的解剖图像、器械运动学和外科手术系统状态的背景下确定合适的系统操作。影响确定的系统操作的控制信号在第一规则信息结构1010中与解剖图像签名、器械运动学签名和系统状态相关联。根据一些实施例，图像签名和运动学签名能够与系统状态信息被组合在一起，以产生对应于控制信号的一个总体签名。
98.图15是表示根据一些实施例的至少部分基于解剖图像信息、器械运动学和系统状态产生控制信号的过程1502的示意流程图。根据一些实施例，计算机处理器58被配置成执行过程1502。在执行外科手术过程期间，规则块1504基于在外科手术期间的运动图图像、器械运动学和外科手术系统状态以及来自第一规则信息结构1010的规则确定是否引起控制信号的发射。
99.更具体地，在使用系统10执行外科手术过程期间，规则块1504接收在外科手术期间生成的运动图图像信息，接收在外科手术期间生成的器械运动学信息并且接收在外科手术期间生成的系统状态信息。摄像机528在外科手术期间捕获运动图信息。计算机处理器58在块1506处向规则块1504提供对应的图像信息。器械致动器(诸如致动器1208、1210)接收在外科手术期间导致器械运动的致动命令。计算机处理器58在块1508处基于致动命令确定器械运动学信息，并且向规则块1504提供运动学信息。该系统包括感测系统状态的传感器(未显示)，所述系统状态诸如操作者是否已经将他的头放置于查看器，操作者是否已经接合控制输入与手和/或脚36，以及哪些器械被插入使用。计算机处理器58在块1510处向规则块1504提供系统状态信息。
100.同样，在外科手术过程期间，控制信号规则存储块1512向规则块1504提供来自第一控制信号规则信息结构1010的第一规则块部分1010a内的图像签名信息、运动学签名信息和系统致动状态信息。规则块1504将块1506、1508、1510提供的图像、运动学和系统信息分别与来自第一规则块部分1010a的相关联的图像签名(sigi)、运动学签名(sigk)和系统状态(astate)信息进行比较。应当理解的是，在一些实施例中，计算机处理器58被配置为将由系统10生成的图像、运动学和系统信息转化为适合与来自控制信号规则信息结构1010的第一部分1010a的签名和状态信息进行比较的格式。特别地，在一些实施例中，对原始图像/运动学/系统状态进行处理，以导出一个分类(信号/概率)，该分类然后在表中查找以基于确定的分类确定采取何种动作。
101.决定模块1506在提供的图像、运动学和系统状态信息与来自第一规则块部分1010a的规则信息之间确定是否发生匹配。应当理解的是，在机器学习实施例中，基于图像、运动学和系统状态信息与规则信息之间的相似范围来确定匹配。因此，例如，在某一规则的某阈值极限内的生成的图像、生成的运动学和生成的系统状态信息的组合被确定以匹配该规则。
102.响应于确定图像、运动学和系统状态信息的组合与规则之间的匹配，块1514从控制信号规则信息结构1010的第二规则部分1010b内发射控制信号，这相当于匹配规则。例如，响应于确定在外科手术期间接收的图像、运动学和系统状态信息匹配第一部分1010a的sigi2、sigk2和astat2，块1516从控制信号信息结构1010的第二部分101b内发射信号cntl
ika2
。因此，发射的控制信号取决于实际的系统信息。而且，发射的控制信号能够操作以控制器械致动。例如，控制信号能够被发射，以阻止某个器械运动，诸如避免与另一器械碰
撞。例如，控制信号能够被发射，以控制某个器械运动如何发生，诸如通过限制速度的速率。例如，控制信号能够被发射，以控制器械下一步做什么，诸如将器械移到中立位置以防止与外科医生接下来可能使用的器械发生碰撞。当未检测到匹配时，决定模块将控制流程反馈到规则块1504。类似地，在控制信号的发射之后，控制流程返回到规则块1504，以继续将外科手术期间生成的图像、运动学和系统信息与来自控制信号信息结构1010的规则进行比较。
103.图16是表示根据一些实施例的包括在存储设备1004的图集1002内的第三数据信息结构1012的示例性实例的示意图，其将所记录的运动图图像片段与触觉信息片段相关联。示例性第三数据信息结构1012提供第一数据信息结构1006的记录字段1006-5内的信息的额外细节。在一方面，在外科手术期间赋予外科医生/操作者的患者解剖结构和对应的触觉反馈信息的运动图图像被记录并进行时间戳记(tl、t2
……
tn)，以产生在外科手术过程期间外科医生所观察到的内容和外科医生通过控制输入处的物理触摸感觉所感测到的内容的时序记录。时间戳记将运动图图像与外科手术器械运动学临时配准。
104.触觉通常描述触摸反馈，其可以包括动觉(力)和皮肤(触觉)反馈，以及振动和移动。在遥控外科手术系统中，由于外科医生不直接操纵器械，因而自然触觉反馈被极大地消除。参考图6，根据一些实施例，安装在外科手术器械520的患者侧上的人工触觉传感器660能够获取触觉信息，并且在外科医生侧上的触觉显示器将感测的信息传送给外科医生。参考图5a，动觉或力反馈系统通常测量或估计通过外科手术器械施加到外科手术场景内的患者解剖结构的力，并且经由安装在控制输入36上的力反馈设备39向外科医生的手提供分解的力。触觉反馈能够被用于提供信息，诸如局部组织变形和分布在组织表面上的压力。
105.再次参考图16，第三数据信息结构1012将运动图信息片段和递送到力反馈设备39的即时触觉反馈信息相关联。因此，在第三数据信息结构中的数据能够表示外科医生在外科手术过程期间的视觉和触觉输入的记录。此信息能够被用于帮助训练外科医生的机械技术并且也用作帮助训练外科医生诊断。
106.图17是表示根据一些实施例的配置遥控机器人辅助的外科手术系统重放外科手术经历的过程1702的示意流程图。根据一些实施例，计算机处理器58被配置为执行过程1702。处理器58使用记录的运动图信息来配置摄像机528，以在查看器处重放记录的运动图。处理器58使用记录的触觉信息来配置力反馈设备39，以在控制输入36处赋予记录的触觉反馈。在一些实施例中，力反馈设备39包括振动触觉设备。
107.应当理解的是，此重放能够有助于训练外科医生基于该外科医生自身的先前外科手术经历或基于另一外科医生的外科手术经历而更有效地使用外科手术系统。通过观看查看器31和触摸控制输入36，同时图像和对应的触觉反馈力被重放，外科医生能够经历所记录的外科手术。例如，外科医生然后能够试验交替的外科手术方法，并且将在这些交替的方法期间的视觉和触觉感受与先前外科手术的视觉和触觉感受进行比较。图18是表示根据一些实施例的包括在存储设备1004中的图集1002内的第二诊断规则信息结构1014的示例性实例的示意图，其包括关联图像签名信息和触觉反馈信息与诊断的规则。该规则基于来自第一和第三数据信息结构1006、1012中所表示的先前外科手术的数据而被开发。第二规则将解剖图像和触觉反馈的形态与诊断关联。
108.如以上所解释的，图像签名包括多维矢量。此外，根据一些实施例，触觉反馈签名
包括多维矢量。根据一些实施例，所记录的触觉反馈被分解成为多个矢量，其表示触觉反馈特征，诸如反馈力的位置、频率和强度。不仅反馈力的位置、频率和强度，而且反馈力的背景(诸如患者的健康和外科手术的性质)与反馈信号的解释相关。因此，例如，在一些实施例中，多维触觉反馈矢量也包括指示患者健康和外科手术类型的矢量。
109.根据一些实施例，机器学习技术能够被用于生成图像签名并且生成触觉反馈签名。更具体地，例如，分类器能够与专家知识一起被使用，以将图像签名和触觉签名与诊断关联。基于例如专家外科医生输入，对在第一和第三数据信息结构1006、1012内的外科手术数据进行评估，以在不同解剖图像以及触觉反馈力的背景下确定合适的诊断。根据一些实施例，图像签名和触觉签名能组合在一起，以产生对应于诊断的一个总体签名。
110.图19是表示根据一些实施例的至少部分基于解剖图像信息和触觉反馈信息产生诊断的过程1902的示意流程图。根据一些实施例，计算机处理器58被配置为执行过程1902。在执行外科手术过程期间，基于在外科手术期间的运动图图像和触觉反馈力以及来自第二规则信息结构1014的规则，规则块1904确定是否报告诊断。
111.更具体地，在使用系统10执行外科手术过程期间，规则块1904接收在外科手术期间生成的运动图图像信息，并且接收在外科手术期间生成的触觉反馈信息。摄像机528在外科手术期间捕获运动图信息。计算机处理器58在块1906处向规则块1904提供对应的图像信息。触觉反馈力设备39生成触觉反馈力。计算机处理器58在块1908处基于致动命令确定触觉反馈力信息并且向规则块1904提供运动学信息。
112.同样，在外科手术过程期间，诊断规则存储块1912向规则块1904提供来自诊断规则信息结构1014的第一规则块部分1014a的图像签名信息和触觉反馈信息。规则块1904将由块1906、1908提供的图像和触觉反馈信息分别与来自规则诊断结构1014的第一规则块部分1014a的相关联的图像签名(sigi)和触觉反馈签名(sigh)进行比较。应当理解的是，在一些实施例中，计算机处理器58被配置将由系统10生成的图像和触觉反馈信息转化成适合与来自诊断规则信息结构1014的第一部分1014a的签名和状态信息进行比较的格式。
113.决定模块1914确定在提供的图像和触觉反馈信息与来自诊断规则信息结构1014的第一规则部分1014a的规则信息之间是否出现匹配。应当理解的是，在机器学习实施例中，基于图像和触觉信息与规则信息之间的相似范围来确定匹配。因此，例如，在某一规则的某阈值极限内的生成的图像和生成的触觉信息的组合被确定以匹配该规则。
114.响应于确定图像、运动学和系统状态信息的组合与规则之间的匹配，块1914从第一控制信号规则信息结构1010的第二规则块1010b部分内发射控制信号，这相当于匹配规则。例如，响应于确定外科手术过程期间接收的图像和触觉反馈信息匹配诊断信息结构1014的第一部分1014a中sigi2和sigh2，块1916报告在查看器31上，诊断diag1形成诊断信息结构1014的第二部分。因此，在外科手术期间的诊断取决于外科手术期间生成的实际系统信息和许多先前外科手术中记录的信息。在过程1902期间，当没有检测到匹配时，决定模块1914将控制流程反馈到规则块1904。类似地，在诊断后，流程控制返回规则块1904，以继续将外科手术期间生成的图像和触觉与来自诊断规则信息结构1014的规则进行比较。
115.尽管已经示出和描述说明性实施例，但是在上述公开中设想广泛的修改、更改和替代，并且在一些实例中，可以采用实施例的一些特征而其他特征不对应使用。本领域的一个普通技术人员将意识到许多变化、替代和修改。因此，本公开的范围应当仅由随附的权利
要求来限定，并且宽泛地且以与本文公开的实施例的范围相一致的方式来构建权利要求是合适的。