用于在外科手术期间控制图像捕获设备的方法、装置、以及系统与流程

1.本公开涉及一种用于在外科手术期间控制图像捕获设备的方法、装置、以及系统。


背景技术：

2.此处提供的“背景技术”的描述用于整体呈现本公开的上下文之目的。在背景部分中描述的范围内，目前命名的发明人的作品以及在提交之时不可另行具备现有技术的资格的描述的各方面既未明确、亦未默示地承认为本发明的现有技术。
3.近年来，已经在医疗系统与装备中实现了显著的技术发展。诸如机器人外科手术系统的计算机辅助外科手术系统现在在外科手术期间通常与人类外科医生一起工作。这些计算机辅助的外科手术系统包括主从型机器人系统，其中，人类外科医生操作主装置，以在外科手术期间控制从属设备的操作。
4.在外科手术环境中使用诸如机器人相机系统的计算机辅助相机系统，以为人类操作人员或外科医生提供关键的视觉信息。这些计算机辅助的相机系统可以配备有捕获并且提供场景内的外科手术动作视野的单一相机。可替代地，这些计算机辅助的相机系统可以包括各自捕获场景内的外科手术动作的给定视野的多个相机。
5.在某些情况中，在外科手术期间可能必须对由铰接臂支撑的医学图像捕获装置进行重新定位(例如，通过铰接臂的移动)。如果由计算机辅助的相机系统提供的外科手术场景的视野变得受阻，则可能需要此操作。可替代地，当外科医生进行外科手术程序时，由于外科手术场景的计算机辅助相机系统在各个不同的外科手术阶段对视野存在不同的需求，可能需要此操作。
6.然而，外科手术场景固有地复杂，涉及多个独立移动的部件。相机系统的不必要的重新定位可能延迟操作并且引起患者不必要的风险。
7.进一步地，对医学图像捕获装置进行重新定位的阻力可能导致外科医生在外科手术程序期间要容忍某些次优视点。具体地，这可能存在其中外科医生无法轻易识别所改进的相机位置的情况。本公开的目的是解决这些问题。


技术实现要素：

8.根据本公开的第一方面，提供一种用于在外科手术期间控制医学图像捕获设备的系统，系统包括：电路，被配置为：接收场景的附加信息以及由医学图像捕获设备从第一视点捕获的外科手术场景的第一图像；根据附加信息以及外科手术场景的先前视点信息来为医学图像捕获设备确定一个或多个候选视点，外科手术场景的图像从该一个或多个候选视点获得；根据外科手术场景的第一图像来提供针对一个或多个候选视点中的每个候选视点的来自候该选视点的外科手术场景的模拟图像；并且控制医学图像捕获设备从与对外科手术场景的一个或多个模拟图像中的一个模拟图像的选择相对应的候选视点获得外科手术场景的图像。
9.根据本公开的第二方面，提供一种在外科手术期间控制医学图像或者设备的方法，方法包括：接收场景的附加信息以及由医学图像捕获设备从第一视点捕获的外科手术场景的第一图像；根据附加信息以及外科手术场景的先前视点信息来为医学图像捕获设备确定一个或多个候选视点，外科手术场景的图像从该一个或多个候选视点获得；根据外科手术场景的第一图像提供针对一个或多个候选视点中的每个候选视点的来自该候选视点的外科手术场景的模拟图像；并且控制医学图像捕获设备从与对外科手术场景的一个或多个模拟图像中的一个模拟图像的选择相对应的候选视点获得外科手术场景的图像。
10.根据本公开的第三方面，提供一种包括指令的计算机程序产品，当由计算机执行程序时，指令使计算机在外科手术期间完成控制医学图像捕获设备的方法，方法包括：接收场景的附加信息以及由医学图像捕获设备从第一视点捕获的外科手术场景的第一图像；根据附加信息以及外科手术场景的先前视点信息来为医学图像捕获设备确定一个或多个候选视点，外科手术场景的图像从该一个或多个候选视点获得；根据外科手术场景的第一图像提供针对一个或多个候选视点中的每个候选视点的来自该候选视点的外科手术场景的模拟图像；并且控制医学图像捕获设备从与对外科手术场景的一个或多个模拟图像中的一个模拟图像的选择相对应的候选视点获得外科手术场景的图像。
11.根据本公开的实施方式，用于在外科手术期间控制图像捕获设备的装置能够使得外科医生在外科手术期间考虑计算机辅助相机系统的可替代视点，而无需对相机进行反复地重新定位，由此能够使得优化计算机辅助相机系统视点战略，而不导致外科手术程序不必要的延迟。本公开并不具体地局限于这些有利的效果，当读取本公开时，可能存在对本领域技术人员变得显而易见的其他效果。
12.已经通过整体介绍提供了上述段落，并且上述段落并不旨在限制下列权利要求的范围。通过参考结合所附附图展开的下列细节描述，能够很好地一起理解所描述的实施方式与进一步的优点。
附图说明
13.当结合所附图考虑时，由于通过参考下列细节描述而变得更易于理解，易于获得对本公开及许多附加优点的更为完整的认识。
14.图1是示出能够应用根据本公开的医疗支撑臂设备的内窥镜外科手术系统的示意性配置的示例的图。
15.图2是示出图1中所示出的相机头与cuu的功能配置的示例的框图。
16.图3是示出根据本公开的使用例主装置的说明图。
17.图4示出可以应用本公开的实施方式的示例性外科手术情形。
18.图5示出根据本公开的实施方式的由图像捕获设备从第一视点捕获图像的示例。
19.图6示出根据本公开的实施方式的用于在外科手术期间控制图像捕获设备的装置。
20.图7示出根据本公开的实施方式的能够用于确定候选视点的示例性查找表。
21.图8示出根据本公开的实施方式的候选视点的模拟图像的示例性例图。
22.图9示出根据本公开的实施方式的用户界面的示例性例图。
23.图10示出根据本公开的实施方式的在选择候选视点之后由图像捕获设备所捕获
的图像的示例性例图。
24.图11示出根据本公开的实施方式的用于在外科手术期间控制图像捕获设备的装置。
25.图12示出根据本公开的实施方式的用户界面的示例性例图。
26.图13示出根据本公开的实施方式的计算机辅助外科手术系统的示例性设置。
27.图14示出根据本公开的实施方式的在外科手术期间控制图像捕获设备的方法。
28.图15示出根据本公开的实施方式的用于在外科手术期间控制图像捕获设备的计算设备。
29.图16示意性地示出可应用本技术的计算机辅助外科手术系统的第一示例。
30.图17示意性地示出可应用本技术的计算机辅助外科手术系统的第二示例。
31.图18示意性地示出可应用本技术的计算机辅助外科手术系统的第三示例。
32.图19示意性地示出可应用本技术的计算机辅助外科手术系统的第四示例。
33.图20示意性地示出臂单元的示例。
具体实施方式
34.现参考附图，其中，贯穿若干幅图，类似参考标号指相同或对应的零部件。
35.《《1.基本配置》》
36.首先，将参考本公开的图1至图3对可以应用本公开的实施方式的内窥镜外科手术系统的基本配置进行描述。
37.《1.1.内窥镜外科手术系统的配置例》
38.图1是示出能够应用根据本公开的技术的内窥镜外科手术系统5000的示意性配置的示例的图。图1示出操作人员(医生)5067使用内窥镜外科手术系统5000对病床5069上的患者5071进行外科手术的状态。如示出的，内窥镜外科手术系统5000由内窥镜5001、其他外科手术工具5017、及支撑内窥镜5001的支撑臂设备5027、以及其上安装用于内窥镜外科手术的各种设备的手推车5037构成。
39.在内窥镜外科手术中，利用被称为套管针(trocar)5025a至5025d的多个管状开孔仪器对腹壁进行穿刺，而非切割腹壁来打开腹部。
40.然后，通过套管针5025a至5025d将内窥镜5001的镜筒5003及其他外科手术工具5017插入到患者5071的体腔中。在示出的示例中，将吹气管5019、能量治疗工具5021、以及镊子5023作为其他外科手术工具5017插入到患者5071的体腔中。进一步地，能量治疗工具5021指使用高频电流或超声振动执行组织的切割与剥离、血管的缝合等的治疗工具。然而，所示出的外科手术工具5017仅是示例，并且可以使用内窥镜外科手术中通常使用的各种外科手术工具(例如，钳子、牵开器)作为外科手术工具5017。
41.在显示设备5041上显示由内窥镜5001捕获的患者5071的体腔中的手术部位的图像。例如，操作人员5067在实时观察由显示设备5041显示的手术部位的图像的同时使用能量治疗工具5021或镊子5023执行切除受感染的部位的治疗。应注意，尽管未示出，然而，在外科手术期间，吹气管5019、能量治疗工具5021、以及镊子5023由操作人员5067、助手等支撑。
42.(支撑臂设备)
43.支撑臂设备5027包括从基部单元5029延伸的臂单元5031。在示出的示例中，臂单元5031指由关节5033a、5033b、与5033c以及连杆5035a和5035b构成的多关节臂、并且通过来自臂控制设备5045的控制而驱动。臂单元5031具有能够与内窥镜5001连接的远端。内窥镜5001由臂单元5031支撑、并且控制其位置和姿势。利用配置，可以实现内窥镜5001的位置的稳定固定。
44.(内窥镜)
45.内窥镜5001由镜筒5003和相机头5005构成，镜筒5003具有距插入到患者5071的体腔中的远端的预定长度区域，并且相机头5005连接至镜筒5003的近端。尽管在示出的示例中示出被配置成具有刚性镜筒5003的所谓刚性镜体的内窥镜5001，然而，内窥镜5001可以被配置成具有柔性镜筒5003的所谓柔性镜体。
46.在镜筒5003的远端处设置物镜适配的开口部分。光源设备5043连接至内窥镜5001，并且通过在镜筒5003内延伸的光导将由光源设备5043生成的光引导至镜筒的远端并且通过物镜使光朝向患者5071的体腔中的观察对象发射。应注意，内窥镜5001可以是直视镜、斜视镜、或侧视镜。
47.在相机头5005内设置光学系统和成像元件，并且通过光学系统使来自观察对象的反射光(观察光)聚集在成像元件上。通过成像元件对观察光进行光电转换，并且生成与观察光对应的电信号，换言之，与观察图像对应的图像信号。将图像信号作为原数据发送至相机控制单元(ccu)5039。
48.应注意，相机头5005配备有通过适当地驱动光学系统而调整放大率和焦距的功能。
49.应注意，例如，可以在相机头5005中设置多个成像元件，以解决立体观察(3d显示)等。在这种情况下，在镜筒5003内设置多个中继光学系统，以将观察光引导至多个成像元件中的每个成像元件。
50.(手推车中配备的各种设备)
51.使用中央处理单元(cpu)、图形处理单元(gpu)等配置ccu 5039，并且ccu 5039整体控制内窥镜5001与显示设备5041的操作。
52.具体地，ccu 5039对从相机头5005接收的图像信号执行各种类型的图像处理，例如，显影处理(去马赛克处理)等，以基于图像信号显图像。ccu 5039将经过图像处理的图像信号提供至显示设备5041。进一步地，ccu 5039将控制信号发送至相机头5005并且控制相机头5005的驱动。控制信号可以包括关于诸如放大率和焦距的成像条件的信息。
53.显示设备5041基于在ccu 5039的控制下经过ccu 5039的图像处理的图像信号来显示图像。在内窥镜5001是与高分辨率捕获兼容的内窥镜的情况下，例如，4k(水平像素的数量3840
×
垂直像素的数量2160)、8k(水平像素的数量7680
×
垂直像素的数量4320)等，和/或在与3d显示器兼容的内窥镜的情况下，能够分别使用能进行高分辨率显示的设备和/或能进行3d显示的设备作为与上述内窥镜兼容的显示设备5041。在与诸如4k和8k的高分辨率捕获兼容的内窥镜的情况下，通过使用具有55英寸以上的尺寸的显示设备5041能够获得更大的沉浸感。进一步地，可以根据应用提供具有不同分辨率和尺寸的多个显示设备5041。
54.例如，使用诸如发光二极管(led)的光源来配置光源设备5043，并且在捕获手术部位时将照射光供应至内窥镜5001。
55.使用处理器(例如，cpu等)配置臂控制设备5045并且臂控制设备5045根据预定程序进行操作，以根据预定的控制方法而控制支撑臂设备5027的臂单元5031的驱动。
56.输入设备5047指与内窥镜外科手术系统5000有关的输入界面。用户能够经由输入设备5047将各种类型的信息和指令输入至内窥镜外科手术系统5000。例如，用户经由输入设备5047输入关于外科手术的各种类型的信息，诸如关于患者的身体的信息和关于外科手术操作技术的信息。进一步地，例如，用户经由输入设备5047输入驱动臂单元5031的指令、使用内窥镜5001改变成像条件(照射光的类型、放大率、焦距等)的指令、驱动能量治疗工具5021的指令等。
57.输入设备5047的类型不受限制，并且输入设备5047可以是各种已知的输入设备。例如，能够应用鼠标、键盘、触摸板、开关、脚踏开关5057、和/或操纵杆作为输入设备5047。在使用触摸板作为输入设备5047的情况下，可以在显示设备5041的显示表面上设置触摸板。
58.可替代地，例如，输入设备5047是安装于用户的设备，诸如眼镜型可佩戴设备和头戴显示器(hmd)，并且根据由这些设备检测的用户的手势或视线执行各种输入。进一步地，输入设备5047包括能够检测用户的运动的相机，并且根据从相机所捕获的图像中检测的用户的手势或视线执行各种输入。
59.而且，输入设备5047包括能够采集用户的语音的麦克风，并且使用语音通过麦克风执行各种输入。如此，输入设备5047被配置为能够以非接触的方式输入各种类型的信息，并且具体地，属于清洁区域的用户(例如，操作人员5067)能够以非接触的方式操作属于未清洁区域的装备。进一步地，用户能够在不从他/她的手释放所持有的外科手术工具的情况下操作装备，并且由此，提高用户的便利性。
60.治疗工具控制设备5049控制能量治疗工具5021的驱动，以进行组织的烧灼、切除、血管的缝合等。出于确保内窥镜5001的视野并且确保操作人员的工作空间之目的，吹气设备5051通过吹气管5019将气体传送至体腔中，以对患者5071的体腔进行充气。记录仪5053指能够记录关于外科手术的各种类型的信息的设备。打印机5055指能够打印以诸如文本、图像、以及图表的各种形式的关于外科手术的各种类型的信息的设备。
61.在下文中，将对内窥镜外科手术系统5000中的具体特征配置进行更详细地描述。
62.(支撑臂设备)
63.支撑臂设备5027包括作为基部的基部单元5029和从基部单元5029延伸的臂单元5031。在示出的示例中，尽管臂单元5031由多个关节5033a、5033b、及5033c、以及通过关节5033b连接的多个连杆5035a和5035b构成。
64.图1出于简化之缘故，以简化方式示出臂单元5031的配置。实际上，关节5033a至5033c及连杆5035a和5035b的各自形状、数量、以及布置、关节5033a至5033c各自的旋转轴方向等被适当地设置成使得臂单元5031具有所需的自由度。例如，臂单元5031能够被优选地被配置为具有等于或大于六个自由度的自由度。利用该配置，内窥镜5001能够在臂单元5031的可移动范围内自由地移动，并且由此，可以将内窥镜5001的镜筒5003从所需的方向插入到患者5071的体腔中。
65.致动器设置在关节5033a至5033c中，并且关节5033a至5033c被配置为可通过致动器的驱动而围绕预定的旋转轴旋转。由于通过臂控制设备5045控制致动器的驱动，控制关
节5033a至5033c的每个旋转角度，并且控制臂单元5031的驱动。利用配置，能够实现对内窥镜5001的位置和姿势的控制。此时，臂控制设备5045能够通过诸如力控制或位置控制的各种已知控制方法而控制臂单元5031的驱动。
66.例如，当操作人员5067经由输入设备5047(包括脚踏开关5057)适当地执行操作输入时，可以控制内窥镜5001的位置和姿势，并且由臂控制设备5045根据操作输入适当地控制臂单元5031的驱动。通过该控制，位于比单元5031的远端处的内窥镜5001能够从任意位置移至任意位置，并且然后，在移动之后，被固定地支撑在特定的位置处。应注意，可以以所谓的主从方式操作臂单元5031。在这种情况下，用户能够经由安装在距手术室较远的地方处的输入设备5047远程地操作臂单元5031。
67.进一步地，在应用力控制的情况下，臂控制设备5045可以接收来自用户的外部力并且执行驱动关节5033a至5033c的致动器的所谓助力控制，以使得臂单元5031根据外部力而平稳地移动。利用配置，当用户在直接触摸臂单元5031的同时移动臂单元5031时，能够以相对较轻的力使臂单元5031移动。因此，可以通过更简单的操作使内窥镜5001更直观地移动，并且可以提高用户的便利性。
68.此处，在内窥镜外科手术中，内窥镜5001通常由被称为镜专员(scopist)的医生所支撑。鉴于此，通过使用支撑臂设备5027变得可以不用人类的手而更可靠地固定内窥镜5001的位置，并且由此，可以稳定地获得手术部位的图像并且平稳地执行外科手术。
69.应注意，臂控制设备5045不必设置在手推车5037中。进一步地，臂控制设备5045不必是一个设备。例如，臂控制设备5045可以设置在支撑臂设备5027的臂单元5031的每个关节5033a至5033c处、或者臂单元5031的驱动控制可以通过彼此协作的多个臂控制设备5045实现。
70.(光源设备)
71.光源设备5043将捕获手术部位之时的照射光供应至内窥镜5001。例如，使用由led构成的白光源、激光光源、或其组合配置光源设备5043。此时，在其中白光源由rgb激光光源的组合构成的情况下，能够以较高的精度控制每种颜色(每个波长)的输出强度和输出时刻，并且由此，可以调整光源设备5043中所捕获的图像的白平衡。进一步地，在这种情况下，还可以通过按照时分方式利用来自每个rgb激光光源的激光照射观察对象并且与照射时刻同步地控制相机头5005的成像元件的驱动而按照时分方式捕获与每个rgb对应的图像。根据该方法，能够在不提供成像元件中的滤色器的情况下获得彩色图像。
72.进一步地，可以控制光源设备5043的驱动，以改变每隔预定时间所输出的光的强度。与光强度的变化时刻同步地控制相机头5005的成像元件的驱动，以按照时分方式获取图像，并且能够通过对图像进行组合而生成无所谓的压碎黑和渗出白的所谓高动态范围图像。
73.进一步地，光源设备5043可以被配置为能够以与特殊光观察兼容的预定波长频段供应光。例如，在特殊光观察中，利用身体组织中的光吸收的波长依赖性，并且与正常观察期间的照射光(换言之，白光)相比较，发射窄带内的光，由此执行所谓的窄带成像(nbi)，其中，以较高的对比度捕获诸如粘膜表层部分中的血管的预定组织。可替代地，在特殊光观察中，还可以执行利用通过发射激励光而生成的荧光光获得图像的荧光观察。在荧光观察中，可以利用激励光照射身体组织并且观察来自身体组织的荧光光(自荧光观察)，以将诸如吲
哚菁绿(icg)的试剂局部地注射到身体组织中并且还利用与试剂的荧光波长对应的激励光照射身体组织，以获得荧光图像等。光源设备5043可以被配置为能够供应与该特殊光观察对应的窄带光和/或激励光。
74.(相机头与ccu)
75.将参考图2对内窥镜5001的相机头5005和ccu 5039的功能进行更详细地描述。图2是示出图1中所示出的相机头5005和ccu 5039的功能配置的示例的框图。
76.参考图2，相机头5005具有透镜单元5007、成像单元5009、驱动单元5011、通信单元5013、以及相机头控制单元5015作为其功能。进一步地，ccu 5039具有通信单元5059、图像处理单元5061、以及控制单元5063作为其功能。相机头5005与ccu 5039连接，以能够经由传输电缆5065进行双向通信。
77.首先，将对相机头5005的功能配置进行描述。透镜单元5007是设置在与镜筒5003的连接部分处的光学系统。将从镜筒5003的远端获取的观察光引导至相机头5005并且入射到透镜单元5007上。通过对包括缩放镜头和聚焦镜头的多个透镜进行组合来配置透镜单元5007。对透镜单元5007的光学特征进行调整，以使得将观察光聚集在成像单元5009的成像元件的光接收表面上。进一步地，缩放透镜和聚焦透镜被配置为使得能够移动其光轴上的位置以用于调整所捕获图像的放大率和焦距。
78.成像单元5009由成像元件构成、并且布置在透镜单元5007的后续阶段。使穿过透镜单元5007的观察光聚集在成像元件的光接收表面上，并且通过光电转换生成与观察对象相对应的图像信号。将通过成像单元5009生成的图像信号提供至通信单元5013。
79.例如，作为构成成像单元5009的成像元件，能够使用能进行具有拜耳(bayer)布置的颜色捕获的互补金属氧化物半导体(cmos)类型的图像传感器。应注意，例如，可以使用能够与4k以上的高分辨率图像的捕获兼容的成像元件作为成像元件。因为能够获得手术部位的高分辨率图像，所以操作人员5067能够更详细地掌握手术部位的情形并且能够更顺利地进行外科手术。
80.进一步地，构成成像单元5009的成像元件被配置为具有与3d显示兼容的一对成像元件，以分别获取右眼和左眼的图像信号。当执行3d显示时，操作人员5067能够更准确地掌握手术部位中的活组织的深度。应注意，在成像单元5009被配置成多片类型的情况下，多个透镜单元5007被设置成与相应的成像元件相对应。
81.进一步地，成像单元5009不必设置在相机头5005中。例如，成像单元5009可以设置在仅位于物镜后面的镜筒5003内。
82.使用致动器配置驱动单元5011，并且在相机头控制单元5015的控制下，使透镜单元5007中的缩放透镜和聚焦透镜沿着光轴移动预定的距离。通过移动，能够对通过成像单元5009捕获的图像的放大率和焦距进行适当地调整。
83.使用通信设备配置通信单元5013，以将各种类型的信息发送至ccu 5039并且从ccu 5039接收各种类型的信息。通信单元5013经由传输电缆5065将从成像单元5009获得的图像信号作为原数据发送至ccu 5039。在这种情况下，优选为通过光学通信发送图像信号，从而以低延迟显示手术部位的捕获图像。在外科手术期间，操作人员5067在通过所捕获的图像观察受感染部位的状态的同时执行外科手术，并且由此，需要尽可能实时地显示手术部位的移动图像，以进行更安全和更可靠的外科手术。在执行光学通信的情况下，将电信号
转换成光学信号的光电转换模块设置在通信单元5013中。通过光电转换模块将图像信号转换成光学信号，并且然后，经由传输电缆5065发送至ccu 5039。
84.进一步地，通信单元5013从ccu 5039接收控制相机头5005的驱动的控制信号。例如，控制信号包括关于成像条件的信息，诸如指定所捕获图像的帧速率的信息、指定成像时的曝光值的信息、和/或指定所捕获图像的放大率和焦距的信息。通信单元5013将所接收的控制信号提供至相机头控制单元5015。应注意，还可以通过光学通信发送来自ccu 5039的控制信号。在这种情况下，通信单元5013设置有将光学信号转换成电信号的光电转换模块，并且通过光电转换模块将控制信号转换成电信号，并且然后，提供至相机头控制单元5015。
85.应注意，由ccu 5039中的控制单元5063基于所获取的图像信号自动设置诸如上述帧速率、曝光值、放大率、以及焦距的成像条件。即，内窥镜5001配备有所谓的自动曝光(ae)功能、自动聚焦(af)功能、以及自动白平衡(awb)功能。
86.相机头控制单元5015基于经由通信单元5013所接收的来自ccu 5039的控制信号来控制相机头5005的驱动。例如，相机头控制单元5015基于指定所捕获图像的帧速率的信息和/或指定成像时的曝光的信息来控制成像单元5009中的成像元件的驱动。进一步地，例如，相机头控制单元5015基于指定所捕获图像的放大率和焦距的信息经由驱动单元5011来适当地移动透镜单元5007的缩放透镜和聚焦透镜。
87.而且，相机头控制单元5015可以具有存储识别镜筒5003和相机头5005的信息的功能。
88.应注意，通过将透镜单元5007、成像单元5009等的配置布置在具有较高的气密性和防水性的密封结构中，能够使得相机头5005耐高压灭菌处理。
89.接着，将对ccu 5039的功能配置进行描述。使用通信设备配置通信单元5059，以将各种类型的信息发送至相机头5005并且从相机头5005接收各种类型的信息。通信单元5059经由传输电缆5065接收从相机头5005发送的图像信号。如上所述，在这种情况下，能够通过光学通信适当地发送图像信号。在这种情况下，通信单元5059设置有将光学信号转换成电信号的光电转换模块，以与光学通信兼容。通信单元5059将被转换成电信号的图像信号提供至图像处理单元5061。
90.进一步地，通信单元5059将控制相机头5005的驱动的控制信号发送至相机头5005。还可以通过光学通信发送控制信号。
91.图像处理单元5061对作为从相机头5005发送的原数据的图像信号执行各种类型的图像处理。例如，图像处理包括各种类型的已知信号处理，诸如显影处理、图像质量改进处理(例如，频带增强处理、超分辨率处理、降噪(nr)处理、和/或相机抖动校正处理)、和/或放大处理(电子缩放处理)。进一步地，图像处理单元5061对图像信号执行检测处理，以执行ae、af、以及awb。
92.使用诸如cpu和gpu的处理器配置图像处理单元5061，并且当处理器根据预定程序操作时，能够执行上述图像处理和检测处理。应注意，在图像处理单元5061由多个gpu构成的情况下，图像处理单元5061对关于图像信号的信息进行适当地分割并且由多个gpu并行地执行图像处理。
93.控制单元5063使用该捕获图像的内窥镜5001和显示器执行关于手术部位的成像的各种类型的控制。例如，控制单元5063生成控制相机头5005的驱动的控制信号。此时，在
由用户输入成像条件的情况下，控制单元5063基于用户的输入来生成控制信号。可替代地，在内窥镜5001配备有ae功能、af功能、以及awb功能的情况下，控制单元5063对最优的曝光值、焦距、以及白平衡进行适当地计算，以根据图像处理单元5061的检测处理结果生成控制信号。
94.进一步地，控制单元5063使显示设备5041基于经过图像处理单元5061的图像处理的图像信号来显示手术部位的图像。
95.此时，控制单元5063使用各种图像识别技术对手术部位的图像中的各个对象进行识别。例如，控制单元5063对手术部位图像中所包括的对象的边缘形状、颜色等进行检测，并且由此，能够识别诸如镊子的外科手术工具、具体的活体部位、出血、使用能量治疗工具5021时的薄雾等。当使显示设备5041显示手术部位的图像时，控制单元5063使用该识别结果使对关于手术部位的图像的各种类型的外科手术支持信息进行叠加和显示。因为对外科手术支持信息进行叠加和显示、并且呈现给操作人员5067，所以可以更安全和可靠地进行外科手术。
96.连接相机头5005与ccu 5039的传输电缆5065是与电信号的通信兼容的电信号电缆、与光学通信兼容的光学纤维、或其复合电缆。
97.此处，在示出的示例中，使用传输电缆5065通过有线方式执行通信，但是，可以通过无线方式执行相机头5005与ccu 5039之间的通信。在通过无线方式执行两者之间的通信的情况下，不必须传输电缆5065铺设在手术室中，并且由此，能够解决手术室中的传输电缆5065阻碍医务人员的移动的情形。
98.上面已经对能够应用根据本公开的技术的内窥镜外科手术系统5000的示例进行了描述。应注意，此处已经将内窥镜外科手术系统5000描述为示例，但是，能够应用根据本公开的技术的系统并不局限于该示例。例如，根据本公开的技术能够应用于进行检查的柔性内窥镜系统或显微外科手术系统。
99.可替代地，本公开的各方面可以应用于包括主从医疗机器人系统的医疗机器人系统。在医疗机器人系统中，用户(诸如医生5067)操作主装置(外科医生控制台)，以通过有线或无线通信装置将操作命令发送至从属装置(手推车除外)，并且远程操作从属装置。医疗机器人系统还可以包括包含一些支撑硬件和软件部件的单独手推车，诸如电外科手术单元(esu)、抽吸/冲洗泵、以及用于内窥镜/显微镜的光源。
100.图3示出根据本公开的主装置60的使用例。在图3中，提供用于右手和左手的两个主装置60r和60l。外科医生将两个手臂或两个胳膊肘放在支撑基座50上、并且分别使用右手和右手来抓握操作部100r和100l。在这种状态下，外科医生在观看显示外科手术部位的监视器210的同时对操作部100r和100l进行操作。外科医生可以使相应的操作部100r和100l的位置和方向移位，以远程地操作附接至未被示出的各个从属装置的外科手术仪器的位置或方向、或使用各个外科手术仪器执行抓握操作。
101.上面已经参考本公开中的图1至图3对可应用于本公开的实施方式的示例性外科手术系统的基本配置进行了描述。在下文中，将对本公开的具体实施方式进行描述。
102.《在外科手术期间控制图像捕获设备》
103.如上所述，希望提供一种能够在不中断外科手术程序的情况下优化计算机辅助的相机系统在外科手术期间的视点的装置。因此，根据本公开的实施方式提供一种用于在外
科手术的期间控制图像捕获设备的装置、方法、以及计算机程序产品。
104.现将参考示例性的外科手术情形对在外科手术期间控制图像捕获设备的装置进行描述。然而，应当认识到，本公开并不具体地局限于该具体的示例，并且可以根据需要应用于任意这种外科手术情形。
105.示例性情形：
106.图4示出可以应用本公开的实施方式的示例性外科手术情形。
107.在该示例中，示出外科手术场景800(诸如手术室)。由外科医生804对患者802进行手术。这可以是需要外科医生对患者的目标区域808执行手术的外科手术程序。在该示例中，外科医生正在执行的外科手术是腹腔镜外科手术，然而，在该方面，本技术不受具体地限制。在腹腔镜外科手术的期间，外科医生使用一个或多个外科手术工具以及内窥镜(即，附接至相机头的镜体)。将这些外科手术工具和内窥镜通过套管针(诸如参考本公开中的图1所描述)插入到患者的体腔中，以能够使得外科医生对患者执行腹腔镜外科手术。
108.现在，在该示例中，通过包括计算机辅助的相机系统806的计算机辅助的外科手术系统而在外科手术期间辅助外科医生804。例如，计算机辅助的外科手术系统可以是诸如参考本公开中的图1至图3所描述的这些系统的系统。
109.在该示例中，计算机辅助的相机系统806包括捕获场景800的图像并且将图像提供至显示器(未示出)的医学图像捕获设备(诸如包括镜体和相机头的内窥镜系统)。然后，外科医生804能够在对患者802执行外科手术时观察由计算机辅助相机系统806获得的图像。
110.如上所述，在外科手术程序的期间，外科医生804对患者802的目标区域808执行治疗。为了执行治疗，外科医生804可以将一个或多个外科手术工具810和812引入到场景中。在该具体示例中，外科手术工具810可以是手术刀，而外科手术工具812可以是抽吸设备。因为外科医生对目标区域808进行手术，所以计算机辅助的相机系统被配置成使得计算机辅助的相机系统中的图像捕获设备捕获患者802的目标区域808的图像。即，计算机辅助的相机系统被配置成使得目标区域808落在图像捕获设备的视野(在该示例中，由线814包围的区域示出图像捕获设备的视野)内。
111.在外科手术期间，还由一个或多个医务支持人员和/或助手816协助外科医生804。重要的是，这些医务支持人员和/或助手816紧靠近于患者802和外医生804，以使得其能够在外科手术程序的期间向外科医生804提供必要的支持和协助。例如，外科医生804可能需要医学助手816向该外科医生传递具体的工具或在外科手术程序期间的给定阶段执行具体的任务。
112.附加的医疗装备818也可以位于外科手术场景中。该装备可以包括诸如诸如麻醉机、仪器台、患者监视器等物品。重要的是，该装备被设置成紧靠近于患者802和外科医生808，以使得外科医生(或外科手术环境内的其他外科手术专业人士(诸如负责麻醉的医生))在外科手术程序期间能够根据需要轻易地访问装备。
113.在一些示例中，诸如内窥镜外科手术，外科医生808可能不能直接观察患者802的目标区域808。即，计算机辅助的相机系统806可以为外科医生提供目标区域的唯一可用视野。而且，即使在外科医生由此能够直接观察目标区域808的情形中，计算机辅助的相机系统也可以提供外科医生所依赖以执行外科手术的目标区域808的增强视野(诸如目标区域的放大视野)。
114.相应地，重要的是，计算机辅助的相机系统为外科医生提供了目标区域的清晰和/或无阻碍的视野。因此，在计算机辅助的相机系统的初始配置中，可能需要十分的小心。
115.然而，随着外科手术的进行，外科手术环境内的动态元件可能阻碍通过计算机辅助的相机系统所获得的图像，从而导致向外科医生804提供的场景的视野劣化。即，从计算机辅助的相机系统的视角而言(即，从计算机辅助的相机系统中的图像捕获设备捕获目标区域808的图像的位置而言)，在外科手术程序的期间将一个或多个附加的外科手术工具引入到外科手术环境中可能导致至少部分阻碍目标区域。
116.可替代地，外科医生804和/或支持人员和助手816的移动可能阻碍计算机辅助的相机系统中的图像捕获设备捕获场景的清晰图像的能力。
117.图5示出图像捕获设备从第一视角捕获的图像的示例。
118.在图5中，示出由计算机辅助的相机系统806中的图像捕获设备所捕获的患者802的目标区域808的图像900。在由图像捕获设备捕获的该图像中，还看到了外科手术工具810。现在，当外科手术开始时，图像捕获设备捕获到目标区域808的清晰图像。然而，此时(即，在与图像捕获设备捕获的当前图像相对应的时间)，由图像捕获设备捕获的场景的视野已经劣化。
119.具体地，在该示例中，因为目标区域的组织表面已经出现显著的炫目和反射点902，所以外科医生无法再获得目标区域的清晰视野。由于目标区域的变化和/或外科手术环境的变化而出现这些炫目和/或反射点902，并且阻止外科医生获得目标区域的清晰视野。
120.然而，外科医生804可能不知道是否存在计算机辅助的相机系统的图像捕获设备的更佳位置或视点。而且，由于图像捕获设备的重新定位所导致的外科手术程序的延迟，外科医生804不愿意尝试其他的视点来查看其是否减少炫目和反射。
121.相应地，根据本公开的实施方式提供一种用于在外科手术的期间控制图像捕获设备的装置。
122.装置：
123.图6示出根据本公开的实施方式在外科手术期间控制图像捕获设备(诸如医学图像捕获设备)的装置或系统。
124.装置1000包括：第一接收单元1002，被配置为接收该场景的附加信息、以及由医学图像捕获设备从第一视点捕获的外科手术场景的第一图像；确定单元1004，被配置为根据附加信息以及外科手术场景的先前视点信息为医学图像捕获设备确定一个或多个候选视点，外科手术场景的图像从该一个或多个候选视点获得；提供单元1006，被配置为根据外科手术场景的第一图像提供针对一个或多个候选视点中的每个视点的来自该候选视点的外科手术场景的模拟图像；以及控制单元1008，被配置为控制医学图像捕获设备从与对外科手术场景的一个或多个模拟图像中的一个模拟图像的选择相对应的候选视点获得外科手术场景的图像。
125.返回本公开的图4中的示例性情形，装置1000可以连接至臂控制设备(诸如参考图1所描述的臂控制设备5045)，以控制图像捕获设备的移动。可替代地，装置1000可以连接至、或构成中央处理单元的一部分。现将参考本公开中的图4的示例性外科手术情形对装置1000的特征进行描述。然而，应当认识到，装置可以根据需要应用于任意这种外科手术情
形。
126.第一接收单元：
127.《第一图像数据》
128.如上所述，在外科手术期间，计算机辅助的相机系统1000的图像捕获设备捕获外科手术场景的图像。装置1000中的第一接收单元1002被配置为接收由图像捕获设备捕获的图像作为第一图像(或图像数据)。由此，在由图像捕获设备捕获图像时，第一图像为装置1000提供关于外科手术场景的外观的信息。因此，在该示例中，第一图像是显示设备(诸如显示设备5041)上显示给用户(诸如外科医生)的同一图像。即，第一图像显示外科手术场景的当前外观。因此，在该示例中，第一图像可以是本公开的图5中示出的图像900。
129.应当认识到，接收单元接收第一图像数据的方式不受具体限制。例如，接收单元能够通过任意合适的有线或无线方式从图像捕获设备接收图像数据。而且，图像数据的实际形式取决于用于捕获图像数据的图像捕获设备的类型。在本示例中，图像捕获设备可以是内窥镜设备、伸缩设备、显微镜设备、或外镜设备。因此，在该示例中，通过获取单元获取的图像数据可以是场景的高清图像、4k图像、或8k图像等。即，可以根据需要使用根据本公开的实施方式的任意医学成像设备。
130.《附加信息的类型》
131.此外，装置1000的第一接收单元1002进一步被配置为接收场景的附加信息。现在，该附加信息的形式不受具体限制，并且根据应用本公开的实施方式的情形而改变。而且，应当认识到，装置1000可以根据所接收的附加信息的类型从多个不同来源接收附加信息。然而，应当认识到，与形式无关，附加信息是为装置1000提供对外科医生804所执行的外科手术程序的更好理解的上下文信息。
132.在特定示例中，场景的附加信息可以包括外科手术场景的外科手术信息和/或环境信息中的至少一项。
133.在一些示例中，环境信息可以包括关于外科医生的工作区域的信息。该信息可以包括诸如外科医生相对于患者的目标区域的位置和方位、外科医生周围的工作区域、位于外科医生周围的区域内的障碍物(诸如外科手术环境)、照明状态(诸如照明类型和照明控制信息)、手术台相对于图像捕获设备的方位等的信息。
134.在一些示例中，外科手术信息可以包括外科手术工具信息，为装置1000提供对外科医生所使用的外科手术工具以及其在外科手术场景内的相应各个位置的详细理解。即，在示例中，附加信息可以包括外科手术工具信息，诸如：位于外科手术场景中的工具的类型；位于外科手术场景内的工具的位置；工具的使用状态(例如，是否激活诸如能量设备的工具)；关于外科医生如何操纵工具的信息(诸如，例如，外科医生是否双手持有或是否由支撑的外科医生持有工具)；工具空间与运动信息(包括速度、轨迹、工具活动程度(即，每分钟的移动)、以及多个工具之间的端执行器分离)；工具在特定时间段内的改变次数；即将使用的工具(诸如，例如，助手外科医生准备在外科手术的下一阶段所使用的工具)等。
135.在一些示例中，所接收的外科手术信息可以包括关于外科医生即将进行手术的外科手术组织的外观和/或外科手术组织的性质的信息。例如，其可以包括关于外科医生即将进行手术的患者的部位的信息(诸如，例如，心脏或肺部)等。
136.在一些示例中，外科手术信息可以包括与外科手术的状态有关的程序信息(诸如
外科手术的进度)、由外科医生执行的外科手术的具体类型(诸如关于给定类型的外科手术的标准化工作流程)。该信息还可以包括由外科医生完成的外科手术程序的阶段。
137.在一些示例中，外科手术信息可以包括关于进行手术的患者的医疗状态的信息。这可以包括诸如患者的血压、患者的氧饱和度水平、患者体内的腹部气压等的信息。
138.《附加信息的来源》
139.现在，如上所述，接收单元1002可以根据情形从一个或多个来源接收附加信息。在示例中，可以从外科手术环境中的一个或多个传感器接收附加信息。即，可以从位于外科医生所使用的工具内的一个或多个传感器接收附加信息。可替代地，可以从由计算机辅助的相机系统中的一个或多个传感器测量的方位信息接收位置或移动数据。
140.可替代地，可以从患者的内部或外部的外科手术环境内的图像(其可以包括手术室中的患者、外科医生、或其他特征的图像)或视频流的分析中接收该附加信息。机器视觉系统可以提取关于材料类别(以识别组织类型和/或组织性质)、物品识别(例如，工具或器官类型)、运动识别(工具移动、工具活动等)的信息。
141.可替代地，可以从一个或多个设备和/或系统接口(诸如照明系统、抽吸设备、手术室相机等)提取附加信息。可替代地，装置1000中的接收单元1002可以与手术室管理单元对接，以获得相关的患者外部数据。
142.可替代地，装置1000中的第一接收单元1002可以从手术室内所捕获的音频流中提取附加信息(诸如外科手术期间的外科医生与助手之间的对话)。例如，第一接收单元1002可以利用语言识别技术使得装置对外科手术人员的对话进行监视并且提取相关信息。语言识别技术能够使得装置1000检测由外科医生给出的指示下一外科手术阶段的具体指令、从对话中提取基本的关键词、和/或对全部对话应用自然语言处理来获得全部相关的上下文数据。
143.可替代地，可以通过从外科医生、医学助手、或支持人员接收的手动输入而接收该附加信息。这可以包括能够使得外科医生和/或医学助手/支持人员指示诸如下一外科手术阶段的相关信息和/或手动标记诸如相机视觉馈送中的工具、器官、以及其他特征的物品的界面。然后，外科手术阶段可以用于从集中式数据库中(使用查找表等)提取详述外科手术程序的每个阶段所使用的典型外科手术工作流程、阶段、相关联的程序、以及工具的信息。
144.接收单元1002一旦接收到附加信息和第一图像，将附加信息传递至装置1000中的确定单元1004。在一些示例中，接收单元1002可以将该信息直接传递至确定单元1004。在其他示例中，第一接收单元1002可以将附加信息存储在确定单元1004可访问的存储器或储存器中。
145.确定单元：
146.装置1000中的确定单元1004被配置为根据附加信息以及外科手术场景的先前视点信息为图像捕获设备确定一个或多个候选视点，外科手术场景的图像从该一个或多个该候选视点获得。
147.这些候选视点是在外科手术环境内的所建议的视点，图像捕获设备能够在所述外科手术环境内使用以提供场景的清晰图像。根据本公开的实施方式，基于之前的外科手术程序中已经使用的视点而确定这些候选视点。因此，视点信息可以包括图像捕获设备的位置信息和/或方位信息(即，之前的外科手术程序中所使用的图像捕获设备的位置和/或方
位信息)。
148.即，如上所述，由第一接收单元1002接收的附加信息是能够使装置1000确定关于由外科手术804执行的外科手术程序的信息的信息。
149.相应地，在示例中，确定单元1004可以使用该信息对提供关于外科手术程序的候选视点的信息的查找表进行查询。可以基于计算机辅助的相机系统的操作历史(即，例如，图像捕获设备在与该外科手术程序有关的之前外科手术中所使用的视点)构建提供关于外科手术程序的候选视点的信息的表。
150.参考本公开中的图7示出能够用于确定候选视点的示例性查找表。
151.可以将查询查找表1100存储在装置1000的内部存储单元中，或可替代地，可以存储在装置1000可访问的外部存储器中(诸如外部服务器)。在该具体的示例中，第一列1102定义关于外科手术程序的信息(这还可以包括同一外科手术程序的不同阶段(诸如外科手术程序的初始、中间、以及最终阶段)的不同项)。确定单元可以基于从附加信息确定的外科手术程序查询查找表1100，以确定与当前外科手术程序对应的项(或可以基于附加信息自身而执行该查询)。一旦识别与当前外科手术程序相对应的项，装置1000中的确定单元1004则可以从后续列1104、1106、以及1108的对应行中读取关于该外科手术程序的候选视点信息。
152.即，每列1104、1106、以及1108可以将关于图像捕获设备所使用的视点的信息存储在与当前程序匹配的之前外科手术程序中。
153.因此，确定单元能够从该表中确定当前外科手术程序的一个或多个候选视点。
154.即，在该示例中，查询查找表1100能够使得确定单元1004从与当前外科手术场景相关的计算机辅助的相机系统的自主操作历史中提取候选视点。在一些示例中，可以基于可比较的外科手术程序所使用的先前视点来提取候选视点(例如，这可以包括同一外科手术程序的不同阶段所使用的视点)。
155.如上所述，可以基于计算机辅助的相机系统在之前的外科手术情形中所使用的视点而构建查询查找表1100。然而，可以进一步基于计算机辅助的相机系统在外科手术程序的一个或多个真实感模拟中所使用的视点来构建查询查找表。可替代地或此外，还可以基于执行外科手术程序的其他外科医生(人类或机器人)所使用的视点来构建表。
156.如此，查找表能够使得确定单元1004确定外科医生804尚未构想的图像捕获设备的候选视点。因此，对于外科医生804，候选视点可能是令人惊讶或意想不到的，由此为外科医生提供其之前未构想的视点。
157.现在，应当认识到，图7中的示例仅是确定单元1004可以执行的候选视点的确定的一个示例。装置1000可以根据需要使用任意这样的处理，即，能够使得确定单元1004基于与通过第一获取单元1002获取的附加信息有关的先前的视点偏好来确定一个或多个候选视点。
158.如此，确定单元1004将外科手术的先前的视点整理成外科手术场景的一个或多个候选视点。
159.在一些示例中，确定单元1004被配置为根据预定的度量对候选视点进行分析、并且将前n个候选视点(例如，前三个候选)显示给外科医生进行选择。即，确定单元可以使用一种或多种评判算法以便评判与当前视点有关的视点候选，并且从候选视点中选择为外科
医生提供有关的视点优势的候选视点的子组。这能够使得确定单元1004选择为外科医生804提供或可以提供视点优势优于当前操作的视点的多个候选视点。
160.外科医生的有关视点优势可以包括来自之前外科手术的视点，即，已知提供组织的具体区域的扩大视点、外科医生所使用的工具的扩大视点、改进对关键特征的识别(诸如目标区域的特征，包括从目标区域移除的皮下静脉或肿瘤)、和/或改进的照明条件(诸如阴影较少、或来自组织表面的反射较少)等。
161.还可以基于视点与外科医生804的视点偏好的比较来执行对n个候选视点的选择。例如，这能够使得确定单元确定外科医生804不可能考虑的有利候选视点。
162.该评判基于视点信息自身(诸如关于已经从查找表中提取的候选视点的信息)。
163.而且，在一些示例中，有利的评判单元可以被配置为根据预定的度量来评估候选视点、并且基于评估控制显示器至少显示候选视点的一子集。如上所述，例如，预定度量可以基于候选视点与外科医生的一个或多个视点偏好的比较。如此，仅将已经生成的可替代候选视点的子集显示给外科医生进行选择。
164.现在，返回本公开中的图4的示例，一个或多个候选视点可以包括关于图像捕获设备能够捕获患者802的目标区域808的图像的候选位置的信息。然而，候选视点还可以包括关于图像捕获设备的候选图像捕获性质的信息。例如，这可以包括图像捕获设备所使用的候选成像类型。例如，候选视点之一可以是这样的视点，即，其中，使用利用光谱学的超光谱成像来测量体内的光与辐射之间的交互作用的变化。
165.在患者的体腔内，另一候选视点可以使用利用可见光照明的光学成像。图像捕获性质，诸如图像捕获设备所使用的缩放水平或图像孔径，也可以包括在由确定单元1004确定的候选视点内。
166.因此，在特定的示例中，图像捕获设备的成像性质至少可以包括医学图像捕获设备的光学系统条件和/或捕获图像的图像处理条件中的一项。例如，光学系统条件可以包括诸如图像捕获设备的光学图像缩放、图像焦点、图像孔径、图像对比度、图像明亮度、和/或成像类型的因素。相反，捕获图像的图像处理条件可以包括诸如应用于图像的数字图像缩放的因素和/或与图像的处理有关的因素(诸如图像明亮度、对比度、饱和度、色调等)。
167.而且，在一些示例中，候选视点可以包括静态视点和动态视点(即，来自单一位置的视点或在外科手术场景的两个或更多个位置之间移动或显示外科手术场景的两个或多个位置的视点)。
168.一旦确定单元1004确定一个或多个候选视点的列表，则将候选视点传递至装置1000中的提供单元1006进行处理。
169.提供单元：
170.装置1000中的提供单元1006被配置为根据外科手术场景的第一图像针对一个或多个候选视点中的每个候选视点提供来自该候选视点的外科手术场景的模拟图像。
171.即，在示例中，提供单元从确定单元1004接收一个或多个候选视点、并且从第一接收单元1002接收第一图像、并且使用该信息生成每个候选视点的外科手术场景的模拟图像。这些模拟图像提供场景从候选视点看上去如何的预测外观(并且在不实际改变图像捕获设备在该阶段的图像捕获性质的情况下所获得)。然后，提供这些已生成的图像进行选择。
172.而且，在其他示例中，应当认识到，装置1000中的提供单元可以被配置为接收(通过外部计算设备)先前已经生成的场景的模拟图像并且将这些模拟图像直接提供给外科医生进行选择。
173.再次考虑本公开的图4中的示例性情形。在该示例中，装置1000已经接收图像900(参考本公开的图5示出的)作为场景的第一图像。该场景的第一图像受组织的表面的多次反射的困扰，从而阻碍外科医生804获得目标区域808的清晰图像。而且，在该示例中，确定单元1004已经从由第一接收单元1002接收的场景的附加信息中确定出用于与外科医生804执行的外科手术程序对应的外科手术程序的三个候选视点的选择，即，优点在于，从之前的外科手术中获知减少了来自组织表面的炫目或反射量。
174.相应地，在该示例中，如所预测的，提供单元1006生成如同场景已经从确定的每个候选视点显现出一般的外科手术场景的模拟图像。根据由第一接收单元接收的场景900的第一图像生成这些图像。应当认识到，提供单元1006以尽可能使当前外科手术场景的上下文内的有利机器人视点再现为目的而生成模拟图像。
175.图8中示出候选视点的模拟图像的示例性例图。
176.在该示例中，模拟图像1200是已经通过确定单元1004确定的第一候选视点的模拟图像。该第一候选视点指使用超光谱成像来减少来自组织表面的反射的视点。相应地，模拟图像1200示出当使用该超光谱成像时、对患者的目标区域808看上去如何的预测。
177.模拟图像1202是来自通过确定单元1004确定的第二候选视点的模拟图像。该第二候选视点指这样的视点，即，其中，图像捕获设备从外科手术环境内的第二物理位置(与图像捕获设备的当前物理位置不同的物理位置)捕获图像。
178.相应地，模拟图像1202示出当从外科手术环境内的该第二物理位置捕获图像时、对患者的目标区域808看上去如何的预测。
179.最后，模拟图像1204是来自通过确定单元1004确定的第三候选视点的模拟图像。该第三候选视点指这样的视点，即，其中，图像捕获设备从第三物理位置捕获图像(与当前物理位置和第二候选视点的物理位置不同)。相应地，模拟图像1204示出当从外科手术环境内的该第三物理位置捕获图像时、对患者的目标区域808看上去如何的预测。
180.对于全部三个模拟图像1200、1202、以及1204，来自患者的组织的炫目和反射量小于场景900的当前图像中所呈现的炫目和反射量(参考本公开的图5示出的)。
181.在一些示例中，当生成场景的模拟图像时，提供单元1006还可以利用由装置1000中的第一接收单元1002所接收的附加信息。
182.例如，当从候选视点生成场景的模拟图像时，可以使用关于外科手术环境的信息，诸如外科手术场景内的元件的相应方位。
183.现在，在本公开的实施方式中，使用人工智能系统模拟场景的看不见的视点的能力，基于所确定的候选视点从场景的第一图像生成场景的模拟图像。即，已知人工智能系统能够从特定的第一角度(在该示例中，与第一图像900的视点对应)看到场景并且预测同一场景从另一未观察的角度(在该示例中，与模拟图像1200、1202、以及1204对应)看上去是什么样子。
184.在特定的示例中，例如，可以使用针对外科手术场景的先前视点而训练的机器学习系统实现此目的；这能够包括之前的外科手术程序中所使用的外科手术场景的先前视点
并且还能够包括在模拟外科手术场景时所使用的一个或多个视点。
185.在特定的情形中，可以使用深度学习模型(作为机器学习系统的示例)来生成场景的模拟图像。使用神经网络构建这些深度学习模型。这些神经网络包括输入层和输出层。多个隐藏层位于输入层与输出层之间。每层包括多个独立的节点。输入层的节点连接至第一隐藏层的节点。第一隐藏层(与每个后续的隐藏层)的节点连接至随后隐藏层的节点。最终隐藏层的节点连接至输出层的节点。
186.换言之，层内的各个节点连接回至神经网络的前一层中的全部节点。
187.当然，应当认识到，根据训练数据的大小和场景的模拟图像的各种需求，模型中所使用的隐藏层的数量与每层内的各个节点的数量可以改变。
188.现在，每个节点获得多个输入并且生成输出。被提供至节点(通过与神经网络中的之前层的连接)的输入具有对其应用的加权因子。
189.在神经网络中，输入层接收多个输入(其可以包括场景的第一图像)。然后，使用在训练期间进行调整的权重在隐藏层中对这些输入进行处理。然后，输出层从神经网络生成预测。
190.具体地，在训练期间，可以将训练数据分割成输入和目标。输入数据指除目标(神经网络尝试预测的场景的图像)之外的全部数据。
191.然后，在训练期间，通过神经网络分析输入数据，以对神经网络中的相应节点之间的权重进行调整。在示例中，可以在训练期间通过线性回归模型实现对权重的调整。然而，在其他示例中，非线性方法可以实现为对节点之间的权重进行调整，以对神经网络进行训练。
192.实际上，在训练期间，针对所提供的输入数据，调整应用于神经网络中的节点的加权因子，以确定生成与目标数据的最佳匹配的加权因子的值。即，在训练期间，提供输入和目标输出。然后，网络对输入进行处理并且将生成的输出与目标数据进行比较。然后，通过神经网络传播回输出与目标数据之间的差异，从而致使神经网络对神经网络中的相应节点的权重进行调整。
193.当然，对模型进行训练所使用的训练循环次数(或时期)可以根据情形而改变。在一些示例中，可以基于训练数据对模型进行持续地训练，直至模型在目标数据的预定阈内生成输出。
194.一旦训练，则能够将新的输入数据提供至神经网络的输入层，从而致使模型针对给定的输入数据生成所预测的输出(基于在训练期间应用于神经网络中的每个节点的权重)。
195.当然，应当认识到，本实施方式并不具体地局限于深度学习模型(诸如神经网络)并且能够依据情形使用根据本公开的实施方式的任意这种机器学习算法。
196.在一些示例中，可以使用生成查询网络(gqn)来生成场景的模拟图像。在该示例中，网络从场景内的视点采集图像。即，通过gqn采集来自初始位置的外科手术场景的图像(即，场景的第一图像)。然而，在其他示例中，可以从外科手术环境内的其他图像捕获设备获得描述场景从其他角度看上去如何的场景的附加图像。
197.可替代地，在外科手术程序开始之前，在初始校准期间，可以通过第一图像捕获设备获得场景的附加图像。当相机移至初始位置来捕获患者的目标区域808的图像时，图像捕
获设备可以从略微不同的角度捕获外科手术场景的图像(即，当图像捕获设备移至其初始位置时)。可以存储这些图像来协助之后的视点生成。例如，根据外科手术设施的数据存储能力，所存储的图像的范围可以从少量的帧至完整的动作回放。如此，可以获得来自多个视点的场景的图像。在特定的示例中，装置1000可以进一步被配置为在移至一定位置时使用该信息来生成外科手术环境的地图。可以使用同时定位与映射(slam)算法实现此目的。
198.现在，然后，由图像捕获设备在初始校准期间所获得的初始图像或图像构成gon的观察集。每次额外的观察(即，来自不同视点的场景的每个附加的图像)能够使得gqn进一步累积关于场景的内容的证据。
199.然后，经过外科手术场景训练的gqn能够生成通过装置1000中的确定单元1004所确定的一个或多个候选视点的场景的模拟图像。
200.然而，应当认识到，gqn仅是根据本公开的实施方式生成场景的模拟图像所使用的人工智能成像系统的一个示例。可以根据需要使用任意其他类型的人工智能系统来生成场景的候选视点的模拟图像。
201.再次考虑参考本公开的图4所描述的示例性情形。在该示例中，一旦提供单元1006生成外科手术场景的三个模拟图像(图8中示出的图像1200、1202、以及1204)，提供单元则将用于显示的这些模拟图像传递给外科医生804。
202.在示例中，提供单元1006可以提供外科医生804与候选视点的模拟进行交互的界面(“用户界面”)。在本公开的图9中示出用户界面1300的示例性例图。可以在手术室中存在的显示屏幕上显示用户界面1300(诸如外科医生执行外科手术程序所使用的显示屏幕(即，显示场景的第一图像的显图像))。即，一旦生成来自候选视点的场景的模拟图像(显示预测场景从这些候选视点看上去如何)，装置1000则被配置为将模拟图像提供给外科医生进行审阅。
203.在该示例中，被提供给外科医生804的用户界面1300包括显示场景900的当前视野的第一区域(即，由图像捕获设备捕获的第一图像)。这是外科医生804当前对患者执行外科手术程序所使用的视点。还提供了用户界面的第二区域，其显示通过装置1000中的提供单元1006生成的候选视点的模拟1200、1202、以及1204。
204.因此，外科医生804能够从该用户界面看到装置1000已经生成的候选视点的模拟图像并且能够评估这些视点是否提供目标区域808的组织当前所经历的炫目与反射(如在图像900中看到的)的有利减少。这能够使得外科医生804在外科手术程序无任何延迟的情况下评估是否能够通过图像捕获设备实现患者的目标区域808的更佳视野(因为当生成候选视点的模拟图像时，图像捕获设备仍位于初始图像捕获位置)。
205.在一些示例中，当确定外科医生可以从候选视点获得优势时，装置1000可以使用用户界面1300向外科医生自主地建议候选视点。
206.可替代地，在其他示例中，用户界面可以整合呼叫/请求功能，由此外科医生可以指示系统生成并且提供一个或多个候选视点以进行显示。
207.例如，当通知外科医生由图像捕获设备提供的图像发生劣化时，这可能尤其有用。
208.对于被呈现给外科医生的每个候选视点，装置1000中的提供单元1006还可以提供关于候选视点的一条或多条其他信息。该其他信息可以包括关于当前视点与候选视点之间的关系的信息(这可以是通过示意性地指图像捕获设备从当前视点至候选视点所采取的路
径进行通信和/或图像捕获设备从当前视点至候选视点所采取的路径的数字描述)、生成候选视点的目的(主要是通过采用候选视点而获得的优势(例如，这可以包括对图像质量的预期改进的数值))。
209.当然，当参考本公开中的图9示出示例性的用户界面时，本公开的实施方式并不旨在具体地局限于此方面。
210.可替代地，例如，可以经由与外科手术相机显示器进行集成的画中画(pinp)功能或经由单独的显示屏幕或方法将候选视点呈现给外科医生。
211.事实上，可以使用根据本公开的实施方式的能够使外科医生看到由装置1000生成的模拟图像的任意该方法。
212.如此，提供单元1006提供视点的真实可视化来模拟由确定单元1004确定的一个或多个候选视点的场景的外观。
213.控制单元：
214.在该阶段，计算机辅助的相机系统中的图像捕获设备仍位于其初始位置(即，其来自场景的初始视点的静止捕获图像)；已经基于在不移动相机的情况下对场景从该候选位置看上去如何的预测而生成模拟图像。然而，在接收到对外科手术场景的一个或多个模拟图像中的一个模拟图像的选择时，装置1000中的控制单元1008被配置为控制图像捕获设备从与对外科手术场景的一个或多个模拟图像中的一个模拟图像的选择相对应的候选视点获得外科手术场景的图像。
215.接收对由提供单元1006提供的外科手术场景的一个或多个模拟图像中的一个模拟图像的选择的方式不受具体限制。
216.在示例中，控制单元1008被配置为从外科医生、医学助手或人员接收对外科手术场景的一个或多个模拟图像中的一个模拟图像的选择。
217.即，在示例中，外科医生能够与用户界面进行交互来选择候选视点的一个模拟图像。该模拟图像可能是外科医生希望图像捕获设备所移至的候选视点的模拟图像(以使得能够从候选视点获得场景的实际图像)。
218.即，外科医生804可以使用用户界面来接受或选择系统所建议的候选视点的模拟图像(“优选视点”)。
219.可选地，外科医生804可以选择多个优选节点，在外科医生请求时，系统可以保存并且应用这些节点。即，外科医生可以指示其希望存储视点，以供外之后的科手术程序使用。可替代地，外科医生可以指示其希望在第一时间段内采用第一候选视点，之后在程序的后一阶段采用第二候选视点。
220.在一些示例中，控制单元可以被配置为接受用户界面1300上的触摸输入作为外科医生804对候选视点的模拟图像的选择。在其他示例中，外科医生能够提供语音输入作为对候选视点的一个或多个模拟图像的选择(诸如，例如，“选择编号为一的模拟图像”)。
221.事实上，可以根据需要使用根据本公开的实施方式的能够使得控制单元接收外科医生对外科手术场景的一个或多个模拟图像的选择的任意这种配置。
222.在特定的示例中，控制单元被配置为确定与外科医生选择的模拟图像对应的候选图像、并且执行一种或多种操作来控制计算机辅助的相机系统的图像捕获设备，以使得图像捕获设备被重新配置为使用与外科医生选择的模拟图像对应的候选视点来捕获患者的
目标区域808的图像。
223.在特定的示例中，控制单元可以执行相机致动处理而使图像捕获设备物理地移至与所选择的候选视点对应的位置。然后，图像捕获设备从该实际的现实世界的位置(与外科医生所选择的候选位置对应)捕获场景的后续图像。作为相机致动处理的一部分，在装置1000提供导航指南之后，外科医生或支持人员可以手动地移动图像捕获设备。在这种情况下，可以经由用户界面1300将导航指南通信给外科医生或支持人员。可替代地，在外科医生对预期运动进行验证之后(根据需求)，可以通过外科手术机器人使图像捕获设备自主地移动。即，在一些示例中，控制单元可以被配置为控制支撑图像捕获设备的铰接臂的位置和/或方位，以控制图像捕获设备从与对外科手术场景的一个或多个模拟图像中的一个模拟图像的选择对应的候选视点获得外科手术场景的图像。
224.在其他示例中，控制单元可以执行相机调制处理以对图像捕获设备的一种或多种图像捕获性质(诸如缩放水平)进行重新配置，从而使得图像捕获设备随后使用该真实的现实世界的重新配置来捕获场景的后续图像。
225.再次考虑参考本公开中的图4所描述的示例性情形。此处，在看到由装置1000生成的三个模拟图像1200、1202、以及1204之后，外科医生804选择候选视点1202作为其希望图像捕获设备捕获场景的后续图像的视点。相应地，控制单元1008控制计算机辅助的相机系统的图像捕获设备，以使得从所选择的候选视点捕获目标区域808的后续图像。
226.在图10中示出选择候选视点(即，选择与候选视点二对应的模拟图像1202)之后、由图像捕获设备捕获的真实图像1400的示例性例图。
227.即，与构成对目标图像从第三候选视点看上去如何的预测的模拟图像1202(在不使图像捕获设备致动的情况下，由提供单元1006生成)相反，图像1400示出在移至第三候选视点之后、由图像捕获设备实际捕获的图像。相应地，因为与患者的目标区域的实际图像有关，所以外科医生804能够使用该实际图像1400对患者执行外科手术操作。
228.在图像1400中，示出患者802的目标区域808。然而，与场景900的第一图像(即，从图像捕获设备的初始位置捕获的目标区域808的图像)相反，图像1400为外科医生提供患者的目标区域808的清晰图像。即，与图像900相比较，图像1400中从目标区域的组织所接收的炫目和反射量大量地减少。
229.如此，装置1000中的控制单元控制图像捕获设备，以使得由图像捕获设备捕获与所选择的模拟图像对应的场景的真实图像。
230.有利效果：
231.根据本公开的实施方式，用于在外科手术期间控制图像捕获设备的装置能够使得外科医生在无需对相机进行重新定位以考虑可替代地视点的情况下考虑计算机辅助的相机系统在外科手术期间的多个可替代的视点，由此能够使得在不致使外科手术程序产生不必要的延迟的情况下对计算机辅助的相机系统视点战略进行优化。
232.进一步地，可以将外科医生自身不可能构想的候选视点呈现给外科医生。因此，这些候选视点可以提供外科医生之前未考虑的令人惊讶的益处，诸如外科手术性能的改进或外科手术持续时间的减少。具体地，本公开的实施方式能够使得人类外科医生从由其他人类或机器人外科医生开发的视点战略中获益。
233.当然，本公开并不具体地局限于这些有利的技术效果，当阅读本公开时，可能存在
变得对本领域技术人员显而易见的其他效果。
234.附加变形：
235.尽管上面已经参考本公开中的图4至图10对装置1000的配置进行了描述，然而，应当认识到，本公开的实施方式并不局限于该具体的示例。例如，本公开的实施方式可以基于需要根据所执行的外科手术程序而应用于图像捕获设备，诸如内窥镜图像捕获设备、伸缩图像捕获设备、显微图像捕获设备等。
236.进一步地，下面对装置的配置的多个附加变形进行了描述。图11示出根据本公开的这些实施方式的用于在外科手术期间控制图像捕获设备的装置1000。
237.《优势评判单元》
238.在一些可选的示例中，装置1000可以进一步被配置为包括优势评判单元1010。优势评判单元1010可以被配置为对候选视点的模拟图像的一个或多个可量化特征进行评估并且根据评估结果布置候选视点。例如，可以在显示器上的更显著位置中布置优势评判单元为外科医生评估的更有利视点的候选视点。
239.即，提供单元1006可以被配置为向优势评判单元1010额外地提供候选视点的模拟图像，以使得优势评判单元能够根据外科医生产生的可量化益处来将与这些模拟图像相对应的候选视点布置在显示器上。一旦优势评判单元1010对候选视点进行评估，优势评判单元就可以将该信息返回至提供单元1006，以使得提供单元可以将关于每个候选视点的有利效果的信息提供给外科医生。可替代地，或附加地，当确定将哪些候选视点提供给外科医生时，提供单元1006可以使用来自优势评判单元1010的信息。可替代地，或附加地，在确定将与候选视点相对应的模拟图像提供给外科医生的顺序时，提供单元1006可以使用来自优势评判单元1010的信息。
240.在示例中，优势评判单元1010可以确定与通过第一接收单元1002接收的第一图像有关的每个视点的有利效果(即，与通过图像捕获设备获得的场景的当前图像有关)。
241.在示例中，优势评判单元1010可以基于分配给外科手术场景的模拟图像的可量化特征的分数来对候选视点进行评估。这些特征可以包括下列特征，诸如：外科医生的工作区域或关键组织区域的能见度的百分比增加；光反射或炫目的百分比减少；图像的对比度和/或清晰度的百分比增加；一个或多个外科手术工具在外科手术场景内可用的移动范围/移动程度的百分比增加；外科手术场景内的图像捕获设备与一个或多个工具之间的碰撞可能性减少等。可以根据情形对这些特征中的每个特征应用加权，并且通过优势评判单元1010将具有最高累积分数的模拟图像评估为外科医生的最有利的候选视点。优势评判单元1010可以根据需要使用任意合适的图像处理技术对这些特征进行评估。
242.可替代地，在示例中，可以在由优势评判单元1010执行的评估中计算候选视点的不可预期性。即，可以将由确定单元1004确定的一个或多个候选视点(已经通过提供单元1006生成其模拟图像)与外科医生的视点偏好和/或该外科医生特有的视点历史(指示外科医生通常在给定外科手术程序的给定阶段喜欢使用的图像捕获视点)进行比较。因为这些视点可能为外科医生提供最为令人惊讶的益处(外科医生针对外科手术程序之前未构想的有利视点)，所以优势评判单元1010可能将与外科医生通常选择的视点具有较高对比度的有利视点排列为最高。
243.进一步地，对于外科手术程序的给定阶段，可以进一步将候选视点与全球统称的
人类外科医生通常使用的视点的数据库进行比较，以使得优势评判单元1010能够确定一点，该点在计算机辅助的外科手术系统(诸如机器人外科医生)获知的同时确定令多数人类外科医生惊讶或意料不到(并且并非仅令当前执行外科手术程序的外科医生惊讶或意料不到)的视点。
244.在示例中，由优势评判单元1010识别、实际上由提供单元1006通信给外科医生的优势可能随着外科医生的经验和/或训练的水平而改变。需要帮助来找到外科手术场景的良好视点的新手外科医生可能尤其关注图像捕获设备与外科手术工具之间的碰撞并且因此可能需要更多的工作空间。因此，当在这种情形下对候选视点进行评分时，可以通过优势评判单元对工作空间应用更高的加权因子。
245.可替代地，外科医生在图像捕获设备中可以使用比外科医生所经历的计算机辅助外科手术系统具有更大自由度的计算机辅助外科手术设备，并且因此，外科医生可能不知道可以具有增加运动范围的额外有利视点；可以优选将这些额外的有利视点通信给外科医生。即，因此，当在这种情形下对候选视点进行评分时，可以通过优势评判单元应用利用增强自由度的图像捕获设备的更高加权因子视点。
246.《视点调整单元》
247.在一些可选的示例中，装置1000可以进一步被配置为包括视点调整单元1012。视点调整单元1012可以被配置为从提供单元1006接收关于已经提供给用户的候选视点的模拟图像的信息。
248.视点调整单元被设置成能够使得外科医生在指图像捕获设备移至该新的视点之前对所选择的候选视点的一个或多个性质进行修改。
249.在一些示例中，视点调整单元1012可以被配置为接收与外科手术场景的模拟图像的交互并且基于该交互来更新对应的候选视点的一个或多个性质。
250.再次考虑参考本公开中的图4所描述的示例性情形。在该示例中，将显示屏幕上的用户界面1300(本公开中的图9示出的)提供给外科医生，以使得外科医生能够执行对候选视点的模拟图像的选择作为获得目标区域808的实际图像的视点。
251.在该示例中，当外科医生执行对候选视点的选择时，视点调整单元1012可以被配置为与提供单元1006协作地生成提供给外科医生的另一用户界面。该另一用户界面能够使得外科医生更新对应的候选视点的一个或多个性质。
252.在图12中示出该另一用户界面1600的示例。
253.此处，在用户界面1600的顶部，场景900的当前图像(第一图像)被提供给外科医生。重要的是，继续向外科医生提供场景的当前图像，以使得外科医生关注患者的安全和外科手术程序的效率。除该第一图像900之外，用户界面1600还向外科医生提供由提供单元产生的一个模拟图像(由外科医生选择的模拟图像)的增强视野。在该具体示例中，外科医生选择模拟图像1202作为关注的候选视点。
254.进一步地，使用用户界面1600将一个或多个候选视点调整工具1602提供给外科医生。这些候选视点调整工具1602能够使得外科医生操纵由提供单元1006产生的候选视点的模拟图像。例如，外科医生可以使用一个候选视点调整工具对目标区域进行放大。在这种情形下，视点调整单元被配置为对呈现给用户的候选视点的模拟以及更新应候选视点的一个或多个性质(在该具体的示例中，为候选视点中所使用的缩放水平)。候选视点的其他性质
可以包括候选视点的位置、候选视点的孔径、候选视点的图像模态等。
255.在一些实施方式中，装置1000中的提供单元使用候选视点的更新性质生成场景的模拟图像而提供给外科医生。即，在特定的示例中，电路被配置为接收与外科手术场景的模拟图像的交互并且基于该交互更新外科手术场景的对应的候选视点的一个或多个性质和/或模拟图像。
256.相应地，一旦外科医生确认选择，控制单元1008则被配置为控制图像捕获设备从由外科医生调整的所选择候选视点捕获图像。具体地，在该示例中，控制单元控制图像捕获设备从具有增强缩放水平(与由外科医生执行的调整对应)的第二候选视点(与模拟图像1202对应)捕获图像。
257.换言之，视点调整单元1012能够使得外科医生根据其自身的具体偏好对所选择的候选视点进行手动调整。在确保由图像捕获设备提供的视点是外科医生操作舒适的视点的同时，这能够使得外科医生接收候选视点的益处。
258.《兼容性评判单元》
259.在一些可选的示例中，装置1000可以进一步被配置为包括兼容性评判单元1014。例如，兼容性评判单元可以接收由确定单元1004确定的候选视点的列表。
260.在特定的示例中，兼容性评判单元1014可以被配置为确定图像捕获设备实现由确定单元产生的候选视点的能力并且排除不适于图像捕获设备的候选视点。即，由于图像捕获设备周围的工作空间的限制，兼容性评判单元1014可以确定图像捕获设备在具体的外科手术情形中不能实现给定的候选视点。然后，在生成从候选视点获得的场景的图像模拟之前，兼容性评判单元1014可以从候选视点的列表中移除图像捕获设备不能实现的候选视点。如此，不使用生成图像捕获设备不能实现的模拟图像的处理资源。
261.在其他示例中，兼容性评判单元1014可以被配置为执行对外科医生所使用的候选视点的能力的评估并且排除不适于外科医生在外科手术场景中使用的这些候选视点。即，对计算机辅助的外科手术系统(诸如机器人外科医生)有利的特定候选视点可能过于复杂而使得人类外科医生无法理解。例如，如果视点是场景的快速变化的动态视点，则可能存在这种情形。如此，兼容性评判单元1014可以从由装置1000中的确定单元产生的候选单元的列表中移除对人类使用不切实际的视点。
262.在一些示例中，兼容性评判单元1014可以被配置为对特定的候选视点进行识别，这些候选视点以其存在的形式与人类外科医生不兼容，可以通过一次或多次修改进行调整，以使得候选视点变得与人类外科医生兼容。例如，兼容性评判单元1014可以对特定的动态机器人视点进行适配，以使得动态视点变得对人类使用切实可行。例如，兼容性评判单元1014通过降低图像捕获设备的移动速率可以实现此目的，从而减少所使用的不等视角的数量和/或使不同视野模态之间的切换频率最小化。
263.如此，在仍向人类外科医生提供与候选视点有关的可比较益处的同时，针对计算机辅助的外科手术设备进行优化的视点可以被适配为提高人类外科医生对视点的使用性。
264.示例性设置：
265.参考本公开中的图13示出根据本公开的实施方式的计算机辅助的外科手术系统的示例性设置。在内窥镜外科手术情形中可以使用(如参考本公开中的图1所描述的)、或在主从外科手术情形中可以替代地使用(如参考本公开中的图3所描述的)、或在使用显微镜
或外显镜中可以替代地使用该示例性的设置。
266.可以使用根据本公开的实施方式的在外科手术期间控制图像捕获设备的该示例性设置。
267.在该示例中，场景评判系统(诸如第一接收单元1002)从外科手术场景1702接收上下文信息和第一图像信息。
268.场景评判系统被配置为使用从外科手术场景1702接收的该信息来确定外科手术阶段(即，由外科医生执行的外科手术程序、以及外科手术程序的阶段(诸如外科手术程序的初始、中间、或最终阶段))。
269.然后，场景评判系统将关于外科手术阶段的信息提供给可替代的视点生成系统(例如，诸如确定单元1004和提供单元1006)。
270.然后，可替代的视点生成系统1704从机器人视点数据库接收机器人视点。这些是机器人外科手术系统(计算机辅助的外科手术系统的形式)在与外科医生执行的外科手术对应的之前外科手术中所使用的视点。然后，由机器人视点生成算法使用此视点来生成多个机器人视点的模拟图像(即，外科手术场景从机器人视点数据库检索的特定机器人视点看上去如何的模拟图像)。
271.可选地，将这些模拟图像传递至被配置为从提供给外科医生的视点候选中选择多个最为令人惊讶的视点的惊讶视点选择算法。
272.然后，使用用户界面1712将所选择的候选视点提供给外科医生。因此，外科医生能够在不移动图像捕获设备并且在不中断外科手术程序的情况下观察来自图像捕获设备的图像从所选择的这些候选视点看上去如何。
273.一旦接收外科医生对用户界面上所显示的视点中的一个或多个优选视点的选择，相机致动单元就被配置为控制计算机辅助的外科手术系统的图像捕获设备，以使得图像捕获设备被配置为从与外科医生选择的虚拟候选视点对应的现实世界视点捕获场景的后续图像。
274.如此，外科医生能够在无需对相机反复地进行重新定位来考虑可替代的视点的情况下考虑计算机辅助的相机系统在外科手术期间的多个可替代的视点，由此能够使得在不致使外科手术程序产生不必要的延迟的情况下对计算机辅助的相机系统视点战略进行优化。
275.方法：
276.根据本公开的实施方式，提供一种根据本公开的实施方式的在外科手术期间控制医学图像捕获设备的方法。参考本公开中的图14示出控制医学图像捕获设备的方法。
277.方法从步骤s1800开始并且进行至步骤s1802。
278.在步骤s1802中，方法包括：接收由医学图像捕获设备从第一视点捕获的外科手术场景的第一图像以及该场景的附加信息。
279.一旦接收图像及附加信息，方法则进行至步骤s1804。
280.在步骤s1804中，方法包括：根据附加信息以及外科手术场景的先前视点信息为医学图像捕获设备确定一个或多个候选视点，该医学图像捕获设备从一个或多个候选视点获得外科手术场景的图像。
281.一旦确定候选视点，方法则进行至步骤s1806。
282.在步骤s1806中，方法包括：根据外科手术场景的第一图像提供针对一个或多个候选视点中的每个候选视点的来自该候选视点的外科手术场景的模拟图像。
283.一旦提供外科手术场景的模拟图像，方法则进行至步骤s1808。
284.在步骤s1808中，方法包括：控制医学图像捕获设备从与对外科手术场景的一个或多个模拟图像中的一个模拟图像的选择相对应的候选视点获得外科手术场景的图像。
285.然后，方法进行至步骤s1810并且在步骤s1810结束。
286.应当认识到，在一些情形中，一旦步骤s1810完成，方法则返回至步骤1802。如此，根据需要对图像捕获设备的所需图像捕获性质进行持续并且周期性地评估和更新。
287.计算机设备：
288.现参考图15，示出根据本公开的实施方式的计算设备1900。计算设备1900可以是用于在外科手术期间控制图像捕获设备的计算设备。通常，计算设备可以是诸如连接至服务器的个人电脑或终端的设备。确实，在实施方式中，计算设备还可以是服务器。使用微处理器或其他处理电路1902控制计算设备1900。
289.处理电路1902可以是完成计算机指令的微处理器或者可以是专用集成电路。计算机指令存储在可能是磁性可读介质、光学可读介质、或固态型电路的存储介质1904上。
290.存储介质1904可以被集成到计算设备1900中(如示出的)或可以与计算设备1900分离并且使用有线或无线连接与其连接。
291.计算机指令可以涵盖包含计算机可读代码的计算机软件，当被加载到处理器电路1902中时，计算机可读代码将计算设备1900的处理器电路1902配置为执行根据本公开的实施方式的在外科手术期间控制图像捕获设备的方法。此外，与处理器电路1902连接的是用户输入(未示出)。用户输入可以是触摸屏或可以是鼠标或铁笔型输入设备。用户输入还可以是键盘或这些设备的任意组合。
292.网络连接1906还耦接至处理器电路1902。网络连接1906可以是到局域网或诸如互联网或虚拟私有网等的广域网的连接。网络连接1906可以连接至医学设备基础设施，以允许处理器电路1902与其他医学设备进行通信来获得相关数据或将相关数据提供至其他医学设备。网络连接1906可以位于防火墙或某一其他形式的网络安全的后面。
293.此外，与处理电路1902耦接的是显示设备1908。尽管被示出为集成到计算设备1900中，然而，显示设备1908可以额外地与计算设备1900分离并且可以是允许用户对系统的操作进行可视化的监视器或某一种设备。此外，显示设备1908可以是允许用户或第三方(诸如医学支持人员)观察由计算设备1900生成的相关信息的打印机或某一其他设备。
294.尽管已经参考“主从”机器人系统对前面进行了描述，然而，本公开并不局限于此。在一些实例中，外科手术机器人可以在人类外科医生具备监督能力的情况下独立于人类外科医生而工作。而且，对于内窥镜或腹腔镜，镜专员可以是机器人，且人类外科医生指引机器人。在实施方式中，机器人系统可以是多机器人外科手术系统，其中，主外科医生使用机器人外科医生并且助手外科医生远程操纵辅助机器人臂。机器人系统可以是由保持外科手术仪器的一对共同操作和自主机器人臂构成的单人外科手术系统。在这种情况下，人类外科医生可以使用主从布置。
295.《示例性系统》
296.图16示意性地示出可应用本技术的计算机辅助的外科手术系统11260的示例。计
算机辅助的外科手术系统是整合自主臂11000以及一个或多个外科医生控制的臂11010的主从系统。自主臂保持成像设备11020(例如，诸如内窥镜、显微镜、或外显镜的医用镜)。一个或多个外科医生控制的臂11010各自保持外科手术设备11030(例如，切割工具等)。自主臂的成像设备将外科手术场景的图像输出至外科医生可观察的电子显示器11100。尽管外科医生使用一个或多个外科医生控制的臂执行外科手术，然而，自主臂对成像设备的视野进行自主地调整，以为外科医生实时提供外科手术场景的适当视野。
297.外科医生使用主控制台11040控制一个或多个外科医生控制的臂11010。主控制台包括主控制器11050。主控制器11050包括一个或多个力传感器11060(例如，扭矩传感器)、一个或多个旋转传感器11070(例如，编码器)、以及一个或多个致动器11080。主控制台包括包含一个或多个关节以及操作部的臂(未示出)。外科医生能够抓握操作部并且移动，以致使臂绕一个或多个关节移动。一个或多个力传感器11060检测外科医生对臂绕一个或多个关节的操作部所提供的力。一个或多个旋转传感器检测臂的一个或多个关节的旋转角度。致动器11080围绕一个或多个关节驱动臂，以允许臂将触觉反馈提供给外科医生。主控制台包括用于从外科医生接收输入信息和/或将输出信息提供给外科医生的自然用户界面(nui)输入/输出。nui输入/输出包括臂(外科医生移动臂来提供输入信息并且臂将触觉反馈作为输出信息提供给外科医生)。nui输入还可以包括语音输入、视线输入、和/或姿势输入。
298.主控制台包括用于输出由成像设备11020捕获的图像的电子显示器11100。
299.主控制台11040经由机器人控制系统11110与自主臂11000以及一个或多个外科医生控制的臂11010中的每个臂进行通信。机器人控制系统通过有线或无线连接11230、11240、以及11250连接至主控制台11040、自主臂11000、以及一个或多个外科医生控制的臂11010。连接11230、11240、以及11250允许在主控制台、自主臂、以及一个或多个外科医生控制的臂之间交换有线或无线信号。
300.机器人控制系统包括控制处理器11120和数据库11130。控制处理器11120对从一个或多个力传感器11060及一个或多个旋转传感器11070接收的信号进行处理并且输出响应一个或多个力传感器11060驱动一个或多个外科医生控制的臂11010的控制信号。如此，主控制台11040的操作部的移动引起一个或多个外科医生控制的臂的对应移动。
301.控制处理器11120还响应于一个或多个致动器11160输出驱动自主臂11000的控制信号。由控制处理器11120响应于从一个或多个主控制台11040、一个或多个外科医生控制的臂11010、自主臂11000、以及任意其他信号源(未示出)接收的信号而确定被输出至自主臂的控制信号。所接收的信号是指示自主臂的适当位置的信号，以使成像设备11020从适当的角度捕获图像。数据库11130存储所接收的信号的值以及自主臂的对应位置。
302.例如，对于从主控制器中的一个或多个力传感器11060与旋转传感器11070接收的信号值的给定组合(其进而指示一个或多个外科医生控制的臂11010的对应移动)，将自主臂11000的对应位置设置成使得由成像设备11020捕获的图像不被一个或多个外科医生控制的臂11010遮挡。
303.作为另一示例，如果由自主臂中的一个或多个力传感器11170(例如，扭矩传感器)输出的信号指示自主臂正在经受阻力(例如，由于自主臂路径中的障碍物)，则将自主臂的对应位置设置成使得由成像设备11020从可替代的视野(例如，允许自主臂沿着不涉及障碍
物的可替代路径移动的一个视野)捕获图像。
304.应当认识到，可以存在指示自主臂的适当位置的其他类型的接收信号。
305.控制处理器11120在数据库11130中查询所接收的信号的值并且检索指示自主臂11000的对应位置的信息。然后，对该信息进行处理，以生成响应自主臂的致动器11160致使自主臂移至所指示的位置的其他信号。
306.自主臂11000与一个或多个外科医生控制的臂11010中的每个臂包括臂单元11140。臂单元包括臂(未示出)、控制单元11150、一个或多个致动器11160、以及一个或多个力传感器11170(例如，扭矩传感器)。臂包括允许臂移动的一个或多个连杆和关节。控制单元11150将信号传送至机器人控制系统11110并且从机器人控制系统11110接收信号。
307.响应从机器人控制系统接收的信号，控制单元11150控制一个或多个致动器11160围绕一个或多个关节驱动臂，以将其移至适当的位置。
308.对于一个或多个外科医生控制的臂11010，由机器人控制系统基于从主控制台11040接收的信号而生成所接收的信号(例如，由控制主控制台的臂的外科医生)。对于自主臂11000，通过在数据库11130中查询合适的自主臂位置信息的机器人控制系统来生成所接收的信号。
309.响应于由围绕一个或多个关节的一个或多个力传感器11170输出的信号，控制单元11150将信号输出至机器人控制系统。例如，这允许机器人控制系统将指示一个或多个外科医生控制的臂11010所经受的阻力的信号传送至主控制台11040，以将对应的触觉反馈提供给外科医生(例如，以使得一个或多个外科医生控制的臂所经受的阻力致使主控制台的致动器11080在主控制台的臂中产生对应的阻力)。作为另一示例，这允许机器人控制系统在数据库11130中查询合适的自主臂位置信息(例如，如果一个或多个力传感器11170指示自主臂的路径中存在障碍物，则找出自主臂的可替代位置)。
310.自主臂11000的成像设备11020包括相机控制单元11180和成像单元11190。相机控制单元控制成像单元捕获图像并且控制所捕获的图像的各个参数，诸如缩放水平、曝光值、白平衡等。
311.成像单元捕获外科手术场景的图像。成像单元包括捕获图像所需的全部组件，包括一个或多个透镜以及图像传感器(未示出)。捕获图像的外科手术场景的视野取决于自主臂的位置。
312.一个或多个外科医生控制的臂的外科手术设备11030包括设备控制单元11200、操纵器11210(例如，包括一个或多个电机和/或致动器)、以及一个或多个力传感器11220(例如，扭矩传感器)。
313.设备控制单元11200控制操纵器响应从机器人控制系统11110接收的信号而执行物理动作(例如，当外科手术设备11030是切割工具时的切割动作)。由机器人控制系统响应从主控制台11040接收的信号而生成这样的信号，即，由将信息输入至nui输入/输出11090来控制外科手术设备的外科医生生成。例如，nui输入/输出包括包含作为主控制台的臂的操作部的一部分的一个或多个按钮或操纵杆，即，外科医生操作为致使外科手术设备执行预定的动作(例如，当外科手术设备是切割工具时，开启或关闭电动叶片)。
314.设备控制单元11200还从一个或多个力传感器11220接收信号。响应于所接收的信号，设备控制单元将对应的信号提供至机器人控制系统11110，其进而将对应的信号提供至
主控制台11040。主控制台经由nui输入/输出11090将触觉反馈提供给外科医生。因此，外科医生接收来自外科手术设备11030、以及来自一个或多个外科医生控制的臂11010的触觉反馈。例如，当外科手术设备是切割工具时，触觉反馈涉及按钮或操纵杆，当来自一个或多个力传感器11220的信号指示切割工具的较大力时(当切穿较硬的材料时发生，例如骨骼)，使切割工具操作为给予较大的操作阻力，并且当来自一个或多个力传感器11220的信号指示切割工具的较小力时(当切穿较软的材料时发生，例如，肌肉)，给予较小的操作阻力。nui输入/输出11090包括响应于从机器人控制系统11110接收的信号而提供触觉反馈的一个或多个合适的电机、致动器等。
315.图17示意性地示出可应用本技术的计算机辅助的外科手术系统12090的另一示例。计算机辅助的外科手术系统12090指这样的外科手术系统，即，其中，外科医生经由主从系统11260执行任务并且计算机化外科手术装置12000自主地执行任务。
316.主从系统11260与图16中的相同并且因此未进行描述。然而，在可替代的实施方式中，系统可以是与图16不同的系统，或者可以一起省去(在这种情况下，尽管外科医生执行常规的外科手术，然而，系统12090自主地工作)。
317.计算机化外科手术装置12000包括机器人控制系统12010和工具保持臂装置12100。工具保持臂装置12100包括臂单元12040和外科手术设备12080。臂单元包括臂(未示出)、控制单元12050、一个或多个致动器12060、以及一个或多个力传感器12070(例如，扭矩传感器)。臂包括允许臂移动的一个或多个关节。工具保持臂装置12100经由有线或无线连接12110将信号传动至机器人控制系统12010并且从机器人控制系统12010接收信号。机器人控制系统12010包括控制处理器12020和数据库12030。尽管被示出为独立的机器人控制系统，然而，机器人控制系统12010与机器人控制系统11110可以是一个并且相同。外科手术设备12080与外科手术设备11030具有相同的组件。其在图17中未示出。
318.响应于从机器人控制系统12010接收的控制信号，控制单元12050控制一个或多个致动器12060围绕一个或多个关节驱动臂，以将其移至适当的位置。还通过从机器人控制系统12010接收的控制信号而控制外科手术设备12080的操作。由控制处理器12020响应从一个或多个臂单元12040、外科手术设备12080、以及任意其他信号来源(未示出)接收的信号而生成控制信号。其他信号来源可以包括捕获外科手术场景的图像的成像设备(例如，主从系统11260的成像设备11020)。将由控制处理器12020接收的信号的值与存储在数据库12030中的信号值以及对应的臂位置和/或外科手术设备操作状态信息进行比较。控制处理器12020从数据库12030中检索与所接收的信号的值相关联的位置和/或外科手术设备操作状态信息。然后，控制处理器12020使用所检索的臂位置和/或外科手术设备操作状态信息生成被发送至控制单元12050和外科手术设备12080的控制信号。
319.例如，如果从捕获外科手术场景的图像的成像设备接收的信号指示预定的外科手术情景(例如，经由神经网络图像分类过程等)，则在数据库12030中查询预定的外科手术情景并且从数据库中检索与预定的外科手术情景相关联的臂位置信息和/或外科手术设备操作状态信息。作为另一示例，如果信号指示通过一个或多个力传感器12070围绕臂单元12040的一个或多个关节所测量的阻力值，则在数据库12030中查询阻力值并且从数据库中检索与阻力值相关联的臂位置信息和/或外科手术设备操作状态信息(例如，如果增加的阻力与臂路径中的障碍物对应，则允许将臂的位置改变成可替代的位置)。因此，在任意情况
下，控制处理器12020将信号传送至控制单元12050，以控制一个或多个致动器12060将臂的位置改变成由所检索的臂位置信息所指示的位置，和/或将信号传送至外科手术设备12080，以控制外科手术设备12080进入由所检索的操作状态信息指示的操作状态(例如，如果外科手术设备12080是切割工具，则使电动叶片为“开启”状态或“关闭”状态)。
320.图18示意性地示出可应用本技术的计算机辅助的外科手术系统13000的另一示例。计算机辅助的外科手术系统13000指其中自主臂11000保持成像设备11020(例如，诸如内窥镜、显微镜、或外显镜的医用镜)的计算机辅助的医用镜系统。自主臂的成像设备将外科手术场景的图像输出至外科医生可观察的电子显示器(未示出)。当外科医生执行外科手术时，自主臂对成像设备的视野进行自主地调整，以向外科医生实时地提供外科手术场景的适当视野。自主臂11000与图16中的相同并且因此未进行描述。然而，在这种情况下，将自主臂设置成独立的计算机辅助的医用镜系统13000的一部分、而非图16中的主从系统11260的一部分。因此，例如，能够在包括腹腔镜外科手术(其中，医用镜是内窥镜)和开放式外科手术的多个不同的外科手术设置中使用自主臂11000。
321.计算机辅助的医用镜系统13000还包括用于控制自主臂11000的机器人控制系统13020。机器人控制系统13020包括控制处理器13030和数据库13040。经由连接13010在机器人控制系统13020与自主臂11000之间交换有线或无线信号。
322.响应于从机器人控制系统13020接收的控制信号，控制单元11150控制一个或多个致动器11160驱动自主臂11000，以将其移至使成像设备11020从适当的视野捕获图像的适当位置。由控制处理器13030响应从一个或多个臂单元11140、成像设备11020、以及任意其他信号来源(未示出)接收的信号来生成控制信号。将由控制处理器13030接收的信号的值与存储在数据库13040中的信号值以及对应的臂位置信息进行比较。控制处理器13030从数据库13040中检索与所接收的信号的值相关联的臂位置信息。然后，控制处理器13030使用所检索的臂位置信息生成被发送至控制单元11150的控制信号。
323.例如，如果从成像设备11020接收的信号指示预定的外科手术情景(例如，经由神经网络图像分类过程等)，则在数据库13040中查询预定的外科手术情景并且从数据库中检索与预定的外科手术情景相关联的臂位置信息。作为另一示例，如果信号指示由臂单元11140中的一个或多个力传感器11170测量的阻力值，则在数据库12030中查询阻力值并且从数据库中检索与阻力值相关联的臂位置信息(例如，如果增加的阻力与臂路径中的障碍物对应，则允许将臂的位置改变成可替代的位置)。因此，在任意情况下，控制处理器13030将信号传送至控制单元11150，以控制一个或多个致动器1116将臂的位置改变成由所检索的臂位置信息指示的位置。
324.图19示意性地示出可应用本技术的计算机辅助的外科手术系统14000的另一示例。系统包括具有成像单元11020的一个或多个自主臂11000、以及具有外科手术设备12100的一个或多个自主臂12100。一个或多个自主臂11000与一个或多个自主臂12100与之前描述的自主臂相同。由包括控制处理器14090和数据库14100的机器人控制系统14080控制每个自主臂11000和12100。分别经由连接14110和14120在机器人控制系统14080与各个自主臂11000和12100之间发送有线或无线信号。机器人控制系统14080执行用于控制各个自主臂11000的之前所述机器人控制系统11110和/或13020的功能并且执行用于控制各个自主臂12100的之前所述机器人控制系统12010的功能。
325.自主臂11000和12100至少完全自主地执行外科手术的一部分(例如，当系统14000是开放式外科手术系统时)。机器人控制系统14080控制自主臂11000和12100，以基于指示外科手术的当前阶段和/或外科手术中发生的事件的输入信息来在外科手术期间执行预定的动作。例如，输入信息包括由图像捕获设备11000捕获的图像。输入信息还可以包括由麦克风(未示出)捕获的声音、基于外科手术仪器(未示出)所包括的运动传感器对使用中的外科手术仪器进行的检测、和/或任意其他合适的输入信息。
326.使用由基于机器学习的外科手术计划装置14020实现的合适机器学习(ml)算法(例如，合适的人工神经网络)对输入信息进行分析。计划装置14020包括机器学习处理器14030、机器学习数据库14040、以及训练器14050。
327.机器学习数据库14040包括指示外科手术阶段的分类(例如，进行切除、移除器官、或进行缝合)和/或外科手术事件(例如，血液或患者参数将至预定范围以外)的信息以及提前获知的与这些分类对应的输入信息(例如，成像设备11020在每个分类的外科手术阶段和/或外科手术事件期间所捕获的一个或多个图像)。通过将指示每个分类的信息及对应的输入信息提供至训练器14050，在训练阶段期间对机器学习数据库14040进行填充。然后，训练器14050使用该信息对机器学习算法进行训练(例如，通过使用信息来确定合适的人工神经网络参数)。通过机器学习处理器14030实现机器学习算法。
328.一旦训练，就能够通过机器学习算法对之前未看到的输入信息(例如，新捕获的外科手术场景的图像)进行分类，以确定与该输入信息相关联的外科手术阶段和/或外科手术事件。机器学习数据库还包括指示各个自主臂11000和12100响应存储在机器学习数据库中的各个外科手术阶段和/或外科手术事件而采取的动作的动作信息(例如，控制自主臂12100在外科手术阶段“进行切除”的相关位置进行切除并且控制自主臂12100对外科手术事件“出血”执行适当的烧灼)。因此，基于机器学习的外科手术计划器14020能够响应由机器学习算法输出的外科手术阶段和/或外科手术事件分类而确定自主臂11000和/或12100所采取的相关动作。将指示相关动作的信息提供至机器人控制系统14080，其进而将信号提供至自主臂11000和/或12100，以致使执行相关的动作。
329.计划装置14020可以包括在具有机器人控制系统14080的控制单元14010内，由此允许在计划装置14020与机器人控制系统14080之间进行直接的电子通信。可替代地或此外，机器人控制系统14080可以通过通信网络14050(例如，互联网)从其他设备14070接收信号。这允许基于由这些其他设备14070完成的处理来对自主臂11000和12100进行远程控制。在示例中，设备14070是具有足够处理功率的云服务器，以快速实现复杂的机器学习算法，由此达到更可靠的外科手术阶段和/或外科手术事件分类。可以由不同的相应设备14070使用存储在每个设备可访问的外部(例如，基于云)机器学习数据库14060中的相同训练数据而实现不同的机器学习算法。因此，每个设备14070并不需要其自身的机器学习数据库(如计划装置14020中的机器学习数据库14040)并且能够对训练数据进行更新并且供全部设备14070集中使用。每个设备14070仍包括训练器(如训练器14050)和机器学习处理器(如机器学习处理器14030)，以实现其相应的机器学习算法。
330.图20示出臂单元11140的示例。以相同的方式配置臂单元12040。在该示例中，臂单元11140支撑作为成像设备11020的内窥镜。然而，在另一示例中，支撑不同的成像设备11020或外科手术设备11030(在臂单元11140的情况下)或12080(在臂单元12040的情况
下)。
331.臂单元11140包括基部7100和从基部7100延伸的臂7200。臂7200包括多个活动关节721a至721f并且在臂7200的远端处支撑内窥镜11020。连杆722a至722f是大致棒状的构件。多个连杆722a至722f中的每个通过活动关节721a至721f、被动滑动机构7240、以及被动关节7260连接至彼此。基部单元7100用作支点，以使得臂形状从基部7100延伸。
332.通过驱动并且控制设置在臂7200的活动关节721a至721f中的致动器而控制内窥镜11020的位置和姿势。根据该示例，致使内窥镜11020的远端进入患者的体腔(即，治疗部位)并且捕获治疗部位的图像。然而，内窥镜11020可以代替地是诸如另一成像设备或外科手术设备的另一设备。更一般地，将保持在臂7200的端部处的设备称为远端单元或远端设备。
333.此处，通过将图14中示出的坐标轴限定如下来描述臂单元7200。
334.进一步地，根据坐标轴限定垂直方向、纵向方向、以及水平方向。换言之，将相对于安装在地板表面上的基部7100的垂直方向限定为z轴方向和垂直方向。进一步地，将与z轴正交的方向，即，臂7200从基部7100延伸的方向(换言之，其中内窥镜11020相对于基部7100定位的方向)，限定为y轴方向和纵向方向。而且，将与y轴和z轴正交的方向限定为x轴方向和水平方向。
335.活动关节721a至721f使连杆连接至彼此而旋转。活动关节721a至721f具有致动器、并且具有通过致动器的驱动而被驱动为绕预定的旋转轴旋转的各个旋转机构。例如，由于控制各个活动关节721a至721f的旋转驱动，可以控制臂7200的驱动，以使得臂单元7200延伸或收缩(折叠)。
336.被动滑动机构7240是被动形式的改变结构的一方面并且使连杆722c和连杆722d连接至彼此，以沿着预定的方向向前和向后移动。例如，由用户操作被动滑动机构7240向前和向后移动，并且位于连杆722c的一端侧的活动关节721c与被动关节7260之间的距离是可变的。利用配置，能够改变臂单元7200的整个形式。
337.被动关节7360是被动形式的改变结构的一方面并且使连杆722d与连杆722e连接至彼此而旋转。例如，由用户操作被动关节7260而旋转，并且连杆722d与连杆722e之间所形成的角度是可变的。利用配置，能够改变臂单元7200的整个形式。
338.在实施方式中，臂单元11140具有六个活动关节721a至721f、并且实现关于臂7200的驱动的六个自由度。即，尽管通过六个活动关节721a至721f的驱动控制实现了臂单元11140的驱动控制，然而，被动滑动机构7260与被动关节7260不是受驱动控制的对象。
339.具体地，如图14中示出的，活动关节721a、721d、以及721f各自被设置成使得连接杆722a和722e的长轴方向与连接内窥镜11020的捕获方向作为旋转轴方向。活动关节721b、721c、以及721e被设置成使得x轴方向作为旋转轴方向，即，各个连接杆722a至722c、722e、以及722f、与内窥镜11020的连接角度在y-z平面内改变的方向(由y轴和z轴限定的平面)。如此，活动关节721a、721d、以及721f具有执行所谓的偏航的功能，并且活动关节721b、721c、以及721e具有执行所谓的俯仰的功能。
340.因为相对于臂单元11140中的臂7200的驱动实现了六个自由度，所以内窥镜11020能够在臂7200的可移动范围内自由地移动。图14示出半球形作为内窥镜11020的可移动范围的示例。在其中将内窥镜11020的捕获中心固定在半球形的中心点处的状态下，假设半球
形的中心点rcm(远程运动中心)是由内窥镜11020捕获的治疗部位的捕获中心，则可以通过在半球形的球形表面上移动内窥镜11020而从各个角度捕获治疗部位。
341.还由下列编号的条款限定本公开的实施方式：
342.(1)一种用于在外科手术(surgery)期间控制医学图像捕获设备的系统，系统包括：电路，被配置为，接收由医学图像捕获设备从第一视点捕获的外科手术场景的第一图像以及场景的附加信息；根据附加信息以及外科手术场景的先前视点信息确定医学图像捕获设备由此获得外科手术场景的图像的一个或多个候选视点；根据外科手术场景的第一图像为一个或多个候选视点中的每个候选视点提供来自候选视点的外科手术场景的模拟图像；控制医学图像捕获设备从与对外科手术场景的一个或多个模拟图像中的一个模拟图像的选择对应的候选视点获得外科手术场景的图像。
343.(2)根据第1款所述的系统，其中，电路进一步被配置为：执行对用户所使用的候选视点的能力的评估并且排除不适于用户在外科手术场景中使用的这些候选视点。
344.(3)根据前述条款中任一项所述的系统，其中，电路进一步被配置为：将用于显示的外科手术场景的一个或多个模拟图像提供给用户；从用户接收对外科手术场景的一个或多个模拟图像中的一个模拟图像的选择。
345.(4)根据前述条款中任一项所述的系统，其中，电路进一步被配置为：控制支撑医学图像捕获设备的铰接臂的位置和/或方位，以控制医学图像捕获设备从与对外科手术场景的一个或多个模拟图像中的一个模拟图像的选择对应的候选视点获得外科手术场景的图像。
346.(5)根据前述条款中任一项所述的系统，其中，电路被配置为：根据预定度量对候选视点进行分析，并且将前n个候选视点显示给用户进行选择。
347.(6)根据第5款所述的系统，其中，电路被配置为：根据候选视点与用户的一个或多个视点偏好的比较而将候选视点分析为预定度量。
348.(7)根据前述条款中任一项所述的系统，其中，电路被配置为：根据预定度量对候选视点进行评估，并且基于评估控制显示器至少显示候选视点的子集。
349.(8)根据第5款、第6款、或第7款所述的系统，其中，电路被配置为：对模拟图像的一个或多个可量化的特征进行评估并且根据评估的结果将候选视点布置为预定度量。
350.(9)根据前述条款中任一项所述的系统，其中，电路被配置为：确定图像捕获设备实现候选视点的能力并且排除不适于图像捕获设备的这些候选视点。
351.(10)根据前述条款中任一项所述的系统，其中，由电路接收的附加信息包括外科手术场景的外科手术数据和/或环境数据。
352.(11)根据第10款所述的系统，其中，外科手术场景的外科手术数据和/或环境数据包括下列中的至少一项：指示外科手术的状态的外科手术信息；外科手术环境中的对象的位置数据；外科手术环境中的对象的移动数据；关于用户使用的外科手术工具的类型的信息；关于外科手术环境的照明信息；以及指示患者的状态的患者信息。
353.(12)根据前述条款中任一项所述的系统，其中，电路被配置为：接收与外科手术场景的模拟图像的交互，并且基于交互更新外科手术场景的对应候选视点的一个或多个性质和/或模拟图像。
354.(13)根据前述条款中任一项所述的系统，其中，电路被配置为：根据下列中的至少
一项确定视点信息，即，装置针对与附加信息对应的外科手术场景所选择的先前视点以及其他用户针对与附加信息对应的外科手术场景所使用的先前视点。
355.(14)根据第12款所述的系统，其中，视点信息包括图像捕获设备的位置信息和/或方位信息。
356.(15)根据前述条款中任一项所述的系统，其中，电路被配置为：使用在外科手术场景的先前视点上所训练的机器学习系统来生成候选视点的模拟图像。
357.(16)根据前述条款中任一项所述的系统，其中，电路被配置为：控制图像捕获设备获得来自外科手术场景内的多个离散的预定位置的图像作为初始校准，以获得外科手术场景的先前视点。
358.(17)根据前述条款中任一项所述的系统，其中，候选视点包括下列中的至少一项：图像捕获设备的候选位置和/或候选成像性质。
359.(18)根据第17款所述的系统，其中，成像性质包括下列中的至少一项：图像捕获设备的图像缩放、图像焦点、图像孔径、图像对比度、图像亮度、和/或成像类型。
360.(19)根据前述条款中任一项所述的系统，其中，电路被配置为：接收触摸输入、键盘输入、或语音输入中的至少一项作为对外科手术场景的一个或多个模拟图像中的一个模拟图像的选择。
361.(20)一种在外科手术期间控制医学图像捕获设备的方法，方法包括：
362.接收由医学图像捕获设备从第一视点捕获的外科手术场景的第一图像以及场景的附加信息；
363.根据附加信息以及外科手术场景的先前视点信息确定医学图像捕获设备由此获得外科手术场景的图像的一个或多个候选视点；
364.根据外科手术场景的第一图像为一个或多个候选视点中的每个候选视点提供来自候选视点的外科手术场景的模拟图像；
365.控制医学图像捕获设备从与对外科手术场景的一个或多个模拟图像中的一个模拟图像的选择对应的候选视点获得外科手术场景的图像。
366.(21)一种包括指令的计算机程序产品，当由计算机执行程序时，指令致使计算机在外科手术期间完成控制医学图像捕获设备的方法，方法包括：
367.接收由医学图像捕获设备从第一视点捕获的外科手术场景的第一图像以及场景的附加信息；
368.根据附加信息以及外科手术场景的先前视点信息确定医学图像捕获设备由此获得外科手术场景的图像的一个或多个候选视点；
369.根据外科手术场景的第一图像提供针对一个或多个候选视点中的每个候选视点的来自该候选视点的外科手术场景的模拟图像；
370.控制医学图像捕获设备从与对外科手术场景的一个或多个模拟图像中的一个模拟图像的选择对应的候选视点获得外科手术场景的图像。
371.显而易见，根据上述教导，本公开的多种改造与变形是可能的。因此，应当理解的是，在所附权利要求的范围内，可以通过与此处具体描述的不同方式实施本公开。
372.在迄今已经被描述为至少部分通过软件控制的数据处理装置所实现的本公开的实施方式中，应当认识到，诸如光盘、磁盘、半导体存储器等的承载该软件的非易失性机器
可读介质也被视为表示本公开的实施方式。
373.应当认识到，为清晰起见，已经参考不同的功能单元、电路、和/或处理器对实施方式的上述进行了描述。然而，应当认识到，在不脱离实施方式的情况下，可以使用不同的功能单元、电路、和/或处理器之间的任意合适的功能分布。
374.可以以包括硬件、软件、固件、或其任意组合的任意合适的形式实现所描述的实施方式。可选地，所描述的实施方式至少可以部分实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。可以以任意合适的方式物理地、功能地、以及逻辑地实现任意实施方式的元件和部件。确实，可以在单一单元、多个单元中、或作为其他功能单元的一部分实现功能。因此，可以在单一单元中、或可以在不同的单元、电路、和/或处理器之间物理并且功能地分布所公开的实施方式。
375.尽管已经结合一些实施方式对本公开进行了描述，然而，其并不旨在局限于此处所阐述的具体形式。此外，尽管可能看似结合具体实施方式对特征进行了描述，然而，本领域技术人员应当认识到，可以以适合于实现技术的任意方式对所描述的实施方式的各种特征进行组合。