医疗支撑臂和医疗系统的制作方法

1.本公开涉及医疗支撑臂和医疗系统。


背景技术：

2.在内窥镜手术中，使用内窥镜拍摄患者的腹腔图像，并且在由内窥镜拍摄的拍摄图像显示在显示器上的同时进行手术。
3.例如，专利文献1公开了一种控制用于内窥镜的支撑臂的操作的技术，使得当内窥镜插入人体内部并操作时，观察目标总是位于拍摄图像的区域内。
4.引用列表
5.专利文献1：jp 2018-75218 a


技术实现要素：

6.技术问题
7.在腹腔镜手术中，由于手术是在建立气腹的同时进行的，所以内窥镜的插入口的位置(套管针位置)会在手术期间发生改变。因此，控制支撑臂以使内窥镜保持适合手术的状态是不容易的。
8.因此，本公开提出了一种医疗支撑臂和能够合适地控制支撑臂的移动的医疗系统。
9.问题的解决方案
10.为了解决上述问题，根据本发明的医疗支撑臂包括：支撑内窥镜的支撑臂；驱动支撑臂的致动器；测量单元，测量施加在致动器的负荷；生成单元，生成插入了内窥镜的体内的三维信息；以及校正单元，基于测量的负荷校正三维信息。
附图说明
11.图1是示出支撑内窥镜的机械臂的配置的示图。
12.图2是示出由内窥镜拍摄的体内图像的示例的视图。
13.图3是示出在气腹足够的状态下操作者插入器械的状态的示图。
14.图4是示出在气腹不足的状态下操作者插入器械的状态的示图。
15.图5是示出在手术过程中二氧化碳气体逸出和腹壁下降的状态的示图。
16.图6是示出可以应用根据本公开的技术的内窥镜手术系统的示意性配置的示例的示图。
17.图7是示出图6中示出的摄像头和摄像机控制单元(ccu)的功能配置的示例的框图。
18.图8是示出根据本实施例的支撑臂装置的外观的示意图。
19.图9是示出根据本公开实施例的斜视内窥镜的配置的示意图。
20.图10是示出了斜视内窥镜和直视内窥镜的比较的示意图。
21.图11是示出根据本公开的实施例的医疗观察系统的配置的示例的框图。
22.图12是示出根据本公开实施例的机械臂装置的特定配置示例的示图。
23.图13是示出内窥镜拍摄关注区域的图像的状态的示图。
24.图14是示出内窥镜拍摄关注区域的图像的状态的示图。
25.图15是示出用于将内窥镜保持在操作者的关注区域中的控制处理的示例的流程图。
26.图16是示出用于在手术期间控制内窥镜的位置跟踪手术器械的处理的示例的流程图。
具体实施方式
27.在下文中，将参考附图详细描述本公开的实施例。注意，在下面的每个实施例中，相同的参考符号表示相同的部分，并且将省略重叠的描述。
28.此外，本公开将按以下顺序描述。
29.1.引言
30.1-1.本实施例的目的等
31.1-2.本实施例的概述
32.2.医疗系统的配置
33.2-1.第一配置示例(内窥镜系统)
34.2-2.支撑臂装置的具体配置示例
35.2-3.内窥镜的具体配置示例
36.2-4.第二配置示例(医疗观察系统)
37.3.医疗系统的操作
38.3-1.臂的控制示例(基于slam的控制)
39.3-2.臂的控制示例(考虑手术器械跟踪的控制)
40.4.修改
41.5.结论
42.《1.引言》
43.《1-1.本实施例的目的等》
44.在内窥镜手术中，使用内窥镜(刚性内窥镜)拍摄患者的腹腔图像，并且在内窥镜拍摄的拍摄图像显示在显示器上的同时进行手术。在腹腔镜手术中，由于手术是在建立气腹的同时进行的(例如，在用co2充气腹部的同时)，因此在手术期间插入口(即内窥镜的原始位置)改变。此外，在腹腔镜手术中，在某些情况下，在手术期间附接到摄像头的观察器械(镜筒)可能改变，或者可能去除附接到观察器械远端的污垢，并因此将观察器械从套管针中取出，然后再次插入。因此，在使控制装置控制内窥镜的支撑臂(以下，也称为内窥镜臂)的操作以使内窥镜的位置(例如，内窥镜的远端的位置)适合于手术的情况下，控制装置可能错误地识别内窥镜的当前位置。例如，在插入手术器械时，执行将内窥镜臂拉向套管针部分的操作，以避免与器械碰撞。但此时存在内窥镜臂不能充分拉动内窥镜的可能，从而内窥镜与器械发生碰撞。
45.这个问题将参考附图具体描述。图1是示出支撑内窥镜e的机械臂a的配置的示图。
内窥镜e连接到机械臂a(计算机辅助手术系统的一个方面)。内窥镜e是例如刚性内窥镜。注意，在本实施例中，内窥镜包括观察器械(镜筒)和摄像头，但内窥镜不必必须包括摄像头。例如，可以仅将与观察器械(镜筒)相对应的部分视为内窥镜。例如，本实施例的机械臂支撑附接有观察器械(镜筒)的摄像头。用于控制每个轴的臂的电动机m设置在机械臂a的内部。内窥镜e通过套管针t插入患者体内，并拍摄手术者关注的区域的图像。在这里，套管针t是一种称为医用穿刺器械的器械。注意，手术器械(例如，图1中示出的器械s1和s2)也通过套管针插入患者体内。手术者一边观看内窥镜e拍摄的图像，一边进行腹腔镜手术。
46.在腹腔镜手术中，需要空间来确保刚性内窥镜的成像视野，在向体内注入二氧化碳气体(建立气腹)以确保空间的同时进行手术。图1中的虚线部分表示在手术期间腹壁的改变，以及在手术期间腹壁的位置改变。在气腹不足的情况下，二氧化碳气体再次注入体内，以确保清晰的视野。
47.图2是示出由内窥镜e拍摄的体内图像的示例的视图。本实施例的机械臂a可以是自动/半自动机械臂。因此，例如，控制机械臂a的控制装置(例如，机械臂a内部或外部的处理器)识别器械s1和/或器械s2的图像，并自动地将内窥镜e保持在手术者希望查看的区域中，从而可以拍摄器械s1和/或器械s2的图像。
48.例如，在利用图1示出的套管针点p作为原点计算距离由内窥镜获得的图像中的关注点的距离的同时，机械臂a的控制装置在体内执行同时定位和地图构建(slam)。在本实施例中，套管针点是指身体内部和外部之间的边界点。为了计算到图像中关注点的距离，控制装置可以使用来自单目摄像机的信息或来自立体摄像机的信息。此外，控制装置可以使用来自诸如飞行时间(tof)传感器的距离测量传感器的信息。注意，机械臂a可以预先包括诸如单目摄像机和距离测量传感器的传感器，或者可以被配置为使得这些传感器可以被附接和拆卸。
49.如上所述，在腹腔镜手术中，为了确保内窥镜的成像视野，在建立气腹的同时进行手术。由于注入体内的二氧化碳气体在手术过程中从体内逸出，在手术过程中腹壁常常发生变化，因此手术过程中很难在体内再次进行整个感测。因此，假设很难根据腹壁的状态变化，实时重新生成由slam从开始生成的体内环境地图(map)(即体内三维信息)。因此，由slam生成的体内环境地图与取决于体内气腹状态的实际状态不同。
50.为了帮助理解本实施例的问题，将手术器械插入体内的情况作为示例描述。为了避免器械插入体内时手术器械与内窥镜之间的接触，在许多情况下，内窥镜e基于来自手术者的触发(或模式选择)被拉向套管针t的位置。然后手术者将器械插入体内。图3是示出在气腹足够的状态下手术者插入器械s1的状态的示图。
51.例如，假设slam(或slam的初始感测)是在气腹足够的状态下执行的，如图3所示。此外，假设手术者试图在气腹足够的状态下将器械s1插入体内。在这种情况下，由于控制装置基于由slam生成的体内环境地图的信息来控制机械臂a，所以内窥镜e可以被充分地拉向套管针t的位置，如图3所示。因此，确保了用于插入器械s1的足够空间。
52.然而，如上所述，腹壁的状态是不断变化的。图4是示出在气腹不足的状态下手术者插入器械s1的状态的示图。例如，在如图3所示的气腹足够的状态下执行slam之后，如图4所示，假设体内的二氧化碳气体逸出。进一步地，假设在气腹不足的状态下手术者试图将器械s1插入体内。在这种情况下，设置作为原点的套管针点p低于在体内环境地图中假设的
点。在该状态下，即使在控制装置控制机械臂a以将内窥镜e拉向套管针t的位置的情况下，机械臂a也不能充分地拉动内窥镜e。在这种情况下，内窥镜e保持在器械s1和内窥镜e可能相互接触的位置。
53.《1-2.本实施例的概述》
54.因此，在本实施例中，根据腹壁的状态来校正体内环境地图(体内的三维信息)。更具体地，机械臂a的控制装置测量施加于驱动支撑内窥镜的臂的电动机m的负荷，并且基于测量的负荷校正体内地图。
55.图5是示出在手术过程中二氧化碳气体逸出并且腹壁下降的状态的示图。图5中的虚线部分表示二氧化碳气体从体内逸出之后的腹壁和套管针t的位置。一旦腹壁下降，套管针t的位置也相应地下降。当套管针t的位置下降时，则从套管针t向内窥镜e施加向下的力。电动机m的负荷增大，这是因为除了重力方向上的力之外还另外施加了向下的力。控制装置可以基于负荷的变化来估计套管针点p的实际当前位置。因此，控制装置根据负荷的变化来校正体内地图。
56.因此，能够根据高精度的体内地图(体内的三维信息)对机械臂a进行控制，使得机械臂a能够将内窥镜e保持在适合于手术的位置。
57.虽然以上已经描述了本实施例的概述，下面将详细描述包括本实施例的医疗支撑臂(例如，机械臂a)的医疗系统。
58.《2.医疗系统的配置》
59.在描述本实施例的医疗系统的操作之前，描述医疗系统的配置(装置配置和功能配置)。针对本实施例的医疗系统，能够考虑到若干个配置示例。
60.《2-1.第一配置示例(内窥镜系统)》
61.首先，作为本实施例的医疗系统的示例，对内窥镜系统的配置进行描述。
62.图6是示出可应用根据本公开的技术的内窥镜手术系统5000的示意配置的示例的示图。在图6的示例中，示出手术者(例如医生)5067通过使用内窥镜手术系统5000对病床5069上的患者5071进行手术的状态。如图所示，内窥镜手术系统5000包括内窥镜5001、其他手术工具5017、支撑内窥镜5001的支撑臂装置5027和安装用于内窥镜手术的各种装置的推车5037。
63.内窥镜5001对应于例如图1至图5示出的内窥镜e，并且支撑臂装置5027对应于例如图1至图5所示的机械臂a。
64.在内窥镜手术中，代替切割并打开腹壁，被称为套管针5025a至5025d的多个圆柱形穿刺器械刺穿腹壁。然后，通过套管针5025a至5025d将内窥镜5001的镜筒5003和其他手术工具5017插入到患者5071的体腔内。在示出的示例中，作为其他的手术工具5017，在患者5071的体腔内插入气腹管5019、能量治疗工具5021和钳子5023。另外，能量治疗工具5021是用于通过使用高频电流或超声波振动对组织进行切开和剥离、血管闭合等的治疗工具。然而，图示的手术工具5017仅是示例，并且在内窥镜手术中通常使用各种手术工具，诸如镊子和牵开器可以被用作手术工具5017。
65.由内窥镜5001拍摄的患者5071的体腔内的手术部位的图像显示在显示装置5041上。手术者5067在实时观看显示装置5041所显示的手术部位的图像的同时，通过使用能量治疗工具5021或钳子5023进行诸如患部的切除等处理。注意，虽未示出，但是在手术中，由
手术者5067或助手等支撑气腹管5019、能量治疗工具5021和钳子5023。
66.(支撑臂装置)
67.支撑臂装置5027包括从基座部5029延伸的臂部5031。在示出的示例中，臂部5031包括关节部5033a、5033b和5033c以及连杆5035a和5035b，并且在臂控制装置5045的控制下被驱动。臂部5031支撑内窥镜5001，对内窥镜5001的位置和姿势进行控制。因此，能够稳定地固定内窥镜5001的位置。
68.(内窥镜)
69.内窥镜5001包括对应于与远端相距预定长度的区域被插入患者5071的体腔内的镜筒5003；以及摄像头5005，其连接到镜筒5003的近端。在示出的示例中，示出配置为所谓的刚性内窥镜的内窥镜5001，刚性内窥镜包括刚性镜筒5003，但是内窥镜5001也可以配置为具有柔性镜筒5003的所谓柔性内窥镜。
70.在镜筒5003的远端提供安装物镜的开口部。光源装置5043与内窥镜5001连接，由光源装置5043产生的光由在镜筒5003的内部延伸的光导引导至镜筒的远端，并经由物镜向患者5071的体腔内的观察目标发射。注意，内窥镜5001可以是直视内窥镜、斜视内窥镜或侧视内窥镜。
71.光学系统和成像元件被设置在摄像头5005的内部，并且通过光学系统将来自观察目标的反射光(观察光)收集在成像元件上。通过成像元件对观察光进行光电转换，生成与该观察光对应的电信号，即与观察图像对应的图像信号。图像信号作为原始数据被发送至摄像机控制单元(ccu)5039。注意，摄像头5005具有通过合适地驱动光学系统来调整放大倍率和焦距的功能。
72.要注意的是，例如，为了支持立体观看(3d显示)等，多个成像元件可设置在摄像头5005中。在该情况下，为了引导观察光至多个成像元件中的每一个，在镜筒5003的内部设有多个中继光学系统。
73.(安装在推车上的各种装置)
74.ccu 5039由中央处理单元(cpu)、图形处理单元(gpu)等实现，并且整体控制内窥镜5001和显示装置5041的操作。具体地，例如，ccu5039对从摄像头5005接收的图像信号执行各种类型的图像处理以基于图像信号显示图像，诸如显影处理(去马赛克处理)。ccu 5039将经过图像处理的图像信号提供给显示装置5041。此外，ccu 5039将控制信号发送至摄像头5005以控制其驱动。控制信号可包括关于成像条件的信息，诸如放大倍率和焦距。
75.在ccu 5039的控制下，显示装置5041基于经过ccu 5039的图像处理的图像信号来显示图像。在内窥镜5001支持高分辨率成像(例如，4k(水平像素数3840
×
垂直像素数2160)或8k(水平像素数7680
×
垂直像素数4320))的情况下，和/或在内窥镜支持3d显示的情况下，能够进行高分辨率显示的显示装置和/或能够进行3d显示的显示装置可用作每种情况的显示装置5041。在显示装置支持诸如4k或8k的高分辨率成像的情况下，通过使用具有55英寸或者更大尺寸的显示装置作为显示装置5041可以获得进一步的沉浸式感觉。此外，具有不同分辨率和尺寸的多个显示装置5041可以根据应用而设置。
76.光源装置5043例如由诸如发光二极管(led)的光源来实现，并且向内窥镜5001提供用于拍摄手术部位的图像的照射光。
77.臂控制装置5045由例如处理器(如cpu)实现，并且根据预定程序操作以根据预定
控制方法控制支撑臂装置5027的臂部5031的驱动。臂控制装置5045对应于控制本实施例的支撑臂的控制装置(例如，用于机械臂a的控制装置)。此外，ccu 5039也能够视为本实施例的控制装置。
78.输入装置5047是用于内窥镜手术系统5000的输入接口。用户能够经由输入装置5047向内窥镜手术系统5000输入各种信息或指令。例如，用户经由输入装置5047输入关于手术的各种类型的信息，诸如患者的身体信息和关于手术的手术程序的信息。此外，例如，用户经由输入装置5047输入驱动臂部5031的指令、用以改变内窥镜5001的成像条件(照射光的种类、放大倍率、焦距等)的指令、驱动能量治疗工具5021的指令等。
79.输入装置5047的类型不受限制，并且输入装置5047可以是各种已知的输入装置。作为输入装置5047，例如，可以应用鼠标、键盘、触摸面板、开关、脚踏开关5057、控制杆等。在触摸面板用作输入装置5047的情况下，触摸面板可以设置在显示装置5041的显示表面上。
80.可选地，输入装置5047是由用户佩戴的装置，例如眼镜型可穿戴装置或头戴式显示器(hmd)，并且根据由这些装置检测到的用户的手势或凝视来执行各种输入。此外，输入装置5047包括能够检测用户的移动的摄像机，并且根据从摄像机拍摄的视频中检测到的用户的手势或凝视来执行各种输入。此外，输入装置5047包括能够收集用户语音的麦克风，并且通过麦克风通过语音执行各种输入。如上所述，输入装置5047被配置为能够以非接触方式输入各种类型的信息，因此，具体地，属于清洁区域的用户(例如，手术者5067)能够以非接触方式操作属于非清洁区域的装置。此外，由于用户可以操作该装置而不将他/她的手从所持的手术工具上松开，因此提高了用户的便利性。
81.治疗工具控制装置5049控制用于组织的烧灼和切开、血管闭合等的能量治疗工具5021的驱动。气腹装置5051通过气腹管5019将气体供给到患者5071的体腔中，以便使体腔充气，以确保内窥镜5001的清晰视野和确保手术者的工作空间。记录器5053是能够记录关于手术的各种类型的信息的装置。打印机5055是能够以诸如文本、图像或图形的各种格式打印关于手术的各种类型的信息的装置。
82.以下，将更详细地描述内窥镜手术系统5000的具体特征配置。
83.(支撑臂装置)
84.支撑臂装置5027包括作为基座的基座部5029以及从基座部5029延伸的臂部5031。支撑臂装置5027可包括用作臂控制装置5045和/或ccu 5039的控制装置。支撑臂装置5027对应于本实施例的支撑臂(例如，机械臂a)。臂部5031可以被视为本实施例的支撑臂。
85.在示出的示例中，臂部5031包括多个关节部5033a、5033b和5033c以及通过关节部5033b连接的多个连杆5035a和5035b，但在图6中，为了简单起见，以简化的方式示出了臂部5031的配置。在实际实施方式中，可以适当地设置关节部5033a至5033c和连杆5035a、5035b的形状、数量和布置，以及关节部5033a至5033c的旋转轴方向等，以使臂部5031具有所需的自由度。例如，臂部5031可以适当地配置以具有六个自由度或更多个自由度。因此，由于内窥镜5001可以在臂部5031的可移动范围内自由移动，所以内窥镜5001的镜筒5003可以从期望的方向插入患者5071的体腔中。
86.在关节部5033a至5033c中设置致动器，关节部5033a至5033c被配置以通过致动器的驱动围绕预定的旋转轴旋转。通过臂控制装置5045控制致动器的驱动，从而控制关节部
5033a至5033c中的每一个的旋转角度，并控制臂部5031的驱动。因此，可以控制内窥镜5001的位置和姿势。此时，臂控制装置5045可以通过诸如动力控制或位置控制的各种已知控制方法来控制臂部5031的驱动。
87.例如，手术者5067可以经由输入装置5047(包括脚踏开关5057)适当地执行操作输入，以使臂控制装置5045根据操作输入适当地控制臂部5031的驱动，从而控制内窥镜5001的位置和姿势。通过该控制，臂部5031的远端的内窥镜5001可以从任意位置移动到任意位置，然后在移动之后被固定地支撑于该位置处。注意，臂部5031可以通过所谓的主从方法来操作。在这种情况下，臂部5031(从)可以由用户经由安装在远离手术室的地方或在手术室中的输入装置5047(主控制台)远程操作。
88.此外，在施加动力控制的情况下，臂控制装置5045可以执行所谓的动力辅助控制，其接收来自用户的外力，并驱动关节部5033a至5033c中的每一个的致动器，从而根据外力平滑地移动臂部5031。因此，当用户在直接接触臂部5031的同时移动臂部5031时，可以以相对小的力移动臂部5031。因此，可以以更简单的操作更直观地移动内窥镜5001，并且可以提高用户的便利性。
89.这里，一般来说，在内窥镜手术中，内窥镜5001由称为透视科医师的医生支撑。然而，通过使用支撑臂装置5027，能够在无需手动操作的情况下更加可靠地固定内窥镜5001的位置，因此能够稳定地获得手术部位的图像并顺利地进行手术。
90.注意，臂控制装置5045不一定设置在推车5037中。此外，臂控制装置5045不一定是一个装置。例如，臂控制装置5045可以设置在支撑臂装置5027的臂部5031的每个关节部5033a至5033c中，并且对臂部5031的驱动控制可以由相互协作的多个臂控制装置5045来实现。
91.(光源装置)
92.光源装置5043将用于拍摄手术部位的图像的照射光提供给内窥镜5001。光源装置5043包括例如通过led实现的白光源、激光光源或其组合。此时，在通过rgb激光光源的组合实现白光源的情况下，可以高精度地控制每种颜色(每种波长)的输出强度和输出时序，从而可以在光源装置5043中执行拍摄的图像的白平衡调整。此外，在这种情况下，以时分方式用来自每个rgb激光光源的激光照射观察目标，并且与照射的时序同步地控制摄像头5005的成像元件的驱动，使得也可以以时分方式拍摄与每个rgb对应的图像。利用该方法，无需在成像元件中提供滤色器即可获得彩色图像。
93.此外，可以控制光源装置5043的驱动，以便每隔预定时间改变要输出的光的强度。与光强度的变化的时序同步地控制摄像头5005的成像元件的驱动，以时分方式获取图像，并且图像被组合，使得可以生成没有所谓的曝光不足和曝光过度的高动态范围图像。
94.此外，光源装置5043可以被配置以能够在对应于特殊光观察的预定波长带中提供光。在特殊光观察中，例如，执行所谓的窄带成像，其中，通过使用依赖于身体组织中的光吸收的波长，通过照射在比正常观察时使用的照射光(即，白光)更窄的波段中的光，以高对比度拍摄预定组织(诸如粘膜上皮层中的血管)的图像。或者，在特殊光观察中，可以执行用于通过用激发光的照射产生的荧光来获得图像的荧光观察。在荧光观察中，例如，可以通过用激发光照射身体组织来观察来自身体组织的荧光(自荧光观察)，或者可以通过将诸如吲哚菁绿(icg)的试剂局部注射到身体组织中并用对应于该试剂的荧光波长的激发光照射身体
组织来获得荧光图像。光源装置5043可以被配置以能够提供与这种特殊光观察相对应的窄带光和/或激发光。
95.(摄像头和ccu)
96.将参考图7更详细地描述内窥镜5001的摄像头5005和ccu 5039的功能。图7是示出图6中示出的摄像头5005和ccu 5039的功能配置的示例的框图。
97.参照图7，摄像头5005包括镜头单元5007、成像单元5009、驱动单元5011、通信单元5013和摄像头控制单元5015作为其功能。此外，ccu 5039包括通信单元5059、图像处理单元5061和控制单元5063作为其功能。摄像头5005和ccu 5039通过传输线缆5065连接，以便可以双向通信。
98.首先，将描述摄像头5005的功能配置。镜头单元5007是设置在摄像头5005与镜筒5003连接的部分处的光学系统。从镜筒5003的远端采入的观察光被引导到摄像头5005，并且入射到镜头单元5007上。镜头单元5007通过组合包括变焦透镜和聚焦透镜的多个透镜来实现。调整镜头单元5007的光学特性，以便将观察光会聚在成像单元5009的成像元件的光接收表面上。此外，变焦透镜和聚焦透镜被配置以在其光轴上可移动，以便调整所拍摄图像的放大倍率和焦点。
99.成像单元5009包括成像元件，并且被布置在镜头单元5007的后续级。已经通过镜头单元5007的观察光被收集在成像元件的光接收表面上，并且通过光电转换生成与观察图像相对应的图像信号。由成像单元5009生成的图像信号被提供给通信单元5013。
100.例如，具有拜耳阵列并且能够进行彩色拍摄的互补金属氧化物半导体(cmos)图像传感器被用作包括在成像单元5009中的成像元件。注意，作为成像元件，例如，可以使用能够支持4k或更高分辨率成像的成像元件。由于获得了手术部位的高分辨率图像，手术者5067能够更详细地掌握手术部位的状态，并且能够更顺利地进行手术。
101.此外，包括在成像单元5009中的成像元件包括一对成像元件，用于分别获取对应于3d显示的右眼和左眼的图像信号。当执行3d显示时，手术者5067可以更准确地掌握手术部位中活体组织的深度。注意，在成像单元5009被配置为多板式的情况下，对应于各个成像元件设置多个镜头单元5007。
102.此外，成像单元5009不必必须设置在摄像头5005中。例如，成像单元5009可以设置在镜筒5003内的物镜直接后面的位置。
103.驱动单元5011由致动器实现，并且在摄像头控制单元5015的控制下，使镜头单元5007的变焦透镜和聚焦透镜以预定距离沿着光轴移动。结果，可以适当地调整由成像单元5009拍摄的图像的放大倍率和焦点。
104.通信单元5013由用于向ccu 5039发送和从ccu 5039接收各种类型的信息的通信装置实现。通信单元5013经由传输线缆5065将从成像单元5009获得的图像信号作为原始数据发送到ccu 5039。此时，为了以低延时显示手术部位的拍摄图像，优选地通过光通信传输图像信号。这是因为，在手术时，手术者5067在观察拍摄的图像中患部的状态的同时进行手术，因此，为了更安全和更可靠的手术，要求尽可能实时地显示手术部位的移动图像。在进行光通信的情况下，在通信单元5013中设置将电信号转换为光信号的光电转换模块。图像信号由光电转换模块转换成光信号，然后经由传输线缆5065传输到ccu 5039。
105.此外，通信单元5013从ccu 5039接收用于控制摄像头5005的驱动的控制信号。控
制信号包括例如关于成像条件的信息，诸如用于指定拍摄的图像的帧速率的信息、用于指定成像时的曝光值的信息和/或用于指定拍摄的图像的放大倍率和焦点的信息。通信单元5013将接收到的控制信号提供给摄像头控制单元5015。注意，来自ccu 5039的控制信号也可以通过光通信发送。在这种情况下，将光信号转换成电信号的光电转换模块设置在通信单元5013中，并且控制信号由光电转换模块转换成电信号，然后被提供给摄像头控制单元5015。
106.注意，ccu 5039的控制单元5063基于获取的图像信号自动设置诸如帧速率、曝光值、放大倍率和焦点等成像条件。即，内窥镜5001具有所谓的自动曝光(ae)功能、自动聚焦(af)功能和自动白平衡(awb)功能。
107.摄像头控制单元5015基于经由通信单元5013从ccu 5039接收的控制信号来控制摄像头5005的驱动。例如，摄像头控制单元5015基于用于指定拍摄的图像的帧速率的信息和/或用于指定成像时的光曝光的信息来控制成像单元5009的成像元件的驱动。此外，例如，摄像头控制单元5015基于用于指定拍摄的图像的放大倍率和焦点的信息，经由驱动单元5011适当地移动镜头单元5007的变焦透镜和聚焦透镜。摄像头控制单元5015还可以具有存储用于识别镜筒5003或摄像头5005的信息的功能。
108.注意，由于镜头单元5007、成像单元5009等布置在具有高气密性和防水性的密封结构中，所以摄像头5005可以具有耐高压灭菌处理的性能。
109.接下来，将描述ccu 5039的功能配置。通信单元5059由用于向摄像头5005发送和从摄像头5005接收各种类型的信息的通信装置实现。通信单元5059接收经由传输线缆5065从摄像头5005发送的图像信号。此时，如上所述，可以通过光通信适当地发送图像信号。在这种情况下，对于光通信，在通信单元5059中设置将光信号转换为电信号的光电转换模块。通信单元5059将转换成电信号的图像信号提供给图像处理单元5061。
110.此外，通信单元5059将用于控制摄像头5005的驱动的控制信号发送到摄像头5005。控制信号也可以通过光通信传输。
111.图像处理单元5061对作为从摄像头5005发送的原始数据的图像信号执行各种类型的图像处理。图像处理的示例包括各种类型的已知信号处理，例如显影处理、图像质量增强处理(频带强调处理、超分辨率处理、降噪(nr)处理、图像稳定处理等)和/或放大处理(电子变焦处理)。此外，图像处理单元5061对图像信号执行波检测处理以用于执行ae、af和awb。
112.图像处理单元5061由诸如cpu或gpu的处理器实现，并且处理器根据预定程序操作，由此可以执行上述图像处理和波检测处理。注意，在图像处理单元5061由多个gpu实现的情况下，图像处理单元5061适当地划分与图像信号相关的信息，并且多个gpu并行地执行图像处理。
113.控制单元5063执行与由内窥镜5001执行的手术部位的图像的拍摄和所拍摄的图像的显示有关的各种类型的控制。例如，控制单元5063生成用于控制摄像头5005的驱动的控制信号。此时，在由用户输入成像条件的情况下，控制单元5063基于来自用户的输入生成控制信号。或者，在内窥镜5001具有ae功能、af功能和awb功能的情况下，控制单元5063根据由图像处理单元5061执行的波检测处理的结果适当地计算最佳曝光值、焦距和白平衡，并生成控制信号。
114.此外，控制单元5063基于经过图像处理单元5061的图像处理的图像信号，使显示装置5041显示手术部位的图像。此时，控制单元5063通过使用各种图像识别技术识别手术部位的图像中的各种目标。例如，控制单元5063可以通过检测包括在手术部位的图像中的目标的边缘形状、颜色等来识别诸如钳子之类的手术工具、活体中的特定部位、出血、使用能量处理工具5021时的雾气等。当在显示装置5041上显示手术部位的图像时，控制单元5063通过使用识别结果在手术部位的图像上叠加各种类型的手术支持信息。手术支持信息被叠加并呈现给手术者5067，从而可以更安全和可靠地执行手术。
115.连接摄像头5005和ccu 5039的传输线缆5065是支持电信号通信的电信号线缆、支持光通信的光纤或其复合线缆。
116.这里，在示出的示例中，使用传输线缆5065执行有线通信，但是可以在摄像头5005和ccu 5039之间执行无线通信。在摄像头5005和ccu 5039之间进行无线通信的情况下，不需要在手术室中安装传输线缆5065，因此可以消除传输线缆5065阻碍手术室中医务人员的移动的情况。
117.以上，描述了可以应用根据本公开的技术的内窥镜手术系统5000的示例。注意，这里，作为示例描述了内窥镜手术系统5000，但是可以应用根据本公开的技术的系统不限于这样的示例。例如，根据本公开的技术可应用于用于检查的柔性内窥镜系统或显微手术系统。
118.《2-2.支撑臂装置的具体配置示例》
119.本实施例的医疗系统(计算机辅助手术系统)包括支撑臂装置。以下，将详细描述根据本公开的实施例的支撑臂装置的具体配置示例。注意，如下所述的支撑臂装置的使用不限于医疗用途。
120.下面描述的支撑臂装置是配置为在臂部的远端支撑内窥镜的支撑臂装置的示例，但是本实施例不限于这样的示例。此外，在根据本公开实施例的支撑臂装置应用于医疗领域的情况下，根据本公开实施例的支撑臂装置可以用作医疗支撑臂装置。
121.注意，下面描述的支撑臂装置不仅可以应用于内窥镜手术系统5000，还可以应用于其他医疗系统。当然，下面描述的支撑臂装置也可以应用于医疗系统以外的系统。此外，当执行本实施例的处理的控制单元(控制装置)安装在支撑臂装置中时，支撑臂装置本身可以被视为本实施例的医疗系统。
122.图8是示出根据本实施例的支撑臂装置400的外观的示意图。支撑臂装置400例如对应于图1至图5所示的机械臂a。以下，将参考图8描述根据本实施例的支撑臂装置400的示意配置。
123.根据本实施例的支撑臂装置400包括基座部410和臂部420。基座部410是支撑臂装置400的基座，臂部420从基座部410延伸。此外，虽然图8中没有示出，但是总体上控制支撑臂装置400的控制单元可以设置在基座部410中，并且臂部420的驱动可以由控制单元控制。例如，该控制单元由诸如cpu和数字信号处理器(dsp)的各种信号处理电路来实现。
124.臂部420包括多个活动关节部421a至421f、多个连杆422a至422f、以及作为远端单元设置在臂部420的远端处的内窥镜装置423。
125.连杆422a至422f基本上是棒状构件。连杆422a的一端经由活动关节部421a连接到基座部410，连杆422a的另一端经由活动关节部421b连接到连杆422b的一端，连杆422b的另
一端经由活动关节部421c连接到连杆422c的一端。连杆422c的另一端经由被动滑动机构431连接到连杆422d，并且连杆422d的另一端经由被动关节部433连接到连杆422e的一端。连杆422e的另一端经由活动关节部421d和421e连接到连杆422f的一端。内窥镜装置423经由活动关节部421f连接到臂部420的远端，即连杆422f的另一端。以这种方式，多个连杆422a至422f的端部以基座部410为支点，通过活动关节部421a至421f、被动滑动机构431和被动关节部433相互连接，从而形成从基座部410延伸的臂状。
126.通过执行设置在臂部420的活动关节部421a至421f中的致动器的驱动控制来控制内窥镜装置423的位置和姿势。在本实施例中，内窥镜装置423的远端进入患者的体腔(其是手术部位)，并拍摄手术部位的部分区域的图像。然而，设置在臂部420的远端的远端单元不限于内窥镜装置423，各种医疗器械可以连接到臂部420的远端作为远端单元。如上所述，根据本实施例的支撑臂装置400被配置为包括医疗器械的医疗支撑臂装置。
127.在下文中，坐标轴的定义如图8所示，以描述支撑臂装置400。此外，根据坐标轴定义上下方向、前后方向和左右方向。即，相对于安装在地板表面上的基座部410的上下方向被定义为z轴方向和上下方向。此外，与z轴正交并且臂部420从基座部410延伸的方向(即，内窥镜装置423相对于基座部410定位的方向)被定义为y轴方向和前后方向。此外，与y轴和z轴正交的方向被定义为x轴方向和左右方向。
128.活动关节部421a至421f将连杆彼此可旋转地连接。活动关节部421a至421f各自具有致动器，并且具有通过致动器的驱动而相对于预定旋转轴旋转的旋转机构。可以通过控制活动关节部421a至421f中的每一个的旋转来控制臂部420的驱动，例如臂部420的伸长或收缩(折叠)。这里，例如，可以通过已知的全身协同控制和理想关节控制来控制活动关节部421a至421f的驱动。如上所述，由于活动(active，主动，能动)关节部421a至421f各自具有旋转机构，因此在下面的描述中，用于活动关节部421a至421f的驱动控制具体地是指控制活动关节部421a至421f的旋转角和/或产生的扭矩(由活动关节部421a至421f产生的扭矩)。
129.被动滑动机构431是被动形态改变机构的一个方面，并且将连杆422c和连杆422d彼此连接，以便沿着预定方向向前和向后移动。例如，被动滑动机构431可以将连杆422c和连杆422d彼此连接，以便能够线性移动。然而，连杆422c和连杆422d的向前和向后运动不限于线性运动，并且可以是在形成弧形的方向上的向前和向后运动。例如，用户向前和向后移动被动滑动机构100，使得连杆422c的一端侧上的活动关节部421c与被动关节部433之间的距离变化。结果，臂部420的整体形态会发生改变。
130.被动关节部433是被动形态改变机构的一个方面，并且可旋转地将连杆422d和连杆422e彼此连接。例如，用户旋转被动关节部433，使得由连杆422d和连杆422e形成的角度变化。结果，臂部420的整体形态会发生改变。
131.根据本实施例的支撑臂装置400包括六个活动关节部421a至421f，并且当臂部420被驱动时实现六个自由度。即，当对支撑臂装置400的驱动控制由通过控制单元对六个活动关节部421a至421f的驱动控制来实现时，被动滑动机构431和被动关节部433不是由控制单元执行的驱动控制的目标。
132.具体如图8所示。活动关节部421a、421d和421f被设置为具有连接的连杆422a和422e中的每一个的长轴方向和连接的内窥镜装置423的成像方向，作为旋转轴方向。活动关
节部421b、421c、421e被设置为具有，x轴方向作为旋转轴方向，x轴方向是连接的连杆422a至422c、422e、422f中的每一个与内窥镜装置423的连接角在y-z平面(由y轴和z轴限定的平面)中改变的方向。如上所述，在本实施例中，活动关节部421a、421d和421f具有执行所谓的偏航的功能，并且活动关节部421b、421c和421e具有执行所谓的俯仰的功能。
133.通过这样的臂部420的结构，在根据本实施例的支撑臂装置400中，当驱动臂部420时实现六个自由度，因此内窥镜装置423可以在臂部420的可移动范围内自由移动。在图8中，示出了半球作为内窥镜装置423的可移动范围的示例。假设半球的中心点(远程运动中心(rcm))是由内窥镜装置423拍摄的手术部位的图像的中心，在由内窥镜装置423拍摄的图像的中心固定到半球的中心点的状态下，通过在半球的球面上移动内窥镜装置423，可以以各种角度拍摄手术部位的图像。
134.上面已经描述了根据本实施例的支撑臂装置400的示意配置。接下来，将描述用于控制根据本实施例的支撑臂装置400中的臂部420的驱动(即活动关节部421a至421f的驱动)的全身协同控制和理想关节控制。
135.注意，尽管已经描述了支撑臂装置400的臂部220具有多个关节部并且具有六个自由度的情况，但本公开不限于此。具体地说，臂部220可以具有在远端设置内窥镜装置423或外窥镜的结构。例如，臂部220可以具有仅具有一个自由度的构造，利用该自由度，内窥镜装置423被驱动以在内窥镜装置进入患者体腔的方向和内窥镜装置向后移动的方向上移动。
136.《2-3.内窥镜的具体配置示例》
137.在本实施例的支撑臂装置中，可以安装内窥镜。下面，作为本实施例的内窥镜的示例，描述斜视内窥镜的基本配置。注意，本实施例的内窥镜不限于后述的斜视内窥镜。
138.图9是示出根据本公开的实施例的斜视内窥镜4100的配置的示意图。如图9所示，斜视内窥镜4100附接至摄像头4200的远端。斜视内窥镜4100对应于参考图6和图7描述的镜筒5003，并且摄像头4200对应于参考图6和图7描述的摄像头5005。斜视内窥镜4100和摄像头4200可彼此独立地旋转。与关节部5033a、5033b和5033c中的每个相似，致动器设置在斜视内窥镜4100和摄像头4200之间，并且斜视内窥镜4100通过致动器的驱动相对于摄像头4200旋转。
139.斜视内窥镜4100由支撑臂装置5027支撑。支撑臂装置5027具有取代透视科医师来支撑斜视内窥镜4100并移动斜视内窥镜4100的功能，以使得能够根据由手术者或助理执行的操作观察期望的部位。
140.注意，本实施例的内窥镜不限于斜视内窥镜。本实施例的内窥镜也可以是直视内窥镜。图10是示出比较斜视内窥镜4100和直视内窥镜4150的示意图。在直视内窥镜4150中，物镜朝向被摄体的方向(c1)与直视内窥镜4150的长度方向(c2)一致。另一方面，在斜视内窥镜4100中，物镜朝向被摄体的方向(c1)与斜视内窥镜4100的长度方向(c2)之间形成预定角度φ。注意，在角度φ为90度的情况下，将斜视内窥镜4100称为侧视内窥镜。当然，本实施例的内窥镜也可以是侧视内窥镜。
141.《2-4.第二配置示例(医疗观察系统)》
142.接着，将医疗观察系统1的配置作为本实施例的医疗系统的另一配置示例进行描述。注意，上述支撑臂装置400和斜视内窥镜4100也能够应用于下述的医疗观察系统。另外，以下描述的医疗观察系统也可以视为上述内窥镜手术系统5000的功能配置示例或变形例。
143.图11是示出根据本公开的实施例的医疗观察系统1的配置示例的框图。以下，参照图11对根据本发明的实施例的医疗观察系统的配置进行说明。
144.如图11所示，医疗观察系统1包括机械臂装置10、控制单元20、操作单元30和显示单元40。
145.图12是示出根据本公开的实施例的机械臂装置10的具体配置示例的示图。机械臂装置10包括例如臂部11(铰接臂)，该臂部11是包括多个关节部和多个连杆的多连杆结构。例如，机械臂装置10对应于图1至图5中示出的机械臂a或图8中示出的支撑臂装置400。机械臂装置10在控制单元20的控制下操作。机械臂装置10通过在可移动范围内驱动臂部11来控制设置在臂部11的远端处的远端单元(例如，内窥镜)的位置和姿势。臂部11例如对应于图8中所示的臂部420。
146.臂部11包括多个关节部111。图11示出作为多个关节部的代表的一个关节部111的配置。
147.关节部111可旋转地连接臂部11中的连杆，并且其旋转在控制单元20的控制下被执行，从而驱动臂部11。关节部111对应于例如图8所示的活动关节部421a至421f。此外，关节部111可具有致动器。
148.如图11所示，关节部111包括一个或多个关节驱动单元111a和一个或多个关节状态检测单元111b。
149.关节驱动单元111a是关节部111的致动器中的驱动机构，并且关节驱动单元111a执行驱动以使关节部111旋转。关节驱动单元111a对应于在图12等中示出的电动机5011。关节驱动单元111a的驱动由臂控制单元25控制。例如，关节驱动单元111a对应于电动机和电动机驱动器。例如，由关节驱动单元111a执行的驱动对应于电动机驱动器利用根据来自控制单元20的命令的电流量驱动电动机。
150.关节状态检测单元111b是例如检测关节部111的状态的传感器。这里，关节部111的状态可以表示关节部111的运动的状态。例如，关节部111的状态包含关节部111的旋转角度、旋转角度速度、旋转角度加速度、产生的扭矩等信息。关节状态检测单元111b与在图12中示出的编码器5021等相对应。
151.在本实施例中，关节状态检测单元111b用作例如检测关节部111的旋转角度的旋转角度检测单元和检测关节部111产生的扭矩和外部扭矩的扭矩检测单元。注意，旋转角度检测单元以及扭矩检测单元也可以分别是致动器的编码器、扭矩传感器。关节状态检测单元111b将检测出的关节部111的状态发送到控制单元20。注意，关节状态检测单元111b还可被视为测量施加到电动机的负荷的测量单元。在此，负荷例如是负荷扭矩。
152.返回图11，成像单元12设置在臂部11的远端，并且拍摄各种成像目标的图像。例如，成像单元12拍摄患者的腹腔内的包含各种医疗器具、脏器等的手术视野图像。具体而言，成像单元12是能够拍摄运动图像或静止图像形式的成像目标的图像的摄像机等。更具体地，成像单元12是包括广角光学系统的广角摄像机。即，手术视野图像是由广角摄像机拍摄的手术视野图像。例如，虽然正常内窥镜的视角大约为80
°
，但是根据本实施例的成像单元12的视角可以是140
°
。要注意的是，成像单元12的视角可大于80
°
并且小于140
°
，或者可等于或大于140
°
。成像单元12将与拍摄的图像对应的电信号(图像信号)发送到控制单元20。需注意，在图11中，成像单元12不需要包括在机械臂装置中，并且其方面不受限制，只要
成像单元12由臂部11支撑即可。
153.在光源单元13中，成像单元12用光照射成像目标。光源单元13可由例如广角透镜用的led实现。例如，光源单元13可通过组合通常的led和透镜来实现以扩散光。此外，光源单元13可被配置以利用透镜对通过光纤传输的光进行扩散(角度增加)。另外，光源单元13也可以通过利用光在多个方向上对光纤自身照射来扩大照射范围。注意，在图6中，光源单元13不需要包括在机械臂装置10中，并且其方面不受限制，只要照射光能够被引导到由臂部11支撑的成像单元12。
154.在下文中，将参考图12描述根据本公开的实施例的机械臂装置10的具体配置示例。
155.例如，如图12所示，机械臂装置10的臂部11包括第一关节部1111、第二关节部1112、第三关节部1113和第四关节部1114。
156.第一关节部1111包括电动机5011、编码器5021、电动机控制器5031和电动机驱动器5041。由于第二关节部1112至第四关节部1114也具有与第一关节部1111相同的配置，所以以下将描述第一关节部1111作为示例。
157.注意，包括第一关节部1111的每个关节部可以包括电动机501的制动器。此时，制动器可以是机械制动器。然后，例如，关节部例如也可以配置以在电动机不操作的情况下使用制动器来保持臂部11的当前状态。即使在因某些原因而停止向电动机供给电力的情况下，由于臂部11通过机械制动器固定，因此内窥镜不会移动到不期望的位置。
158.电动机5011在电动机驱动器5041的控制下被驱动以驱动第一关节部1111。电动机5011和/或电动机驱动器5041对应于例如图11中所示的关节驱动单元111a。电动机5011例如沿连接于第一关节部1111的箭头方向驱动第一关节部1111。电动机5011通过驱动第一关节部1111来控制臂部11的位置和姿势或者镜筒和摄像机的位置和姿势。注意，在本实施例中，作为内窥镜的一种形式，也可以在镜筒的前端设置摄像机(例如成像单元12)。
159.编码器5021在电动机控制器5031的控制下检测关于第一关节部1111的旋转角的信息。即，编码器5021获取关于第一关节部1111的姿势的信息。编码器5021在电动机控制器5031的控制下检测关于电动机的扭矩的信息。
160.控制单元20控制臂部11的位置和姿势。具体地，控制单元20控制电动机控制器5031至5034、电动机驱动器5041至5044等，以控制第一关节部1111至第四关节部1114。通过这样做，控制单元20控制臂部11的位置和姿势。控制单元20可以包括在机械臂装置10中，或者可以是与机械臂装置10分离的装置。控制单元20对应，例如图1至图5示出的控制机械臂a的控制装置。可选地，控制单元20对应于例如图6中所示的ccu5039或臂控制装置5045。
161.控制单元20例如由中央处理单元(cpu)、微处理单元(mpu)等来实现，以随机存取存储器(ram)等作为工作区域执行存储在存储单元(未示出)中的程序(例如，根据本发明的程序)。此外，控制单元20是控制器，并且可以由例如专用集成电路(asic)或现场可编程门阵列(fpga)的集成电路来实现。
162.如图11所示，控制单元20包括获取单元21、测量单元22、生成单元23、校正单元24、臂控制单元25、制动控制单元26和显示控制单元27。控制单元20中包括的各个块(获取单元21、显示控制单元27等)是表示控制单元20的功能的功能块。这些功能块可以是软件块或硬件块。例如，上述功能块中的每一个可以是由软件(包括微程序)实现的一个软件模块，或者
可以是半导体芯片(裸片)上的一个电路块。每个功能块当然可以是一个处理器或一个集成电路。配置功能块的方法是任意的。注意，控制单元20可以配置有不同于上述功能块的功能单元。
163.例如，获取单元21从操作操作单元30的用户(例如，手术者或辅助手术者的人)获取指令。例如，获取单元21获取关于内窥镜的向后移动的指令。
164.例如，测量单元22测量施加到驱动臂部11的关节部111的电动机的负荷(例如，负荷扭矩)。例如，测量单元22从安装在关节部111中的传感器(例如，用作扭矩传感器的关节状态检测单元111b)获取关于安装在关节部111中的电动机的扭矩的信息，并基于所获取的信息测量施加到电动机的负荷。注意，在臂部11中可以安装多个电动机。例如，假设在臂部11包括多个关节部111的情况下，在每个关节部中安装一个电动机。当然，也可以假定在一个关节部安装多个电动机的情况。在臂部11中安装多个电动机的情况下，由测量单元22测量其负荷的电动机的数量可以是一个或多个。
165.如上所述，当电动机不工作时，臂部11通过机械制动器被固定以保持当前位置。因此，例如，测量单元22可以使制动器控制单元26暂时解除制动器，并测量在暂时解除期间电动机上的负荷。由于制动器被暂时解除，即使在向电动机的供电因某种原因停止的情况下，内窥镜也不会移动到不期望的位置。此外，由于在解除制动器时测量负荷，因此也可以准确地检测由于套管针的运动而施加到电动机上的负荷。
166.生成单元23生成插入了内窥镜的体内的三维信息。例如，生成单元23基于体内的感测信息生成三维信息。例如，生成单元23基于由测量身体内部距离的距离测量传感器获取的关于身体内部的信息来生成三维信息。此外，例如，生成单元23基于由用于拍摄身体内部的图像的一个或多个摄像机获取的关于身体内部的信息来生成三维信息。此外，例如，生成单元23基于由内窥镜获取的关于身体内部的信息生成三维信息。注意，三维信息可能是同时定位和地图构建(slam)生成的体内环境地图。
167.校正单元24基于由测量单元22测量的电动机的负荷来校正三维信息。例如，校正单元24基于关于测量的负荷的变化的信息来校正三维信息。此时，校正单元24可以基于测量的负荷的增加或减少来校正三维信息。例如，校正单元24可以在测量的负荷增加的情况下校正在接近方向上的三维信息，并且可以在测量的负荷减少的情况下校正在远离方向上的三维信息。注意，校正单元24可以基于解除制动器时测量的负荷来校正三维信息。
168.臂控制单元25全面控制机械臂装置10，并控制臂部11的驱动。具体地，臂控制单元25通过控制关节部111的驱动来控制臂部11的驱动。更具体地说，臂控制单元25通过控制提供给关节部111的致动器中的电动机的电流量来控制电动机的旋转速度，从而控制关节部111的旋转角度和产生的扭矩。
169.臂控制单元25基于校正的三维信息来控制驱动臂的电动机的操作。例如，臂控制单元25从由内窥镜拍摄的视频中识别插入体内的手术器械，并控制电动机的操作，使得基于校正的三维信息和手术器械的识别结果由内窥镜在预定位置(例如，手术者关注的区域)执行成像。注意，在获取单元21从用户处获取关于内窥镜向后移动的指令的情况下，臂控制单元25可以基于校正的三维信息将内窥镜向身体外部移动。例如，在获取单元21获取关于内窥镜向后移动的指令的情况下，臂控制单元25可以将通过套管针插入体内的内窥镜移动到套管针的位置。
170.制动控制单元26控制驱动臂的电动机的制动。如上所述，测量单元22在制动控制单元26暂时解除制动器时测量电动机上的负荷。制动解除时间可以是例如短的0.1秒到1秒。制动解除时间当然不限于0.1秒至1秒。
171.显示控制单元27使显示单元40显示各种图像(不仅包括静止图像，而且包括视频)。例如，显示控制单元27使显示单元40显示由成像单元12拍摄的图像。
172.操作单元30从用户接收各种类型的操作信息。操作单元30例如由检测语音的麦克风、检测凝视的凝视传感器、接收物理操作的开关或触摸面板来实现。操作单元30可以通过其他物理机构来实现。
173.显示单元40显示各种图像。显示单元40例如是显示器。例如，显示单元40可以是诸如液晶显示器(lcd)或有机电致发光(el)显示器的显示器。例如，显示单元40显示由成像单元12拍摄的图像。
174.《3.医疗系统的操作》
175.上面已经描述了医疗系统的配置，下面将描述医疗系统的操作。在下面的描述中，将描述其中控制支撑内窥镜的支撑臂的示例。
176.注意，虽然在下面的描述中假设本实施例的医疗系统是医疗观察系统1，但下面描述的操作不仅可以应用于医疗观察系统1，而且可以应用于其他医疗系统。
177.《3-1.臂的控制示例(基于slam的控制)》
178.首先，将描述基于slam控制机械臂a(例如，机械臂装置10或支撑臂装置400)的示例。
179.在本控制示例中，机械臂a的控制装置基于由slam生成的体内环境地图将内窥镜e与手术者的关注区域对准。图13和图14是示出内窥镜e拍摄关注区域的图像的状态的示图。
180.图13示出了在气腹足够的状态下生成体内地图之后，根据体内地图的信息将内窥镜e保持在手术者的关注区域的状态。在图13的示例中，由于内窥镜e定位在离关注区域适当的距离处，显示在显示单元上的图像具有预期的大小。
181.另一方面，图14示出了气腹不足的状态。由于机械臂a的控制装置在气腹充足的状态下基于套管针点p的坐标对准内窥镜e的位置，所以当二氧化碳气体从体内逸出而气腹改变时，内窥镜e的位置变得比预期的更接近关注区域。因此，显示在显示单元上的图像是比预期放大得多的图像。
182.因此，机械臂a的控制装置基于驱动臂的电动机的负荷校正体内地图(三维信息)。注意，在下面的描述中，机械臂装置10的控制单元20执行以下处理，但是执行以下处理的控制装置不限于控制单元20。例如，执行以下处理的控制装置可以是机械臂a的控制装置，或者可以是图6示出的ccu 5039或臂控制装置5045。
183.以下，将参考图15描述根据本发明的实施例的控制处理。图15是示出用于将内窥镜保持在手术者关注的区域中的控制处理的示例的流程图。在下面的描述中，假设生成单元23通过slam生成体内地图。此外，假设制动控制单元26制动电动机以将臂部11保持在固定位置。
184.首先，控制单元20基于slam将内窥镜移动到手术者关注的区域(步骤s101)。此时，控制单元20可以通过使用在稍后描述的步骤s105或步骤s106中校正的体内地图的信息来控制机械臂装置10。此后，控制单元20周期性地解除机械制动器，以便能够测量施加到电动
机的负荷(步骤s102)。
185.然后，控制单元20检测是否存在由于套管针位置的变化而引起的电动机负荷的变化(步骤s103)。在负荷没有变化的情况下(步骤s103:否)，控制单元20将处理返回到步骤s102。
186.在存在负荷变化的情况下(步骤s103:是)，控制单元20确定负荷是增加还是减少(步骤s104)。
187.在电动机的负荷增加的情况下(步骤s104:是)，控制单元20确定套管针下降，并执行校正以减小由slam在体内生成的体内地图的信息的范围(步骤s105)。
188.另一方面，在电动机的负荷已经减小的情况下(步骤s104:否)，控制单元20确定套管针上升，并执行校正以增加体内地图的信息的范围(步骤s106)。
189.然后，控制单元20返回到步骤s101，并基于校正的体内地图的信息来控制驱动臂的电动机的操作。
190.因此，可以基于体内地图的信息以高精度控制机械臂装置10，使得控制单元20可以将内窥镜保持在适合于手术的位置。
191.《3-2.臂的控制示例(考虑手术器械跟踪的控制)》
192.接下来，将描述其中考虑手术器械的跟踪而执行控制的示例。
193.在本控制示例中，机械臂a的控制装置在手术期间跟踪手术器械。在下面的描述中，与上述控制示例类似，假设机械臂装置10的控制单元20执行以下处理。当然，执行以下处理的控制装置不限于控制单元20。
194.以下，将参考图16描述根据本发明的实施例的控制处理。图16是示出用于在手术期间控制内窥镜的位置以便跟踪手术器械的处理的示例的流程图。在下面的描述中，假设生成单元23通过slam生成体内地图。此外，假设制动控制单元26制动电动机以将臂部11保持在固定位置。
195.首先，控制单元20确定当前模式是手术器械跟踪模式还是手术器械插入准备模式(步骤s201)。手术器械跟踪模式是控制内窥镜的位置以跟踪手术器械的模式。此外，手术器械插入准备模式是通过将内窥镜拉向套管针来确保用于插入器械的空间以将器械插入体内的模式。注意，控制单元20用于确定模式的信息可以是经由操作单元30从用户获取的信息。
196.在当前模式是手术器械插入准备模式的情况下(步骤s201:否)，控制单元20基于体内地图的信息将内窥镜拉向套管针，以确保用于插入器械的空间(步骤s202)。此时，控制单元20可以通过使用在稍后描述的步骤s208或步骤s209中校正的体内地图的信息来控制机械臂装置10。
197.另一方面，在当前模式是手术器械跟踪模式的情况下(步骤s201:是)，控制单元20从内窥镜拍摄的图像识别手术器械(步骤s203)。一旦识别出器械，控制单元20控制驱动臂部11的电动机以跟踪器械(步骤s204)。此时，控制单元20可以通过使用在稍后描述的步骤s208或步骤s209中校正的体内地图的信息来控制机械臂装置10。
198.此后，一旦器械稳定在特定位置，控制单元20制动电动机以将臂部11保持在该特定位置。然后，控制单元20周期性地解除机械制动器，以便能够测量施加到电动机的负荷(步骤s205)。
199.然后，控制单元20检测是否存在由于套管针位置的改变而引起的电动机负荷的改变(步骤s206)。在负荷没有变化的情况下(步骤s206:否)，控制单元20将处理返回到步骤s204。
200.在存在负荷变化的情况下(步骤s206:是)，控制单元20确定负荷是增加还是减少(步骤s207)。
201.在电动机的负荷增加的情况下(步骤s207:是)，控制单元20确定套管针下降，并执行校正以减小由slam在体内生成的体内地图的信息的范围(步骤s208)。
202.另一方面，在电动机的负荷已经减小的情况下(步骤s207:否)，控制单元20确定套管针上升，并执行校正以增加体内地图的信息的范围(步骤s209)。
203.然后，控制单元20返回到步骤s201，并基于校正的体内地图的信息来控制驱动臂的电动机的操作。
204.因此，可以基于体内地图的信息以高精度控制机械臂装置10，使得控制单元20可以准确地跟踪手术器械。此外，由于可以基于体内地图的信息以高精度控制机械臂装置10，所以控制单元20可以准确地将内窥镜拉向套管针。
205.《4.修改》
206.控制本实施例的支撑臂的控制装置(例如，机械臂a的控制装置、ccu 5039、臂控制装置5045或控制单元20)可以由专用计算机系统或通用计算机系统来实现。
207.例如，用于执行上述控制处理的程序被存储在诸如光盘、半导体存储器、磁带或软盘的计算机可读记录介质中，并被分配。然后，例如，通过将程序安装在计算机中并执行上述处理来实现控制装置。此时，控制装置可以是支撑臂(例如，诸如机械臂a、支撑臂装置5027、支撑臂装置400或机械臂装置10的医疗支撑臂)外部的装置(例如，个人计算机)。此外，控制装置可以是支撑臂内部的装置(例如，安装在支撑臂上的处理器)。
208.此外，通信程序可以存储在包括在诸如因特网的网络上的服务器装置中的磁盘装置中，并下载到计算机上。此外，可以通过操作系统(os)和应用软件之间的协作来实现上述功能。在这种情况下，os以外的部分可以存储在介质中并分配，或者os以外的部分可以存储在服务器装置中并下载到计算机。
209.此外，在上述实施例中描述的各个处理中，可以手动执行被描述为自动执行的所有或一些处理。或者，可以通过已知的方法自动地执行被描述为手动执行的所有或一些处理。此外，说明书和附图中示出的处理过程、具体名称、包括各种数据和参数的信息，除另有规定外，均可任意更改。例如，在每个图中示出的各种信息不限于所示的信息。
210.此外，每个装置的示出的每个组件概念上是功能性的，并且不一定必须如图中所示地物理配置。即，各个装置的分配/集成的特定模式不限于附图中所示的模式。所有或一些装置可以在功能上或物理上分布/集成在任何任意单元中，这取决于各种负荷或使用状态。
211.此外，只要处理内容不相互矛盾，就可以适当地组合上述实施例。此外，可以适当地改变上述实施例的流程图中所示的每个步骤的顺序。
212.此外，例如，本实施例可以被实现为包括在装置或系统中的任何组件，例如作为系统大规模集成(lsi)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、通过向单元进一步添加其他功能而获得的集合等(即，装置的一些组件)。
213.注意，在本实施例中，系统意味着多个组件(装置、模块(部件)等)的集合，并且所有组件是否在同一壳体中并不重要。因此，容纳在分开的壳体中并经由网络连接的多个装置和其中容纳多个模块在一个壳体中的一个装置都是系统。
214.此外，例如，本实施例可以采用云计算的配置，其中一个功能由多个装置通过网络协作地共享和处理。
215.《5.结论》
216.本实施例的医疗支撑臂包括支撑内窥镜的支撑臂和驱动支撑臂的电动机。控制支撑臂的控制装置生成插入了内窥镜的身体内部的三维信息，并测量施加到电动机上的负荷。控制装置根据测量的负荷校正三维信息。
217.因此，可以基于高度精确的三维信息来控制机械臂，使得医疗支撑臂可以将内窥镜保持在适合于手术的位置。
218.注意，本说明书中描述的效果仅仅是示例。本公开的效果不限于此，并且可以获得其他效果。
219.注意，本技术也可以具有以下配置。
220.(1)一种医疗支撑臂，包括：
221.支撑内窥镜的支撑臂；
222.驱动所述支撑臂的致动器；
223.测量单元，其测量施加到所述致动器的负荷；
224.生成单元，生成插入了所述内窥镜的身体内部的体内三维信息；
225.和
226.校正单元，其基于测量的负荷来校正所述三维信息。
227.(2)根据(1)所述的医疗支撑臂，还包括臂控制单元，所述臂控制单元基于校正的三维信息来控制所述致动器的操作。
228.(3)根据(2)所述的医疗支撑臂，其中，所述臂控制单元从由所述内窥镜拍摄的视频中识别插入到身体内部的手术器械，并控制所述致动器的操作，以便基于校正的三维信息和识别所述手术器械的结果，由所述内窥镜在预定位置处执行成像。
229.(4)根据(2)或(3)所述的医疗支撑臂，还包括获取关于所述内窥镜向后移动的指令的获取单元，其中，在获取指令的情况下，所述臂控制单元基于校正的三维信息将所述内窥镜向身体外部移动。
230.(5)根据(4)所述的医疗支撑臂，其中，在获取所述指令的情况下，所述臂控制单元将通过套管针插入身体内部的所述内窥镜移动到套管针的位置。
231.(6)根据(1)至(5)中任一项所述的医疗支撑臂，还包括控制所述致动器的制动器的制动控制单元，其中，所述制动控制单元周期性地解除所述制动器，以及所述校正单元基于当所述制动器被解除时测量的所述负荷来校正所述三维信息。
232.(7)根据(1)至(6)中任一项所述的医疗支撑臂，其中，所述校正单元基于关于测量的负荷的变化的信息来校正所述三维信息。
233.(8)根据(7)所述的医疗支撑臂，其中所述校正单元基于测量的负荷的增加或减少来校正所述三维信息。
234.(9)根据(8)所述的医疗支撑臂，其中，在所述测量的负荷已经增加的情况下，所述
校正单元执行校正以减小三维信息的范围，并且在所述测量的负荷已经减少的情况下，所述校正单元执行校正以增大所述三维信息的范围。
235.(10)根据(1)至(9)中任一项所述的医疗支撑臂，其中，所述生成单元基于由所述内窥镜获取的关于身体内部的信息生成所述三维信息。
236.(11)根据(10)所述的医疗支撑臂，其中，所述生成单元基于由测量身体内部的距离的距离测量传感器获取的关于身体内部的信息来生成所述三维信息。
237.(12)根据(10)所述的医疗支撑臂，其中，所述生成单元基于由拍摄所述身体内部的图像的一个或多个摄像机获取的关于所述身体内部的信息来生成所述三维信息。
238.(13)根据(1)至(12)中任一项所述的医疗支持臂，其中，所述三维信息是通过同时定位和地图构建(slam)生成的体内地图。
239.(14)一种医疗系统，包括：
240.支撑内窥镜的支撑臂；以及
241.控制所述支撑臂的臂控制装置，
242.其中，所述支撑臂包括驱动所述支撑臂的致动器和测量施加到所述致动器的负荷的传感器，以及
243.所述臂控制装置包括生成单元和校正单元，所述生成单元生成插入了所述内窥镜的身体内部的体内三维信息，所述校正单元基于测量的负荷校正所述三维信息。
244.(15)一种控制装置，包括：
245.测量单元，其测量施加到致动器的负荷，致动器驱动支撑内窥镜的支撑臂；
246.生成单元，生成插入了所述内窥镜的身体内部的三维信息；以及
247.校正单元，其基于测量的负荷校正所述三维信息。
248.(16)一种控制方法，包括：
249.测量施加到驱动支撑内窥镜的支撑臂的致动器的负荷；
250.生成插入了内窥镜的身体内部的三维信息；以及
251.基于测量的负荷校正三维信息。
252.(17)一种使计算机用作以下的程序：
253.测量单元，测量施加到驱动支撑内窥镜的支撑臂的致动器的负荷；
254.生成单元，生成插入了所述内窥镜的身体内部的三维信息；和
255.校正单元，其基于测量的负荷校正所述三维信息。
256.参考符号列表
[0257]1ꢀꢀꢀꢀ
医疗观察系统
[0258]
10
ꢀꢀꢀ
机械臂装置
[0259]
11
ꢀꢀꢀꢀ
臂部
[0260]
111
ꢀꢀꢀ
关节部
[0261]
111a
ꢀꢀ
关节驱动单元
[0262]
111b
ꢀꢀ
关节状态检测单元
[0263]
12
ꢀꢀꢀ
成像单元
[0264]
13
ꢀꢀꢀ
光源单元
[0265]
20
ꢀꢀꢀ
控制单元
[0266]
21
ꢀꢀꢀ
获取单元
[0267]
22
ꢀꢀꢀ
测量单元
[0268]
23
ꢀꢀꢀ
生成单元
[0269]
24
ꢀꢀꢀ
校正单元
[0270]
25
ꢀꢀꢀ
臂控制单元
[0271]
26
ꢀꢀꢀ
制动控制单元
[0272]
27
ꢀꢀꢀ
显示控制单元
[0273]
30
ꢀꢀꢀ
操作单元
[0274]
40
ꢀꢀꢀ
显示单元