内窥镜系统、非暂时性计算机可读介质及方法与流程

1.本技术涉及内窥镜系统、内窥镜控制方法、以及成像控制装置，并且特别涉及在活体内成像时用于执行自动聚焦(af)的内窥镜系统、内窥镜控制方法、以及成像控制装置。
2.<相关申请的交叉引用>
3.本技术要求于2019年3月27日提交的日本优先权专利申请jp2019
‑
060221的权益，其全部内容通过引用结合于此。


背景技术：

4.在使用诸如内窥镜或显微镜的医学观察装置时，手术视野通常相对于医学观察装置的视野深度具有更深的深度。因此，在某些情况下，花费了一定数量的时间以集中在要查看的部位。为了处理这一点，提出了一种具有执行自动聚焦的af功能的医学观察装置(例如，参考专利文献1)。
5.现有技术文献
6.专利文献
7.专利文献1：国际公开文本2017/010157


技术实现要素：

8.技术问题
9.同时，在手术部位，连接到成像单元(例如，相机头)的插入部(例如，光纤镜)被插入到活体中，通过该插入部进行成像。在这种情况下，有时在手术期间从活体中移除插入部，以例如清洁附着在插入部远端处的晶状体上的血液、水滴、污垢等。因此，当插入部插入到活体中或从活体移除时，图像大幅改变，导致不稳定的af操作。
10.本技术是针对这样的情况而制造的，并且意图是在对活体内部进行成像时实现稳定的af操作。
11.问题的解决方案
12.根据本技术的第一方面的内窥镜系统包括：电路，被配置成：
13.监视内窥镜的特征，该内窥镜包括成像装置和耦接到成像装置的镜器件，其中，该特征指示镜器件是否插入活体中；在特征满足预定条件的情况下，以第一方式控制内窥镜系统的焦点；并且在特征不满足预定条件的情况下，以不同于第一方式的第二方式控制内窥镜系统的焦点。
14.根据本技术的第二方面，一种非暂时性计算机可读介质，在该非暂时性计算机可读介质上存储有程序，当由计算机执行时，该程序使计算机执行处理，该处理包括：监视将插入活体和从活体移除的插入部的特征，该插入部将连接到在医学成像系统中生成图像的图像传感器；在该特征满足预定条件的情况下，以第一方式控制医学成像系统的焦点；并且在该特征不满足预定条件的情况下，以不同于第一方式的第二方式控制医学成像系统的焦点。
15.根据本技术的第三方面的方法包括：监视将插入活体和从活体移除的插入部的特征，插入部将连接到在医学成像系统中生成图像的图像传感器；在该特征满足预定条件的情况下，以第一方式控制医学成像系统的焦点；并且在该特征不满足预定条件的情况下，以不同于第一方式的第二方式控制医学成像系统的焦点。
附图说明
16.图1是示出根据本技术的实施例的成像系统的框图。
17.图2是示出相机头、显示装置、以及成像控制装置的配置示例的框图。
18.图3是示出用于将插入部插入到活体的方法的示例的视图。
19.图4是示出af控制处理的流程图。
20.图5是示出捕获图像的示例的视图。
21.图6是示出捕获图像的示例的视图。
22.图7是示出捕获图像的示例的视图。
23.图8是示出捕获图像的示例的视图。
24.图9是示出af帧的示例的视图。
25.图10是示出支撑臂装置的配置示例的图。
26.图11是示出显示捕获图像的示例的视图。
27.图12是示出计算机的配置示例的图。
具体实施方式
28.在下文中，将描述本技术的实施例。描述将按以下顺序呈现。
29.1.实施例
30.2.变型例
31.3.其他
32.<<1.实施例>>
33.首先，将参考图1至图9描述本技术的实施例。
34.<成像系统配置示例>
35.图1示出了应用了本技术的成像系统1的配置示例。
36.成像系统1是用于医学领域、例如专门用于在活体中成像和观察的内窥镜系统。成像系统1包括插入部11、光源装置12、光导13、相机头(成像单元)14、第一传输线缆15、显示装置16、第二传输线缆17、成像控制装置18、以及第三传输线缆19、连接器20、以及连接器21。
37.例如，插入部11包括刚性镜或柔性镜(例如，光纤镜)。即，插入部11是刚性的或至少部分柔性的且具有细长形状以便插入活体中的构件。插入部11包括配备有一个或多个透镜以会聚或聚集对象图像的光学系统。插入部11和相机头14可以彼此集成。
38.光源装置12与光导13的第一端连接，并在成像控制装置18的控制下向光导13的第一端提供用于照亮活体内部的光。
39.光导13在第一端可拆卸地连接到光源装置12，并且在第二端可拆卸地连接到插入部11。随后，光导13将从光源装置12提供的光从第一端传输到第二端，并将光提供到插入部
11。提供到插入部11的光从插入部11的远端发射，并被引导到活体的内部。由插入部11中的光学系统收集指向活体内部并从活体内部反射的光(对象图像)。
40.相机头14可拆卸地连接到目镜单元11a，该目镜单元11a是插入部11的近端。接着，在成像控制装置18的控制下，相机头14捕获由插入部11会聚的对象图像，并输出通过成像生成的图像信号(raw信号)。图像信号的示例是4k以上的图像信号。
41.注意，在下面，基于图像信号的图像将被称为捕获图像。
42.第一传输线缆15在第一端上经由连接器20可拆卸地连接到成像控制装置18，并且在第二端上经由连接器21可拆卸地连接到相机头14。此后，第一传输线缆15将从相机头14输出的图像信号等传输到成像控制装置18，同时将从成像控制装置18输出的控制信号、同步信号、时钟信号、电力等中的每一个传输到相机头14。
43.注意，经由第一传输线缆15从相机头14向成像控制装置18传输图像信号等可以使用光信号或电信号。这也适用于经由第一传输线缆15从成像控制装置18向相机头14传输控制信号、同步信号、以及时钟信号。
44.显示装置16在成像控制装置18的控制下基于来自成像控制装置18的视频信号来显示显示图像。
45.第二传输线缆17在第一端可拆卸地连接到显示装置16，而在第二端可拆卸地连接到成像控制装置18。第二传输线缆17随后将由成像控制装置18处理的视频信号和从成像控制装置18输出的控制信号传输到显示装置16。
46.成像控制装置18包括相机控制单元(ccu)和中央处理单元(cpu)等。成像控制装置18整体地控制光源装置12、相机头14和显示装置16的操作。
47.第三传输线缆19在第一端可拆卸地连接到光源装置12，而在第二端可拆卸地连接到成像控制装置18。随后，第三传输线缆19将来自成像控制装置18的控制信号传输到光源装置12。
48.<相机头14、显示装置16和成像控制装置18的配置示例>
49.接下来，将参考图2描述相机头14、显示装置16和成像控制装置18的配置示例。
50.注意，为了便于说明，图2省略了用第一传输线缆15连接成像控制装置18和相机头14中的每一个的连接器20和连接器21，以及用第二传输线缆17连接成像控制装置18和显示装置16中的每一个的连接器。
51.相机头14包括：透镜单元51、透镜驱动部52、透镜位置检测单元53、成像处理单元54、通信单元55、惯性测量单元(imu)56、以及输入单元57。
52.透镜单元51包括沿光轴可移动的多个透镜，并且在成像处理单元54的成像表面上形成由插入部11会聚的对象图像。透镜单元51包括聚焦透镜61和变焦透镜62。
53.聚焦透镜61包括一个或多个透镜，并且沿着光轴移动以调整相机头14的焦点。
54.变焦透镜62包括一个或多个透镜，并且沿着光轴移动以调整相机头14的视角。
55.此外，透镜单元51还包括：用于沿光轴移动聚焦透镜61的聚焦机构(未示出)和用于沿光轴移动变焦透镜62的光学变焦机构(未示出)。
56.透镜驱动部52包括：操作上述聚焦机构和光学变焦机构的致动器71；以及驱动致动器71的驱动器72。此外，透镜驱动部52在成像控制装置18的控制下调整透镜单元51的焦点和视角。
57.透镜位置检测单元53使用诸如光断路器的位置传感器来配置，并且检测聚焦透镜61的位置(在下文中称为焦点位置)和变焦透镜62的位置(在下文中称为变焦位置)。随后，透镜位置检测单元53经由第一传输线缆15向成像控制装置18输出与焦点位置和变焦位置相对应的检测信号。
58.成像处理单元54包括传感器芯片，在该传感器芯片上集成有成像元件(未示出)、信号处理单元(未示出)等。成像元件可以包括例如电荷耦合器件(ccd)、互补金属氧化物半导体(cmos)等，该成像元件接收由插入部11形成并由透镜单元51捕获的对象图像，并将该图像转换为电信号。信号处理单元对来自成像元件的电信号(模拟信号)执行信号处理(诸如a/d转换)，并输出图像信号。在成像控制装置18的控制下，成像处理单元54捕获活体内部的图像，并输出通过a/d转换生成的图像信号(数字信号)。
59.注意，上述信号处理单元可以与成像元件分离，而不是整体形成。
60.通信单元55用作经由第一传输线缆15将从成像处理单元54输出的图像信号发送到成像控制装置18的发送器。例如，通信单元55包括高速串行接口，用于经由第一传输线缆15以1gbps或更高的传输速率与成像控制装置18传输图像信号。
61.imu 56检测相机头14的加速度和角速度，并且将指示检测结果的检测信号提供给成像控制装置18。
62.输入单元57包括输入装置，例如按钮、开关、触摸面板等，并检测用户的输入。输入单元57根据用户的输入向成像控制装置18提供输入信号。
63.成像控制装置18包括：通信单元101、信号处理单元102、显示控制单元103、控制单元104、输入单元105、输出单元106、以及存储单元107。
64.通信单元101用作接收经由第一传输线缆15从相机头14(通信单元55)输出的图像信号的接收器。例如，通信单元101包括高速串行接口，用于以1gbps或更高的传输速率与通信单元55传输图像信号。
65.在控制单元104的控制下，信号处理单元102对从相机头14(通信单元55)输出并由通信单元101接收的图像信号(raw信号)执行各种类型的处理。信号处理单元102包括：图像处理单元111、解调处理单元112、位置估计单元113、距离测量单元114、以及图像识别单元115。
66.图像处理单元111对由通信单元101接收的图像信号(raw信号)执行raw处理，例如，光学黑减法处理、去马赛克处理等，并将处理后的raw信号(图像信号)转换为rgb信号(图像信号)。此外，图像处理单元111对rgb信号(图像信号)执行rgb处理，例如白平衡、rgb伽马校正、yc转换(将rgb信号转换为亮度信号和色差信号(y、cb/cr信号)等)等。此外，图像处理单元111对y和cb/cr信号(图像信号)等执行yc处理，例如色差校正和降噪。图像处理单元111将通过图像处理生成的图像信号提供到显示控制单元103和控制单元104。
67.解调处理单元112对由图像处理单元111处理的图像信号(例如，y、cb/cr信号)执行用于控制相机头14的解调处理(例如，自动聚焦(af)处理)。注意，图像信号不限于y或cb/cr信号，并且可以是能够应用图像处理的任何信号，并且在信号没有经过raw处理的情况下可以是raw信号。此外，当要在raw处理中生成亮度信号(y)时，图像信号可以是亮度信号。
68.例如，解调处理单元112基于由成像处理单元54捕获的一帧的捕获图像中指定区域的每个像素的像素信息(亮度信号(y信号))来检测指定区域内的图像的对比度和频率分
量。随后，解调处理单元112基于检测到的对比度和频率分量，计算用于评估捕获图像(捕获图像中的对象图像)的聚焦状态的聚焦评估值。例如，解调处理单元112计算指定区域中的图像的对比度、或计算指定区域内的图像的高频分量的和，作为聚焦评估值。注意，聚焦评估值越大，图像焦点对准就越好。解调处理单元112将指示计算出的聚焦评估值的解调信息提供到控制单元104。
69.位置估计单元113基于来自imu 56的图像信号和检测信号执行相机头14的位置的估计处理。例如，基于图像信号，位置估计单元113创建环境图(三维坐标地图)，并使用视觉同时定位和映射(visual
‑
slam)估计相机头14在环境图中的位置。可替代地，例如，基于来自imu 56的图像信号和检测信号，位置估计单元113创建环境图，并使用imu
‑
slam估计相机头14在环境图中的位置。位置估计单元113将指示相机头14的位置的估计结果的位置信息提供到控制单元104。
70.注意，例如，visual
‑
slam的细节在“andrew j.davison,“real
‑
time simultaneous localization and mapping with a single camera”,proceedings of the 9th ieee international conference on computer vision volume 2,2003,pp.1403
‑
1410’或在jp 2011
‑
95797a中有描述。此外，例如，imu
‑
slam的细节在jp 2017
‑
185254 a中有描述。
71.距离测量单元114测量到相机头14的对象的距离，并将指示测量结果的距离信息提供到控制单元104。
72.注意，作为距离测量目标的对象可以是例如活体中的器官或器官的一部分。
73.此外，任何方法都可以作为距离的测量方法。例如，成像处理单元54包括成像元件或包括飞行时间(tof)传感器，该成像元件包括相位差像素，并且成像处理单元54使用成像元件或tof传感器测量到对象的距离。
74.图像识别单元115基于图像信号执行捕获图像中的对象的识别处理。例如，图像识别单元115执行捕获图像中的诸如血液、水滴或污垢的预定对象的识别处理。此外，例如，图像识别单元115基于捕获图像中的对象的识别结果，执行使用手术过程等的手术流程中的手术场景的识别处理。图像识别单元115向控制单元104提供指示对象的识别结果或手术场景的识别结果的识别信息。
75.在控制单元104的控制下，显示控制单元103使用屏幕显示(osd)处理等，并基于由图像处理单元111处理的图像信号(y、cb/cr信号)生成用于显示的视频信号。随后，显示控制单元103经由第二传输线缆17将生成的视频信号输出到显示装置16(显示单元151)。
76.控制单元104包括cpu等，并经由第一传输线缆15、第二传输线缆17和第三传输线缆19输出控制信号，从而控制光源装置12、相机头14和显示装置16的操作以及控制成像控制装置18的整体操作。控制单元104包括插入状态检测单元121、聚焦控制单元122和变焦控制单元123。
77.插入状态检测单元121基于来自imu 56的检测信号、来自图像处理单元111的图像信号、来自解调处理单元112的解调信息、来自位置估计单元113的位置信息或来自距离测量单元114的距离信息中的至少一者，来检测插入部11至插入端口、以至活体的插入，或检测插入部11从插入端口、以从活体的移除。换言之，插入状态检测单元121监视包括相机头14和耦接到相机头14的插入部11的内窥镜的特征，其中，该特征指示插入部11是否插入到
活体中。例如，可以通过分析由图像传感器经由镜器件捕获的图像、插入管的位置、相机头的倾斜度、由图像传感器经由该镜器件捕获的图像中的远端口的形状、来自支撑臂的设定信息等中的一项或多项来监视该特征。分析由图像传感器捕获的图像可以包括例如分析图像的颜色、图像的周边部分的颜色、图像的亮度、图像的周边部分的亮度等。
78.聚焦控制单元122操作透镜驱动部52以调整透镜单元51的焦点(改变焦点位置)。例如，聚焦控制单元122基于由透镜位置检测单元53检测到的焦点位置和来自解调处理单元112的解调信息执行自动聚焦(af)处理。此外，聚焦控制单元122基于来自输入单元57或输入单元105的操作信息、由插入状态检测单元121获得的插入部11的插入和移除的检测结果、以及来自图像识别单元115的识别信息中的至少一者来控制af操作。例如，聚焦控制单元122改变聚焦控制的条件以控制聚焦控制操作。
79.注意，例如，连续af和单触af被安装为成像系统1的af功能。连续af基本上是不断(连续)地执行af的功能。例如，根据对设置在输入单元57或输入单元105中的操作单元(未示出)的操作，接通或关断连续af。例如，单触af是响应于对设置在相机头14的输入单元57中的操作单元(未示出)的操作而执行点af的功能。
80.变焦控制单元123操作透镜驱动部52以调整透镜单元51的视角(改变变焦位置)。
81.输入单元105包括输入装置，例如按钮、开关、鼠标、键盘、触摸面板等，并接收用户的输入。输入单元105根据用户的输入向控制单元104提供输入信号。
82.输出单元106包括例如扬声器、打印机等，并输出各种类型的信息。
83.存储单元107存储要由控制单元104执行的程序、用于控制单元104的处理的信息等。存储单元107是非暂时性计算机可读介质，在该非暂时性计算机可读介质上存储了当由计算机执行时使控制单元104执行处理的程序。
84.显示装置16包括显示单元151。
85.显示单元151包括显示面板，例如液晶面板、有机电致发光(el)面板等，并基于来自成像控制装置18的视频信号显示显示图像。
86.<插入插入部11的方法>
87.图3示出了用于将成像系统1的插入部11插入到活体202中的方法的示例。在本例中，使用套管针201将插入部11插入到活体202中。
88.具体地，套管针201插入活体202的皮肤202a中。随后，插入部11从套管针201的插入端口201a插入，插入部11的远端从套管针201的远端口201b突出。通过该配置，插入部11被插入到活体202中，并且插入部11的位置被稳定。
89.<af控制处理>
90.接下来，将参考图4中的流程图来描述由成像系统1执行的af控制处理。
91.例如，当用于成像控制装置18的电源接通时，该处理开始，并且当用于成像控制装置18的电源关断时，该处理结束。
92.在步骤s1中，插入状态检测单元121开始检测插入部11的插入状态。例如，插入状态检测单元121开始检测插入部11至活体的插入或插入部11从活体内部的移除。
93.这里，将插入部11插入到活体中例如表示：将插入部11的远端从预定的插入端口向活体方向插入0mm以上的预定距离。相反，从活体的内部移除插入部11例如表示：从预定插入端口将插入部11的远端从活体内部的方向上取出0mm以上的预定距离。
94.此外，插入端口是用于将插入部11插入到活体中的开口，并且对应于例如插入辅助器的开口(例如，套管针201的插入端口201a)，例如耳孔、鼻孔的体孔、患者身体上的切口中的开口等。
95.此外，在插入部11经由套管针201等长管状构件插入活体的情况下，用于检测插入部11的插入的插入端口可以与用于检测插入部11的移除的插入端口分开设置。例如，图3的套管针201的远端口201b可用于检测插入部11的插入，并且套管针201的插入端口201a可用于检测插入部11的移除。
96.这里，将描述检测插入部11插入到活体中和从活体内部移除插入部11的方法的示例。
97.例如，插入状态检测单元121基于捕获图像的颜色信息(或波长信息)检测插入部11的插入和移除。
98.图5至图8示意性地示出了捕获图像251至254的示例，在该示例中插入部11从使用套管针201插入到活体中的状态移动到从活体内部移除的状态。
99.具体地，图5是在插入部11插入到活体中的状态下获得的捕获图像251的示例。由于捕获图像251的大部分被内部器官占据，所以捕获图像251的大部分是微红的。
100.图6是与捕获的捕获图像251的时间相比，为了移除插入部11，在插入部11的远端与内部器官稍微分离的状态下捕获的捕获图像252的示例。由于捕获图像252的大部分被内部器官占据，所以捕获图像252的大部分是微红的。
101.图7是插入部11的远端从套管针201的远端口201b略微进入套管针201的内部的状态下的捕获图像253的示例。由于从远端口201b观察的捕获图像253的大部分中央部分被内部器官占据，所以捕获图像253的大部分中央部分是微红的。相反地，捕获图像的大部分周边部分被套管针201的内壁占据，并且从插入部11的远端发射的光被内壁反射。因此，捕获图像253的大部分周边部分是白色的(或套管针内壁的银色)。此外，捕获图像253的周边部分可能被过度曝光。
102.图8是在插入部11的远端被移除到套管针201的插入端口201a附近的状态下的捕获图像254的示例。在捕获图像254中，中央部分中的远端口201b小于捕获图像253中的远端口201b。此外，由于从远端口201b几乎看不到内部器官，所以捕获图像254的中央部分是暗的和发黑的。相反，捕获图像254的大部分周边部分被套管针201的内壁占据，并且从插入部11的远端发射的光被内壁反射。因此，捕获图像254的大部分周边部分是白色的(或套管针内壁的银色)。此外，捕获图像254的周边部分可能被过度曝光。然而，由于在远端口201b的周边减少了由内壁反射的光量，因此颜色变得比捕获图像253中的颜色更深。
103.插入状态检测单元121通过使用由于以这种方式插入和移除插入部11而导致的捕获图像的颜色的大幅变化的发生来检测插入部11的插入和移除。例如，基于捕获图像的中央部分和周边部分的颜色的变化来检测插入部11的插入和移除。
104.具体地，例如，在捕获图像的周边部分变为白色时，插入状态检测单元121基于中央部分的颜色变化来检测插入部11的插入和移除。例如，插入状态检测单元121在捕获图像的中央部分从红色变为黑色的情况下确定插入部11被移除。相反，例如，插入状态检测单元121在捕获图像的中央部分从黑色变为红色的情况下确定插入部11被插入。
105.注意，插入状态检测单元121可以仅基于捕获图像的周边部分的颜色变化来检测
插入部11的插入和移除。例如，插入状态检测单元121在捕获图像的周边部分从红色变为白色的情况下确定插入部11被移除。相反，插入状态检测单元121在捕获图像的周边部分从白色变为红色的情况下确定插入部11被插入。这使得能够减少用于检测插入部11的插入状态的计算量。
106.此外，例如，插入状态检测单元121基于捕获图像的亮度来检测插入部11的插入和移除。
107.具体地说，在插入部11插入到活体中的情况下，由于没有外部光的影响，因此捕获图像的亮度稳定，基本上没有变化。相反，在从活体内部移除插入部11的情况下，由于插入部11的移动或外部光的影响，捕获图像的亮度波动并变得不稳定。此外，在插入部11的远端位于套管针201内部的情况下，从插入部11的远端发射的光反射到套管针201的内壁，从而导致捕获图像的周边部分的过度曝光，导致亮度的巨大变化。
108.因此，插入状态检测单元121基于捕获图像的周边部分的亮度的变化来检测插入部11的插入和移除。例如，插入状态检测单元121在捕获图像的周边部分的亮度从稳定状态大幅变化的情况下确定插入部11被移除。相反，例如，插入状态检测单元121在捕获图像的周边部分的亮度从不稳定状态大幅变化的情况下确定插入部11被插入。
109.注意，捕获图像的周边部分的亮度稳定的状态例如表示捕获图像的周边部分的亮度的平均值在先前预定时间段内的波动范围小于预定阈值的状态。捕获图像的周边部分的亮度不稳定的状态例如表示捕获图像的周边部分的亮度的平均值在之前的预定时间段内的波动范围是预定阈值以上的状态。捕获图像的周边部分的亮度的巨大变化表示例如捕获图像的周边部分的亮度的平均值的变化在预定阈值以上。
110.可替代地，插入部11的插入和移除可以基于整个捕获图像的亮度的变化、或者基于捕获图像的周边部分以外的部分的亮度的变化、或者基于捕获图像的周边部分和其他部分的亮度的变化来检测。
111.此外，例如，插入状态检测单元121基于由位置估计单元113估计的相机头14在环境图中的位置来检测插入部11的插入和移除。例如，插入状态检测单元121通过跟踪环境图中相机头14相对于到活体的插入端口的位置的移动(位置变化)，来检测插入部11的插入和移除。
112.注意，例如，位置估计单元113可以估计插入部11的远端的位置而不是相机头14的位置，并且插入状态检测单元121可以跟踪环境图中插入部11的远端相对于到活体的插入端口的位置的移动(位置变化)，从而检测插入部11的插入和移除。
113.此外，例如，插入状态检测单元121基于由imu 56检测到的相机头14的加速度来检测插入部11的插入和移除。例如，在相机头14的加速度的变化满足预定条件的情况下，插入状态检测单元121确定插入部11被插入或移除。例如，在从相机头14的加速度基本上为零的状态(相机头14基本上静止的状态)到相机头14的加速度为预定阈值以上的状态变化的情况下，插入状态检测单元121确定插入部11被移除。相反，例如，在相机头14的加速度从相机头14的加速度为预定阈值以上的状态变化到相机头14的加速度基本上为0的状态(相机头14基本上静止)的情况下，插入状态检测单元121确定插入部11被插入。
114.此外，例如，插入状态检测单元121基于由imu 56检测到的相机头14的倾斜来检测插入部11的插入和移除。例如，在相机头14的倾斜度的变化满足预定条件的情况下，插入状
态检测单元121确定插入部11被插入或移除。例如，在相机头14的倾斜度从相机头14的倾斜度变化基本上为零的状态(相机头14基本上静止的状态)变化预定阈值以上的情况下，插入状态检测单元121确定插入部11被移除。相反，例如，在相机头14的倾斜度改变预定阈值以上并且此后相机头14的倾斜度的改变基本上变为零的情况下，插入状态检测单元121确定插入部11被插入。
115.注意，例如，imu可以设置在插入部11的远端，并且在与相机头14的情况类似的条件下，可以基于插入部11的远端的加速度或倾斜度来检测插入部11的插入和移除。
116.此外，如上述图7和图8所示，套管针201的远端口201b在捕获图像中具有大致圆形。因此，例如，图像识别单元115识别捕获图像中的套管针201的远端口201b，并且插入状态检测单元121基于捕获图像中的远端口201b的形状检测插入部11的插入或移除。例如，插入状态检测单元121在远端201b的尺寸逐渐减小并随后在捕获图像中消失的情况下确定插入部11被移除。插入状态检测单元121确定在远端口201b的尺寸逐渐增大然后在捕获图像中消失的情况下插入部11被插入。
117.此外，例如，插入状态检测单元121基于由解调处理单元112计算的聚焦评估值来检测插入部11的插入和移除。
118.具体地，在插入部11插入到活体中的情况下，到对象(例如，到内部器官)的距离几乎没有变化，并且因此聚焦评估值稳定，基本上没有变化。相反，在插入部11从活体内部移除的情况下，插入部11或对象的移动导致到对象的距离波动，导致具有波动的聚焦评估值不稳定。此外，在插入部11的远端在套管针201内移动的情况下，由于插入部11的移动，到对象的距离改变，导致聚焦评估值的巨大变化。
119.鉴于此，插入状态检测单元121基于聚焦评估值的变化来检测插入部11的插入和移除。例如，在聚焦评估值从稳定状态大幅变化的情况下，插入状态检测单元121确定插入部11被移除。例如，在聚焦评估值从不稳定状态大幅变化的情况下，插入状态检测单元121确定插入部11被插入。
120.注意，聚焦评估值稳定的状态例如表示聚焦评估值在先前预定时间段内的波动范围小于预定阈值的状态。聚焦评估值不稳定的状态例如表示聚焦评估值在先前预定时间段内的波动范围为预定阈值以上的状态。聚焦评估值的较大变化表示例如聚焦评估值的预定阈值或更大的变化。
121.注意，可以在捕获图像中提供多个帧(以下称为af帧)，并且可以基于在每个af帧中检测的聚焦评估值来检测插入部11的插入和移除。
122.图9示出af帧设定的示例。在该示例中，在所捕获图像中提供了总共25个5行
×
5列的大af帧。此外，在所捕获图像的中央部分的9个af帧内提供总共16个4行
×
4列的小af帧。因此，在该示例中，提供了总共169个af帧，包括25个大af帧和144个小af帧。注意，例如，可以使用大af帧通过图像对比度来计算af评估值，并且可以使用小af帧使用图像平面相位差中的相位差信息来计算af评估值。
123.随后，例如，插入状态检测单元121基于周边部分的聚焦评估值相对于捕获图像的中央部分的af帧的聚焦评估值的变化，检测插入部11的插入和移除。
124.注意，插入状态检测单元121可以仅基于捕获图像的中央部分的聚焦评估值的变化，或者仅基于捕获图像的周边部分的聚焦评估值的变化来检测插入部11的插入和移除。
125.此外，例如，插入状态检测单元121基于由距离测量单元114测量的到对象的距离来检测插入部11的插入和移除。例如，在到对象的距离从稳定状态大幅变化的情况下，插入状态检测单元121确定插入部11被移除。相反，例如，在到对象的距离从不稳定状态大幅变化的情况下，插入状态检测单元121确定插入部11被插入。
126.注意，到对象的距离稳定的状态例如表示在先前预定时间段内的距离的波动范围小于预定阈值的状态。到对象的距离不稳定的状态例如表示在先前预定时间段内的距离的波动范围是预定阈值以上的状态。到对象的距离的巨大变化表示例如距离变化在预定阈值以上。
127.注意，上述插入部11的插入和移除的检测方法是示例，可以使用其他检测方法。此外，多个检测方法可以相互组合。
128.回到图4，在步骤s2中，聚焦控制单元122确定是否接通连续af。在确定连续af接通的情况下，即，如果连续af的功能被启用，则处理进行到步骤s3。
129.在步骤s3中，聚焦控制单元122限制af操作。例如，聚焦控制单元122停止af操作，直到插入部11插入到活体中。通过该配置，例如，即使在成像控制装置18的电源接通的情况下连续af接通时，af也被抑制，直到插入部11插入到活体中为止。
130.注意，当在成像控制装置18的电源接通的情况下设定连续af时，无论插入部11是否插入到活体中，都可以开始af操作。
131.在步骤s4中，插入状态检测单元121确定插入部11是否插入到活体中。在确定插入部11插入到活体中的情况下，处理进行到步骤s5。
132.在步骤s5中，聚焦控制单元122开始正常af操作。即，聚焦控制单元122取消af操作的限制，并基于由透镜位置检测单元53检测到的焦点位置和来自解调处理单元112的解调信息来操作透镜驱动部52，由此开始自动调整透镜单元51的焦点的处理。
133.注意，可以在满足预定条件之后开始正常的af操作，而不是在插入部11插入到活体之后立即开始正常的af操作。
134.例如，聚焦控制单元122在从检测到插入部11的插入时起经过预定时间段(例如，几秒钟)之后开始正常af操作。注意，直到正常af操作开始的时间段可以是固定值、也可以是可变值。在可变值的情况下，可以基于例如用户设定、在取消对af操作的限制之前经过的时间段、预设条件等来设定时间段。
135.此外，例如，在检测到插入部11的插入之后，当聚焦评估值稳定或捕获图像的亮度(辉度)稳定时，聚焦控制单元122开始正常af操作，例如，以第一方式控制内窥镜系统的焦点。注意，聚焦评估值稳定的状态和捕获图像的亮度稳定的状态被认为与上述状态相似。
136.此外，例如，可以在插入部11插入到活体中之后逐渐开始正常的af操作。
137.例如，在检测到插入部11的插入之后，聚焦控制单元122将af操作减慢预定时间段。具体地，例如，在检测到插入部11的插入之后，聚焦控制单元122在预定时间段内将聚焦透镜61的移动速度(即af的操作速度)限制在预定值以下的情况下执行af操作。随后，在经过预定时间段之后，聚焦控制单元122取消对聚焦透镜61的移动速度的限制。注意，用于延迟af操作的持续时间可以是固定值或可变值。在可变值的情况下，根据例如用户设定、取消对af操作的限制之前经过的时间段、预设条件等来设定持续时间。
138.这是因为在执行诸如插入部11的插入和移除等成像系统1的操作的内窥镜操作员
从活体内部移除插入部11、然后再次插入插入部11的情况下，可能需要时间来确认捕获的图像是否与移除前的图像相同。因此，即使当插入部11插入到活体中时，通过使用上述方法中的任一种花费一些时间来执行聚焦，而不是立即进行执行。
139.此后，处理进行到步骤s6。
140.相反，在步骤s4中未确定插入部11插入到活体中的情况，即插入部11保持插入在活体中、或者插入部11保持从活体内部移除的情况下，跳过步骤s5的处理，处理进行到步骤s6。
141.在步骤s6中，插入状态检测单元121确定插入部11是否从活体内部移除。在确定插入部11从活体内部移除的情况下，处理进行到步骤s7。
142.在步骤s7中，聚焦控制单元122限制af操作。
143.例如，在即使在从活体内部移除插入部11之后仍继续af操作的情况下，为了聚焦在活体外部的某个位置上，焦点位置将大幅改变。此外，例如，在清洗插入部11的情况下，由于水滴等的粘附，焦点位置会不断地改变。因此，例如，这导致聚焦透镜61的连续移动并生成不必要的运动噪声或振动，这可能会给医生、护士、内窥镜操作员、患者等带来担忧。此外，这可能引起对驱动聚焦透镜61的致动器71的早期劣化的担忧。
144.为了克服这些问题，例如，聚焦控制单元122在插入部11从活体内部移除的时刻，例如，在插入部11从插入端口出去的时刻，停止af操作。换句话说，当插入部11被移除时，内窥镜系统的焦点以不同于第一方式的第二方式(例如具有固定的焦点位置)被控制。
145.同时，在插入部11插入到活体中的情况下，焦点位于诸如内部器官的非常接近的位置(近侧)。相反，在插入部11从活体内部移除的情况下，焦点可以在比插入时更远的位置(远侧)，例如，高概率地在手术室中的人或装置上。
146.因此，例如，从活体内部移除插入部11，然后在焦点位于远侧的状态下再次将插入部11插入活体，将增加捕获图像的模糊，导致聚焦评估值不稳定。此外，需要将聚焦透镜61从远侧移动到近侧。因此，在插入部11重新插入后，需要更长的时间来调整焦点。
147.此外，例如，在插入部11要被移除、清洁然后重新插入的情况下，内窥镜操作人员可以调整插入部11的插入量，以便聚焦在诸如内部器官的目标位置上。然而，当在移除插入部11时焦点位置发生大幅变化时，在再次插入时目标位置将不会对焦，使得内窥镜操作人员难以确定插入部11应该插入多深。
148.为了处理这一点，例如，聚焦控制单元122将焦点位置(聚焦透镜61的位置)固定到从活体内部移除插入部11的时刻的位置或预定的参考位置。可替代地，例如，聚焦控制单元122将焦点位置操作范围限制为比从活体内部移除插入部11之前的时间更窄的范围。在这种情况下，例如，聚焦控制单元122基于从活体内部移除插入部11时的焦点位置或参考位置来设定限制后的焦点位置操作范围。
149.例如，将参考位置设定为预定短距离(例如，几毫米至几厘米)的对象对焦的位置(即，近侧)。具体地，例如，将参考位置设定为在活体中的内部器官处于对焦的情况下使用的焦点位置。
150.可替代地，参考位置被设定为紧接在插入部11移除之前的焦点位置。例如，聚焦控制单元122不断地存储在先前预定时间段内的焦点位置。随后，在检测到插入部11移除的情况下，聚焦控制单元122将在插入部11移除之前的稳定状态下的焦点位置设定为参考位置。
例如，聚焦控制单元122将在插入部11被移除之前的焦点位置稳定的时段(例如，焦点位置波动范围小于预定阈值的时段)中的焦点位置的平均值设定为参考位置。
151.以这种方式，固定焦点位置或限制焦点位置操作范围将使得在af恢复的情况下能够快速地将期望的目标位置(例如，内部器官)设定为对焦。
152.此后，处理进行到步骤s8。
153.相反，在步骤s6中没有确定插入部11从活体内部移除的情况下，即插入部11保持插入在活体中、或者插入部11保持从活体内部移除的情况下，跳过步骤s7的处理，并且该处理进行到步骤s8。
154.在步骤s8中，聚焦控制单元122基于来自输入单元57或输入单元105的输入信号来确定是否关断连续af。在确定连续af未关断的情况下，处理返回到步骤s4。
155.此后，重复执行步骤s4至s8的处理，直到在步骤s8中确定连续af被关断为止。
156.相反，在步骤s8中确定连续af被关断的情况下，处理进行到步骤s9。这被假定为，例如用户使用输入单元57或输入单元105执行连续af关断操作的情况。
157.在步骤s9中，聚焦控制单元122停止af操作。
158.此后，处理进行到步骤s10。
159.相反，在步骤s2中确定连续af关断的情况下，跳过步骤s3至s9的处理，并且处理进行到步骤s10。这对应于，例如在成像控制装置18的电源接通的情况下连续af关断的情况。
160.在步骤s10中，聚焦控制单元122基于来自输入单元57的输入信号确定是否接通单触af。在确定单触af接通的情况下，处理进行到步骤s11。这被假定为例如用户使用输入单元57执行单触af接通操作的情况。
161.在步骤s11中，聚焦控制单元122执行正常af操作。通过这种配置，例如，诸如内部器官的期望目标位置成为焦点。
162.此后，处理进行到步骤s12。
163.相反，在步骤s10中确定单触摸af未接通的情况下，跳过步骤s11中的处理，并且处理进行到步骤s12。
164.在步骤s12中，聚焦控制单元122基于来自输入单元57或输入单元105的输入信号来确定是否接通连续af。在确定连续af未接通的情况下，处理返回到步骤s10。
165.此后，重复执行步骤s10至s12的处理，直到在步骤s12中确定连续af接通为止。
166.相反，在步骤s12中确定连续af接通的情况下，处理进行到步骤s13。这被假定为例如用户使用输入单元57或输入单元105执行连续af接通操作的情况。
167.在步骤s13中，插入状态检测单元121确定插入部11是否被插入到活体中。在确定插入部11插入到活体中的情况下，处理返回到步骤s5，并且执行步骤s5的处理和随后的处理。即，在插入部11插入到活体中的状态下接通连续af的情况下，开始正常af操作。
168.相反，在步骤s13中确定插入部11没有插入到活体中的情况下，处理返回到步骤s3，并且执行步骤s3的处理和随后的处理。即，在插入部11未插入到活体中的状态下接通连续af的情况下，限制正常af操作，直到插入部11插入到活体中为止。
169.如上所述，在对活体内部进行成像的情况下，可以实现稳定的af操作。例如，在接通连续af的情况下，当插入部11从活体内部移除并重新插入时，可以快速地将与移除之前相同的对象设定为焦点。
170.<<2.变型例>>
171.在下文中，将描述本技术的上述实施例的变型例。
172.<关于插入部11的插入状态的检测处理的变型例>
173.例如，如图10所示，在相机头14和插入部11在被支撑臂装置301支撑的同时被移动的情况下，插入状态检测单元121可以基于支撑臂装置301的移动来检测插入部11的插入和移除。
174.支撑臂装置301包括作为基座的基座单元311和从基座单元311延伸的臂部312。在本例中，臂部312包括：多个接头321a至321c；以及通过接头321b连接的多个接头322a和接头322b。
175.臂控制装置302驱动设置在关节321a至321c中的致动器，并控制关节321a至321c的旋转角度以控制臂部312的移动。随后，驱动臂部312以控制相机头14和插入部11的位置和姿势，允许插入部11从期望方向经由套管针305插入病人床303上的病人304的身体。
176.接着，例如，插入状态检测单元121基于从臂控制装置302输出的关于支撑臂装置301(臂部312)的移动的信息来估计插入部11的远端的位置，从而检测插入部11的插入和移除。
177.此外，例如，在支撑臂装置301或臂控制装置302中设定了用于将插入部11插入到活体中的插入模式和用于从活体内部移除插入部11的移除模式的情况下，插入状态检测单元121可以基于在设定插入模式和移除模式时从支撑臂装置301或臂控制装置302输出的设定信息来检测插入部11的插入和移除。
178.此外，如上所述，可以通过组合多个检测方法(例如，使用捕获图像的亮度的方法和使用聚焦评估值的方法)来检测插入部11的插入和移除。然而，组合多个检测方法可能会导致对于每个单独的检测方法的检测结果不同的状态。为了处理这一点，例如，可以例如基于检测精度、计算效率等对检测方法进行优先级排序。可以采用通过具有更高优先级的检测方法获得的检测结果。
179.此外，可以经常使用检测精度低、计算量小的检测方法(例如，使用捕获图像的亮度的方法)，而可以临时使用检测精度高、计算量大的检测方法(例如，使用图像识别的方法)。例如，在通过计算量小的检测方法检测插入部11的移除的情况下，可以间歇地(例如每10秒)执行使用计算量大的检测方法的检测处理。例如，在通过计算量大的方法检测插入部11的插入，但通过计算量小的方法未检测插入部11的插入的情况下，可以采用检测精度高的检测结果来确定插入部11被插入。在这种情况下，在检测到插入部11的插入之后，停止通过计算量大的检测方法进行的检测处理。
180.此外，例如，在检测到插入部11的移除后的预定时间段内(例如，五分钟内)未检测到插入部11的插入的情况下，可以认为检测结果是错误的，从而确定插入部11被插入。
181.<关于af操作的变型例>
182.例如，聚焦控制单元122可以基于由图像识别单元115等识别的手术流来控制af操作。例如，聚焦控制单元122可以基于出血的存在或不存在、电刀的通断状态等来控制af操作。
183.此外，例如，在图像识别单元115基于捕获图像检测到血液、水滴、污垢等粘附到插入部11的透镜的情况下，聚焦控制单元122可以停止af操作。
184.<关于用户界面的变型例>
185.例如，在插入部11被插入到活体中的情况下，可以容易地设定连续af。
186.例如，在插入部11插入到活体中的情况下执行单触af操作的情况下，可以在执行单触af操作之后自动接通连续af。注意，在这种情况下，通过单触af操作自动接通连续af的期间可以被限制在插入部11插入到活体后的预定时间段内(例如，在几分钟内)。
187.此外，例如，连续af操作和单触摸af操作可以由相同的操作装置执行。例如，在短时间按压操作按钮的情况下，可以执行单触af，并且在长时间按压操作按钮的情况下，将连续af设定从接通切换到关断或关断切换到接通。
188.此外，例如，显示单元151可以在显示控制单元103的控制下显示连续af的操作状态。例如，在执行正常连续af操作的情况下，可以例如显示在捕获图像的角落中指示特定颜色(例如绿色)的操作状态(例如af
‑
c)的字母。在连续af操作被限制的情况下，这些字母改变以警告操作员af操作被限制。例如，这些字母可以变成与图像提供良好对比度的不同颜色，例如白色，可以增大大小，可以闪烁，等等。另外地或可选地，可以使用其他类型的警告，例如，声音警告等。
189.此外，如图11所示，可以在实时显示的捕获图像351上以画中画(pinp)的形式显示稳定聚焦的捕获图像352。注意，在图11的示例中，插入部11的远端口201b的图像出现在捕获图像351中。
190.例如，捕获图像352是在稳定聚焦状态(例如，在预定时间段内聚焦评估值的波动范围小于预定阈值的状态)中捕获的捕获图像中的最新(实时)图像。在这种情况下，在当前时间点实现稳定聚焦状态的情况下，捕获图像351和捕获图像352可以匹配。
191.可替代地，例如，在插入部11已经从活体内部移除的情况下，在紧接移除插入部11之前的稳定聚焦状态下捕获的捕获图像被显示为捕获图像352。
192.注意，在插入部11从活体内部移除的情况下显示捕获图像352，而在插入部11插入活体内部的情况下未显示捕获图像352。可替代地，在插入部11从活体内部移除的情况下，可以单独显示捕获图像352。在任何情况下，例如，在检测到插入部11的移除的情况下开始显示捕获图像352，并且在检测到插入部11的插入的情况下停止显示捕获图像352。
193.<关于成像系统配置示例的变型例>
194.上面描述的成像系统1的配置示例是示例，并且可以是变型例。例如，可以将相机头14的部分功能转移到成像控制装置18，或者可以将成像控制装置18的部分功能转移到相机头14。
195.例如，成像控制装置18的插入状态检测单元121、聚焦控制单元122、以及变焦控制单元123中的一个或多个可以设置在相机头14中。在这种情况下，相机头14控制af操作。
196.此外，例如，成像控制装置18的图像处理单元111和解调处理单元112的部分或全部的功能可以提供在相机头14中。
197.<<3.其他>>
198.<计算机的配置示例>
199.上述的一系列处理可以通过硬件或软件来执行。在通过软件执行该系列处理的情况下，在计算机中安装包括在该软件中的程序。在本文中，该计算机包括被并入专用硬件中的计算机，例如通用个人计算机，在其上可以通过安装各种程序等来执行各种类型的功能。
如本文所使用的，“计算机”指的是可以经由执行计算机可读指令来配置的电路，并且该电路可以包括一个或多个本地处理器(例如，cpu)，和/或一个或多个远程处理器，诸如云计算资源，或其任何组合。
200.图12是示出由程序执行上述一系列处理的计算机的硬件的示例性配置的框图。
201.在计算机中，中央处理单元(cpu)1001、只读存储器(rom)1002和随机存取存储器(ram)1003经由总线1004互连。
202.总线1004还与输入/输出接口1005连接。输入/输出接口1005与输入单元1006、输出单元1007、存储单元1008、通信单元1009、以及驱动器1010连接。
203.输入单元1006包括键盘、鼠标、麦克风等。输出单元1007包括显示器、扬声器等。存储单元1008包括硬盘、非易失性存储器等。通信单元1009包括网络接口等。驱动器1010驱动包括磁盘、光盘、磁光盘、半导体存储器等的可移动介质1011。
204.在这样配置的计算机上，通过以下操作来执行上述一系列处理：使得cpu 1001例如经由输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载到ram 1003上，并执行该程序。
205.由计算机(cpu 1001)执行的程序可以例如作为封装介质等存储在可移动介质1011中并被提供。可替代地，该程序可以经由包括局域网、因特网和数字卫星广播的有线或无线传输介质提供。
206.在计算机上，通过将可移动介质1011附接到驱动器1010，程序可以经由输入/输出接口1005安装在存储单元1008中。此外，程序可以经由有线或无线传输介质在通信单元1009处被接收，并被安装在存储单元1008中。可替代地，程序可以预先安装在rom 1002或存储单元1008中。
207.注意，由计算机执行的程序可以是以本说明书中描述的顺序在时间序列中处理的程序，或者可以是以并行或以必要的定时例如被调用来处理的程序。
208.此外，在本说明书中，系统表示一组多个组件(装置、模块(部件)等)的集合。换句话说，所有组件都可以在同一个壳体中，但它们不一定必须在同一个壳体中。因此，通过网络连接的容纳在单独壳体中的多个装置可以是一个系统。在一个壳体中包含多个模块的装置也可以是系统。
209.注意，本技术的实施例不限于上述实施例，而是可以在本技术的范围内以各种方式进行修改。
210.例如，本技术可以被配置为云计算的形式，在该云计算的形式中一个功能通过网络在多个装置之间协作共享以进行处理。此外，本技术可以被配置为医院中的服务器或ip转换器的形式，该形式中一个功能经由网络在多个装置之间协作共享以进行处理。
211.此外，上述流程图中描述的每个步骤可以在一个装置上执行或由多个装置共享以进行处理。
212.此外，在一个步骤包括多个处理阶段的情况下，在一个步骤中包括的多个处理阶段可以在一个装置上执行，或者由多个装置共享以进行处理。
213.<配置组合示例>
214.本技术也可以采用以下配置。
215.(1)内窥镜系统，包括：
216.插入状态检测单元，被配置为检测指示配备有光学系统并与成像单元连接的插入部是否插入到活体中的插入状态；以及
217.聚焦控制单元，被配置为基于插入状态的检测结果来控制成像单元的聚焦控制操作。
218.(2)根据(1)的内窥镜系统，
219.其中，聚焦控制单元在从活体内部移除插入部的情况下限制聚焦控制操作。
220.(3)根据(2)的内窥镜系统，
221.其中，在插入部从活体内部移除的情况下，聚焦控制单元固定成像单元的焦点位置。
222.(4)根据(2)的内窥镜系统，
223.其中，在从活体内部移除插入部的情况下，聚焦控制单元控制聚焦控制的操作，使得成像单元的焦点位置的操作范围处于比移除插入部之前的范围窄的预定范围内。
224.(5)根据(2)的内窥镜系统，
225.其中，聚焦控制单元将成像单元的焦点位置固定在从活体内部移除插入部之前的位置。
226.(6)根据(2)的内窥镜系统，
227.其中，聚焦控制单元控制聚焦控制的操作，使得基于从活体内部移除插入部之前的位置，成像单元的焦点位置的操作范围在包括从活体内部移除插入部之前的位置的预定范围内。
228.(7)根据(2)的内窥镜系统，
229.其中，聚焦控制单元将成像单元的焦点位置固定在预定短距离处的对象对焦的位置上，或者基于对象对焦的位置，将焦点位置的操作范围缩小到比移除插入部之前的操作范围更窄。
230.(8)根据(2)的内窥镜系统，
231.其中，在插入部从活体内部移除的情况下，聚焦控制单元停止聚焦控制操作。
232.(9)根据(2)至(8)中任一项的内窥镜系统，
233.其中，在将插入部插入到活体中的情况下，聚焦控制单元取消对聚焦控制操作的限制。
234.(10)根据(9)的内窥镜系统，
235.其中，聚焦控制单元在从插入部插入到活体中的时间经过预定时间段之后取消对聚焦控制操作的限制。
236.(11)根据(2)至(8)中任一项的内窥镜系统，
237.其中，当用于评估由成像单元获得的捕获图像的聚焦状态的聚焦评估值稳定、或者在将插入部插入到活体之后捕获图像的辉度稳定时，聚焦控制单元取消对聚焦控制操作的限制。
238.(12)根据(1)至(11)中任一项的内窥镜系统，
239.其中，聚焦控制单元在将插入部插入到活体中之后将聚焦控制的操作速度减慢预定时间段。
240.(13)根据(1)至(12)中任一项的内窥镜系统，
241.其中，插入状态检测单元检测插入部至活体的插入端口的插入以及插入部从插入端口的移除。
242.(14)根据(1)至(13)中任一项的内窥镜系统，
243.其中，插入状态检测单元基于由成像单元获得的捕获图像来检测插入部的插入和移除。
244.(15)根据(14)的内窥镜系统，
245.其中，插入状态检测单元基于捕获图像的亮度的变化来检测插入部的插入和移除。
246.(16)根据(15)的内窥镜系统，
247.其中，插入状态检测单元基于所捕获图像的周边部分的亮度的变化来检测插入部的插入和移除。
248.(17)根据(14)至(16)中任一项的内窥镜系统，
249.其中，插入状态检测单元基于用于评估捕获图像的聚焦状态的聚焦评估值的变化来检测插入部的插入和移除。
250.(18)根据(14)至(17)中任一项的内窥镜系统，
251.其中，插入状态检测单元基于所捕获图像的颜色变化来检测插入部的插入和移除。
252.(19)根据(13)至(18)中任一项的内窥镜系统，还包括
253.图像识别单元，识别由成像单元捕获的图像中的插入端口，
254.其中，插入状态检测单元基于捕获图像中的插入端口的形状来检测插入部的插入和移除。
255.(20)根据(1)至(19)中任一项的内窥镜系统，
256.其中，插入状态检测单元获取表示到对象的距离的测量距离信息，并且基于测量距离信息的变化检测插入部的插入和移除。
257.(21)根据(1)至(20)中任一项的内窥镜系统，还包括
258.位置估计单元，被配置为估计成像单元和插入部中的至少一个的位置，
259.其中，插入状态检测单元基于成像单元和插入部中的至少一个的位置的变化来检测插入部的插入和移除。
260.(22)根据(1)至(21)中任一项的内窥镜系统，
261.其中，插入状态检测单元基于关于控制成像单元的位置和姿态的臂部的输出，检测插入部的插入和移除。
262.(23)根据(1)至(22)中任一项的内窥镜系统，
263.其中，插入状态检测单元基于成像单元和插入部中的至少一个的加速度的变化来检测插入部的插入和移除。
264.(24)根据(1)至(23)中任一项的内窥镜系统，
265.其中，插入状态检测单元基于成像单元和插入部中的至少一个的倾斜度的变化来检测插入部的插入和移除。
266.(25)根据(1)至(24)中任一项的内窥镜系统，还包括
267.显示控制单元，被配置为在从活体内部移除插入部的情况下，控制显示单元显示
在从活体内部移除插入部之前由成像单元获得的第一捕获图像。
268.(26)根据(25)的内窥镜系统，
269.其中，显示控制单元控制显示单元将第一捕获图像与由成像单元获得的实时第二捕获图像一起显示。
270.(27)根据(26)的内窥镜系统，
271.其中，在插入部从活体内部插入的情况下，显示控制单元控制显示单元停止显示第一捕获图像。
272.(28)根据(1)至(27)中任一项的内窥镜系统，
273.其中，在将插入部插入到活体中的情况下，当将聚焦控制的操作执行为点操作时，聚焦控制单元执行控制以连续地执行聚焦控制。
274.(29)一种内窥镜控制方法，包括：
275.检测插入状态，该插入状态指示是否将配备有光学系统并且与成像单元连接的插入部插入到活体中；并且
276.基于插入状态的检测结果来控制成像单元的聚焦控制操作。
277.(30)一种成像控制装置，包括：
278.插入状态检测单元，被配置为检测指示配备有光学系统并与成像单元连接的插入部是否插入到活体中的插入状态；以及
279.聚焦控制单元，被配置为基于插入状态的检测结果来控制成像单元的聚焦控制操作。
280.<关于配置组合示例的变型例>
281.本技术也可以被如下配置。
282.(31)一种内窥镜系统，包括：
283.电路，该电路被配置为：
284.监视内窥镜的特征，该内窥镜包括成像装置和耦接到成像装置的镜器件，其中，特征指示镜器件是否插入活体中；
285.在特征满足预定条件的情况下，以第一方式控制内窥镜系统的焦点；并且
286.在特征不满足预定条件的情况下，以不同于第一方式的第二方式控制内窥镜系统的焦点。
287.(32)根据(31)的内窥镜系统，其中，第一方式包括自动聚焦内窥镜系统的焦点。
288.(33)根据(31)的内窥镜系统，其中，第一方式包括将内窥镜系统的焦点设定到固定焦点位置。
289.(34)根据(33)的内窥镜系统，其中，固定焦点位置被设定为刚好在特征满足预定条件之前的焦点位置。
290.(35)根据(31)至(34)中任一项的内窥镜系统，其中，特征是由图像传感器经由镜器件捕获的图像的特征。
291.(36)根据(35)的内窥镜系统，其中，特征是图像的颜色。
292.(37)根据(35)的内窥镜系统，其中，特征是图像的周边部分的颜色。
293.(38)根据(35)的内窥镜系统，其中，特征是图像的亮度。
294.(39)根据权利要求(35)的内窥镜系统，其中，特征是在预定时间段内图像的周边
部分中的亮度的波动。
295.(40)根据(31)至(39)中任一项的内窥镜系统，其中，特征是内窥镜系统的插入管的位置。
296.(41)根据(31)至(40)中任一项的内窥镜系统，其中，特征是内窥镜系统的相机头的倾斜度。
297.(42)根据(31)至(41)中任一项的内窥镜系统，其中，特征是内窥镜系统的相机头的加速度。
298.(43)根据(31)至(42)中任一项的内窥镜系统，其中，特征是由图像传感器经由镜器件捕获图像中的远端口的形状。
299.(44)根据(31)至(43)中任一项的内窥镜系统，其中，特征是内窥镜系统的聚焦评估值。
300.(45)根据(31)至(44)中任一项的内窥镜系统，其中，特征是来自内窥镜系统的支撑臂的设定信息。
301.(46)根据(31)至(45)中任一项的内窥镜系统，其中，电路还被配置为在特征满足预定条件的情况下，显示由成像装置在特征满足预定条件之前获得的第一捕获图像。
302.(47)根据(46)的内窥镜系统，其中，电路还被配置为在特征不满足预定条件的情况下停止显示第一捕获图像并且显示实时捕获图像。
303.(48)根据(31)至(47)中任一项的内窥镜系统，其中，在特征满足预定条件、并然后停止满足预定条件之后，电路以第二方式逐渐控制内窥镜系统的焦点。
304.(50)一种非暂时性计算机可读介质，在该非暂时性计算机可读介质上存储有程序，该程序在由计算机执行时使该计算机执行包括以下步骤的处理：
305.监视将插入活体和从活体移除的插入部的特征，插入部将连接到在医学成像系统中生成图像的图像传感器；
306.在特征满足预定条件的情况下，以第一方式控制医学成像系统的焦点；并且
307.在特征不满足预定条件的情况下，以不同于第一方式的第二方式控制医学成像系统的焦点。
308.(60)一种方法，包括：
309.监视将插入活体和从活体移除的插入部的特征，插入部将连接到在医学成像系统中生成图像的图像传感器；
310.在特征满足预定条件的情况下，以第一方式控制医学成像系统的焦点；并且
311.在特征不满足预定条件的情况下，以不同于第一方式的第二方式控制医学成像系统的焦点。
312.注意，这里所描述的效果是出于举例的目的而提供的，并不打算是限制性的。还可以考虑其他效果。
313.本领域技术人员应当理解，根据设计要求和其它因素，只要它们在所附权利要求或其等价物的范围内，就可以发生各种修改、组合、子组合和变更。
314.附图标记列表
315.1成像系统
316.11插入部
317.14相机头
318.18成像控制装置
319.51透镜单元
320.52透镜驱动部分
321.53透镜位置检测单元
322.54成像处理单元
323.61聚焦透镜
324.71致动器
325.102信号处理单元
326.103显示控制单元
327.104控制单元
328.111图像处理单元
329.112解调处理单元
330.113位置估计单元
331.114距离测量单元
332.115图像识别单元
333.121插入状态检测单元
334.122聚焦控制单元
335.151显示单元
336.201套管针
337.201a插入端口
338.201b远端端口
339.301支撑臂装置
340.302臂控制装置
341.312臂部。