内窥镜系统以及照明控制方法与流程

1.本发明涉及内窥镜系统以及照明控制方法等。


背景技术：

2.在使用内窥镜的诊断或手术等中，有时对被摄体进行水中观察，或者经由积存于观察区域的液体对被摄体进行观察。例如在膀胱用内窥镜等中，向充满液体的体腔内插入镜体来进行水中观察。或者，即使在不以水中观察为前提的用途或状况下，也能够设想经由从内窥镜输送的水或体液等来观察被摄体的情况。在专利文献1中公开了如下的内窥镜装置：照明单元具有发光波长不同的多种光源，具备改变各射出光量的比率来改变照明光的色调的色调控制部，能够向观察对象提供适当的色调。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2017-136405号公报


技术实现要素：

6.发明所要解决的课题
7.在上述那样的水中观察等中，有时由于在液体中混入组织或体液等而导致液体的透射率降低，观察对象的视觉辨认性降低。在这样的情况下，希望能够提高观察对象的视觉辨认性，但以往，没有公开对观察用的照明下功夫而将观察图像调整成容易观察的方法。例如，在上述的专利文献1中，没有公开与提供给观察对象的水的浑浊状态对应地变更照明模式的结构。
8.用于解决课题的手段
9.本发明的一个方式涉及内窥镜系统，该内窥镜系统包含：照明部，其照射光谱可变的照明光；摄像部，其对被照射了所述照明光的观察对象进行摄像；以及控制部，其根据所述观察对象中是否存在液体或者根据所述液体的透射度控制所述照明部，以照射所述光谱不同的所述照明光。
10.另外，本发明的其他方式涉及一种照明控制方法，进行如下控制：照射光谱可变的照明光，对被照射了所述照明光的观察对象进行摄像，根据所述观察对象中是否存在液体，或者根据所述液体的透射度，照射所述光谱不同的所述照明光。
附图说明
11.图1是使用了内窥镜系统的观察的一例。
12.图2是内窥镜系统的第一结构例。
13.图3是根据是否存在液体来切换观察模式的例子。
14.图4是根据液体的透射度来切换观察模式的例子。
15.图5是使普通光的长波长成分增加的控制的例子。
16.图6是根据液体的血液量来切换观察模式的例子。
17.图7是包含琥珀色光的特殊光的例子。
18.图8是学习装置的结构例。
19.图9是训练数据的第一例。
20.图10是使用通过训练数据的第一例学习过的已学习模型的情况下的内窥镜系统的结构例。
21.图11是训练数据的第二例。
22.图12是使用通过训练数据的第二例学习过的已学习模型的情况下的内窥镜系统的结构例。
23.图13是训练数据的第三例。
24.图14是使用通过训练数据的第三例学习过的已学习模型的情况下的内窥镜系统的结构例。
25.图15是训练数据的第四例。
26.图16是使用通过训练数据的第四例学习过的已学习模型的情况下的内窥镜系统的结构例。
27.图17是内窥镜系统的第二结构例。
28.图18是生物体信息的一例。
29.图19是光量平衡的设定例。
30.图20是明亮度校正系数的设定例。
31.图21是使用加上了琥珀色光源的5个光源的情况下的照明光的第一例。
32.图22是使用加上了琥珀色光源的5个光源的情况下的照明光的第二例。
33.图23是使用加上了琥珀色光源的5个光源的情况下的照明光的第三例。
34.图24是使用加上了琥珀色光源的5个光源的情况下的照明光的第四例。
35.图25是使用加上了琥珀色光源的5个光源的情况下的照明光的第五例。
36.图26是第三结构例中的处理部和照明模式切换控制部的详细结构例。
37.图27是第三结构例中的处理流程图。
具体实施方式
38.以下，对本实施方式进行说明。另外，以下说明的本实施方式并不对权利要求书所记载的内容进行不当限定。另外，在本实施方式中说明的全部结构不一定是本发明的必要技术特征。
39.1.内窥镜系统的第一结构例
40.图1示出使用了本实施方式的内窥镜系统的观察的一例。另外，以下以体腔内被液体充满的情况为例进行说明，但本实施方式的内窥镜系统能够应用于在镜体前端与观察对象之间存在液体的情况、即经由液体向观察对象照射照明光并经由该液体观察观察对象的情况。
41.如图1所示，膀胱或关节等体腔2内充满液体5。液体5例如是水、体液或它们的混合。另外，从体腔2剥离的组织片也可以包含在液体5中。内窥镜系统的镜体200插入到体腔2内，镜体200从其前端经由液体5向观察对象1照射照明光7。来自观察对象1的返回光经由液
体5到达镜体200，镜体200对观察对象1进行摄像。观察对象1是体腔2内用户观察的对象，例如是病变等。但是，观察对象1不限于病变等，将在镜体200的视野内显现的体腔2内的区域设为观察对象1。
42.在这样的水中观察中，由于受到液体5的分光特性和散射特性的影响，存在观察对象1的视觉辨认性降低的课题。另外，存在观察对象1的视觉辨认性根据液体5的种类、体液的混合浓度、组织片的种类、组织片的含量、或者它们的组合而变化这样的课题。例如，如果液体5是几乎纯粹的水，则成为受水的分光特性和散射特性影响的观察图像。或者，在液体5中含有血液的情况下，由于血红蛋白的吸光特性，照明光难以到达观察对象1，并且视野变红，因此观察对象1的视觉辨认性降低。该视觉辨认性的降低程度根据混合在液体5中的血液的浓度而变化。或者，在剥离的粘膜细胞或骨片等漂浮在液体5中的状态下，由于该漂浮的粘膜细胞等而使照明光散射，因此照明光难以到达观察对象1，并且观察图像的对比度降低，因此观察对象1的视觉辨认性降低。该视觉辨认性的降低程度根据混合在液体5中的粘膜细胞等的大小和浓度而变化。在本实施方式中，通过对用于观察观察对象1的照明光7下功夫，改善上述那样的液体5引起的视觉辨认性的降低。
43.图2是本实施方式的内窥镜系统10的第一结构例。内窥镜系统10包括控制装置100、镜体200和显示部400。作为内窥镜系统10，例如可以设想膀胱用内窥镜等或前列腺切除器等泌尿器系统的内窥镜系统、或用于关节的外科手术或观察的关节用镜等。但是，内窥镜系统10可以是硬性镜或软性镜中的任意一种，例如可以是用于外科手术用或脏器观察用等各种用途和部位的内窥镜系统。
44.镜体200是插入到体腔2内而对体腔2内进行照明和摄像的部分，包含射出部210、操作部220和摄像部230。另外，镜体200还可以包含电手术刀或钳子等处置器具。
45.射出部210是从镜体200前端向观察对象1射出照明光的装置。射出部210例如包括：光导，其对来自设置于控制装置100的照明部140的光进行导光；以及透镜，其将由光导导光的光朝向观察对象1照射。此外，照明部140也可以与控制装置100分体地设置。
46.操作部220是用于供用户操作内窥镜系统10的装置。操作部220例如包括按钮、开关或拨盘等。在本实施方式中，操作部220包含用于控制来自镜体200的送水口的送水的送水按钮。
47.摄像部230是对体腔2内进行摄像的装置，将通过摄像得到的摄像信号输出到控制装置100。摄像部230例如包括物镜和对物镜所成的像进行摄像的图像传感器。
48.控制装置100进行基于摄像信号的图像处理以及内窥镜系统10的动作控制。控制装置100包括控制部110、处理部120、存储部130以及照明部140。控制装置100是将设置有控制部110、处理部120和存储部130的电路基板以及照明部140收纳于壳体的装置。或者，也可通过pc等通用的信息处理装置执行记述了控制装置100的动作的软件来实现控制装置100。或者，控制装置100的一部分也可以通过与控制装置100分体的信息处理装置或云系统来实现。例如，后述的ai处理等也可以通过与控制装置100分体设置的信息处理装置、或者通过网络与控制装置100连接的云系统来执行。
49.照明部140是产生照明光的光源装置，使照明光入射至射出部210的光导。照明部140包括能够独立地控制光量且射出光的波段相互不同的多个光源。各光源例如是led、激光二极管、从激光二极管射出的射出光照射荧光体而产生荧光的光源、或者它们的组合等。
或者，照明部140也可以通过氙气灯等白色光源和能够切换使所希望的波段通过的多个光学滤光器的滤光器装置来实现。多个光学滤光器的透射率分光特性互不相同。另外，在图2中，将作为透镜及光导的射出部210和作为光源装置的照明部140分开表示，但也可以将透镜、光导及光源装置包括在内而称为照明部。
50.处理部120是进行内窥镜系统10的各部的控制和对来自摄像部230的摄像信号的图像处理的电路或装置。处理部120将处理后的图像输出至显示部400并显示于显示部400。显示部400例如是液晶监视器等显示装置。此外，处理部120将控制照明光的光谱所需的图像信息输出到控制部110。图像信息可以是摄像图像本身，或者也可以是从摄像图像提取出的图像参数。图像参数例如是对比度值、颜色、明亮度等。
51.控制部110是通过基于来自处理部120的图像信息控制照明部140来控制照明光的光谱的电路或装置。在照明部140包含多个光源的情况下，控制部110通过根据图像信息生成控制各光源的接通断开及光量的控制参数，来控制照明光的光谱。或者，在照明部140包括白色光源以及滤光器装置的情况下，控制部110通过生成切换滤光器装置的光学滤光器的控制参数，来控制照明光的光谱。
52.控制部110也可以根据图像信息而生成表示液体5的状态的中间信息，并根据该中间信息而生成控制参数。中间信息例如是液体5的透射度、液体5所包含的体液的种类、液体5所包含的体液的浓度、液体5所包含的组织片的种类、液体5所包含的组织片的浓度、或者它们的组合等。另外，也可以由处理部120根据摄像图像生成中间信息，控制部110根据来自处理部120的中间信息生成控制参数。
53.处理部120和控制部110分别由1个或多个电路或装置实现。或者，处理部120和控制部110也可以由一体的电路或装置构成。构成处理部120和控制部110的硬件例如可以是处理器、fpga、asic、或者安装有多个电路元件的电路基板等。
54.存储部130存储在控制部110和处理部120进行的处理中使用的各种数据或程序。存储部130例如是ram或rom等半导体存储器、硬盘驱动器等磁存储装置、或者光盘驱动器等光学存储装置等。具体而言，存储部130存储用于确定与液体5的状态相应的适当的照明光的光谱的数据或者程序。
55.例如，存储部130也可以存储通过机器学习得到的已学习模型。在该情况下，控制部110通过使用了已学习模型的处理，根据图像信息或者中间信息推断对于液体5适当的照明光的控制参数。另外，在使用中间信息的情况下，控制部110也可以通过使用了已学习模型的处理，根据图像信息推断控制参数。
56.或者，存储部130也可以存储用于生成上述控制参数的数据库。在数据库中记述有例如液体5的分光特性和散射特性等。控制部110例如使用摄像图像的对比度值、明亮度、颜色等信息和数据库，求出控制参数或中间信息。或者，数据库也可以是将摄像图像的对比度值、明亮度、颜色等信息与控制参数或中间信息对应起来的查找表。控制部110通过参照查找表，取得与摄像图像的对比度值、明亮度、颜色等信息对应的控制参数或中间信息。
57.或者，存储部130也可以存储用于根据中间信息确定照明光的控制参数的数据库。数据库例如是将液体5的透射度等中间信息与适当的照明光的控制参数对应起来的查找表。控制部110通过参照查找表，取得与中间信息对应的各光源的光量或应选择的光学滤光器的控制参数。
58.根据以上的实施方式，内窥镜系统10包含：照明部140，其照射光谱可变的照明光7；摄像部230，其对被照射了照明光7的观察对象1进行摄像；以及控制部110。控制部110根据观察对象1中是否存在液体5，或者根据液体5的透射度，控制照明部140，以照射光谱不同的照明光7。
59.这样，即使在由于在液体中混入组织或体液等而导致观察对象1的视觉辨认性降低的情况下，也能够根据在观察对象1中是否存在液体5、或者根据液体5的透射度而以适当的光谱的照明光7观察观察对象1。适当的光谱是指，与不改变照明光7的光谱而进行观察的情况相比，经由液体5的观察对象1的视觉辨认性提高的光谱。
60.具体而言，摄像图像受到液体5的透射度的影响，例如成为对比度等发生了变化的图像。因此，在向控制部110输入摄像图像的情况下，通过根据该摄像图像来确定控制参数，从而实现与透射度相应的光谱控制。或者，在向控制部110输入液体5的透射度作为控制用信息的情况下，控制部110通过根据该液体5的透射度来确定控制参数，从而实现与透射度相应的光谱控制。或者，液体5的透射度由液体5所包含的体液或组织片的种类或浓度决定。因此，在向控制部110输入液体5所包含的体液或组织片的种类或浓度作为中间信息的情况下，通过根据该中间信息来决定控制参数，从而实现与透射度相应的光谱控制。
61.在此，“在观察对象1中是否存在液体5”具体而言是指在镜体200前端与观察对象1之间是否存在液体5。
[0062]“液体5的透射度”是指存在于镜体200的前端与观察对象1之间的液体5中照明光的透射度。透射度是指光透射过液体5的程度。透射度例如是从观察对象1返回的光量相对于从镜体200的前端射出的光量的比率。或者，如果考虑例如对比度值等图像参数因透射度降低而变化，则也能够将摄像图像的对比度值等图像参数用作透射度。另外，如果考虑通过光在液体5中衰减来决定透射光，则也可以使用衰减率作为透射度的相反值。该情况也包含在“根据液体5的透射度”的情况中。
[0063]
另外，在本实施方式中，控制部110进行切换多个观察模式的控制，该多个观察模式包含第一观察模式、第二观察模式以及第三观察模式中的2个以上，该第一观察模式是在不存在液体5的情况下选择的模式，该第二观察模式是在液体5的透射度相对较高的情况下选择的模式，该第三观察模式是在液体5的透射度相对较低的情况下选择的模式。控制部110进行如下控制中的至少1个控制：根据第一观察模式与第二观察模式的切换，在与第一观察模式有关的第一照明光和与第二观察模式有关的第二照明光之间切换照明光7的控制；根据第二观察模式与第三观察模式的切换，在与第二观察模式有关的第二照明光和与第三观察模式有关的第三照明光之间切换照明光7的控制；以及根据第一观察模式与第三观察模式的切换，在与第一观察模式有关的所述照明光和与第三观察模式有关的第三照明光之间切换照明光的控制。
[0064]
这样，通过与液体5的状态对应的观察模式的切换，切换为与液体5的状态对应的适当的光谱的照明光。
[0065]
在此，第一～第三观察模式是照明光的光谱相互不同的模式。即，第一～第三照明光的光谱互不相同。具体而言，第二照明光是对于液体5的透射率比第一照明光高的光谱的光。第三照明光是对于液体5的透射率比第二照明光高的光谱的光。透射率在何种光谱的光中变高根据液体5所包含的体液或组织片的种类而不同。在下文中将就其一个实例进行描
述。
[0066]
另外，照明光控制并不限定于上述内容。观察模式不限于3个，也可以设定更多的观察模式和与该各观察模式对应的照明光。例如，通过根据透射度多级地切换观察模式，也可以控制为照明光的光谱根据透射度而逐渐变化。
[0067]
使用图3～图7，说明上述第一～第三观察模式的切换的例子。
[0068]
图3是根据是否存在液体5来切换观察模式的例子。控制部110在不存在液体5时，控制照明部140以照射普通光。控制部110在判定为存在液体5时，控制照明部140以切换观察模式来照射浑浊降低光。在该例子中，普通光相当于第一观察模式下的第一照明光，浑浊降低光对应于第二观察模式下的第二照明光或第三照明光。
[0069]
第二照明光是光谱中的相对的长波长成分的比率比第一照明光的光谱中的相对的长波长成分的比率大的照明光。第三照明光是光谱中的相对的长波长成分的比率比第二照明光的光谱中的相对的长波长成分的比率大的照明光。在从不存在液体5的状态转变到存在液体5的状态的情况下，当液体5的浑浊相对少时，从第一照明光切换为第二照明光，当液体5的浑浊相对多时，从第一照明光切换为第三照明光。
[0070]
这样，在经由液体5对观察对象1进行照明以及摄像的情况下，能够照射使长波长成分增加的照明光。在如液体5因组织片等而浑浊的状态那样的光的散射大的状态下，与短波长成分相比，长波长成分的光在液体5中的散射小。因此，通过使用增加了长波长成分的照明光，能够提高存在液体5的情况下的观察对象1的视觉辨认性。
[0071]
在此，长波长成分是在构成照明光的波段中长波长侧的波段的成分。具体而言，长波长成分是属于构成照明光的波段中的比中央靠长波长侧的波段的成分，或者是在构成照明光的波段分割为多个颜色区域的情况下属于比中央靠长波长侧的颜色区域的成分。例如，当照明光是可见光并且可见光的波段被分割为rgb颜色区域时，长波长成分是r颜色区域的成分或属于r颜色区域的波段的成分。
[0072]
图4是根据液体5的透射度来切换观察模式的例子。控制部110在液体5的浑浊少时、即液体5的透射度相对高时，控制照明部140以照射浑浊降低光a。控制部110在判定为液体5的浑浊变多、透射度变低时，控制照明部140以切换观察模式来照射浑浊降低光b。在该例子中，浑浊降低光a相当于第二观察模式下的第二照明光，浑浊降低光b对应于第三观察模式下的第三照明光。
[0073]
在如液体5因组织片等而浑浊的状态那样的光的散射大的状态下，浑浊越多、即透射度越低，散射越大。根据本实施方式，在液体5的浑浊多、透射度低的情况下，通过使用使长波长成分增加的照明光，能够提高观察对象1的视觉辨认性。
[0074]
另外，在本实施方式中，第二照明光以及第三照明光是使普通光的长波长成分增加的照明光。第三照明光中的长波长成分的增加程度比第二照明光中的长波长成分的增加程度大。
[0075]
图5表示使普通光的长波长成分增加的控制的例子。在此，照明部140包括射出紫色光的光源ldv、射出蓝色光的光源ldb、射出绿色光的光源ldg、射出红色光的光源ldr。将光源ldv、ldb、ldg、ldr的光量比设为v：b：g：r，将该光量比标准化。控制部110根据指示光量比v：b：g：r的控制参数来切换光量比v：b：g：r，从而切换照明光的光谱。在将第一照明光的光量比设为v：b：g：r＝v1：b1：g1：r1，将第二照明光的光量比设为v：b：g：r＝v2：b2：g2：r2，
将第三照明光的光量比设为v：b：g：r＝v3：b3：g3：r3时，r1＜r2＜r3。
[0076]
这样，在水中观察中，使用以普通光的光谱为基础调整了长波长成分的照明光。由此，在水中观察中，也能够以与利用普通光的普通观察大致相同的色调进行观察。
[0077]
这里，普通观察是指在内窥镜系统中观察设想的被摄体的观察模式，例如，与在被摄体中不存在液体时利用白色照明光进行观察的观察模式对应。另外，普通光是指在普通观察模式下使用的照明光，例如相当于白色照明光。
[0078]
另外，在本实施方式中，在控制部110控制照明部140以使得照明光的光谱中的相对的长波长成分的比率变大的情况下，处理部120对摄像图像进行使长波长成分的贡献降低的图像处理。在图3和图4的例子中，在第二观察模式和第三观察模式中，处理部120进行该图像处理。
[0079]
如果增加照明光的长波长成分，则图像的红色增加，或者图像的色温降低。这样的照明光的长波长成分对图像造成的影响是“长波长成分的贡献”。根据本实施方式，通过进行使长波长成分的贡献降低的图像处理，能够降低图像的红色，或者能够抑制图像的色温的降低。由此，能够以更接近用普通光观察时的色调的色调进行水中观察。
[0080]
在此，使长波长成分的贡献降低的图像处理是针对摄像图像的颜色变换处理。颜色变换处理例如是提高图像的色温的白平衡处理、或者降低图像的与照明光的长波长成分对应的颜色区域的成分的处理。后者的处理例如是在将光源ldr的光量设为x倍时将图像的r成分设为1/x倍的处理。
[0081]
另外，在本实施方式中，处理部120对摄像图像进行结构强调处理，以使关注区域的对比度成为规定阈值以上。
[0082]
这样，即使在关注区域的对比度因液体5所包含的体液或组织片而降低的情况下，也能够通过结构强调处理将关注区域的对比度强调为规定阈值以上。由此，能够提高水中观察中的关注区域的视觉辨认性。
[0083]
这里，关注区域可以是摄像部230的视野整体，也可以是该视野的一部分区域。例如，处理部120也可以通过使用了机器学习等的图像识别进行病变检测，将该检测出的病变区域作为关注区域。结构强调处理例如是使图像的高频成分增加的处理、或者基于灰度变换的对比度强调处理等。
[0084]
图6是根据液体5的血液量切换观察模式的例子。控制部110在液体5中包含的血液少时，即血液的浓度相对低时，控制照明部140以照射浑浊降低光。控制部110在判定为液体5所包含的血液变多、血液的浓度变高时，控制照明部140以切换观察模式来照射出血点观察光。在该例子中，浑浊降低光相当于第二观察模式下的第二照明光，出血点观察光对应于第三观察模式下的第三照明光。
[0085]
在使用内窥镜的外科手术等中，有时由于患部的切开或切除等而产生出血。在水中观察中，出血的血液与液体5混合，经由该液体5进行照明和观察。因此，由于血红蛋白的吸光而使照明光的透射度降低，或者由于血红蛋白的吸光特性而图像变红，从而观察对象1的视觉辨认性降低。另外，在观察对象1几乎无法视觉辨认的出血量的情况下，优选通过止血来确保视野。根据本实施方式，在观察对象1能够某种程度地视觉辨认的血液少的状态下，通过照射作为浑浊降低光的第二照明光，能够提高视觉辨认性。另外，在观察对象1几乎无法视觉辨认的血液多的状态下，通过照射作为出血点观察光的第三照明光，能够提高出
血点的视觉辨认性，辅助用户的止血作业。
[0086]
第二照明光是增加了普通光的长波长成分的照明光，第三照明光是包含与长波长成分对应的窄带光的特殊光。该情况也包含于第三照明光的光谱中的相对的长波长成分的比率比第二照明光的光谱中的相对的长波长成分的比率大的情况中。
[0087]
这样，在液体5的透射度低、观察对象1的视觉辨认性非常低的情况下，能够照射特殊光而不是对普通光进行调整而得到的光。由此，能够照射对于混合在液体5中的体液或组织片透射度高的特殊光、或者容易观察特定的观察对象1的特殊光，因此能够提高观察对象1的视觉辨认性。
[0088]
在此，窄带光是指荧光灯、led(light emitting diode：发光二极管)灯或激光光源、具有使一部分波段通过的滤光器的光源等光源所照射的光，是分光特性离散的光。在此，所谓分光特性离散的光，也包括一部分波段的强度强、其他波段的强度明显弱的光的情况。另外，窄带光也可以是比白色照明光的波段窄的波段的光。或者，在将可见光的波段分割为rgb时，窄带光也可以是比rgb的各波段窄的波段的光。
[0089]
具体而言，观察对象1是生物体，液体5包含血液。第三照明光包含琥珀色的波段的光。在图6中，出血点观察光包含琥珀色的波段的光。此外，根据用途，也可以第二照明光包括琥珀色的波段的光，也可以第二照明光以及第三照明光包括琥珀色的波段的光。以下，也将琥珀色的波段的光称为琥珀色光。
[0090]
在图7中，示出了包含琥珀色光的特殊光的例子。图7的基于特殊光的观察也被称为rdi(red dichromatic imaging：红色二色成像)。照明部140除了包括上述的光源ldv、ldb、ldg以及ldr之外，还包括射出琥珀色光的光源lda。控制部110控制照明部140，以使光源ldg、lda以及ldr发光。
[0091]
光源lda射出的琥珀色光的波段存在于光源ldg射出的绿色光的波段与光源ldr射出的红色光的波段之间。具体而言，琥珀色光的波段是以波长600nm为峰值波长的波段。需要说明的是，琥珀色光的峰值波长并不限定于600nm。具体而言，在图7中作为血红蛋白的吸光特性的例子示出静脉血的吸光特性。在该吸光特性的550nm至750nm的范围内，吸收系数在大致波长576nm的点显示极大值，在大致波长730nm的点显示极小值。琥珀色光的波段只要存在于从作为血红蛋白吸光系数的极大值的大致576nm至作为极小值的大致730nm之间即可。在大致576nm至大致730nm的波段中，光的波长越短，血红蛋白吸光系数越大。即，相比于红色光，琥珀色光是血红蛋白的吸光大的光。
[0092]
通过使用如上述rdi那样的包含琥珀色光的特殊光，容易视觉辨认液体5中的血液的浓淡，因此容易视觉辨认血液浓度高的出血点。另外，在上述中，将第三照明光设为特殊光，但并不限定于此，第三照明光也可以是对普通光加了琥珀色光的光。
[0093]
另外，在本实施方式中，处理部120也可以进行如下处理：根据向观察对象1照射包含琥珀色的波段的光的第三照明光时所拍摄的摄像图像，进行观察对象1中的出血点的检测处理，并显示检测到的出血点。
[0094]
这样，在出血量多而观察对象1的视觉辨认性降低的情况下，通过照射包含琥珀色的波段的光的第三照明光来提高出血点的视觉辨认性，并且能够通过进行出血点的检测以及显示来辅助止血作业。
[0095]
此外，如后所述，处理部120通过使用了机器学习的检测处理来检测出血点。或者，
处理部120也可以基于出血点附近的红色的彩度比周围的红色的彩度高等，使用图像的颜色信息来检测出血点。
[0096]
以上，以3级的照明光切换为例进行了说明，但也可以更多级地切换照明光。具体而言，控制部110也可以控制照明部140，使得液体5所包含的体液或组织片越多，照明光的光谱中的相对的长波长成分的比率越大。
[0097]
这样，能够根据液体5所包含的体液或组织片的浓度，更多级地照射适当光谱的照明光，因此能够提高观察对象1的视觉辨认性。
[0098]
另外，内窥镜系统10包括向观察对象1供给液体5的供给部。供给部例如是图17所示的送水装置150。控制部110也可以控制照明部140，使得供给部供给的液体5的供给量越多则照明光的光谱中的相对的长波长成分的比率越大。
[0099]
来自供给部的液体5的供给量越多，存在于体腔内的液体5的量越多，因此镜体200的前端与观察对象1之间的液体5的量越多，即镜体200的前端与观察对象1之间的距离变大。因此，来自供给部的液体5的供给量越多，透射度越低，观察对象1越难以视觉辨认，但根据本实施方式，通过增大照明光的长波长成分的比率，能够提高观察对象1的视觉辨认性。
[0100]
另外，控制部110根据来自操作部220的送水控制信号或来自供给部的送水量信息，判断液体5的供给量。例如，送水控制信号是在送水打开时成为有效的信号，控制部110基于送水控制信号的有效期间来判断供给量。或者，送水量信息是表示送水的总量或单位时间的送水量等的信息，控制部110基于该送水量信息来判断供给量。
[0101]
以上说明了与透射度对应的照明光的控制，但在该控制中，也可以进行如下的控制。即，在液体5的透射度为规定阈值以上的情况下，控制部110也可以对照明部140进行控制，使得由摄像部230拍摄的图像与在不存在液体5的情况下拍摄的基准图像之差成为规定以下。另外，在液体5的透射度小于规定阈值的情况下，控制部110也可以控制照明部140，使得由摄像部230拍摄的图像与不同于基准图像的第二基准图像之差为规定以下。
[0102]
这样，在由于液体5所包含的体液或组织片少而液体5的透射度比较高的情况下，能够得到与在不存在液体5的情况下拍摄的基准图像接近的摄像图像。即，到某种程度的透射度为止，在水中观察中也能够以与普通观察大致相同的色调进行观察。并且，在由于液体5所包含的体液或组织片多而液体5的透射度比较低的情况下，能够得到接近与基准图像不同的第二基准图像的摄像图像。即，允许成为与普通观察不同的色调，能够使观察对象1的视觉辨认性优先。
[0103]
在此，作为摄像图像与基准图像之差的一例，是摄像图像的图像参数与基准图像的图像参数之差。图像参数是图像的色相、颜色平衡、明亮度、它们的组合、或者它们的统计值等。
[0104]
在图3～图7中，说明了通过增加照明光的长波长成分来提高视觉辨认性的例子，但提高视觉辨认性的照明光控制并不限定于此。例如，也可以通过增加在液体5所包含的体液或组织片的分光特性中吸光小的波段的光来提高视觉辨认性。
[0105]
例如，在液体5包含血液的情况下，也可以使用血红蛋白的吸光系数低的波段的光来提高透射率。即，第二照明光的光谱中的蓝色成分相对于紫色成分之比也可以大于普通光的光谱中的蓝色成分相对于紫色成分之比。即，在将作为普通光的第一照明光的光量比设为v：b：g：r＝v1：b1：g1：r1，将第二照明光的光量比设为v：b：g：r＝v2：b2：g2：r2时，b2/v2
＞b1/v1。需要说明的是，根据用途，第三照明光的光谱中的蓝色成分相对于紫色成分之比可以大于普通光的光谱中的蓝色成分相对于紫色成分之比，第二照明光及第三照明光的光谱中的蓝色成分相对于紫色成分之比可以大于普通光的光谱中的蓝色成分相对于紫色成分之比。
[0106]
如图7所示，在血红蛋白的吸光特性中，在400nm附近和520nm附近存在吸光峰值，其之间的吸光系数比较小。紫色光的波段处于400nm附近，蓝色光的波段处于上述2个吸光峰值之间，因此蓝色光与紫色光相比难以被血红蛋白吸光。因此，通过照射与普通光相比增加了蓝色光的比重的第三照明光，能够提高对于包含血液的液体5的透射度，提高观察对象1的视觉辨认性。
[0107]
2.使用机器学习的处理例
[0108]
接着，说明通过使用了机器学习的处理来确定控制照明光的光谱的控制参数、或者检测出血点的方法。首先，对生成已学习模型的学习装置500进行说明。
[0109]
图8是学习装置500的结构例。学习装置500包括存储部520和处理部510。
[0110]
存储部520是半导体存储器、磁存储装置或光学存储装置等。存储部520存储有将输入数据523与正解标签524对应起来的训练数据522。
[0111]
处理部510是处理器、fpga或asic等。处理部510向学习模型511输入输入数据523，取得学习模型511的推导结果。处理部510包括更新部512，更新部512基于推导结果与正解标签524的误差来更新学习模型511。通过重复该处理来进行学习。处理部510使存储部520存储作为学习后的学习模型511的已学习模型22。
[0112]
已学习模型22被传送至内窥镜系统10，并存储于内窥镜系统10的存储部130。内窥镜系统10使用存储于存储部130的已学习模型22来进行控制参数的确定等。
[0113]
在通过处理器等通用硬件来执行内窥镜系统10中的推导的情况下，已学习模型22包含记述有推导算法的程序和推导算法所使用的参数。参数是通过学习而得到的。推导算法例如是神经网络，在该情况下，参数是神经网络中的节点间的权重系数等。作为通用硬件的处理部120使用参数执行程序，由此实现使用已学习模型22的推导处理。
[0114]
或者，在通过将推导算法硬件化后的专用硬件来执行内窥镜系统10中的推导的情况下，已学习模型22包含推导算法所使用的参数。作为专用硬件的处理部120通过使用参数来执行推导算法，从而实现使用已学习模型22的推导处理。
[0115]
接着，说明训练数据的例子和基于使用该训练数据进行了机器学习的已学习模型的推导处理的例子。
[0116]
图9是训练数据的第一例。对于学习用图像timi，对应有摄像时的光量比r：a：g：b：v＝ai：bi：ci：di：ei与推荐的光量比r：a：g：b：v＝αi：βi：γi：δi：εi。i为1以上n以下的整数，n为2以上的整数。学习用图像与摄像时的光量比为输入数据523，推荐的光量比为正解标签524。
[0117]
图10是使用通过训练数据的第一例进行了学习的已学习模型115的情况下的内窥镜系统的结构例。在此仅图示关联的构成要素。控制部110将来自处理部120的摄像图像img和来自光源控制部111的控制参数linf输入到已学习模型115。输入到已学习模型115的摄像图像img既可以是显像处理后的彩色图像，也可以是显像处理前的raw图像等原图像。另外，摄像图像img不限于构成为图像的数据。例如也可以将每个像素的信号信息输入到已学
习模型115。控制参数linf表示拍摄到摄像图像img时的光量比r：a：g：b：v。控制部110通过使用已学习模型115的推导处理来取得控制参数cpar。控制部110包括光源控制部111，光源控制部111利用该控制参数cpar来控制照明部140的各光源的光量比。
[0118]
图11是训练数据的第二例。对于学习用图像timi，对应有摄像时的光量比r：a：g：b：v＝ai：bi：ci：di：ei、液体的透射度xi、以及液体所包含的血液量yi。学习用图像和摄像时的光量比为输入数据523，液体的透射度和液体中包含的血液量为正解标签524。
[0119]
图12是使用通过训练数据的第二例进行了学习的已学习模型115的情况下的内窥镜系统的结构例。在此仅图示关联的构成要素。控制部110将来自处理部120的摄像图像img和来自光源控制部111的控制参数linf输入到已学习模型115。控制部110通过使用已学习模型115的推导处理来获取与液体有关的信息ekinf。信息ekinf是液体的透射度和液体中包含的血液量。此外，也可以采用与液体有关的其他信息作为训练数据，该采用的信息通过推导处理得到。控制部110包括参数确定部116和光源控制部111。参数确定部116根据信息ekinf确定控制参数cpar。例如，参数确定部116基于通过对与液体有关的信息和控制参数的关系进行机器学习而取得的已学习模型，推导控制参数。或者，参数确定部116也可以通过参照将与液体有关的信息和控制参数对应起来的查找表来确定控制参数。光源控制部111利用来自参数确定部116的控制参数cpar来控制照明部140的各光源的光量比。
[0120]
在上述图9～图12的例子中，控制部110进行基于已学习模型115的处理，该已学习模型115是通过对学习用图像与和液体有关的信息的关系、或者学习用图像与和推荐的照明光有关的信息的关系进行机器学习而取得的。控制部110基于摄像部230拍摄的摄像图像img和已学习模型115，确定对照明光的光谱进行控制的控制参数cpar，并基于所确定的控制参数cpar来控制照明部140。具体而言，已学习模型115是通过对学习用图像、在学习用图像的摄像中使用的照明光的信息、以及和液体有关的信息的关系进行机器学习而取得的模型。或者，已学习模型115是通过对学习用图像、在学习用图像的摄像中使用的照明光的信息、和推荐的照明光有关的信息的关系进行机器学习而取得的模型。
[0121]
这样，通过使用机器学习的推导处理，能够根据摄像图像来确定对于液体的状态适当的照明光的光谱。通过使用机器学习，期待能够对各种液体的状态照射进一步最优化的照明光。
[0122]
图13是训练数据的第三例。对于学习用图像timi，对应有摄像时的光量比r：a：g：b：v＝ai：bi：ci：di：ei与出血点信息ski。学习用图像与摄像时的光量比为输入数据523，出血点信息为正解标签524。出血点信息ski是表示图像中的出血点的位置或区域的信息，例如是包含出血点的矩形、或者沿着出血点的边界的线等。
[0123]
图14是使用通过训练数据的第三例进行了学习的已学习模型121的情况下的内窥镜系统的结构例。在此仅图示关联的构成要素。处理部120将摄像图像img和来自控制部110的控制参数linf输入到已学习模型121。处理部120通过使用已学习模型121的推导处理来检测出血点的位置或区域。处理部120包括显示处理部123，显示处理部123使检测出的出血点的位置或区域与摄像图像img一起显示于显示部400。此外，控制部110通过在图9～图12中说明的方法来确定控制参数cpar。
[0124]
图15是训练数据的第四例。对于学习用图像timi，对应有液体的透射度xi、液体所包含的血液量yi、出血点信息ski。学习用图像是输入数据523，透射度、血液量和出血点信
programmable gate array：现场可编程门阵列)等集成电路装置。另外，处理器也可以包括对模拟信号进行处理的放大电路、滤光器电路等。存储器可以是sram、dram等半导体存储器，也可以是寄存器，也可以是硬盘装置等磁存储装置，还可以是光盘装置等光学式存储装置。例如，存储器存储可由计算机读取的命令，通过由处理器执行该命令，将内窥镜装置的各部的功能作为处理来实现。这里的命令可以是构成程序的命令集的命令，也可以是对处理器的硬件电路指示动作的命令。
[0133]
另外，上述程序例如能够保存在作为能够由计算机读取的介质的信息存储介质中。信息存储介质例如能够通过光盘、存储卡、hdd或者半导体存储器等来实现。半导体存储器例如是rom。控制部110和处理部120根据存储在信息存储介质中的程序和数据进行本实施方式的各种处理。
[0134]
另外，以上说明的本实施方式也可以作为照明控制方法来执行。照明控制方法也可以称为内窥镜系统10的工作方法。具体而言，照明控制方法进行控制，使得照射光谱可变的照明光，拍摄被照射了照明光的观察对象，根据观察对象中是否存在液体，或者根据液体的透射度，照射光谱不同的照明光。另外，在此提及了本实施方式的一部分，但能够将在本实施方式中说明的内窥镜系统10的动作作为照明控制方法来执行。
[0135]
3.应用例
[0136]
关于本实施方式的内窥镜系统10的具体的应用对象，示出几个例子。
[0137]
第一应用例是膀胱尿道镜和前列腺切除器等泌尿器用镜。前列腺切除器是用于前列腺切除的内窥镜。在使用泌尿器用镜的处置中，设想以下的第一场景和第二场景。
[0138]
第一场景是液体为血液呈红色浑浊的观察场景。在该场景中，使用如下方法：使用血红蛋白的吸光度低的波段的照明光、或者使用增加了血红蛋白的吸光度高的波长的光量的照明光。设想以下的第一光谱例和第二光谱例。
[0139]
在第一光谱例中，以使用了红色光、绿色光、蓝色光以及紫色光的白色照明光为基准，设为蓝色光的光量＞紫色光的光量，并且设为第一绿色光的光量＞第二绿色光的光量，从而保持白色性，并且提高视觉辨认性。第二绿色光和第一绿色光均属于绿色的波段，第二绿色光的波长比第一绿色光长。第二绿色光的峰值波长为580nm附近。在血红蛋白的吸光特性中，在紫色光和第二绿色光的波段存在吸光峰值，因此通过相对地降低该波段的光量来提高照明光的透射度。另外，由于蓝色光的波长＞紫色光的波长、第一绿色光的波长＜第二绿色光的波长，因此光量调整对色调的影响成为相反方向，容易维持白色性。
[0140]
在第二光谱例中，通过使用以白色照明光为基准而提高了蓝色光的比率的照明光，从而提高视觉辨认性。在将照明光的可见光区域分割为蓝色、绿色和红色来考虑时，血红蛋白对蓝色的吸光度高，因此摄像图像的蓝色成分减少。在第二光谱例中，通过使蓝色光的比率增加，来校正图像中的蓝色成分的减少。
[0141]
第二场景是由于比较大的组织片而液体发白的观察场景。在该场景中，使用增加了不易受到散射的影响的长波长成分的照明光。如果仅使用红色光，则成为表面结构的分辨率低的图像，因此照明光中也使用蓝色光和绿色光。在第二场景中的光谱例中，以使用了红色光、绿色光、蓝色光以及紫色光的白色照明光为基准，设为红色光的光量＞(紫色光的光量 蓝色光的光量)。
[0142]
第二应用例是用于关节的外科手术的关节镜。在使用关节镜的处置中，设想由于
细小的骨片而液体发白的观察场景。在该场景中，散射的影响比使用泌尿器用镜时的第二场景大，因此使用使长波长成分进一步增加的照明光。即，在本场景中，与使用泌尿器用镜时的第二场景相比，增大红色光的光量/(紫色光的光量 蓝色光的光量)。
[0143]
4.第二结构例
[0144]
图17是内窥镜系统10的第二结构例。内窥镜系统10包括控制装置100、镜体200、显示部400和观察模式切换按钮420。对在第一结构例中已经说明的结构要素标注相同的标号，适当地省略关于该结构要素的说明。
[0145]
镜体200包含射出部210、摄像部230、送水口250和连接器240。送水口250是为了对观察对象1进行送水而设置在镜体200的前端的开口。在控制装置100也设置有连接器240，通过镜体200和控制装置100的连接器240来连接镜体200和控制装置100。
[0146]
控制装置100包括控制部110、处理部120、存储部130以及照明部140。控制部110包括光源控制部111、系统控制部112和照明模式切换控制部113。存储部130存储光源信息数据库131和水信息数据库132。照明部140包含光源ldr、lda、ldg、ldb及ldv。另外，在不使用琥珀色光的情况下，也可以省略光源lda。
[0147]
处理部120对来自摄像部230的摄像信号进行图像处理，生成摄像图像。系统控制部112使显示部400显示来自处理部120的摄像图像。
[0148]
系统控制部112根据对观察模式切换按钮420的操作输入来切换观察模式。照明模式切换控制部113根据切换后的观察模式，从光源信息数据库131所包含的设定表中选择规定的光源控制条件。另外，照明模式切换控制部113基于来自处理部120的摄像图像而取得图像信息，根据该图像信息选择光源控制条件。图像信息例如是图像的颜色、明亮度、或者它们的组合等。系统控制部112将所选择的光源控制条件输出到光源控制部111。光源控制部111基于光源控制条件，将控制各光源的光量的控制参数输出到照明部140。照明部140的各光源按照由控制参数指示的光量进行发光。照明部140射出的照明光从镜体200的射出部210照射到观察对象1。
[0149]
送水装置150根据来自系统控制部112的指示从镜体200的送水口250向观察对象1送水。送水装置150与在第一结构例中说明的供给部对应。
[0150]
对光源信息数据库131中包含的信息进行说明。光源信息数据库131针对搭载于内窥镜系统10的各光源，具有峰值波长的信息和驱动电流－光输出的关系信息。另外，光源信息数据库131具有在组合各光源时实现白色光的输出平衡信息和此时的总的照明光量信息。各光源的峰值波长和波段、以及白色光的例子例如如图5所示。此外，虽然未图示，但照明部140也可以具有监视各光源的光量的光电二极管等。光源控制部111也可以基于光电二极管的输出和光源控制条件来控制各光源。
[0151]
另外，光源信息数据库131具有从照明窗射出的照明光的配光特性、以及根据照明光量和配光特性导出的中心的明亮度的信息。照明窗设置在镜体200的前端，是射出照明光的窗。图17所示的射出部210的照明透镜在镜体200的前端露出的部分相当于照明窗。配光特性也可以针对各光源的射出光来保持。中心的明亮度也被称为中心强度。配光特性是在将照明窗的中心线设为角度0度时，表示该中心线与照射方向所成的角度和向该照射方向的照明强度之间的关系的特性。例如是在0度下强度最大、角度越大则强度越衰减的特性。
[0152]
并且，光源信息数据库131根据与控制装置100连接的镜体200的id信息，具有与照
明窗的结构有关的信息。与照明窗的结构有关的信息例如是设置在镜体200的前端的照明窗的数量、配置、照明窗直径、或者它们的组合等。
[0153]
说明水信息数据库132中包含的信息。水信息数据库132针对从送水口250送出的水，具有可见光区域的透射率的信息。透射率的信息例如是波长－吸收系数的关系、波长－散射系数的关系、或者这两者等。另外，作为与水的材料有关的光学特性，水信息数据库132还具有水的折射率的信息等。折射率的信息是基于水的菲涅尔反射的信息。水信息数据库132例如具有折射率1.333作为水的折射率的信息。
[0154]
另外，水信息数据库132具有要观察的被检体的生物体信息。生物体信息例如是血液所包含的血红蛋白的透射率的信息。图18表示生物体信息的一例。血红蛋白的透射率的信息例如是波长－吸收系数的关系、波长－散射系数的关系、或者这两者等。
[0155]
图19、图20是说明第二结构例的动作的图。图19表示光量平衡的设定例，图20表示明亮度校正系数的设定例。
[0156]
照明模式切换控制部113根据由观察模式切换按钮420设定的水中观察模式，提取在光源信息数据库131中蓄积的相应的水中照明模式的光量平衡以及明亮度校正值。根据送水量和混有血的水的条件，水中观察模式有多个设定。在此，将水中观察模式设为水中1～水中3这3个模式，但并不限定于此。照明模式切换控制部113通过基于提取出的校正条件来变更各光源的驱动条件，从而变更水中观察中的照明光的颜色、明亮度、或者这两者。另外，作为切换水中照明模式的照明条件的触发，照明模式切换控制部113也可以根据送水按钮的按压时间来切换水中1～3。
[0157]
在图19和图20中，“普通”是指不是水中观察模式的普通观察模式，是照射白色照明光的模式。在图19中，v1：v2：v3：v4等是光源ldv、ldb、ldg、ldr的光量比。与各观察模式对应地设定照明光的色温，设定实现该色温的光量比。在图20中，系数是与光量相乘的系数，共同应用于所有发光的光源。即，照明光的总发光量由系数控制。
[0158]
图21～图25是使用加上琥珀色光源的5个光源的情况下的照明光的例子。图21表示各光源射出的光的分光特性。ldv、ldb、ldg、lda、ldr分别在410nm附近、460nm附近、510nm附近、600nm附近、640nm附近具有峰值波长。ldv、ldb、lda、ldr具有数10nm左右的半值宽度，ldg具有100nm左右的半值宽度。在图21中，各光源的光谱的积分值被标准化为1。
[0159]
在图22～图25中，示出按照所设定的光量使各光源发光时的作为照明光整体的光谱。
[0160]
图22是照明光的第一例。第一例对应于在普通观察模式下使用的白色照明光。即，该照明光以规定的比率组合光源ldv、ldb、lda、ldr，设定为接近白色的光谱。在第一例中，琥珀色光源lda熄灭。
[0161]
图23是照明光的第二例。第二例是在水中观察模式下使用的照明光，在液体白浊时被选择。第二例中的长波长成分的比率比第一例中的长波长成分增加。这里的长波长成分是光源ldr射出的红色光。在该照明光中，通过增加长波长成分来应对浑浊，并且维持接近白色光的光谱。在第二例中，琥珀色光源lda熄灭。
[0162]
图24是照明光的第三例。第三例是在水中观察模式下使用的照明光，在液体因血液而浑浊时被选择。在第三例中，与第一例相比，蓝色光源ldb的发光量/紫色光源ldv的发光量的比率增加。在此，紫色光源ldv熄灭，蓝色光源ldb的光量比与第一例相比增加。在该
照明光中，通过增加蓝色光源ldb的发光量/紫色光源ldv的发光量的比率来应对由血液引起的浑浊，并且维持接近白色光的光谱。在第三例中，琥珀色光源lda熄灭。
[0163]
图25是照明光的第四例。第四例是在水中观察模式下使用的照明光，在容易观察出血点时被选择。在第四例中，对第三例添加了琥珀色光源lda的发光。另外，红色光源ldr的光量比与普通光的第一例相同。在该照明光中，通过活用在600nm附近具有峰值波长的琥珀色光，强调血液的浓度不均，容易观察出血点。
[0164]
根据以上的第二结构例，具有表格，该表格基于从送水装置150送出的水的物性信息即吸收、散射以及折射率、和血红蛋白以及血液的物性信息即吸收、散射以及折射率，考虑了照明光被吸收或者反射的光量。该表是校正照明光量的平衡和明亮度的表。通过具有这样的表，能够设定适合于各水中观察模式的照明光。由此，在普通观察和水中观察中，能够在适当的照明光条件下进行观察。另外，照明光的控制由多个光源构成，能够实现更细致的颜色、明亮度调整。
[0165]
5.第三结构例
[0166]
对在处理部120和照明模式切换控制部113中使用ai处理的第三结构例进行说明。内窥镜系统10的结构与图17所示的第二结构例相同，但在第三结构例中也可以省略观察模式切换按钮420。对在第一结构例或第二结构例中已经说明的结构要素标注相同的标号，适当地省略关于该结构要素的说明。
[0167]
在第三结构例中，处理部120通过ai处理检测在摄像图像内包含了何种程度的水、水的白浊的程度以及水中包含的血液量。在此，ai处理是指使用了通过机器学习得到的已学习模型的推导处理。具体而言，处理部120根据摄像图像和水信息数据库132，通过ai处理来识别观察状态。观察状态是镜体200的前端和观察对象1处于水中的水中观察，或镜体200的前端不在水中但观察对象1处于水中的水上观察。另外，处理部120基于摄像图像和水信息数据库132，通过ai处理来识别摄像图像内的水状态。水状态例如是具有水的区域与没有水的区域的边界、具有水的区域、具有水的区域中的图像的颜色的浓度、或者它们的组合等。
[0168]
照明模式切换控制部113根据由处理部120识别出的观察状态和水状态，通过ai处理来校正各光源的光量比率。具体而言，根据普通观察图像对观察状态和水状态进行机器学习，将通过该机器学习得到的已学习模型存储于内窥镜系统10的存储部130。照明模式切换控制部113通过使用已学习模型的推导处理来校正照明条件，使照明条件最佳化。在图像识别处理和ai处理中，也可以针对图像内的观察状态或水状态随时间变化的情况，进行校正光量的更新、控制。
[0169]
图26是第三结构例中的处理部120和照明模式切换控制部113的详细结构例。处理部120包括水检测部161和水状态识别部162。照明模式切换控制部113包括光量校正模式提取部163和光量校正值设定部164。水状态识别部162、光量校正模式提取部163以及光量校正值设定部164进行ai处理。
[0170]
图27是第三结构例中的处理流程图。从s1所示的普通观察中的流程开始进行说明。在步骤s11中，摄像部230对观察对象1进行摄像，处理部120生成摄像图像。在步骤s12中，系统控制部112和光源控制部111根据摄像图像的明亮度进行普通的光量控制。普通的光量控制是想要将摄像图像的明亮度维持为恒定的调光控制。在步骤s13中，从系统控制部
112向水检测部161输入表示送水是打开还是关闭的送水打开/关闭信号。水检测部161根据送水打开/关闭信号，判断从送水装置150向观察对象1的送水是否打开。在水检测部161判断为送水关闭的情况下，重复步骤s11～s13。
[0171]
在水检测部161判断为送水打开的情况下，执行s2所示的水上或水中观察的流程。在步骤s21中，摄像部230对观察对象1进行摄像，处理部120生成摄像图像。在步骤s22中，水检测部161根据送水打开/关闭信号，判断从送水装置150向观察对象1的送水是否打开。在水检测部161判断为送水关闭的情况下，执行s1所示的普通观察的流程。在水检测部161判断为送水打开的情况下，在步骤s23中，水状态识别部162通过ai处理提取水状态。水状态是具有水的区域与没有水的区域的边界、具有水的区域、具有水的区域中的图像的颜色的浓度、或者它们的组合等。在步骤s24中，根据通过ai处理提取出的水状态，基于光源信息数据库131和水信息数据库132所具有的信息，提取各光源的光量增减校正值。光量增减校正值例如是用于取得与普通光相同的色彩及明亮度的图像的校正值，或者是与使用了琥珀色光的照明光那样的血液量相应的校正值。在步骤s24中，光量校正值设定部164根据光量增减校正值将光源控制信息输出到系统控制部112，系统控制部112和光源控制部111根据光源控制信息执行各光源的光量校正。
[0172]
根据以上的第三结构例，基于通过图像识别得到的水区域的信息即透明、混合有血液或白浊来执行ai处理。通过该ai处理，提取考虑了水的光学特性信息即吸收、散射以及反射的照明光的校正值。通过利用该校正值来变更照明光，能够提供抑制了水的影响的容易观察的图像。另外，即使水的状态随时间变化，ai处理也能够使用基于图像识别的水信息和学习数据，一边设定适当的照明光的颜色和明亮度，一边设定适合于水中观察的条件的照明模式。
[0173]
以上，对本实施方式及其变形例进行了说明，但本发明并不直接限定于各实施方式及其变形例，在实施阶段，能够在不脱离主旨的范围内对技术特征进行变形而具体化。另外，能够将上述的各实施方式、变形例所公开的多个技术特征适当组合。例如，也可以从各实施方式、变形例所记载的全部技术特征中删除几个技术特征。进而，也可以适当组合在不同的实施方式、变形例中说明的技术特征。这样，能够在不脱离本发明的主旨的范围内进行各种变形、应用。另外，在说明书或附图中，至少一次与更广义或同义的不同用语一起记载的用语在说明书或附图的任何位置都能够置换为该不同用语。
[0174]
标号说明
[0175]
1观察对象、2体腔、5液体、7照明光、10内窥镜系统、22已学习模型、100控制装置、110控制部、111光源控制部、112系统控制部、113照明模式切换控制部、115已学习模型、116参数确定部、120处理部、121已学习模型、123显示处理部、130存储部、131光源信息数据库、132水信息数据库、140照明部、150送水装置、161水检测部、162水状态识别部、163光量校正模式提取部、164光量校正值设定部、200镜体、210射出部、220操作部、230摄像部、240连接器、250送水口、400显示部、420观察模式切换按钮、500学习装置、510处理部、511学习模型、512更新部、520存储部、522训练数据、523输入数据、524正解标签、cpar控制参数、img摄像图像、lda、ldb、ldg、ldr、ldv光源