内窥镜系统的制作方法

1.本发明涉及一种切换显示多种图像的内窥镜系统。


背景技术：

2.近年的医疗领域中广泛使用具备光源装置、内窥镜及处理器装置的内窥镜系统。在内窥镜系统中，从内窥镜对观察对象照射照明光，并根据通过内窥镜的成像元件拍摄用该照明光照明中的观察对象而获得的rgb图像信号，将观察对象的图像显示于显示器上。
3.并且，近年来，根据诊断的目的，将波长区域彼此不同的多个照明光照亮在观察对象上。例如，在专利文献1中，记载有通过交替照亮峰值波长为422nm的nb1光和峰值波长为460～470nm的nb2光这2个蓝色的窄频带光来获取观察对象中所含的血管中的氧饱和度。并且，在专利文献2中，记载有将在b1区域(第1b区域：390nm至440nm)具有峰值的光和在b2区域(第2b区域：440nm至490nm)具有峰值的光照亮在观察对象上，通过包含对b1区域的光及b2区域的光这两者具有灵敏度的b像素的成像元件进行成像来获得表层血管的图像信息。并且，在专利文献3中，使用中心波长405nm的紫色光、中心波长445nm的蓝色激光束及通过蓝色激光束进行激励发光的激励发光，以适于诊断的更清晰的状态获取活体组织的所期望的组织信息。
4.以往技术文献
5.专利文献
6.专利文献1：日本特开2015
‑
173737号公报
7.专利文献2：国际公开第2016/080130号
8.专利文献3：日本特开2017
‑
185258号公报


技术实现要素：

9.发明要解决的技术课题
10.近年来，在内窥镜领域中，进行着眼于除了背景粘膜以外的活体信息，例如深度不同的血管或深度、高度不同的腺管结构等的诊断。在这种诊断中，需要向用户显示成能够分别掌握除了背景粘膜以外的多个信息。作为分别表示这种多个信息的方法，考虑自动地周期性地进行切换并照亮侵入活体组织的侵入深度不同的多个波长的光，并将通过这些照明所获得的多个图像进行切换来显示的方法。例如，为了获得表层血管等表层的信息和深层血管等深层的信息，将在表层具有侵入深度的短波光和在深层具有侵入深度的中波长光进行切换来照亮，并将通过短波光的照明所获得的表层图像和通过中波长光的照明所获得的深层图像进行切换来显示。由于通过进行这种切换显示来显示表层图像和深层图像的差分，因此能够分开显示不同的活体信息。因此，能够掌握表层信息和深层信息的不同的活体信息。
11.如上所述，当将各波长光进行切换来照明时，需要根据被摄体的亮度来适当地控制各波长的光的光量。然而，当观察部位的不同、个人差异、炎症等疾病的有无、或色素散布
的有无等被摄体的变化，标准被摄体与分光反射率不同，用多个波长的光拍摄的各个图像的亮度、色调等大大不同时，切换各波长的光时与目标亮度的差较大时，各波长的光的光量不对应于被摄体的亮度。
12.本发明的目的在于，提供一种内窥镜系统，当将多个光进行切换来照明时，能够根据被摄体的变化来控制各光的照明光的光量。
13.用于解决技术课题的手段
14.本发明的内窥镜系统具备：光源部，发射第1照明光和具有与第1照明光不同的发射光谱的第2照明光；第1处理器；及第2处理器，第1处理器进行如下处理：当进行使第1照明光和第2照明光自动进行切换来发射的控制时，将发射第1照明光的发光期间k(n)和发射第2照明光的发光期间l(n)分别设为至少1帧以上的发光期间，第2处理器进行如下处理：获取第1图像信号组和第2图像信号组，所述第1图像信号组包括对在第1照明光的发光期间k(n)由第1照明光照明的被摄体进行拍摄而得的第1图像信号，所述第2图像信号组包括对在第2照明光的发光期间l(n)由第2照明光照明的被摄体进行拍摄而得的第2图像信号，根据第1图像信号计算被摄体的第1亮度d1，并根据第2图像信号计算被摄体的第2亮度d2，根据第1亮度或第2亮度设定第1照明光或第2照明光的光量，进行调整在从第1照明光切换到第2照明光的第1切换定时设定的第2照明光的光量的步骤和调整在从第2照明光切换到第1照明光的第2切换定时设定的第1照明光的光量的步骤中的至少任一个。
15.优选的是，第2处理器进行如下步骤中的至少任一个：使用与发光期间l(n)之前的发光期间l(n
‑
2)的第1切换定时t1有关的信息调整在发光期间l(n)的第1切换定时t1设定的第2照明光的光量的步骤，或使用与发光期间k(n)之前的发光期间k(n
‑
2)的第2切换定时t2有关的信息调整在发光期间k(n)第2切换定时t2设定的第1照明光的光量的步骤。
16.优选的是，设为n＝4，并且进行如下处理：当调整在发光期间l(4)的第1切换定时t1设定的第2照明光的光量时，作为与发光期间l(2)的第1切换定时t1有关的信息，将目标亮度除以第1切换定时t1的第2亮度d2(2)
*
而获得的调整系数x(2)乘以第2照明光的光量。
17.优选的是，第2处理器进行如下步骤中的至少任一个使用与发光期间l(n)之前的多个发光期间l(n
‑
p)的第1切换定时t1有关的信息调整在发光期间l(n)的第1切换定时t1设定的第2照明光的光量的步骤，或使用与发光期间k(n)之前的发光期间k(n
‑
p)的第2切换定时t2有关的信息调整在发光期间k(n)的第2切换定时t2设定的第1照明光的光量的步骤。
18.优选的是，第1切换定时t1的第2亮度d2包括表示多个发光期间l(n
‑
p)的第1切换定时t1的第2亮度的每一个的多个第2亮度d2(n
‑
p)，第2处理器进行如下处理：当调整在发光期间l(n)的第1切换定时t1设定的第2照明光的光量时，作为与多个发光期间l(n
‑
p)的第1切换定时t1有关的信息，将目标亮度处于分别对多个第2亮度d2(n
‑
p)乘以加权系数并相加而得的值而获得的特定调整系数x乘以第2照明光的光量。
19.优选的是，第2处理器进行如下步骤中的至少任一个：使用与发光期间l(n)之前的发光期间k(n
‑
1)的第2切换定时t1有关的信息调整在发光期间l(n)的第1切换定时t1设定的第2照明光的光量的步骤，或使用与发光期间k(n)之前的发光期间l(n
‑
1)的第1切换定时t1有关的信息调整在发光期间k(n)的第2切换定时t2设定的第1照明光的光量的步骤。
20.优选的是，设为n＝4，并且进行如下处理：当调整在发光期间l(4)的第1切换定时t1设定的第2照明光的光量时，作为与发光期间k(3)的第2切换定时t2有关的信息，将发光
期间k(3)中第2切换定时的第1亮度d1(3)
*
除以目标亮度而获得的调整系数y(3)乘以第2照明光的光量。
21.优选的是，第2处理器进行如下步骤中的至少任一个：使用与发光期间l(n)之前的多个发光期间k(n
‑
q)的第2切换定时t2及多个发光期间l(n
‑
p)的第1切换定时t1有关的信息调整在发光期间l(n)的第1切换定时t1设定的第2照明光的光量的步骤，或使用与发光期间k(n)之前的多个发光期间l(n
‑
q)的第1切换定时t1及多个发光期间k(n
‑
p)的第2切换定时t2有关的信息调整在发光期间k(n)的第2切换定时t2设定的第1照明光的光量的步骤。
22.优选的是，设为n＝6，并且第2处理器进行如下处理：当调整在发光期间l(6)的第1切换定时t1设定的第2照明光的光量时，根据发光期间k(5)中第2切换定时t2的第1亮度d1(5)
*
、发光期间l(4)的第1切换定时t1的第2亮度d2(4)
*
及预先设定的目标亮度v将特定调整系数y与第2照明光的光量相乘。
23.优选的是，第1亮度或第2亮度根据第1图像信号或第2图像信号中除了血管或病变以外的像素值的平均来求出。优选的是，第1亮度或第2亮度根据第1图像信号或第2图像信号中除了包含暗部、光晕中的至少任一个的异常像素以外的像素值的平均或第1图像信号组或第2图像信号组中除了包含异常像素的第1图像信号或第2图像信号以外的正常图像信号的像素值的平均值来求出。第2处理器优选仅在第1亮度或第2亮度是预定的目标亮度范围的范围内时，进行第2照明光的光量的调整或第1照明光的光量的调整。
24.发明效果
25.根据本发明，当将多个光进行切换来照明时，能够根据被摄体的变化来控制各光的照明光的光量。
附图说明
26.图1是第1实施方式的内窥镜系统的外观图。
27.图2是表示第1实施方式的内窥镜系统的功能的框图。
28.图3是表示紫色光v、蓝色光b、绿色光g及红色光r的发射光谱的曲线图。
29.图4是表示包含紫色光v、蓝色光b、绿色光g及红色光r的第1照明光的发射光谱的曲线图。
30.图5是表示包含紫色光v、蓝色光b、绿色光g及红色光r的第2照明光的发射光谱的曲线图。
31.图6是表示第1照明光的发光期间和第2照明光的发光期间的说明图。
32.图7是表示发光期间设定菜单的说明图。
33.图8是设置于摄像传感器的b过滤器、g过滤器、r过滤器的光谱透射率。
34.图9是通过时序列对第1图像信号组及第2图像信号组的获取进行说明的说明图。
35.图10是表示dsp的功能的框图。
36.图11是表示特殊图像处理部的功能的框图。
37.图12是表示第1特殊观察图像的图像图。
38.图13是表示照亮第1照明光时所获得的紫色及蓝色光图像和绿色及红色光图像的说明图。
39.图14是表示第2特殊观察图像的图像图。
40.图15是表示照亮第2照明光时所获得的紫色光图像和绿色及红色光图像的说明图。
41.图16是表示显示用于调整第2照明光的光量的第2亮度d2(2)
*
的发光期间和亮度的说明图。
42.图17是表示被摄体为标准时的亮度和光量的关系的说明图。
43.图18是表示被摄体不是标准时的亮度和光量的关系的说明图。
44.图19是当被摄体不是标准的情况下进行光量的调整时的亮度与光量的关系的说明图。
45.图20是表示显示用于调整第2照明光的光量的第2亮度d2(2)
*
及第2亮度d2(4)
*
的发光期间和亮度的说明图。
46.图21是表示显示用于调整第2照明光的光量的第1亮度d1(3)
*
的发光期间和亮度的说明图。
47.图22是表示显示用于调整第2照明光的光量的第2亮度d2(3)
*
及第1亮度d1(5)
*
的发光期间和亮度的说明图。
具体实施方式
48.[第1实施方式]
[0049]
如图1所示，第1实施方式的内窥镜系统10具有内窥镜12、光源装置14、处理器装置16、显示器18(显示部)及用户介面19。内窥镜12与光源装置14光学连接，且与处理器装置16电连接。内窥镜12具有插入于受检体内的插入部12a、设置于插入部12a的基端部分的操作部12b以及设置于插入部12a的前端侧的弯曲部12c及前端部12d。通过操作操作部12b的弯角钮12e，弯曲部12c进行弯曲动作。伴随该弯曲动作，前端部12d朝向所期望的方向。另外，用户介面19除了图示的键盘以外，还包含鼠标等。
[0050]
并且，在操作部12b中，除了弯曲钮12e以外，设置有模式切换sw13a及静止图像获取命令部13b。模式切换sw13a用于普通光观察模式、第1特殊光观察模式、第2特殊光观察模式、多观察模式的切换操作。普通光观察模式是将普通图像显示于显示器18上的模式。第1特殊光观察模式为将强调了表层血管等的表层信息的第1特殊观察图像显示于显示器18上的模式。第2特殊光观察模式为将强调了深层血管等的深层信息的第2特殊观察图像显示于显示器18上的模式。多观察模式为将第1特殊观察图像(以下称为第1图像)与第2特殊观察图像(以下称为第2图像)自动进行切换而显示于显示器18的模式。另外，为了切换模式，除了模式切换sw13a以外，还可以使用脚踏开关等。
[0051]
处理器装置16与显示器18及用户介面19电连接。显示器18输出显示图像信息等。用户介面19作为接收功能设定等输入操作的ui(userihterface：用户界面)而发挥功能。另外，在处理器装置16中也可以连接记录图像信息等的外置记录部(省略图示)。
[0052]
如图2所示，光源装置14具有光源部20、光源控制部21及光路结合部23及发光期间设定部24。光源部20具有v
‑
led(violetlight emitting diode：紫色发光二极管)20a、b
‑
led(bluelight emitting diode：蓝色发光二极管)20b、g
‑
led(greenlight emitting diode：绿色发光二极管)20c及r
‑
led(redlight emitting diode：红色发光二极管)20d。光源装置14中，与各种控制有关的程序组装于程序用存储器(未图示)。由第1处理器构成的光
源控制部21通过执行组装于程序用存储器的程序来实现光源控制部21的功能。具体而言，光源控制部21实现用于控制led20a～20d的驱动的功能。光路结合部23结合从四个颜色的led20a～20d发射的四个颜色的光的光路。由光路结合部23结合的光经由贯穿于插入部12a内的光导件41及照明透镜45照射到受检体内。另外，也可以使用ld(laser diode：激光二极管)来代替led。发光期间设定部24设定多个照明光的每个发光期间。
[0053]
如图3所示，v
‑
led20a产生中心波长405
±
10nm、波长范围380～420nm的紫色光v。b
‑
led20b产生中心波长460
±
10nm、波长范围420～500nm的蓝色光b。g
‑
led20c产生波长范围达到480～600nm的绿色光g。r
‑
led20d产生中心波长620～630nm且波长范围达到600～650nm的红色光r。
[0054]
光源控制部21控制v
‑
led20a、b
‑
led20b、g
‑
led20c及r
‑
led20d。并且，当为普通光观察模式时，光源控制部21以发射紫色光v、蓝色光b、绿色光g及红色光r之间的光强度比成为vc∶bc∶gc∶rc的普通光的方式，控制各led20a～20d。
[0055]
并且，当为第1特殊光观察模式时，光源控制部21以发射紫色光v、蓝色光b、绿色光g及红色光r之间的光强度比成为vs1∶bs1∶gs1∶rs1的第1照明光的方式，控制各led20a～20d。光强度比vs1∶bs1∶gs1∶rs1对应于第1照明光的光量条件。第1照明光优选强调表层血管。因此，第1照明光优选使紫色光v的光强度大于蓝色光b的光强度。例如，如图4所示，将紫色光v的光强度vs1与蓝色光b的光强度bs1的比率设为“4∶1”。
[0056]
另外，在本说明书中，光强度比包括至少1个半导体光源的比率为0(零)的情况。因此，包括各半导体光源中的任一个或2个以上未点亮的情况。例如，如紫色光v、蓝色光b、绿色光g及红色光r之间的光强度比为1∶0∶0∶0的情况那样，设为仅点亮半导体光源中的1个，且不点亮其他3个的情况下也具有光强度比。
[0057]
并且，当为第2特殊光观察模式时，光源控制部21以发射紫色光v、蓝色光b、绿色光g及红色光r之间的光强度比成为vs2∶bs2∶gs2∶rs2的第2照明光的方式，控制各led20a～20d。光强度比vs2∶bs2∶gs2∶rs2对应于第2照明光的光量条件。第2照明光优选强调深层血管。因此，第2照明光优选使蓝色光b的光强度大于紫色光v的光强度。例如，如图5所示，优选将紫色光v的光强度vs2与蓝色光b的光强度bs2的比率设为“1∶3”。
[0058]
在设定为多观察模式的情况下，光源控制部21在发光期间k(n)和发光期间l(n)分别发射第1照明光和第2照明光，并且，进行自动切换来发射第1照明光和第2照明光的控制。发光期间k(n)和发光期间l(n)分别具有至少1帧以上的发光期间。另外，n为自然数，并且n变得越大，表示时间越领先。
[0059]
更具体而言，例如，如图6所示，光源控制部21在将发光期间k(n)设为4帧，将发光期间k(n)设为4帧的情况下，在发光期间k(1)连续发射4帧的第1照明光之后，在发光期间l(2)连续发出4帧的第2照明光。然后，重复该发光图案而进行。
[0060]
另外，“帧”是指，用于控制拍摄观察对象的摄像传感器48(参考图2)的单位，例如，“1帧”是指，至少包含由来自观察对象的光曝光摄像传感器48的曝光期间和读出图像信号的读取期间的期间。在本实施方式中，与作为拍摄的单位的“帧”对应地分别定义发光期间k(n)或发光期间l(n)。
[0061]
发光期间k(n)和发光期间l(n)能够根据连接于光源控制部21的发光期间设定部24而适当地变更。若通过用户介面19的操作而接收发光期间的变更操作，则发光期间设定
部24将如图7所示的发光期间设定菜单显示于显示器18上。发光期间k(n)例如能够在2帧至10帧之间变更。关于各发光期间，被分配于滑杆26a上。
[0062]
在变更发光期间k(n)的情况下，通过操作用户介面19而在示出滑杆26a上的希望变更的发光期间的位置配合滑块27a，从而发光期间k(n)被变更。关于发光期间k(n)，也通过操作用户介面19而在示出滑杆26b(例如，分配有2帧至10帧的发光期间)上的希望变更的发光期间的位置配合滑块27b，从而发光期间l(n)被变更。
[0063]
如图2所示，光导件41内置于内窥镜12及通用塞绳(连接内窥镜12与光源装置14及处理器装置16的塞绳)内，并将由光路结合部23结合的光传播至内窥镜12的前端部12d。另外，作为光导件41、能够使用多模光纤。作为一例，能够使用芯部直径105μm、包层直径125μm及包含成为外皮的保护层的直径φ0.3～0.5mm的细径的光缆。
[0064]
在内窥镜12的前端部12d设置有照明光学系统30a及摄像光学系统30b。照明光学系统30a具有照明透镜45，并且来自光导件41的光经由该照明透镜45照射到观察对象。摄像光学系统30b具有物镜46及摄像传感器48。来自观察对象的反射光经由物镜46入射到摄像传感器48。由此，在摄像传感器48中成像观察对象的反射像。
[0065]
摄像传感器48为彩色摄像传感器，并且拍摄受检体的反射像而输出图像信号。该摄像传感器48优选为ccd(chargecoupleddevice：电荷耦合元件)摄像传感器或cmos(complementarymetal
‑
oxidesemiconductor：互补金属氧化物半导体)摄像传感器等。本发明中使用的摄像传感器48为用于获得r(红色)、g(绿色)及b(蓝色)这三个颜色的rgb图像信号的彩色摄像传感器即具备设置有r滤波器的r像素、设置有g滤波器的g像素及设置有b滤波器的b像素的所谓的rgb摄像传感器。
[0066]
如图8所示，b过滤器48b透射紫色频带的光、蓝色频带的光及绿色频带的光中短波侧的光。g过滤器48g透射绿色频带的光、蓝色频带的光的长波侧的光及红色频带的光的短波侧的光。r过滤器48r透射红色频带的光、绿色频带的短波侧的光。因此，摄像传感器48中，b像素对紫色光v及蓝色光b具有灵敏度，g像素对蓝色光b、绿色光g及红色光r具有灵敏度，r像素对绿色光g及红色光r具有灵敏度。
[0067]
另外，作为摄像传感器48，代替rgb的彩色摄像传感器，也可以是具备c(青色)、m(品红色)、y(黄色)及g(绿色)的补色滤波器的所谓的补色摄像传感器。当使用补色摄像传感器时，输出cmyg这四个颜色的图像信号，因此需要通过补色
‑
原色颜色转换，将cmyg这四个颜色的图像信号转换为rgb这三个颜色的图像信号。并且，摄像传感器48也可以是没有设置滤色器的单色摄像传感器。在该情况下，光源控制部21需要分时点亮蓝色光b、绿色光g及红色光r，并在摄像信号的处理中增加同步化处理。
[0068]
如图2所示，从摄像传感器48输出的图像信号发送至cds/agc电路50。cds/agc电路50对作为模拟信号的图像信号进行相关双采样(cds(correlated double sampling))或自动增益控制(agc(auto gain control))。经过了cds/agc电路50的图像信号通过a/d转换器(a/d(analog/digital：模拟/数字)变频器)51转换为数字图像信号。被a/d转换的数字图像信号输入于处理器装置16。
[0069]
在处理器装置16中，与各种处理或控制有关的程序组装于程序用存储器(未图示)。通过利用由第2处理器构成的处理器装置16内的中央控制部(未图示)执行组装于程序用存储器的程序，处理器装置16实现图像获取部52、dsp(digital signal processor：数字
信号处理器)54、噪声去除部58、信号切换部60、普通观察图像处理部62、特殊观察图像处理部63、显示控制部64、静止图像保存部65、静止图像保存控制部66的功能。随着上述程序的执行，还实现dsp54中所包括的后述亮度计算部55、光量设定部56及设定光量调整部57的功能。
[0070]
图像获取部52获取通过拍摄内窥镜12中的观察对象而获得的观察图像。具体而言，作为观察图像，来自内窥镜12的数字彩色图像信号被输入到图像获取部52。彩色图像信号由从摄像传感器48的r像素输出的红色信号、由摄像传感器48的g像素输出的绿色信号、由摄像传感器48的b像素输出的蓝色信号构成。
[0071]
如图9所示，图像获取部52在发光期间k(n)获取第1图像信号组。第1图像信号组包括在发光期间k(n)中拍摄通过第1照明光照明的被摄体而成的多个第1图像信号sp1。并且，图像获取部52在发光期间l(n)获取第2图像信号组。第2图像信号组包括在发光期间l(n)中拍摄通过第2照明光照明的被摄体而成的多个第2图像信号sp2。在本实施方式中，当设定为多观察模式时，光源控制部21分别在发光期间k(n)和发光期间l(n)发射第1照明光和第2照明光，并且，进行将第1照明光和第2照明光自动进行切换来发射的控制，因此图像获取部52随时间的经过以第1图像信号组、第2图像信号组的顺序，周期性地获取图像。
[0072]
由于发光期间k(n)和发光期间l(n)分别具有至少1帧以上的发光期间，因此第1图像信号组和第2图像信号组分别包括至少1个以上的第1图像信号sp1和第2图像信号sp2。在本实施方式中，发光期间k(n)和发光期间l(n)均为4帧的发光期间。因此，在发光期间k(n)获取包括4个第1图像信号sp1的第1图像信号组，在发光期间l(n)获取包括4个第2图像信号sp2的第2图像信号组。
[0073]
dsp56对接收的图像信号实施缺陷校正处理、偏移处理、白平衡处理、线性矩阵处理、伽玛转换处理或去马赛克处理等各种信号处理。并且，如图10所示，dsp54具备亮度计算部55、光量设定部56及设定光量调整部57。与由光量设定部55或设定光量调整部56获得的普通光和第1照明光或第2照明光的光量有关的信息被发送到光源控制部21。在光源控制部21中，根据与来自光量设定部55或设定光量调整部56的光量有关的信息控制普通光和第1照明光或第2照明光的光量的控制。关于上述亮度计算部55、光量设定部56及设定光量调整部57的详细内容在后面进行叙述。
[0074]
在缺陷校正处理中，校正摄像传感器48的缺陷像素的信号。在偏移处理中，从实施了缺陷校正处理的图像信号去除暗电流成分，并设定准确的零电平。对第1图像信号乘以第1增益系数，并对第2图像信号乘以第2增益系数来进行白平衡处理，在白平衡处理中，通过对偏移处理之后的图像信号乘以增益而调整信号电平。对白平衡处理之后的图像信号实施用于提高颜色再现性的线性矩阵处理。然后，通过伽玛转换处理调整亮度或彩度。对线性矩阵处理之后的图像信号实施去马赛克处理(也被称为各向同性处理、同步化处理)，并通过插值生成各像素中缺失颜色的信号。通过该去马赛克处理，变得所有像素具有各颜色的信号。
[0075]
去噪部58对通过dsp56实施了伽玛校正处理的图像信号实施去噪处理(例如移动平均法或中值滤波法等)，由此从图像信号去除噪声。去除了噪声的图像信号发送至信号切换部60。
[0076]
通过模式切换sw13a设置为普通光观察模式的情况下，信号切换部60将通过普通
光的照明及拍摄所获得的普通光用图像信号发送至普通观察图像处理部62。如图11所示，特殊观察图像处理部63包括第1特殊观察图像处理部67、第2特殊观察图像处理部68及检测部69。并且，在设置为第1特殊光观察模式的情况下，将通过第1照明光的照明及拍摄所获得的第1图像信号发送至第1特殊观察图像处理部67。第1图像信号包括从摄像传感器的r像素输出的第1红色信号、从摄像传感器48的g像素输出的第1绿色信号、从摄像传感器48的b像素输出的第1蓝色信号。并且，在设置为第2特殊光观察模式的情况下，将通过第2照明光的照明及拍摄所获得的第2图像信号发送至第2特殊观察图像处理部63。第2图像信号包括从摄像传感器的r像素输出的第2红色信号、从摄像传感器48的g像素输出的第2绿色信号、从摄像传感器48的b像素输出的第2蓝色信号。并且，在设置为多观察模式的情况下，通过第1照明光的照明和拍摄而获得的第1图像信号发送至第1特殊观察图像处理部67，通过第2照明光的照明和拍摄而获得的第2图像信号发送至第2特殊观察图像处理部63。
[0077]
普通观察图像处理部62对普通光观察模式时所获得的rgb图像信号实施用于普通图像的图像处理。用于普通图像的图像处理中包括用于普通图像的结构强调处理等。在普通观察图像处理部62中设置有用于与rgb图像信号相乘的普通图像用参数以进行用于普通图像的图像处理。实施了用于普通图像的图像处理的rgb图像信号作为普通图像而从普通观察图像处理部62输入到显示控制部64。
[0078]
第1特殊观察图像处理部67根据第1图像信号而生成进行了彩度强调处理、色相强调处理及结构强调处理等图像处理的第1图像。在第1图像中，包含许多表层血管并且背景粘膜的颜色也被正确地再现。在第1特殊观察图像处理部67中设置有用于与第1图像信号相乘的第1图像用参数以进行第1图像的图像处理。另外，在第1特殊观察图像处理部67中不进行用于强调表层血管的表层血管强调处理，但可以根据处理负荷的情况而进行表层血管强调处理。
[0079]
如图12所示，通过第1图像显示示出观察对象中背景粘膜bm及表层血管vs1的图像。第1图像根据包括紫色光、蓝色光、绿色光及红色光的第1照明光来获得。如图13所示，第1照明光照亮在观察对象时，第1照明光中紫色光v及蓝色光b深入至表层血管vs1所分布的表层。因此，根据紫色光v及蓝色光b的反射光所获得的紫色光图像vp包括表层血管vs1的图像。另外，在此，紫色光v的光强度比蓝色光b的光强度强，因此采用紫色光图像vp。并且，第1照明光中绿色光g和红色光r深入至分布于比表层血管vs1及深层血管vs2(位于比表层血管vs1更深的位置的血管)更深的位置的背景粘膜bm。因此，根据绿色光g和红色光r的反射光所获得的绿色及红色光图像grp包括背景粘膜bm的图像。根据以上内容，第1图像为将紫色光图像vp和绿色及红色光图像grp组合而成的图像，因此显示背景粘膜bm及表层血管vs1的图像。
[0080]
第2特殊观察图像处理部68根据第2图像信号而生成进行了彩度强调处理、色相强调处理及结构强调处理等图像处理的第2图像。在第2图像中，包含许多深层血管并且背景粘膜的颜色也被正确地再现。在第2特殊观察图像处理部68中设置有用于与第2图像信号相乘的第2图像用参数以进行第2图像的图像处理。另外，在第2特殊观察图像处理部68中不进行强调深层血管的表层血管强调处理，但可以根据处理负荷的情况而进行深层血管强调处理。
[0081]
如图14所示，通过第2图像显示示出观察对象中背景粘膜bm及深层血管vs2的图
像。第2图像根据包括紫色光、蓝色光、绿色光及红色光的第2照明光来获得。如图15所示，第1照明光照亮在观察对象时，第2照明光中紫色光v及蓝色光b深入至深层血管vs2所分布的深层。因此，根据紫色光v及蓝色光b的反射光所获得的蓝色光图像bp包括深层血管vs2的图像。另外，在此，蓝色光b的光强度比紫色光v的光强度强，因此采用蓝色光图像bp。并且，第2照明光中绿色光g和红色光r深入至分布于比表层血管vs1及深层血管vs2(位于比表层血管vs1更深的位置的血管)更深的位置的背景粘膜bm。因此，根据绿色光g和红色光r的反射光所获得的绿色及红色光图像grp包括背景粘膜bm的图像。根据以上内容，第2图像为将蓝色光图像bp和绿色及红色光图像grp组合而成的图像，因此显示背景粘膜bm及深层血管vs2的图像。
[0082]
如上所述，在本实施方式中，优选通过第1图像信号生成第1特殊观察图像，并且通过第2图像信号生成第2特殊观察图像，第1特殊观察图像强调表层血管，第2特殊观察图像强调位于比表层血管更深的位置的中深层血管。
[0083]
检测部69通过普通图像、第1图像及第2图像来检测血管或病变。如上所述，第1图像为显示有表层血管vs1的图像，第2图像为显示有深层血管vs2的图像，因此能够通过图像处理来检测这些血管。并且，除了第1图像及第2图像以外，还可以使用普通观察图像通过这些图像处理来检测血管或病变。并且，检测部69检测第1图像或第2图像中的异常部分，将其作为异常图像信号。血管或病变的检测結果发送到白平衡部55或光源控制部21。
[0084]
显示控制部64进行用于将从普通观察图像处理部62或特殊观察图像处理部63输入的普通图像、第1图像和/或第2图像作为能够在显示器18中显示的图像而显示的控制。根据基于显示控制部64的控制而显示对应各观察模式的图像。在普通观察模式的情况下，普通图像显示于显示器18。并且，在第1特殊光观察模式的情况下，第1图像(参考图12)显示于显示器18。并且，在第2特殊光观察模式的情况下，第2图像(参考图14)显示于显示器18。
[0085]
并且，在多观察模式的情况下，彩色的第1图像和第2图像配合第1照明光的发光期间和第2照明光的发光期间而切换显示于显示器18。即，在发光期间k(n)为4帧，发光期间l(n)为4帧的情况下，第1显示用观察图像连续显示4帧，并且第2显示用观察图像连续显示4帧。
[0086]
如上所述，在多观察模式下，能够在不进行基于用户的模式切换sw13a的操作的状态下，将第1图像和第2图像这2种进行自动切换显示。如此，通过自动切换显示，只要观察对象不移动或内窥镜12的前端部12d不移动，则在第1图像和第2图像中显示有同一观察对象。然而，在第1图像和第2图像中，即使是同一观察对象，由于各自的光谱信息不同，因此根据光谱信息的不同而观察对象的状态也不同。即，在第1图像中，表层血管的视觉辨认性提高，另一方面在第2图像中，深层血管的视觉辨认性提高。因此，通过切换显示第1图像和第2图像，能够实现提高深度不同的多个的血管的视觉辨认性。
[0087]
如图2所示，静止图像保存控制部66根据静止图像获取命令部13b的命令，进行将在其静止图像获取命令的定时获得的图像作为静止图像而保存于静止图像保存部65的控制。若在普通观察模式的情况下，将在静止图像获取命令的定时获得的普通图像作为静止图像而保存于静止图像保存部65。若在第1特殊光观察模式的情况下，将在静止图像获取命令的定时获得的第1特殊观察图像作为静止图像而保存于静止图像保存部65。若在第2特殊光观察模式的情况下，将在静止图像获取命令的定时获得的第2特殊观察图像作为静止图
像而保存于静止图像保存部65。并且，若在多观察模式的情况下，将在静止图像获取命令的定时获得的第1特殊观察图像和第2特殊观察图像的1套显示用观察图像保存于静止图像保存部65。
[0088]
以下，对亮度计算部55、光量设定部56及设定光量调整部57的详细内容进行说明。在普通光观察模式的情况下，亮度计算部55根据普通光观察模式时获得的图像信号计算被摄体的亮度。光量设定部56根据计算出的被摄体的亮度设定普通光的光量。光源控制部21根据由光量设定部56设定的普通光的光量控制普通光的光量。
[0089]
在第1特殊光观察模式的情况下，亮度计算部55根据第1图像信号计算被摄体的第1亮度d1。光量设定部56根据第1亮度d1设定第1照明光的光量。而且，光源控制部21根据由光量设定部56设定的第1照明光的光量控制第1照明光的光量。在第2特殊光观察模式的情况下，亮度计算部55根据第2图像信号计算被摄体的第2亮度d2。光量设定部56根据第2亮度d2设定第2照明光的光量。而且，光源控制部21根据由光量设定部56设定的第2照明光的光量控制第2照明光的光量。
[0090]
另外，在亮度计算部55中，使用第1图像信号或第2图像信号的整个像素的像素值求出第1亮度d1或第2亮度d2，除此以外，还可以根据第1图像信号或第2图像信号中除了血管或病变以外的像素值的平均求出第1亮度d1或第2亮度d2。并且，可以从第1图像信号或第2图像信号中除了包括暗部、光晕中的任一个的异常像素以外的像素值的平均求出第1亮度d1或第2亮度d2。并且，可以根据第1图像信号组或第2图像信号组中除了包括异常像素的第1图像信号或第2图像信号以外的正常图像信号的像素值的平均值求出第1亮度d1或第2亮度d2。
[0091]
在多观察模式的情况下，如图16所示，在第1照明光在第1照明光的发光期间k(1)、发光期间k(3)发光的情况下，与第1特殊光观察模式的情况同样地从第1图像信号计算第1亮度d1(1)、d2(3)，并根据第1亮度(1)、d2(3)设定第1照明光的光量。并且，在第2照明光在第2照明光的发光期间l(2)、发光期间l(4)发光的情况下，与第2特殊光观察模式的情况同样地从第2图像信号计算第2亮度d2(2)、d2(4)，并根据第2亮度d2(2)、d2(4)设定第2照明光的光量。
[0092]
另一方面，关于在从第1照明光切换到第2照明光的第1切换定时t1设定的第2照明光的光量，通过设定光量调整部57进行光量的调整。同样地，关于在从第2照明光切换到第1照明光的第2切换定时t2设定的第1照明光的光量，通过设定光量调整部57进行光量的调整。
[0093]
在第1实施方式中，使用与发光期间l(n)之前的发光期间l(n
‑
2)的第1切换定时t1有关的信息调整在发光期间l(n)的第1切换定时t1设定的第2照明光的光量的步骤，或使用与发光期间k(n)之前的发光期间k(n
‑
2)的第2切换定时t2有关的信息调整在发光期间k(n)的第2切换定时t2设定的第1照明光的光量。
[0094]
具体而言，在设定光量调整部57中，使用与发光期间l(4)之前的发光期间l(2)的第1切换定时t1有关的信息调整在发光期间l(4)的第1切换定时t1设定的第2照明光的光量的步骤，或使用与发光期间k(3)之前的发光期间k(1)的第2切换定时t2有关的信息调整在发光期间k(3)的第2切换定时t2设定的第1照明光的光量。
[0095]
另外，第1照明光的发光期间k(n)和第2照明光的发光期间l(n 1)均包含第1切换
定时t1，例如，若为图16的情况，与发光期间k(3)的最后的帧的发光定时和发光期间l(4)的最初的帧的发光定时这两者对应。第2照明光的发光期间l(n)和第1照明光的发光期间k(n 1)均包含第2切换定时t2，例如，若为图16的情况，与发光期间l(2)的最后的帧的发光定时和发光期间k(3)的最初的帧的发光定时这两者对应。
[0096]
例如，当在第2照明光的发光期间l(4)中调整在第1切换定时t1通过光量设定部56设定的第2照明光的光量时，根据发光期间l(4)之前的发光期间l(2)中第1切换定时t1的第2亮度d2(2)
*
和预先设定的目标亮度v使用调整系数x(2)进行光量的调整。
[0097]
调整系数x(2)优选目标亮度v除以第2亮度d2(2)
*
而获得(调整系数x(2)＝v/d2(2)
*
)。即，将在发光期间l(4)的第1切换定时t1设定的第2照明光的光量设为光量h2(4)时，通过将调整系数x(2)乘以光量h2(4)获得已调整光量的第2照明光的光量h2(4)
*
(h2(4)
*
＝x(2)
×
h2(4))。该已调整光量的第2照明光的光量h2(4)
*
被发送到光源控制部21，光源控制部21根据已调整光量的第2照明光的光量h2(4)
*
进行第2照明光的光量的控制。
[0098]
如上所述，通过使用调整系数x调整2个照明光的光量，即使在观察部位不同的、有个体差异及有炎症等疾病时等被摄体不标准的情况下，也能够根据被摄体的亮度进行适当的光量控制。例如，如图17所示，在被摄体为标准的情况下，随着从第1照明光切换到第2照明光，通过由光源控制部21进行的ae(auto exposure：自动曝光)控制将第2照明光的光量增加至光量值hs，能够使亮度在第1照明光的发光期间k(1)和第2照明光的发光期间l(2)大致相同。
[0099]
另一方面，在被摄体不是标准的情况下，例如，被摄体相对于绿色光的反射率高时，如图18所示，随着从第1照明光切换到第2照明光，通过由光源控制部21进行的ae(auto exposure：自动曝光)控制并将第2照明光的光量增加至光量值hs时，如本实施方式所示，若不进行使用与第1切换定时t1有关的信息(调整系数x(2))的第2照明光的光量调整，则亮度在从发光期间k(1)切换到发光期间l(2)的第1切换定时t1发生变动。这可能是由于与标准被摄体不同，被摄体的绿色频带的反射率高引起的。但是，在发光期间l(2)中，在第一帧之后，通过ae控制收敛到适当的亮度。另外，在从发光期间l(2)切换到发光期间k(3)的第2切换定时t2也可能发生如上所述的亮度的变动。
[0100]
因此，在被摄体不是标准的情况下，为了抑制第1切换定时t1或第2切换定时t2的光量变动，如图19所示，在发光期间l(4)，使用与第1切换定时t1有关的信息(调整系数x(2))调整第2照明光的光量。并且，通过根据光量调整后的光量h2(4)
*
进行第2照明光的照明，能够抑制第1切换定时t1的光量变动，并且能够使发光期间k(3)和发光期间l(4)的亮度大致相同。
[0101]
并且，可以使用与发光期间l(n)之前的多个发光期间l(n
‑
p)的第1切换定时t1有关的信息调整在发光期间l(n)的第1切换定时t1设定的第2照明光的光量的步骤，或使用与发光期间k(n)之前的发光期间k(n
‑
p)的第2切换定时t2有关的信息调整在发光期间k(n)的第2切换定时t2设定的第1照明光的光量。另外，p设为小于n的偶数。
[0102]
例如，如图20所示，当调整第2照明光的发光期间l(6)中在第1切换定时t1由光量设定部56设定的第2照明光的光量时，用根据发光期间l(6)之前的发光期间l(4)的第1切换定时t1的第2亮度d2(4)
*
、发光期间l(2)的第1切换定时t1的第2亮度d2(2)
*
及目标亮度v使用特定调整系数x进行光量的调整。在此，特定调整系数x优选由将目标亮度v除以对第2亮
度d2(4)
*
和第2亮度d2(2)
*
分别乘以加权系数并进行加算而得的值而获得(特定调整系数x＝v/(α1
×
d2(4)
*
α2
×
d2(2)
*
)。但是，α1、α2为加权系数，α1 α2＝1。
[0103]
并且，将在发光期间l(6)的第1切换定时t1设定的第2照明光的光量设为光量h2(6)时，通过将特定调整系数x乘以光量h2(6)获得已调整光量的第2照明光的光量h2(6)
*
(h2(6)
*
＝x
×
h26)。该已调整光量的第2照明光的光量h2(6)
*
被发送到光源控制部21，光源控制部21根据已调整光量的第2照明光的光量h2(6)
*
进行第2照明光的光量的控制。
[0104]
另外，当求出调整在发光期间l(n)的第1切换定时t1设定的第2照明光的光量h2(n)而得的光量h2(n)
*
时，可以使用下述一般化的式a)。
[0105]
式a)
[0106]
h2(n)
*
＝(目标亮度)
[0107]
×
(α1/(发光期间l(n
‑
2)的第1切换定时t1的第2亮度d2(n
‑
2) α2/(发光期间l(n
‑
4)的第1切换定时t1的第2亮度d2(n
‑
4)
……
αn/(发光期间l(n
‑
n)的第1切换定时t1的第2亮度d2(n
‑
n))
[0108]
其中，α1 α2
……
αn＝1。并且，n为小于n的偶数。
[0109]
[第2实施方式]
[0110]
在第2实施方式中，使用与发光期间l(n)之前的发光期间k(n
‑
1)的第2切换定时t2有关的信息调整在发光期间l(n)的第1切换定时t1设定的第2照明光的光量的步骤，或使用与发光期间k(n)之前的发光期间l(n
‑
1)的第1切换定时t1有关的信息调整在发光期间k(n)的第2切换定时t2设定的第1照明光的光量。
[0111]
例如，如图20所示，当调整在第2照明光的发光期间l(4)的第1切换定时t1通过光量设定部56设定的第2照明光的光量时，根据发光期间l(4)之前的发光期间k(3)中第2切换定时t2的第1亮度d1(3)
*
和预先设定的目标亮度v使用调整系数y(3)进行光量的调整。在此，调整系数y(3)优选将目标亮度v除以1亮度d1(3)
*
而获得(调整系数y(3)＝v/d1(3)
*
)。
[0112]
即，将在发光期间l(4)的第1切换定时t1设定的第2照明光的光量设为光量h2(4)时，通过将调整系数y(3)乘以光量h2(4)获得已调整光量的第2照明光的光量h2(4)
*
(h2(4)
*
＝y(3)
×
h2(4))。该已调整光量的第2照明光的光量h2(4)
*
被发送到光源控制部21，光源控制部21根据已调整光量的第2照明光的光量h2(4)
*
进行第2照明光的光量的控制。
[0113]
并且，第2处理器可以使用与发光期间l(n)之前的多个发光期间k(n
‑
q)的第2切换定时t2及多个发光期间l(n
‑
p)的第1切换定时t1有关的信息调整在发光期间l(n)的第1切换定时t1设定的第2照明光的光量的步骤，或使用与发光期间k(n)之前的多个发光期间l(n
‑
q)的第1切换定时t1及多个发光期间k(n
‑
p)的第2切换定时t2有关的信息调整在发光期间k(n)的第2切换定时t2设定的第1照明光的光量。另外，p为小于n的偶数，q为小于n的奇数。
[0114]
例如，如图22所示，当调整在第2照明光的发光期间l(6)的第1切换定时t1由光量设定部56设定的第2照明光的光量时，用根据发光期间l(6)之前的发光期间k(5)中第2切换定时t2的第1亮度d1(5)
*
、发光期间l(4)的第1切换定时t1的第2亮度d2(4)
*
及预先设定的目标亮度v使用特定调整系数y进行光量的调整。
[0115]
在此，特定调整系数y优选将对第1亮度d1(5)
*
乘以加权系数β而得的值除以目标亮度v而得的值与对第2亮度d2(4)
*
乘以加权系数α及目标亮度v而得的值分别相加而得(特
定调整系数y＝β
×
d1(5)
*
/v α
×
d2(4)
*
×
v)。其中，α、β为加权系数，α β＝1。
[0116]
并且，将在发光期间l(6)的第1切换定时t1设定的第2照明光的光量设为光量h2(6)时，通过将特定调整系数y乘以光量h2(6)获得已调整光量的第2照明光的光量h2(6)
*
(h2(6)
*
＝y
×
h26)。该已调整光量的第2照明光的光量h2(6)
*
被发送到光源控制部21，光源控制部21根据已调整光量的第2照明光的光量h2(6)
*
进行第2照明光的光量的控制。
[0117]
另外，当求出调整在发光期间l(n)的第1切换定时t1设定的第2照明光的光量h2(n)而得的光量h2(n)
*
时，可以使用下述一般化的式b)。
[0118]
式b)
[0119]
h2(n)
*
＝
[0120]
1/(目标亮度)
[0121]
×
(β1/(发光期间k(n
‑
1)的第2切换定时t2的第1亮度d1(n
‑
1) β2/(发光期间k(n
‑
3)的第2切换定时t2的第1亮度d1(n
‑
3)
……
βn/(发光期间(n
‑
m)的第1切换定时t1的第2亮度d2(n
‑
m)
[0122]
(目标亮度)
[0123]
×
(α1/(发光期间l(n
‑
2)的第1切换定时t1的第2亮度d2(n
‑
2) α2/(发光期间l(n
‑
4)的第1切换定时t1的第2亮度d2(n
‑
4)
……
αn/(发光期间(n
‑
n)的第1切换定时t1的第2亮度d2(n
‑
n))
[0124]
其中、α1 α2
……
αn＝1、β1 β2
……
βn＝1。并且，n设为小于n的偶数，m设为小于n的奇数。
[0125]
另外，在上述第1及第2实施方式中，在多观察模式下，始终调节第1切换定时t1的第2照明光的光量，并且，调整第2切换定时t2的第1照明光的光量，但是仅在第1亮度d1或第2亮度为预定的目标亮度范围的范围内时，可以调整第1切换定时t1的第2照明光的光量，并调整第2切换定时t2的第1照明光的光量。
[0126]
例如，如图16所示，优选的是，当调整第2照明光的发光期间l(4)中在第1切换定时t1由光量设定部56设定的第2照明光的光量时，第2亮度d2(2)
*
在目标亮度的范围内时，不调整第1切换定时t1的第2照明光的光量，当第2亮度d2(2)
*
在目标亮度的范围的范围外时，调整第1切换定时t1的第2照明光的光量。
[0127]
在上述实施方式中，图像获取部52、dsp54、去噪部58、普通观察图像处理部62、特殊观察图像处理部63、显示控制部64、静止图像保存部65、静止图像保存控制部66等、处理器装置16中所包括的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包含执行软件(程序)而作为各种处理部发挥功能的通用的处理器即cpu(centralprocessingunit：中央处理器)、fpga(fieldprogrammablegatearray：现场可编程门阵列)等制造后能够变更电路结构的处理器即可编程逻辑器件(programmablelogicdevice：pld)、gpu(graphical processing unit：图形处理单元)及具有为了执行各种处理而专门设计的电路结构的处理器即专用电气电路等。
[0128]
一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个fpga、cpu与fpga的组合、cpu与gpu的组合)构成。并且，也可以将多个处理部由一个处理器来构成。作为将多个处理部由一个处理器来构成的例子，第1，有如以客户端或服务器等计算机为代表，由一个以上的cpu与软件的组合来构成
一个处理器，且该处理器作为多个处理部而发挥功能的方式。第2，有如以片上系统(system on chip：soc)等为代表，使用将包含多个处理部的整个系统的功能由一个ic(integrated circuit/集成电路)芯片来实现的处理器的方式。如此，各种处理部作为硬件结构使用一个以上上述各种处理器而构成。
[0129]
而且，更具体而言，这些各种处理器的硬件结构为组合了半导体元件等电路元件的方式的电气电路(circuitry)。
[0130]
另外，本发明除了组装于如第1实施方式或第2实施方式的内窥镜系统的处理器装置以外，还能够适用于组装于胶囊型内窥镜系统的处理器装置或各种医用图像处理装置中。
[0131]
符号说明
[0132]
10
‑
内窥镜系统，12
‑
内窥镜，12a
‑
插入部，12b
‑
操作部，12c
‑
弯曲部，12d
‑
前端部，12e
‑
弯角钮，13a
‑
模式切换sw，13b
‑
静止图像获取命令部，14
‑
光源装置，16
‑
处理器装置，18
‑
显示器，19
‑
用户介面，20
‑
光源部，20a
‑
v
‑
led(violet light emitting diode：紫色发光二极管)，20b
‑
b
‑
led(blue light emitting diode：蓝色发光二极管)，20c
‑
g
‑
led(green light emitting diode：绿色发光二极管)，20d
‑
r
‑
led(red light emitting diode：红色发光二极管)，21
‑
光源控制部，23
‑
光路结合部，24
‑
发光期间设定部，26a
‑
滑杆，26b
‑
滑杆，27a
‑
滑块，27b
‑
滑块，30a
‑
照明光学系统，30b
‑
摄像光学系统，41
‑
光导件，45一照明透镜，46
‑
物镜，48
‑
摄像传感器，48b
‑
b过滤器，48g
‑
g过滤器，48r
‑
r过滤器，50
‑
cds/agc电路，52
‑
图像获取部，54
‑
dsp(digital signal processor：数字信号处理器)，55
‑
亮度计算部，56
‑
光量设定部，57
‑
设定光量调整部，58
‑
去噪部，60
‑
信号切换部，62
‑
普通观察图像处理部，63
‑
特殊观察图像处理部，64
‑
显示控制部，65
‑
静止图像保存部，66
‑
静止图像保存控制部，67
‑
第1特殊观察图像处理部，68
‑
第2特殊观察图像处理部，69
‑
检测部，sp1
‑
第1特殊观察图像(第1图像)，sp2
‑
第2特殊观察图像(第2图像)，vp
‑
紫色光图像，grp
‑
绿色及红色光图像，vs1
‑
表层血管，vs2
‑
中层血管，bm
‑
背景粘膜。