医疗用图像处理装置、医疗用拍摄装置、医疗用观察系统、图像处理方法和程序与流程

1.本技术涉及对通过拍摄被检体而生成的图像数据进行图像处理的医疗用图像处理装置、医疗用拍摄装置、医疗用观察系统、图像处理方法以及程序。


背景技术：

2.以往，已知有如下技术：在内窥镜中，在摄像元件的入射侧设置将激励光截止并使荧光的波长透射的滤光器，由此进行荧光观察和可见光观察(例如参照专利文献1)。在该技术中，使配置在灯照射的白色光的光路上的具有可见光照明滤光器和激励光照射用滤光器的旋转板旋转，切换着照射为了荧光观察而照射的激励光和为了可见光观察而照射的白色光，由此利用1个摄像元件进行荧光观察和可见光观察。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2006-20727号公报


技术实现要素：

6.发明所要解决的课题
7.但是，在上述的专利文献1中，根据照射到被检体的激励光的反射光的信息和荧光物质发出的荧光的信息，生成在背景图像上重叠了荧光图像的重叠图像。因此，在上述的专利文献1中，在荧光的波段与激励光的波段接近的情况下，激励光与荧光的分离性差，因此存在荧光的视觉辨认性恶化的问题。
8.本发明是鉴于上述情况而完成的，其目的在于提供一种提高荧光的视觉辨认性的医疗用图像处理装置、医疗用拍摄装置、医疗用观察系统、图像处理方法以及程序。
9.用于解决课题的手段
10.本发明是鉴于上述情况而完成的，医疗用图像处理装置具有：去马赛克(demosaic)处理部，其取得通过拍摄反射光和荧光中的至少一方而生成的图像数据，基于所取得的所述图像数据生成拍摄图像，所述反射光是在对生物体组织照射窄带光的情况下来自所述生物体组织的反射光，所述荧光是来自通过对所述生物体组织照射所述窄带光而发出荧光的观察对象的荧光，所述拍摄图像具有由表示红色成分的红色成分信号、表示绿色成分的绿色成分信号和表示蓝色成分的蓝色成分信号构成的颜色成分信号；计算部，其计算所述拍摄图像的像素中的荧光成分信号与反射光成分信号的强度比，所述荧光成分信号是所述红色成分信号、所述绿色成分信号以及所述蓝色成分信号中的对所述荧光的感光度高的成分信号，所述反射光成分信号是所述红色成分信号、所述绿色成分信号以及所述蓝色成分信号中的在对所述生物体组织照射了所述窄带光时对来自所述生物体组织的反射光的感光度高的成分信号；判定部，其根据所述计算部计算出的所述拍摄图像的像素的强度比，判定所述拍摄图像中的荧光区域和背景区域；以及生成部，其根据所述判定部判定
的判定结果，对位于所述荧光区域的像素的所述颜色成分信号和位于所述背景区域的像素的所述颜色成分信号分别进行参数互不相同的图像处理，由此生成荧光图像。
11.另外，本发明的医疗用图像处理装置在上述发明中，所述观察对象为通过对所述生物体组织实施热处置而产生的晚期糖基化终末产物。
12.另外，本发明的医疗用图像处理装置在上述发明中，所述荧光成分信号为所述绿色成分信号，所述反射光成分信号为所述蓝色成分信号。
13.另外，本发明的医疗用图像处理装置在上述发明中，所述观察对象是包含荧光物质的药剂。
14.另外，本发明的医疗用图像处理装置在上述发明中，所述荧光成分信号是所述红色成分信号，所述反射光成分信号是所述蓝色成分信号。
15.另外，本发明所涉及的医疗用图像处理装置在上述发明中，所述生成部进行增益调整处理作为所述图像处理，所述增益调整处理使针对位于所述荧光区域的像素的所述颜色成分信号的增益大于针对位于所述背景区域的像素的所述颜色成分信号的增益。
16.另外，本发明的医疗用图像处理装置在上述发明中，所述医疗用图像处理装置还具备：检测部，其检测所述拍摄图像的明亮度；以及控制部，其根据所述检测部检测出的所述明亮度，设定所述判定部用于判定所述荧光区域和所述背景区域的阈值，所述判定部根据所述控制部设定的所述阈值和所述强度比，判定所述荧光区域和所述背景区域，所述控制部根据表示能够与该医疗用图像处理装置连接的医疗用拍摄装置的类别的类别信息，设定所述计算部计算的所述强度比的所述荧光成分信号和所述反射光成分信号。
17.另外，本发明所涉及的医疗用图像处理装置在上述发明中，该医疗用图像处理装置能够连接第一医疗用拍摄装置或第二医疗用拍摄装置，所述第一医疗用拍摄装置具备摄像元件，该摄像元件具有：像素部，其具有配置成2维矩阵状而成的多个像素；以及彩色滤光器，其在所述多个像素各自的受光面设置有红色滤光器、绿色滤光器以及蓝色滤光器中的任一个滤光器，所述第二医疗用拍摄装置具备摄像元件、光学系统以及截止滤光器，所述摄像元件具有：像素部，其具有配置成2维矩阵状而成的多个像素；以及在所述多个像素各自的受光面设置红色滤光器、绿色滤光器和蓝色滤光器中的任意一个滤光器而构成的彩色滤光器，所述光学系统在所述摄像元件的受光面成像被摄体像，所述截止滤光器设置在所述摄像元件与所述光学系统的光路上，所述截止滤光器对包含所述窄带光的波段的短波长侧的一部分光进行遮光，另一方面，使比所述遮光的波段靠长波长侧的波段透射，所述控制部根据所述第一医疗用拍摄装置和所述第二医疗用拍摄装置中的任意一方的所述类别信息，设定所述计算部计算的所述强度比的所述荧光成分信号和所述反射光成分信号。
18.另外，本发明的医疗用图像处理装置在上述发明中，所述控制部基于所述类别信息，判定在该医疗用图像处理装置上是否连接了所述第一医疗用拍摄装置或所述第二医疗用拍摄装置，在判断为在该医疗用图像处理装置上连接了所述第一医疗用拍摄装置的情况下，使所述计算部使用所述红色成分信号和所述蓝色成分信号来计算所述强度比，在判断为在该医疗用图像处理装置上连接了所述第二医疗用拍摄装置的情况下，使所述计算部使用所述绿色成分信号和所述蓝色成分信号来计算所述强度比。
19.另外，本发明的医疗用图像处理装置在上述发明中，所述荧光的波段为500nm～640nm。
20.另外，本发明的医疗用图像处理装置在上述发明中，所述控制部基于所述类别信息，判定在该医疗用图像处理装置上是否连接了所述第一医疗用拍摄装置或所述第二医疗用拍摄装置，在判断为在该医疗用图像处理装置上连接了所述第一医疗用拍摄装置的情况下，使所述计算部使用所述红色成分信号和所述蓝色成分信号来计算所述强度比，在判断为在该医疗用图像处理装置上连接了所述第二医疗用拍摄装置的情况下，使所述计算部使用所述绿色成分信号和所述蓝色成分信号来计算所述强度比。
21.另外，本发明所涉及的医疗用图像处理装置在上述发明中，所述窄带光的波段为390nm～470nm，所述截止滤光器对比所述470nm短的波长侧的一部分光进行遮光。
22.另外，本发明的医疗用图像处理装置在上述发明中，所述晚期糖基化终末产物通过利用能量设备进行的热处置而生成。
23.另外，本发明所涉及的医疗用拍摄装置具备：摄像元件，所述摄像元件具有：像素部，其具有配置成2维矩阵状而成的多个像素；以及在所述多个像素各自的受光面设置红色滤光器、绿色滤光器和蓝色滤光器中的任意一个滤光器而构成的彩色滤光器；光学系统，其在所述摄像元件的受光面成像被摄体像；以及截止滤光器，其设置在所述摄像元件与所述光学系统的光路上，所述摄像元件通过拍摄反射光和荧光中的至少一方而生成图像数据，所述反射光是在对生物体组织照射短波长侧的窄带光的情况下来自所述生物体组织的反射光，所述荧光是来自通过对所述生物体组织实施热处置而产生的晚期糖基化终末产物的荧光，所述截止滤光器将包含所述窄带光的波段的短波长侧的一部分光截止，另一方面使比所述截止的波段靠长波长侧的波段透射。
24.另外，本发明的医疗用观察系统具备：上述的医疗用图像处理装置；光源装置，其能够照射所述窄带光；以及医疗用拍摄装置，其生成所述图像数据。
25.另外，本发明所涉及的医疗用观察系统在上述发明中，所述医疗用观察系统还具备插入部，该插入部能够插入到被检体内，具有对所述反射光以及所述荧光进行会聚的光学系统，所述插入部相对于所述医疗用拍摄装置装卸自如。
26.另外，本发明的医疗用观察系统在上述发明中，所述医疗用观察系统还具备内窥镜，该内窥镜具有插入部，该插入部能够插入到被检体内，并具有前端部，所述医疗用拍摄装置设置于所述前端部。
27.另外，本发明所涉及的医疗用观察系统在上述发明中，所述医疗用观察系统还具备：支承部，其将所述医疗用拍摄装置支承为能够转动；以及基座部，其能够在地面上移动，将所述支承部的基端部保持为能够转动。
28.另外，本发明所涉及的图像处理方法，取得通过拍摄反射光和荧光中的至少一方而生成的图像数据，基于所取得的所述图像数据生成拍摄图像，所述反射光是在对生物体组织照射窄带光的情况下来自所述生物体组织的反射光，所述荧光是来自通过对所述生物体组织照射所述窄带光而发出荧光的观察对象的荧光，所述拍摄图像具有由表示红色成分的红色成分信号、表示绿色成分的绿色成分信号和表示蓝色成分的蓝色成分信号构成的颜色成分信号，计算所述拍摄图像的像素中的荧光成分信号与反射光成分信号的强度比，所述荧光成分信号是所述红色成分信号、所述绿色成分信号以及所述蓝色成分信号中的对所述荧光的感光度高的成分信号，所述反射光成分信号是所述红色成分信号、所述绿色成分信号以及所述蓝色成分信号中的在对所述生物体组织照射了所述窄带光时对来自所述生
物体组织的反射光的感光度高的成分信号，根据所述拍摄图像的像素的强度比，判定所述拍摄图像中的荧光区域和背景区域，根据判定结果，对位于所述荧光区域的像素的所述颜色成分信号和位于所述背景区域的像素的所述颜色成分信号分别进行参数互不相同的图像处理，由此生成荧光图像。
29.另外，本发明所涉及的程序，取得通过拍摄反射光和荧光中的至少一方而生成的图像数据，基于所取得的所述图像数据生成拍摄图像，所述反射光是在对生物体组织照射窄带光的情况下来自所述生物体组织的反射光，所述荧光是来自通过对所述生物体组织照射所述窄带光而发出荧光的观察对象的荧光，所述拍摄图像具有由表示红色成分的红色成分信号、表示绿色成分的绿色成分信号和表示蓝色成分的蓝色成分信号构成的颜色成分信号，计算所述拍摄图像的像素中的荧光成分信号与反射光成分信号的强度比，所述荧光成分信号是所述红色成分信号、所述绿色成分信号以及所述蓝色成分信号中的对所述荧光的感光度高的成分信号，所述反射光成分信号是所述红色成分信号、所述绿色成分信号以及所述蓝色成分信号中的在对所述生物体组织照射了所述窄带光时对来自所述生物体组织的反射光的感光度高的成分信号，根据所述拍摄图像的像素的强度比，判定所述拍摄图像中的荧光区域和背景区域，根据判定结果，对位于所述荧光区域的像素的所述颜色成分信号和位于所述背景区域的像素的所述颜色成分信号分别进行参数互不相同的图像处理，由此生成荧光图像。
30.发明效果
31.根据本发明，起到能够提高荧光的视觉辨认性的效果。
附图说明
32.图1是示出实施方式1的内窥镜系统的概略结构的图。
33.图2是示出实施方式1的内窥镜系统的主要部分的功能结构的框图。
34.图3是示意性地示出实施方式1的第二光源部各自发出的光的波长特性的图。
35.图4是示意性地表示实施方式1的像素部的结构的图。
36.图5是示意地表示实施方式1的彩色滤光器的结构的图。
37.图6是示意性地示出实施方式1的各滤光器的感光度和波段的图。
38.图7a是示意性地示出实施方式1的摄像元件的r像素的信号值的图。
39.图7b是示意性地示出实施方式1的摄像元件的g像素的信号值的图。
40.图7c是示意性地示出实施方式1的摄像元件的b像素的信号值的图。
41.图8是示出实施方式1的内窥镜系统所执行的处理的概要的流程图。
42.图9是示出图8的药剂荧光观察模式处理的概要的流程图。
43.图10是示意性地说明实施方式1的图像处理部的药剂荧光观察模式处理时的图像处理的概要的图。
44.图11是示出图8的热处置观察模式的概要的流程图。
45.图12是示意性地说明实施方式1的图像处理部的热处置观察模式处理时的图像处理的概要的图。
46.图13是示出图8的通常光观察模式处理的概要的流程图。
47.图14是示出实施方式2的内窥镜系统的主要部分的功能结构的框图。
unit：中央处理单元)等硬件的处理装置的处理器、以及作为处理器所使用的临时存储区域的存储器来实现。另外，光源装置3和控制装置9既可以如图1所示那样单独地构成为进行通信，也可以构成为一体化。
65.光导4的一端装卸自如地连接于光源装置3，且另一端装卸自如地连接于插入部2。光导4将从光源装置3供给的照明光从一端引导到一端，并向插入部2供给。
66.内窥镜摄像头5与插入部2的目镜部21装卸自如地连接。内窥镜摄像头5在控制装置9的控制下，接收由插入部2成像的观察像并进行光电转换，由此生成图像数据(raw数据)，将该图像数据经由第一传输线缆6输出到控制装置9。
67.第一传输线缆6的一端经由视频连接器61装卸自如地连接到控制装置9，并且另一端经由摄像头连接器62装卸自如地连接到内窥镜摄像头5。第一传输线缆6将从内窥镜摄像头5输出的图像数据传输到控制装置9，并且将从控制装置9输出的设定数据和电力等传输到内窥镜摄像头5。这里，设定数据是用于控制内窥镜摄像头5的控制信号、同步信号和时钟信号等。
68.显示装置7在控制装置9的控制下，显示基于在控制装置9中实施了图像处理的图像数据的显示图像以及与内窥镜系统1相关的各种信息。显示装置7使用液晶或有机el(electro luminescence：电致发光)等显示监视器来实现。
69.第二传输线缆8的一端装卸自如地连接于显示装置7，另一端装卸自如地连接于控制装置9。第二传输线缆8将在控制装置9中实施了图像处理的图像数据向显示装置7传输。
70.控制装置9使用作为具有gpu(graphics processing unit：图形处理单元)、fpga或cpu等硬件的处理装置的处理器和作为处理器所使用的临时存储区域的存储器来实现。控制装置9按照记录在存储器中的程序，分别经由第一传输线缆6、第二传输线缆8以及第三传输线缆10，统一控制光源装置3、内窥镜摄像头5以及显示装置7的动作。另外，控制装置9对经由第一传输线缆6输入的图像数据进行各种图像处理并向第二传输线缆8输出。
71.第三传输线缆10的一端装卸自如地连接于光源装置3，另一端装卸自如地连接于控制装置9。第三传输线缆10将来自控制装置9的控制数据向光源装置3传输。
72.[内窥镜系统的主要部分的功能结构]
[0073]
接着，对上述内窥镜系统1的主要部分的功能结构进行说明。图2是示出内窥镜系统1的主要部分的功能结构的框图。
[0074]
[插入部的结构]
[0075]
首先，对插入部2的结构进行说明。插入部2具有光学系统22和照明光学系统23。
[0076]
光学系统22对从被摄体反射的反射光、来自被摄体的返回光、来自被摄体的激励光以及被摄体发出的光等光进行会聚。光学系统22使用1个或多个透镜等来实现。
[0077]
照明光学系统23向被摄体照射从光导4供给的照明光。照明光学系统23使用1个或多个透镜等来实现。
[0078]
[光源装置的结构]
[0079]
接着，对光源装置3的结构进行说明。光源装置3具备会聚透镜30、第一光源部31、第二光源部32以及光源控制部34。
[0080]
会聚透镜30对第一光源部31、第二光源部32各自发出的光进行会聚并向光导4射出。
[0081]
第一光源部31在光源控制部34的控制下，通过发出作为可见光的白色光(通常光)，将白色光作为照明光提供给光导4。第一光源部31使用准直透镜、白色led灯以及驱动器等构成。另外，第一光源部31也可以通过使用红色led灯、绿色led灯和蓝色led灯同时照射来照射可见光的白色光。当然，第一光源部31也可以使用卤素灯、氙气灯等构成。
[0082]
第二光源部32在光源控制部34的控制下，通过发出窄带光，将窄带光作为照明光提供给光导4。在此，窄带光包含波段为390nm～470nm中的至少一部分。第二光源部32使用准直透镜、紫色led以及驱动器等来实现。
[0083]
光源控制部34使用作为具有fpga或cpu等硬件的处理装置的处理器和作为处理器使用的临时存储区域的存储器来实现。光源控制部34根据从控制装置9输入的控制数据，控制第一光源部31和第二光源部32各自的发光定时和发光时间等。
[0084]
在此，对第二光源部32各自发出的光的波长特性进行说明。图3是示意性地表示第二光源部32各自发出的光的波长特性的图。在图3中，横轴表示波长(nm)，纵轴表示波长特性。另外，在图3中，折线lv表示第二光源部32发出的窄带光的波长特性。另外，在图3中，曲线lb表示蓝色的波段，曲线lg表示绿色的波段，曲线lr表示红色的波段。
[0085]
如图3的折线lv所示，第二光源部32发出包含波段为390nm～470nm中的至少一部分的窄带光。
[0086]
[内窥镜摄像头的结构]
[0087]
返回图2，继续说明内窥镜系统1的结构。
[0088]
接着，对内窥镜摄像头5的结构进行说明。内窥镜摄像头5具备光学系统51、驱动部52、摄像元件53、a/d转换部54、p/s转换部55、拍摄记录部56以及拍摄控制部57。
[0089]
光学系统51将插入部2的光学系统22所会聚的被摄体像成像于摄像元件53的受光面。光学系统51能够变更焦距和焦点位置。光学系统51使用多个透镜511构成。光学系统51通过驱动部52使多个透镜511分别在光轴l1上移动，从而变更焦距以及焦点位置。
[0090]
驱动部52在拍摄控制部57的控制下，使光学系统51的多个透镜511沿光轴l1上移动。驱动部52使用步进电机、dc电机以及音圈电机等电机、和向光学系统51传递电机的旋转的齿轮等传递机构构成。
[0091]
摄像元件53使用ccd(charge coupled device：电荷耦合器件)或cmos(complementary metal oxide semiconductor：互补金属氧化物半导体)的图像传感器来实现。摄像元件53在拍摄控制部57的控制下，接收由光学系统51成像且经由了截止滤光器58的被摄体像(光线)，进行光电转换而生成图像数据(raw数据)并输出到a/d转换部54。摄像元件53具有像素部531和彩色滤光器532。
[0092]
图4是示意性地表示像素部531的结构的图。如图4所示，像素部531是将积累与光量对应的电荷的光电二极管等多个像素p
nm
(n为1以上的整数，m为1以上的整数)配置成二维矩阵状而构成的。像素部531在拍摄控制部57的控制下，从多个像素p
nm
中的被任意设定为读出对象的读出区域的像素p
nm
读出图像信号作为图像数据并输出到a/d转换部54。
[0093]
图5是示意性地表示彩色滤光器532的结构的图。如图5所示，彩色滤光器532由以2
×
2为1个单元的拜耳排列(
ベイヤー
排列)构成。彩色滤光器532使用使红色的波段的光透射的滤光器r、使绿色的波段的光透射的2个滤光器g、以及使蓝色的波段的光透射的滤光器b构成。
[0094]
图6是示意性地表示各滤光器的感光度和波段的图。在图6中，横轴表示波长(nm)，纵轴表示透射特性(感光度特性)。另外，在图6中，曲线lb表示滤光器b的透射特性，曲线lg表示滤光器g的透射特性，曲线lr表示滤光器r的透射特性。
[0095]
如图6的曲线lb所示，滤光器b使蓝色的波段的光透射。另外，如图6的曲线lg所示，滤光器g使绿色的波段的光透射。进而，如图6的曲线lr所示，滤光器r使红色的波段的光透射。另外，以下，将在受光面配置滤光器r而成的像素p
nm
标记为r像素，将在受光面配置滤光器g而成的像素p
nm
标记为g像素，将在受光面配置滤光器b而成的像素p
nm
标记为b像素来进行说明。
[0096]
根据这样构成的摄像元件53，在接收到由光学系统51成像的被摄体像的情况下，如图7a～图7c所示，生成r像素、g像素以及b像素各自的颜色信号(红色成分信号、绿色成分信号以及蓝色成分信号)。
[0097]
a/d转换部54在拍摄控制部57的控制下，对从摄像元件53输入的模拟的图像数据进行a/d转换处理并输出到p/s转换部55。a/d转换部54使用a/d转换电路等来实现。
[0098]
p/s转换部55在拍摄控制部57的控制下，对从a/d转换部54输入的数字图像数据进行并行/串行转换，将进行了该并行/串行转换后的图像数据经由第一传输线缆6输出到控制装置9。p/s转换部55使用p/s转换电路等来实现。此外，在实施方式1中，也可以代替p/s转换部55而设置将图像数据转换为光信号的e/o转换部，通过光信号向控制装置9输出图像数据，例如也可以通过wi-fi(wireless fidelity：无线保真)(注册商标)等无线通信将图像数据发送到控制装置9。
[0099]
拍摄记录部56记录与内窥镜摄像头5相关的各种信息(例如摄像元件53的像素信息的特性)。另外，拍摄记录部56记录经由第一传输线缆6从控制装置9传输来的各种设定数据以及控制用的参数。拍摄记录部56使用非易失性存储器、易失性存储器构成。
[0100]
拍摄控制部57基于经由第一传输线缆6从控制装置9接收到的设定数据，控制驱动部52、摄像元件53、a/d转换部54以及p/s转换部55各自的动作。拍摄控制部57使用tg(timing generator：定时发生器)、作为具有cpu等硬件的处理装置的处理器、以及作为处理器所使用的临时存储区域的存储器来实现。
[0101]
[控制装置的结构]
[0102]
接着，对控制装置9的结构进行说明。
[0103]
控制装置9具备s/p转换部91、检测部92、图像处理部93、输入部94、记录部95以及控制部96。
[0104]
在控制部96的控制下，s/p转换部91对经由第一传输线缆6从内窥镜摄像头5接收的图像数据执行串行/并行转换，并且将图像数据输出到图像处理部93。另外，在内窥镜摄像头5通过光信号输出图像数据的情况下，也可以代替s/p转换部91而设置将光信号转换为电信号的o/e转换部。另外，在内窥镜摄像头5通过无线通信发送图像数据的情况下，也可以代替s/p转换部91而设置能够接收无线信号的通信模块。
[0105]
检测部92基于与从s/p转换部91输入的图像数据对应的拍摄图像，根据各像素的亮度值检测明亮度等级，并将该明亮度等级分别输出到图像处理部93以及控制部96。例如，检测部92检测各像素的亮度值的统计值、例如平均值或中间值作为拍摄图像的明亮度等级。
[0106]
图像处理部93在控制部96的控制下，对从s/p转换部91输入的并行数据的图像数据实施规定的图像处理并向显示装置7输出。在此，规定的图像处理是指增益控制处理、去马赛克处理、白平衡处理、增益调整处理、γ校正处理以及格式转换处理等。图像处理部93使用作为具有gpu或fpga等硬件的处理装置的处理器和作为处理器所使用的临时存储区域的存储器来实现。另外，在实施方式1中，图像处理部93作为医疗用图像处理装置发挥功能。
[0107]
在此，对图像处理部93的详细结构进行说明。图像处理部93至少包括去马赛克处理部931、计算部932、判定部933和生成部934。
[0108]
去马赛克处理部931取得通过拍摄反射光和荧光中的至少一方而生成的图像数据，基于取得的图像数据生成具有由表示红色的成分的红色成分信号、表示绿色的成分的绿色成分信号以及表示蓝色的成分的蓝色成分信号构成的颜色成分信号的拍摄图像，其中所述反射光是在对生物体组织照射短波长侧的窄带光时的来自所述生物体组织的反射光，所述荧光来自通过对生物体组织照射窄带光而发出荧光的观察对象。具体而言，去马赛克处理部931通过公知的去马赛克处理来补充各像素的像素值(颜色成分信号)。
[0109]
计算部932在控制部96的控制下，基于拍摄图像，计算红色成分信号、绿色成分信号以及蓝色成分信号中的对荧光的感光度高的荧光成分信号与红色成分信号、绿色成分信号以及蓝色成分信号中的在窄带光照射到生物体组织时对来自生物体组织的反射光的感光度高的反射光成分信号的强度比。
[0110]
判定部933根据计算部932计算出的拍摄图像的每个像素的强度比，判定拍摄图像中的荧光区域和背景区域。具体而言，判定部933在后述的控制部96的控制下，根据控制部96设定的阈值和计算部932计算出的拍摄图像的每个像素的强度比，判定拍摄图像中的荧光区域和背景区域。
[0111]
生成部934根据判定部933判定的判定结果，对拍摄图像中的位于荧光区域的像素的颜色成分信号和位于背景区域的像素的颜色成分信号进行参数互不相同的图像处理，由此生成荧光图像。具体地，生成部934对位于荧光区域中的像素的颜色成分信号执行增益调整处理作为荧光用参数的图像处理，在该增益调整处理中，针对位于荧光区域中的像素的颜色成分信号的增益大于针对位于背景区域中的像素的颜色成分信号的增益。另一方面，生成部934对于位于背景区域中的像素的颜色成分信号，执行使针对位于背景区域中的像素的颜色成分信号的增益小于针对位于荧光区域中的像素的颜色成分信号的增益的增益调整处理，作为背景用参数的图像处理。此外，除了增益之外，生成部934还对荧光区域和背景区域分别执行不同的荧光用参数和背景用参数的图像处理，以生成荧光图像。在此，作为荧光用参数以及背景用参数，例如包括白平衡调整处理、轮廓强调处理、对比度强调处理以及γ校正处理以及色调转换处理等。
[0112]
输入部94接收与内窥镜系统1相关的各种操作的输入，并将所接收的操作向控制部96输出。输入部94使用鼠标、脚踏开关、键盘、按钮、开关以及触摸面板等构成。
[0113]
记录部95使用易失性存储器、非易失性存储器、ssd(solid state drive：固态硬盘)以及hdd(hard disk drive：硬盘驱动器)等、存储卡等记录介质来实现。记录部95记录包含内窥镜系统1的动作所需的各种参数等的数据。另外，记录部95具有记录用于使内窥镜系统1动作的各种程序的程序记录部951。
[0114]
控制部96使用作为具有fpga或cpu等硬件的处理装置的处理器和作为处理器所使
用的临时存储区域的存储器来实现。控制部96统一控制构成内窥镜系统1的各部。另外，控制部96根据检测部92检测出的明亮度等级，设定用于判定部933判定拍摄图像中的荧光区域和背景区域的阈值。并且，控制部96根据从输入部94输入的指示内窥镜系统1能够执行的观察模式的指示信号，在计算部932中设定计算部932计算的强度比的荧光成分信号和反射光成分信号。
[0115]
[内窥镜系统的处理]
[0116]
接着，对内窥镜系统1执行的处理进行说明。图8是示出内窥镜系统1执行的处理的概要的流程图。另外，以下，图像处理部93进行用于对图像数据进行显像的各种图像处理，但为了简化说明，仅记载各观察模式中的具有特征性的图像处理。
[0117]
如图8所示，首先，控制部96根据从输入部94输入的表示观察模式的模式信号来判断内窥镜系统1是否被设定为药剂荧光观察模式(步骤s1)。在由控制部96判断为内窥镜系统1被设定为药剂荧光观察模式的情况下(步骤s1：是)，内窥镜系统1转移到后述的步骤s2。与此相对，在由控制部96判断为内窥镜系统1未被设定为药剂荧光观察模式的情况下(步骤s1：否)，内窥镜系统1转移到后述的步骤s4。
[0118]
在步骤s2中，内窥镜系统1执行药剂荧光观察模式处理。在步骤s2之后，内窥镜系统1转移到后述的步骤s3。
[0119]
[药剂荧光观察模式处理]
[0120]
图9是表示图8的步骤s2中的药剂荧光观察模式处理的概要的流程图。图10是示意性地说明图像处理部93的药剂荧光观察模式处理时的图像处理的概要的图。在图9中，作为药剂荧光观察，对进行pdd观察的情况进行说明。
[0121]
pdd观察是在pdd观察中使用的激发光例如为375nm～445nm的波段(中心波长410nm)的蓝色的可见光。另外，对被检体的观察对象实施投放5-氨基乙酰丙酸(以下称为“5-ala”)等光敏物质等处置。另外，医生等手术者也可以让患者等被检体服用5～ala的溶解液。5-ala原来是动植物的生物体内含有的天然氨基酸。该5-ala在体内投放后被摄入细胞内，在线粒体内生物合成原卟啉。而且，在癌细胞中，原卟啉过剩地聚集。另外，在癌细胞中过剩地聚集的原卟啉具有光活性。因此，原卟啉在被激发光(例如375nm～445nm的波段的蓝色可见光)激发时，发出荧光(例如600nm～740nm的波段的红色荧光)。这样，pdd观察是使用光动力诊断的观察，该光动力诊断是使用光敏物质使癌细胞进行荧光发光的癌诊断法。
[0122]
如图9所示，首先，控制部96控制光源控制部34，使各个第二光源部32发光，从而朝向被检体照射窄带光(步骤s21)。
[0123]
接着，控制部96通过控制拍摄控制部57，使摄像元件53拍摄由光学系统22和光学系统51会聚的被摄体像(步骤s22)。
[0124]
接着，检测部92基于与经由a/d转换部54、p/s转换部55以及s/p转换部91输入的图像数据对应的拍摄图像，根据各像素的亮度值检测明亮度等级(步骤s23)。在该情况下，检测部92将明亮度等级分别向图像处理部93以及控制部96输出。
[0125]
接着，控制部96根据与内窥镜系统1中设定的观察模式对应的、由计算部932计算出的强度比的颜色成分信号和从检测部92输入的明亮度等级，设定用于将构成拍摄图像的各像素判定为荧光区域和背景区域的阈值(步骤s24)。
[0126]
然后，去马赛克处理部931对经由a/d转换部54、p/s转换部55和s/p转换部91输入
的图像数据(raw数据)执行公知的去马赛克处理(步骤s25)。具体而言，如图10所示，去马赛克处理部931对图像数据进行公知的去马赛克处理而生成拍摄图像，并将该拍摄图像输出到计算部932。在该情况下，如图10所示，在各像素中包含r成分信号、g成分信号、b成分信号。例如，像素p
11
包含r成分信号为0(r＝0)、g成分信号为0(g＝0)、b成分信号为100(b＝100)。另外，像素p
12
包含r成分信号为80(r＝80)、g成分信号为0(g＝0)、b成分信号为100(b＝100)。
[0127]
接着，计算部932基于由控制部96设定的颜色成分信号，计算从去马赛克处理部931输入的拍摄图像的各像素的强度比(步骤s26)。具体而言，如图10所示，计算部932对拍摄图像的各像素计算r成分信号、g成分信号以及b成分信号中的对pdd观察中的荧光的感光度高的荧光成分与r成分信号、g成分信号以及b成分信号中的在对生物体组织照射窄带光时对在该生物体组织中反射的反射光的感光度高的反射光成分的强度比。更具体而言，如图10的像素p
11
所示，计算部932在药剂荧光观察模式的情况下，计算r成分信号的值(r＝0)除以b成分信号的值(b＝100)而得到的值(r/b＝0.0)作为强度比。此外，如图10中的像素p
12
所示，计算部932计算通过将r成分信号的值(r＝80)除以b成分信号的值(b＝100)而获得的值(r/b＝0.8)作为强度比。
[0128]
然后，判定部933根据控制部96设定的阈值和计算部932计算出的各像素的强度比，判定荧光区域(步骤s27)。具体地，判定部933针对拍摄图像的每个像素判定强度比是否在阈值以上，将在阈值以上的像素判定为荧光区域(荧光像素)，并且将小于阈值的像素判定为背景区域(背景像素)。更具体而言，在图10所示的像素p
11
的情况下，强度比为0.0，小于阈值(例如设为0.5以上)，因此判定部933将像素p
11
判定为背景区域，对像素p
11
附加表示是背景区域(背景像素)的信息(例如“0”)。另外，在图10所示的像素p12的情况下，强度比为0.8，为阈值以上，因此判定部933将像素p
12
判定为荧光区域(荧光像素)，对像素p
12
附加表示是荧光区域(荧光像素)的信息(例如“1”)。
[0129]
随后，生成部934基于由控制部96根据内窥镜摄像头5的类别而设置的图像处理参数和由判定部933判定的判定结果，对从去马赛克处理部931输入的拍摄图像的每个像素执行不同参数的图像处理(步骤s28)。具体地，生成部934对由判定部933判定为背景区域的像素的信号值执行降低作为背景用参数的增益的图像处理。与此相对，对由判定部933判定为荧光区域的像素的信号值进行提高作为荧光用参数的增益的图像处理。由此，位于荧光区域的像素的像素值变大，位于背景区域的像素的像素值变小，因此能够强调荧光区域。
[0130]
之后，生成部934对实施了参数互不相同的图像处理后的拍摄图像的各像素进行γ校正处理、色调转换处理、白平衡处理以及格式转换处理等，生成药剂荧光图像q1(伪彩色图像)(步骤s29)。
[0131]
接着，生成部934向显示装置7输出药剂荧光图像q1(步骤s30)。由此，医生等手术者能够观察相对于背景区域强调了荧光区域的药剂荧光图像q1。
[0132]
控制部96判断是否从输入部94输入了切换内窥镜系统1的观察模式的切换信号(步骤s31)。在通过控制部96判断为从输入部94输入了切换内窥镜系统1的观察模式的切换信号的情况下(步骤s31：是)，内窥镜系统1返回图8的主程序。与此相对，在由控制部96判断为未从输入部94输入切换内窥镜系统1的观察模式的切换信号的情况下(步骤s31：否)，内窥镜系统1返回上述的步骤s21。
[0133]
返回图8，继续步骤s3以后的说明。
[0134]
在步骤s3中，控制部96判断是否从输入部94输入了指示被检体的观察结束的指示信号。在通过控制部96判断为从输入部94输入了指示被检体的观察结束的指示信号的情况下(步骤s3：是)，内窥镜系统1结束本处理。与此相对，在由控制部96判断为未从输入部94输入指示被检体的观察结束的指示信号的情况下(步骤s3：否)，内窥镜系统1返回到上述的步骤s1。
[0135]
在步骤s4中，控制部96根据从输入部94输入的表示观察模式的模式信号，判断内窥镜系统1是否被设定为热处置观察模式。在通过控制部96判断为内窥镜系统1被设定为热处置观察模式的情况下(步骤s4：是)，内窥镜系统1转移到后述的步骤s5。与此相对，在由控制部96判断为内窥镜系统1未被设定为热处置观察模式的情况下(步骤s4：否)，内窥镜系统1转移到后述的步骤s6。
[0136]
(热处置观察模式处理)
[0137]
图11是表示上述图8的步骤s5中的热处置观察模式的概要的流程图。图12是示意性地说明图像处理部93的热处置观察模式处理时的图像处理的概要的图。
[0138]
近年来，在医疗领域中，广泛进行使用了内窥镜和腹腔镜等的低侵袭治疗。例如，作为使用内窥镜和腹腔镜等的低侵袭治疗，广泛进行内窥镜的粘膜下层剥离术(esd：endoscopic submucosal dissection)、腹腔镜内窥镜联合手术胃局部切除术(lecs：laparoscopy and endoscopy cooperative surgery)、非穿孔式内窥镜的胃壁内反切除术(news：non-exposed endoscopic wall-inversion surgery)等。
[0139]
在这些低侵袭治疗中，在进行处置的情况下，例如，作为预处置，为了进行手术对象区域的标记等，医生等手术者使用高频刀和电手术刀等能量设备的处置器具进行针对生物体组织的热处置或基于热处置的标记处置。另外，手术者在实际的处置的情况下，也使用能量设备等进行被检体的生物体组织的切除以及凝固等处置。
[0140]
实际情况是，手术者依赖于目视、触觉以及直觉等来确认通过能量设备对生物体组织施加的热处置的程度。因此，在使用了以往的能量设备等的治疗中，手术者难以实时地确认在手术等作业中应该施加热处置的程度等，成为非常需要熟练度的作业项目。其结果，手术者等期望在使用能量设备对生物体组织实施了热处置的情况下，能够使基于热处置(热处置)的对热处置区域的烧灼状态可视化的技术。
[0141]
然而，在加热氨基酸和还原糖的情况下，会发生糖化反应(美拉德(maillard)反应)。该美拉德反应的结果产生的最终产物总称为晚期糖基化终末产物(ages：advanced glycation end products)。作为ages的特征，已知包含具有荧光特性的物质。
[0142]
即，ages是在用能量设备对生物体组织进行热处置的情况下，生物体组织中的氨基酸和还原糖被加热，发生美拉德反应而生成的。通过该加热生成的ages通过荧光观察能够实现热处置的状态的可视化。进而，已知ages发出比原本存在于生物体组织内的自体荧光物质强的荧光。
[0143]
即，热处置观察模式是利用通过利用能量设备等进行热处置而在生物体组织中产生的ages的荧光特性，使基于热处置的热处置区域可视化的观察方法。因此，在热处置观察模式下，从光源装置3向生物体组织照射用于激励ages的波长为415nmm附近的蓝色光。由此，热处置观察模式能够观察对从ages产生的荧光(例如波长490nm～625nm的绿色光)进行
拍摄而得到的热处置图像(荧光图像)。
[0144]
如图11所示，首先，控制部96控制光源控制部34，使第二光源部32发光，从而朝向被检体照射窄带光(步骤s51)。
[0145]
接着，控制部96通过控制拍摄控制部57，使摄像元件53拍摄光学系统22和光学系统51会聚的被摄体像(步骤s52)。
[0146]
接着，检测部92基于与经由a/d转换部54、p/s转换部55以及s/p转换部91输入的图像数据对应的拍摄图像，根据各像素的亮度值检测明亮度等级(步骤s53)。在该情况下，检测部92将明亮度等级分别输出到图像处理部93以及控制部96。
[0147]
接着，控制部96根据从检测部92输入的明亮度等级，设定用于将构成拍摄图像的各像素判定为荧光区域和背景区域的阈值(步骤s54)。
[0148]
然后，去马赛克处理部931对经由a/d转换部54、p/s转换部55和s/p转换部91输入的图像数据(raw数据)执行公知的去马赛克处理(步骤s55)。具体而言，如图12所示，去马赛克处理部931对图像数据进行公知的去马赛克处理而生成拍摄图像，并将该拍摄图像输出到计算部932。在该情况下，如图12所示，在各像素中包含r成分信号、g成分信号、b成分信号。例如，像素p
11
包含r成分信号为0(r＝0)、g成分信号为20(g＝20)、b成分信号为100(b＝100)。另外，像素p
12
包含r成分信号为0(r＝0)、g成分信号为80(g＝80)、b成分信号为100(b＝100)。
[0149]
随后，计算部932基于由控制部96设定的颜色成分信号来计算从去马赛克处理部931输入的拍摄图像的每个像素的强度比(步骤s56)。具体而言，如图12所示，计算部932对拍摄图像的各像素计算r成分信号、g成分信号以及b成分信号中的对热处置观察中的荧光的感光度高的荧光成分与r成分信号、g成分信号以及b成分信号中的对在对生物体组织照射窄带光时在该生物体组织中反射的反射光的感光度高的反射光成分的强度比。更具体而言，如图12的像素p
11
所示，计算部932在热处置观察模式的情况下，计算将g成分信号的值(g＝20)除以b成分信号的值(b＝100)而得到的值(g/b＝0.2)作为强度比。另外，如图12的像素p
12
所示，计算部932计算将g成分信号的值(g＝80)除以b成分信号的值(b＝100)而得到的值(g/b＝0.8)作为强度比。
[0150]
然后，判定部933根据控制部96设定的阈值和计算部932计算出的各像素的强度比，判定荧光区域(步骤s57)。具体地，判定部933针对拍摄图像的每个像素判定强度比是否在阈值以上，将在阈值以上的像素判定为荧光区域(荧光像素)，而将小于阈值的像素判定为背景区域(背景像素)。更具体而言，在图12所示的像素p
11
的情况下，强度比为0.2，小于阈值(例如设为0.5以上)，因此判定部933将像素p
11
判定为背景区域，对像素p
11
附加表示是背景区域(背景像素)的信息(例如“0”)。另外，在图12所示的像素p12的情况下，强度比为0.8，为阈值以上，因此判定部933将像素p
12
判定为荧光区域(荧光像素)，对像素p
12
附加表示是荧光区域(荧光像素)的信息(例如“1”)。
[0151]
随后，生成部934基于由控制部96根据内窥镜摄像头5的类别而设定的图像处理参数和由判定部933判定的判定结果，对从去马赛克处理部931输入的拍摄图像的每个像素执行参数互不相同的图像处理(步骤s58)。具体地，生成部934对由判定部933判定为背景区域的像素的信号值执行降低作为背景用参数的增益的第一图像处理。与此相对，对由判定部933判定为荧光区域的像素的信号值进行提高作为荧光用参数的增益的第一图像处理。由
此，位于荧光区域的像素的像素值变大，位于背景区域的像素的像素值变小，因此能够强调荧光区域。
[0152]
然后，生成部934对已经实施了参数互不相同的图像处理的拍摄图像的每个像素执行γ校正处理、色调转换处理、白平衡处理、格式转换处理等，以生成热处置图像q2(伪彩色图像)(步骤s59)。
[0153]
接着，生成部934将热处置图像q2输出到显示装置7(步骤s60)。由此，医生等手术者能够观察相对于背景区域强调了热处置区域的热处置图像q2。
[0154]
控制部96判断是否从输入部94输入了切换内窥镜系统1的观察模式的切换信号(步骤s61)。在通过控制部96判断为从输入部94输入了切换内窥镜系统1的观察模式的切换信号的情况下(步骤s61：是)，内窥镜系统1返回图8的主程序。与此相对，在由控制部96判断为未从输入部94输入切换内窥镜系统1的观察模式的切换信号的情况下(步骤s61：否)，内窥镜系统1返回上述的步骤s51。
[0155]
返回图8，继续步骤s6以后的说明。
[0156]
在步骤s6中，控制部96根据从输入部94输入的表示观察模式的模式信号，判断内窥镜系统1是否被设定为通常光观察模式。在由控制部96判断为内窥镜系统1被设定为通常光观察模式的情况下(步骤s6：是)，内窥镜系统1转移到后述的步骤s7。与此相对，在由控制部96判断为内窥镜系统1未被设定为通常光观察模式的情况下(步骤s6：否)，内窥镜系统1转移到步骤s3。
[0157]
在s7中，内窥镜系统1执行通常光观察模式处理。在步骤s7之后，内窥镜系统1转移到步骤s3。
[0158]
[通常光观察模式处理]
[0159]
图13是表示上述图8的步骤s7的通常光观察模式处理的概要的流程图。
[0160]
如图13所示，首先，控制部96通过控制光源控制部34，使第一光源部31发光，从而朝向被检体照射白色光(步骤s71)。
[0161]
接着，控制部96通过控制拍摄控制部57，使摄像元件53拍摄光学系统22和光学系统51会聚的被摄体像(步骤s72)。
[0162]
之后，控制部96使去马赛克处理部931对经由a/d转换部54、p/s转换部55以及s/p转换部91输入的图像数据执行去马赛克处理(步骤s73)。
[0163]
接着，生成部934对去马赛克处理部931进行了去马赛克处理后的拍摄图像进行γ校正处理、色调转换处理、白平衡处理和格式转换处理等第二图像处理，生成白色光图像(步骤s74)，将该白色光图像输出到显示装置7(步骤s75)。
[0164]
接着，控制部96判断是否从输入部94输入了切换内窥镜系统1的观察模式的切换信号(步骤s76)。在通过控制部96判断为从输入部94输入了切换内窥镜系统1的观察模式的切换信号的情况下(步骤s76：是)，内窥镜系统1返回图8的主程序。与此相对，在由控制部96判断为未从输入部94输入切换内窥镜系统1的观察模式的切换信号的情况下(步骤s76：否)，内窥镜系统1返回上述的步骤s71。
[0165]
根据以上说明的实施方式1，计算部932按照拍摄图像的每个像素计算对荧光的感光度高的荧光成分信号与对反射光的感光度高的反射光成分信号的强度比，判定部933根据由计算部932计算出的像素后的强度比，判定拍摄图像的荧光区域和背景区域，生成部
934对由判定部933判定出的位于荧光区域的像素的颜色成分信号和位于背景区域的像素的颜色成分信号分别进行参数互不相同的图像处理，由此生成热处置图像或药剂荧光图像，因此能够提高荧光的视觉辨认性。
[0166]
并且，根据实施方式1，生成部943进行使针对位于荧光区域的像素的颜色成分信号的增益大于针对位于背景区域的像素的颜色成分信号的增益的增益调整处理作为图像处理，生成热处置图像或药剂荧光图像，因此能够提高荧光的视觉辨认性。
[0167]
另外，根据实施方式1，控制部96根据检测部92的检测结果来设定阈值，因此判定部933能够区分判定拍摄图像中包含的噪声和荧光的发光。
[0168]
另外，根据实施方式1，仅由一个摄像元件53构成内窥镜摄像头5，因此能够实现内窥镜摄像头5的低成本化、小型化轻量化以及控制装置9的控制处理的简化。
[0169]
(实施方式2)
[0170]
接着，对实施方式2进行说明。实施方式2的内窥镜系统与上述实施方式1的内窥镜系统1的结构不同。具体而言，实施方式2的内窥镜系统还具备作为光学元件的截止滤光器，该截止滤光器对作为激励光的窄带光被生物体组织反射后的反射光以及返回光进行遮光。以下，说明实施方式2的内窥镜系统的结构。另外，对与上述实施方式1的内窥镜系统1相同的结构标注相同的标号并省略详细的说明。
[0171]
[内窥镜系统的主要部分的功能结构]
[0172]
图14是示出内窥镜系统的主要部分的功能结构的框图。图14所示的内窥镜系统1a具备内窥镜摄像头5a来代替上述实施方式1的内窥镜摄像头5。
[0173]
[内窥镜摄像头的结构]
[0174]
内窥镜摄像头5a除了上述的实施方式1所涉及的内窥镜摄像头5的结构以外，还具备截止滤光器58。
[0175]
截止滤光器58配置在光学系统51与摄像元件53的光路上。截止滤光器58对包含窄带光的波段的短波长波段的光的大部分进行遮光，使比其大部分被遮光的波段靠长波长侧的波段透射。
[0176]
图15a是示意性地示出截止滤光器58的透射特性的图。在图15a中，横轴表示波长(nm)，纵轴表示透射特性。另外，在图15a中，折线lf表示截止滤光器58的透射特性，折线lv表示窄带光的波长特性，折线l
ng
表示ages的荧光的波长特性，折线l
pdd
表示5_ala的荧光的波长特性。
[0177]
如图15a所示，截止滤光器58对短波长波段的光的大部分进行遮光，使比其大部分被遮光的波段靠长波长侧的波段透射。具体而言，截止滤光器58对包含窄带光的波段且小于430nm～470nm中的任意波长的短波长侧波段的大部分光进行遮光，并且，使比其大部分被遮光的波段靠长波长侧的波段的光透射。例如，如折线l
ng
和折线l
pdd
所示，截止滤光器58使通过热处置而产生的ages的荧光和5-ala的荧光透射。
[0178]
另外，截止滤光器58也可以具有其他透射特性。图15b是示意性地示出截止滤光器58的其他透射特性的图。
[0179]
如图15b所示，截止滤光器58与上述的透射特性同样地，对短波长波段的光的大部分进行遮光，使比其大部分被遮光的波段靠长波长侧的波段透射。具体而言，截止滤光器58对包含窄带光的波段且小于430nm～470nm中的任意波长的短波长侧波段的大部分光进行
遮光，并且使比其大部分被遮光的波段靠长波长侧的波段的光透射。例如，如折线l
ng
和折线l
pdd
所示，截止滤光器58使通过热处置产生的ages的荧光和5-ala的荧光透射。
[0180]
[各观察模式的概要]
[0181]
接着，对内窥镜系统1a执行的各观察模式的概要进行说明。另外，以下，依次对药剂荧光观察模式、热处置观察模式以及通常光观察模式进行说明。
[0182]
[药剂荧光观察模式的概要]
[0183]
首先，对药剂荧光观察模式进行说明。图16是示意性地表示药剂荧光观察模式时的观察原理的图。
[0184]
如图16的图表g1所示，首先，光源装置3在控制装置9的控制下，使第二光源部32发光，从而将窄带光(激励光415nm)照射到被投放了药剂(5-ala)的被检体的生物体组织o1。在该情况下，至少在被检体等生物体组织o1被激发的荧光wf1入射到r像素。并且，包含被反射的多个成分的反射光和返回光(以下，简称为“反射光w1”)被截止滤光器58遮光而强度降低，另一方面，比其大部分被遮光的波段靠长波长侧的成分的一部分不降低强度地入射到摄像元件53。
[0185]
更具体而言，如图16的图表g2的折线lf所示，截止滤光器58对入射到r像素的反射光w1、即包含窄带光的波段的短波长波段的反射光w1的大部分进行遮光，并使比其大部分被遮光的波段靠长波长侧的波段透射。此外，如图16的图表g2所示，截止滤光器58使通过激励生物体组织o1(药剂区域)而产生的荧光(荧光wf1)透射。因此，强度降低后的反射光w1和荧光wf1分别入射到r像素和b像素。
[0186]
接着，如图16的透射特性的表g3所示，r像素、g像素以及b像素各自的透射特性(感光度特性)相互不同。具体而言，b像素对窄带光的反射光w1具有感光度，因此与反射光w1的受光量对应的输出值成为较大的值。并且，r像素对荧光wf1具有感光度，但由于是荧光微小的反应，因此输出值成为较小的值。
[0187]
之后，图像处理部93从内窥镜摄像头5a的摄像元件53取得图像数据(raw数据)，对所取得的图像数据中包含的r像素和b像素各自的颜色成分信号(像素值)进行图像处理，生成药剂荧光图像(伪彩色图像)。在该情况下，r像素的颜色成分信号中包含来自药剂的荧光信息。另外，b像素中包含来自被检体的生物体组织的背景信息。因此，图像处理部93进行与上述实施方式1相同的处理而生成药剂荧光图像。具体而言，图像处理部93进行去马赛克处理、计算每个像素的强度比的处理、判定荧光区域和背景区域的处理，对位于荧光区域的像素的颜色成分信号(像素值)以及位于背景区域的像素的颜色成分信号(像素值)分别进行参数互不相同的图像处理，生成药剂荧光图像(伪彩色图像)。然后，图像处理部93向显示装置7输出药剂荧光图像。在此，荧光区域是指与背景信息相比荧光信息占优的区域。另外，背景区域是指与荧光信息相比背景信息占优的区域。具体而言，图像处理部93在像素所包含的相当于背景信息的反射光成分信号与相当于荧光信息的荧光成分信号的强度比为规定的阈值以上(例如0.5以上)的情况下，判定为是荧光区域，另一方面，在强度比小于规定的阈值的情况下，判定为是背景区域。
[0188]
这样，药剂荧光观察模式能够强调显示用白色光(通常光)难以视觉辨认的药剂的荧光区域。
[0189]
[热处置观察模式的概要]
[0190]
接着，对热处置观察模式进行说明。图17是示意性地表示热处置观察模式时的观察原理的图。
[0191]
如图17的图表g11所示，首先，光源装置3在控制装置9的控制下，使第二光源部32发光，由此将作为激励光(中心波长415nm)的窄带光照射到通过能量设备等对被检体实施了热处置的生物体组织o2(热处置区域)。在该情况下，如图17的图表g12所示，至少包含被生物体组织o2(热处置区域)反射的窄带光成分和返回光的反射光(以下，简称为“反射光w10”)被截止滤光器58遮光而强度降低，另一方面，比其大部分被遮光的波段靠长波长侧的成分的一部分不降低强度地入射到摄像元件53。
[0192]
更具体而言，如图17的图表g12所示，截止滤光器58对入射到g像素的反射光w10、即包含窄带光波段的短波长波段的反射光w10的大部分进行遮光，并使比其大部分被遮光的波段靠长波长侧的波段透射。进而，如图17的图表g12所示，截止滤光器58使生物体组织o1(热处置区域)中的ages自体发光的荧光(wf10)透射。因此，强度降低后的反射光w10和荧光(wf10)分别入射到r像素、g像素和b像素。
[0193]
另外，如图17的图表g12中的荧光特性的折线l
ng
所示，g像素对荧光具有感光度，但由于是荧光微小的反应，因此输出值成为较小的值。
[0194]
之后，图像处理部93从内窥镜摄像头5a的摄像元件53取得图像数据(raw数据)，对所取得的图像数据中包含的g像素和b像素各自的信号值进行图像处理，生成伪彩色图像(热处置荧光图像)。在该情况下，g像素的信号值包含从热处置区域发出的荧光信息。另外，在b像素中包含来自包含热处置区域的被检体的生物体组织的背景信息。因此，图像处理部93进行与上述实施方式1同样的处理而生成热处置图像。具体而言，图像处理部93进行去马赛克处理、计算每个像素的强度比的处理、判定荧光区域和背景区域的处理，对位于荧光区域的像素的颜色成分信号(像素值)以及位于背景区域的像素的颜色成分信号(像素值)分别进行参数互不相同的图像处理，生成热处置图像(伪彩色图像)。然后，图像处理部93将热处置图像输出到显示装置7。在此，荧光区域是指与背景信息相比荧光信息占优的区域。另外，背景区域是指与荧光信息相比背景信息占优的区域。具体而言，图像处理部93在像素所包含的相当于背景信息的反射光成分信号与相当于荧光信息的荧光成分信号的强度比为规定的阈值以上(例如0.5以上)的情况下，判定为是荧光区域，另一方面，在强度比小于规定的阈值的情况下，判定为是背景区域。
[0195]
这样，热处置观察模式能够容易地观察利用能量设备等进行的热处置的生物体组织o2(热处置区域)。
[0196]
[通常光观察模式的概要]
[0197]
接着，对通常光观察模式进行说明。图18是示意性地表示通常光观察模式时的观察原理的图。
[0198]
如图18所示，首先，光源装置3在控制装置9的控制下，使第一光源部31发光，从而向被检体的生物体组织o3照射白色光w3。在该情况下，被生物体组织反射的反射光和返回光(以下，简称为“反射光wr30、反射光wg30、反射光wb30”)的一部分被截止滤光器58遮光，剩余部分入射到摄像元件53。具体而言，如图18所示，截止滤光器58对包含窄带光波段的短波长波段的反射光进行遮光。因此，如图18所示，入射到b像素的蓝色波段的光的成分与未配置截止滤光器58的状态相比变小。
[0199]
接着，图像处理部93从内窥镜摄像头5a的摄像元件53取得图像数据(raw数据)，对所取得的图像数据中包含的r像素、g像素以及b像素各自的信号值进行图像处理而生成白色光图像。在该情况下，由于图像数据中包含的蓝色成分与以往的白色光观察相比较小，所以图像处理部93进行调整白平衡的白平衡调整处理，使得红色成分、绿色成分以及蓝色成分的比例成为一定比例。
[0200]
这样，在通常光观察模式下，即使在配置有截止滤光器58的情况下，也能够观察到自然的白色图像。
[0201]
即，内窥镜系统1a进行与上述实施方式1相同的处理，分别在药剂荧光观察模式和热处置观察模式下判定背景区域和荧光区域，分别对背景区域和荧光区域施加相互不同的图像处理参数，由此生成相对于背景区域强调了荧光区域的药剂荧光图像或热处置图像并显示于显示装置7。
[0202]
根据以上说明的实施方式2，起到与上述的实施方式1同样的效果，并且，由于设置了作为光学元件的截止滤光器58，所以能够防止来自热处置区域的荧光被埋没在由生物体组织反射的反射光和返回光中。
[0203]
(实施方式3)
[0204]
接着，对实施方式3进行说明。实施方式3的内窥镜系统具有与上述实施方式1、2的内窥镜系统相同的结构，所执行的处理不同。具体而言，在上述的实施方式1、2中，控制部根据与从输入部输入的模式信号相应地设定的观察模式来设定计算部计算的颜色成分信号的强度比，但在实施方式3中，控制部根据与控制装置连接的内窥镜摄像头的类别来设定计算部计算的颜色成分信号的强度比。以下，对实施方式3的内窥镜系统所执行的处理进行说明。另外，对与上述实施方式1的内窥镜系统相同的结构标注相同的标号并省略详细的说明。
[0205]
[内窥镜系统的处理]
[0206]
图19是示出实施方式3的内窥镜系统执行的处理的概要的流程图。另外，在图19中，连接有上述实施方式1的内窥镜摄像头5或上述实施方式2的内窥镜摄像头5a中的任意一方。即，在实施方式3中，内窥镜摄像头5作为第一医疗用拍摄装置发挥功能，内窥镜摄像头5a作为第二医疗用拍摄装置发挥功能。此外，在下文中，在指内窥镜摄像头5和内窥镜摄像头5a中的任一个的情况下，简称为内窥镜摄像头。
[0207]
如图19所示，首先，控制部96取得类别信息，所述类别信息表示记录在与控制装置9连接的内窥镜摄像头的拍摄记录部56中的表示内窥镜摄像头的类别(步骤s101)。
[0208]
接着，控制部96根据在步骤s101中取得的类别信息，判断与控制装置9连接的内窥镜摄像头是否是能够进行药剂荧光观察模式的内窥镜摄像头5(第一医疗用拍摄装置)(步骤s101)。在通过控制部96判断为与控制装置9连接的内窥镜摄像头是能够进行药剂荧光观察模式的内窥镜摄像头5(第一医疗用拍摄装置)的情况下(步骤s101：是)，内窥镜系统1转移到后述的步骤s102。与此相对，在通过控制部96判断为与控制装置9连接的内窥镜摄像头不是能够进行药剂荧光观察模式的内窥镜摄像头5(第一医疗用拍摄装置)的情况下(步骤s101：否)，内窥镜系统1转移到后述的步骤s104。
[0209]
步骤s102以及步骤s103分别与上述的图8的步骤s2以及步骤s3对应。
[0210]
在步骤s104中，根据在步骤s101中取得的类别信息，判断与控制装置9连接的内窥
镜摄像头是否是能够进行热处置观察模式的内窥镜摄像头5a(第二医疗用拍摄装置)。在通过控制部96判断为与控制装置9连接的内窥镜摄像头是能够进行热处置观察模式的内窥镜摄像头5a(第二医疗用拍摄装置)的情况下(步骤s104：是)，内窥镜系统1转移到后述的步骤s105。与此相对，在通过控制部96判断为与控制装置9连接的内窥镜摄像头不是能够进行热处置观察模式的内窥镜摄像头5a(第二医疗用拍摄装置)的情况下(步骤s104：否)，内窥镜系统1转移到后述的步骤s106。
[0211]
步骤s105～步骤s107分别与上述的图8的步骤s105～步骤s107对应。
[0212]
根据以上说明的实施方式3，控制部96根据表示与控制装置9连接的内窥镜摄像头的类别的识别信息，设定计算部932计算的强度比的颜色成分信号，因此，能够进行与由与控制装置9连接的内窥镜摄像头进行的观察模式对应的参数的图像处理，并且，与上述实施方式1、2同样，能够提高荧光的视觉辨认性。
[0213]
(实施方式4)
[0214]
接着，对实施方式3进行说明。在上述的实施方式1～3中，是具备硬性镜的内窥镜系统，但在实施方式4中，对具备软性的内窥镜的内窥镜系统进行说明。以下，对实施方式4的内窥镜系统进行说明。另外，在实施方式4中，对与上述实施方式1的内窥镜系统1相同的结构标注相同的标号并省略详细的说明。
[0215]
[内窥镜系统的结构]
[0216]
图20是示出实施方式4的内窥镜系统的概略结构的图。图21是示出实施方式4的内窥镜系统的主要部分的功能结构的框图。
[0217]
图20和图21所示的内窥镜系统100通过插入到患者等被检体内来拍摄被检体的体内，显示装置7显示基于该拍摄到的图像数据的显示图像。医生等手术者通过进行显示装置7所显示的显示图像的观察，来检查作为检查对象部位的出血部位、肿瘤部位以及拍摄有异常部位的异常区域各自的有无、状态。进而，医生等手术者经由内窥镜的处置器具通道将能量设备等处置器具插入到被检体的体内而进行被检体的处置。内窥镜系统100除了具备上述的光源装置3、显示装置7以及控制装置9之外，还具备内窥镜102。
[0218]
[内窥镜的结构]
[0219]
对内窥镜102的结构进行说明。内窥镜102通过拍摄被检体的体内来生成图像数据，并将该生成的图像数据输出到控制装置9。内窥镜102具备操作部122和通用缆线123。
[0220]
插入部121呈具有挠性的细长形状。插入部121具有：前端部124，其内置有后述的拍摄装置；弯曲自如的弯曲部125，其由多个弯曲块构成；以及长条状的挠性管部126，其与弯曲部125的基端侧连接，具有挠性。
[0221]
前端部124使用玻璃纤维等构成。前端部124具有：光导241，其构成从光源装置3供给的光的导光路径；照明透镜242，其设置于光导241的前端；以及拍摄装置243。
[0222]
拍摄装置243具有会聚用的光学系统244、上述实施方式1的摄像元件53、截止滤光器58、a/d转换部54、p/s转换部55、拍摄记录部56、拍摄控制部57。另外，在实施方式3中，拍摄装置243作为医疗用拍摄装置发挥功能。
[0223]
通用缆线123至少内置有光导241和汇集了1个或多个线缆的集合线缆。集合线缆是在内窥镜102以及光源装置3与控制装置9之间收发信号的信号线，包含用于收发设定数据的信号线、用于收发拍摄图像(图像数据)的信号线、用于收发用来驱动摄像元件53的驱
动用定时信号的信号线等。通用缆线123具有相对于光源装置3装卸自如的连接器部127。连接器部127延伸设置有线圈状的线圈线缆127a，在线圈线缆127a的延伸端具有相对于控制装置9装卸自如的连接器部128。
[0224]
这样构成的内窥镜系统100进行与上述实施方式1的内窥镜系统1同样的处理。
[0225]
根据以上说明的实施方式4，具有与上述实施方式1同样的效果，而且能够仅利用1个摄像元件53进行窄带光观察和通过能量设备等进行的热处置而产生的荧光观察，因此能够实现插入部121的细径化。
[0226]
(实施方式5)
[0227]
接着，说明实施方式5。在上述的实施方式1～4中，是内窥镜系统，但在实施方式5中，对应用于手术用显微镜系统的情况进行说明。另外，在实施方式5中，对与上述实施方式1的内窥镜系统1相同的结构标注相同的标号并省略详细的说明。
[0228]
[手术用显微镜系统的结构]
[0229]
图22是示出实施方式5的手术用显微镜系统的概略结构的图。图22所示的手术用显微镜系统300具备：显微镜装置310，其是通过拍摄而取得用于观察被摄体的图像的医疗用拍摄装置；以及显示装置7。另外，也可以将显示装置7和显微镜装置310构成为一体。
[0230]
显微镜装置310具有：显微镜部312，其将被摄体的微小部位放大来拍摄；支承部313，其与显微镜部312的基端部连接，包括将显微镜部312支承为能够转动的臂；以及基座部314，其能够在地面上移动，将支承部313的基端部保持为能够转动。基座部314具有：光源装置3，其生成从显微镜装置310向被摄体照射的白色光、窄带光等；以及控制装置9，其控制手术用显微镜系统300的动作。另外，光源装置3和控制装置9分别至少具有与上述实施方式1相同的结构。具体而言，光源装置3具备会聚透镜30、第一光源部31、第二光源部32以及光源控制部34。另外，控制装置9具备s/p转换部91、图像处理部93、输入部94、记录部95以及控制部96。基座部314也可以不是以能够移动的方式设置在地面上，而是构成为固定于天花板、壁面等来支承支承部313。
[0231]
显微镜部312例如呈圆柱状，在其内部具有上述医用拍摄装置。具体而言，医疗用拍摄装置具有与上述实施方式1的内窥镜摄像头5相同的结构。例如，显微镜部312具备光学系统51、驱动部52、摄像元件53、a/d转换部54、p/s转换部55、拍摄记录部56、拍摄控制部57以及截止滤光器58。另外，在显微镜部312的侧面设置有接受显微镜装置310的动作指示的输入的开关。在显微镜部312的下端部的开口面设置有保护内部的玻璃罩(未图示)。
[0232]
这样构成的手术用显微镜系统300在手术者等用户把持显微镜部312的状态下一边操作各种开关，一边使显微镜部312移动、进行变焦操作、切换照明光。另外，显微镜部312的形状优选为在观察方向上细长地延伸的形状，以便用户容易把持着变更视野方向。因此，显微镜部312的形状也可以是圆柱形状以外的形状，例如也可以是多棱柱状。
[0233]
根据以上说明的实施方式5，在手术用显微镜系统300中，也能够得到与上述实施方式1相同的效果，并且能够实现显微镜部312的小型化。
[0234]
(其他实施方式)
[0235]
通过适当组合上述的本发明的实施方式1～4的医疗用观察系统所公开的多个构成要素，能够形成各种发明。例如，可以从根据上述本发明的实施方式的医疗用观察系统中描述的所有构成要件中删除一些构成要件。此外，可以适当地组合在根据本发明的上述实
施方式的医疗用观察系统中描述的构成要件。
[0236]
另外，在本发明的实施方式1～4的医疗用观察系统中，上述的“部”能够改称为“单元”、“电路”等。例如，控制部能够改称为控制单元、控制电路。
[0237]
此外，在本说明书中的流程图的说明中，使用“首先”、“之后”、“接着”等表现来明示步骤间的处理的前后关系，但为了实施本发明所需的处理的顺序并不是由这些表现唯一地决定。即，在本说明书所记载的流程图中的处理的顺序在不产生矛盾的范围内可以进行变更。
[0238]
以上，基于附图对本发明的实施方式的几个进行了详细说明，但这些是例示，能够以本说明书的栏所记载的方式为首，以基于本领域技术人员的知识实施了各种变形、改良的其他方式来实施本发明。
[0239]
标号说明
[0240]
1，1a，100 内窥镜系统
[0241]
2，121 插入部
[0242]
3 光源装置
[0243]
4，241 光导
[0244]
5，5a 内窥镜摄像头
[0245]
6 第一传输线缆
[0246]
7 显示装置
[0247]
8 第二传输线缆
[0248]
9 控制装置
[0249]
10 第三传输线缆
[0250]
21 目镜部
[0251]
22 光学系统
[0252]
23 照明光学系统
[0253]
30 会聚透镜
[0254]
31 第一光源部
[0255]
32 第二光源部
[0256]
34 光源控制部
[0257]
51 光学系统
[0258]
52 驱动部
[0259]
53 摄像元件
[0260]
54 a/d转换部
[0261]
55 p/s转换部
[0262]
56 拍摄记录部
[0263]
57 拍摄控制部
[0264]
58，58a，58c 截止滤光器
[0265]
61 视频连接器
[0266]
62 摄像头连接器
[0267]
91 s/p转换部
[0268]
92 检测部
[0269]
93 图像处理部
[0270]
94 输入部
[0271]
95 记录部
[0272]
96 控制部
[0273]
102 内窥镜
[0274]
122 操作部
[0275]
123 通用缆线
[0276]
124 前端部
[0277]
125 弯曲部
[0278]
126 挠性管部
[0279]
127，128 连接器部
[0280]
127a 线圈线缆
[0281]
242 照明透镜
[0282]
243 拍摄装置
[0283]
244 光学系统
[0284]
300 手术用显微镜系统
[0285]
310 显微镜装置
[0286]
312 显微镜部
[0287]
313 支承部
[0288]
314 基座部
[0289]
511 透镜
[0290]
531 像素部
[0291]
532 彩色滤光器
[0292]
541，542 透射部
[0293]
931 去马赛克处理部
[0294]
932 计算部
[0295]
933 判断部
[0296]
934 生成部
[0297]
951 程序记录部