内窥镜装置和图像处理方法与流程

1.本发明涉及一种内窥镜装置和图像处理方法。


背景技术：

2.以往，在内窥镜中使用具备原色系或补色系的滤色器阵列的彩色摄像元件(例如，参照专利文献1。)。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2013
‑
106692号公报


技术实现要素：

6.发明要解决的问题
7.滤色器的光谱特性存在个体差异，因此根据摄像元件不同，光谱特性有偏差，从而内窥镜图像的颜色根据内窥镜不同而有偏差。滤色器的光谱特性的个体差异所引起的这种内窥镜图像的颜色的偏差尤其在窄带光观察中会成为问题。
8.本发明是鉴于上述情况而完成的，其目的在于提供一种能够对摄像元件的光谱特性的个体差异所引起的窄带光观察中的图像的颜色的偏差进行校正的内窥镜装置和图像处理方法。
9.用于解决问题的方案
10.为了达到上述目的，本发明提供以下的方案。
11.本发明的一个方式是一种内窥镜装置，具备：摄像元件，其具有使第一颜色的第一光透过的第一滤色器和使第二颜色的第二光透过的第二滤色器，获取基于透过所述第一滤色器后的第一光的第一图像信号和基于透过所述第二滤色器后的第二光的第二图像信号；颜色分离校正部，其对所述第一图像信号和所述第二图像信号分别进行颜色分离处理和个体差异校正处理；以及颜色变换部，其将已被进行所述颜色分离处理和所述个体差异校正处理的第一图像信号和第二图像信号分别分配到彩色图像信号的第一通道和第二通道，其中，所述颜色分离处理是以下处理：从所述第一图像信号减去基于所述第二光的信号，从所述第二图像信号减去基于所述第一光的信号，所述个体差异校正处理是以下处理：对基于所述第一滤色器的光谱特性与规定的第一基准滤色器的光谱特性之差的所述第一图像信号的误差进行校正，对基于所述第二滤色器的光谱特性与规定的第二基准滤色器的光谱特性之差的所述第二图像信号的误差进行校正。
12.根据本方式，通过摄像元件来拍摄被第一光和第二光同时照明的被摄体，由此同时获取第一图像信号和第二图像信号。第一光和第二光是颜色互不相同的光，基于透过第一滤色器后的第一光生成第一图像信号，基于透过第二滤色器后的第二光生成第二图像信号。第一图像信号和第二图像信号被颜色变换部分别分配到彩色图像信号的第一通道和第二通道。能够基于这种彩色图像信号来生成基于第一光的图像与基于第二光的图像叠加而
成的彩色图像。
13.在此，在被颜色变换部分配给通道之前，第一图像信号和第二图像信号被进行颜色分离处理和个体差异校正处理。
14.第一图像信号还可能包含基于透过第一滤色器后的第二光的信号。同样地，第二图像信号还可能包含基于透过第二滤色器后的第一光的信号。通过颜色分离处理，从第一图像信号去除基于第二光的信号，从第二图像信号去除基于第一光的信号。因而，在将窄带光用作第一光和第二光中的至少一方的窄带光观察中，能够基于进行了颜色分离处理的图像信号来得到被摄体的特定的信息被进行了强调的窄带光图像。
15.另外，第一图像信号可能包含第一滤色器的光谱特性的个体差异所引起的误差。同样地，第二图像信号可能包含第二滤色器的光谱特性的个体差异所引起的误差。通过个体差异校正处理，得到与使用第一基准滤色器的情况等同的第一图像信号以及与使用第二基准滤色器的情况等同的第二图像信号。因而，能够基于进行了个体差异校正处理的第一图像信号和第二图像信号，来生成摄像元件的滤色器的光谱特性的个体差异所引起的颜色的偏差被校正了的彩色的窄带光图像。
16.另外，通过颜色分离校正部来进行颜色分离处理和个体差异校正处理这两方，因此在通过电路来实现颜色分离处理和个体差异校正处理的情况下，无需使电路复杂化或大规模化，就能够实现对图像的颜色的偏差的校正。
17.在上述一个方式中，也可以是，所述第二滤色器使第三颜色的第三光透过，所述摄像元件在不同于所述第一图像信号及所述第二图像信号的定时获取基于透过所述第二滤色器后的第三光的第三图像信号，所述颜色变换部将所述第三图像信号分配到所述彩色图像信号的第三通道。
18.第三光是具有与第二光接近的波长的光。根据该结构，能够使用颜色相互接近的2个光来观察被摄体。
19.在上述一个方式中，也可以是，所述第一滤色器使在380nm至460nm的波长带具有峰值波长的所述第一光透过，所述第二滤色器使在500nm至580nm的波长带具有峰值波长的所述第二光透过。
20.根据该结构，能够使用蓝的第一光和绿的第二光来进行nbi(narrow band imaging：窄带成像)观察。
21.在上述一个方式中，也可以是，所述第一滤色器使在400nm至585nm的波长带具有峰值波长的所述第一光透过，所述第二滤色器使在610nm至730nm的波长带具有峰值波长的所述第二光和在585nm至615nm的波长带具有峰值波长的所述第三光透过。
22.根据该结构，能够使用绿的第一光、红的第二光以及橙的第三光来进行rbi(red band imaging：红带成像)观察。
23.本发明的其它方式是一种对通过摄像元件获取到的图像信号进行处理的图像处理方法，所述摄像元件具有使第一颜色的第一光透过的第一滤色器和使第二颜色的第二光透过的第二滤色器，获取基于透过所述第一滤色器后的第一光的第一图像信号和基于透过所述第二滤色器后的第二光的第二图像信号，所述图像处理方法包括以下工序：对所述第一图像信号和所述第二图像信号分别进行颜色分离处理和个体差异校正处理；以及将已被进行所述颜色分离处理和所述个体差异校正处理的第一图像信号和第二图像信号分别分
配到彩色图像信号的第一通道和第二通道，其中，所述颜色分离处理是以下处理：从所述第一图像信号减去基于所述第二光的信号，从所述第二图像信号减去基于所述第一光的信号，所述个体差异校正处理是以下处理：对基于所述第一滤色器的光谱特性与规定的第一基准滤色器的光谱特性之差的所述第一图像信号的误差进行校正，对基于所述第二滤色器的光谱特性与规定的第二基准滤色器的光谱特性之差的所述第二图像信号的误差进行校正。
24.发明的效果
25.根据本发明，起到以下效果：能够对摄像元件的光谱特性的个体差异所引起的窄带光观察中的图像的颜色的偏差进行校正。
附图说明
26.图1是本发明的一个实施方式所涉及的内窥镜装置的整体结构图。
27.图2是表示rbi用的照明光的光谱特性的图表。
28.图3a是表示摄像元件的光谱特性的一例的图表。
29.图3b是表示摄像元件的光谱特性的其它例的图表。
30.图4a是表示图3a的摄像元件的r像素和g像素所接收的光的光谱特性的图，是说明由图3a的摄像元件获取的r、o、g图像信号的图。
31.图4b是表示图3b的摄像元件的r像素和g像素所接收的光的光谱特性的图，是说明由图3b的摄像元件获取的r、o、g图像信号的图。
32.图5a是说明颜色分离处理和个体差异校正处理后的图4a的r、o、g图像信号的图。
33.图5b是说明颜色分离处理和个体差异校正处理后的图4b的r、o、g图像信号的图。
34.图5c是说明颜色分离处理后的图4b的r、o、g图像信号的图。
35.图6是表示图1的内窥镜装置的动作的流程图。
具体实施方式
36.下面，参照附图来说明本发明的一个实施方式所涉及的内窥镜装置1。
37.如图1所示，本实施方式所涉及的内窥镜装置1具备光源装置2、被插入到体内的内窥镜3、以及与内窥镜3连接的图像处理装置4。图像处理装置4与显示由图像处理装置4处理后的图像的显示器5连接。
38.内窥镜装置1具有使用红(r)、橙(o)以及绿(g)的光来观察被摄体a的rbi(red band imaging)图像的窄带光观察模式。
39.rbi图像是作为被摄体a的生物体组织内的血管被进行了强调的图像。g光到达至生物体组织的表层，o光到达至表层下的深部，r光到达至表层下的更深部。并且，g光、o光以及r光被血液吸收。因而，能够基于被被摄体a反射或散射的g光、o光以及r光来得到清晰地显示了生物体组织的表层和深部的血管的rbi图像。
40.并且，rbi图像对于生物体组织的表面被从出血点流出的血液覆盖的状态下的出血点的确定也是有效的。与出血点的周围相比，在出血点处血液的浓度变高，因此在出血点处和出血点的周围，尤其o光的透过性是不同的。其结果，在rbi图像中，出血点与出血点的周围被以不同的颜色显示。
41.内窥镜装置1也可以还具有使用白色光来观察被摄体a的白色光图像的通常光观察模式，并能够在窄带光观察模式与通常光观察模式之间进行切换。
42.光源装置2在窄带光观察模式下向内窥镜3的照明光学系统提供r光、o光以及g光。图2示出了r光、o光以及g光的光谱特性的一例。
43.r光(第二光)是在610nm至730nm的波长带具有峰值波长的窄带光，例如在630nm具有峰值波长。
44.o光(第三光)是在585nm至615nm的波长带具有峰值波长的窄带光，例如在600nm具有峰值波长。
45.g光(第一光)是在400nm至585nm的波长带具有峰值波长的窄带光，例如在540nm具有峰值波长。
46.为了生成r光、o光以及g光，光源装置2例如具有如氙气灯那样的白色光源与r、o及g的滤色器的组合。或者，光源装置2也可以具有分别发出r光、o光以及g光的3个光源(例如，led或ld)。
47.光源装置2也可以在通常光观察模式下向照明光学系统提供白色光。
48.内窥镜3具备将来自光源装置2的照明光照射到被摄体a的照明光学系统以及接收来自被摄体a的光从而拍摄被摄体a的摄像光学系统。
49.照明光学系统例如具有从内窥镜3的基端部延伸至前端部的光导件6以及配置于内窥镜3的前端的照明透镜7。来自光源装置2的光被光导件6从内窥镜3的基端部引导至前端部后，被照明透镜7从内窥镜3的前端朝向被摄体a射出。
50.摄像光学系统具有物镜8和摄像元件9，该物镜8配置于内窥镜3的前端，接收来自被摄体a的光并使接收到的光成像，该摄像元件9拍摄由物镜8形成的被摄体a的像。
51.摄像元件9是彩色的ccd或cmos图像传感器，具有覆盖摄像面9b的滤色器阵列9a。滤色器阵列9a是由二维排列的r滤光器、g滤光器以及b滤光器构成的原色系滤光器。r、g及b滤光器例如以拜尔排列的方式进行排列，各滤光器与摄像面9b的各像素对应。r滤光器(第二滤色器)使r光和o光透过，g滤光器(第一滤色器)使g光透过，b滤光器使蓝的光透过。
52.摄像元件9对分别透过r及g滤光器后的r及g光同时进行拍摄，并在不同于r及g光的定时拍摄透过o滤色器后的o光。因而，光源装置2在互不相同的定时向照明光学系统6、7提供r及g光与o光。例如，光源装置2向照明光学系统6、7交替地提供r及g光与o光，摄像元件9交替地拍摄r及g光与o光。这种光源装置2和摄像元件9的同步动作例如由设置于图像处理装置4的控制电路(省略图示)来控制。摄像元件9生成基于r光的r图像信号(第二图像信号)、基于g光的g图像信号(第一图像信号)以及基于o光的o图像信号(第三图像信号)，将r图像信号、g图像信号以及o图像信号输出到图像处理装置4。
53.图3a和图3b示出了摄像元件9的光谱特性(滤色器阵列9a的r、g、b滤光器的光谱特性)的例子。如图3a和图3b所示，摄像元件9的光谱特性存在滤色器阵列9a的光谱特性的个体差异所引起的偏差。图3a示出了平均的摄像元件9的光谱特性。下面，将具有图3a的光谱特性的平均的摄像元件9称为基准摄像元件。图3b示出了在g滤光器的光谱特性上与图3a的光谱特性不同的摄像元件9的光谱特性。在图3b中，g滤光器的透射率在r光的波长带(630nm)中变高。
54.图4a示出了由图3a的基准摄像元件的r及g像素接收的光的光谱特性。图4b示出了
由图3b的摄像元件的r及g像素接收的光的光谱特性。r及g像素与r及g滤光器分别对应。在图4a和图4b中，r、o、g的光谱与r、o、g图像信号分别对应。
55.如图4a和图4b所示，r滤光器在g光的波长带也具有灵敏度，因此r图像信号也包含基于透过r滤光器后的g光的信号。同样地，g滤光器在r光的波长带也具有灵敏度，因此g图像信号也包含基于透过g滤光器后的r光的信号。在此，由于g滤光器的个体差异，图4b的透过g滤光器的r光的光量相比于图4a而言变多。
56.此外，在图4a至图5c中，纵轴的刻度彼此相同。
57.图像处理装置4对从摄像元件9输入的r、o及g图像信号进行处理，基于1组r、o及g图像信号来生成具有r、g、b这3个颜色通道的1个彩色图像信号。
58.具体地说，图像处理装置4具备白平衡(wb)校正部11、颜色分离校正部12、颜色变换部13、颜色调整部14以及存储部15。
59.wb校正部11、颜色分离校正部12、颜色变换部13以及颜色调整部14通过电子电路来实现。或者，wb校正部11、颜色分离校正部12、颜色变换部13以及颜色调整部14也可以通过按照存储部15中保存的图像处理程序执行处理的图像处理装置4的处理器来实现。存储部15例如具有ram和rom等半导体存储器。
60.来自摄像元件9的r、o及g图像信号被输入到wb校正部11。存储部15中存储有与r、o及g图像信号分别对应的wb系数。基于使用摄像元件9获取到的白色的被摄体a的图像来设定wb系数。wb校正部11通过对r、o及g图像信号分别乘以对应的wb系数来调整r、o及g图像信号的白平衡。wb校正部11将被调整了白平衡的r、o及g图像信号输出到颜色分离校正部12。
61.颜色分离校正部12仅对从wb校正部11输入的r、o及g图像信号中的r及g图像信号进行颜色分离处理和个体差异校正处理。颜色分离校正部12将已被进行颜色分离处理和个体差异校正处理这两方的r及g图像信号输出到颜色变换部13。另一方面，颜色分离校正部12将o图像信号不做任何处理地输出到颜色变换部13。
62.例如，通过摄像元件9对r及g图像信号与o图像信号中的一方附上标志，以便颜色分离校正部12将r及g图像信号与o图像信号进行区分。颜色分离校正部12基于标志的有无来判断是否对图像信号进行颜色分离处理和个体差异校正处理。
63.在颜色分离处理中，颜色分离校正部12通过从r图像信号减去基于g光的信号来从r图像信号去除基于g光的信号。同样地，颜色分离校正部12通过从g图像信号减去基于r光的信号来从g图像信号去除基于r光的信号。
64.例如，预先获取照射r光时的r像素的输出和g像素的输出以及照射g光时的r像素的输出和g像素的输出。根据其结果，能够分别估算出同时照射r光和g光这两方的情况下的、r像素的基于g光的输出(即，r图像信号中包含的基于g光的信号)以及g像素的基于r光的输出(即，g图像信号中包含的基于r光的信号)。
65.接着，在个体差异校正处理中，颜色分离校正部12基于r滤光器的光谱特性与规定的r基准滤光器(第二基准滤色器)的光谱特性之差，对基于r滤光器的光谱特性的个体差异的r图像信号的误差进行校正。另外，颜色分离校正部12基于g滤光器的光谱特性与规定的g基准滤光器(第一基准滤色器)的光谱特性之差，对基于g滤光器的光谱特性的个体差异的g图像信号的误差进行校正。r基准滤光器和g基准滤光器例如是具有图3a的平均的光谱特性的基准摄像元件的r滤光器和g滤光器。通过个体差异校正处理，如图5a和图5b所示，r图像
信号被校正成与使用r基准滤光器的情况下得到的r图像信号近似，g图像信号被校正成与使用g基准滤光器的情况下得到的g图像信号近似。
66.图5a示出了对图4a的r及g图像信号进行颜色分离处理和个体差异校正处理所得到的结果。图5b示出了对图4b的r及g图像信号进行颜色分离处理和个体差异校正处理所得到的结果。图5c示出了对图4b的r及g图像信号仅进行颜色分离处理所得到的结果来作为比较例。
67.例如，存储部15中存储有r用及g用的个体差异校正系数。r用的个体差异校正系数是基于摄像元件9的r滤光器和r基准滤光器的光谱特性来设定的。g用的个体差异校正系数是基于摄像元件9的g滤光器和g基准滤光器的光谱特性来设定的。颜色分离校正部12对r图像信号乘以r用的个体差异校正系数，对g图像信号乘以g用的个体差异校正系数。
68.颜色变换部13基于o图像信号以及已被进行颜色分离处理和个体差异校正处理的r及g图像信号来生成1个彩色图像信号。具体地说，颜色变换部13将r图像信号分配到r通道(第二通道)，将o图像信号分配到g通道(第三通道)，将g图像信号分配到b通道(第一通道)。颜色变换部13将由r、o及g图像信号构成的彩色图像信号输出到颜色调整部14。
69.在一例中，如下式(1)所示，使用矩阵(c1，c2，
…
，c9)和矩阵(x1，x2，
…
，x9)来进行上述的颜色分离处理、个体差异校正处理以及颜色变换处理。
70.[数式1]
[0071][0072]
矩阵(c1，c2，
…
，c9)是颜色分离处理用的矩阵。矩阵(x1，x2，
…
，x9)是各摄像元件9所固有的个体差异校正处理用的矩阵，例如基于制造后的检查的结果来按每个摄像元件9决定该矩阵。sr、so、sg分别是白平衡校正后的r、o、g图像信号。ir、ig、ib分别是彩色图像信号的r、g、b通道的图像信号。
[0073]
颜色调整部14通过调整r、g、b通道之间的图像信号的平衡，来调整基于彩色图像信号生成的rbi图像的颜色。例如，为了对利用r光得到的更深部的血管的信息进行强调，颜色调整部14对r及g图像信号中的至少一方乘以系数，使得r通道的r图像信号相对于b通道的g图像信号而言被增大。例如，颜色调整部14对彩色图像信号ir、ig、ib乘以存储部15中存储的颜色调整用的矩阵。
[0074]
图像处理装置4也可以除了进行wb校正部11、颜色分离校正部12、颜色变换部13以及颜色调整部14的处理以外，还对图像信号或彩色图像信号实施其它处理。
[0075]
接着，参照图6来说明这样构成的内窥镜装置1的作用。
[0076]
在窄带光观察模式下，从光源装置2向内窥镜3的照明光学系统6、7同时提供r光和g光，从内窥镜3的前端向被摄体a同时照射r光和g光(步骤s1)。被被摄体a反射或散射的r光和g光被物镜8接收，基于透过r滤光器后的r光的r图像信号以及基于透过g滤光器后的g光的g图像信号被摄像元件9同时获取(步骤s2)。r图像信号和g图像信号从摄像元件9被发送到图像处理装置4。
[0077]
接着，从光源装置2向内窥镜3的照明光学系统6、7提供o光，从内窥镜3的前端向被
摄体a照射o光(步骤s3)。被被摄体a反射或散射的o光被物镜8接收，基于透过r滤光器后的o光的o图像信号被摄像元件9获取(步骤s4)。o图像信号从摄像元件9被发送到图像处理装置4。
[0078]
下面的步骤s5～s9相当于本发明的一个实施方式所涉及的图像处理方法。
[0079]
在图像处理装置4中，通过wb校正部11对r图像信号、g图像信号以及o图像信号的白平衡进行校正(步骤s5)。
[0080]
接着，通过颜色分离校正部12对r图像信号和g图像信号实施颜色分离处理和个体差异校正处理(步骤s6)。通过颜色分离处理，从r图像信号去除基于g光的信号，从g图像信号去除基于r光的信号。接着，通过个体差异校正处理，对基于r滤光器的光谱特性的个体差异的r图像信号的误差进行校正，对基于g滤光器的光谱特性的个体差异的g图像信号的误差进行校正。已被实施颜色分离处理和个体差异校正处理的r及g图像信号被发送到颜色变换部13。
[0081]
o图像信号不被颜色分离校正部12进行处理就被发送到颜色变换部13。
[0082]
接着，在颜色变换部13中，r、o及g图像信号被分别分配到彩色图像信号的r、g、b通道(步骤s7)。
[0083]
彩色图像信号被颜色调整部14调整了r、g、b通道之间的信号的平衡之后(步骤s8)，从图像处理装置4被发送到显示器5，作为rbi图像显示于显示器5(步骤s9)。在rbi图像中，表层的毛细血管显示为大致黄色，深部的血管显示为大致红色，更深部的血管显示为蓝色至黑色。另外，在生物体组织的表面上扩散的血液显示为大致黄色，出血点显示为大致红色。
[0084]
例如，在具有图3b所示的光谱特性的摄像元件9的情况下，g滤光器在r光的波长带中的透射率高，因此g图像信号与通过基准摄像元件得到的g图像信号相比包含的基于r光的信号多。因而，如图5c所示，颜色分离处理后的g图像信号中残留有基于r光的信号作为误差。在将具有这种误差的图像信号用于彩色图像信号的情况下，rbi图像的颜色与使用基准摄像元件得到的rbi图像的颜色不同。
[0085]
根据本实施方式，通过个体差异校正处理对基于r滤光器的光谱特性的个体差异的r图像信号的误差以及基于g滤光器的光谱特性的个体差异的g图像信号的误差进行校正，得到与使用基准摄像元件的情况等同的彩色图像信号。因而，滤色器阵列9a的光谱特性的个体差异所引起的颜色的偏差被校正，能够生成具有与使用基准摄像元件的情况等同的颜色的rbi图像。
[0086]
另外，根据本实施方式，通过颜色分离校正部12进行颜色分离处理和个体差异校正处理这两方。因而，在通过电路来实现颜色分离处理和个体差异校正处理的情况下，无需使电路复杂化或大规模化，就能够实现rbi图像的颜色的偏差的校正。
[0087]
在上述实施方式中，设为滤色器阵列9a是r、g、b的原色系滤光器，但是也可以取而代之地是由y(黄)、cy(青)、mg(品红)、g滤光器构成的补色系滤光器。
[0088]
在上述实施方式中，设为颜色分离校正部12在颜色分离处理之后进行个体差异校正处理，但是也可以取而代之地在个体差异校正处理之后进行颜色分离处理。在该情况下，颜色分离校正部12从已被进行个体差异校正处理的r图像信号减去基于g光的信号，从已被进行个体差异校正处理的g图像信号减去基于r光的信号。
[0089]
在上述实施方式中，设为内窥镜装置1在窄带光观察模式下进行rbi观察，但是也可以取而代之地进行nbi(narrow band imaging)观察。
[0090]
在该情况下，光源装置2将绿的光(g光)和蓝的光(o光)同时提供给内窥镜3的照明光学系统6、7。g光(第二光)是在500nm至580nm的波长带具有峰值波长的窄带光，例如在540nm具有峰值波长。b光(第一光)是在380nm至460nm的波长带具有峰值波长的窄带光，例如在415nm具有峰值波长。
[0091]
摄像元件9生成基于透过g滤光器(第二滤色器)后的g光的g图像信号，生成基于透过b滤光器(第一滤色器)后的b光的b图像信号。经白平衡校正、颜色分离处理以及个体差异校正处理之后，g图像信号被分配到r通道，b图像信号被分配到g通道和b通道。
[0092]
附图标记说明
[0093]
1：内窥镜装置；3：内窥镜；4：图像处理装置；9：摄像元件；9a：滤色器阵列(第一滤色器、第二滤色器、第三滤色器)；12：颜色分离校正部；13：颜色变换部。