摄像装置和电子设备的制作方法

1.本发明涉及摄像装置和电子设备。


背景技术：

2.在使用互补金属氧化物半导体(cmos：compulementary metal oxide semiconductor)等的摄像装置中，诸如用于接收红外光的像素或用于检测像面相位差的像素等特殊像素可以通过替代普通像素而布置着。例如，已知这样一种摄像装置：其中，用于检测像面相位差的像素以预定间隔布置于以阵列状排列着的普通像素的水平线上(例如，参见专利文献1)。
3.引用文献列表
4.专利文献
5.专利文献1：日本专利申请特开第2008-312073a号


技术实现要素：

6.要解决的技术问题
7.如上述技术中那样，当特殊像素替代了普通像素时，例如，在特殊像素中形成有与特殊像素的功能对应的滤波器(例如，在用于接收红外光的像素的情况下，该滤波器是红外光滤波器)而非颜色滤波器。如上所述，当在像素阵列部中存在未形成有颜色滤波器的区域时，由于该区域的影响，就可能导致无法将颜色滤波器形成为期望的形状。如果颜色滤波器不能被形成为期望的形状，则普通像素的光接收灵敏度会发生波动，并且摄像装置的精度可能会下降。
8.因此，本发明提供能够抑制精度下降的摄像装置和电子设备。
9.解决问题的技术方案
10.根据本发明，提供了一种摄像装置。所述摄像装置包括：多个普通像素，它们以矩阵状布置着；特殊像素，其通过替代所述多个普通像素的一部分而布置着；颜色滤波器，其对应于所述普通像素且根据预定规则布置着；特殊滤波器，其对应于所述特殊像素布置着；以及特殊像素颜色滤波器，其被布置成包围所述特殊滤波器的周边的至少一部分。
附图说明
11.图1是示出了本发明实施方案可适用的电子设备的一个示例的构造的框图。
12.图2是示出了本发明实施方案可适用的摄像装置的示意性构造示例的框图。
13.图3是示出了本发明实施方案可适用的像素阵列部的电路构造的一部分的图。
14.图4是用于说明像素的布置示例的图。
15.图5是示意性地示出了摄像装置的像素信号的读出的时序图。
16.图6是示出了颜色滤波器的构造示例的图。
17.图7是用于说明颜色滤波器的形成方法的示例的图。
18.图8是用于说明颜色滤波器的形成方法的示例的图。
19.图9是用于说明根据本发明实施方案的摄像装置的颜色滤波器层的图。
20.图10是用于说明根据本发明实施方案的摄像装置的颜色滤波器层的图。
21.图11是用于说明根据本发明实施方案的摄像装置的颜色滤波器层的另一构造示例的图。
22.图12是用于说明根据本发明实施方案的摄像装置的颜色滤波器层的另一构造示例的图。
23.图13是用于说明根据本发明实施方案的摄像装置的颜色滤波器层的又一构造示例的图。
24.图14是示出了根据现有技术的颜色滤波器层的构造示例的图。
25.图15是示出了沿图14中的线a-a
′
截取的颜色滤波器层的截面的示意图。
26.图16是示出了根据现有技术的颜色滤波器层的构造示例的图。
27.图17是示出了沿图16中的线b-b
′
截取的颜色滤波器层的截面的示意图。
28.图18是示出了根据本发明实施方案第一变形例的颜色滤波器层的构造示例的图。
29.图19是示出了根据本发明实施方案第二变形例的颜色滤波器层的构造示例的图。
30.图20是示出了根据本发明实施方案第三变形例的颜色滤波器层的构造示例的图。
31.图21是示出了根据本发明实施方案第三变形例的颜色滤波器层的另一构造示例的图。
32.图22是示出了根据本发明实施方案第四变形例的颜色滤波器层的构造示例的图。
33.图23是示出了根据本发明实施方案第四变形例的颜色滤波器层的另一构造示例的图。
34.图24是示出了根据本发明实施方案第五变形例的颜色滤波器层的构造示例的图。
35.图25是示出了使用根据本发明实施方案及变形例的摄像装置的使用例的图。
36.图26是示出了患者的体内信息获取系统的示意性构造的一个示例的框图，该体内信息获取系统使用了根据本发明的技术可适用的胶囊型内窥镜。
37.图27是示出了根据本发明的技术可适用的内窥镜手术系统的示意性构造的示例的图。
38.图28是示出了相机头和ccu(相机控制单元)的功能构造的示例的框图。
39.图29是示出了车辆控制系统的示意性构造示例的框图，该车辆控制系统是根据本发明的技术可适用的移动体控制系统的一个示例。
40.图30是示出了摄像部的安装位置的示例的图。
具体实施方式
41.在下文中，将参照附图来详细说明本发明的优选实施方案。注意，在本说明书和附图中，具有实质上相同的功能构造的构成要素由相同的附图标记表示，并且省略了这些构成要素的重复说明。另外，为了便于说明，适当强调了图中各构件的尺寸，但这并不表示实际尺寸和构件之间的比例。
42.注意，将按以下顺序给出说明。
43.1.简介
serial bus)。本发明不限于此，i/f部9d可以是通过有线通信或无线通信与网络进行连接的接口。
65.输入器件10d包括用于接收用户输入的操作器。如果电子设备1d是例如数码静态相机、数码摄影机、具有摄像功能的便携电话或智能手机，则输入器件10d可以包括用于给出通过摄像装置1进行摄像的指令的快门按钮或用于实现快门按钮的功能的操作器。
66.例如，控制部3d包括诸如中央处理单元(cpu：central processing unit)等处理器、只读存储器(rom：read only memory)和随机存取存储器(ram：random access memory)，并且根据预先存储在rom中的程序，通过将ram用作工作存储器来控制电子设备1d的整体操作。例如，控制部3d可以根据由输入器件10d接收到的用户输入来控制电子设备1d的操作。另外，控制部3d可以基于图像处理部5d的图像处理结果来控制光学系统2d中的自动对焦机构。
67.(摄像装置)
68.图2是示出了本发明实施方案可适用的摄像装置的示意性构造示例的框图。在图2中，摄像装置1包括像素阵列部11、垂直扫描部12、a/d转换部13、参照信号生成部14、水平扫描部15、像素信号线16、垂直信号线17、输出部18和控制部19。
69.像素阵列部11包括在水平方向(行方向)和垂直方向(列方向)上以二维矩阵状布置着的多个像素。各像素包括对所接收到的光进行光电转换的光电转换部。光电转换部包括光电二极管等。
70.另外，针对像素阵列部11，逐行地连接有像素信号线16，并且逐列地连接有垂直信号线17。像素信号线16的未与像素阵列部11连接的一端连接到垂直扫描部12。像素信号线16将诸如当从像素读出像素信号时的驱动脉冲等控制信号从垂直扫描部12传送到像素阵列部11。垂直信号线17的未与像素阵列部11连接的一端连接到模数(a/d：analog to digital)转换部13。垂直信号线17将从像素读出的像素信号传送到a/d转换部13。
71.在控制部19的控制下，垂直扫描部12将包括驱动脉冲的各种信号提供给与像素阵列部11的被选择的像素行对应的像素信号线16，并且将像素信号等输出到垂直信号线17。例如，垂直扫描部12包括移位寄存器和地址解码器等。
72.a/d转换部13包括：针对各条垂直信号线17而设置着的列a/d转换部131；以及信号处理部132。
73.列a/d转换部131执行用于对从像素经由垂直信号线17输出的像素信号进行降噪的相关双采样(cds：correlated double sampling)处理的计数处理。列a/d转换部131包括比较器131a和计数器部131b。
74.比较器131a在p相(预设相位：preset phase)期间把经由垂直信号线17从像素输入过来的像素信号与从参照信号生成部14提供过来的斜坡信号ramp进行比较，并将比较结果输出到计数器部131b。这里，p相期间是在cds处理中对像素信号的复位电平进行检测的期间。另外，例如，斜坡信号ramp是其中电平(电压值)以一定斜率下降的信号或其中电平呈阶梯式下降的锯齿波信号。当斜坡信号ramp的电平高于像素信号的电平时，比较器131a将高(high)的差信号输出到计数器部131b。当斜坡信号ramp的电平等于或低于像素信号的电平时，比较器131a将输出反转并且将低(low)的差信号输出到计数器部131b。注意，在比较器131a的输出被反转之后，斜坡信号ramp的电平被复位为预定值。
75.在p相期间，根据从比较器131a输入过来的差信号，计数器部131b对从斜坡信号ramp的电压下降开始直到等于或低于像素信号的电平的电平的时间进行递减计数，并且将计数结果输出到信号处理部132。另外，在d相(数据相位：data phase)期间，根据从比较器131a输入过来的差信号，计数器部131b对从斜坡信号ramp的电压下降开始直到等于或低于像素信号的电平的电平的时间进行递增计数，并将计数结果输出到信号处理部132。这里，d相期间是其中在cds处理中对像素信号的信号电平进行检测的检测期间。
76.基于从计数器部131b输入过来的p相期间的计数结果和d相期间的计数结果，信号处理部132进行cds处理和a/d转换处理，以生成数字图像数据，并且将数字图像数据输出到输出部18。
77.基于从控制部19输入过来的控制信号，参照信号生成部14生成斜坡信号ramp，并将所生成的斜坡信号ramp输出到a/d转换部13的比较器131a。例如，参照信号生成部14包括d/a(数模：digital to analog)转换电路等。
78.在控制部19的控制下，水平扫描部15进行选择性扫描以按预定顺序选择各个列a/d转换部131，将由各个列a/d转换部131临时保持的计数结果依次输出到信号处理部132。例如，水平扫描部15包括移位寄存器和地址解码器等。
79.输出部18对从信号处理部132输入过来的图像数据进行预定的信号处理，然后将图像数据输出到摄像装置1的外部。
80.控制部19进行垂直扫描部12、a/d转换部13、参照信号生成部14、水平扫描部15等的驱动控制。例如，控制部19包括时序发生器等。控制部19生成用作垂直扫描部12、a/d转换部13、参照信号生成部14、水平扫描部15各者的操作的基准的各种驱动信号。
81.如上所述而构造出来的摄像装置1是其中针对各列都布置有列a/d转换部131的列ad型cmos(互补金属氧化物半导体)图像传感器。注意，尽管在图2中存在的a/d转换部13是一个，但是例如，也可以在像素阵列部11的上下方向上设置有两个a/d转换部13，并且可以将像素阵列部11的奇数列和偶数列在上下方向上划分开，以输出像素信号。
82.(像素阵列部)
83.图3是示出了本发明实施方案可适用的像素阵列部11的电路构造的一部分的图。
84.如图3所示，像素阵列部11包括恒定电流源2、像素3(在下文中，被称为“普通像素3”)和像素4(在下文中，被称为“特殊像素4”)。在像素阵列部11中，多个普通像素3和多个特殊像素4按照预定的排列图案以二维矩阵状布置着，并且特殊像素4以预定的间隔布置在预定的像素行中。第一传输信号线161、复位信号线162和行选择信号线163作为像素信号线16连接到各个普通像素3。另外，复位信号线162、行选择信号线163、第二传输信号线164作为像素信号线16连接到各个特殊像素4。
85.恒定电流源2被设置在各个垂直信号线17中。恒定电流源2包括n沟道金属氧化物半导体(mos)(在下文中，被简称为“nmos”)场效应晶体管等。恒定电流源2的一端侧是接地的，并且另一端侧连接到垂直信号线17。
86.普通像素3以二维矩阵状布置在像素阵列部11上。普通像素3包括光电转换部31、传输开关32、浮动扩散部33(在下文中，被简称为“fd33”)、复位开关34、放大晶体管35和行选择开关36。
87.光电转换部31对所接收到的光进行光电转换，以生成图像用的信号电荷。光电转
换部31例如包括pn结光电二极管等。光电转换部31具有接地的阳极端子和经由传输开关32连接到fd 33的阴极端子。在本实施方案中，光电转换部31起到第一光电转换部的作用。
88.传输开关32具有连接到光电转换部31的一端和连接到fd 33的另一端。此外，传输开关32还连接到第一传输信号线161。在传输脉冲tr经由第一传输信号线161提供过来的情况下，传输开关32被接通(处于闭合状态)，并且将由光电转换部31进行光电转换而得到的信号电荷传输到fd 33。
89.fd 33临时保持从光电转换部31传输过来的信号电荷，并将信号电荷转换成与电荷量对应的电压。
90.复位开关34具有连接到fd 33的一端和连接到电源电压的另一端。此外，复位开关34还连接到复位信号线162。在复位脉冲rst经由复位信号线162提供过来的情况下，复位开关34被接通，并将fd 33的电荷排出到电源电压，以将fd 33的电位复位为预定电位。
91.放大晶体管35的一端连接到电源电压，并且另一端连接到行选择开关36。此外，fd 33连接到放大晶体管35的栅极端。放大晶体管35与经由垂直信号线17连接的恒定电流源2一起用作源极跟随器。放大晶体管35向垂直信号线17输出用于表示与由复位开关34复位后的fd 33的电位对应的电平的复位信号(复位电平)。另外，在信号电荷从光电转换部31经由传输开关32传输过来之后，放大晶体管35向垂直信号线17输出用于表示与保持在fd 33中的信号电荷的电荷量对应的电平的图像像素信号。
92.行选择开关36具有连接到放大晶体管35的一端和连接到垂直信号线17的另一端。此外，行选择开关36还连接到行选择信号线163。当行选择信号sel从行选择信号线163提供过来时，行选择开关36被接通，并将从放大晶体管35输出的复位信号或像素信号(第一信号)输出到垂直信号线17。
93.垂直信号线17的一端连接到a/d转换部13的比较器131a或131a_s。在图3的示例中，连接到与特殊像素4连接的垂直信号线17的比较器131a作为比较器131a_s而被示出。
94.例如，如上所述构造出来的普通像素3中的传输开关32、复位开关34、放大晶体管35和行选择开关36各自包括nmos或p沟道mos(被简称为pmos)晶体管。另外，普通像素3包括层叠在光电转换部31的光接收面上的红色(r)滤波器、绿色(g)滤波器和蓝色(b)滤波器中的任一颜色滤波器。例如，普通像素3在像素阵列部11上形成拜耳阵列。
95.注意，普通像素3不限于拜耳阵列，而是可以根据预定的规则布置着。例如，可以使用诸如下列之类的各种各样的颜色滤波器阵列作为基础：单位图案为3
×
3像素的x-trans(注册商标)型颜色滤波器阵列；单位图案为4
×
4像素的四方拜耳阵列(quad-bayer array)；以及单位图案为4
×
4像素的白色rgb型颜色滤波器阵列，该白色rgb型颜色滤波器阵列除了具有rgb三原色的颜色滤波器之外还包括针对于可见光区域具有宽的光透过特性的颜色滤波器(在下文中，也被称为透明滤波器或白色滤波器)。
96.在下面的说明中，其中把绿色(g)滤波器层叠在光接收面上的光电转换部31将会被称为像素g，其中把红色(r)滤波器层叠在光接收面上的光电转换部31将会被称为像素r，并且其中把蓝色(b)滤波器层叠在光接收面上的光电转换部31将会被称为像素b。
97.(像素的布置示例)
98.图4是用于说明像素的布置示例的图。如图4所示，关于普通像素3，在具有2
×
2像素的单位像素中，对角位置的两个像素是像素g，并且剩余像素是像素r和像素b。在图4中，
根据拜耳阵列而布置着的普通像素3的一部分被特殊像素4(像素s)替换。更具体地，在普通像素3中，其中布置有像素b和像素g的水平线被特殊像素4替换。
99.特殊像素4具有与普通像素3的构造类似的构造，并且特殊像素4包括光电转换部41、传输开关42、浮动扩散部43(在下文中，被简称为“fd 43”)、复位开关44、放大晶体管45和行选择开关46。特殊像素4包括层叠在光电转换部41的光接收面上的特殊滤波器。另外，在特殊像素4中，传输开关42连接到第二传输信号线164，并且传输脉冲tr_s从第二传输信号线164提供过来。5特殊像素4的除此以外的其他构造类似于普通像素3的构造。
100.特殊像素4是除了为了形成全色图像(full-color image)而获取可见光区域中的颜色信息和亮度信息的像素(普通像素，例如像素r、像素g和像素b)以外的像素。特殊像素4的示例包括红外光像素、白色像素、单色(monochrome)像素、黑色像素、偏振像素和像面相位差像素。在红外光像素中，能够接收红外光的红外光滤波器层叠在光电转换部41的光接收面上。在白色像素中，能够接收红色、绿色和蓝色的全部可见光的白色滤波器层叠在光电转换部41的光接收面上。在单色像素中，透明滤波器层叠在光电转换部41的光接收面上。在黑色像素中，遮光滤波器层叠在光电转换部41的光接收面上。偏振像素是使用了用于接收偏振光的偏振元件的像素。
101.在像面相位差像素中，仅在预定区域中设有开口的开口滤波器层叠在光电转换部41的光接收面上。更具体地，作为像面相位差像素，把层叠有在光电转换部41的光接收面的例如左侧1/2区域中具有开口的开口滤波器的像素和层叠有在另一光电转换部41的光接收面的右侧1/2区域中具有开口的开口滤波器的像素这样两个像素设定为一组，并且基于由这样两个像素接收到的光的相位差进行距离测量。
102.如上所述，由特殊像素4接收到的光被光电转换而得到的像素信号可以实现与由普通像素3接收到的光被光电转换而得到的像素信号不同的功能。注意，在附图中，特殊像素4或特殊像素4的光电转换部41被标记为“s”。
103.(读出方法)
104.接下来，将说明在上述摄像装置1中的像素信号的读出方法。图5是示意性地示出了摄像装置1的像素信号的读出的时序图。在图5中，横轴表示时间。另外，在图5中，上部示出了垂直同步脉冲的输出时序，中间部示出了垂直扫描部12中的水平同步脉冲的输出时序。图5示出了摄像装置1读出一帧像素信号的情况。
105.如图5所示，控制部19首先根据例如从摄像装置1的外部输入进来的垂直同步脉冲和水平同步脉冲从像素阵列部11的特殊像素4中依次读出像素信号。当从全部特殊像素行的特殊像素4读出了像素信号时，控制部19针对像素阵列部11的各行依次读出来自各普通像素3的像素信号。
106.如上所述，例如，摄像装置1执行了首先从全部特殊像素4读出像素信号、然后针对像素阵列部11的各行依次读出来自各普通像素3的像素信号的读出方法。
107.《1.2.现有技术的精度下降》
108.接下来，将参照图6至图8来说明根据现有技术的摄像装置的摄像精度的下降。图6是示出了颜色滤波器层的构造示例的图。图7和图8是用于说明颜色滤波器的形成方法的示例的图。
109.注意，对应于像素g而被形成的绿色颜色滤波器被称为绿色滤波器gf。对应于像素
r而被形成的红色滤波器被称为红色滤波器rf。对应于像素b而被形成的蓝色颜色滤波器被称为蓝色滤波器bf。当不区分绿色滤波器gf、红色滤波器rf和蓝色滤波器bf时，它们也被简称为颜色滤波器cf。另外，对应于像素s(特殊像素4)而被形成的特殊滤波器被称为特殊滤波器sf。
110.在下面的说明中，针对普通像素3和特殊像素4各者分别设置有颜色滤波器cf和特殊滤波器sf。即，在各像素中设置有一个颜色滤波器cf或特殊滤波器sf，但是例如，也可以将两个以上的相邻的特殊滤波器sf一体地形成，并且相同类型的相邻滤波器可以是一体形成的滤波器。
111.如上所述，由于将普通像素3根据拜耳阵列布置着，所以如图6所示，在颜色滤波器层cl0中形成的颜色滤波器cf也与普通像素3类似地根据拜耳阵列布置着。另外，特殊滤波器sf是通过替代根据拜耳阵列布置着的颜色滤波器cf的一部分(例如，像素行)来布置而成的。
112.注意，特殊滤波器sf是根据特殊像素4的功能而形成的滤波器，并且特殊滤波器sf的示例包括上述白色滤波器、透明滤波器、以及仅在预定区域中设有开口的开口滤波器。
113.以这种方式，假定其中布置有颜色滤波器cf和特殊滤波器sf的颜色滤波器层例如是以绿色滤波器gf、红色滤波器rf和蓝色滤波器bf的顺序予以形成的。在这种情况下，如图7所示，首先，在像素阵列部11上形成绿色滤波器gf。
114.这里，颜色滤波器cf存在着难以以直角形成未与其他颜色滤波器cf接触的角部的问题。因此，如图7所示，由于绿色滤波器gf的与形成有特殊滤波器sf的区域相邻的角部是不与其他绿色滤波器gf接触的端部，因此该角部未形成为直角而是圆形化的。注意，图7是图6所示的颜色滤波器层cl0的一部分的放大图，并且由虚线表示像素的边界线。
115.接下来，当在形成绿色滤波器gf之后形成红色滤波器rf时，如图8所示，红色滤波器rf的与形成有特殊滤波器sf的区域相邻的一部分突出至本来形成有绿色滤波器gf的区域。注意，图8是图6所示的颜色滤波器层cl0的一部分的放大图，并且由虚线表示像素的边界线。
116.如上所述，由于红色滤波器rf的一部分形成到用于形成绿色滤波器gf的区域中，因此存在着像素g的光接收灵敏度发生波动并且摄像装置1的摄像精度发生下降的可能性。
117.另外，在未形成有特殊滤波器sf的红色滤波器形成区域中，红色滤波器rf形成在四条边全被绿色滤波器gf包围的区域中。另一方面，在与特殊滤波器sf相邻的红色滤波器形成区域中，红色滤波器rf形成在三条边被绿色滤波器gf包围的区域中。因此，如图8所示，红色滤波器rf被形成得突出到了特殊滤波器sf的形成区域，并且像素r的灵敏度可能发生波动。这样，由于红色滤波器rf突出到了特殊滤波器sf的形成区域，因此存在红色滤波器rf的膜厚度变得不均匀的可能性。
118.如上所述，由于红色滤波器rf的膜厚度变得不均匀，因此像素r的光接收灵敏度发生变动，并且摄像装置1的摄像精度可能下降。
119.因此，在根据本发明实施方案的摄像装置1中，在形成有特殊滤光器sf的区域中以包围特殊滤光器sf的周边的至少一部分的方式形成颜色滤波器cf，从而抑制了摄像装置1的摄像精度的下降。下面将会说明这些点。
120.《2.实施方案》
121.《2.1.颜色滤波器层的构造示例》
122.图9和图10是用于说明根据本发明实施方案的摄像装置1的颜色滤波器层的图。除了一些特殊滤波器sf的周边被颜色滤波器(在下文中，也被称为特殊像素颜色滤波器scf)包围着以外，图9所示的颜色滤波器层cl1具有与图6所示的颜色滤波器层cl0相同的构造。注意，尽管图9示出了因为仅示出了颜色滤波器层cl1的一部分所以将特殊滤波器sf布置在一个像素行中的情况，但是特殊滤波器sf可以以预定间隔布置在多个像素行中。
123.颜色滤波器层cl1包括在平面图中包围特殊滤波器sf的周边的特殊像素颜色滤波器sgf。尽管图9示出了特殊像素颜色滤波器scf是让绿色透过的绿色滤波器(在下文中，被称为特殊像素绿色滤波器sgf)的情况，但是特殊像素颜色滤波器scf也可以是红色滤波器或蓝色滤波器。
124.如图9所示，被特殊像素绿色滤波器sgf包围着的特殊滤波器(在下文中，也被称为第一特殊滤波器sf1)和未被特殊像素绿色滤波器sgf包围着的特殊滤波器(在下文中，也被称为第二特殊滤波器sf2)针对每个像素而交替布置着，以形成一个像素行。
125.图10是示出了形成在图9所示的颜色滤波器层cl1中的滤波器之中的绿色滤波器gf和特殊像素绿色滤波器sgf的图。如图10所示，特殊像素绿色滤波器sgf被布置得包围与除绿色滤波器gf以外的颜色滤波器cf(图9中，其为红色滤波器rf)相邻的特殊滤波器sf的周边。
126.这里，在图9和图10中，已经说明了其中把特殊像素4和特殊滤波器sf布置在预定的像素行中的示例，但是本发明不限于此。例如，如图11和图12所示，特殊像素4和特殊滤波器sf可以布置在预定的像素列中。图11和图12是用于说明根据本发明实施方案的摄像装置1的颜色滤波器层的另一构造示例的图。
127.如图11所示，颜色滤波器层cl2的特殊滤波器sf布置在一个像素列中。此外，与红色滤波器rf相邻的第一特殊滤波器sf1被特殊像素绿色滤波器sgf包围。另一方面，与绿色滤波器gf相邻的第二特殊滤波器sf2未被特殊像素绿色滤波器sgf包围。注意，尽管图11示出了因为仅示出了颜色滤波器层cl2的一部分所以把特殊滤波器sf布置在一个像素列中的情况，但是特殊滤波器sf可以以预定间隔布置在多个像素列中。
128.图12是示出了形成在图11所示的颜色滤波器层cl2中的滤波器之中的绿色滤光器gf和特殊像素绿色滤光器sgf的图。如图12所示那样，特殊像素绿色滤波器sgf被布置得包围与除绿色滤波器gf以外的颜色滤波器cf(图11中，其为红色滤波器rf)相邻的特殊滤波器sf的周边。
129.可供替代地，如图13所示，特殊像素4和特殊滤波器sf可以布置在像素行和像素列两者中。图13是用于说明根据本发明实施方案的摄像装置1的颜色滤波器层的又一构造示例的图。图13示出了形成在颜色滤波器层cl3中的滤波器之中的绿色滤波器gf和特殊像素绿色滤波器sgf。注意，尽管图13示出了因为仅示出了颜色滤波器层的一部分所以把特殊滤波器sf布置在一个像素行和一个像素列中的情况，但是特殊滤波器sf可以以预定间隔布置在多个像素行或多个像素列中。
130.《2.2.实施方案的效果》
131.如图9至图13所示，将特殊像素绿色滤波器sgf布置于在被替换为特殊像素4之前以拜耳阵列布置有像素g的区域中。换句话说，第一特殊滤波器sf1形成在内部，同时还保留
了绿色滤波器gf的周边。因此，绿色滤波器gf的角部被布置成与另一绿色滤波器gf(其包括特殊像素绿色滤波器sgf)的角部是接触的。
132.结果，绿色滤波器gf在即使形成有特殊滤波器sf的区域中也是与另一绿色滤波器实现了角部接触的，并且未形成不与另一绿色滤波器接触的端部。因此，与形成有特殊滤波器sf的区域相邻的绿色滤波器gf的角部可以被形成为期望的形状，并且可以让相邻的红色滤波器rf在未突出到形成有绿色滤波器gf的区域的情况下予以形成。因此，颜色滤波器cf可以被形成为期望的形状，能够抑制各像素的光接收灵敏度的下降和变动，并且能够抑制摄像装置1的摄像精度的下降。
133.另外，通过形成特殊像素绿色滤波器sgf，类似于其他红色滤波器rf的是，与特殊滤波器sf的形成区域相邻的红色滤波器rf的四条边也可以由包括特殊像素绿色滤波器sgf的绿色滤波器gf包围着。结果，类似于其他红色滤波器rf的是，也能够使与特殊滤波器sf的形成区域相邻的红色滤波器rf不太可能形成得具有不均匀的膜厚度。下面将参照图14至图17来说明这些点。
134.图14是示出了根据现有技术的颜色滤波器层的构造示例的图。图15是示出了沿图14中的线a-a
′
截取的颜色滤波器层的截面的示意图。图16是示出了根据现有技术的颜色滤波器层的构造示例的图。图17是示出了沿图16中的线b-b
′
截取的颜色滤波器层的截面的示意图。
135.图14和图16所示的颜色滤波器层cl0不包括特殊像素颜色滤波器sgf，并且红色滤波器rf和蓝色滤波器bf被布置得与特殊滤波器sf接触。如图14和图16所示，特殊滤波器sf可以以预定间隔布置在像素行和像素列两者中。图14和图16是示出了颜色滤波器层cl0的一部分的图。
136.如图14所示，与特殊滤波器sf相邻的红色滤波器rf及蓝色滤波器bf各自的三条边被绿色滤波器gf包围，并且剩余的一条边在未被绿色滤波器gf包围的状态下是开放的。
137.如上所述，例如，假定颜色滤波器cf是以绿色、红色和蓝色的顺序予以形成的。在这种情况下，例如，如图10和12所示，首先，形成绿色滤波器gf和特殊像素绿色滤波器sgf，然后，形成红色滤波器rf和蓝色滤波器bf。
138.例如，在形成蓝色滤波器bf的情况下，在被绿色滤波器gf包围的三条边上绿色滤波器gf起到壁的作用，但是在开放的一条边上由于没有作为壁的绿色滤波器gf，因此蓝色过滤器bf往往会流向开放的那一条边。
139.因此，如图15所示，在蓝色滤波器bf中，特殊滤波器sf侧的膜厚度变得比绿色滤波器gf侧的膜厚度薄，并且膜厚度就变得不均匀。
140.类似地，在根据图16所示的根据现有技术的颜色滤波器层cl0中，与特殊滤波器sf相邻的红色滤波器rf及蓝色滤波器bf各自的三条边被绿色滤波器gf包围，并且剩余的一条边在未被绿色滤波器gf包围的状态下是开放的。
141.如上所述，例如，假定颜色滤波器cf是以绿色、红色和蓝色的顺序予以形成的。在这种情况下，例如，如图10和图12所示，首先，形成绿色滤波器gf和特殊像素绿色滤波器sgf，然后，形成红色滤波器rf和蓝色滤波器bf。
142.例如，在形成红色滤波器rf的情况下，在由绿色滤波器gf包围的三条边上绿色滤波器gf起到壁的作用，但是在开放的一条边上由于没有作为壁的绿色滤波器gf，因此红色
滤波器rf往往会流向开放的那一条边。
143.因此，如图17所示，在红色滤波器rf中，特殊滤波器sf侧的膜厚度变得比绿色滤波器gf侧的膜厚度薄，并且膜厚度就变得不均匀。
144.对照地，在根据本发明实施方案的颜色滤波器层中，特殊像素绿色滤波器sgf被形成得包围特殊像素区域的周边。因此，红色滤波器rf及蓝色滤波器bf各自被形成在如下区域内：该区域的四条边由包括特殊像素绿色滤波器sgf的绿色滤波器gf包围着。
145.例如，在形成蓝色滤波器bf的情况下，通过将四条边上的绿色滤波器gf用作壁来形成蓝色滤波器bf。因此，在蓝色滤波器bf中，特殊滤波器sf侧的膜厚度与绿色滤波器gf侧的膜厚度之间的差变小，并且与图15相比而言，能够以均匀的膜厚度来形成膜。
146.注意，这里，已经以蓝色滤波器bf作为示例说明了可以抑制膜厚度的不均匀性这一点，但是对于红色滤波器rf而言也可以获得相同的效果。另外，对于特殊滤波器sf，也可以改善膜厚度的不均匀性。
147.例如，在图14和图16的示例中，特殊滤波器sf对应于像素行(也被称为特殊像素行)和像素列(也被称为特殊像素列)而布置着。这里，如果未形成特殊像素颜色滤波器sgf，则特殊滤波器sf的在特殊像素行(或特殊像素列)的中央部处的膜厚度变得比两端侧的膜厚度薄。这是因为，由于用于形成特殊滤波器sf的涂布机的离心力，特殊滤波器sf会流向特殊像素行(或特殊像素列)的两端侧。
148.如上所述，由于特殊滤波器sf的膜厚度变得不均匀，因此特殊像素4的灵敏度发生波动，并且与特殊像素4对应的功能就降低了。例如，假定特殊像素4是像面相位差像素，并且摄像装置1利用特殊像素4来实现自动对焦功能。在这种情况下，如果特殊像素4的灵敏度发生波动，那么摄像装置1无法适当地调整焦点，并且自动对焦功能可能会劣化。
149.另一方面，如图9至图13所示，例如，当在特殊像素行(或特殊像素列)中形成有特殊像素颜色滤波器sgf时，就由特殊像素颜色滤波器sgf将特殊滤波器sf针对各像素进行了划分。因此，特殊像素颜色滤波器sgf用作壁，使得特殊滤波器sf几乎不会流向特殊像素行(或特殊像素列)的两端侧，以这种方式就能够改善特殊滤波器sf的膜厚度的不均匀性。结果，可以抑制摄像装置1的功能劣化。
150.《3.变形例》
151.《3.1.第一变形例》
152.在上述实施方案中，已经说明了将特殊像素绿色滤波器sgf形成得包围特殊滤波器sf的周边的情况，但是本发明不限于此。可以将特殊像素绿色滤波器sgf形成得包围特殊像素区域sr的至少一部分，所述特殊像素区域sr包含特殊像素4中的至少一者。将参照图18来说明这些点。
153.图18是示出了根据本发明实施方案第一变形例的颜色滤波器层的构造示例的图。注意，图18示出了摄像装置1的颜色滤波器层的一部分。
154.在图18所示的颜色滤波器层cl4中，特殊像素绿色滤波器sgf形成在特殊滤波器sf的至少一部分(与颜色滤波器cf接触的一侧)上。
155.结果，绿色滤波器gf的角部与另一绿色滤波器gf或特殊像素绿色滤波器sgf接触，并且颜色滤波器cf可以被形成为期望的形状。另外，可以改善颜色滤波器cf的膜厚度的不均匀性。
156.注意，在图18所示的示例中，特殊滤波器sf未被特殊像素绿色滤波器sgf进行划分。因此，例如，当要求特殊滤波器sf的膜厚度均匀时，那么较佳的是，如本发明各实施方案中的颜色滤波器层cl1至cl3中所示，将特殊像素绿色滤波器sgf形成得包围特殊滤波器sf的周边。藉此，特殊滤波器sf可以被特殊像素绿色滤波器sgf进行划分，并且可以改善特殊滤波器sf的膜厚度的不均匀性。
157.《3.2.第二变形例》
158.接下来，将参照图19来说明本发明实施方案的第二变形例。图19是示出了根据本发明实施方案第二变形例的颜色滤波器层cl5的构造示例的图。注意，图19示出了摄像装置1的颜色滤波器层cl5的一部分。
159.如上所述，在特殊像素4是像面相位差像素的情况下，对应于特殊像素4的特殊滤波器sf是仅在预定区域中具有开口的开口滤波器，但是并非全部特殊滤波器sf都需要是开口滤波器。例如，如图19所示，特殊滤波器sf的一部分可以是开口滤波器，并且其他特殊滤波器sf可以是让预定颜色透过的颜色滤波器。在这种情况下，形成在开口滤波器的开口部中的颜色滤波器可以是让与其他特殊滤波器sf(在下文中，也被称为特殊颜色滤波器scf)透过的颜色相同的颜色透过的颜色滤波器。
160.在图19的示例中，开口滤波器of和特殊颜色滤波器scf交替布置着。例如，特殊颜色滤波器scf是让青色透过的颜色滤波器(在下文中，也被称为青色滤波器)。由于青色在光电转换部41中的灵敏度比rgb的灵敏度更高，因此可以通过将青色滤波器用作特殊滤波器sf来提高特殊像素4的灵敏度。注意，特殊颜色滤波器scf可以不是青色滤波器而是让白色透过的白色滤波器。由于白色滤波器在光电转换部41中的灵敏度比青色滤波器的灵敏度更高，因此可以进一步提高特殊像素4的灵敏度。
161.特殊像素绿色滤波器sgf可以被布置成包围特殊颜色滤波器scf的周边。结果，就可以获得与上述实施方案的效果类似的效果。另外，在形成有特殊像素绿色滤波器sgf的特殊像素区域中，特殊滤波器sf的形成区域变小了。因此，当在形成有特殊像素绿色滤波器sgf的特殊像素区域中形成开口滤波器of时，像面相位差像素的灵敏度可能会降低。因此，通过在未形成有特殊像素绿色滤波器sgf的特殊像素区域中形成开口滤波器of，就可以抑制像面相位差像素的灵敏度的降低。
162.注意，例如，通过对由与特殊颜色滤波器scf对应的特殊像素4接收到的光进行光电转换而获得的像素信号可以用于所摄取图像的校正。当普通像素3的一部分被替换为特殊像素4时，普通像素3的像素数量就减少了，并且所摄取图像的图像质量就会劣化。通过使用与特殊颜色滤波器scf对应的特殊像素4对所摄取图像进行校正，就可以在实现诸如自动对焦等功能的同时还能抑制所摄取图像的图像质量的劣化。
163.注意，图19示出了特殊像素4的左侧被遮光的开口滤波器of，但是尽管未示出，在颜色滤波器层cl5中也可以形成有右侧被遮光的开口滤波器of。另外，图19所示的开口滤波器of的布置是一个示例，并且本发明不限于此。例如，特殊像素4的左侧被遮光的开口滤波器of和右侧被遮光的开口滤波器of可以形成在同一像素行中。
164.《3.3.第三变形例》
165.在上述各实施方案中，被特殊像素绿色滤波器sgf包围的第一特殊滤波器sf1和未被特殊像素绿色滤波器sgf包围的第二特殊滤波器sf2交替布置着，但是本发明不限于此。
例如，如图20所示，特殊滤波器sf全部可以被特殊像素绿色滤波器sgf包围着。注意，图20是示出了根据本发明实施方案第三变形例的颜色滤波器层cl6的构造示例的图。注意，图20示出了摄像装置1的颜色滤波器层cl6的一部分。
166.如图20所示，即使全部的特殊滤波器sf都被特殊像素绿色滤波器sgf包围着，也可以获得与上述实施方案的效果相同的效果。注意，尽管特殊滤波器sf的面积减小了，但是所有的特殊滤波器sf具有基本上相同的面积。因此，通过用特殊像素绿色滤波器sgf包围所有的特殊滤波器sf，能够使特殊像素4的灵敏度是均衡的。
167.注意，虽然图20示出了其中把特殊滤光器sf布置在颜色滤波器层cl6的像素行中的示例，但是如图21所示，除了布置在颜色滤波器层cl6的像素行中之外，特殊滤波器sf还可以布置在像素列中。可供替代地，特殊滤波器sf可以布置在滤色片层cl6的像素列中。注意，图21是示出了根据本发明实施方案第三变形例的颜色滤波器层cl6的另一构造示例的图，并且示出了摄像装置1的颜色滤波器层cl6的一部分。
168.《3.4.第四变形例》
169.在上述实施方案中，特殊像素绿色滤波器sgf布置成包围与一个特殊像素4对应的特殊滤波器sf的周边，但是本发明不限于此。例如，特殊像素绿色滤波器sgf可以布置成包围与两个以上特殊像素4对应的特殊滤波器sf的周边。换句话说，在根据第四变形例的颜色滤波器层cl7中，在平面图中包含两个以上特殊滤波器sf的特殊滤波器区域的周边可以被特殊像素绿色滤波器sgf包围着。
170.图22是示出了根据本发明实施方案第四变形例的颜色滤波器层cl7的构造示例的图。图22示出了摄像装置1的颜色滤波器层cl7的一部分。
171.如图22所示，在颜色滤波器层cl7中，在平面图中包括两个特殊滤波器sf的特殊滤波器区域的周边被特殊像素绿色滤波器sgf包围着。
172.注意，尽管图22示出了其中把特殊滤波器sf布置在颜色滤波器层cl7的像素行中的示例，但是如图23所示，除了布置在颜色滤波器层cl7的像素行中之外，特殊滤波器sf还可以布置在像素列中。可供替代地，特殊滤波器sf可以布置在颜色滤波器层cl7的像素列中。注意，图23是示出了根据本发明实施方案第四变形例的颜色滤波器层cl7的另一构造示例的图，并且示出了摄像装置1的颜色滤波器层cl7的一部分。
173.《3.5.第五变形例》
174.在上述实施方案中，已经说明了把特殊滤波器sf布置在颜色滤波器层的像素行或像素列中的情况，但是本发明不限于此。例如，如图24所示，颜色滤波器cf的一部分可以被替换为特殊滤波器sf。图24是示出了根据本发明实施方案第五变形例的颜色滤波器层cl8的构造示例的图。图24示出了摄像装置1的颜色滤波器层cl8的一部分。
175.在图24所示的颜色滤波器层cl8中，按照预定间隔将绿色滤波器gf替换为特殊滤波器sf，并且特殊像素绿色滤波器sgf布置成包围特殊滤波器sf的周边。以这种方式，可以按预定间隔将普通像素3替换为特殊像素4。
176.《4.适用例》
177.接下来，将会在本说明书中说明根据本发明实施方案及变形例的摄像装置1的适用例。图25是示出了使用根据上述实施方案及变形例的摄像装置1的使用例的图。
178.例如，上述各摄像装置1可以应用于如下所述的对诸如可见光、红外光、紫外光和x
射线等光进行感测的各种情况。
[0179]-用于拍摄鉴赏用的图像的设备，例如数码静态相机或具有相机功能的便携设备等。
[0180]-用于交通的设备，例如，为了实现诸如自动停止等安全驾驶以及为了识别驾驶员的状态等，对车辆的前方、后方、周围、内部等进行拍摄的车载传感器，监视行进车辆或道路的监视相机，以及测量车辆之间间距的测距传感器等。
[0181]-用于诸如电视、冰箱和空调等家用电器的设备，以便拍摄用户的手势并根据该手势对设备进行操作。
[0182]-用于医疗保健的设备，例如内窥镜或通过接收红外光来进行血管造影的设备等。
[0183]-用于安保的设备，例如用于预防犯罪的监视相机或用于人物身份验证的相机等。
[0184]-用于美容护理的设备，例如用于拍摄皮肤的皮肤测定仪或用于拍摄头皮的显微镜等。
[0185]-用于运动的设备，例如运动用相机或用于体育的可穿戴相机等。
[0186]-用于农业的设备，例如用于监测田地和农作物状况的相机等。
[0187]
[根据本发明技术的进一步适用例]
[0188]
根据本发明的技术(本技术)可以应用于各种产品。例如，根据本发明的技术可以应用于体内信息获取系统。
[0189]
(体内信息获取系统的适用例)
[0190]
图26是示出了患者的体内信息获取系统的示意性构造的一个示例的框图，该体内信息获取系统使用了根据本发明的技术(本技术)可适用的胶囊型内窥镜。
[0191]
体内信息获取系统10001包括胶囊型内窥镜10100和外部控制装置10200。
[0192]
胶囊型内窥镜10100在检查时被患者吞入。胶囊型内窥镜10100具有摄像功能和无线通信功能，在从患者体内自然排出之前通过蠕动运动等在诸如胃和肠等脏器内部移动的同时，按规定间隔依次摄取这些脏器内部的图像(在下文中，被称为体内图像)，并且将关于体内图像的信息依次以无线的方式发送到体外的外部控制装置10200。
[0193]
外部控制装置10200综合地控制体内信息获取系统10001的操作。另外，外部控制装置10200接收从胶囊型内窥镜10100发送过来的关于体内图像的信息，并且基于所接收到的关于体内图像的信息而生成用于把该体内图像在显示装置(未示出)上显示出来的图像数据。
[0194]
以这种方式，在从胶囊型内窥镜10100被吞入直到该胶囊型内窥镜被排出的任何时刻，体内信息获取系统10001都可以获得通过对患者体内的状态进行摄像而获得的体内图像。
[0195]
下面将更详细地说明胶囊型内窥镜10100和外部控制装置10200的构造和功能。
[0196]
胶囊型内窥镜10100包括胶囊型壳体10101，并且光源部10111、摄像部10112、图像处理部10113、无线通信部10114、给电部10115、电源部10116和控制部10117被容纳在壳体10101中。
[0197]
例如，光源部10111包括诸如发光二极管(led：light emitting diode)等光源，并且用光照射摄像部10112的摄像视野。
[0198]
摄像部10112包括：摄像装置；以及设置在摄像装置前方的含有多个透镜的光学系
统。照射到作为观察对象的身体组织的光的反射光(在下文中，被称为观察光)被该光学系统会聚，并且入射到该摄像装置。在摄像部10112中，在该摄像装置内，入射到该摄像装置的观察光被执行光电转换从而生成与观察光对应的图像信号。由摄像部10112生成的图像信号被提供给图像处理部10113。
[0199]
图像处理部10113包括诸如cpu或gpu(图形处理单元：graphics processing unit)等处理器，并且对由摄像部10112生成的图像信号实施各种信号处理。图像处理部10113把经过信号处理后的图像信号作为raw(原始)数据提供给无线通信部10114。
[0200]
无线通信部10114对由图像处理部10113实施了信号处理的图像信号执行诸如调制处理等预定处理，然后将该图像信号经由天线10114a发送到外部控制装置10200。另外，无线通信部10114经由天线10114a从外部控制装置10200接收与胶囊型内窥镜10100的驱动控制有关的控制信号。无线通信部10114把从外部控制装置10200接收到的控制信号提供给控制部10117。
[0201]
给电部10115包括：电力接收用天线线圈；从在该天线线圈中产生的电流进行电力再生的电力再生电路；以及升压电路(boost circuit)等。在给电部10115中，利用所谓的感应式充电原理来生成电力。
[0202]
电源部10116包括可再充电电池，并且储存着由给电部10115生成的电力。在图26中，为了避免附图的复杂化，省略了用于指示来自电源部10116的电力的供给目的地的箭头等的图示，然而储存于电源部10116中的电力可以被供给到光源部10111、摄像部10112、图像处理部10113、无线通信部10114和控制部10117，并且可以用于驱动这些部件。
[0203]
控制部10117包括诸如cpu等处理器，并且根据从外部控制装置10200发送过来的控制信号适当地控制光源部10111、摄像部10112、图像处理部10113、无线通信部10114和给电部10115的驱动。
[0204]
外部控制装置10200包括诸如cpu(中央处理单元)或gpu(图形处理单元)等处理器，或者包括组合地安装有处理器和诸如存储器等存储元件的微型计算机或控制板等。外部控制装置10200通过经由天线10200a向胶囊型内窥镜10100的控制部10117发送控制信号来控制胶囊型内窥镜10100的操作。在胶囊型内窥镜10100中，例如，光源部10111中的对于观察对象的光照射条件可以通过来自外部控制装置10200的控制信号来改变。另外，摄像条件(例如，摄像部10112中的帧速率、曝光值等)可以通过来自外部控制装置10200的控制信号来改变。另外，图像处理部10113中的处理内容以及无线通信部10114对于图像信号的发送条件(例如，发送间隔、发送图像的数量等)可以通过来自外部控制装置10200的控制信号来改变。
[0205]
另外，外部控制装置10200对从胶囊型内窥镜10100发送过来的图像信号执行各种图像处理，并且生成用于把所摄取的体内图像在显示装置上显示出来的图像数据。作为图像处理，可以单独或组合地执行诸如下列之类的各种信号处理：显像处理(去马赛克处理)、高图像质量化处理(频带增强处理、超分辨率处理、降噪处理、相机抖动校正处理等)和放大处理(电子变焦处理)等。外部控制装置10200控制显示装置的驱动，以显示出基于所生成的图像数据的所摄取的体内图像。可供替代地，外部控制装置10200可以致使记录装置(未示出)记录所生成的图像数据，或者可以致使打印装置(未示出)打印所生成的图像数据。
[0206]
上面已经说明了根据本发明的技术可适用的体内信息获取系统的示例。根据本发
明的技术可以应用于上面说明的构造中的例如摄像部10112。通过将根据本发明的摄像装置1应用于摄像部10112，即使在进行变焦等的情况下也能够进行良好的自动对焦，并且能够获得更高质量的体内图像等。
[0207]
(内窥镜手术系统的适用例)
[0208]
根据本发明的技术可以进一步应用于内窥镜手术系统。图27是示出了根据本发明的技术(本技术)可适用的内窥镜手术系统的示意性构造的示例的图。
[0209]
图27示出了外科医生(医师)11131正在使用内窥镜手术系统11000对病床11133上的患者11132进行手术的状态。如图所示，内窥镜手术系统11000包括：内窥镜11100；诸如气腹管11111和能量处置器械11112等其他手术器械11110；用于支撑内窥镜11100的支撑臂装置11120；以及搭载有用于内窥镜手术的各种装置的推车11200。
[0210]
内窥镜11100包括：镜筒11101，从其远端算起具有预定长度的区域被插入患者11132的体腔内；以及相机头11102，其连接到镜筒11101的近端。在所示出的示例中，示出了内窥镜11100被构造为具有硬性镜筒11101的所谓硬性镜，然而内窥镜11100可以被构造为具有软性镜筒的所谓软性镜。
[0211]
镜筒11101在其远端处设置有开口部，物镜装配在该开口部中。光源装置11203连接到内窥镜11100，由光源装置11203产生的光利用在镜筒11101内部延伸的光导件而被引导到镜筒11101的远端，并且该光经由物镜照射至患者11132体腔内的观察对象。注意，内窥镜11100可以是直视镜、斜视镜或侧视镜。
[0212]
在相机头11102的内部设置有光学系统和摄像装置，并且来自观察对象的反射光(观察光)被该光学系统聚集到该摄像装置上。观察光由该摄像装置进行光电转换，从而产生与观察光相应的电信号，即，与观察图像相应的图像信号。该图像信号作为原始(raw)数据被发送到相机控制单元(ccu：camera control unit)11201。
[0213]
ccu 11201包括cpu(中央处理单元)或gpu(图形处理单元)等，并且综合地控制内窥镜11100和显示装置11202的操作。此外，ccu 11201接收来自相机头11102的图像信号，并且针对该图像信号实施诸如显像处理(去马赛克处理)等用于显示出基于该图像信号的图像的各种图像处理。
[0214]
在ccu 11201的控制下，显示装置11202显示出基于已经由ccu11201实施了图像处理的图像信号的图像。
[0215]
例如，光源装置11203包括诸如发光二极管(led)等光源，并且把对手术部位等进行摄像时的照射光供给到内窥镜11100。
[0216]
输入装置11204是用于内窥镜手术系统11000的输入接口。用户可以经由输入装置11204向内窥镜手术系统11000输入各种信息和指令。例如，用户可以输入旨在改变内窥镜11100的摄像条件(照射光的类型、倍率、焦距等)的指令等。
[0217]
处置器械控制装置11205控制用于组织的烧灼或切开、或者用于血管的密封等的能量处置器械11112的驱动。气腹装置11206经由气腹管11111向患者11132的体腔内注入气体，以使体腔膨胀，从而确保内窥镜11100的视野并确保外科医生的作业空间。记录仪11207是能够记录与手术有关的各种信息的装置。打印机11208是能够以诸如文本、图像、图形等各种形式打印与手术有关的各种信息的装置。
[0218]
应当注意，用于把对手术部位进行摄像时的照射光供给到内窥镜11100的光源装
置11203可以包括例如由led、激光光源或它们的组合构成的白色光源。在白色光源由红色、绿色和蓝色(rgb)激光光源的组合构成的情况下，由于可以高精度地控制各个颜色(各个波长)的输出强度和输出时序，因此可以在光源装置11203中进行所摄取图像的白平衡调整。
[0219]
另外，可以对光源装置11203的驱动进行控制，使得所要输出的光强度按预定的时间间隔发生变化。通过与光强度的变化的时序同步地控制相机头11102的摄像装置的驱动从而以时分(time division)的方式获得图像，并且合成图像，就能够生成不会具有所谓的曝光不足的暗影和过度曝光的高光的高动态范围图像。
[0220]
此外，光源装置11203可以被构造为能够提供用于特殊光观察的预定波长带域的光。在特殊光观察中，例如，可以执行如下的所谓窄带域成像(narrow band imaging)：其中，例如利用身体组织中的光吸收的波长依赖性，通过照射与普通观察时的照射光(即，白光)相比具有更窄带域的光，由此以高对比度对诸如粘膜表层处的血管等预定组织进行摄像。可供替代地，在特殊光观察中，可以执行如下的荧光观察：其中，利用通过照射激发光而产生的荧光来获得图像。在荧光观察中，可以用激发光照射身体组织、并且观察来自身体组织的荧光(自身荧光观察)，或者可以将诸如吲哚菁绿(icg：indocyanine green)等试剂局部地注射到身体组织中、并且通过用与该试剂的荧光波长对应的激发光照射该身体组织来获得荧光图像。光源装置11203可以被构造成能够提供与这种特殊光观察对应的窄带域光和/或激发光。
[0221]
图28是示出了图27所示的相机头11102和ccu 11201的功能构造的示例的框图。
[0222]
相机头11102包括透镜单元11401、摄像部11402、驱动部11403、通信部11404和相机头控制部11405。ccu 11201包括通信部11411、图像处理部11412和控制部11413。相机头11102和ccu 11201通过传输线缆11400彼此可通信地连接。
[0223]
透镜单元11401是设置在与镜筒11101的连接部处的光学系统。从镜筒11101的远端摄入的观察光被引导到相机头11102，并且入射至透镜单元11401。透镜单元11401包括含有变焦透镜和聚焦透镜在内的多个透镜的组合。
[0224]
摄像部11402包括摄像装置。用于形成摄像部11402的摄像装置的数量可以是一个摄像装置(所谓的单板型)或者多个摄像装置(所谓的多板型)。在摄像部11402是多板型的情况下，例如，通过各个摄像装置生成与rgb各者相应的图像信号，并且可以通过对这些图像信号进行合成来获得彩色图像。可供替代地，摄像部11402可以包括一对摄像装置，该一对摄像装置分别用于获取与三维(3d)显示相应的右眼用和左眼用图像信号。通过进行3d显示，外科医生11131可以更加准确地把握手术部位中的身体组织的深度。注意，在摄像部11402是多板型的情况下，可以对应于各个摄像装置而设置有多个体系的透镜单元11401。
[0225]
此外，摄像部11402并非必须设置于相机头11102上。例如，摄像部11402可以设置于镜筒11101内部且在物镜的正后方。
[0226]
驱动部11403包括致动器，并且在相机头控制部11405的控制下使透镜单元11401的变焦透镜和聚焦透镜沿光轴移动预定距离。因此，可以适当地调整摄像部11402的所摄取图像的倍率和焦点。
[0227]
通信部11404包括用于向ccu 11201传送各种信息和从ccu 11201接收各种信息的通信装置。通信部11404将从摄像部11402获取的图像信号作为raw数据通过传输线缆11400传送到ccu 11201。
[0228]
另外，通信部11404从ccu 11201接收用于控制相机头11102的驱动的控制信号，并且将该控制信号供给到相机头控制部11405。例如，该控制信号包括如下的与摄像条件有关的信息：诸如用于指定所摄取图像的帧速率的信息、用于指定摄像时的曝光值的信息、和/或用于指定所摄取图像的倍率和焦点的信息等。
[0229]
应当注意，上述的诸如帧速率、曝光值、倍率和焦点等摄像条件可以由用户适宜地指定，或者可以基于所获取的图像信号由ccu 11201的控制部11413自动设定。在后一种情况下，在内窥镜11100中并入有自动曝光(ae：auto exposure)功能、自动对焦(af：auto focus)功能和自动白平衡(awb：auto white balance)功能。
[0230]
相机头控制部11405基于经由通信部11404从ccu 11201接收到的控制信号来控制相机头11102的驱动。
[0231]
通信部11411包括用于向相机头11102传送各种信息和从相机头11102接收各种信息的通信装置。通信部11411接收从相机头11102经由传输线缆11400传送过来的图像信号。
[0232]
此外，通信部11411将用于控制相机头11102的驱动的控制信号传送到相机头11102。图像信号和控制信号可以通过电通信或光通信等予以传送。
[0233]
图像处理部11412对从相机头11102传送过来的raw数据形式的图像信号进行各种图像处理。
[0234]
控制部11413执行与通过内窥镜11100进行的对手术部位等的摄像有关以及与通过对手术部位等的摄像而获得的所摄取图像的显示有关的各种控制。例如，控制部11413生成用于控制相机头11102的驱动的控制信号。
[0235]
此外，基于已经由图像处理部11412进行了图像处理的图像信号，控制部11413致使显示装置11202显示出反映了手术部位等的所摄取图像。此时，控制部11413可以使用各种图像识别技术来识别所摄取图像中的各种物体。例如，控制部11413可以通过检测所摄取图像中所包含的物体的边缘形状、颜色等来识别诸如钳子等手术器械、特定活体部位、出血、及使用能量处置器械11112时的薄雾等。当在显示装置11202上显示出所摄取图像时，控制部11413可以利用上述识别结果，将各种手术支援信息以叠加的方式显示于手术部位的图像上。在以叠加的方式显示手术支援信息并将其呈现给外科医生11131的情况下，能够减轻外科医生11131的负担，并且能够使外科医生11131可靠地进行手术。
[0236]
将相机头11102和ccu 11201彼此连接的传输线缆11400可以是用于电信号通信的电信号线缆、用于光通信的光纤、或用于电通信和光通信两者的复合线缆。
[0237]
这里，虽然在图28的示例中，使用传输电缆11400以有线的方式进行通信，但是也可以通过无线的方式来进行相机头11102和ccu 11201之间的通信。
[0238]
上面已经说明了根据本发明的技术可适用的内窥镜手术系统的示例。例如，根据本发明的技术可以应用于上面说明的构造中的内窥镜11100和相机头11102的摄像部11402。通过将根据本发明的摄像装置1应用于摄像部11402，即使在进行变焦等的情况下也能够进行良好的自动对焦，并且能够获得更高质量的所摄取图像等。结果，可以减轻外科医生11131的负担，并且可以使得外科医生11131能够可靠地进行手术。
[0239]
注意，这里，已经以内窥镜手术系统为例进行了说明，但是根据本发明的技术也可以应用于例如显微镜手术系统等。
[0240]
(移动体的适用例)
[0241]
根据本发明的技术还可以适用于安装在诸如汽车、电动汽车、混合动力汽车、摩托车、自行车、个人机动载具、飞机、无人飞行器、船舶、机器人等各种移动体上的装置。
[0242]
图29是车辆控制系统的示意性构造示例的框图，该车辆控制系统是根据本发明的技术可以适用的移动体控制系统的一个示例。
[0243]
车辆控制系统12000包括经由通信网络12001相互连接的多个电子控制单元。在图29所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和综合控制单元12050。此外，作为综合控制单元12050的功能构造，示出了微型计算机12051、声音图像输出部12052和车载网络i/f(接口)12053。
[0244]
驱动系统控制单元12010根据各种程序来控制与车辆的驱动系统有关的设备的操作。例如，驱动系统控制单元12010可以作为如下各种设备的控制装置而发挥作用：诸如内燃机或驱动电机等用于产生车辆的驱动力的驱动力产生设备、用于向车轮传递驱动力的驱动力传递机构、用于调整车辆的转向角的转向机构、以及用于产生车辆的制动力的制动设备等。
[0245]
车身系统控制单元12020根据各种程序来控制设置于车身上的各种设备的操作。例如，车身系统控制单元12020可以作为如下各种设备的控制装置而发挥作用：无钥匙进入系统、智能钥匙系统、电动窗装置、或者诸如头灯、尾灯、刹车灯、转向灯、雾灯等各种灯。在这种情况下，从代替钥匙的便携式装置发送的无线电波或来自各种开关的信号可以输入到车身系统控制单元12020。车身系统控制单元12020接收这些无线电波或信号的输入，并且控制车辆的门锁装置、电动窗装置、灯等。
[0246]
车外信息检测单元12030检测与搭载有车辆控制系统12000的车辆的外部有关的信息。例如，车外信息检测单元12030连接到摄像部12031。车外信息检测单元12030致使摄像部12031拍摄车辆外部的图像，并且接收所摄取的图像。基于接收到的图像，车外信息检测单元12030可以进行诸如人、车辆、障碍物、标志、道路上的文字等物体的物体检测处理或距离检测处理。例如，车外信息检测单元12030对接收到的图像进行图像处理，并基于图像处理的结果进行物体检测处理或距离检测处理。
[0247]
摄像部12031是接收光、并且输出与所接收的光量对应的电信号的光学传感器。摄像部12031可以把电信号作为图像而输出，或者可以把电信号作为测距信息而输出。另外，由摄像部12031接收的光可以是可见光，或者可以是诸如红外线等非可见光。
[0248]
车内信息检测单元12040检测与车辆内部有关的信息。例如，车内信息检测单元12040连接到用于检测驾驶员的状态的驾驶员状态检测部12041。例如，驾驶员状态检测部12041可以包括对驾驶员进行摄像的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可以计算驾驶员的疲劳程度或专注程度，或者可以判断驾驶员是否在打瞌睡。
[0249]
基于由车外信息检测单元12030或车内信息检测单元12040获得的与车辆内部或外部有关的信息，微型计算机12051可以计算驱动力产生设备、转向机构或制动设备的控制目标值，并且可以向驱动系统控制单元12010输出控制命令。例如，微型计算机12051可以进行旨在实现高级驾驶辅助系统(adas：advanced driver assistance system)功能的协调控制，该adas功能包括：车辆的碰撞避免或碰撞缓和、基于车间距离的跟随行驶、车辆定速
巡航、车辆碰撞警告、车辆偏离车道警告等。
[0250]
另外，基于由车外信息检测单元12030或车内信息检测单元12040获得的车辆周围的信息，微型计算机12051可以通过控制驱动力产生设备、转向机构、制动设备等，来执行旨在实现例如使车辆不依赖于驾驶员的操作控制而自主行驶的自动驾驶等的协调控制。
[0251]
另外，基于由车外信息检测单元12030获取的与车辆外部有关的信息，微型计算机12051可以将控制命令输出到车身系统控制单元12020。例如，微型计算机12051可以根据由车外信息检测单元12030检测到的前方车辆或迎面来车的位置，例如通过控制头灯以将远光切换为近光来执行旨在实现防止眩光的协调控制。
[0252]
声音图像输出部12052将声音和图像中的至少一者的输出信号传送到能够在视觉上或听觉上将信息通知给车辆乘员或车辆外部的输出装置。在图29的示例中，作为输出装置，示出了音频扬声器12061、显示部12062和仪表板12063。例如，显示部12062可以包括板载显示器和平视显示器中的至少一种。
[0253]
图30是示出了摄像部12031的安装位置的示例的图。在图30中，车辆12100包括作为摄像部12031的摄像部12101、12102、12103、12104和12105。
[0254]
例如，摄像部12101、12102、12103、12104和12105被布置在车辆12100的诸如车头、侧视镜、后保险杠和后备厢门以及车厢内挡风玻璃上部等的各位置处。设置在车头处的摄像部12101和设置在车厢内挡风玻璃上部处的摄像部12105主要获取车辆12100前方的图像。设置在侧视镜处的摄像部12102和12103主要获取车辆12100侧方的图像。设置在后保险杠或后备厢门处的摄像部12104主要获取车辆12100后方的图像。例如，由摄像部12101和12105获取的前方图像主要用于检测前方车辆、行人、障碍物、交通信号灯、交通标志或车道等。
[0255]
注意，图30示出了摄像部12101～12104的摄像范围的示例。摄像范围12111表示设置在车头处的摄像部12101的摄像范围，摄像范围12112和12113分别表示设置在侧视镜处的摄像部12102和12103的摄像范围，并且摄像范围12114表示设置在后保险杠或后备厢门处的摄像部12104的摄像范围。例如，通过叠加由摄像部12101～12104拍摄到的图像数据，可以获得车辆12100的从上方看到的俯瞰图像。
[0256]
摄像部12101～12104中的至少一者可以具有获取距离信息的功能。例如，摄像部12101～12104中的至少一者可以是包括多个摄像装置的立体相机，或者可以是具有相位差检测用像素的摄像装置。
[0257]
例如，基于从摄像部12101～12104获得的距离信息，微型计算机12051可以求出距摄像范围12111～12114内的各立体物的距离和该距离随时间的变化(相对于车辆12100的相对速度)，从而提取尤其是作为在车辆12100的行驶路径上离得最近的立体物的、在与车辆12100大致相同的方向上以预定速度(例如，0km/h以上)行驶的立体物作为前方车辆。此外，微型计算机12051可以设定应当与前方车辆的近前要预先确保的车间距离，并且可以进行自动制动控制(包括跟随停止控制)、自动加速控制(包括跟随启动控制)等。因此，可以进行旨在实现使车辆不依赖于驾驶员的操作而自主行驶的自动驾驶等的协调控制。
[0258]
例如，基于从摄像部12101～12104获得的距离信息，微型计算机12051可以将与立体物有关的立体物数据分类为诸如两轮车辆、普通车辆、大型车辆、行人、和电线杆等其他立体物的立体物数据，提取分类后的立体物数据，并利用所提取的数据来自动避开障碍物。
例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员可以在视觉上辨认的障碍物和车辆12100的驾驶员难以在视觉上辨认的障碍物。然后，微型计算机12051判断用于表示与各障碍物发生碰撞的危险度的碰撞风险。在碰撞风险等于或超过设定值并且由此而存在碰撞的可能性的情况下，微型计算机12051可以经由音频扬声器12061或显示部12062向驾驶者输出警报，或者可以经由驱动系统控制单元12010进行强制减速或规避转向。藉此，微型计算机12051可以提供用于避免碰撞的辅助驾驶。
[0259]
摄像部12101～12104中的至少一者可以是检测红外线的红外相机。例如，微型计算机12051可以通过判定在摄像部12101～12104的所摄取图像中是否存在行人来识别出行人。例如，对行人的这种识别是通过如下步骤来进行的：从作为红外相机的摄像部12101～12104的所摄取图像中提取特征点的步骤；以及对表示物体轮廓的一系列特征点进行图案匹配处理来判定是否为行人的步骤。当微型计算机12051判定在摄像部12101～12104的所摄取图像中存在有行人并且由此识别出行人时，声音图像输出部12052控制显示部12062，使其把用于表示强调的方形轮廓线叠加地显示在所识别的行人上。声音图像输出部12052还可以控制显示部12062，使其把用于表示行人的图标等显示在所期望的位置处。
[0260]
上面已经说明了根据本发明的技术可适用的车辆控制系统的示例。例如，根据本发明的技术可以应用于上面说明的构造中的摄像部12031。通过将根据本发明的摄像装置1应用于摄像部12031，即使在进行变焦等的情况下也能够进行良好的自动对焦，并且能够获得更高质量的所摄取图像。
[0261]
《5.总结》
[0262]
上面已经参照图1至图30详细说明了本发明的实施方案和变形例。如上所述，根据本发明实施方案和变形例的摄像装置1包括以矩阵状布置着的多个普通像素3、通过替换普通像素3的一部分而布置着的特殊像素4、对应于普通像素3并按照预定规则布置着的颜色滤波器cf、对应于特殊像素4布置着的特殊滤波器sf、以及被布置得包围特殊滤波器sf的周边的至少一部分的特殊像素颜色滤波器(相当于特殊像素绿色滤波器sgf)。
[0263]
结果，颜色滤波器cf能够以该颜色滤波器cf的端部与特殊像素颜色滤波器接触的方式布置着，并且颜色滤波器cf可以被形成为期望的形状。因此，可以抑制普通像素3的灵敏度波动，并且可以抑制摄像装置的摄像精度的下降。
[0264]
尽管已经参照附图详细说明了本发明的优选实施方案，但是本发明的技术范围不限于这些示例。显然，拥有本发明技术领域内的普通知识的人可以在权利要求所记载的技术思想的范围内进行各种变化或变形，应当理解，这些变化或变形当然也属于本发明的技术范围。
[0265]
另外，本说明书中所述的效果仅仅是说明性或示例性的，而非限制性的。即，与上述效果一起或代替上述效果的是，根据本发明的技术可以呈现出本领域技术人员从本说明书的记载中显而易见的其他效果。
[0266]
注意，以下构造也属于本发明的技术范围。
[0267]
(1)摄像装置，包括：
[0268]
多个普通像素，它们以矩阵状布置着；
[0269]
特殊像素，其通过替换所述多个普通像素的一部分而布置着；
[0270]
颜色滤波器，其对应于所述普通像素且根据预定规则布置着；
[0271]
特殊滤波器，其对应于所述特殊像素布置着；和
[0272]
特殊像素颜色滤波器，其被布置成包围所述特殊滤波器的周边的至少一部分。
[0273]
(2)根据(1)所述的摄像装置，其中，
[0274]
所述颜色滤波器包括让不同颜色透过的多个滤波器，并且
[0275]
所述特殊像素颜色滤波器是让与所述多个滤波器的任一者透过的颜色相同的颜色透过的颜色滤波器。
[0276]
(3)根据(1)或(2)所述的摄像装置，其中，
[0277]
所述特殊像素颜色滤波器被布置成与如下的所述颜色滤波器的角部接触：该颜色滤波器透过的颜色和该特殊像素颜色滤波器透过的颜色相同。
[0278]
(4)根据(1)至(3)中任一项所述的摄像装置，其中，
[0279]
所述特殊像素颜色滤波器被布置成包围一个所述特殊滤波器的周边。
[0280]
(5)根据(4)所述的摄像装置，其中，
[0281]
所述特殊像素颜色滤波器被布置成包围与如下的所述颜色滤波器相邻的所述特殊滤波器：该颜色滤波器透过的颜色和所述特殊像素颜色滤波器透过的颜色不同。
[0282]
(6)根据(1)至(3)中任一项所述的摄像装置，其中，
[0283]
所述特殊像素颜色滤波器被布置成包围两个以上的相邻的所述特殊滤波器的周边。
[0284]
(7)根据(1)至(6)中任一项所述的摄像装置，其中，
[0285]
所述特殊滤波器是红外光滤波器、像面相位差滤波器、白色滤波器、单色滤波器和黑色滤波器中的任一者。
[0286]
(8)电子设备，包括：
[0287]
摄像装置；
[0288]
光学系统，其使得入射光在所述摄像装置的光接收面上成像；以及
[0289]
处理器，其控制所述摄像装置，
[0290]
其中，所述摄像装置包括：
[0291]
多个普通像素，它们以矩阵状布置着；
[0292]
特殊像素，其通过替换所述多个普通像素的一部分而布置着；
[0293]
颜色滤波器，其对应于所述普通像素且根据预定规则布置着；
[0294]
特殊滤波器，其对应于所述特殊像素布置着；和
[0295]
特殊像素颜色滤波器，其被布置成包围所述特殊滤波器的周边的至少一部分。
[0296]
附图标记列表
[0297]
1：摄像装置
[0298]
3：普通像素
[0299]
4：特殊像素
[0300]
31、41：光电转换部
[0301]
32、42：传输开关
[0302]
33、43：浮动扩散部
[0303]
35、45：放大晶体管
[0304]
36、46：行选择开关
[0305]
cf：颜色滤波器
[0306]
sf：特殊滤波器
[0307]
sgf：特殊像素绿色滤波器
[0308]
rf：红色滤波器
[0309]
gf：绿色滤波器
[0310]
bf：蓝色滤波器。