摄像元件和电子设备的制作方法

1.本发明涉及摄像元件和电子设备。


背景技术：

2.已知光从主透镜向其中布置有各自包括微透镜的多个像素的像素阵列照射。在该配置中，根据各像素相对于主透镜的光轴的位置的图像高度，相对于像素的入瞳直径发生变化，并且照射到像素的光量发生变化。因此，已知有通过根据图像高度偏移各像素的微透镜等的位置来抑制入瞳直径变化的瞳孔修正技术。
3.此外，已知一种像面相位差af技术，其中基于来自在上述像素阵列中以行方向(或列方向)布置的多个像素各者的像素信号的相位差来执行自动对焦(af)处理和视差检测。
4.引用文献列表
5.专利文献
6.专利文献1：jp2017
‑
188633a
7.专利文献1：jp2018
‑
014476a


技术实现要素：

8.发明要解决的技术问题
9.在传统技术中，针对包括在一个像素阵列中的各像素的瞳孔修正量对于各像素是固定的。同时，在像素阵列应用于普通相机的情况下，如果通过更换镜头、操作变焦等来改变主透镜，则主透镜的入瞳直径发生变化。在主透镜的入瞳直径如上所述发生变化的情况下，不能适当地进行瞳孔修正，并且难以以高的准确性获取图像信号的相位差。
10.本发明的目的在于提供一种能够在更宽的入瞳直径范围内以高的准确性获取图像信号的相位差的摄像元件和电子设备。
11.技术问题的解决方案
12.为了解决上述问题，根据本发明的一个方面的摄像元件包括光接收单元，所述光接收单元包括以栅格图案阵列布置的多个光电转换元件；和多个透镜，其以一对一的方式针对包括彼此相邻布置的两个或多个所述多个光电转换元件的各个元件集设置，其中，在所述光接收单元中，在各自包括所述元件集和设置在所述元件集中的所述多个透镜中的一者的多个像素集中，彼此相邻的至少两个像素集的瞳孔修正量彼此不同。
附图说明
13.图1是示出了共同适用于各实施方案的电子设备的示例的配置的框图。
14.图2是示出了共同适用于各实施方案的摄像元件的基本配置示例的框图。
15.图3是示出了共同使用拜耳阵列的示例的图。
16.图4是示出了适用于第一实施方案的像素配置的示例的图。
17.图5是示意性示出了适用于各实施方案的针对两个像素设置一个ocl的示例的图。
18.图6是示意性示出了适用于各实施方案的像素集的横截面的图。
19.图7是用于说明根据用于实现像面相位差af技术的传统技术的方法的第一示例的图。
20.图8a是用于说明根据用于实现像面相位差af技术的传统技术的方法的第二示例的图。
21.图8b是用于说明根据用于实现像面相位差af技术的传统技术的方法的第二示例的图。
22.图9是示出了根据第一实施方案的像素配置的示例的图。
23.图10是示意性示出了像素阵列单元的图。
24.图11a是示意性示出了根据第一实施方案的其中进行强瞳孔修正的像素集的横截面的图。
25.图11b是示意性示出了根据第一实施方案的其中进行弱瞳孔修正的像素集的横截面的图。
26.图12是用于说明根据第一实施方案在一个像素块中以多个瞳孔修正量进行瞳孔修正的情况下的效果图。
27.图13是示出了在像素阵列单元中各个区域相对于图像高度中心位于不同方向的示例的图。
28.图14a是示出了根据第一实施方案在区域c中的瞳孔修正的示例的图。
29.图14b是示出了根据第一实施方案在区域l中的瞳孔修正的示例的图。
30.图14c是示出了根据第一实施方案在区域r中的瞳孔修正的示例的图。
31.图14d是示出了根据第一实施方案在区域cb中的瞳孔修正的示例的图。
32.图14e是示出了根据第一实施方案在区域ct中的瞳孔修正的示例的图。
33.图14f是示出了根据第一实施方案在区域lt中的瞳孔修正的示例的图。
34.图14g是示出了根据第一实施方案在区域rb中的瞳孔修正的示例的图。
35.图15是用于说明从根据第一实施方案的各像素块的各像素中读出信号的第一方法的图。
36.图16是用于说明从根据第一实施方案的各像素块的各像素中读出信号的第二方法的图。
37.图17是示出了可适用于第一实施方案的用于抑制像素集之间颜色混合的像素配置的第一示例的横截面图。
38.图18是示出了可适用于第一实施方案的用于抑制像素集之间颜色混合的像素配置的第二示例的横截面图。
39.图19是示出了可适用于第一实施方案的沿着各像素块的边界配置的遮光体的示例的图。
40.图20是示出了可适用于第一实施方案的沿着各像素集的边界配置的遮光体的示例的图。
41.图21a是示出了根据第一实施方案的变形例在区域c中瞳孔修正的示例的图。
42.图21b是示出了根据第一实施方案的变形例在区域ct中瞳孔修正的示例的图。
43.图21c是示出了根据第一实施方案的变形例在区域cb中瞳孔修正的示例的图。
44.图21d是示出了根据第一实施方案的变形例在区域l中瞳孔修正的示例的图。
45.图21e是示出了根据第一实施方案的变形例在区域r中瞳孔修正的示例的图。
46.图21f是示出了根据第一实施方案的变形例在区域lt中瞳孔修正的示例的图。
47.图21g是示出了根据第一实施方案的变形例在区域rb中瞳孔修正的示例的图。
48.图22是示出了可适用于第二实施方案的像素配置的示例的图。
49.图23a是示出了根据第二实施方案在区域c中瞳孔修正的示例的图。
50.图23b是示出了根据第二实施方案在区域l中瞳孔修正的示例的图。
51.图23c是示出了根据第二实施方案在区域r中瞳孔修正的示例的图。
52.图23d是示出了根据第二实施方案在区域ct中瞳孔修正的示例的图。
53.图23e是示出了根据第二实施方案在区域cb中瞳孔修正的示例的图。
54.图23f是示出了根据第二实施方案在区域lt中瞳孔修正的示例的图。
55.图23g是示出了根据第二实施方案在区域rb中瞳孔修正的示例的图。
56.图24a是示出了根据第二实施方案的变形例在区域c中瞳孔修正的示例的图。
57.图24b是示出了根据第二实施方案的变形例在区域l中瞳孔修正的示例的图。
58.图24c是示出了根据第二实施方案的变形例在区域r中瞳孔修正的示例的图。
59.图24d是示出了根据第二实施方案的变形例在区域ct中瞳孔修正的示例的图。
60.图24e是示出了根据第二实施方案的变形例在区域cb中瞳孔修正的示例的图。
61.图24f是示出了根据第二实施方案的变形例在区域lt中瞳孔修正的示例的图。
62.图24g是示出了根据第二实施方案的变形例在区域rb中瞳孔修正的示例的图。
63.图25是示出了使用根据第一实施方案及其变形例和第二实施方案及其变形例的摄像元件的示例的图。
64.图26是示出了使用可以应用根据本发明的技术的胶囊型内窥镜的患者体内信息获取系统的示意性配置的示例的框图。
65.图27是示出了可以应用根据本发明的技术的内窥镜手术系统的示意性配置的示例的图。
66.图28是示出了摄像头和ccu之间的功能性配置的示例的框图。
67.图29是示出了作为可以应用根据本发明的技术的移动体控制系统的示例的车辆控制系统的示意性配置示例的框图。
68.图30是示出了安装摄像单元的位置的示例的图。
具体实施方案
69.下文中，将参照附图详细说明本发明的实施方案。注意，在以下实施方案中，使用相同的附图标记表示相同的部分，并且将省略重复的说明。
70.(共同适用于各实施方案的配置)
71.图1是示出了共同适用于各实施方案的电子设备的示例的配置的框图。在图1中，电子设备1包括光学系统2、控制单元3、摄像元件4、图像处理单元5、存储器6、存储单元7、显示单元8、接口(i/f)单元9，和输入装置10。
72.这里，作为电子设备1，可以应用数码相机、数码摄像机、具有摄像功能的移动电话、智能电话等。此外，作为电子设备1，还可以应用监控摄像机、车载摄像机、医疗摄像机
等。
73.摄像元件4包括例如以栅格图案阵列布置的多个光电转换元件。光电转换元件通过光电转换将接收到的光转换为电荷。摄像元件4包括驱动多个光电转换元件的驱动电路和从多个光电转换元件中的各者中读出电荷并且基于所读出的电荷生成图像数据的信号处理电路。
74.光学系统2包括由一个透镜或彼此组合的多个透镜形成的主透镜和用于驱动主透镜的机构，并且经由主透镜在摄像元件4的光接收面上形成来自被摄体的图像光(入射光)的图像。此外，光学系统2包括根据控制信号调整焦距的自动对焦机构和根据控制信号改变放大系数的变焦机构。此外，电子设备1可以配置成使得光学系统2是可拆卸的并且可被另一光学系统2替换。
75.图像处理单元5对从摄像元件4输出的图像数据执行预定的图像处理。例如，图像处理单元5连接至诸如帧存储器等存储器6，并且将从摄像元件4输出的图像数据写入存储器6。图像处理单元5对写入存储器6的图像数据执行预定的图像处理，并且将经过图像处理的图像数据再次写入存储器6。
76.存储单元7是例如闪存、硬盘驱动器等非易失性存储器，并且以非易失性方式存储从图像处理单元5输出的图像数据。显示单元8包括显示装置(例如，液晶显示器(lcd))和驱动显示装置的驱动电路，并且可以基于由图像处理单元5输出的图像数据显示图像。i/f单元9是用于将从图像处理单元5输出的图像数据传输至外部的接口。例如，通用串行总线(usb)可以用作i/f单元9。i/f单元9不限于此，并且可以是通过有线通信或通过无线通信可连接至网络的接口。
77.输入装置10包括用于接收用户输入的操作器等。若电子装置1是例如数码相机、数码摄像机、具有摄像功能的手机或智能手机，则输入装置10可以包括用以指示摄像元件4拍摄图像的快门按钮或用于实现快门按钮的功能的操作器。
78.控制单元3包括例如中央处理单元(cpu)等处理器、只读存储器(rom)和随机存取存储器(ram)，并且根据预先存储在rom中的程序使用ram作为工作存储器来控制电子设备1的全部操作。例如，控制单元3可以根据输入装置10接收到的用户输入来控制电子设备1的操作。此外，控制单元3可以基于图像处理单元5的图像处理结果来控制光学系统2的自动对焦机构。
79.图2是示出了共同适用于各实施方案的摄像元件4的基本配置示例的框图。在图2中，摄像元件4包括像素阵列单元11、垂直扫描单元12、模数(ad)转换单元13、像素信号线16、垂直信号线17、输出单元18、控制单元19和信号处理单元20。
80.像素阵列单元11包括各自具有执行接收到的光的光电转换的光电转换元件的多个像素110。作为光电转换元件，可以使用光电二极管。在像素阵列单元11中，多个像素110以二维栅格图案布置在水平方向(行方向)和垂直方向(列方向)上。在像素阵列单元11中，像素110在行方向上的排列称为行。一帧图像(图像数据)由从像素阵列单元11的预定行数读出的像素信号形成。例如，在用3000像素
×
2000行形成一帧图像的情况下，像素阵列单元11至少包括各自包括至少3000个像素110的2000行。
81.此外，对于像素阵列单元11的像素110的各行和各列，像素信号线16连接至各行，垂直信号线17连接至各列。
82.像素信号线16的未连接至像素阵列单元11的一端连接至垂直扫描单元12。垂直扫描单元12根据稍后将述的控制单元19的控制，在从像素110读出像素信号时，经由像素信号线16将诸如驱动脉冲等控制信号传输至像素阵列单元11。垂直信号线17的未连接至像素阵列单元11的一端连接至ad转换单元13。从像素读出的像素信号经由垂直信号线17被传输至ad转换单元13。
83.将示意性说明用于从像素读出像素信号的控制。将通过曝光在光电转换元件中累积的电荷传输至浮动扩散层(fd)，然后在浮动扩散层中将传输的电荷转换为电压来执行来自像素的像素信号的读出。在浮动扩散层中通过转换电荷获得的电压经由放大器输出至垂直信号线17。
84.更具体地，在像素110中，在曝光期间，光电转换元件和浮动扩散层在其间处于关闭(打开)状态，并且在光电转换元件中累积根据入射光通过光电转换产生的电荷。曝光完成后，浮动扩散层和垂直信号线17根据经由像素信号线16供给的选择信号彼此连接。此外，根据经由像素信号线16供给的复位脉冲，通过在短时间内将浮动扩散层连接至供给电源电压vdd或黑电平电压的线来复位浮动扩散层。浮动扩散层的复位电平电压(将称为电压p)被输出至垂直信号线17。然后，根据经由像素信号线16供给的传输脉冲，光电转换元件和浮动扩散层在其间处于打开(关闭)状态，并且将在光电转换元件中累积的电荷传输至浮动扩散层。对应于浮动扩散层的电荷量的电压(将称为电压q)被输出至垂直信号线17。
85.ad转换单元13包括针对各垂直信号线17设置的ad转换器1300、参考信号产生单元14和水平扫描单元15。ad转换器1300是相对于像素阵列单元11的各列执行ad转换处理的列ad转换器。ad转换器1300对经由垂直信号线17供给的来自像素110的像素信号执行ad转换处理，并且产生用于针对降噪的相关双采样(cds)处理的两个数值(分别对应于电压p和电压q的值)。
86.ad转换器1300将产生的两个数值供给至信号处理单元20。信号处理单元20基于从ad转换器1300供给的两个数值执行cds处理，并且根据数字信号产生像素信号(像素数据)。由信号处理单元20产生的像素数据被输出至摄像元件4的外部。
87.从信号处理单元20输出的图像数据例如被供给至图像处理单元5，并且被依次存储在存储器6(即，例如，帧缓冲器)中。当在帧缓冲器中存储了针对一帧的像素数据时，从帧缓冲器中将存储的像素数据作为一帧图像数据读出。
88.基于从控制单元19输入的adc控制信号，参考信号产生单元14产生将由各ad转换器1300使用以将像素信号转换为两数值的斜坡信号ramp。斜坡信号ramp是其电平(电压值)相对于时间以恒定斜率减小的信号，或是其电平逐步减小的信号。参考信号产生单元14将生成的斜坡信号ramp供给至各ad转换器1300。例如，使用数模(da)转换电路等配置参考信号产生单元14。
89.在控制单元19的控制下，水平扫描单元15执行选择性扫描以按预定顺序选择各ad转换器1300，从而将由各ad转换器1300临时保持的各数值依次地输出至信号处理单元20。例如，使用移位寄存器、地址解码器等配置水平扫描单元15。
90.控制单元19执行垂直扫描单元12、ad转换单元13、参考信号产生单元14、水平扫描单元15等的驱动控制。控制单元19生成各种驱动信号，垂直扫描单元12、ad转换单元13、参考信号产生单元14和水平扫描单元15的操作基于这些驱动信号。控制单元19基于从外部
(例如，控制单元3)供给的垂直同步信号或外部触发信号和水平同步信号，产生经由像素信号线16将由垂直扫描单元12供给至各像素110的控制信号。控制单元19将产生的控制信号供给至垂直扫描单元12。
91.基于从控制单元19供给的控制信号，垂直扫描单元12将包括驱动脉冲的各种信号针对与像素阵列单元11中选择的像素行相对应的各条像素信号线16供给至各像素110，然后像素信号被从各像素110输出至垂直信号线17。例如，使用移位寄存器、地址解码器等配置垂直扫描单元12。
92.如上所述配置的摄像元件4是针对各列布置有ad转换器1300的列ad型互补金属氧化物半导体(cmos)图像传感器。
93.(滤色器阵列的概述)
94.各像素110可以设置有选择性地透射具有预定波段的光的滤波器。当用于透射的波段为可见光波段时，将滤波器称为滤色器。下文中，假设各像素110设置有具有针对构成三基色的红色(r)、绿色(g)和蓝色(b)的其中之一的波段的滤色器。各像素110不限于此，并且可以设置有针对彼此具有互补色关系的颜色的其中之一的滤色器，或者可以设置有选择性地透射具有红外波段的光的滤波器或完全透射具有可见光波段的光的滤波器。下文中，除非另有说明，这些各种滤波器将统称为滤色器。
95.图3是示出了共同使用拜耳阵列的示例的图。在图3中，拜耳阵列包括各自设置有针对g颜色的滤色器的两个像素110g、设置有针对r颜色的滤色器的一个像素110r和设置有针对b颜色的滤色器的像素110b。在拜耳阵列中，以2像素
×
2像素的栅格图案排列这四个像素，使得两个像素110g彼此不相邻。换言之，拜耳阵列是这样的阵列：其中设置有透射具有相同波段的光的滤色器的像素110彼此不相邻。
96.注意，下文中，除非另有说明，否则将“设置有针对r颜色的滤色器的像素110r”称为“r颜色像素110r”或简称为“像素110r”。还将以相同的方式称设置有针对g颜色的滤色器的像素110g和设置有针对b颜色的滤色器的像素110b。此外，只要不特别关注滤色器，各个像素110r、110g和110b将统称为像素110。
97.图4是示出了适用于稍后将述的第一实施方案的像素配置的示例的图。在图4的像素配置中，在像素阵列中按照拜耳阵列布置有包括四个r颜色像素110r、四个g颜色像素110g或四个b颜色像素110b的各像素块，并且将其中以栅格图案布置的用于相同颜色的2像素
×
2像素的各像素块作为一个单位。下文中，除非另有说明，否则将这种像素阵列称为四分拜耳型rgb阵列。
98.更具体地，在四分拜耳型rgb阵列中，以2
×
2栅格图案布置包括r颜色像素110r、g颜色像素110g或b颜色像素110b的各像素块，使得相同颜色的像素块彼此不相邻，且像素110r、像素110g和像素110b的数量为1:2:1的比例。在图4的示例中，包括g颜色像素110g的像素块布置在包括b颜色像素110b的像素块的左侧和下方，并且包括r颜色像素110r的像素块与包括b颜色像素110b的像素块成对角线布置。
99.(共同适用于各实施方案的ocl的布置的概述)
100.布置在像素阵列单元11中的各像素110设置有与其对应的片上透镜(ocl)。在各实施方案中，设置一个ocl以由彼此相邻的多个像素110共用。图5是示意性示出了适用于各实施方案的针对两个像素110设置一个ocl的示例的图。
101.将更详细地说明作为示例的图5所示的四分割拜耳型rgb阵列的四个g颜色像素110g1、110g2、110g3和110g4。在图5中，针对在水平方向上彼此相邻的两像素110g1和110g2的集合设置一个ocl 30。类似地，针对在水平方向上彼此相邻的两像素110g3和110g4的集合设置一个ocl 30。类似地，对于r颜色像素110r和b颜色像素110b，针对图5的在水平方向上彼此相邻的两像素110r的集合和彼此相邻的两像素110b的集合各自设置一个ocl 30。
102.注意，下文中，如果适当，将一个ocl 30和共用ocl 30的多个相邻像素110的集合统称为“像素集”。在图5的示例中，像素集包括在像素阵列单元11的水平方向上彼此相邻的两个像素110。注意，下文中，在示出了如图5所示以二维栅格图案布置像素110的各图中，将附图的左右方向描述为水平方向，并且将附图的上下方向描述为竖直方向。
103.图6是示意性示出了适用于各实施方案的像素集的横截面的图。在图6的示例中，像素集包括彼此相邻布置的两个像素110。在图6中，包含在像素集中的两个像素110中的各者示意性地具有这样的结构：在根据入射光产生电荷的光电转换单元111的入射面上设置有滤色器112。包含在一个像素集中的两个滤色器112透射具有相同波段的光。横跨两个像素110的各自滤色器112设置有ocl 30，以被两个像素110共用。
104.(关于像面相位差af技术)
105.接下来，将示意性说明像面相位差af技术。在像面相位差af技术中，基于从位置彼此不同的像素110中的各者提取的像素信号的相位差来执行自动对焦控制和视差检测。在图5的示例中，对于例如包括共用一个ocl 30的两像素110g1和110g2的像素集，检测来自像素110g1和110g2中的各者的像素信号的相位差，并且例如，根据检测到的相位差获取用于执行例如自动对焦控制的信息。
106.图7是用于说明用于实现像面相位差af技术根据传统技术的方法的第一示例的图。在第一示例中，一个像素110w包括彼此相邻布置的两个光电转换单元111wa和111wb。光电转换单元111wa和111wb设置有共用的一个滤色器112a和一个ocl 31。在滤色器112a和与滤色器112a相邻且具有传输与滤色器112a的波段不同的波段的另一滤色器112b之间设置有遮光体113，以抑制滤色器112a与滤色器112b之间的光的泄露。
107.在此配置中，通过检测例如来自光电转换单元111wa和111wb的各者的像素信号的相位差，能够实现像面相位差af和视差检测。即，在图7的配置中，包括彼此相邻布置的两个光电转换单元111wa和111wb的像素110w是相位差检测像素。下文中，如果适当，将“相位差检测像素”描述为“相位差像素”。
108.这里，在图7的示例中，滤色器112a(遮光体113)和ocl 31配置为相对于包含在像素110w中的光电转换元件111wa和111wb中的各者的入射面在图7的右方向上偏移预定距离。因此，对沿倾斜方向入射在入射面上的光40进行瞳孔修正。通过进行瞳孔修正，光40能够以适当的范围41入射到入射面，并且能够提高像面相位差af和视差检测的准确性。
109.根据相对于布置有像素110w的像素阵列的主透镜的光轴位置的图像高度来设置瞳孔修正量(即，其中滤色器112a(遮光体113)和ocl 31相对于入射面偏移的量)。例如，布置有像素110w的图像高度的位置越高，瞳孔修正量越大。例如，在与主透镜的光轴位置相对应的位置(图像高度中心)处布置的像素110w中瞳孔修正量为0。
110.根据图7所示的配置，瞳孔修正量对于各图像高度是固定的。因此，为了实现准确性，需要使用具有与瞳孔修正量相对应的出瞳距离(epd)的主透镜。因此，在通过更换镜头
等将主透镜更换为具有不同epd的另一个主透镜的情况下，或者在由于变焦操作导致epd变化的情况下，难以获得高准确性。
111.图8a和8b是用于说明用于实现像面相位差af技术的根据传统技术的方法的第二示例的图。在第二示例中，在像素阵列中，相位差像素与用于形成图像的像素被分开设置。在图8a的示例中，作为相位差像素的示例示出了两像素110a和110b。
112.在图8a中，像素110a和像素110b中的各者包括一个光电转换单元111a或光电转换单元111b。在像素110a中，图8a的光电转换单元111a的入射面的右半部分利用遮光体50进行遮光，并且其左半部分处于打开状态。另一方面，在像素110b中，图8a的光电转换单元111b的入射面的左半部分利用遮光体50进行遮光，并且其右半部分处于打开状态。
113.在遮光体50的开口位置相对于各个光电转换单元111a和光电转换单元111b偏移的方向上彼此靠近(例如，相邻)得布置有像素110a和像素110b。通过检测来自像素110a和像素110b的各者中像素信号的相位差，可以实现像面相位差af和视差检测。即，在第二示例中，可以认为一个相位差像素由两个像素110a和110b构成。
114.这里，在图8a的示例中，示出了像素110a和像素110b布置在图8a的像素阵列的左端侧。在像素110a和像素110b中，ocl 31被布置为分别相对于图8a的光电转换单元111a和光电转换单元111b的入射面向右偏移，并且，根据像素阵列上的位置(图像高度)进行瞳孔修正。
115.在第二示例中，其中以与像素110a和像素110b不同的量进行瞳孔修正的另一相位差像素设置在像素阵列上其图像高度与像素110a和像素110b图像高度基本相同的位置处。
116.图8b是示出了根据第二示例的另一相位差像素的示例的图。在图8b的示例中，相对于在图8a所示的像素110a和像素110b中进行的瞳孔修正，以更大的量进行瞳孔修正以对应于在构成相位差像素的两个像素110a'和110b'中具有较短epd的主透镜。
117.在图8b中，与图8a所示的像素110a相比，在像素110a'中，被遮光体50敞开的光电转换单元111a'的部分朝向左端侧变窄。另一方面，与图8a所示的像素110b相比，在像素110b'中，被遮光体50敞开的光电转换单元111b'的部分朝右方向变宽。即，在图8b的配置中，可以以比在图8a的像素110a和像素110b中进行瞳孔修正的光40a和40b更大的角度对入射的光40a'和40b'进行瞳孔修正。
118.在第二示例中，通过如上所述布置针对像素阵列以不同量进行瞳孔修正的多个相位差像素，可以加宽通过像面相位差af可以执行自动对焦处理的epd范围。然而，在第二示例中，由于相位差像素不用作形成图像的像素，如果布置大量具有不同瞳孔修正量的相位差像素，则用于形成图像的像素数量减少，并且图像质量变差。
119.[第一实施方案]
[0120]
接下来，将说明第一实施方案。图9是示出了根据第一实施方案的像素配置的示例的图。注意，图9示出了相对于图10示意性所示的像素阵列单元11中图像高度中心的图10的左端侧区域l中的像素配置的示例。
[0121]
在图9中，以参照图4所述的四分拜耳型来布置像素110r、像素110g和像素110b中的各者，并且各像素块包括四个像素110r、四个像素110g或四个像素110b。此外，如参照图5所述的，通过布置一个ocl30为在各个像素110r、110g和110b之中在水平方向上彼此相邻的两个相同颜色的像素共用来构成像素集。即，各像素块包括两个像素集(即，包括上层两个
像素的像素集和包括下层两个像素的像素集)。
[0122]
这里，在第一实施方案中，在各像素块中包括的两个像素集的瞳孔修正量彼此不同。更具体地，在图9的各像素块的上层的像素集中，在朝向图9的图像高度中心的右侧方向上，以更大的瞳孔修正量进行强瞳孔修正(下文中，称为“强瞳孔修正”)。此外，在图9的各像素块的下层的像素集中，在朝向图9的图像高度中心的右侧方向上，以比在像素块的上层的像素集中进行的瞳孔修正量小的瞳孔修正量进行弱瞳孔修正(下文中，称为“弱瞳孔修正”)。
[0123]
如上所述，在第一实施方案中，在其中以2像素
×
2像素的阵列排列有相同颜色的像素110的像素块中，在像素块中包含的两个像素集的瞳孔修正量彼此不同。因此，可以针对epd彼此不同的两种类型的主透镜分别适当地进行瞳孔修正。
[0124]
将参照图11a和图11b更详细地说明根据第一实施方案的瞳孔修正。
[0125]
图11a是示意性示出了根据第一实施方案进行强瞳孔修正的像素集的横截面的图。图11a对应于如上所述的图9所示的各像素块的上层处的像素集的横截面。例如，对于包括四个像素110g的像素块，将参照图5使用像素块上层处的包括两个像素110g1和110g2的像素集作为示例用以说明。
[0126]
在图11a中，分别设置在像素110g1和像素110g2中的滤色器112g1和滤色器112g2分别布置为在位置上相对于像素110g1和像素110g2的光电转换单元111g1和光电转换单元111g2的入射面朝向图像高度中心(在图11a的右方向上)偏移。此外，设置为由像素110g1和像素110g2共用的ocl 30配置为在位置上相对于滤色器112g1和滤色器112g2朝向图像高度中心偏移。
[0127]
以这种方式，光电转换单元111g1和光电转换单元111g2、滤色器112g1和滤色器112g2以及ocl 30布置为均在位置上沿相同方向偏移。因此，在各个像素110g1和110g2中，对以预定入射角α入射在各个光电转换单元111g1和111g2的入射面上的光40c进行瞳孔修正。
[0128]
该瞳孔修正是基于根据由滤色器112g1和滤色器112g2以及像素110g1和像素110g2共用的各ocl 30相对于各个光电转换单元111g1和111g2偏移的量的瞳孔修正量进行的。通过该瞳孔修正，光40c可以在适当的范围41c以入射角α入射到光电转换单元111g1和光电转换单元111g2的入射面上。
[0129]
图11b是示意性示出了根据第一实施方案的进行弱瞳孔修正的像素集的横截面的图。图11b对应于如上所述图9所示的各像素块的下层处的像素集的横截面。例如，对于包括四个像素110g的像素块，将参照图5使用像素块下层处的包括两个像素110g3和110g4的像素集作为示例用于说明。
[0130]
在图11b中，分别设置在像素110g3和像素110g4中的滤色器112g3和像素112g4分别布置为在位置上相对于像素110g3和110g4的光电转换单元111g3和光电转换单元111g4的入射面以比图11a的情况小的量朝着图像高度中心(在图11b的右方向上)偏移。此外，设置为由像素110g3和像素110g4共用的ocl 30配置为在位置上相对于滤色器112g3和滤色器112g4以比图11a的情况小的量朝向图像高度中心偏移。
[0131]
以这种方式，光电转换单元111g3和光电转换单元111g4、滤色器112g3和滤色器112g4以及ocl 30布置为均在位置上沿相同方向以小于图11a的情况的量偏移。因此，在各个像素110g3和110g4中，对以小于入射角α的预定入射角β入射在各个光电转换单元111g3和
111g4的入射面上的光40d进行瞳孔修正。
[0132]
该瞳孔修正是基于根据由滤色器112g3和滤色器112g4以及像素110g3和像素110g4共用的各ocl 30相对于各个光电转换单元111g3和111g4偏移的量的瞳孔修正量进行的。通过该瞳孔修正，光40d可以以适当的范围41d入射到光电转换单元111g3和光电转换单元111g4的入射面上。
[0133]
另外，在如图11a和图11b的配置中，例如，还可以设置用于限制入射光的金属膜(金属掩模)。以图11a为例，可以考虑在各个光电转换单元111r、111g1和111g2与各个滤色器112r、112g1和112g2之间设置具有根据瞳孔修正量在位置上相对于各个光电转换单元111r、111g1和111g2偏移的开口的金属掩模。
[0134]
图12是用于说明根据第一实施方案在一个像素块中以多个瞳孔修正量进行瞳孔修正的情况下的效果的图。图12是示意性示出了相对于主透镜的epd的自动对焦(af)和视差检测准确性的图。在图12中，横轴表示主透镜的epd，并且纵轴表示af和视差检测准确性(af/视差检测准确性)。
[0135]
在图12中，特征线51用于示意性示出在以与特定主透镜的epd相对应的瞳孔修正量执行瞳孔修正的情况下af/视差检测准确性的示例。特征线51的峰值位置对应于主透镜的epd，并且af/视差检测准确性随着主透镜的epd在epd方向上的扩大而减小。
[0136]
在图12中，特征线50a示出了在进行强瞳孔修正的情况下的示例，并且特征线50b示出了在进行弱瞳孔修正的情况下的示例。在该示例中，如特征线50a所示，强瞳孔修正设置为在比特征线51所示的特定主透镜的epd短的epd处具有峰值。另一方面，如特征线50b中所示的，弱瞳孔修正设置为在比特征线51所示的特定主透镜的epd长的epd处具有峰值。
[0137]
这里，所需的af/视差检测准确性(所需准确性)相对于特征线50a、特征线50b和特征线51的各个峰值设置有余量。在图12的示例中，所需要的准确性被设定为低于特征线50a和特征线50b彼此相交的点的位置。
[0138]
在这种情况下，基于特征线51，将以与特定主透镜的epd对应的瞳孔修正量进行瞳孔修正时可以获得的所需准确性的epd范围设置为范围a。在这种情况下，当在宽范围内进行变焦时，例如，从广角到伸缩角，难以在广角和伸缩角之间的相对较宽的范围内以所需的准确性执行自动对焦。
[0139]
另一方面，当强瞳孔修正和弱瞳孔修正组合在一起时，如特征线50a和特征线50b所示，在通过强瞳孔修正可以获得的所需准确性的epd范围与通过弱瞳孔修正可以获得的所需准确性的epd范围之间出现重叠部分。因此，在强瞳孔修正和弱瞳孔修正组合在一起的情况下，可以在比范围a更宽的范围b中的epd处获得所需准确性。因此，即使在如上所述的从广角到伸缩角的宽范围内进行变焦的情况下，也可以在各个广角侧和伸缩角侧上以所需准确性执行自动对焦。
[0140]
(根据第一实施方案的瞳孔修正的具体示例)
[0141]
在上面的说明中，如图10所示，已经相对于像素阵列单元11的图像高度中心使用图10的左端侧区域l作为示例说明了根据第一实施方案的瞳孔修正。实际上，在相对于像素阵列单元11的图像高度中心的各个方向上执行根据图像高度和朝向图像高度中心的方向的瞳孔修正。
[0142]
图13是示出了其中各个区域相对于像素阵列单元11的图像高度中心位于不同方
向的示例的图。在图13中，区域c是对应于图像高度中心的区域。区域l和区域r分别是水平方向上相对于图像高度中心的端部区域。区域ct和区域cb分别是垂直方向上相对于图像高度中心的端部区域。另外，区域lt和区域rb分别是相对于图13的图像高度中心的左上和右下端部(角)区域。
[0143]
将参照图14a至图14g说明根据第一实施方案的在上述区域c、l、r、ct、cb、lt和rb中的瞳孔修正方向的示例。注意，在图14a至图14g中，在右端处的“无”表示在对应行中不进行瞳孔修正。此外，在右端处的“强”表示在对应行中进行强瞳孔修正，并且“弱”表示在对应行中进行弱瞳孔修正。
[0144]
图14a是示出了根据第一实施方案在区域c中的瞳孔修正的示例的图。在区域c中，如在图14a的各行的右端所示，在各像素块的各像素集中没有进行瞳孔修正。
[0145]
图14b是示出了根据第一实施方案在区域l中的瞳孔修正的示例的图。图14b是与上述图9相同的图。在区域l中，朝向图14b的右侧(图像高度中心)，在各像素块的上层处的像素集中进行强瞳孔修正，并且在各像素块的下层处的像素集中进行弱瞳孔修正。
[0146]
图14c是示出了根据第一实施方案在区域r中的瞳孔修正的示例的图。在区域r中，朝向图14c的左侧(图像高度中心)，在各像素块的上层处的像素集中进行强瞳孔修正，并且在各像素块的下层处的像素集中进行弱瞳孔修正。
[0147]
图14d是示出了根据第一实施方案在区域cb中的瞳孔修正的示例的图。在区域cb中，朝向图14d的上侧(图像高度中心)，在各像素块的上层和下层处的像素集中以相同的瞳孔修正量进行瞳孔修正。
[0148]
图14e是示出了根据第一实施方案在区域ct中的瞳孔修正的示例的图。在区域ct中，朝向图14e的下侧(图像高度中心)，在各像素块的上层和下层处的像素集中以相同的瞳孔修正量进行瞳孔修正。
[0149]
图14f是示出了根据第一实施方案在区域lt中的瞳孔修正的示例的图。在区域lt中，在对角线方向上朝向图14f的右下侧(图像高度中心)，在各像素块的上层处的像素集中进行强瞳孔修正，并且在各像素块的下层处的像素集中进行弱瞳孔修正。在图14f的示例中，在区域lt中，在组合了图14b的区域l的瞳孔修正方向(右侧)和图14e的区域ct的瞳孔修正方向(下侧)的方向上进行瞳孔修正。
[0150]
图14g是示出了根据第一实施方案在区域rb中的瞳孔修正的示例的图。在区域rb中，在对角线方向上朝向图14g的左上侧(图像高度中心)，在各像素块的上层处的像素集中进行强瞳孔修正，并且在各像素块的下层处的像素集中进行弱瞳孔修正。在图14g的示例中，在区域rb中，在组合了图14c的区域r的瞳孔修正的方向(左侧)和图14d的区域cb的瞳孔修正方向(上侧)的方向上进行瞳孔修正。
[0151]
注意，除了如上所述相对于图像高度中心在各方向上的瞳孔修正之外，还可以根据图像高度来改变瞳孔修正量。
[0152]
此外，上面已经说明了，在像素阵列单元11中包括的除了在水平方向上具有预定宽度的区域之外的包括区域c、区域ct和区域cb在内的所有区域中，各像素块包括进行强瞳孔修正的像素集和进行弱瞳孔修正的像素集。然而，像素块不限于该示例。例如，在像素阵列单元11中包括的除了在水平方向上具有预定宽度的区域之外的包括区域c、区域c、区域ct和区域cb在内的所有区域中，至少一个像素块可以包括进行强瞳孔修正的像素集和进行
弱瞳孔修正的像素集。
[0153]
(根据第一实施方案的各像素块的读出方法)
[0154]
接下来，将说明根据第一实施方案的从各像素块的各像素110(光电转换单元111)读出信号的方法。在第一实施方案中，在各像素块中，可以执行其中来自各像素110的信号被分别读出的第一读出方法和其中来自各个像素110的信号被加在一起并且以块方式读出的第二读出方法。
[0155]
图15是用于说明根据第一实施方案从各像素块的各像素110读出信号的第一方法的图。在图15和稍后将述的图16中，使用包括像素110g1、像素110g2、像素110g3和像素110g4的像素块作为示例用于说明。这里，在像素块中，像素110g1、像素110g2、像素110g3和像素110g4共用一个浮动扩散层。
[0156]
在第一读出方法中，在像素110g1、像素110g2、像素110g3和像素110g4中，根据上述读出控制从光电转换元件(光电转换单元111)依次读出电荷。
[0157]
即，例如，根据控制单元19的控制，垂直扫描单元12复位像素块中的浮动扩散层，然后从像素110g
l
的光电转换单元111读出电荷，并且将读出的电荷传输至浮动扩散层。传输的电荷被转换成与浮动扩散层中的电荷量相对应的电压，并且转换后的电压作为从像素110g1读出的像素信号被输出至垂直信号线17。
[0158]
接下来，垂直扫描单元12复位像素块的浮动扩散层，然后从像素110g2的光电转换单元111读出电荷，并且将读出的电荷传输至浮动扩散层。传输的电荷被转换成与浮动扩散层中的电荷量相对应的电压，并且转换后的电压作为从像素110g2读出的像素信号被输出至垂直信号线17。
[0159]
类似地，为了从像素110g3和像素110g4中的各者中读出像素信号，垂直扫描单元12复位浮动扩散层，然后从光电转换单元111读出电荷并将读出的电荷传输至浮动扩散层。
[0160]
从像素110g1至110g4读出的各个像素信号被供给至例如图像处理单元5。图像处理单元5基于供给的像素信号中来自构成像素集的两个像素(例如，像素110g1和110g2或像素110g3和110g4)的各者的像素信号来检测水平方向上的相位差。图像处理单元5将示出了检测到的相位差的信息传送至控制单元3。
[0161]
控制单元3基于从图像处理单元5传送的示出了相位差的信息产生用于执行例如像面相位差af的控制信号。控制单元3基于该控制信号控制光学系统2，使得光学系统2执行af操作。控制单元3不限于此，并且还可以基于从图像处理单元5传送的示出了相位差的信息获得视差信息。
[0162]
图16是用于说明根据第一实施方案从各像素块的各像素110读出信号的第二方法的图。在第二读出方法中，在像素块中将在像素110g1、像素110g2、像素110g3和像素110g4的各个光电转换单元111中累积的电荷相加后读出。
[0163]
即，例如，根据控制单元19的控制，垂直扫描单元12复位像素块的浮动扩散层，然后以预定时序从像素110g
l
至像素110g4的各个光电转换单元111读出电荷并且将读出的电荷传输至浮动扩散层。在浮动扩散层中，从各个光电转换单元111传输的电荷通过加法单元120加在一起。在这种情况下，加法单元120对应于由像素110g1至像素110g4共用的浮动扩散层。从各个光电转换单元111传输的并且在浮动扩散层中加在一起的电荷被转换成与电荷量相对应的电压，并且转换后的电压作为像素110g1至像素110g4的累加像素信号被输出至
垂直信号线17。
[0164]
将像素110g1至像素110g4的累加像素信号供给至例如图像处理单元5。图像处理单元5对供给的像素信号执行预定的图像处理，并且将处理后的像素信号例如以一帧为单位存储在存储器6中作为图像数据。例如，控制单元3使存储单元7将存储在存储器6中的图像数据存储为由图像处理单元5的图像处理的结果，并且使显示单元8显示该图像数据。控制单元3还可以通过i/f单元9将图像数据传输至外部。
[0165]
将示意性说明其中使用第一读出方法和第二读出方法的示例。在图1所示的电子设备1是数码相机的情况下，在按下快门按钮的操作中，一般通过半按操作指示自动对焦操作，并且通过半按操作之后的全按操作指示曝光。因此，控制单元3根据对作为输入装置10的快门按钮的半按操作执行上述第一读出方法以基于相位差执行自动对焦。然后，根据对快门按钮的全按操作执行上述第二读出方法以基于通过累加来自包括在像素块中的四个像素的电荷所获得的电荷来获取像素信号。
[0166]
通过执行这样的控制，在例如作为数码相机的电子设备1中，根据对快门按钮的一系列操作，可以执行基于相位差的自动对焦控制，并且可以获取基于来自多个像素110的像素信号的图像数据。此时，由于可以使用像素阵列单元11中包括的所有像素110来执行基于相位差的自动对焦，因此能够以更高的准确性来控制自动对焦。此外，由于基于通过汇总包括在像素块中的四个像素110获得的像素信号来配置获取的图像数据，因此能够实现更亮的屏幕。
[0167]
根据第一实施方案的电子设备1不限于此，并且可以根据第一读出方法从包括在像素块中的各像素110单独地读出各像素信号。因此，在根据第一实施方案的电子设备1中可以容易地安装用于生成三维(3d)图像的应用程序和用于实现光场相机功能的应用程序。
[0168]
(预防颜色混合措施)
[0169]
接下来，将说明适用于第一实施方案的像素间的预防颜色混合措施。在第一实施方案中，可以将针对特定像素集的ocl 30应用于与特定像素集相邻的另一像素集，该另一像素集具有设置有与设置在特定像素集所包括的各像素11中的滤色器112的颜色不同的滤色器112的各像素110。在这种情况下，取决于主透镜的主光线角度(cra)在相邻像素集之间可能发生颜色混合。
[0170]
图17是示出了适用于第一实施方案的用于抑制像素集之间(像素110之间)颜色混合的像素110的配置的第一示例的横截面图。注意，为方便起见，图17示出了其中针对一个光电转换单元111设置一个ocl 31的配置。
[0171]
在图17中，由硅制成的基板1000的上侧为基板1000的后面，并且基板1000的下侧为基板1000的前面。即，在前面侧形成光电转换单元111、各个配线等之后，翻转基板1000，并且在其后面上形成有平坦化膜1011。遮光体113和r滤色器112r形成在平坦化膜1011上。g滤色器112g形成在滤色器112r的左侧。针对滤色器112r和滤色器112g形成ocl 31，并且针对ocl 31形成保护膜1010。
[0172]
此外，在图17中，相对于光电转换单元111，遮光体113和滤色器112r形成为向图17的右侧偏移，并且ocl 31也配置为向右侧偏移。因此，对从右上侧向左下侧入射的光进行瞳孔修正。
[0173]
根据该配置，在光电转换单元111上直接形成滤色器112r和遮光体113。因此，能够
抑制从图17的右上侧朝向左下侧经由ocl 31和滤色器112r入射在光电转换单元111上的光漏射至左侧设置有滤色器112g的光电转换单元111。
[0174]
图18是示出了适用于第一实施方案的用于抑制像素集之间(像素110之间)颜色混合的像素110的配置的第二示例的横截面图。类似于图17，为方便起见，图18示出了其中针对一个光电转换单元111设置一个ocl 31的配置。由硅制成的基板1000的前后关系也与图17的示例中的类似。
[0175]
在图18中，由硅制成的基板1000的上侧是基板1000的后面，并且基板1000的下侧是基板1000的前面。在图18的示例中，在以与上述相同的方式在前面侧形成光电转换单元111、各个配线等之后，翻转基板1000。遮光体1020形成在沟槽中并且平坦化膜1011进一步形成在背面侧。由于平坦化膜1011上的配置与图17的示例中的配置类似，因此这里省略对其的说明。
[0176]
根据该配置，例如，经由滤色器112r从图18的右上侧朝向左下侧(由箭头c指示)入射到光电转换单元111上的光被遮光体1020的表面反射(由箭头d指示)。因此，能够抑制入射在相应光电转换单元111上的光漏射到设置有滤色器112g的相邻光电转换单元111中。
[0177]
图19和图20是各自示出了适用于第一实施方案的布置有图18所示的遮光体1020的示例的图。
[0178]
图19是示出了适用于第一实施方案的沿着各像素块的边界配置遮光体1020a的示例的图。图19的遮光体1020a抑制了光漏射在其中在各像素110中设置有针对不同颜色的滤色器112的像素块中，并且例如，在参照图16所述的第二读出方法中更有效。例如，通过使用图19所示的遮光体1020a，能够提高根据基于各像素块的像素信号的图像数据的图像的图像质量。
[0179]
图20是示出了适用于第一实施方案的沿着各像素集的边界配置遮光体1020b的示例的图。图20的遮光体1020b抑制了光在用于检测相位差的像素集之间的漏射，并且例如，在参照图15所述的第一读出方法中更有效。例如，通过使用图20所示的遮光体1020b，能够以更高的准确性检测相位差。此外，图20所示的遮光体1020b还可以获得与上述图19所示的遮光体1020a相同的效果。
[0180]
[第一实施方案的变形例]
[0181]
接下来，将说明第一实施方案的变形例。在第一实施方案的变形例中，像素块中的像素集包括在与上述第一实施方案的像素集不同的方向上彼此相邻的像素110。更具体地，以图9为例，在上述第一实施方案中的像素集包括在水平方向上彼此相邻的两个像素110。另一方面，在第一实施方案的变形例中，像素集包括在垂直方向上彼此相邻的两个像素110。
[0182]
(根据第一实施方案的变形例的瞳孔修正的具体示例)
[0183]
参照图21a至图21g，将说明根据第一实施方案的变形例的像素集，同时，将说明在图13所示的区域c、l、r、ct、cb、lt和rb中的瞳孔修正方向的示例。注意，在图21a至图21g中，下端的“无”表示在对应列中不进行瞳孔修正。此外，下端的“强”表示在对应列中进行强瞳孔修正，“弱”表示在对应列中进行弱瞳孔修正。
[0184]
图21a是示出了根据第一实施方案的变形例在区域c中的瞳孔修正的示例的图。这里，如图21a所示，在第一实施方案的变形例中，在包括2像素
×
2像素的各像素块中，各像素
集包括在垂直方向上彼此相邻的两个像素110g、在垂直方向上彼此相邻的两个像素110r或在垂直方向上彼此相邻的两个像素110b。针对各像素集设置一个ocl 30。
[0185]
如图21a所示，在区域c中，如在图21a的各列的下端处所示的，在各像素块的各像素集中不进行瞳孔修正。
[0186]
图21b是示出了根据第一实施方案的变形例在区域ct中的瞳孔修正的示例的图。在图21b中，在区域ct中，朝向图21b的下侧(图像高度中心)，在各像素块的右像素集中进行强瞳孔修正并且在各像素块的左像素集中进行弱瞳孔修正。
[0187]
图21c是示出了在根据第一实施方案的变形例在区域cb中的瞳孔修正的示例的图。在区域cb中，朝向图21c的上侧(图像高度中心)，在各像素块的右像素集中进行强瞳孔修正并且在各像素块的左像素集中进行弱瞳孔修正。
[0188]
图21d是示出了根据第一实施方案的变形例在区域l中的瞳孔修正的示例的图。在区域l中，朝向图21d的右侧(图像高度中心)，在各像素块的左右像素集中以相同的瞳孔修正量进行瞳孔修正。
[0189]
图21e是示出了根据第一实施方案的变形例在区域r中的瞳孔修正的示例的图。在区域r中，朝向图21e的左侧(图像高度中心)，在各像素块的左右像素集中以相同的瞳孔修正量进行瞳孔修正。
[0190]
图21f是示出了根据第一实施方案的变形例在区域lt中的瞳孔修正的示例的图。在区域lt中，在对角线方向上朝向图21f的右下侧(图像高度中心)，在各像素块的右像素集中进行强瞳孔修正，并且在各像素块的左像素集中进行弱瞳孔修正。在图21f的示例中，在区域lt中，在其中组合了图21b的区域ct的瞳孔修正的方向(下侧)和图21d的区域l的瞳孔修正方向(右侧)的方向上进行瞳孔修正。
[0191]
图21g是示出了根据第一实施方案的变形例在区域rb中的瞳孔修正的示例的图。在区域rb中，在对角线方向上朝向图21g的左上侧(图像高度中心)，在各像素块的右像素集中进行强瞳孔修正，并且在各像素块的左像素集中进行弱瞳孔修正。在图21g的示例中，在rb区域中，在其中组合了图21c的区域cb的瞳孔修正的方向(上侧)和图21e的区域r的瞳孔修正方向(左侧)的方向上进行瞳孔修正。
[0192]
根据第一实施方案的变形例，基于关于垂直方向上的相位差的信息可以以更高的准确性执行像面相位差af和视差检测。
[0193]
[第二实施方案]
[0194]
接下来，将说明第二实施方案。在上述第一实施方案及其变形例中，像素块包括2像素
×
2像素的四个像素110。另一方面，在第二实施方案中，像素块包括n像素
×
n像素的(n
×
n)个像素110，其中n是3或更大的整数。此外，与上述第一实施方案的像素集类似，像素块的像素集包括在水平方向上彼此相邻的两个像素110。
[0195]
在第二实施方案中，在一个像素块中可以实现以三个或更多个不同瞳孔修正量的瞳孔修正。因此，与上述第一实施方案及其变形例相比，可以在主透镜的epd的更宽范围中以高的准确性执行像面相位差af和视差检测。
[0196]
图22是示出了适用于第二实施方案的像素配置的示例的图。在图22的像素配置中，如上所述n为4，并且在根据拜耳阵列的像素阵列中布置有包括16个r颜色像素110r、16个g颜色像素110g或16个b颜色像素110b的各像素块，并且将其中以栅格图案布置有针对相
同颜色的4像素
×
4像素的像素块作为一个单位。下文中，除非另有说明，否则将这种像素阵列称为四分拜耳型rgb阵列(n＝4)。
[0197]
更具体地，类似于上述四分拜耳型rgb阵列，在四分拜耳型rgb阵列(n＝4)中，以4
×
4栅格图案布置包括r颜色像素110r、g颜色像素110g或b颜色像素110b的各像素块，使得相同颜色的像素块彼此不相邻，且像素110r、像素110g和像素110b的数量为1:2:1的比例。在图22的示例中，包括g颜色像素110g的像素块布置在包括b颜色像素110b的像素块的左侧和下方，并且包括r颜色像素110r的像素块与包括b颜色像素110b的像素块成对角线布置。
[0198]
(根据第二实施方案的瞳孔修正的具体示例)
[0199]
将参照图23a至图23g说明根据第二实施方案的像素集，并且同时说明在图13所示的区域c、l、r、ct、cb、lt和rb中的瞳孔修正方向的示例。
[0200]
注意，在图23a至图23g中，在右端处的“无”表示在对应行中不进行瞳孔修正。在右端处的“强”表示在对应行中进行强瞳孔修正，“非常强”表示在对应行中进行与“强”相比更强的瞳孔修正(将称为“更强瞳孔修正”)。此外，在右端处的“弱”表示在对应行中进行弱瞳孔修正，并且“非常弱”表示在对应行中进行与“弱”相比更弱的瞳孔修正(将称为“更弱瞳孔修正”)。
[0201]“非常弱”不限于此，并且可以表示负瞳孔修正，即，在与“非常强”、“强”和“弱”相反的方向上进行的瞳孔修正。例如，在主透镜具有大于光接收面(像素阵列单元11)的宽度的直径的情况下，来自主透镜的边缘部的光可以从与主透镜的中央部分的光相反的方向入射到像素阵列单元11上。如上所述，对从与来自上述主透镜的中央部分的光相反的方向入射在像素阵列单元11上的光进行负瞳孔修正。
[0202]
图23a是示出了根据第二实施方案在区域c中的瞳孔修正的示例的图。这里，如图23a所示，在第二实施方案中，在包括4像素
×
4像素的各像素块中，各像素集包括在水平方向上彼此相邻的两个像素110g、在水平方向上彼此相邻的两个像素110r或在水平方向上彼此相邻的两个像素110b。即，在第二实施方案中，一个像素块包括八个像素集。针对各像素集设置一个ocl 30。
[0203]
如图23a所示，在区域c中，如图23a的各列的右端处所示，在各像素块的各像素集中不进行瞳孔修正。
[0204]
图23b是示出了根据第二实施方案在区域l中的瞳孔修正的示例的图。在区域l中，朝向图23b的右侧(图像高度中心)，在各像素块的最上层处的两个像素集中进行更强瞳孔修正，在各像素块的第二高层处的两个像素集中进行强瞳孔修正，在各像素块的第三高层处的像素集中进行弱瞳孔修正，并且在各像素块的最下层处的像素集中进行更弱瞳孔修正。
[0205]
图23c是示出了根据第二实施方案在区域r中的瞳孔修正的示例的图。在区域r中，朝向图23c的左侧(图像高度中心)，在各像素块的最上层处的两个像素集中进行更强瞳孔修正，在各像素块的第二高层处的两个像素集中进行强瞳孔修正，在各像素块的第三高层处的像素集中进行弱瞳孔修正，并且在各像素块的最下层处的像素集中进行更弱瞳孔修正。
[0206]
图23d是示出了根据第二实施方案在区域ct中的瞳孔修正的示例的图。在区域ct中，朝向图23d的下侧(图像高度中心)，在各像素块的各层像素集中以相同的瞳孔修正量进
行瞳孔修正。
[0207]
图23e是示出了根据第二实施方案在区域cb中的瞳孔修正的示例的图。在区域ct中，朝向图23e的上侧(图像高度中心)，在各像素块的各层像素集中以相同的瞳孔修正量进行瞳孔修正。
[0208]
图23f是示出了根据第二实施方案在区域lt中的瞳孔修正的示例的图。在区域lt中，在对角线方向上朝向图23f右下侧(图像高度中心)，在各像素块的最上层处的两个像素集中进行更强瞳孔修正，在各像素块的第二高层处的两个像素集中进行强瞳孔修正，在各像素块的第三高层处的像素集中进行弱瞳孔修正，并且在各像素块的最低层处的像素集中进行更弱瞳孔修正。在图23f的示例中，在区域lt中，在其中组合了图23b的区域l的瞳孔修正方向(右侧)和图23d的区域ct的瞳孔修正方向(下侧)的方向上进行瞳孔修正。
[0209]
图23g是示出了根据第二实施方案在区域rb中的瞳孔修正的示例的图。在区域rb中，在对角线方向上朝向图23g的左上侧(图像高度中心)，在各像素块的最上层处的两个像素集中进行更强的瞳孔修正，在各像素块的第二高层处的两个像素集中进行强瞳孔修正，在各像素块的第三高层处的像素集中执行弱瞳孔修正，并且在各像素块的最下层处的像素集中进行更弱的瞳孔修正。在图23g的示例中，在区域rb中，在其中组合了图23c的区域r的瞳孔修正方向(左侧)和图23e的区域cb的瞳孔修正方向(上侧)的方向上进行瞳孔修正。
[0210]
注意，除了如上所述相对于图像高度中心在各方向上的瞳孔修正之外，还可以根据图像高度来改变瞳孔修正量。
[0211]
此外，在第二实施方案中，类似于上述第一实施方案的变形例，各像素集可以包括在垂直方向上彼此相邻的两个像素110和设置为由这两个像素110共用的一个ocl 30。
[0212]
[第二实施方案的变形例]
[0213]
接下来，将说明第二实施方案的变形例。在第二实施方案的变形例中，在上述第二实施方案中所述的像素块(其包括n像素
×
n像素的(n
×
n)个像素110，其中n为3以上的整数)中，混合了在不同方向彼此相邻的像素110的多个像素集。例如，在一个像素块中，在水平方向上各自包括彼此相邻的两个像素110的像素集(将称为水平像素集)和在垂直方向上各自包括彼此相邻的两个像素110的像素集(将称为垂直像素集)被混合。
[0214]
在第二实施方案的变形例中，由于在一个像素块中混合有像素110在不同方向上彼此相邻的多个像素集，因此可以在各个不同方向上检测相位差。更具体地，通过在一个像素块中混合水平像素集和垂直像素集，可以在水平方向和垂直方向中的各者中检测相位差。因此，可以以高准确性进行像面相位差af和视差检测。
[0215]
(根据第二实施方案的变形例的瞳孔修正的具体示例)
[0216]
将参照图24a至图24g说明根据第二实施方案的变形例的像素集，并且同时，将说明在图13所示的区域c、l、r、ct、cb、lt和rb中的瞳孔修正方向的示例。
[0217]
注意，在图24a至图24g中，在右端处的“无”表示在对应行中不进行瞳孔修正。在右端处的“强”表示在对应行中进行强瞳孔修正，在右端处的“弱”表示在对应行中进行弱瞳孔修正。此外，在右端处的“目标cra”表示根据主透镜的epd进行最佳瞳孔修正。例如，“目标cra”可以被认为是以在强瞳孔修正和弱瞳孔修正之间的大约中等强度进行瞳孔修正。
[0218]
图24a是示出了根据第二实施方案的变形例在区域c中的瞳孔修正的示例的图。这里，如图24a所示，在第二实施方案的变形例中，n为4，并且在包括4像素
×
4像素的各像素块
中混合了四个水平像素集和四个垂直像素集。此时，在各像素块中，在上层水平方向上彼此相邻地布置有2个水平像素集，在中层水平方向上彼此相邻地连续布置有4个垂直像素集并且在下层水平方向上彼此相邻地布置有两个水平像素集。针对各像素集设置一个ocl 30。
[0219]
如图24a所示，在区域c中，如图24a的各列的右端处所示，在各像素块的上层和下层处的各个水平像素集中不进行瞳孔修正。在中层处的各个垂直像素集中，根据主透镜的epd进行最佳瞳孔修正。由于区域c位于图像高度中心处，因此在图24a所示的中层处的各个垂直像素集中实际上不进行瞳孔修正。
[0220]
图24b是示出了根据第二实施方案的变形例在区域l中的瞳孔修正的示例的图。在区域l中，朝向图24b的右侧(图像高度中心)，在各像素块的上层处的两个水平像素集中进行强瞳孔修正，并且在各像素块的下层处的两个像素集中进行弱瞳孔修正。此外，在中层处的各垂直像素集中，根据各垂直像素集的图像高度和相对于图像高度中心的方向，根据主透镜的epd进行最佳瞳孔修正。
[0221]
图24c是示出了第二实施方案的变形例在区域r中的瞳孔修正的示例的图。在区域r中，朝向图24c的左侧(图像高度中心)，在各像素块的上层处的两个像素集中进行强瞳孔修正，并且在各像素块的下层处的两个像素集中进行弱瞳孔修正。此外，在中层处的各垂直像素集中，根据各垂直像素集的图像高度和相对于图像高度中心的方向，根据主透镜的epd进行最佳瞳孔修正。
[0222]
图24d是示出了根据第二实施方案的变形例在区域ct中的瞳孔修正的示例的图。在区域ct中，朝向图24d的下侧(图像高度中心)，在各像素块的上层和下层处的各个水平像素集中和各像素块的中层处的各个垂直像素集中，以相同的瞳孔修正量进行瞳孔修正。
[0223]
图24e是示出了根据第二实施方案的变形例在区域cb中的瞳孔修正的示例的图。在区域ct中，朝向图24e的下侧(图像高度中心)，在各像素块的上层和下层处的各个水平像素集中和各像素块的中层处的各个垂直像素集中，以相同的瞳孔修正量进行瞳孔修正。
[0224]
图24f是示出了根据第二实施方案的变形例在区域lt中的瞳孔修正的示例的图。在区域lt中，在对角线方向上朝向图24f右下侧(图像高度中心)，在各像素块的上层处的两个水平像素集中进行强瞳孔修正，并且在各像素块的下层处的两个像素集中进行弱瞳孔修正。此外，在中层处的各垂直像素集中，根据各垂直像素集的图像高度和相对于图像高度中心的方向，根据主透镜的epd进行最佳瞳孔修正。在图24f的示例中，在区域lt中，在其中组合了图24b的区域l的瞳孔修正方向(右侧)和图24d的区域ct的瞳孔修正方向(下侧)的方向上进行瞳孔修正。
[0225]
图24g是示出了根据第二实施方案的变形例在区域rb中的瞳孔修正的示例的图。在区域rb中，在对角线方向上朝向图24g的左上侧(图像高度中心)，在各像素块的上层处的两个水平像素集中进行强瞳孔修正，在各像素块的下层处的两个像素集中进行弱瞳孔修正。此外，在中层的各垂直像素集中，根据各垂直像素集的图像高度和相对于图像高度中心的方向，根据主透镜的epd进行最佳瞳孔修正。在图24g的示例中，在区域rb中，在其中组合了图24c的区域r的瞳孔修正方向(左侧)和图24e的区域cb的瞳孔修正方向(上侧)的方向上进行瞳孔修正。
[0226]
注意，除了如上所述相对于图像高度中心在各方向上的瞳孔修正之外，还可以根据图像高度来改变瞳孔修正量。
[0227]
[第三实施方案]
[0228]
接下来，作为第三实施方案，将说明根据本发明的第一实施方案及其变形例和第二实施方案及其变形例的摄像元件4的应用示例。图25是示出了其中使用了根据上述第一实施方案及其变形例和第二实施方案及其变形例的摄像元件4的示例的图。
[0229]
例如，上述各个摄像元件4可以用于下面将描述的感测诸如可见光、红外光、紫外光和x射线等光的各种情况。
[0230]
·
用于鉴赏的拍摄图像的装置，例如数码相机或具有相机功能的便携式装置。
[0231]
·
用于交通的装置，诸如拍摄车辆的前部、后部、周围、内部等的车载传感器以用于诸如自动停车等安全驾驶、识别驾驶员的状况等，监视行驶车辆和道路的监视相机或测量车辆间距离等的测距传感器等。
[0232]
·
用于家用电器的装置，诸如电视、冰箱或空调，以对用户的手势进行摄像并且根据手势操作电器。
[0233]
·
用于医疗或保健的装置，诸如内窥镜或通过接收红外光进行血管造影的设备装置。
[0234]
·
用于安全的设备，诸如用于预防犯罪的监控摄像头或用于个人身份认证的照相机。
[0235]
·
用于美容护理的装置，诸如用于拍摄皮肤的皮肤测量仪器或用于拍摄头皮的显微镜。
[0236]
·
用于运动的装置，诸如用于运动用途的运动相机或可穿戴式相机等。
[0237]
·
用于农业的装置，诸如用于监控农场或农作物的状况的相机。
[0238]
[根据本发明的技术的附加应用示例]
[0239]
根据本发明的技术(本技术)适用于各种产品。例如，根据本发明的技术可以适用于内窥镜手术系统。
[0240]
(体内信息采集系统的应用示例)
[0241]
图26是示出了使用可以应用根据本发明的技术(本技术)的胶囊式内窥镜的患者的体内信息采集系统的示意性配置的示例的框图。
[0242]
体内信息采集系统10001包括胶囊式内窥镜10100和外部控制装置10200。
[0243]
在检查时，患者吞咽胶囊式内窥镜10100。当具有摄像功能和无线通信功能的胶囊式内窥镜10100通过蠕动等在器官内部移动时，其以预定间隔连续拍摄诸如胃和肠等器官内部的图像(下文中称为体内图像)直到由患者自然排出，然后，将关于体内图像的信息以无线方式传递到体外的外部控制装置10200。
[0244]
外部控制装置10200集成地控制体内信息采集系统10001的操作。此外，外部控制装置10200接收从胶囊式内窥镜10100传递的关于体内图像的信息并且基于收到的关于体内图像的信息生成用于在显示装置(未示出)上显示体内图像的图像数据。
[0245]
以这种方式，体内信息采集系统10001能够在从胶囊式内窥镜10100被吞咽到胶囊式内窥镜10100被排出的时间段内，频繁地获取由拍摄患者体内状况形成的体内图像。
[0246]
将更详细说明胶囊式内窥镜10100和外部控制装置10200的配置和功能。
[0247]
胶囊式内窥镜10100包括胶囊式外壳10101，在外壳10101中容纳有光源单元10111、摄像单元10112、图像处理单元10113、无线通信单元10114、供电单元10115、电源单
元10116和控制单元10117。
[0248]
光源单元10111包括诸如发光二极管(led)等的光源，并且用光照射摄像单元10112的摄像视野。
[0249]
摄像单元10112包括摄像元件和光学系统，光学系统包括设置在摄像元件前面的多个透镜。照射在要观察的身体组织上的光的反射光(以下称为观察光)由光学系统聚集并且入射在摄像元件上。在摄像单元10112中，入射在摄像元件上的观察光被光电转化，并且产生了对应于观察光的图像信号。由摄像单元10112产生的图像信号被提供给图像处理单元10113。
[0250]
图像处理单元10113包括诸如cpu和图像处理单元(gpu)等处理器，并且对由摄像单元10112产生的图像信号进行各种信号处理。图像处理单元10113将经过了信号处理的图像信号作为raw数据提供给无线通信单元10114。
[0251]
无线通信单元10114对已经由图像处理单元10113进行了信号处理的图像信号进行诸如调制处理等预定处理，并且通过天线10114a将处理后的图像信号发送至外部控制装置10200。此外，无线通信单元10114通过天线10114a接收来自外部控制装置10200的与胶囊式内窥镜10100的驱动控制相关的控制信号。无线通信单元10114将从外部控制装置10200接收的控制信号提供给控制单元10117。
[0252]
供电单元10115包括用于接收电力的天线线圈、从天线线圈产生的电流再生电力的电力再生电路、升压电路等。在供电单元10115中，使用所谓的非接触充电原理产生电力。
[0253]
电源单元10116包括蓄电池，并且存储由供电单元10115产生的电力。在图26中，为了避免附图的复杂化，未示出指示来自电源单元10116的电力供应目的地的箭头等，但是电源单元10116中累积的电力被供给至光源单元10111、摄像单元10112、图像处理单元10113、无线通信单元10114和控制单元10117，并且能够用于驱动它们。
[0254]
控制单元10117包括诸如cpu等处理器，并且根据从外部控制装置10200发送的控制信号恰当地控制光源单元10111、摄像单元10112、图像处理单元10113、无线通信单元10114和供电单元10115的驱动。
[0255]
外部控制装置10200包括诸如cpu或gpu等处理器、混合地安装有处理器和诸如存储器等存储元件的微型计算机、控制板等。外部控制装置10200通过经由天线10200a将控制信号发送至胶囊式内窥镜10100的控制单元10117以控制胶囊式内窥镜10100的操作。在胶囊式内窥镜10100中，例如，可以通过来自外部控制装置10200的控制信号改变光源单元10111使用光照射观察目标的照射条件。此外，可以通过来自外部控制装置10200的控制信号改变图像拍摄条件(例如，摄像单元10112的帧率、曝光值等)。此外，可以通过来自外部控制装置10200的控制信号改变在图像处理单元10113中处理的内容或者无线通信单元10114发送图像信号的条件(例如，传输间隔、传输图像的数目等)。
[0256]
此外，外部控制装置10200对从胶囊式内窥镜10100传送的图像信号进行各种图像处理，并且生成用于在显示装置上显示拍摄的体内图像的图像数据。作为图像处理，例如显影处理(去马赛克处理)、高清处理(带宽增强处理、超分辨率处理、降噪处理、图像稳定处理等)、放大处理(电子变焦处理)等各种信号处理可以单独执行或结合执行。外部控制装置10200控制显示装置的驱动以基于生成的图像数据显示拍摄的体内图像。可选地，外部控制装置10200可以使记录装置(未示出)记录生成的图像数据或者是使打印装置(未示出)打印
出生成的图像数据。
[0257]
以上说明了可以应用根据本发明的技术的体内信息采集系统的示例。根据本发明的技术例如可以应用到上述组件中的摄像单元10112。通过将根据本发明的摄像元件4应用于摄像单元10112，即使在执行变焦等情况下，也可以很好地执行自动变焦，并且可以获得高质量的体内图像等。
[0258]
(内窥镜手术系统的应用示例)
[0259]
根据本发明的技术还可以应用于内窥镜系统。图27是示出了可以应用根据本发明的技术(本技术)的内窥镜手术系统的示意性配置的示例的图。
[0260]
在图27中，示出了操作者(医生)11131正在使用内窥镜手术系统11000为在病床11133上的患者11132执行手术。如图所示，内窥镜手术系统11000包括内窥镜11100、其它手术工具11110(诸如气腹管11111和能量装置11112)、支撑内窥镜11100的支撑臂装置11120和推车11200(其上装载有用于内窥镜手术的各种装置)。
[0261]
内窥镜11100包括镜筒11101和连接至镜筒11101的近端的摄像头11102，镜筒11101的从其远端起预定长度区域插入在患者11132的体腔中。在所示的示例中，内窥镜11100配置为具有刚性镜筒11101的所谓刚性镜。然而，内窥镜11100也可以是具有柔性镜筒11101的柔性镜。
[0262]
在镜筒11101的远端设置有已经安装有物镜的开口部。光源装置11203连接至内窥镜11100，并且由光源装置11203产生的光通过设置为在镜筒11101内部延伸的光导被引导至镜筒的远端，并且光经由物镜向患者11132体腔中的观察目标照射。注意，内窥镜11100可以是前视镜、斜视镜或者侧视镜。
[0263]
在摄像头11102的内部设置有光学系统和摄像元件，并且来自观察目标的反射光(观察光)被光学系统聚集在摄像元件上。摄像元件对观察光进行光电转换，并且产生与观察光相对应的电信号，即与观察图像相对应的图像信号。图像信号被作为raw数据(原始数据)传输至相机控制单元(ccu)11201。
[0264]
ccu 11201包括cpu、gpu等，并且整体地控制内窥镜11100和显示装置11202的操作。此外，ccu 11201从摄像头11102接收图像信号，并且针对图像信号执行用于基于图像信号显示图像的各种图像处理，例如显影处理(去马赛克处理)等。
[0265]
显示装置11202根据ccu 11201的控制，显示基于经过ccu 11201进行了图像处理的图像信号的图像。
[0266]
光源装置11203包括例如发光二极管(led)等的光源，并且在对手术区域等进行摄像时向内窥镜11100供给照射光。
[0267]
输入装置11204是用于内窥镜手术系统11000的输入接口。使用者可以通过输入装置11204向内窥镜手术系统11000输入各种类型信息和指令。例如，使用者输入指令用来改变内窥镜11100的拍摄条件(诸如照射光的类型、放大率或焦距)等。
[0268]
治疗工具控制装置11205控制用于烧灼或切开组织、密封血管等的能量处理工具11112的驱动。气腹装置11206经由气腹管11111将气体送入患者11132的体腔内以便对患者11132的体腔充气，以确保内窥镜11100的视野并且确保外科大夫的工作空间。记录器11207是能够记录与手术有关的各种类型的信息的装置。打印机11208是能够以各种形式(诸如文本、图像或图形)打印与手术有关的各种信息的装置。
[0269]
注意，在拍摄手术区域等时将入射光供给至内窥镜11100的光源装置11203可以包括例如led、激光光源或由它们组合构成的白光源。在白光源由rgb激光光源的组合构成的情况下，能够高精度地控制各种颜色(各个波长)的输出强度和输出时序，从而调整了在光源装置11203中将拍摄的图像的白平衡。此外，在这种情况下，通过来自各个rgb激光光源的激光束以时分的方式照射观察目标，并且与照射时序同步地控制摄像头11102的摄像元件的驱动，可以以时分的方式拍摄对应于各个rgb的图像。根据此方法，在摄像元件中没有设置滤色器的情况下，也能够获得彩色图像。
[0270]
此外，可以控制光源装置11203的驱动，以在每个预定时间间隔改变要输出的光的强度。通过与改变光强度的时序同步地控制摄像头11102的摄像元件的驱动以时分的方式获取图像并且合成所述图像，能够产生没有所谓曝光不足和曝光过度的高动态范围的图像。
[0271]
此外，光源装置11203可以被配置为能够供给具有与特殊光观察相对应的预定波长带的光。在特殊光观察中，例如，利用人体组织的光吸收依赖于光的波长，通过照射具有比在普通观察时的照射光(即白光)更窄波段的光，进行所谓的窄带光摄像以高对比度对预定组织(诸如黏膜表层的血管等)摄像。或者，在特殊光观察中，可以使用通过照射激发光产生的荧光来执行荧光观察以获得图像。在荧光观察中，通过将激发光照射到身体组织上可以观察来自身体组织的荧光(自体荧光观察)，或者通过局部注射试剂(诸如吲哚菁绿(icg))并且将与试剂的荧光波长对应的激发光照射到人体组织上可以获得荧光图像。光源装置11203可以被配置为能够供给与该特殊光观察相对应的窄带光和/或激发光。
[0272]
图28是示出了图27所示的摄像头11102和ccu 11201的功能配置的示例的框图。
[0273]
摄像头11102包括透镜单元11401、摄像单元11402、驱动单元11403、通信单元11404和摄像头控制单元11405。ccu 11201包括通信单元11411、图像处理单元11412和控制单元11413。摄像头11102和ccu 11201通过传输电缆11400彼此可通信地连接。
[0274]
透镜单元11401是设置在用于与镜筒11101连接的部分中的光学系统。从镜筒11101的远端摄取的观察光被引导至摄像头11102并且入射在透镜单元11401上。通过组合包括变焦透镜和聚焦透镜的多个透镜来构成透镜单元11401。
[0275]
摄像单元11402包括摄像元件。摄像单元可以包括一个摄像元件(所谓的单板型)或者多个摄像元件(所谓的多板型)。在摄像单元11402被配置为多板型的情况下，例如，通过各自的摄像元件可以各自生成与rgb相应的图像信号，并且可以将生成的图像组合在一起，从而获得彩色图形。或者，摄像单元11402可以包括用于分别获取对应于用于右眼和用于左眼的三维(3d)显示的图像信号的一对摄像元件。由于执行3d显示，因此操作者11131能够更准确地掌握手术区域中生物组织的深度。注意，在摄像单元11402被配置为多板型的情况下，可以设置多个透镜单元11401以对应于各个摄像元件。
[0276]
此外，摄像单元11402不是必须设置在摄像头11102上。例如，可以在镜筒11101内部的紧挨着物镜后面设置摄像单元11402。
[0277]
驱动单元11403包含致动器，并且根据摄像头控制单元11405的控制，沿者光轴以预定距离移动透镜单元11401的变焦透镜和聚焦透镜。因此，能够适当地调整针对由摄像单元11402拍摄的图像的放大率和焦点。
[0278]
通信单元11404包括用于发送各种类型信息到ccu 11201和接收来自ccu 11201的
各种类型信息的通信装置。通信单元11404通过传输电缆11400将从摄像单元11402获取的图像信号作为raw数据发送至ccu 11201。
[0279]
此外，通信单元11404从ccu 11201接收用于控制摄像头11102的驱动的控制信号，并将该控制信号供给至摄像头控制单元11405。控制信息包括与摄像条件有关的信息，例如，用于指定待拍摄图像的帧率的信息、用于指定拍摄图像时的曝光值的信息和/或用于指定待拍摄图像的放大倍数和焦点的信息等。
[0280]
注意，诸如帧率、曝光值、放大倍数和焦点等的摄像条件可以由用户适当地指定或者可以由ccu 11201的控制单元11413基于获得的图像信号自动设置。在后一种情况下，内窥镜11100具有所谓的自动曝光(ae)功能、自动聚焦(af)功能和自动白平衡(awb)功能。
[0281]
摄像头控制单元11405基于经由通信单元11404接收到的来自ccu 11201的控制信号来控制摄像头11102的驱动。
[0282]
通信单元11411包括用于发送各种类型信息到摄像头11102和接收来自摄像头11102的各种类型信息的通信装置。经由传输电缆11400，通信单元11411接收从摄像头11102发送的图像信号。
[0283]
此外，通信单元11411向摄像头11102发送用于控制摄像头11102的驱动的控制信号。可以通过电通信、光通信等发送图像信号和控制信号。
[0284]
图像处理单元11412对从摄像头11102发送的作为raw数据的图像信号执行各种类型的图像处理。
[0285]
控制单元11413执行与由内窥镜11100对手术区域等的摄像和通过对手术区域等的摄像而获得的拍摄图像的显示相关的各种类型的控制。例如，控制单元11413生成用于控制摄像头11102的驱动的控制信号。
[0286]
此外，控制单元11413基于已经由图像处理单元11412进行了图像处理的图像信号使显示装置11202显示所拍摄的手术区域等的图像。同时，控制单元11413可以使用各种图像识别技术来识别所拍摄图像中的各种对象。例如，控制单元11413可以通过检测包含在拍摄的图像中的对象的边缘的形状、颜色等来识别例如镊子等手术工具、特定的活体区域、出血、当使用能量处理工具11112时的薄雾等。当在显示装置11202上显示拍摄的图像时，控制单元11413可以通过使用识别的结果在手术区域的图像上叠加各种类型的手术支持信息。由于显示了其上叠加有手术支持信息的手术区域的图像并且呈现给操作者11131，因此能够减轻操作者11131的负担，并且操作者11131可以可靠地进行手术。
[0287]
将摄像头11102和ccu 11201彼此连接的传输电缆11400是能够处理电信号通信的电信号电缆、能够处理光通信的光纤或者是它们的复合电缆。
[0288]
这里，在图28的示例中，使用传输电缆11400以有线方式来执行通信。然而，摄像头11102和ccu 11201之间的通信也可以以无线方式来执行。
[0289]
上文已经说明了可以应用根据本发明的技术的内窥镜手术系统的示例。根据本发明的技术可以应用于，例如，上述组件中的内窥镜11100或摄像头11102的摄像单元11402。通过将根据本发明的摄像元件4应用到摄像单元11402，即使在执行变焦等情况下，也可以很好地执行自动变焦，并且可以获得高质量拍摄的图像。因此，能够减轻操作者11131的负担，并且操作者11131可以可靠地进行手术。
[0290]
注意，尽管这里将内窥镜手术系统作为示例进行了说明，但是根据本发明的技术
例如还可以应用于例如显微手术系统等。
[0291]
(移动体的应用示例)
[0292]
根据本发明的技术还可以应用到安装在诸如m
‑
车、电动车、混合动力汽车、摩托车、自行车、个人移动设备、飞机、无人机、船舶、机器人等各种类型的移动体上的装置。
[0293]
图29是示出了作为可以应用根据本发明的技术的移动体控制系统的示例的车辆控制系统的示意性配置示例的框图。
[0294]
车辆控制系统12000包含通过通信网络12001彼此连接的多个电控制单元。在图29所述的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和集成控制单元12050。此外，示出了作为集成控制单元12050的功能部件的微型计算机12051、声音图像输出单元12052和车载网络接口(i/f)12053。
[0295]
驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元12010用作如下装置的控制装置：诸如内燃机或驱动马达等用于产生车辆驱动力的驱动力产生装置、用于将驱动力传递到车轮的驱动力传递机构、调整车辆转向角的转向机构、产生车辆制动力的制动装置等。
[0296]
车身系统控制单元12020根据各种程序控制安装在车身上的各种装置的操作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如前照灯、倒车灯、刹车灯、转向灯、雾灯等各种类型灯的控制装置。在这种情况下，可以向车身系统控制单元12020输入从替代钥匙的便携式装置发送的无线电波或者各种开关的信号。车身系统控制单元12020接收向其输入的这些无线电波或者信号，并且控制车辆的门锁装置、电动车窗装置或车灯等。
[0297]
车外信息检测单元12030检测其上安装有车辆控制系统12000的车辆的外部的信息。例如，摄像单元12031连接至车外信息检测单元12030。车外信息检测单元12030使摄像单元12031拍摄车辆外部的图像，并且接收所拍摄的图像。基于所接收到的图像，车外信息检测单元12030可以执行与人、车辆、障碍物、标志、路面上的字符有关的物体检测处理，或距离检测处理。例如，车外信息检测单元12030对接收到的图像执行图像处理，并且基于图像处理结果执行物体检测处理或距离检测处理。
[0298]
摄像单元12031是接收光线且输出与接收到的光量相对应的电信号的光学传感器。摄像单元12031可以将电信号作为图像或距离测量信息输出。此外，由摄像单元12031接收的光可以是可见光或诸如红外线等不可见光。
[0299]
车内信息检测单元12040检测车辆内部的信息。例如，检测驾驶员状态的驾驶员状态检测单元12041连接至车内信息检测单元12040。驾驶员状态检测单元12041例如包括拍摄驾驶员的相机。基于从驾驶员状态检测单元12041输入的检测信息，车内信息检测单元12040可以计算驾驶员的疲劳程度或集中程度，或者可以确定驾驶员是否在打瞌睡。
[0300]
微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获取的关于车辆内部或外部的信息来计算驱动力产生装置、转向机构或者制动装置的控制目标值，并且向驱动系统控制单元12010输出控制命令。例如，微型计算机12051可以执行旨在实现高级驾驶员辅助系统(adas)的功能的协同控制，高级驾驶员辅助系统功能包括车辆的碰撞避免或撞击减缓、基于跟车距离的跟随驾驶、车辆匀速行驶、车辆碰撞警告、车辆偏
离车道警告等。
[0301]
此外，通过基于由车外信息检测单元12030或车内信息检测单元12040获取的关于车辆周围的信息控制驱动力产生装置、转向机构、制动装置等，微型计算机12051能够执行旨在不依赖于驾驶员的操作而自主行驶的自动驾驶等的协同控制。
[0302]
此外，基于由车外信息检测单元12030获取的车辆外部的信息，微型计算机12051可以向车身系统控制单元12020输出控制命令。例如，微型计算机12051可以诸如根据由车外信息检测单元12030检测到的前方车辆或迎面而来的车辆的位置，通过控制前照灯以从远光变为近光来执行旨在防止眩光的协同控制。
[0303]
声音图像输出单元12052将声音和图像中的至少一者的输出信号发送到能够在视觉或者听觉上向车辆的乘客或车辆外部通知信息的输出装置。在图29的示例中，音频扬声器12061、显示单元12062和仪表板12063被示出为输出装置。例如，显示单元12062可以包括车载显示器和平视显示器中的至少一者。
[0304]
图30是示出了安装摄像单元12031的位置的示例的图。在图30中，车辆12100包括摄像单元12101、摄像单元12102、摄像单元12103、摄像单元12104和摄像单元12105作为摄像单元12031。
[0305]
摄像单元12101、摄像单元12102、摄像单元12103、摄像单元12104和摄像单元12105例如位于车辆12100的前鼻处、侧视镜处、后保险杠处和后门处以及车内的挡风玻璃的上部处。设置在前鼻处的摄像单元12101和设置在车内的挡风玻璃上部处的摄像单元12105主要获取车辆12100的前方的图像。设置在侧视镜处的摄像单元12102和摄像单元12103主要获取车辆12100的侧面周围的图像。设置在后保险杠处或后门处的摄像单元12104主要获取车辆12100的后方的图像。由摄像单元12101和摄像单元12105获取的前方图像主要用于检测前方车辆、行人、障碍物、交通灯、交通标志、车道等。
[0306]
注意，图30示出了摄像单元12101至摄像单元12104的摄像范围的示例。摄像范围12111示出了设置在前鼻处的摄像单元12101的摄像范围。摄像范围12112和12113分别示出了设置在侧视镜处的摄像单元12102和摄像单元12103的摄像范围，并且摄像范围12114示出了设置在后保险杠处或后门处的摄像单元12104的摄像范围。例如，通过叠加由摄像单元12101至摄像单元12104拍摄的图像数据来获得从上面观察的车辆12100的鸟瞰图像。
[0307]
摄像单元12101至摄像单元12104中的至少一者可以具有获取距离信息的功能。例如，摄像单元12101至摄像单元12104中的至少一个可以是包括多个摄像元件的立体相机，或者可以是具有用于检测相位差的像素的摄像元件。
[0308]
例如，基于从摄像单元12101至摄像单元12104获取的距离信息，微型计算机12051可以获得距摄像范围12111到摄像范围12114内的各个三维对象的距离和所述距离的时间变化(相对于车辆12100的相对速度)，从而提取在基本上在与车辆12100的相同方向上以预定速度(例如，0千米/小时以上)行驶的三维物体，特别是，行驶路径上最靠近车辆12100的三维物体作为前方车辆。此外，微型计算机12051可以预先设定相对于最接近的前方车辆要确保的车间距离，以进行自动制动控制(包括跟随停止控制)、自动加速控制(包括跟随起动控制)等。如上所述，能够执行旨在不依赖于驾驶员的操作而自主行驶的自动驾驶等的协同控制。
[0309]
例如，基于从摄像单元12101至摄像单元12104获取的距离信息，微型计算机12501
可以将关于三维物体的三维物体数据分类为两轮车辆、标准车辆、大型车辆、行人和诸如电线杆等其它三维物体的三维物体数据，并且提取分类后的三维物体数据，以用于障碍物的自动躲避。例如，微型计算机12051将车辆12100周围的障碍物分类为车辆12100的驾驶员能够视觉识别的障碍物和车辆12100的驾驶员难以视觉识别的障碍物。然后，微型计算机12051可以确定指示与各个障碍物的碰撞风险程度的碰撞风险。在碰撞风险等于或者高于设定值并且存在碰撞可能性的情况下，经由音频扬声器12061或者显示单元12062向驾驶员发出警告，或者经由驱动系统控制单元12010执行强制减速或者避让转向，微型计算机12051能够执行协助驾驶以避免碰撞。
[0310]
摄像单元12101至摄像单元12104中至少一者可以是检测红外线的红外相机。例如，微型计算机12051可以通过确定由摄像单元12101至摄像单元12104摄像的图像中是否存在行人来识别行人。例如，对行人的这种识别是通过如下步骤执行的：提取由作为红外相机的摄像单元12101至摄像单元12104拍摄的图像中的特征点；以及对一系列代表物体轮廓的特征点进行图案匹配处理以确定物体是否是行人。当微型计算机12051通过确定在由摄像单元12101至摄像单元12104摄像的图像中存在行人而识别出行人时，声音图像输出单元12052控制显示单元12062以显示叠加的方形轮廓线来强调识别的行人。此外，声音图像输出单元12052可以控制显示单元12062，以在需要的位置显示代表行人的图标等。
[0311]
上文已经说明了可以应用根据本发明的技术的车辆控制系统的示例。例如，根据本发明的技术可以应用于上述组件中的摄像单元12031。通过将根据本发明的摄像元件4应用于摄像单元12031，即使在执行变焦等的情况下，也可以很好地执行自动聚焦，并且可以获得高质量拍摄的图像。
[0312]
注意，本说明书所述的效果仅仅是示例并且不是限制性的，并且还可以有其他效果。
[0313]
注意，本技术还可以具有以下配置。
[0314]
(1)一种摄像元件，其包括：
[0315]
光接收单元，所述光接收单元包括：
[0316]
多个光电转换元件，其以栅格图案阵列布置；和
[0317]
多个透镜，其以一对一的方式针对各个元件集设置，所述元件集包括所述多个光电转换元件中彼此相邻布置的两个以上的光电转换元件；
[0318]
其中，在所述光接收单元中，
[0319]
在各自包括所述元件集和所述多个透镜中设置在所述元件集中的透镜的多个像素集中，彼此相邻的至少两个所述像素集的瞳孔修正量彼此不同。
[0320]
(2)根据上述(1)所述的摄像元件，
[0321]
其中，所述光接收单元包括：
[0322]
多个像素块，其中，在所述多个光电转换元件中，接收具有相同波段的光的n
×
n个光电转换元件(n是2以上的整数)以栅格图案阵列布置，
[0323]
所述多个像素块根据包括接收具有相同波段的光的光电转换元件的像素块彼此不相邻的图案布置，并且
[0324]
所述多个像素块中的至少一者包括所述瞳孔修正量彼此不同的两个所述像素集。
[0325]
(3)根据上述(2)所述的摄像元件，
[0326]
其中，n为3以上的整数，并且所述多个像素块中的至少一者包括所述瞳孔修正量彼此不同的三个以上的所述像素集。
[0327]
(4)根据上述(2)或(3)所述的摄像元件，
[0328]
其中，n是3以上的整数，并且所述多个像素块中的至少一者在其中所述阵列中排列有所述光接收单元具有的所述多个光电转换元件中的相邻的光电转换元件的方向上包括彼此不同的两个所述像素集。
[0329]
(5)根据上述(2)至(4)中任一项所述的摄像元件，还包括：
[0330]
控制单元，其控制针对所述多个光电转换元件的读取，
[0331]
其中，作为读取一对一地与布置在所述多个像素块中的各者中的各个光电转换元件对应的多个输出中的各者的读取模式，所述控制单元具有：
[0332]
单独读取所述多个输出的模式；和
[0333]
在布置有与所述多个输出相对应的各个光电转换元件的像素块中组合所述多个输出，将所述多个输出读取为一个输出的模式。
[0334]
(6)根据上述(2)所述的摄像元件，
[0335]
其中，n为2。
[0336]
(7)根据上述(2)至(6)中任一项所述的摄像元件，
[0337]
其中，所述光接收单元还包括：
[0338]
滤波器，其设置在所述多个光电转换元件各者的入射表面上以限制入射光的波段；和第一遮光体，其设置在所述滤波器周围。
[0339]
(8)根据上述(7)所述的摄像元件，
[0340]
其中，所述滤波器和所述第一遮光体相对于所述多个光电转换元件中与所述滤波器和所述第一遮光体相对应的多个光电转换元件的位置在各自包括所述光电转换元件的彼此相邻的至少两个所述像素集之间是不同的，使得所述瞳孔修正量彼此不同。
[0341]
(9)根据上述(2)至(8)中任一项所述的摄像元件，
[0342]
其中，所述光接收单元还包括：
[0343]
第二遮光体，其通过相对于所述多个光电转换元件各者的入射面在基板的深度方向上形成的沟槽而形成，所述基板中形成有所述多个光电转换元件各者，并且
[0344]
在所述多个像素区块之间形成有所述第二遮光体。
[0345]
(10)根据上述(9)所述的摄像元件，
[0346]
其中，在所述像素集之间还形成有所述第二遮光体。
[0347]
(11)根据上述(1)至(10)中任一项所述的摄像元件，
[0348]
其中，所述像素集中包括的所述透镜相对于所述像素集中包括的所述元件集的位置在彼此相邻的至少两个所述像素集之间是不同的，使得所述瞳孔修正量彼此不同。
[0349]
(12)根据上述(1)至(11)中任一项所述的摄像元件，
[0350]
其中，根据包括所述多个光电转换元件的各入射面的光接收面中相对于与用光照射所述光接收面的主透镜的光轴相对应的图像高度中心的位置，所述瞳孔修正量和以所述瞳孔修正量进行瞳孔修正的方向也不同。
[0351]
(13)根据上述(1)至(12)中任一项所述的摄像元件，
[0352]
其中，所述光接收单元还包括：
[0353]
掩模，用于限制光入射到包含在所述像素集中的所述元件集上，并且
[0354]
所述掩模相对于包含在所述像素集中的所述元件集的位置在彼此相邻的至少两个所述像素集之间是不同的，使得所述瞳孔修正量彼此不同。
[0355]
(14)一种电子设备，包括：
[0356]
光接收单元，其包括：
[0357]
多个光电转换元件，其以栅格图案阵列布置；和
[0358]
多个透镜，其以一对一的方式针对各个元件集设置，所述元件集包括所述多个光电转换元件中彼此相邻布置的两个以上的光电转换元件；
[0359]
光学单元，其将外部光引导至所述光接收单元；
[0360]
图像处理单元，其根据分别从所述多个光电转换元件读取的多个输出执行图像处理来生成图像数据；以及
[0361]
存储单元，其存储由所述图像处理单元生成的所述图像数据，
[0362]
其中，在所述光接收单元中，
[0363]
在各自包括所述元件集和所述多个透镜中设置在所述元件集中的透镜的多个像素集中，彼此相邻的至少两个所述像素集的瞳孔修正量彼此不同。
[0364]
附图标记列表
[0365]
1 电子设备
[0366]
4 摄像元件
[0367]
5 图像处理单元
[0368]
11 像素阵列单元
[0369]
30、31 ocl
[0370]
50、113、1020a、1020b 遮光体
[0371]
110、110a、110b、110a'、110b'、110r、110g、110g1、110g2、110g3、110g4、110b、110w 像素
[0372]
111、111a、111b、111a'、111b'、111g1、111g2、111g3、111g4、111wa、111wb 光电转换单元
[0373]
112、112a、112b、112g1、112g2、112g3、112g4、112r 滤色器。