电子装置的制作方法

1.本公开涉及一种电子装置。


背景技术：

2.诸如智能电话、移动电话和个人计算机(pc)的最近的电子装置配备有相机，使得可以容易地执行视频电话和运动图像捕获。另一方面，在捕获图像的成像单元中，除了输出成像信息的正常像素以外，还可布置专用像素，诸如偏振像素和具有互补滤色器的像素。例如，偏振像素用于闪光校正，并且具有互补滤色器的像素用于颜色校正。
3.然而，当布置大量专用像素时，正常像素的数量减少，并且由成像单元捕捉的图像的分辨率可能降低。
4.引用列表
5.专利文献
6.专利文献1：日本专利申请公开号2019-106634
7.专利文献2：日本专利申请公开号2012-168339。


技术实现要素：

8.本发明要解决的问题
9.在本公开的一方面，提供了一种电子装置，其能够在增加由成像单元获得的信息的类型的同时抑制捕获的图像的分辨率的降低。
10.问题的解决方案
11.为了解决上述问题，本公开提供了一种包括成像单元的电子装置，该成像单元包括多个像素组，每个像素组包括两个相邻像素，其中
12.所述多个像素组中的至少一个第一像素组包括：
13.第一像素，光电转换通过第一透镜会聚的入射光的一部分；以及
14.第二像素，与所述第一像素不同，第二像素光电转换通过所述第一透镜会聚的入射光的一部分；并且
15.多个像素组中的不同于第一像素组的至少一个第二像素组包括：
16.第三像素，光电转换通过第二透镜会聚的入射光；以及
17.第四像素，不同于所述第三像素，并对光电转换通过不同于所述第二透镜的第三透镜会聚的入射光。
18.成像单元可包括多个像素区域，其中，像素组被布置成二乘二矩阵；并且
19.所述多个像素区域可包括：
20.第一像素区域，是布置有四个所述第一像素组的像素区域；以及
21.第二像素区域，是布置有三个所述第一像素组和一个所述第二像素组的像素区域。
22.在第一像素区域中，红色滤色器、绿色滤色器和蓝色滤色器中的滤色器可以与接
收红光、绿光和蓝光的第一像素组对应地布置。
23.在第二像素区域中，红色滤色器、绿色滤色器和蓝色滤色器中的至少两个可以与接收红光、绿光和蓝光中的至少两种颜色的第一像素组对应地布置，并且
24.第二像素组的两个像素中的至少一个可包括青色滤波器、品红色滤波器和黄色滤波器中的一个。
25.第二像素组的两个像素中的至少一个可以是具有蓝色波长区域的像素。
26.可进一步包括信号处理单元，所述信号处理单元基于第二像素组的两个像素中的至少一个的输出信号，对由第一像素组的像素中的至少一个输出的输出信号执行颜色校正。
27.第二像素组中的至少一个像素可具有偏振元件。
28.第三像素和第四像素可包括偏振元件，并且包括在第三像素中的偏振元件和包括在第四像素中的偏振元件可具有不同的偏振方位。
29.可进一步包括校正单元，通过使用基于具有偏振元件的像素的输出信号的偏振信息，来校正第一像素组的像素的输出信号。
30.入射光可经由显示单元入射在第一像素和第二像素上；并且
31.校正单元可去除当穿过显示单元时产生的反射光或衍射光中的至少一个入射在第一像素和第二像素上并被捕获时捕获的偏振分量。
32.校正单元可基于通过将具有偏振元件的像素光电转换的偏振分量数字化获得的偏振信息数据，对通过第一像素和第二像素的光电转换和数字化获得的数字像素数据执行校正量的减法处理，以校正数字像素数据。
33.还可以进一步包括：驱动单元，从成像帧中的所述多个像素组的每个像素多次读取电荷；以及
34.模数转换单元，基于多次电荷读取对多个像素信号中的每一个并行地执行模数转换；
35.驱动单元可读取与第三像素和第四像素对应的公共黑电平。
36.包括两个相邻像素的多个像素可具有正方形形状。
37.可以基于第一像素组的两个像素的输出信号进行相位差检测。
38.信号处理单元可在对输出信号执行颜色校正之后执行白平衡处理。
39.可进一步包括插值单元，插值单元从像素的外围像素的输出插值具有偏振元件的像素的输出信号。
40.第一透镜至第三透镜可以是将入射光会聚到相应像素的光电转换单元上的片上透镜。
41.可进一步包括显示单元；并且
42.入射光可经由显示单元入射在多个像素组上。
附图说明
43.图1是根据第一实施方式的电子装置的示意性截面图。
44.图2的(a)是图1的电子装置的示意性外观图，(b)是沿(a)的线a-a截取的截面图。
45.图3是用于描述成像单元中的像素阵列的示意性平面图。
46.图4是示出成像单元中的像素阵列与片上透镜阵列之间的关系的示意性平面图。
47.图5是用于描述第一像素区域中的像素阵列的示意性平面图。
48.图6a是用于描述第二像素区域中的像素阵列的示意性平面图。
49.图6b是用于描述与图6a的像素阵列不同的第二像素区域中的像素阵列的示意性平面图。
50.图6c是用于描述与图6a和图6b中的像素阵列不同的第二像素区域中的像素阵列的示意性平面图。
51.图7a是示出了关于r阵列的第二像素区域的像素阵列的示图。
52.图7b是示出了关于r阵列的与图7a中的像素阵列不同的第二像素区域的像素阵列的示图。
53.图7c是示出了关于r阵列的与图7a和图7b中的像素阵列不同的第二像素区域的像素阵列的示图。
54.图8是示出图5的aa横截面的结构的示图。
55.图9是示出图6a的aa横截面的结构的示图。
56.图10是示出了电子装置的系统配置实例的示图。
57.图11是示出被存储在存储器单元中的数据区域的实例的示图。
58.图12是示出电荷读取驱动的实例的示图。
59.图13是示出红色、绿色和蓝色像素的相对感光度的示图。
60.图14是示出青色、黄色和品红色像素的相对感光度的示图。
61.图15是用于描述根据第二实施方式的成像单元中的像素阵列的示意性平面图。
62.图16是示出根据第二实施方式的成像单元中的像素阵列与片上透镜阵列之间的关系的示意性平面图。
63.图17a是用于描述第二像素区域中的像素阵列的示意性平面图。
64.图17b是用于描述具有与图17a中的偏振元件不同的偏振元件的像素阵列的示意性平面图。
65.图17c是用于描述具有与图17a和图17b中的偏振元件不同的偏振元件的像素阵列的示意性平面图。
66.图17d是用于描述关于b阵列的偏振元件的阵列的示意性平面图。
67.图17e是用于描述具有与图17d中的偏振元件不同的偏振元件的像素阵列的示意性平面图。
68.图17f是用于描述具有与图17d和图17e中的偏振元件不同的偏振元件的像素阵列的示意性平面图。
69.图18是示出图17a的aa截面结构的示图。
70.图19是示出了每个偏振元件的详细结构的实例的透视图。
71.图20是示意性地示出当通过电子装置捕获对象的图像时发生闪光的状态的示图。
72.图21是示出图20的捕获图像中包括的信号分量的示图。
73.图22是概念地描述校正处理的示图。
74.图23是概念地描述校正处理的另一示图；
75.图24是示出电子装置1的内部配置的框图。
76.图25是示出由电子装置执行的图像捕获处理的处理过程的流程图。
77.图26是将该电子装置应用于胶囊型内窥镜的情况下的俯视图。
78.图27是将电子装置应用于数字单镜头反光照相机的情况下的后视图。
79.图28是示出了电子装置应用于头戴式显示器的实例的平面图。
80.图29是示出当前hmd的示图。
具体实施方式
81.在下文中，将参考附图描述电子装置的实施方式。虽然下面将主要描述电子装置的主要组件，但是电子装置可具有未示出或描述的组件和功能。以下描述不排除未示出或描述的组件和功能。
82.(第一实施方式)
83.图1是根据第一实施方式的电子装置1的示意性截面图。图1中的电子装置1是具有显示功能和图像捕获功能两者的任意电子装置，诸如智能电话、移动电话、平板计算机或pc。图1中的电子装置1包括布置在与显示单元2的显示表面相对的一侧上的相机模块(成像单元)。因此，在图1的电子装置1中，相机模块3设置在显示单元2的显示表面的背侧上。因此，相机模块3通过显示单元2执行图像捕获。
84.图2的(a)是图1的电子装置1的示意性外观图，图2的(b)是沿图2的(a)的线a-a截取的截面图。在图2的(a)的实例中，显示屏幕1a扩展接近于电子装置1的轮廓尺寸，并且显示屏幕1a周围的边框1b的宽度被设置为几mm以下。通常，前置相机通常安装在边框1b上，但是在图2的(a)中，如虚线所示，用作前置相机的相机模块3布置在显示屏幕1a的大致中心部分的背面侧上。这样，通过在显示屏幕1a的背面侧设置前置相机，无需将前置相机配置在边框1b内，并且能够使边框1b的宽度变窄。
85.另外，在图2的(a)中，尽管在显示屏幕1a的大致中心部分的背面侧布置相机模块3，但是在本实施方式中，只要设为显示屏幕1a的背面侧即可，例如也可以在显示屏幕1a的外周边缘部分附近布置相机模块3。这样，本实施方式中的相机模块3被布置在与显示屏幕1a重叠的背面侧的任意位置。
86.如图1所示，显示单元2是这样一种结构，其中，显示面板4、圆偏振板5、触摸面板6以及覆盖玻璃7按照这种顺序堆叠。基于其他显示原理，显示面板4例如可为有机发光器件(oled)单元、液晶显示单元、微型led或显示单元2。显示面板4例如oled单元包括多个层。显示面板4通常设置有具有低透射率的构件，诸如滤色器层。如稍后描述的，根据相机模块3的布置位置，通孔可以形成在显示面板4中的具有低透射率的构件中。如果使穿过通孔的对象光入射到相机模块3上，则可以提高由相机模块3捕获的图像的图像质量。
87.设置圆偏振板5是为了即使在明亮的环境下也能减少闪光并提高显示屏幕1a的可视性。触摸传感器被结合在触摸面板6中。存在各种类型的触摸传感器，诸如电容型和电阻膜型，但是可以使用任何类型。此外，触摸面板6和显示面板4可以是一体的。提供覆盖玻璃7以保护显示面板4等。
88.相机模块3包括成像单元8和光学系统9。光学系统9被布置在成像单元8的光入射面侧，即，靠近显示单元2的一侧，并且将穿过显示单元2的光会聚在成像单元8上。光学系统9通常包括多个透镜。
89.成像单元8包括多个光电转换单元。光电转换单元对通过显示单元2入射的光进行光电转换。光电转换单元可以是互补金属氧化物半导体(cmos)传感器或电荷耦合器件(ccd)传感器。此外，光电转换单元可以是光电二极管或有机光电转换膜。
90.此处，将参考图3至图6c描述成像单元8中的像素阵列和片上透镜阵列的实例。片上透镜是设置在每个像素中的光入射侧上的前面部分上并且将入射光会聚在对应像素的光电转换单元上的透镜。
91.图3是用于描述成像单元8中的像素阵列的示意性平面图。图4是示出成像单元8中的像素阵列和片上透镜阵列之间的关系的示意性平面图。图5是用于描述在第一像素区域8a内形成一对的像素80和82的阵列的示意性平面图。图6a是用于描述在第二像素区域8b中形成一对的像素80a和82a的阵列的示意性平面图。图6b是用于描述在第二像素区域8c中的像素80a和82a的阵列的示意性平面图。图6c是用于描述在第二像素区域8d中的像素80a和82a的阵列的示意性平面图。
92.如图3所示，成像单元8包括多个像素组，每个像素组包括形成一对的两个相邻像素(80,82)和(80a,82a)。像素80、82、80a和82a具有矩形形状，并且两个相邻像素(80,82)和(80a,82a)具有正方形形状。
93.附图标记r表示接收红色光的像素，附图标记g表示接收绿色光的像素，附图标记b表示接收蓝色光的像素，附图标记c表示接收青色光的像素，附图标记y表示接收黄色光的像素，附图标记m表示接收品红色光的像素。这同样适用于其他附图。
94.成像单元8包括第一像素区域8a和第二像素区域8b、8c、8d。在图3中，示出了每个第二像素区域8b、8c和8d中的一个组。即，剩余的13组是第一像素区域8a。
95.在第一像素区域8a中，以正常的拜耳阵列的一个像素由排列成行的两个像素80、82替换的形式布置像素。即，以拜耳阵列中的r、g和b中的每一个被两个像素80和82替换的形式布置像素。
96.另一方面，在第二像素区域8b、8c、8d中，以拜耳阵列中的r和g中的每一个被两个像素80和82替换的形式布置像素，并且以拜耳阵列中的b被两个像素80a和82a替换的形式布置像素。例如，两个像素80a、82a的组合为第二像素区域8b的b和c的组合、第二像素区域8c的b和y的组合、第二像素区域8d的b和m的组合。
97.此外，如图4到图6c中所示，为两个像素80和82中的每个像素设置一个具有圆形形状的片上透镜22。由此，像素组8a、8b、8c和8d中的像素80和82可以检测像平面相位差。此外，通过将像素80和82的输出相加，该功能等同于正常成像像素的功能。即，可以通过将像素80和82的输出相加来获得成像信息。
98.另一方面，如图4至图6c所示，椭圆片上透镜22a设置在两个像素80a和82a的每一个中。如图6a所示，在第二像素区域8b中，像素82a与第一像素区域8a中的b像素的不同之处在于其是接收青色光的像素。由此，两个像素80a和82a可分别独立地接收蓝光和青色光。同样，如图6b所示，在第二像素区域8c中，像素82a接收黄色光。由此，两个像素80a和82a可分别独立地接收蓝光和黄光。类似地，如图6c所示，在第二像素区域8d中，像素82a接收品红色光。由此，两个像素80a和82a可分别独立地接收蓝光和品红色光。
99.在第一像素区域8a中，b阵列的像素仅取得蓝色的颜色信息，在第二像素区域8b中，b阵列的像素除了取得蓝色的颜色信息之外，还能够取得青色的颜色信息。同样地，第二
像素区域8c中的b阵列的像素除了取得蓝色的颜色信息之外，还能够取得黄色的颜色信息。类似地，第二像素区域8d中的b阵列中的像素除了蓝色的颜色信息之外，还可以获取品红色的颜色信息。
100.第二像素区域8b、8c和8d中的像素80a和82a所获取的青色、黄色和品红色的颜色信息可用于颜色校正。即，第二像素区域8b、8c、8d中的像素80a、82a是为了颜色校正而配置的专用像素。这里，根据本实施方式的专用像素是指用于诸如颜色校正和偏振校正的校正处理的像素。这些专用像素还可用于正常成像之外的应用。
101.第二像素区域8b、8c和8d中的像素80a和82a的片上透镜22a是椭圆形，并且接收的光量也是接收相同颜色的像素80和82的总值的一半。光接收分布和光量(即，敏感度等)可以通过信号处理校正。
102.另一方面，像素80a、82a可以获得两个不同系统的颜色信息，并且有效地用于颜色校正。这样，在第二像素区域8b、8c、8d中，不降低分辨率就能够提高要得到的信息的类型。注意，稍后将描述颜色校正处理的细节。
103.在本实施方式中，由两个像素80a和82a形成拜耳阵列中的b阵列的像素，但是本发明不限于此。例如，如图7a至图7c所示，拜耳阵列中的r阵列的像素可由两个像素80a和82a形成。
104.图7a是示出第二像素区域8e的像素阵列的示图。在第二像素区域8e中，拜耳阵列中的r阵列中的像素82a与第一像素区域8a中的像素阵列的不同之处在于像素接收青色光。由此，两个像素80a和82a可分别独立地接收红光和青色光。
105.图7b是示出第二像素区域8f的像素阵列的示图。在第二像素区域8f中，拜耳排列的r排列的像素82a与第一像素区域8a的像素阵列的不同之处在于接受黄色光。由此，两个像素80a和82a可分别独立地接收红光和黄光。
106.图7c是示出第二像素区域8g的像素阵列的示图。在第二像素区域8g中，拜耳排列的r排列的像素82a与第一像素区域8a的像素阵列的不同之处在于像素接收品红色光。由此，两个像素80a和82a可分别独立地接收红光和品红色光。
107.注意，在本实施方式中，像素阵列由拜耳(bayer)阵列形成，但是本发明不限于此。例如，可使用行间阵列、方格阵列、条带阵列或其他阵列。即，像素80a、82a的个数与像素80、82的个数之比、受光颜色的种类、以及布置位置是任意的。
108.图8是示出图5的aa截面的结构的示图。如图8所示，多个光电转换单元800a被布置在基板11中。多个布线层12被布置在基板11的第一表面11a侧上。在多个布线层12的周围布置有层间绝缘膜13。设置了将布线层12彼此连接、将布线层12和光电转换单元800a连接的接触(未示出)，但是在图8中未示出。
109.在基板11的第二表面11b侧上，遮光层15经由平坦化层14布置在像素的边界附近，并且下层绝缘层16布置在遮光层15的周围。平坦化层20布置在下层绝缘层16上。平坦化层20上设置有滤色器层21。滤色器层21包括rgb三种颜色的滤色层。注意，在本实施方式中，像素80和82的滤色器层21包括rgb三种颜色的滤色层，但不限于此。例如，可以包括作为其互补色的青色、品红色和黄色的滤色层。或者，可包含透射除了可见光(例如，红外光)之外的颜色的滤色层，可包含具有多谱特性的滤色层，或可包含例如白色的脱色滤色层。通过透射除了可见光(诸如，红外光)之外的光，可检测感测信息(诸如深度信息)。片上透镜22设置在
滤色层21上。
110.图9是示出图6a的aa截面的结构的示图。在图8的截面结构中，在多个像素80和82中布置一个圆形片上透镜22，但是在图9中，为多个像素80a和82a的每一个布置片上透镜22a。一个像素80a的滤色器层21例如是蓝色滤色器。其他像素82a例如是青色滤波器。在第二像素区域8c、8d中，其他像素82a例如为黄色滤色器或品红色滤色器。并且，在第二像素区域8e、8f、8g中，一个像素80a的滤色器层21例如为红色滤色器。注意，一个像素80a的滤色器的位置可以与另一像素82a的滤色器的位置相对。在此，蓝色滤色器是透射蓝光的透射滤色器，红色滤色器是透射红光的透射滤色器，并且绿色滤色器是透射绿光的透射滤色器。类似地，青色滤色器、品红色滤色器和黄色滤色器中的每个滤色器是使青色光、品红色光和黄色光透射的透射滤色器。
111.如从这些中可见，在像素80和82以及像素80a和82a中，片上透镜22和22a的形状以及滤色器层21的组合不同，但是平坦化层20和下面的部件具有相同的结构。因此，可以同样地进行像素80、82的数据读出、像素80a、82a的数据读出。由此，如后面详细说明的那样，能够通过像素80a、82a的输出信号来增加要获得的信息的种类，能够防止帧频降低。
112.这里，将参考图10、图11和图12描述电子装置1的系统配置实例以及数据读取方法。图10是示出了电子装置1的系统配置示例的示图。根据第一实施方式的电子装置1包括成像单元8、垂直驱动单元130、模数转换(在下文中描述为“ad转换”)单元140和150、列处理单元160和170、存储器单元180、系统控制单元190、信号处理单元510以及接口单元520。
113.在成像单元8中，像素驱动线沿着每个像素行的行方向布线，并且例如，相对于矩阵形式的像素阵列，两个垂直信号线310和320沿着每个像素列的列方向布线。像素驱动线传输用于在从像素80、82、80a和82a读取信号时进行驱动的驱动信号。像素驱动线的一端连接至与垂直驱动单元130的每行对应的输出端子。
114.垂直驱动单元130包括移位寄存器、地址解码器等，并且以行为单位等同时驱动成像单元8的所有像素80、82、80a和82a。即，垂直驱动单元130与控制垂直驱动单元130的系统控制单元190一起形成驱动成像单元8的像素80、82、80a和82a中的每一个的驱动单元。垂直驱动单元130通常具有包括读取扫描系统和扫出扫描系统(sweep scanning system)这两个扫描系统的配置。读取扫描系统以行为单位依次选择性地扫描像素80、82、80a和82a中的每一个。从像素80、82、80a和82a中的每一个读取的信号是模拟信号。扫出扫描系统在读取扫描之前以对应于快门速度的时间对读取行执行扫出扫描，读取扫描系统在读取行上执行读取扫描。
115.通过扫出扫描系统的扫出扫描，从读取行的像素80、82、80a和82a的每个光电转换单元中扫出不必要的电荷，从而重置光电转换单元。然后，通过扫出扫描系统扫出(重置)不必要的电荷，执行所谓的电子快门操作。这里，电子快门操作是指释放光电转换单元的光电荷并新开始曝光(开始光电荷累积)的操作。
116.读取扫描系统通过读取操作读取的信号对应于在紧接之前的读取操作或电子快门操作之后接收的光量。然后，从紧接之前的读取操作的读取时刻或电子快门操作的扫出时刻到当前读取操作的读取时刻的时间段是单位像素中的光电荷的曝光时间段。
117.从由垂直驱动单元130选择的像素行的像素80、82、80a和82a中的每个输出的像素信号，通过两条垂直信号线310和320被输入到ad转换单元140和150。这里，一个系统的垂直
信号线310包括信号线组(第一信号线组)，该信号线组在针对每个像素列的第一方向(像素列的一侧/图的向上方向)上传输从所选行的像素80、82、80a和82a中的每个输出的像素信号。另一系统的垂直信号线320包括信号线组(第二信号线组)，该信号线组在与第一方向相反的第二方向(像素列方向的另一侧/图的向下方向)上传输从所选行的像素80、82、80a和82a中的每个输出的像素信号。
118.每个ad转换单元140和150包括为每个像素列设置的一组(ad转换器组)ad转换器141和151，在像素列方向上跨过成像单元8设置，并且对由两个系统的垂直信号线310和320传输的像素信号执行ad转换。即，ad转换单元140包括一组ad转换器141，该组ad转换器141对于每个像素列对由垂直信号线310在第一方向传输和输入的像素信号执行ad转换。ad转换单元150包括一组ad转换器151，该组ad转换器151针对每个像素列对由垂直信号线320在第二方向上传输并且输入的像素信号执行ad转换。
119.即，一个系统的ad转换器141连接至垂直信号线310的一端。然后，从像素80、82、80a以及82a中的每个输出的像素信号通过垂直信号线310在第一方向(图的向上方向)上传输并且被输入到ad转换器141。此外，另一系统的ad转换器151连接至垂直信号线320的一端。然后，从像素80、82、80a以及82a中的每个输出的像素信号通过垂直信号线320在第二方向(图的向下方向)上传输并且被输入到ad转换器151。
120.在ad转换单元140和150中的ad转换之后的像素数据(数字数据)经由列处理单元160和170被提供给存储器单元180。存储器单元180临时存储已经通过列处理单元160的像素数据和已经通过列处理单元170的像素数据。此外，存储器单元180还执行将已通过列处理单元160的像素数据与已通过列处理单元170的像素数据相加的处理。
121.此外，在获取像素80、82、80a和82a中的每一个的黑电平信号的情况下，可以针对每对相邻的两个像素(80,82)和(80a,82a)共同读取要作为基准点的黑电平。由此，黑电平读取变得公共，并且能够提高读取速度，即，帧速率。即，在共同读取用作参考点的黑电平之后，能够执行单独读取正常信号电平的驱动。
122.图11是示出存储在存储器单元180中的数据区的实例的示图。例如，将从像素80、82和80a的每一个中读取的像素数据与像素坐标相关联并且存储在第一区域180a中，并且将从每个像素82a中读取的像素数据与像素坐标相关联并且存储在第二区域180b中。由此，存储在第一区域180a中的像素数据被存储为拜耳阵列的r、g和b图像数据，并且存储在第二区域180b中的像素数据被存储为用于校正处理的图像数据。
123.系统控制单元190包括生成各种定时信号等的定时发生器，并且基于由定时发生器生成的各种定时执行垂直驱动单元130、ad转换单元140和150、列处理单元160和170等的驱动控制。
124.从存储器单元180读取的像素数据在信号处理单元510中经历预定信号处理，并且然后经由接口520输出至显示面板4。在信号处理单元510中，例如，执行获得一个成像帧中的像素数据的总和或者平均值的处理。稍后将描述信号处理单元510的细节。
125.图12是示出执行两次的电荷读取驱动的实例的示图。图12示意性地示出了在从光电转换单元800a(图8和图9)执行两次电荷读取的情况下的快门操作、读取操作、电荷累积状态以及加法处理。
126.在根据本实施方式的电子装置1中，在系统控制单元190的控制下，垂直驱动单元
130在一个成像帧中从光电转换单元800a执行两次例如电荷读取驱动。通过以比在一次电荷读取的情况下更快的读取速度执行两次读取、存储在存储器单元180中并执行相加处理，可以从光电转换单元800a读取与读取次数对应的电荷量。
127.根据本实施方式的电子装置1采用基于两次电荷读取为两个像素信号并行地设置ad转换单元140和150的两个系统的配置(双并行配置)。由于针对从各个像素80、82、80a以及82a中的每个以时间序列读出的两个像素信号并行地设置两个ad转换单元，因此以时间序列读出的两个像素信号能够由两个ad转换单元140和150并行地进行ad转换。换言之，因为ad转换单元140和150并行设置在两个系统中，所以第二电荷读取和基于第二电荷读取的像素信号的ad转换可在基于第一电荷读取的图像信号的ad转换期间并行执行。由此，能够以更高的速度从光电转换单元800a读取图像数据。
128.此处，将参考图13和图14详细描述信号处理单元510的颜色校正处理的实例。图13是示出r：红色、g：绿色、以及b：蓝色像素(图3)的相对敏感度的示图。纵轴表示相对敏感度，横轴表示波长。类似地，图14是示出了c：青色、y：黄色、以及m：品红色像素(图3)的相对敏感度的示图。纵轴表示相对敏感度，横轴表示波长。如上所述，红色(r)像素具有红色滤色器，蓝色(b)像素具有蓝色滤色器，绿色(g)像素具有绿色滤色器，青色(c)像素具有青色滤色器，黄色(y)像素具有黄色滤色器，以及品红色(m)像素具有品红色滤色器。
129.首先，将描述使用c(青色)像素的输出信号cs1生成b(蓝色)像素的校正输出信号bs3和bs4的校正处理。如上所述，在存储器单元180的第一区域(180a)中存储r(红色)像素的输出信号rs1、g(绿色)像素的输出信号gs1、b(蓝色)像素的输出信号gb1。另一方面，c(青色)像素的输出信号cs1、y(黄色)像素的输出信号ys1和m(品红色)像素的输出信号ms1被存储在存储器单元180的第二区域(180b)中。
130.如图13和图14所示，比较c(青色)像素、b(蓝色)像素以及g(绿色)像素的波长特性，可通过将b(蓝色)像素的输出信号bs1与g(绿色)像素的输出信号gs1相加来近似c(青色)像素的输出信号cs1。
131.因此，在第二像素区域8b(图3)中，信号处理单元510通过例如表达式(1)计算b(蓝色)像素的输出信号bs2，
132.bs2＝k1
×
cs1-k2
×
gs1
ꢀꢀꢀꢀ
(1)。
133.这里，k1和k2是用于调整信号强度的系数。
134.然后，信号处理单元510通过例如表达式(2)计算b(蓝色)像素的校正输出信号bs3，
135.bs3＝bs2 k3
×
bs1
136.＝k1
×
cs1-k2
×
gs1 k3
×
bs1
ꢀꢀꢀꢀ
(2)。
137.在此，k3是用于调整信号强度的系数。
138.类似地，在第二像素区域8e(图7a)中，信号处理单元510通过例如表达式(3)计算b(蓝色)像素的输出信号bs4，
139.bs4＝k1
×
cs1-k2
×
gs1 k4
×
bs1
ꢀꢀꢀꢀ
(3)。
140.在此，k4是用于调整信号强度的系数。以这种方式，信号处理单元510可以获得使用c(青色)像素的输出信号cs1和g(绿色)像素的输出信号gs1校正的b(蓝色)像素的输出信号bs3和bs4。
141.接着，描述使用y(黄色)像素的输出信号ys1生成校正的r(红色)像素的输出信号rs3、rs4的校正处理。
142.如图13和图14所示，比较y(黄色)像素、r(红色)像素以及g(绿色)像素的波长特性，可通过将r(红色)像素的输出信号rs1与g(绿色)像素的输出信号gs1相加来近似y(黄色)像素的输出信号ys1。
143.因此，在第二像素区域8c(图3)中，信号处理单元510通过例如表达式(4)计算r(红色)像素的输出信号rs2，
144.rs2＝k5
×
ys1-k6
×
gs1
ꢀꢀꢀꢀ
(4)。
145.这里，k5和k6是用于调整信号强度的系数。
146.然后，信号处理单元510通过例如表达式(5)计算r(红色)像素的校正输出信号rs3，
147.rs3＝k7
×
rs1 rs2
148.＝k5
×
ys1-k6
×
gs1 k7
×
rs1
ꢀꢀꢀꢀ
(5)。
149.在此，k7是用于调整信号强度的系数。
150.同样地，在第二像素区域8f(图7b)中，信号处理单元510例如通过式(6)计算r(红色)像素的输出信号rs4，
151.rs4＝k5
×
ys1-k6
×
gs1 k8
×
rs1
ꢀꢀꢀꢀ
(6)。
152.在此，k8是用于调整信号强度的系数。以这种方式，信号处理单元510能够得到使用y(黄色)像素的输出信号ys1和g(绿色)像素的输出信号gs1校正后的r(红色)像素的输出信号rs3、rs4。
153.接下来，将描述使用m(品红色)像素的输出信号ms1生成b(蓝色)像素的校正输出信号bs6和bs7的校正处理。
154.如图13和图14所示，比较m(品红色)像素、b(蓝色)像素以及r(红色)像素的波长特性，可通过将b(蓝色)像素的输出信号bs1与r(红色)像素的输出信号rs1相加来近似m(品红色)像素的输出信号ms1。
155.因此，在第二像素区域8d(图3)中，信号处理单元510通过例如表达式(7)计算b(蓝色)像素的输出信号bs5，
156.bs5＝k9
×
ms1-k10
×
rs1
ꢀꢀꢀꢀ
(7)。
157.在此，k9和k10是用于调整信号强度的系数。
158.然后，信号处理单元510通过例如表达式(8)计算b(蓝色)像素的校正输出信号bs6，
159.bs6＝bs5 k11
×
bs1
160.＝k9
×
ms1-k10
×
rs1 k11
×
bs1
ꢀꢀꢀꢀ
(8)。
161.在此，k11是用于调整信号强度的系数。
162.类似地，在第二像素区域8g(图7c)中，信号处理单元510通过例如表达式(9)计算b(蓝色)像素的输出信号bs7，
163.bs7＝k9
×
ms1-k10
×
rs1 k12
×
bs1
ꢀꢀꢀꢀ
(9)。
164.在此，k12是用于调整信号强度的系数。以这种方式，信号处理单元510可以获得使用m(品红色)像素的输出信号ms1和r(红色)像素的输出信号rs1校正的b(蓝色)像素的输出
信号bs6和bs7。
165.接下来，将描述使用m(品红色)像素的输出信号ms1生成r(红色)像素的校正输出信号rs6和rs7的校正处理。
166.在第二像素区域8d(图3)中，信号处理单元510通过例如表达式(10)计算r(红色)像素的输出信号rs5，
167.rs5＝k13
×
ms1-k14
×
bs1
ꢀꢀꢀꢀ
(10)。
168.这里，k13和k14是用于调整信号强度的系数。
169.然后，信号处理单元510通过例如表达式(11)计算r(红色)像素的校正输出信号rs6，
170.rs6＝rs5 k15
×
rs1
171.＝k13
×
ms1-k14
×
bs1 k16
×
rs1
ꢀꢀꢀꢀ
(11)。
172.在此，k16是用于调整信号强度的系数。
173.类似地，在第二像素区域8g(图7c)中，信号处理单元510通过例如表达式(12)计算r(红色)像素的输出信号bs7，
174.rs7＝k13
×
ms1-k14
×
bs1 k17
×
rs1
ꢀꢀꢀꢀ
(12)。
175.在此，k17是用于调整信号强度的系数。以这种方式，信号处理单元510可以获得使用m(品红色)像素的输出信号ms1和b(蓝色)像素的输出信号bs1校正的r(红色)像素的输出信号rs6和rs7。
176.此外，信号处理单元510执行各种类型的处理，诸如白平衡调整、伽马校正和轮廓强调，并且输出彩色图像。以这种方式，在根据各像素80a、82a的输出信号进行颜色校正之后进行白平衡调整，因此能够得到色调更自然的捕获图像。
177.如上所述，根据本实施方式，成像单元8包括各自包括两个相邻像素的多个像素组，并且布置有包括一个片上透镜22的第一像素组80和82以及各自包括片上透镜22a的第二像素组80a和82a。由此，第一像素组80和82可以检测相位差并且用作正常成像像素，并且第二像素组80a和82a可以用作各自能够获取独立成像信息的专用像素。此外，能够用作专用像素的像素组80a和82a的一个像素区域面积是能够用作正常成像像素的像素组80和82的1/2，并且可以避免妨碍能够正常成像的第一像素组80和82的布置。
178.在作为布置有三个第一像素组80和82以及一个第二像素组80a和82a的像素区域的第二像素区域8b至8k中，对应于接收的红光、绿光和蓝光中至少两种颜色的第一像素组80和82，布置红色滤色器、绿色滤色器和蓝色滤色器中的至少两种，，以及青色滤色器、品红色滤色器和黄色滤色器中的任意一个被布置在第二像素组的两个像素80a和82a中的至少一个中。由此，可使用与c(青色)像素、m(品红色)像素和y(黄色)像素中的任一个对应的输出信号，对与r(红色)像素、g(绿色)像素和b(蓝色)像素中的任一个对应的输出信号进行颜色校正。具体地，通过使用与青色(c)像素和品红色(m)像素中的任一个对应的输出信号对与红色(r)像素、绿色(g)像素和蓝色(b)像素中的任一个对应的输出信号执行颜色校正，可以增加蓝色信息而不降低分辨率。以这种方式，可以在增加由成像单元8获得的信息的类型的同时抑制捕获图像的分辨率的降低。
179.(第二实施方式)
180.根据第二实施方式的电子装置1与根据第一实施方式的电子装置1的不同之处在
于第二像素区域中的两个像素80b和82b由具有偏振元件的像素形成。下面将描述与根据第一实施方式的电子装置1的差异。
181.此处，将参考图15至图17c描述根据第二实施方式的成像单元8中的像素阵列和片上透镜阵列的实例。图15是用于描述根据第二实施方式的成像单元8中的像素阵列的示意性平面图。图16是示出根据第二实施方式的成像单元8中的像素阵列和片上透镜阵列之间的关系的示意性平面图。图17a是用于描述在第二像素区域8h中的像素80b和82b的阵列的示意性平面图。图17b是用于描述第二像素区域8i中的像素80b和82b的阵列的示意性平面图。图17c是用于描述第二像素区域8j中的像素80b和82b的阵列的示意性平面图。
182.如图15所示，根据第二实施方式的成像单元8包括第一像素区域8a和第二像素区域8h、8i和8j。在第二像素区域8h、8i和8j中，拜耳阵列中的g像素80和82分别被两个专用像素80b和82b替换。注意，在本实施方式中，用专用像素80b和82b代替拜耳阵列中的g像素80和82，但是本发明不限于此。例如，如后面描述的，拜耳阵列中的b像素80和82可以用专用像素80b和82b替换。
183.如图16至图17c所示，类似于第一实施方式，为两个像素80b和82b中的每一个设置具有圆形形状的一个片上透镜22。另一方面，偏振元件s被布置在两个像素80b和82b中。图17a至图17c是示意性示出布置在像素80b和82b中的偏振元件s的组合的平面图。图17a是示出45度偏振元件和0度偏振元件的组合的示图。图17b是示出45度偏振元件和135度偏振元件的组合的示图。图17c是示出45度偏振元件和90度偏振元件的组合的示图。以这种方式，在两个像素80b和82b中，例如，诸如0度、45度、90度和135度的偏振元件的组合是可行的。此外，如图17d至图17f所示，拜耳阵列中的b像素80和82分别被两个像素80b和82b取代。以这种方式，像素不限于拜耳阵列中的g像素80和82，并且像素可以以用两个像素80b和82b分别替换拜耳阵列中的b和r像素80和82的形式布置。在利用专用像素80b和82b替换拜耳阵列中的g像素80和82的情况下，也可以仅通过第二像素区域8h、8i和8j中的像素输出来获得r、g和b信息。另一方面，在将拜耳阵列的b像素80、82替换为专用像素80b、82b的情况下，在不损害相位检测精度高的g像素的输出的情况下，可以用于相位检测。以这种方式，第二像素区域8h、8i和8j中的每个像素80b和82b可以提取偏振分量。
184.图18是示出图17a的aa截面结构的示图。如图18所示，多个偏振元件9b以间隔开的方式布置在下方绝缘层16上。图18中的每个偏振元件9b是具有布置在绝缘层17的一部分中的线和空间结构的线栅偏振元件。
185.图19是示出了每个偏振元件9b的详细结构的实例的立体图。如图19所示，多个偏振元件9b中的每一个包括具有在一个方向上延伸的突起形状的多个线部9d以及在线部9d之间的间隔部9e。存在线部9d的延伸方向彼此不同的多种类型的偏振元件9b。更具体地，存在三种以上类型的偏振元件9b，并且例如，光电转换单元800a的阵列方向与线部9d的延伸方向之间的角度可以是0度、60度和120度三种类型。可替代地，光电转换单元800a的阵列方向与线部9d的延伸方向之间的角度可以是0度、45度、90度和135度的四种类型的角度，或者可以是其他角度。可替代地，多个偏振元件9b可仅在单个方向上偏振。多个偏振元件9b的材料可以是金属材料(诸如铝或钨)或有机光电转换膜。
186.以这种方式，每个偏振元件9b具有在一个方向上延伸的多个线部9d被布置为在与该一个方向交叉的方向上间隔开的结构。存在具有不同的线部9d的延伸方向的多种类型的
偏振元件9b。
187.线部9d具有堆叠光反射层9f、绝缘层9g和光吸收层9h的堆叠结构。光反射层9f例如由铝等金属材料构成。绝缘层9g包括例如sio2等。光吸收层9h例如为钨等金属材料。
188.接下来，将描述根据本实施方式的电子装置1的特性操作。图20是示意性地示出了当对象由图1的电子装置1成像时发生闪光的状态的示图。闪光是由于入射在电子装置1的显示单元2上的一部分光被显示单元2中的任何构件重复地反射而引起的，并且然后入射在成像单元8上并且在捕获图像中被捕获。当在捕获图像中出现闪光时，如图20所示，出现亮度差或色调变化，并且图像质量劣化。
189.图21是示出图20的捕获图像中包括的信号分量的示图。如图21所示，捕获图像包括对象信号和闪光分量。
190.图22和图23是概念地描述根据本实施方式的校正处理的示图。如图15所示，根据本实施方式的成像单元8包括多个偏振像素80b和82b以及多个非偏振像素80和82。由在图15中示出的多个无偏振像素80和82光电转换的像素信息包括如图21中示出的对象信号和闪光分量。另一方面，由在图15中示出的多个偏振像素80b和82b光电转换的偏振信息是闪光分量信息。因此，通过从由多个无偏振像素80和82光电转换的像素信息中减去由多个偏振像素80b和82b光电转换的偏振信息，如图23所示，去除闪光分量并且获得对象信号。当基于对象信号的图像显示在显示单元2上时，如图23所示，显示去除了图21中存在的闪光的对象图像。
191.入射在显示单元2上的外部光可通过显示单元2中的布线图案等衍射，并且衍射光可入射在成像单元8上。以这种方式，闪光和衍射光中的至少一个可在捕获图像中捕获。
192.图24是示出根据本实施方式的电子装置1的内部配置的框图。图8的电子装置1包括光学系统9、成像单元8、存储器单元180、钳位单元32、颜色输出单元33、偏振输出单元34、闪光提取单元35、闪光校正信号生成单元36、缺陷校正单元37、线性矩阵单元38、伽马校正单元39、亮度色度信号生成单元40、焦点调整单元41、曝光调整单元42、降噪单元43、边缘加强单元44和输出单元45。为简化描述，在图24中省略在图10中示出的垂直驱动单元130、模数转换单元140和150、列处理单元160和170以及系统控制单元19。
193.光学系统9包括一个或多个透镜9a和红外线(ir)截止滤波器9b。ir截止滤波器9b可以省略。如上所述，成像单元8包括多个无偏振像素80和82以及多个偏振像素80b和82b。
194.通过模拟数字转换单元140和150(未示出)转换多个偏振像素80b和82b的输出值和多个非偏振像素80和82的输出值，通过数字化多个偏振像素80b和82b的输出值而获得的偏振信息数据存储在第二区域180b中(图11)，并且通过数字化多个非偏振像素80和82的输出值而获得的数字像素数据存储在第一区域180a中(图11)。
195.钳位单元32执行定义黑电平的处理，并且从存储在存储器单元180的第一区域180a(图11)中的数字像素数据和存储在第二区域180b(图11)中的偏振信息数据中的每一个中减去黑电平数据。钳位单元32的输出数据被分支，rgb数字像素数据从颜色输出单元33输出，并且偏振信息数据从偏振输出单元34输出。闪光提取单元35从偏振信息数据提取闪光分量和衍射光分量中的至少一个。在本说明书中，由闪光提取单元35提取的闪光分量和衍射光分量中的至少一个可被称为校正量。
196.闪光校正信号生成单元36通过对从颜色输出单元33输出的数字像素数据执行由
闪光提取单元35提取的校正量的减法处理，来校正数字像素数据。闪光校正信号生成单元36的输出数据是数字像素数据，已经从该数字像素数据中去除了闪光分量和衍射光分量中的至少一个。以这种方式，闪光校正信号生成单元36用作校正单元，其基于偏振信息校正从多个无偏振像素80和82光电转换的捕获图像。
197.由于穿过偏振元件9b，所以在偏振像素80b和82b的像素位置处的数字像素数据具有低信号电平。因此，缺陷校正单元37将偏振像素80b和82b视为缺陷并且执行预定的缺陷校正处理。这种情况下的缺陷校正处理可以是使用周围像素位置的数字像素数据执行插值的处理。
198.线性矩阵单元38对诸如rgb的颜色信息执行矩阵运算，以执行更正确的颜色再现。线性矩阵单元38也被称为颜色矩阵部分。
199.伽马校正单元39根据显示单元2的显示特性执行伽马校正以使得能够进行具有优良可视性的显示。例如，伽马校正单元39在改变梯度的同时将10比特转换为8比特。
200.亮度色度信号生成单元40基于伽马校正单元39的输出数据生成要在显示单元2上显示的亮度色度信号。
201.在执行缺陷校正处理之后，焦点调整单元41基于亮度色度信号执行自动聚焦处理。曝光调整单元42在执行缺陷校正处理之后基于亮度色度信号执行曝光调整。当执行曝光调整时，可以通过设置上限剪辑来执行曝光调整以使得每个非偏振像素82的像素值不饱和。此外，在即使执行曝光调整但每个非偏振像素82的像素值饱和的情况下，可基于非偏振像素82周围的偏振像素81的像素值来估计饱和的非偏振像素82的像素值。
202.降噪单元43执行降低亮度色度信号中包括的噪声的处理。边缘加强单元44基于亮度色度信号执行对对象图像的边缘进行加强的处理。可以仅在满足预定条件的情况下执行降噪单元43的降噪处理和边缘加强单元44的边缘加强处理。预定条件例如是闪光提取单元35提取的闪光分量或衍射光分量的校正量超过预定阈值的情况。包括在捕获图像中的闪光分量或衍射光分量越多，当闪光分量和衍射光分量被去除时，在图像中出现越多的噪声或边缘模糊。因此，通过仅在校正量超过阈值的情况下执行降噪处理和边缘加强处理，能够降低执行降噪处理和边缘加强处理的频率。
203.图24中的缺陷校正单元37、线性矩阵单元38、伽马校正单元39、亮度色度信号生成单元40、焦点调整单元41、曝光调整单元42、降噪单元43和边缘加强单元44中的至少一部分的信号处理，可以由包括成像单元8的成像传感器中的逻辑电路执行，或者可以由其上安装有成像传感器的电子装置1中的信号处理电路执行。可替换地，图24的至少一部分的信号处理可以通过经由网络将信息传输至电子装置1和从电子装置1接收信息的云上的服务器等执行。如图24的框图所示，在根据本实施方式的电子装置1中，闪光校正信号生成单元36对数字像素数据执行各种类型的信号处理，从该数字像素数据去除了闪光分量和衍射光分量中的至少一个。具体地，这是因为在诸如曝光处理、焦点调整处理和白平衡调整处理等的一些信号处理中，即使在包括闪光分量或衍射光分量的状态下执行信号处理，也不能获得优异的信号处理结果。
204.图25是示出根据本实施方式的电子装置1进行的图像捕获处理的处理过程的流程图。首先，相机模块3被激活(步骤s1)。由此，向成像单元8供给电源电压，并且成像单元8开始成像入射光。更具体地，多个无偏振像素80和82光电转换入射光，并且多个偏振像素80b
和82b获取入射光的偏振信息(步骤s2)。模数转换单元140和150(图10)输出通过数字化多个偏振像素81的输出值而获得的偏振信息数据和通过数字化多个非偏振像素82的输出值而获得的数字像素数据，并且将该数据存储在存储器单元180中(步骤s3)。
205.接着，闪光提取单元35基于存储在存储器单元180中的偏振信息数据确定是否已经发生闪光或衍射(步骤s4)。这里，例如，如果偏振信息数据超过预定阈值，则确定已经出现闪光或衍射。如果确定已经出现闪光或衍射，则闪光提取单元35基于偏振信息数据提取闪光分量或衍射光分量的校正量(步骤s5)。闪光校正信号生成单元36从存储在存储器单元180中的数字像素数据中减去校正量，以生成去除了闪光分量和衍射光分量的数字像素数据(步骤s6)。
206.接下来，对在步骤s6中校正的数字像素数据或者在步骤s4中确定不具有闪光或衍射的数字像素数据，执行各种类型的信号处理(步骤s7)。更具体地，在步骤s7中，如图8所示，执行诸如缺陷校正处理、线性矩阵处理、伽马校正处理、亮度色度信号生成处理、曝光处理、焦点调整处理、白平衡调整处理、降噪处理和边缘加强处理等的处理。要注意的是，信号处理的类型和执行顺序是任意的，并且可省略在图24中显示的一些方框的信号处理，或者可执行在图24中显示的方框以外的信号处理。
207.在步骤s7中经受信号处理的数字像素数据可以从输出单元45输出并且存储在未示出的存储器中，或者可以作为实时图像显示在显示单元2上(步骤s8)。
208.如上所述，在作为布置有上述三个第一像素组和一个第二像素组的像素区域的第二像素区域8h至8k中，对应于接收红光、绿光和蓝光的第一像素组布置红色滤色器、绿色滤色器和蓝色滤色器，并且具有偏振元件的像素80b和82b布置在第二像素组的两个像素中的至少一个中。通过使用周围像素位置的数字像素数据的内插，可以将具有偏振元件的像素80b和82b的输出校正为正常像素。这使得可以在不降低分辨率的情况下增加偏振信息。
209.以这种方式，在第二实施方式中，相机模块3布置在显示单元2的显示表面的相对侧上，并且穿过显示单元2的光的偏振信息由多个偏振像素80b和82b获取。穿过显示单元2的一部分光在显示单元2中被反复反射，然后入射在相机模块3中的多个无偏振像素80和82上。根据本实施例，通过获取上述偏振信息，可以在显示单元2中的重复反射之后入射在多个无偏振像素80和82上的光中包括的闪光分量和衍射光分量被简单且可靠地移除的状态下生成捕获图像。
210.(第三实施方式)
211.各种候选可被认为是具有第一实施方式和第二实施方式中描述的配置的电子装置1的特定候选。例如，图26是将根据第一实施方式和第二实施方式的电子装置1应用于胶囊型内窥镜50时的俯视图。图26的胶囊型内窥镜50例如具有：相机(超小型相机)52，其用于拍摄体腔内的图像；存储器53，其用于记录由相机52拍摄到的图像数据；以及无线发送器55，其在两端面均为半球状且中央部为圆筒形状的壳体51内，在将胶囊型内窥镜50排出到对象体外之后，经由天线54将记录的图像数据发送到外部。
212.此外，在壳体51中设置有中央处理单元(cpu)56和线圈(磁力/电流转换线圈)57。cpu 56控制相机52的图像捕获和存储器53中的数据累积操作，并且控制无线发送器55从存储器53到外壳51外部的数据接收装置(未示出)的数据传输。如后所述，线圈57向相机52、存储器53、无线发送器55、天线54、以及光源52b供电。
213.另外，在壳体51上设有磁(读取)开关58，该磁(读取)开关58在设定了胶囊型内窥镜50时在数据接收装置中检测胶囊型内窥镜50的设定。在读取开关58检测到数据接收装置的设置并且数据传输变得可行的时候，cpu 56将电力从线圈57供应至无线发送器55。
214.相机52例如包括成像元件52a和对体腔内进行照明的多个光源52b，该成像元件52a具有对体腔内进行成像的物镜光学系统9。具体地，作为光源52b，相机52包括例如互补金属氧化物半导体(cmos)传感器，其包括发光二极管(led)、电荷耦合器件(ccd)等。
215.根据第一实施方式和第二实施方式的电子装置1中的显示单元2是包括诸如图26中的光源52b的发光器的概念。图26的胶囊型内窥镜50例如具有两个光源52b，但这些光源52b可以由具有多个光源单元的显示面板4或具有多个led的led模块构成。在该情况下，通过将相机52的成像单元8布置在显示面板4或led模块的下方，能够减小相机52的布局布置的限制，能够实现小型化的胶囊型内窥镜50。
216.此外，图27是根据第一实施方式和第二实施方式的电子装置1在应用于数字单镜头反光相机60的情况下的后视图。数字单镜头反光相机60和小型相机包括在与镜头相对的背面上显示预览屏幕的显示单元2。相机模块3可以被布置在与显示单元2的显示表面相对的一侧上，使得拍摄者的面部图像可以显示在显示单元2的显示屏幕1a上。在根据第一实施方式至第四实施方式的电子装置1中，因为相机模块3可以被布置在与显示单元2重叠的区域中，所以没必要在显示单元2的框架部分中设置相机模块3，并且可以尽可能地增加显示单元2的尺寸。
217.图28是示出了根据第一实施方式和第二实施方式的电子装置1应用于头戴式显示器(hmd)61的实例的平面图。图28中的hmd 61用于虚拟现实(vr)、增强现实(ar)、混合现实(mr)、替代现实(sr)等。如图29中所示，在当前的hmd中，相机62安装在外表面上，并且存在以下问题：虽然hmd的佩戴者可以可视地识别周围图像，但是周围的人不能识别hmd的佩戴者的眼睛或脸部的表情。
218.因此，在图28中，显示单元2的显示表面设置在hmd 61的外表面上，并且相机模块3设置在显示单元2的显示表面的相对侧上。因此，可以在显示单元2的显示表面上显示由相机模块3捕获的佩戴者的脸部的表情，并且佩戴者周围的人可以实时地掌握脸部的表情和佩戴者的眼睛的移动。
219.在图28的情况下，由于相机模块3设置在显示单元2的背面侧上，因此对相机模块3的安装位置没有限制，并且可增加hmd 61的设计的自由度。此外，因为可以将相机布置在最佳位置处，所以可以防止诸如在显示表面上显示的佩戴者的眼睛的未对准的问题。
220.以这种方式，在第三实施方式中，根据第一实施方式和第二实施方式的电子装置1可用于各种应用，并且可增加实用值。
221.应注意，本技术可具有如下配置。
222.(1)一种电子装置，包括成像单元，所述成像单元包括多个像素组，每个像素组包括两个相邻像素，其中，
223.所述多个像素组中的至少一个第一像素组包括：
224.第一像素，光电转换通过第一透镜会聚的入射光的一部分；以及
225.第二像素，与所述第一像素不同，所述第二像素光电转换通过所述第一透镜会聚的入射光的一部分；并且
226.多个像素组中的不同于第一像素组的至少一个第二像素组包括：
227.第三像素，光电转换通过第二透镜会聚的入射光；以及
228.第四像素，不同于所述第三像素并对通过不同于所述第二透镜的第三透镜会聚的入射光进行光电转换。
229.(2)根据(1)所述的电子装置，其中，
230.所述成像单元包括多个像素区域，其中，所述像素组布置成二乘二矩阵；并且
231.所述多个像素区域包括：
232.第一像素区域，是布置有四个所述第一像素组的像素区域；以及
233.第二像素区域，是布置有三个所述第一像素组和一个所述第二像素组的像素区域。
234.(3)根据(2)所述的电子装置，其中，在所述第一像素区域中，对应于接收红光、绿光和蓝光的所述第一像素组，布置红色滤色器、绿色滤色器和蓝色滤色器。
235.(4)根据(3)所述的电子装置，其中，
236.在所述第二像素区域中，对应于接收红光、绿光和蓝光中的至少两种颜色的所述第一像素组，布置所述红色滤色器、所述绿色滤色器和所述蓝色滤色器中的至少两个；并且
237.第二像素组的两个像素中的至少一个包括青色滤波器、品红色滤波器和黄色滤波器中的一个。
238.(5)根据(4)所述的电子装置，其中，第二像素组的两个像素中的至少一个是具有蓝色波长区域的像素。
239.(6)根据(4)所述的电子装置，还包括信号处理单元，所述信号处理单元基于第二像素组的两个像素中的至少一个的输出信号，对由第一像素组的像素中的至少一个输出的输出信号执行颜色校正。
240.(7)根据(2)所述的电子装置，其中，所述第二像素组中的至少一个像素具有偏振元件。
241.(8)根据(7)所述的电子装置，其中，所述第三像素和所述第四像素包括所述偏振元件，并且包括在所述第三像素中的所述偏振元件和包括在所述第四像素中的所述偏振元件具有不同的偏振方位。
242.(9)根据(7)所述的电子装置，还包括校正单元，所述校正单元通过基于具有所述偏振元件的像素的输出信号使用偏振信息来校正所述第一像素组的像素的输出信号。
243.(10)根据(9)所述的电子装置，其中，
244.所述入射光经由显示单元入射在所述第一像素和所述第二像素上；并且
245.所述校正单元去除当穿过所述显示单元时产生的反射光和衍射光中的至少一个入射在所述第一像素和所述第二像素上并且被捕获时所捕获的偏振分量。
246.(11)根据(10)所述的电子装置，其中，所述校正单元基于通过将由具有所述偏振元件的所述像素光电转换的偏振分量数字化而获得的偏振信息数据，对通过由所述第一像素和所述第二像素进行光电转换并数字化而获得的数字像素数据执行校正量的减法处理，以校正所述数字像素数据。
247.(12)根据(1)至(11)中任一项所述的电子装置，还包括：
248.驱动单元，在一个成像帧中从所述多个像素组的每个像素多次读取电荷；以及
249.模数转换单元，基于多次电荷读取对多个像素信号中的每一个并行地执行模数转换。
250.(13)根据(12)所述的电子装置，其中，所述驱动单元读取与所述第三像素和所述第四像素对应的公共黑电平。
251.(14)根据(1)至(13)中任一项所述的电子装置，其中，包括所述两个相邻像素的所述多个像素具有正方形形状。
252.(15)根据(1)至(14)中任一项所述的电子装置，其中，能够基于所述第一像素组的两个像素的输出信号进行相位差检测。
253.(16)根据(6)所述的电子装置，其中，所述信号处理单元在对所述输出信号执行颜色校正之后执行白平衡处理。
254.(17)根据(7)所述的电子装置，可进一步包括插值单元，该插值单元从像素的周围像素的输出插值具有偏振元件的像素的输出信号。
255.(18)根据(1)至(17)中任一项所述的电子装置，其中，所述第一透镜至第三透镜是将入射光会聚在对应像素的光电转换单元上的片上透镜。
256.(19)根据(1)至(18)中任一项所述的电子装置，进一步包括显示单元，其中，
257.所述入射光经由所述显示单元入射在所述多个像素组上。
258.本公开的各方面不限于上述各个实施方式，而是包括可由本领域技术人员想到的各种修改，并且本公开的效果不限于上述内容。即，在不背离从在权利要求及其等同物中限定的内容获得的本公开的概念构思和精神的情况下，可进行各种添加、修改、以及部分删除。
259.附图标记列表
260.1 电子装置
261.2 显示单元
262.8 成像单元
263.8a 第一像素区域
264.8b-8k 第二像素区域
265.22 片上透镜
266.22a 片上透镜
267.36 闪光校正信号生成单元
268.80 像素
269.80a 像素
270.82 像素
271.82a 像素
272.130 竖直驱动单元
273.140,150 模数转换单元
274.510 信号处理单元
275.800a 光电转换单元。