图像传感器及图像传感器的像素阵列的制作方法

图像传感器及图像传感器的像素阵列
1.本技术基于2020年12月2日在韩国知识产权局提交的韩国专利申请no.10-2020-0166961并要求其优先权，其公开内容通过引用整体并入本文。
技术领域
2.本发明构思的实施例涉及一种图像传感器，并且更具体地，涉及一种图像传感器的像素阵列的输出线连接方法和读取方法。


背景技术：

3.图像传感器是捕捉对象的二维或三维图像的设备。图像传感器通过使用根据从对象反射的光的强度而反应的感光元件来生成对象的图像。近来，已经广泛使用能够实现高分辨率图像的基于互补金属氧化物半导体(cmos)的图像传感器。随着像素的集成度增加以用于高分辨率实施，每像素的光电转换元件的面积减小，因此，灵敏度和饱和信号电荷量可能减小。


技术实现要素：

4.本发明构思的实施例旨在提供一种用于提高具有由多个光电转换元件共享浮置扩散节点的结构的像素阵列的读出效率的输出线连接方法和读取方法。
5.根据本发明构思的实施例，一种图像传感器包括像素阵列，该像素阵列包括：多个共享像素，包括在第一方向和第二方向上排列并连接到相同的浮置扩散节点的多个子像素；和多个列线，连接到多个共享像素，在第二方向上延伸，并且在第一方向上平行排列。该图像传感器还包括模数转换电路，其中该模数转换电路包括连接到多个列线的多个模数转换器(adc)。多个adc中的每一个将从多个列线当中的对应列线接收的感测信号转换为像素值。多个共享像素当中在第一方向和第二方向中的至少一个方向上平行地连续排列并被配置为感测第一颜色的光学信号的至少两个第一共享像素连接到多个列线当中的第一列线。
6.根据本发明构思的实施例，一种图像传感器包括像素阵列，该像素阵列包括：多个共享像素，包括在第一方向和第二方向上排列并连接到相同的浮置扩散节点的多个光电转换元件；和多个列线，连接到多个共享像素，在第二方向上延伸，并且在第一方向上平行排列。该图像传感器还包括模数转换电路，其中该模数转换电路包括连接到多个列线的多个模数转换器(adc)。多个adc中的每一个将从多个列线当中的对应列线接收的感测信号转换为像素值。多个共享像素当中在第一方向和第二方向中的至少一个方向上平行地连续排列并被配置为感测第一颜色的光学信号的至少两个第一共享像素连接到多个列线当中的不同列线。
7.根据本发明构思的实施例，一种图像传感器的像素阵列包括：多个子像素，在第一方向和第二方向上排列在矩阵中；以及多个输出线，在第二方向上延伸。多个输出线中的每一个排列在多个子像素当中在第一方向上彼此相邻的两个子像素之间。包括多个子像素当中被配置为感测第一颜色的光学信号并排列在矩阵中的九个子像素的第一像素连接到多
个输出线当中的第一输出线。
附图说明
8.通过参考附图详细描述本发明构思的实施例，本发明构思的上述和其他特征将变得更加显而易见，其中：
9.图1是根据本发明构思的实施例的图像传感器的示意性框图；
10.图2a和图2b是示意性地示出根据本发明构思的实施例的图像传感器的像素阵列的示例的示图；
11.图3a和图3b示出了根据本发明构思的实施例的像素阵列的结构和输出线连接方法；
12.图4是示出根据本发明构思的实施例的像素阵列的像素结构的电路图；
13.图5是示出根据本发明构思的实施例的像素阵列的共享像素的垂直截面图；
14.图6a和6b示出了根据本发明构思的实施例的像素阵列的读取方法；
15.图7a和7b示出了根据本发明构思的实施例的像素阵列的读取方法；
16.图8a至图8c示出了根据本发明构思的实施例的在图像传感器第一读取模式和第二读取模式下进行操作时生成的图像数据；
17.图9示出了根据本发明构思的实施例的像素阵列的结构和输出线连接方法；
18.图10a和图10b示出了根据本发明构思的实施例的像素阵列的读取方法；
19.图11a和图11b示出了根据本发明构思的实施例的像素阵列的读取方法；
20.图12示出了图3a所示的像素阵列的结构和输出线连接方法的比较示例；
21.图13a和图13b示出了根据本发明构思的实施例的像素阵列的结构和输出线连接方法；
22.图14a和图14b示出了根据本发明构思的实施例的像素阵列的结构和输出线连接方法；
23.图15a示出了根据本发明构思的实施例的图像传感器中包括的像素阵列的示例；
24.图15b是根据本发明构思的实施例的图15a的像素阵列的垂直截面图；
25.图16示出了根据本发明构思的实施例的图14a的像素阵列的示例；
26.图17a和图17b是根据本发明构思的实施例的包括多相机模块的电子设备的示例的框图；并且
27.图18是根据本发明构思的实施方式的图17a和图17b的相机模块的详细框图。
具体实施方式
28.下面将参考附图更全面地描述本发明构思的实施例。在整个附图中，相同附图标记可以指代相同元件。
29.将理解，术语“第一”、“第二”、“第三”等在本文中用于将一个元件与另一个元件区分开，并且元件不受这些术语的限制。因此，实施例中的“第一”元件可以在另一个实施例中被描述为“第二”元件。
30.应当理解，除非上下文另有明确说明，否则每个实施例中的特征或方面的描述通常应该被认为可应用于其他实施例中的其他类似特征或方面。
31.如本文所使用的，除非上下文另有明确说明，否则单数形式“一”和“该”旨在也包括复数形式。
32.如本文所使用的，术语“和/或”包括相关联的所列项目中的一个或多个的任何和所有组合。
33.如在本发明构思的领域中的传统，在附图中以功能块、单元和/或模块的形式描述和示出实施例。本领域技术人员将理解，这些块、单元和/或模块由电子(或光学)电路(诸如逻辑电路、分立组件、微处理器、硬连线电路、存储器元件、布线连接等)物理地实施。
34.图1是示意性地示出根据本发明构思的实施例的图像传感器100的框图。图2a和图2b是示意性地示出根据本发明构思的实施例的图像传感器100的像素阵列110的示例的示图。
35.根据本发明构思的实施例，图像传感器100可以安装在具有图像或光感测功能的电子设备中。根据本发明构思的实施例，图像传感器100可以安装在具有自动对焦功能的电子设备中。例如，图像传感器100可以安装在诸如相机、智能电话、可穿戴设备、物联网(iot)设备、平板个人计算机(pc)、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航设备等的电子设备中。图像传感器100还可以安装在作为例如车辆、家具、制造设施、门、各种测量设备等的组件提供的电子设备中。
36.图像传感器100可以包括像素阵列110、行驱动器120、模数转换电路(以下称为adc电路)130、定时控制器140和图像信号处理器150。
37.像素阵列110可以接收通过透镜ls入射并从对象反射的光学信号，并将光学信号转换为电信号。在实施例中，像素阵列110可以体现为互补金属氧化物半导体(cmos)。
38.像素阵列110可以包括多个行线rl、多个列线(或输出线)cl以及连接到多个行线rl和多个列线cl并排列在矩阵中的多个像素px。
39.多个像素px中的每一个可以通过使用光电转换元件来感测所接收的光学信号。多个像素px可以检测光学信号的光量并输出感测信号，其中该感测信号是表示检测到的光量的电信号。多个像素px可以包括例如红色像素、绿色像素和蓝色像素。红色像素可以响应于可见光区域的红色范围中的波长而生成与红色光信号相对应的感测信号。绿色像素可以响应于可见光区域的绿色范围中的波长而生成与绿色光信号相对应的感测信号。蓝色像素可以响应于可见光区域的蓝色范围中的波长而生成与蓝色光信号相对应的感测信号。然而，本发明构思的实施例不限于此。例如，根据本发明构思的实施例，多个像素px还可以包括白色像素、青色像素、黄色像素、品红色像素和/或白色像素。
40.图2a所示的像素阵列10和图2b所示的像素阵列20可以应用于图1的像素阵列110。如图2a和图2b所示，多个像素px(例如，第一像素px1至第四像素px4)可以排列在矩阵中，并且，多个像素px中的每一个可以包括排列在矩阵中的多个子像素spx。在实施例中，多个行线rl可以在像素阵列110内在第一方向(例如，x轴方向)上延伸，并且可以在第二方向(例如，y轴方向)上平行排列。多个列线cl可以在第二方向上延伸并在第一方向上平行排列。
41.在第一方向(例如，x轴方向)和第二方向(例如，y轴方向)上平行地连续排列的两个像素px可以感测不同颜色的光学信号。例如，第一像素px1和第二像素px2可以感测不同颜色的光学信号，并且第一像素px1和第三像素px3可以感测不同颜色的光学信号。一个像素px中包括的多个子像素spx可以包括相同颜色的滤色器并感测相同颜色的光学信号。在
实施例中，在对角线方向上排列的第一像素px1和第四像素px4可以感测绿色光信号，并且在另一对角线方向上排列的第二像素px2和第三像素px3可以分别感测红色光信号和蓝色光信号。可以将第一像素px1、第二像素px2、第三像素px3和第四像素px4分别称为第一绿色像素、红色像素、蓝色像素和第二绿色像素。
42.在像素阵列110中，也可以在第一方向和第二方向上排列各自包括第一像素px1至第四像素px4的组合(例如，排列在2
×
2矩阵中的第一像素px1至第四像素px4)的像素组。
43.可以将一个像素px中包括的多个子像素spx分类为多个共享像素fpx。多个共享像素fpx中的每一个可以包括浮置扩散节点fd、用于输出与在浮置扩散节点fd中累积的光电荷相对应的感测信号的读取元件、以及在第一方向(例如，x轴方向)和第二方向(例如，y轴方向)中的至少一个方向上连续排列并共享浮置扩散节点fd的多个子像素spx。多个共享像素fpx可以称为子像素组。
44.例如，在图2a的像素阵列10中，一个像素px可以包括在x轴方向上连续排列的三个共享像素fpx，并且三个共享像素fpx中的每一个可以包括在y轴方向上连续排列并共享浮置扩散节点fd的三个子像素spx。作为另一示例，图2b的像素阵列20中的一个像素px可以包括在x轴方向和y轴方向上连续排列的四个共享像素fpx，并且四个共享像素fpx中的每一个可以包括在x轴方向和y轴方向上连续排列并共享浮置扩散节点fd的四个子像素spx。然而，本发明构思的实施例不限于图2a的像素阵列10的结构和图2b的像素阵列20的结构。例如，根据本发明构思的实施例，每个像素px中包括的共享像素fpx的数量和排列方向以及每个共享像素fpx中包括的子像素spx的数量和排列方向可以变化。
45.每个子像素spx可以包括光电转换元件、滤色器和微透镜，并且可以通过使用光电转换元件来感测通过微透镜接收的光学信号。在本发明构思的实施例中，子像素spx可以称为感测像素。光电转换元件的示例可以包括光电二极管、光电晶体管、光电门、钉扎光电二极管、有机光电二极管、有机相机胶片等。在下文中，将作为光电转换元件的示例描述光电二极管。然而，本发明构思的实施例不限于此。
46.每个共享像素fpx可以包括多个子像素spx和浮置扩散节点fd，并且还包括多个读取元件。多个读取元件可以基于通过行线rl接收的控制信号进行操作。
47.在实施例中，一个像素px中包括的多个共享像素fpx可以连接到一个列线cl。在实施例中，多个共享像素fpx中的至少两个可以连接到一个列线cl。在实施例中，多个共享像素fpx中的至少两个可以连接到不同列线cl。多个共享像素fpx和多个列线cl的连接结构可能影响像素阵列110的读出效率和图像传感器100的帧率。下面将参考图3a至图16详细描述根据本发明构思的实施例的像素阵列110的多个共享像素fpx和多个列线cl之间的连接关系以及多个列线cl的排列。
48.返回参考图1，行驱动器120可以在定时控制器140的控制下生成用于控制排列在每行中的像素px的操作的多个控制信号。行驱动器120可以通过多个行线rl将多个控制信号提供给像素阵列110的多个像素px。可以响应于从行驱动器120提供的多个控制信号以行为单位驱动像素阵列110。在实施例中，可以向至少两行提供相同控制信号，并且可以以至少两行为单位驱动像素阵列110。
49.在行驱动器120的控制下，像素阵列110可以通过多个列线cl输出多个感测信号。
50.adc电路130可以对通过多个列线cl接收的多个感测信号中的每一个执行模数转
换。adc电路130可以包括对应于多个列线cl的模数转换器(下文中称为adc)。adc中的每一个可以将通过与其相对应的列线cl接收的感测信号转换为像素值。根据图像传感器110的操作模式，像素值可以指示由子像素spx或像素px感测的光量。
51.adc中的每一个可以包括用于采样和保持接收的信号的相关双采样(cds)电路。cds电路可以使用cds方法来采样和保持感测信号。cds电路可以在像素px或共享像素fpx处于重置状态时对噪声信号和感测信号进行双采样，并输出与感测信号和噪声信号之间的差相对应的信号。adc中的每一个可以包括计数器。计数器可以通过对从cds电路接收的信号进行计数来生成像素值。例如，cds电路可以体现为运算跨导放大器(ota)、差分放大器等。计数器可以体现为递增计数器和运算电路、递增/递减计数器、逐位反转计数器等。
52.定时控制器140可以生成用于控制行驱动器120和adc电路130的操作的定时控制信号。行驱动器120和adc电路130可以基于来自定时控制器140的定时控制信号，如上所述以行或至少两行为单位驱动像素阵列110，并将通过多个列线cl接收的多个感测信号转换为像素值。
53.图像信号处理器150可以从adc电路130接收第一图像数据idt1(例如，原始图像数据)，并对第一图像数据idt1执行信号处理。图像信号处理器150可以执行诸如例如黑电平补偿、透镜阴影补偿、串扰补偿和坏像素补偿的信号处理。
54.可以将从图像信号处理器150输出的第二图像数据idt2(例如，经信号处理的图像数据)发送到处理器200。处理器200可以是安装有图像传感器100的电子设备的主处理器。处理器200可以是例如移动终端的应用处理器。图像传感器100可以根据基于设置接口(例如，移动行业处理器接口(mipi))的数据通信方法将第二图像数据idt2发送到处理器200。
55.图3a和图3b示出了根据本发明构思的实施例的像素阵列的结构和输出线连接方法。图3a和图3b更详细地示出了图2a的像素阵列10。
56.为了便于解释，示出了在图2a的像素阵列10中包括的多个像素px当中排列在x轴上的相同位置处的三个像素，例如第一像素至第三像素pxa、pxb和pxc，并且示出了连接到第一像素至第三像素pxa、pxb和pxc的列线cl，例如第一列线cl1至第三列线cl3。将理解，附加像素px和附加列线cl包括在本发明构思的实施例中。第一像素pxa、第二像素pxb和第三像素pxc可以感测相同颜色的光学信号。不同颜色的像素可以排列在第一像素pxa、第二像素pxb和第三像素pxc之间。例如，第一像素pxa、第二像素pxb和第三像素pxc可以是绿色像素，并且红色像素或蓝色像素可以排列在第一像素pxa、第二像素pxb和第三像素pxc之间。
57.参考图3a，每个像素(例如，第一像素pxa、第二像素pxb、第三像素pxc)可以包括排列在矩阵中的九个子像素spx。在第二方向(例如，y轴方向)上连续排列的三个子像素spx可以共享浮置扩散节点fd并被包括在共享像素fpx中。三个共享像素(例如，第一共享像素fpxa1至第三共享像素fpxa3)可以在第一像素pxa中在第一方向(例如，x轴方向)上平行地连续排列。因为第二像素pxb和第三像素pxc具有与第一像素pxa相同的结构，所以省略其冗余描述。
58.在y轴方向上延伸的多个列线cl(例如，第一列线cl1至第三列线cl3)可以在x轴方向上平行排列。排列在x轴上的相同位置处的子像素spx可以形成像素阵列10a的一列，并且一列和一个列线cl可以平行排列。
59.第一像素负载pl1至第三像素负载pl3可以分别连接到第一列线cl1至第三列线
cl3。例如，像素负载pl可以体现为电流源，并向连接到列线的共享像素fpx提供偏置电流。第一列线cl1至第三列线cl3可以分别连接到包括在adc电路130中的多个adc，例如第一adc adc1至第三adc adc3。
60.一个像素pxa、pxb或pxc中包括的三个共享像素fpx可以连接到多个列线cl之一。例如，第一像素pxa中包括的第一共享像素fpxa1至第三共享像素fpxa3可以连接到第一列线cl1。第一共享像素fpxa1至第三共享像素fpxa3中的每一个中包括的图4的选择晶体管sx可以连接到第一列线cl1，并且在像素阵列110a的读取操作期间，当感测晶体管sx导通时，与存储在浮置扩散节点fd中的光电荷相对应的感测信号可以输出到第一列线cl1并通过第一列线cl1提供给第一adc。
61.第二像素pxb中包括的第一共享像素fpxb1至第三共享像素fpxb3可以连接到第二列线cl2，并且第三像素pxc中包括的第一共享像素fpxc1至第三共享像素fpxc3可以连接到第三列线cl3。
62.参考图3b，像素pxa可以包括排列在矩阵中的九个子像素spx。在第一方向(例如，x轴方向)上连续排列的三个子像素spx可以共享浮置扩散节点fd，并且可以包括在共享像素fpx中。三个共享像素fpx(例如，第一共享像素fpxa1至第三共享像素fpxa3)可以在第二方向(例如，y轴方向)上平行地连续排列。像素pxb和像素pxc可以具有与像素pxa相同的结构，并将省略其冗余描述。
63.一个像素pxa、pxb或pxc中包括的三个共享像素fpx可以连接到一个列线cl，并且不同像素px中包括的共享像素fpx可以连接到不同列线cl。
64.如上面参考图3a和图3b所述，在根据本发明构思的实施例的像素阵列10a和10b中，一个像素pxa、pxb或pxc中包括的多个共享像素fpx可以连接到多个列线cl之一并感测相同颜色的光学信号，并且在x轴上的相同位置处彼此相邻排列的多个像素px(例如，像素pxa、pxb和pxc)可以连接到不同列线cl。
65.图4是示出根据本发明构思的实施例的像素阵列的像素结构的电路图。图4示出了图3a或图3b的像素pxa的等效电路。
66.参考图4，像素pxa可以包括第一共享像素fpxa1至第三共享像素fpxa3。
67.第一共享像素fpxa1可以包括多个光电二极管(例如，第一光电二极管pd1、第二光电二极管pd2和第三光电二极管pd3)以及与多个光电二极管相对应的多个传输晶体管(例如，第一传输晶体管tx1、第二传输晶体管tx2和第三传输晶体管tx3)。第一共享像素fpxa1可以包括浮置扩散节点fd和多个读取元件，例如重置晶体管rx、驱动晶体管dx和选择晶体管sx。
68.第一传输晶体管tx1、第二传输晶体管tx2、第三传输晶体管tx3、重置晶体管rx、驱动晶体管dx和选择晶体管sx可以响应于通过图1的多个行线rl从图1的行驱动器120接收的多个控制信号(例如，第一传输控制信号tg1至第三传输控制信号tg3、重置信号rs和选择信号sel)而操作(例如，导通或截止)。
69.第一光电二极管pd1和第一传输晶体管tx1可以包括在第一子像素spx1中，第二光电二极管pd2和第二传输晶体管tx2可以包括在第二子像素spx2中，并且第三光电二极管pd3和第三传输晶体管tx3可以包括在第三子像素spx3中。
70.第一子像素spx1、第二子像素spx2和第三子像素spx3可以共享浮置扩散节点fd
(也称为浮置扩散区域)和多个读取元件。换句话说，由第一光电二极管pd1、第二光电二极管pd2和第三光电二极管pd3生成的光电荷可以存储在浮置扩散节点fd中，并且与存储在浮置扩散节点fd中的光电荷相对应的感测信号可以通过选择晶体管sx输出。
71.第一光电二极管pd1、第二光电二极管pd2和第三光电二极管pd3中的每一个可以生成根据入射光的强度而变化的光电荷。例如，第一光电二极管pd1、第二光电二极管pd2和第三光电二极管pd3中的每一个可以是p-n结二极管，并且可以生成与入射光的量成比例的电荷，例如作为负电子的电子和作为正电荷的空穴。
72.浮置扩散节点fd可以作为电容器进行操作。当第一传输晶体管tx1响应于提供给其栅极端子的第一传输控制信号tg1而导通时，由第一光电二极管pd1生成的电荷(例如，光电荷)可以被发送到浮置扩散节点fd并存储在浮置扩散节点fd中。当第二传输晶体管tx2响应于提供给其栅极端子的第二传输控制信号tg2而导通时，由第二光电二极管pd2生成的光电荷可以被发送到浮置扩散节点fd并存储在浮置扩散节点fd中。当第三传输晶体管tx3响应于提供给其栅极端子的第三传输控制信号tg3而导通时，由第三光电二极管pd3生成的光电荷可以被发送到浮置扩散节点fd并存储在浮置扩散节点fd中。
73.第一传输控制信号tg1、第二传输控制信号tg2和第三传输控制信号tg3可以是不同信号，因此，第一传输晶体管tx1、第二传输晶体管tx2和第三传输晶体管tx3的导通定时可以由第一传输控制信号tg1、第二传输控制信号tg2和第三传输控制信号tg3独立并分别控制。
74.重置晶体管rx可以周期性地重置在浮置扩散节点fd中累积的电荷。重置晶体管rx的源电极可以连接到浮置扩散节点fd，并且其漏电极可以连接到电源电压vdd。当重置晶体管rx响应于提供给其栅极端子的重置控制信号rs而导通时，连接到重置晶体管rx的漏电极的电源电压vdd被施加到浮置扩散节点fd。当重置晶体管rx导通时，浮置扩散节点fd中累积的电荷被放电，从而重置浮置扩散节点fd。
75.驱动晶体管dx可以作为源极跟随器进行操作。驱动晶体管dx可以通过其栅极端子接收根据在浮置扩散节点fd中累积的电荷量(即，浮置扩散节点fd的电位)的信号，缓冲所接收的信号，并输出感测信号。选择晶体管sx可以连接到第一列线cl1。选择晶体管sx可以响应于提供给其栅极端子的第一选择信号sel而导通，并且当选择晶体管sx导通时，从驱动晶体管dx输出的感测信号可以输出到第一列线cl1。
76.第二共享像素fpxa2和第三共享像素fpxa3的结构和操作类似于第一共享像素fpxa1的结构和操作，并省略其重复描述。第二共享像素fpxa2和第三共享像素fpxa3中的每一个可以接收多个控制信号并响应于此进行操作。提供给第一共享像素fpxa1至第三共享像素fpxa3中的每一个的多个控制信号可以是不同信号，并且第一共享像素fpxa1、第二共享像素fpxa2和第三共享像素fpxa3可以独立地操作。
77.第二共享像素fpxa2和第三共享像素fpxa3的选择晶体管sx也可以连接到第一列线cl1。第一共享像素fpxa1至第三共享像素fpxa3的选择晶体管sx可以响应于不同选择信号sel进行操作。因此，可以独立地控制第一共享像素fpxa1至第三共享像素fpxa3的选择晶体管sx，并且第一共享像素fpxa1至第三共享像素fpxa3输出感测信号的定时可以不同或相同。
78.图5是示出根据本发明构思的实施例的像素阵列的共享像素的垂直截面图。
79.参考图5，共享像素fpx可以包括在第二方向(例如，y轴方向)上连续排列的三个子像素，例如第一子像素spx1、第二子像素spx2和第三子像素spx3。然而，本发明构思的实施例不限于此。例如，根据本发明构思的实施例，多个子像素可以排列在第二方向和垂直于第二方向的第一方向(例如，垂直于y轴的x轴方向)上。
80.第一子像素spxl可以包括第一光电二极管pd1、第一滤色器cf1和第一微透镜ml1。第二子像素spx2可以包括第二光电二极管pd2、第二滤色器cf2和第二微透镜ml2。第三子像素spx3可以包括第三光电二极管pd3、第三滤色器cf3和第三微透镜ml3。第一滤色器cf1至第三滤色器cf3可以透射相同颜色的光。
81.衬底sub可以是例如硅晶圆、绝缘体上硅(soi)衬底或半导体外延层。衬底sub可以包括彼此面对的第一表面s1和第二表面s2。例如，第一表面s1可以是衬底sub的前表面，并且第二表面s2可以是衬底sub的后表面。
82.在实施例中，第一光电二极管pd1至第三光电二极管pd3可以设置在衬底sub上，并且第一滤色器cf1至第三滤色器cf3和第一微透镜ml1至第三微透镜ml3可以在垂直于衬底sub的第二表面s2的方向上(例如，在z轴方向上)堆叠。因此，光学信号可以入射在衬底sub的第二表面s2上。
83.多个像素隔离膜(sep)(例如，深沟槽隔离(dti)或p型离子注入区域)可以从衬底sub的第二表面s2朝向第一表面s1延伸。第一子像素spxl至第三子像素spx3可以由多个sep划分。
84.第一子像素spx1至第三子像素spx3可以共享浮置扩散节点fd。浮置扩散节点fd可以在排列第一子像素spx1至第三子像素spx3的方向(例如，第二方向(例如，y轴方向))上延伸。在实施例中，浮置扩散节点fd可以形成在衬底sub中。然而，本发明构思的实施例不限于此。
85.将由第一子像素spxl至第三子像素spx3中的每一个中包括的第一光电二极管pd1、第二光电二极管pd2和第三光电二极管pd3生成的光电荷传输到浮置扩散节点fd以及图4的读取元件rx、dx和sx的、图4的第一传输晶体管至第三传输晶体管tx1、tx2和tx3的有源区域可以设置在衬底sub的第二表面s2上。
86.用于连接图4的第一传输晶体管至第三传输晶体管tx1、tx2和tx3以及图4的读取元件rx、dx和sx的互连w、用于向第一传输晶体管至第三传输晶体管tx1、tx2和tx3以及读取元件rx、dx和sx提供控制信号的行线、以及连接到共享像素fpxa的列线可以设置在互连层wl中。
87.图6a和图6b示出了根据本发明构思的实施例的像素阵列的读取方法。图6a示出了以子像素spx为单位从像素阵列10a读取像素pxa至pxc。在本公开中，读取子像素应该被理解为意味着与在子像素中生成的光电荷相对应的感测信号被输出并转换为像素值。图6b示出了由第一adc adc1至第三adc adc3转换为像素值的感测信号。
88.参考图6a和图6b，像素pxa至pxc可以分别连接到第一列线cl1至第三列线cl3，并且第一adc adc1至第三adc adc3可以分别连接到第一列线cl1至第三列线cl3。因此，可以同时从像素pxa至pxc输出感测信号并将感测信号转换为像素值。例如，从像素pxa至pxc输出的三个感测信号可以通过第一列线cl1至第三列线cl3分别发送到第一adc adc1至第三adc adc3。第一adc adc1至第三adc adc3可以将所接收的三个感测信号转换为三个像素
值。
89.在这种情况下，可以从像素pxa至pxc中的每一个中包括的九个子像素spx顺序地输出九个感测信号，并通过一个adc顺序地将该九个感测信号转换为九个像素值。例如，可以从像素pxa的第一子像素spxa1输出第一感测信号。接着，可以从像素pxa的第二子像素spxa2和第三子像素spxa3顺序地输出第二感测信号和第三感测信号。此后，可以从像素pxa的第四子像素spxa4输出第四感测信号。输出的感测信号可以由第一adc adc1顺序地转换为像素值。如上所述，可以从像素pxa的第一子像素spxa1至第九子像素spxa9顺序地输出九个感测信号并将该九个感测信号转换为像素值。
90.如上面参考图4所述，像素pxa的第一共享像素fpxa1至第三共享像素fpxa3可以接收图4的不同选择信号sel。可以导通输出感测信号的共享像素的选择晶体管sx，并且可以截止其他共享像素的选择晶体管sx。例如，当从第一共享像素fpxa1输出与在第一子像素spxa1中生成的光电荷相对应的感测信号时，第一共享像素fpxa1的图4的选择晶体管sx可以导通，并且第二共享像素fpxa2和第三共享像素fpxa3的选择晶体管sx可以截止。
91.像素pxb和像素pxc的操作可以与像素pxa的操作相同，并省略其重复描述。例如，像素pxa、pxb和pxb可以接收多个相同控制信号，并响应于此在相同时间点同样地操作。
92.参考图6b，第一adc adc1可以将从像素pxa输出的感测信号ssa1至ssa9顺序地转换为像素值，第二adc adc2可以将从像素pxb输出的感测信号ssb1至ssb9顺序地转换为像素值，并且第三adc adc3可以将从像素pxc输出的感测信号ssc1至ssc9顺序地转换为像素值。因此，可以针对像素pxa、pxb和pxc中的每一个生成九个像素值。
93.图7a和图7b示出了根据本发明构思的实施例的像素阵列的读取方法。图7a示出了以像素为单位从像素阵列10a读取像素pxa至pxc。在本公开中，以像素为单位执行读取应该被理解为意味着像素中的感测信号的组合被输出并转换为像素值。图7b示出了由第一adc adc1至第三adc adc3转换为像素值的感测信号。
94.参考图7a和图7b，组合的感测信号ssa、ssb和ssc可以从像素pxa至pxc输出并分别发送到第一adc adc1至第三adc adc3，并且第一adc adc1至第三adc adc3可以将三个组合的感测信号ssa、ssb和ssc转换为三个像素值。
95.例如，像素pxa的第一共享像素fpxa1至第三共享像素fpxa3中分别包括的图4的第一传输晶体管tx1至第三传输晶体管tx3可以大约同时导通，并且由图4的第一光电二极管pd1至第三光电二极管pd3生成的光电荷可以被发送到浮置扩散节点fd并存储在浮置扩散节点fd中。可以输出根据浮置扩散节点fd的电位的感测信号，即，与由第一光电二极管pd1至第三光电二极管pd3生成的光电荷的总量相对应的感测信号。可以导通第一共享像素fpxa1至第三共享像素fpxa3中的每一个中包括的选择晶体管(例如，图4的sx)，并且可以从第一共享像素fpxa1至第三共享像素fpxa3中的每一个输出感测信号。从第一共享像素fpxa1至第三共享像素fpxa3输出的三个感测信号的平均值(或最大值)可以通过第一列线cl1作为组合的感测信号提供给第一adc adc1。
96.像素pxb和像素pxc的操作与像素pxa的操作相同，并且从像素pxa至pxc同时输出的三个组合的感测信号sssa、sssb和sssc可以由第一adc adc1至第三adc adc3转换为三个像素值。
97.在像素阵列10a中，多个像素(例如，像素pxa、pxb和pxc)可以如上参考图6a和图6b
所述以子像素为单位输出感测信号并将感测信号转换为像素值，或者可以如上参考图7a和图7b所述以像素为单位输出感测信号并将感测信号转换为像素值。
98.根据本发明构思的实施例的图1的图像传感器100可以在第一读取模式下以子像素为单位生成像素值，并在第二读取模式下以像素为单位生成像素值。例如，在诸如白天的高照明环境中，图像传感器100可以在第一读取模式下进行操作以生成高分辨率图像，并且在诸如夜间的低光环境中，图像传感器100可以在第二读取模式下进行操作以生成即使在低光环境中质量也不会劣化的图像。
99.图8a至图8c示出了根据本发明构思的实施例的在图像传感器在第一读取模式和第二读取模式下进行操作时生成的图像数据。
100.图8a示出了图像传感器中包括的像素阵列110。图8b示出了在第一读取模式下生成的图像数据idta。图8c示出了在第二读取模式下生成的图像数据idtb。
101.参考图8a，在像素阵列110中，多个子像素spx可以排列在矩阵中并被划分为多个像素px。尽管为了便于描述，图8a示出了144个子像素spx在第一列c1至第十二列c12和第一行r1至第十二行r12中排列在矩阵中，并被划分为九个像素px，但是根据本发明构思的实施例，子像素spx的数量和像素px的数量可以根据像素阵列110的分辨率和类型而变化。
102.像素px中包括的九个子像素spx可以感测相同颜色的光学信号。换言之，像素px中包括的9个子像素spx可以包括相同颜色的滤色器。第一绿色像素gr、红色像素r、蓝色像素b和第二绿色像素gb可以排列在矩阵中以彼此相邻，并且第一绿色像素gr、红色像素r、蓝色像素b和第二绿色像素gb的组合可以在第一方向(例如，x轴方向)和第二方向(例如，y轴方向)上重复排列在像素阵列110中。
103.参考图8b，当图像传感器100在第一模式下进行操作时，图像数据idta可以包括与子像素spx相对应的像素值pva。例如，图像数据idta可以包括与像素阵列110的144个子像素spx的位置相对应的144个像素值pva。144个像素值pxa中的每一个可以表示在子像素spx中生成的光电荷。3x3矩阵中的九个像素值pxa可以表示相同颜色的像素值。在实施例中，图像数据idta可以是原始图像数据(例如，图1的第一图像数据idt1)，并且图1的图像信号处理器150可以执行信号处理以重新排列144个像素值pxa(例如，以重嵌马赛克(remosaic)图案)，使得相邻像素pxa的值表示不同颜色。
104.参考图8c，当图像传感器100在第二模式下进行操作时，图像数据idtb可以包括与像素px相对应的像素值pvb。例如，图像数据idtb可以包括分别与像素阵列110的16个子像素px的位置相对应的16个像素值pvb。如上参考图7a所述，可以从三个共享像素中的每一个输出与三个共享像素中的每一个中包括的三个子像素spx中生成的光电荷的总量相对应的感测信号。可以将从三个共享像素输出的三个感测信号的平均值转换为像素值pvb。
105.图9示出了根据本发明构思的实施例的像素阵列的结构和输出线连接方法。
106.图9的像素阵列10c的结构类似于图3a的像素阵列10a的结构，并且为了便于解释，将省略先前描述的元件和方面的重复描述。然而，在图9的像素阵列10c中，一个像素pxa、pxb和pxc中分别包括的三个共享像素fpxa1至fpxa3、fpxb1至fpxb3和fpxc1至fpxc3可以分别连接到第一列线cl1至第三列线cl3。因此，像素pxa、pxb和pxc可以连接到第一列线cl1至第三列线cl3。
107.图10a和图10b示出了根据本发明构思的实施例的像素阵列的读取方法。图10a示
出了在像素阵列10c中以子像素spx为单位读取像素pxa至pxc。图10b示出了由第一adc adc1至第三adc adc3转换为像素值的感测信号。
108.参考图10a，当图像传感器110在第一模式下进行操作时，可以同时读取排列在一个像素(例如，像素pxa)的行中的三个子像素(例如，第一子像素spxa1至第三子像素spxa3)。从第一子像素spxa1至第三子像素spxa3输出的三个感测信号可以通过第一列线cl1至第三列线cl3分别发送到第一adc adc1至第三adc adc3，并由第一adc adc1至第三adc adc3转换为三个像素值。
109.此后，可以读取排列在后续行中的三个子像素。以这种方式，在顺序读取排列在像素pxa的三行中的子像素spx之后，可以顺序读取排列在像素pxb和像素pxc中的每一个的行中的子像素spx。
110.参考图10b，第一adc adc1至第三adc adc3可以将从排列在像素pxa的第一行r1中的子像素(例如，第一子像素spxa1至第三子像素spxa3)输出的第一感测信号ssa1至第三感测信号ssa3转换为像素值。此后，第一adc adc1至第三adc adc3可以从排列在像素pxa的第二行r2中的子像素接收第四感测信号ssa4至第六感测信号ssa6，并将第四感测信号ssa4至第六感测信号ssa6转换为像素值。最后，第一adc adc1至第三adc adc3可以从排列在像素pxa的第三行r3中的子像素接收第七感测信号ssa7至第九感测信号ssa9，并将第七感测信号ssa7至第九感测信号ssa9转换为像素值。
111.此后，第一adc adc1至第三adc adc3可以从像素pxb接收第一感测信号ssb1至第九感测信号ssb9并将第一感测信号ssb1至第九感测信号ssb9以三个感测信号为单位转换为像素值，以及从像素pxc接收第一感测信号ssc1至第九感测信号ssc9并将第一感测信号ssc1至第九感测信号ssc9以三个感测信号为单位转换为像素值。因此，可以针对像素pxa、pxb和pxc中的每一个生成九个像素值。
112.图11a和图11b示出了根据本发明构思的实施例的像素阵列的读取方法。图11a示出了在图9的像素阵列10c中以像素为单位读取像素pxa至pxc。图11b示出了由第一adc adc1至第三adc adc3转换为像素值的感测信号。
113.参考图11a和图11b，当图像传感器110在第二模式下进行操作时，可以同时读取一个像素(例如，像素pxa)中包括的三个共享像素(例如，第一共享像素fpxa1至第三共享像素fpxa3)。从第一共享像素fpxa1至第三共享像素fpxa3输出的三个组合的感测信号sssa1、sssa2和sssa3可以分别通过第一列线cl1至第三列线cl3发送到第一adc adc1至第三adc adc3。组合的感测信号sssa1、sssa2和sssa3可以具有表示由共享像素fpxa1、fpxa2和fpxa3中的每一个中包括的图4的第一光电二极管pd1至第三光电二极管pd3生成的光电荷的总量的值。三个组合的感测信号sssa1、sssa2和sssa3可以分别由第一adc adc1至第三adc adc3进行模数转换，并且可以生成通过转换获得的三个值的平均值作为与像素pxa相对应的像素值。
114.此后，以上述方式，可以从像素pxb输出三个组合的感测信号sssb1、sssb2和sssb3，并且可以生成与像素pxb相对应的像素值，以及可以从像素pxc输出三个组合的感测信号sssc1、sssc2和sssc3，并且可以生成与像素pxc相对应的像素值。
115.图12示出了图3a所示的像素阵列的结构和输出线连接方法的比较示例。
116.参考图12，像素pxa和pxb可以分别包括在第一方向(例如，x轴方向)上连续排列的
三个共享像素fpxa1至fpxa3和fpxb1至fpxb3。这些共享像素中的每一个可以包括在第二方向(例如，y轴方向)上平行地连续排列并共享浮置扩散节点fd的三个子像素spx。
117.在y轴方向上延伸的多个列线cl(例如，第一列线cl1至第六列线cl6)可以在x轴方向上平行排列。在x轴上的相同位置处排列的子像素spx可以形成像素阵列10'的一列，并且两列和两个列线cl可以平行排列。像素棒(rob)可以连接到第一列线cl1至第六列线cl6中的每一个。
118.像素pxa的第一共享像素fpxa1至第三共享像素fpxa3可以分别连接到第一列线cl1、第三列线cl3和第五列线cl5，并且像素pxb的第一共享像素fpxb1至第三共享像素fpxb3可以分别连接到第二列线cl2、第四列线cl4和第六列线cl6。第一列线cl1、第三列线cl3和第五列线cl5可以连接到第一adc adc1，并且第二列线cl2、第四列线cl4和第六列线cl6可以连接到第二adc adc2。
119.当包括根据比较示例的像素阵列10'的图像传感器在第一模式下进行操作时，可以以子像素为单位执行读取，并且可以由两个adc(例如，通过第一adc adc1和第二adc adc2的模数转换)通过执行九次读取操作来生成与两个像素pxa和pxb中包括的18个子像素spx相对应的18个像素值。当图像传感器在第二模式下进行操作时，可以以像素pxa或pxb为单位执行读取。可以由两个adc adc1和adc adc2通过执行两次读取操作来生成两个像素值。
120.然而，与图12的比较示例相反，依据根据本发明构思的实施例的像素阵列10a的结构和输出线连接方法，当图像传感器100在第一模式下进行操作时，可以由三个adc adc1、adc adc2和adc adc3通过执行九次读取操作来生成与三个像素pxa、pxb和pxc中包括的27个子像素spx相对应的27个像素值。当图像传感器100在第二模式下进行操作时，如图7b所示，可以由三个adc adc1、adc adc2和adc adc3通过执行一次读取操作来生成三个像素值。
121.如上所述，依据根据本发明构思的实施例的结构和输出线连接方法的读取方法的读出效率可以大于根据图12的比较示例的像素阵列10'的结构和输出线的读取方法的读出效率。换句话说，可以减少为生成一个帧的图像数据而执行的读取次数，因此，与比较示例相比，可以增加图像传感器100的帧率，并且图像传感器100可以以增加的速度进行操作。
122.依据根据本发明构思的实施例的像素阵列10a的结构和输出线连接方法的像素阵列10a中包括的输出线(例如，列线cl)的数量(例如，三个)可以小于根据比较示例的像素阵列10'的结构和输出线连接方法的输出线的数量(例如，六个)，从而降低图像传感器100的功耗。
123.图13a和图13b示出了根据本发明构思的实施例的像素阵列的结构和输出线连接方法。
124.参考图13a和图13b，像素pxa可以包括排列在矩阵中的四个共享像素fpxa1至fpxa4，像素pxb可以包括排列在矩阵中的四个共享像素fpxb1至fpxb4，并且共享像素fpxa1至fpxa4和fpxb1至fpxb4中的每一个可以包括排列在矩阵中并共享浮置扩散节点fd的四个子像素spx。
125.参考图13a，两个列线(例如，第一列线cl1和第二列线cl2)可以排列在在第一方向(例如，x轴方向)上平行地连续排列的两个共享像素(例如，共享像素fpxa1和fpxa2)之间。像素pxa的第一共享像素fpxa1至第四共享像素fpxa4可以连接到第一列线cl1，并且像素
pxb的第一共享像素fpxb1至第四共享像素fpxb4可以连接到第二列线cl2。
126.在像素阵列20a中，当图像传感器100在第一模式下进行操作时，可以以子像素为单位执行读取，或者当图像传感器100在第二模式下进行操作时，可以以像素为单位执行读取。当图像传感器100在第一模式或第二模式下进行操作时的像素阵列20a的读取方法类似于上面参考图6a至图7b描述的读取方法，因此，为了便于解释，省略其详细描述
127.参考图13b，在像素阵列20b中，两个列线(例如，第一列线cl1和第二列线cl2)可以排列为对应于在第一方向(例如，x轴方向)上平行地连续排列的两个共享像素(例如，共享像素fpxa1和fpxa2)。在x轴上的第一位置处排列的多个共享像素(例如，共享像素fpxa1、fpxa3、fpxb1和fpxb3)可以连接到第一列线cl1，并且在x轴上的第二位置处排列的多个共享像素(例如，共享像素fpxa2、fpxa4、fpxb2和fpxb4)可以连接到第二列线cl2。
128.当图像传感器100在第一模式或第二模式下进行操作时的像素阵列20a的读取方法类似于上面参考图10a至图11b描述的读取方法，因此，为了便于解释，省略其详细描述。
129.图14a和图14b示出了根据本发明构思的实施例的像素阵列的结构和输出线连接方法。
130.参考图14a和图14b，像素pxa可以包括排列在矩阵中的两个共享像素fpxa1和fpxa2，像素pxb可以包括排列在矩阵中的两个共享像素fpxb1和fpxb2，并且共享像素fpxa1、fpxa2、fpxb1和fpxb2中的每一个可以包括排列在矩阵中并共享浮置扩散节点fd的八个子像素spx。
131.参考图14a，两个列线(例如，第一列线cl1和第二列线cl2)可以排列在在第一方向(例如，x轴方向)上平行地连续排列的两个共享像素(例如，共享像素fpxa1和fpxa2)之间。像素pxa的第一共享像素fpxa1和第二共享像素fpxa2可以连接到第一列线cl1，并且像素pxb的第一共享像素fpxb1和第二共享像素fpxb2可以连接到第二列线cl2。
132.在像素阵列30a中，当图像传感器100在第一模式下进行操作时，可以以子像素为单位执行读取，或者当图像传感器100在第二模式下进行操作时，可以以像素为单位执行读取。当图像传感器100在第一模式或第二模式下进行操作时的像素阵列30a的读取方法类似于上面参考图6a至图7b描述的读取方法，因此，为了便于解释，省略其详细描述。
133.参考图14b，两个列线(例如，第一列线cl1和第二列线cl2)可以排列为对应于在第一方向(例如，x轴方向)上平行地连续排列的两个共享像素(例如，共享像素fpxa1和fpxa2)。像素pxa和pxb的第一共享像素fpxa1和fpxb1可以连接到第一列线cl1，并且像素pxa和pxb的第二共享像素fpxa2和fpxb2可以连接到第二列线cl2。
134.当图像传感器100在第一模式或第二模式下进行操作时的像素阵列30a的读取方法类似于上面参考图10a至图11b描述的读取方法，因此，为了便于解释，省略其详细描述。
135.图15a示出了根据本发明构思的实施例的图像传感器中包括的像素阵列的示例。图15b是根据本发明构思的实施例的图15a的像素阵列的垂直截面图。
136.图15a的像素阵列40可以包括在图1的图像传感器100中，并且可以是上述图8a的像素阵列110的修改示例。
137.最近，在成像设备中已经采用自动对焦方法(af)来自动检测图像传感器的焦点。已经使用了基于相位差信号的相位差自动对焦(paf)技术，并且如图15a所示，像素阵列40可以包括多个自动对焦(af)像素px
af
以生成相位差信号。虽然图15a示出了在24个像素px排
列在6
×
4矩阵中的像素阵列40的区域中设置四个af像素px
af
，但是实施例不局限于此，并且af像素px
af
的数量和排列可以变化。
138.参考图15b，af像素px
af
可以包括第一子像素spx
l
和第二子像素spxr。第一子像素spx
l
和第二子像素spxr可以具有与一般子像素spx类似的结构。然而，可以在第一子像素spx
l
和第二子像素spxr上设置一个微透镜ml
af
，并且微透镜ml
af
的光轴mlx可以对应于第一方向(例如，x轴方向)上第一子像素spx
l
和第二子像素spxr之间的中点。因此，入射在光轴mlx右侧的光学信号s_l可以由第一子像素spx
l
的光电二极管pd1感测，并且入射在光轴mlx左侧的光学信号s_r可以由第二子像素spxr的光电二极管pd2感测。可以读取第一子像素spx
l
和第二子像素spxr，并且可以生成与光学信号s_l和s_r相对应的af像素值作为相位差信号。成像设备可以基于在像素阵列40中生成的多个相位差信号来执行自动对焦。
139.图15b的像素阵列还可以包括安置在衬底sub中的光电二极管pd，其中该衬底sub可以类似于参考图5描述的衬底sub。像素阵列还可以包括设置在互连层wl中的互连w，其类似于参考图5描述的那些互连。像素阵列还可以包括与参考图5描述的滤色器cf1、cf2和cf3类似的滤色器cf，与参考图5描述的微透镜ml1、ml2和ml3类似的微透镜ml，与参考图5描述的多个sep类似的多个sep，以及先前描述的多个浮置扩散区域fd。
140.当图像传感器100在第一模式下进行操作时，可以生成与多个子像素spx(例如，多个像素px中包括的多个子像素spx)相对应的像素值以及与多个af像素px
af
中包括的第一子像素spx
l
和第二子像素spxr相对应的像素值，其中可以生成与多个子像素spx相对应的像素值作为图像数据，并且可以生成与第一子像素spx
l
和第二子像素spxr相对应的像素值作为af数据。
141.当图像传感器100在第二模式下进行操作时，可以读取与多个像素px和包括af像素px
af
的像素px'相对应的像素值。在这种情况下，对应于像素px的像素值可以表示根据由三个子像素spx生成并从三个共享子像素fpx输出的光电荷之和的组合的感测信号的平均值。与包括af像素px
af
的像素px'相对应的像素值可以表示根据由af像素px
af
中包括的第一子像素spx
l
(或第二子像素spxr)生成的光电荷之和的组合的感测信号。当图像传感器100在第二模式下进行操作时，可以不输出与由包括af像素px
af
的像素px'中包括的子像素spx生成的光电荷相对应的感测信号。
142.图16示出了根据本发明构思的实施例的图14a的像素阵列30a的示例。
143.参考图16，像素阵列40的多个像素(例如，第一像素px1至第四像素px4)的结构和输出线可以与上面参考图3a描述的像素pxa、pxb和pxc的结构和输出线相同。因此，为了便于解释，将省略其进一步描述。
144.可以通过多个行线rl1至rl8提供多个控制信号。例如，可以通过第一行线rl1至第六行线rl6将第一传输控制信号至第三传输控制信号tg1、tg2和tg3提供给多个子像素spx。其他传输控制信号tg1和tg2和/或选择信号可以通过单独的行线(例如，第七行线rl7和第八行线rl8)提供给af像素px
af
中包括的第一子像素spx
l
和第二子像素spxr。
145.因此，在读取操作期间，可以独立地控制一般像素(例如，第一像素px1和第二像素px2)中包括的子像素spx、以及包括af像素px
af
的像素(例如，第三像素px3和第四像素px4)中包括的子像素spx以及第一子像素spx
l
或第二子像素spxr。
146.例如，当图像传感器100在第二模式下进行操作时，可以分别为第一像素px1和第
二像素px2生成第一像素值和第二像素值，并将其用作图像数据。另外，可以分别针对第三像素px3和第四像素px4生成与af像素px
af
中包括的第一子像素spx
l
和第二子像素spxr相对应的第三像素值和第四像素值。第三像素值对应于在第一子像素spx
l
中生成的光电荷之和，并且在这种情况下，在第三像素px3中包括的一般子像素spx中生成的光电荷的量不反映在第三像素值中。同样地，第三像素值对应于在第二子像素spxr中生成的光电荷之和，并且在这种情况下，在第四像素px4中包括的一般子像素spx中生成的光电荷的量不反映在第四像素值中。第三像素值和第四像素值可以用作双目视差信号。
147.连接到图16的像素阵列的adc电路130可以包括分别连接到第一列线cl1至第六列线cl6的第一adc adc1至第六adc adc6，其中该第一列线cl1至第六列线cl6分别连接到第一像素负载pl1至第六像素负载pl6。
148.图17a和图17b是根据本发明构思的实施例的包括多相机模块的电子设备的示例的框图。图18是根据本发明构思的实施例的图17a和图17b的相机模块的详细框图。
149.参考图17a和图17b，电子设备1000可以包括相机模块组1100、应用处理器1200、电源管理集成电路(pmic)1300和外部存储器1400。
150.相机模块组1100可以包括多个相机模块1100a、1100b和1100c。尽管示出了排列三个相机模块1100a、1100b和1100c的实施例，但是实施例不限于此。例如，在一些实施例中，相机模块组1100可以仅包括两个相机模块或n个相机模块(其中，n是大于3的自然数)。
151.尽管下面将参考图18更详细地描述相机模块1100b的配置，但是以下描述也可以应用于本发明构思的实施例中的其他相机模块1100a和1100b。
152.参考图18，相机模块1100b可以包括棱镜1105、光路折叠元件(opfe)1110、致动器1130、图像感测设备1140和存储装置1150。
153.棱镜1105可以改变从相机模块1100b外部入射的光l的路径，包括光反射材料的反射表面1107。
154.在一些实施例中，棱镜1105可以将在第一方向x上入射的光的路径改变为垂直于第一方向x的第二方向y。另外，棱镜1105可以使光反射材料的反射表面1107围绕中心轴1106在方向a上旋转或者使中心轴1106在方向b上旋转，以便将在第一方向x上入射的光l的路径改变为垂直于第一方向x的第二方向y。在这种情况下，opfe 1110可以在第一方向x和垂直于第二方向y的第三方向z上移动。
155.在一些实施例中，如图18所示，棱镜1105的最大旋转角度在正( )方向a上可以为大约15度或更小，在负(-)方向a上可以大于大约15度。然而，本发明构思的实施例不限于此。
156.在一些实施例中，棱镜1105可以在正( )或负(-)方向b上在大约20度或更小的范围内、在大约10度至大约20度的范围内、或者在大约15度至大约20度的范围内移动。棱镜1105可以在正( )或负(-)方向b上在大约1度或更小的误差范围内移动相同角度或基本相同角度。
157.在一些实施例中，棱镜1105可以在平行于中心轴1106延伸的方向的第三方向z(例如，z轴方向)上移动光反射材料的反射表面1107。
158.在一些实施例中，相机模块1100b可以包括两个或更多个棱镜，因此，在第一方向x上入射的光l的路径可以不同地改变，例如，改变到垂直于第一方向x的第二方向y、改变到
第一方向x或第三方向z、以及改变到第二方向y。
159.opfe 1110可以包括例如m组光学透镜(其中，m是自然数)。可以在第二方向y上移动m组透镜以改变相机模块1100b的光学变焦比。例如，当相机模块1100b的基本光学变焦比为z时，在opfe 1110的m组光学透镜移动时，相机模块1100b的光学变焦比可以改变为3z、5z或大于5z。
160.致动器1130可以将opfe 1110或光学透镜(其中的每一个在下文中可以被称为光学透镜)移动到某个位置。例如，为了准确感测，致动器1130可以调整光学透镜的位置，使得图像传感器1142位于光学透镜的焦距处。
161.图像感测设备1140可以包括图像传感器1142、控制逻辑1144和存储器1146。图像传感器1142可以通过使用通过光学透镜提供的光l来感测要被感测的对象的图像。上面参考图1至图11b和图13a至图16描述的图1的图像传感器100的图1的像素阵列110、图2a的像素阵列10、图2b的像素阵列20、图3a的像素阵列10a、图3b的像素阵列10b、图9的像素阵列10c、图13a的像素阵列20a、图13b的像素阵列20b、图14a的像素阵列30a、图14b的像素阵列30b、或图15a的像素阵列40可以应用为图像传感器1142。通过减少图像传感器1142的输出线(例如，列线cl)的数量，可以降低图像传感器114的功耗，并且可以提高其读出性能，从而提高图像传感器1142的帧率。
162.控制逻辑1144可以控制相机模块1100b的整体操作并处理感测的图像。例如，控制逻辑1144可以根据通过控制信号线cslb提供的控制信号来控制相机模块1100b的操作，并从感测的图像中提取与例如人的面部、手臂或腿的某个图像相对应的图像数据。
163.在一些实施例中，控制逻辑1144可以对感测的图像执行图像处理，诸如例如编码和降噪。
164.存储器1146可以存储用于相机模块1100b的操作的信息，诸如例如校准数据1147。校准数据1147是相机模块1100b用来通过使用来自相机模块1100b外部的光l来生成图像数据的信息，并且可以包括例如关于旋转度的信息、关于焦距的信息、关于光轴的信息等。当相机模块1100b具有焦距根据光学透镜的位置而变化的多状态相机的形式时，校准数据1147可以包括光学透镜的每个位置(或每个状态)的焦距值和与自动对焦相关的信息。
165.存储装置1150可以存储通过图像传感器1142感测的图像数据。存储装置1150可以安置在图像感测设备1140的外部，并且可以堆叠在图像感测设备1140的传感器芯片上。在一些实施例中，图像传感器1142可以被配置作为第一芯片，控制逻辑1144、存储装置1150和存储器1146可以一起被配置作为第二芯片，并且两个芯片可以堆叠。
166.在一些实施例中，存储装置1150可以体现为电可擦除可编程只读存储器(eeprom)。然而，本发明构思的实施例不限于此。例如，在一些实施例中，图像传感器1142可以包括像素阵列，并且控制逻辑1144可以包括模数转换器和用于处理感测的图像的图像信号处理器。
167.一起参考图17a和图18，在一些实施例中，多个相机模块1100a、1100b和1100c中的每一个可以包括致动器1130。因此，多个相机模块1100a、1100b和1100c中的每一个可以根据其中的致动器1130的操作包括相同或不同的校准数据1147。
168.在一些实施例中，多个相机模块1100a、1100b和1100c当中的相机模块(例如，相机模块1100b)可以是包括棱镜1105和opfe 1110的折叠透镜型相机模块，并且其他相机模块
(例如，相机模块1100a和1100c)可以是不包括棱镜1105和opfe 1110的垂直相机模块。然而，本发明构思的实施例不限于此。
169.在一些实施例中，多个相机模块1100a、1100b和1100c当中的相机模块(例如，相机模块1100c)可以是例如通过使用红外(ir)射线提取深度信息的垂直深度相机。在这种情况下，应用处理器1200可以合并从深度相机提供的图像数据和从另一相机模块(例如，相机模块1100a或1100b)提供的图像数据，以生成三维(3d)深度图像数据。
170.在一些实施例中，多个相机模块1100a、1100b和1100c当中的至少两个相机模块(例如，相机模块1100a、1100b)可以具有不同的视场(视角)。在这种情况下，例如，多个相机模块1100a、1100b和1100c当中的至少两个相机模块(例如，相机模块1100a和1100b)可以包括不同的光学透镜。然而，本发明构思的实施例不限于此。
171.在一些实施例中，多个相机模块1100a、1100b和1100c的视角可以不同。例如，相机模块1100a可以是超宽相机，相机模块1100b可以是宽相机，并且相机模块1100c可以是长焦相机。然而，本发明构思的实施例不限于此。在这种情况下，包括在多个相机模块1100a、1100b和1100c中的光学透镜可以不同。然而，本发明构思的实施例不限于此。
172.在一些实施例中，多个相机模块1100a、1100b和1100c可以在物理上彼此分离。也就是说，一个图像传感器1142的感测区域没有被多个相机模块1100a、1100b和1100c划分和使用，但是图像传感器1142可以独立地设置在多个相机模块1100a、1100b和1100c中的每一个中。
173.返回参考图17a和图17b，应用处理器1200可以包括图像处理设备1210、存储器控制器1220和内部存储器1230。应用处理器1200可以是例如与多个相机模块1100a、1100b和1100c分开提供的半导体芯片。
174.图像处理设备1210可以包括多个子图像处理器1212a、1212b和1212c、图像生成器1214和相机模块控制器1216。
175.图像处理设备1210可以包括总数等于多个相机模块1100a、1100b和1100c的数量的多个子图像处理器1212a、1212b和1212c。
176.由相机模块1100a生成的图像数据可以通过图像信号线isla提供给子图像处理器1212a，由相机模块1100b生成的图像数据可以通过图像信号线islb提供给子图像处理器1212b，并且由相机模块1100c生成的图像数据可以通过图像信号线islc提供给子图像处理器1212c。可以例如使用基于移动工业处理器接口(mipi)的相机串行接口(csi)来发送图像数据。然而，本发明构思的实施例不限于此。
177.在一些实施例中，一个子图像处理器可以对应于多个相机模块。例如，在实施例中，与图17a和图17b所示不同，子图像处理器1212a和子图像处理器1212b不是分开实施的，而是可以集成在一起作为一个子图像处理器，并且从相机模块1100a和相机模块1100c提供的图像数据可以由选择器(例如，复用器)等选择并提供给集成的子图像处理器。在这种情况下，在实施例中，子图像处理器1212b没有被集成，并且可以从相机模块1100b接收图像数据。
178.在一些实施例中，由相机模块1100a生成的图像数据可以通过图像信号线isla提供给子图像处理器1212a，由相机模块1100b生成的图像数据可以通过图像信号线islb提供给子图像处理器1212b，并且由相机模块1100c生成的图像数据可以通过图像信号线islc提
供给子图像处理器1212c。由子图像处理器1212b处理的图像数据可以直接提供给图像生成器1214，但是由子图像处理器1212a处理的图像数据或由子图像处理器1212c处理的图像数据可以由选择器(例如，复用器)选择并提供给图像生成器1214。
179.子图像处理器1212a、1212b和1212c可以对从相机模块1100a、1100b和1100c提供的图像数据执行图像处理，诸如例如坏像素校正、3a控制(自动对焦校正、自动白平衡和自动曝光)、降噪、锐化、伽马控制或重嵌马赛克(remosaicing)。
180.在一些实施例中，可以由相机模块1100a、1100b和1100c执行重嵌马赛克信号处理，并且可以将其结果提供给子图像处理器1212a、1212b和1212c。
181.由子图像处理器1212a、1212b和1212c中的每一个处理的图像数据可以被提供给图像生成器1214。图像生成器1214可以根据图像生成信息或模式信号通过使用从子图像处理器1212a、1212b和1212c中的每一个提供的图像数据来生成输出图像。
182.例如，图像生成器1214可以根据图像生成信息或模式信号通过合并由图像处理器1212a、1212b和1212c生成的图像数据的至少一部分来生成输出图像。可替代地，图像生成器1214可以根据图像生成信息或模式信号通过选择由图像处理器1212a生成的图像数据、由图像处理器1212b生成的图像数据和由图像处理器1212c生成的图像数据中的一个来生成输出图像。
183.在一些实施例中，图像生成信息可以包括变焦信号或变焦因子。在一些实施例中，模式信号可以是例如基于由用户选择的模式的信号。
184.当图像生成信息是变焦信号(或变焦因子)并且相机模块1100a、1100b和1100c具有不同的视场(视角)时，图像生成器1214可以根据变焦信号的类型来执行不同操作。例如，当变焦信号是第一信号时，可以使用从子图像处理器1212a输出的图像数据和从子图像处理器1212c输出的图像数据和从子图像处理器1212b输出的图像数据当中的从子图像处理器1212a输出的图像数据来生成输出图像。当变焦信号是与第一信号不同的第二信号时，图像生成器1214可以通过使用从子图像处理器1212a输出的图像数据和从子图像处理器1212c输出的图像数据和从子图像处理器1212b输出的图像数据当中的从子图像处理器1212c输出的图像数据来生成输出图像。当变焦信号是与第一信号和第二信号不同的第三信号时，图像生成器1214可以通过选择从子图像处理器1212a输出的图像数据、从子图像处理器1212b输出的图像数据或从子图像处理器1212c输出的图像数据而不合并图像数据来生成输出信号。然而，实施例不限于此，并且可以对根据本发明构思的实施例的处理图像数据的上述方法进行修改。
185.参考图17b，在一些实施例中，图像处理装置1210可以进一步包括选择器1213(例如，复用器)以选择子图像处理器1212a、1212b或1212c的输出并将该输出发送到图像生成器1214。
186.在这种情况下，选择器1213可以根据变焦信号或变焦因子来执行不同操作。例如，当变焦信号是第四信号(指示例如变焦比是第一变焦比)时，选择器1213可以选择子图像处理器1212a、1212b或1212c的输出，并将该输出发送到图像生成器1214。
187.当变焦信号是不同于第四信号的第五信号(指示例如变焦比是第二变焦比)时，选择器1213可以将图像处理器1212a、1211b和1212c的p个输出顺序地发送到图像生成器1214(其中，p是大于或等于2的自然数)。例如，选择器1213可以将子图像处理器1212b的输出和
子图像处理器1212c的输出顺序地发送到图像生成器1214。可替代地，选择器1213可以将子图像处理器1212a的输出和子图像处理器1212b的输出顺序地发送到图像生成器1214。图像生成器1214可以合并顺序发送的p个输出以生成输出图像。
188.这里，可以由子图像处理器1212a、1212b和1212c提前对图像数据执行图像处理，诸如例如去马赛克(demosaicing)、缩小到视频/预览分辨率大小、伽马校正和高动态范围(hdr)处理，并且得到的图像数据被发送到图像生成器1214。因此，即使当由选择器1213通过一个信号线将得到的图像数据提供给图像生成器1214时，也可以高速执行图像生成器1214的图像合并操作。
189.在一些实施例中，图像生成器1214可以从多个子图像处理器1212a、1212b、1212c中的至少一个接收不同曝光时间的多条图像数据，并对多条图像数据执行hdr处理以生成具有增加的动态范围的合并图像数据。
190.相机模块控制器1216可以向相机模块1100a、1100b和1100c提供控制信号。由相机模块控制器1216生成的控制信号可以分别通过彼此分离的控制信号线csla、cslb和cslc提供给相机模块1100a、1100b和1100c。
191.根据包括例如变焦信号或模式信号的图像生成信息，相机模块1100a、1100b和1100c当中的相机模块(例如，相机模块1100b)可以被指定为主相机，并且其他相机模块(例如，相机模块1100a和1100c)可以被指定为从相机。这样的信息可以包括在控制信号中，并分别通过彼此分离的控制信号线csla、cslb和cslc提供给相机模块1100a、1100b和1100c。
192.根据变焦因子或操作模式信号，相机模块可以被改变为作为主设备或从设备进行操作。例如，当相机模块1100a的视角宽于相机模块1100b的视角并且变焦因子表示低变焦比时，相机模块1100a可以作为主设备进行操作，并且相机模块1100b可以作为从设备进行操作。相反，当变焦因子表示高变焦比时，相机模块1100b可以作为主设备进行操作，并且相机模块1100a可以作为从设备进行操作。
193.在一些实施例中，从相机模块控制器1216提供给相机模块1100a、1100b和1100c的控制信号可以包括同步使能信号。例如，当相机模块1100b是主相机并且相机模块1100a和1100c是从相机时，相机模块控制器1216可以将同步使能信号发送到相机模块1100b。接收同步使能信号的相机模块1100b可以基于同步使能信号来生成同步信号，并通过同步信号线ssl将同步信号提供给相机模块1100a和1100c。相机模块1100b以及相机模块1100a和1100c可以与同步信号同步地将图像数据发送到应用处理器1200。
194.在一些实施例中，从相机模块控制器1216提供给相机模块1100a、1100b和1100c的控制信号可以包括根据模式信号的模式信息。基于模式信息，相机模块1100a、1100b和1100c可以在关于感测速度的第一操作模式或第二操作模式下进行操作。
195.在第一操作模式下，相机模块1100a、1100b和1100c可以以第一速度生成图像信号(例如，以第一帧率生成图像信号)，以高于第一速度的第二速度编码图像信号(例如，以高于第一帧率的第二帧率编码图像信号)，并将编码的图像信号发送到应用处理器1200。在这种情况下，第二速度可以比第一速度小大约30倍。
196.应用处理器1200可以将所接收的图像信号(即，编码的图像信号)存储在其中的内部存储器1230或安置在应用处理器1200外部的外部存储器1400中，从内部存储器1230或存储装置1400读取编码的图像信号，解码读取的图像信号，并显示基于解码的图像信号生成
的图像数据。例如，图像处理设备1210的多个子图像处理器1212a、1212b和1212c当中的对应子图像处理器可以对读取的图像信号进行解码，并对解码的图像信号执行图像处理。
197.在第二操作模式下，相机模块1100a、1100b和1100c可以以低于第一速度的第三速度生成图像信号(例如，生成低于第一帧率的第三帧率的图像信号)，并将图像信号发送到应用处理器1200。提供给应用处理器1200的图像信号可以是未编码信号。应用处理器1200可以对所接收的图像信号执行图像处理，或者将图像信号存储在内部存储器1230或外部存储器1400中。
198.pmic 1300可以向相机模块1100a、1100b和1100c供应电力，例如电源电压。例如，pmic 1300可以在应用处理器1200的控制下通过电力信号线psla向相机模块1100a供应第一电力，通过电力信号线slb向相机模块1100b供应第二电力，并通过电力信号线pslc向相机模块1100c供应第三电力。
199.pmic 1300可以响应于来自应用处理器1200的电力控制信号pcon而生成与相机模块1100a、1100b和1100c中的每一个相对应的电力并调节电力电平。电力控制信号pcon可以包括与相机模块1100a、1100b和1100c中的每一个的操作模式相对应的电力调节信号。例如，操作模式可以包括低电力模式，在这种情况下，电力控制信号pcon可以包括关于以较低电力模式进行操作的相机模块和设置的电力电平的信息。提供给相机模块1100a、1100b和1100c的电力的电平可以彼此相同或不同。此外，可以动态地改变电力的电平。
200.虽然已经参考本发明构思的实施例具体示出和描述了本发明构思，但是将理解，在不脱离由所附权利要求限定的本发明构思的精神和范围的情况下，可以在形式和细节上进行各种改变。