图像传感器及其操作方法与流程

图像传感器及其操作方法
1.相关申请的交叉引用
2.本技术基于并要求于2021年3月4日在韩国知识产权局提交的韩国专利申请no.10-2021-0029083的优先权，该申请的公开内容以引用方式全部并入本文中。
技术领域
3.实施例涉及一种图像传感器及其操作方法。


背景技术：

4.图像传感器是俘获对象的二维或三维图像的装置。图像传感器通过使用根据由对象反射的光的强度作出反应的光电转换装置来生成对象的图像。互补金属氧化物半导体(cmos)技术的最新发展已允许广泛使用利用cmos技术的cmos图像传感器。随着对高清和高质量照片和图像的需求增加，由图像传感器生成的图像数据的大小也在增大。


技术实现要素：

5.实施例涉及一种图像传感器，包括：像素阵列，其包括被划分为多个组合区域的多个像素，多个像素包括红色像素、蓝色像素、第一绿色像素、第二绿色像素、以及选自白色像素或黄色像素的像素；读出电路，其被配置为在单个帧时段期间从多个组合区域中的每一个接收包括第一像素的第一感测信号和第二像素的第二感测信号的多个像素信号，并且基于多个像素信号输出与第一像素对应的第一像素值和与第二像素对应的第二像素值；以及图像信号处理器，其被配置为基于与多个组合区域对应的多个第一像素值生成第一图像数据，基于与多个组合区域对应的多个第二像素值生成第二图像数据，并且通过将第一图像数据与第二图像数据合并来生成输出图像数据。第一像素可以包括红色像素、蓝色像素、第一绿色像素或第二绿色像素，并且第二像素可以包括白色像素或黄色像素。
6.实施例涉及一种图像传感器，包括：像素阵列，在像素阵列中布置有多个像素组，像素组中的每一个包括共享浮置扩散节点的彩色像素和白色像素；读出电路，其被配置为在单个帧时段期间从多个像素组中的每一个接收复位信号、包括彩色像素的感测信号的第一图像信号、以及包括彩色像素和白色像素的感测信号的第二图像信号，并且基于接收到的复位信号、第一图像信号和第二图像信号输出与彩色像素对应的彩色像素值和与白色像素对应的白色像素值；以及图像信号处理器，其被配置为基于与多个像素组对应的多个彩色像素值和多个白色像素值生成输出图像数据。
7.实施例涉及一种图像传感器的操作方法，该操作方法包括：在单个帧时段中从像素阵列的多个组合区域中的每一个读出包括彩色像素的感测信号和白色像素的感测信号的多个像素信号；基于多个像素信号生成包括彩色像素值的第一图像数据；基于多个像素信号生成包括白色像素值的第二图像数据；以及通过将第一图像数据与第二图像数据合并生成输出图像数据。
附图说明
8.通过参照附图详细地描述示例实施例，特征对于本领域技术人员而言将变得显而易见，在附图中：
9.图1是示出根据示例实施例的图像传感器的框图；
10.图2是示出图1的像素阵列的图案的示例的示图；
11.图3是示出根据示例实施例的像素阵列的像素的结构的电路图；
12.图4是示出根据示例实施例的提供到像素的控制信号和斜坡信号的时序图；
13.图5a是示出根据示例实施例的生成包括具有rgbw图案的像素阵列的图像传感器的低分辨率图像数据的操作的示图；
14.图5b是示出根据示例实施例的生成包括具有rgby图案的像素阵列的图像传感器的低分辨率图像数据的操作的示图；
15.图6是根据示例实施例的图像传感器的操作方法的流程图；
16.图7a至图7d是用于描述根据示例实施例的读出方法的示图；
17.图8是示出根据示例实施例的电子装置的框图；
18.图9是示出根据示例实施例的电子装置的一部分的框图；以及
19.图10是示出根据示例实施例的相机模块的详细结构框图。
具体实施方式
20.图1是示出根据示例实施例的图像传感器的框图。图2是示出图1的像素阵列的图案的示例的示图。
21.图像传感器100可以安装在具有成像功能或光感测功能的电子装置中。例如，图像传感器100可以安装在诸如以下的电子装置中：相机、智能电话、可穿戴装置、物联网(iot)装置、家用电器、平板个人计算机(pc)、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航装置、无人机、高级驾驶辅助系统(adas)等。图像传感器100可以包括在作为车辆、家具、制造设备、门、测量仪器等的部件的电子装置中。
22.参照图1，图像传感器100可以包括像素阵列110、行驱动器120、读出电路130、斜坡信号生成器140、时序控制器150和图像信号处理器160。
23.像素阵列110可以包括以矩阵布置的多个像素px、以及连接到多个像素px的多条行线rl和多条列线cl。多个像素px中的每一个可以包括至少一个光电转换装置(其可以被称作光学感测装置)，光电转换装置可以感测光并且将感测到的光转换为光电荷。光电转换装置可以包括例如包括有机材料或无机材料的光学感测装置，诸如无机光电二极管、有机光电二极管、钙钛矿光电二极管、光电晶体管、光电门或固定(pinned)光电二极管。根据示例实施例，多个像素px中的每一个可以包括多个光电转换装置。
24.多个像素px可以各自感测来自接收到的光的特定光谱范围的光。例如，像素阵列110可以包括将红色光谱范围的光转换为电信号的红色像素、将绿色光谱范围的光转换为电信号的绿色像素、以及将蓝色光谱范围的光转换为电信号的蓝色像素。代替红色像素、绿色像素和蓝色像素中的任意一个或者除了红色像素、绿色像素和蓝色像素中的任意一个之外，像素阵列110还可以包括将其它光谱范围的光转换为电信号的像素，诸如白色像素或黄色像素。
25.可以应用作为示例的图2中所示的像素阵列110作为图1的像素阵列110。根据示例实施例，像素阵列110可以具有rgbw图案。
26.参照图2，rgbw图案可以包括其中绿色像素(例如，第一绿色像素gr)、白色像素w、红色像素r和白色像素w被顺序地布置的第一行和第二行、以及其中蓝色像素b、白色像素w、绿色像素(例如，第二绿色像素gb)和白色像素w被顺序地布置的第三行和第四行，并且第一行至第四行可以重复地布置。在rgbw图案中，第一行至第四行中的白色像素w可以相对于彼此在对角线方向上布置。在其它实施方式中，彩色像素和白色像素可以在具有rgbw图案的像素阵列110中以各种方式布置，例如，白色像素w可以定位在图2中公开的像素阵列110的彩色像素gr、gb、r和b的位置处，彩色像素可以定位在白色像素w的位置处。
27.在下文中，具有rgbw图案的像素阵列110将被描述为示例。然而，像素阵列110还可以具有例如rgby图案，在rgby图案中，布置黄色像素y代替白色像素w。
28.参照图2，像素阵列110可以被划分为多个组合(binning)区域ba。多个组合区域ba中的每一个可以包括以(2n)
×
(2n)矩阵(n为正整数)布置的多个像素px。包括在多个组合区域ba中的每一个中的多个像素px可以共享浮置扩散节点fd，并且经由一条列线cl输出像素信号。共享浮置扩散节点fd的多个像素px还可以被称作像素组。
29.例如，参照图2，多个组合区域ba中的每一个可以包括以2
×
2矩阵布置并且共享浮置扩散节点fd的四个像素px。根据示例实施例，多个组合区域ba可以在像素阵列110中在第一方向(例如，x轴方向)和第二方向(例如，y轴方向)上彼此平行布置。
30.在本示例实施例中，多个组合区域ba各自为在图像传感器100在执行组合的第一模式下操作时应用(以下将更详细地描述的)读出方法的基本单元，并且可以分别对应于基于读出像素信号生成的图像数据的多个组合区域。根据示例实施例的读出方法，可以从多个组合区域ba中的每一个以至少两个行为单位同时读出多个像素信号。例如，可以在一个帧时段中读出与至少两个行对应的多个像素px的多个像素信号。以下将参照图3和图4描述根据示例实施例的读出方法。
31.当图像传感器100在第二模式(例如，不执行组合的正常模式)下操作时，可以以行为单位从像素阵列110顺序地读出多个像素信号。
32.进一步参照图1，行驱动器120可以根据时序控制器150的控制生成用于控制布置在每个行中的像素px的操作的多个控制信号。行驱动器120可以经由多条行线rl分别将多个控制信号提供到像素阵列110的多个像素px。响应于由行驱动器120提供的多个控制信号，可以根据操作模式以至少一个行为单位来驱动像素阵列110。像素阵列110可以根据行驱动器120的控制经由多条列线cl输出多个像素信号。
33.读出电路130可以包括模数转换器(adc)电路和线缓冲器。adc电路可以接收从多个像素px之中由行驱动器120选择的行的多个像素px读出的多个像素信号，并且将多个像素信号转换为作为数字数据的多个像素值。
34.adc电路可以基于来自斜坡信号生成器140的斜坡信号ramp将经由多条列线cl从像素阵列110接收到的多个像素信号转换为数字数据，从而以至少一个行为单位生成并且输出像素值。
35.读出电路130可以包括分别与多条列线cl对应的多个adc电路，每个adc电路可以将经由对应于每个adc电路的每条列线cl接收到的像素信号与斜坡信号ramp进行比较，并
且基于比较的结果生成像素值结果。例如，adc电路可以通过使用相关双采样(cds)方法从感测信号去除复位信号，并且生成指示由像素px接收到的光的量的像素值。根据图像传感器100的操作模式，像素值可以指示由像素px感测到的光的量或由组合区域ba中的像素px感测到的光的量。
36.线缓冲器可以包括多个线存储器，并且可以以某些行为单位存储从adc电路输出的多个像素值。因此，线缓冲器可以以某些行为单位存储从adc电路输出的像素值。例如，线缓冲器可以根据图像传感器100的操作模式存储与一个行对应的多个像素值或与两个行对应的多个像素值。
37.根据示例实施例，读出电路130可以在执行组合的第一模式下从包括在每个组合区域ba中的像素px接收多个像素信号，并且基于接收到的多个像素信号输出彩色像素值和白色像素值。例如，读出电路130的adc电路可以从包括在一个组合区域ba中的像素px接收复位信号、与白色像素w的感测信号对应的第一图像信号、以及与彩色像素(例如，红色像素r、蓝色像素b、第一绿色像素gr或第二绿色像素gb)和白色像素w的感测信号对应的第二图像信号。adc电路可以基于复位信号、第一图像信号和第二图像信号输出彩色像素值和白色像素值。因此，读出电路130可以输出与包括在一个组合区域ba中的两个彩色像素对应的彩色像素值，并且输出与包括在一个组合区域ba中的两个白色像素对应的一个白色像素值。
38.如上所述，从包括两个彩色像素和两个白色像素的组合区域ba输出一个彩色像素值和一个白色像素值的方法可以被称作2求和方法。以下将参照图3和图4描述根据示例实施例的读出方法。
39.读出电路130可以在不执行组合的第二模式下以多个行为单位从像素px接收多个像素信号，并且基于所接收到的多个像素信号以多个行为单位输出像素值。
40.斜坡信号生成器140可以生成以特定斜率增大或减小的斜坡信号ramp，并且将斜坡信号ramp提供到读出电路130。
41.时序控制器150可以控制图像传感器100的其它部件的时序(例如，行驱动器120、读出电路130、斜坡信号生成器140和图像信号处理器160的时序)。
42.图像信号处理器160可以从读出电路130接收像素值，布置接收到的像素值以生成图像数据，并且对生成的图像数据执行图像处理操作(诸如图像质量补偿、组合、缩小大小等)。因此，可以生成和输出经图像处理的输出图像数据oidt。
43.在示例实施例中，在第一模式中，图像信号处理器160可以基于存储在线缓冲器中的彩色像素值生成第一图像数据，并且基于存储在线缓冲器中的白色像素值生成第二图像数据。此外，图像信号处理器160可以通过将第一图像数据与第二图像数据合并来生成输出图像数据oidt。图像信号处理器160可以以组合区域ba为单位处理第一图像数据和第二图像数据。例如，图像信号处理器160可以通过将第一图像数据之中的对应于第一组合区域的彩色像素值与第二图像数据之中的对应于第一组合区域的白色像素值合并来生成具有减小的数据大小的输出图像数据oidt。
44.在第二模式中，图像信号处理器160可以基于存储在线缓冲器中的与多个行对应的多个像素值生成原始图像数据，处理生成的原始图像数据，并且输出保持其数据大小的输出图像数据oidt。
45.在示例实施例中，图像信号处理器160可以针对每种颜色处理第一图像数据、第二
图像数据和原始图像数据。例如，图像信号处理器160可以并行地或串行地处理红色像素、绿色像素和蓝色像素中的每一个。在示例实施例中，图像信号处理器160可以包括多个处理电路，以如上所述并行地执行针对每种颜色的处理。在另一实施方式中，可以重复使用一个处理电路。
46.输出图像数据oidt可以输出到外部处理器(例如，应用处理器)，应用处理器可以存储输出图像数据oidt，对输出图像数据oidt执行图像处理，或者显示输出图像数据oidt。
47.图3是示出根据示例实施例的像素阵列的像素的结构的电路图。
48.参照图3，像素pxa可以包括多个光电转换装置pd1、pd2、pd3和pd4以及像素电路111。可以使用光电二极管实施多个光电转换装置pd1、pd2、pd3和pd4中的每一个，并且可以在多个光电转换装置pd1、pd2、pd3和pd4中的每一个上布置微透镜。因此，微透镜与光电转换装置的组合可以被称作一个像素，图3的像素pxa可以相应地被视为四个像素。
49.像素电路111可以包括复位晶体管rx、驱动晶体管dx和选择晶体管sx。第一传输晶体管至第四传输晶体管tx1、tx2、tx3和tx4可以分别连接到光电转换装置pd1、pd2、pd3和pd4。包括复位控制信号rs、选择控制信号sel和传输控制信号ts的控制信号可以被施加到像素电路111，传输控制信号ts包括第一传输控制信号ts1、第二传输控制信号ts2、第三传输控制信号ts3和第四传输控制信号ts4。控制信号中的至少一些可以由行驱动器120生成。
50.浮置扩散节点fd可以在四个光电转换装置pd1、pd2、pd3和pd4与第一传输晶体管至第四传输晶体管tx1、tx2、tx3和tx4之中被共享。第一传输晶体管至第四传输晶体管tx1、tx2、tx3和tx4可以分别响应于第一传输控制信号至第四传输控制信号ts1、ts2、ts3和ts4将多个光电转换装置pd1、pd2、pd3和pd4分别连接到浮置扩散节点fd或者阻挡它们分别连接到浮置扩散节点fd。
51.复位晶体管rx可以复位积累在浮置扩散节点fd中的电荷。驱动电压vdd可以施加到复位晶体管rx的第一端子，复位晶体管rx的第二端子可以连接到浮置扩散节点fd。复位晶体管rx可以响应于从行驱动器120接收到的复位控制信号rs而导通或截止，并且可以释放积累在浮置扩散节点fd中的电荷以复位浮置扩散节点fd。
52.入射到多个光电转换装置pd1、pd2、pd3和pd4上的光可以通过光电转换积累为电荷。当积累在多个光电转换装置pd1、pd2、pd3和pd4中的电荷被转移到浮置扩散节点fd时，可以使用驱动晶体管dx和选择晶体管sx将电荷作为像素信号输出到外部。与浮置扩散节点fd的电压的变化对应的像素信号可以被传输到外部的读出电路130。
53.像素pxa可以应用到图2的像素阵列110。例如，像素pxa的四个光电转换装置pd1、pd2、pd3和pd4可以分别对应于组合区域ba中以2
×
2矩阵布置的四个像素。因此，与图3的像素pxa一样，图2中的组合区域ba中以2
×
2矩阵布置的四个像素可以分别共享浮置扩散节点fd。当第一传输晶体管至第四传输晶体管tx1、tx2、tx3和tx4同时导通或截止时，以2
×
2矩阵布置的像素可以作为一个大的像素操作，如图2中所示。
54.在示例实施例中，多个光电转换装置pd1、pd2、pd3和pd4之中的两个光电转换装置(例如，pd1和pd3)可以对应于彩色像素，另外两个光电转换装置(例如，pd2和pd4)可以对应于白色像素w。例如，参照图2，两个光电转换装置pd1和pd3可以对应于第一绿色像素gr，另外两个光电转换装置pd2和pd4可以对应于白色像素w。在另一实施方式中，与光电转换装置对应的彩色像素可以是红色像素r、蓝色像素b或第二绿色像素gb。
55.图4是示出根据示例实施例的提供到像素的控制信号和斜坡信号的时序图。将基于图3的像素pxa描述图4。
56.参照图3和图4，可以在帧时段t_frame中执行以下描述的操作。在帧时段t_frame中，选择控制信号sel可以从第二电平(例如，逻辑低)转变为第一电平(例如，逻辑高)并且保持在第一电平处。
57.复位控制信号rs可以从低电平转变为高电平并且在第一复位时间段rt1内保持高电平。在本示例实施例中，复位晶体管rx根据高电平的复位控制信号rs导通，并且因此，浮置扩散节点fd可以复位(复位操作)。例如，浮置扩散节点fd的电压可以复位为驱动电压vdd。
58.当复位操作随着复位控制信号rs从高电平转变为低电平而结束时，可以在第一时间段t1内经由列线cl输出积累在浮置扩散节点fd中的与根据复位操作的电荷对应的复位信号rst。斜坡信号ramp可以被生成为在第一时间段t1内以特定斜率减小(或增大)。在斜坡信号ramp的电压电平不断变化的第一时间段t1期间，读出电路130可以将斜坡信号ramp与复位信号rst进行比较。
59.在已经过去第一时间段t1之后，第一传输控制信号ts1可以从低电平转变为高电平以在第一传输时间段tt1内保持高电平，第三传输控制信号ts3可以从低电平转变为高电平并且在第三传输时间段tt3内保持高电平。在示例实施例中，第一传输时间段tt1可以与第三传输时间段tt3至少部分地重叠。
60.在本示例实施例中，第一传输晶体管tx1通过高电平的第一传输控制信号ts1而导通，并且因此，由第一光电转换装置pd1生成的光电荷可以积累在浮置扩散节点fd中(积累操作)。在本示例实施例中，第三传输晶体管tx3通过高电平的第三传输控制信号ts3而导通，并且由第三光电转换装置pd3生成的光电荷可以积累在浮置扩散节点fd中(积累操作)。例如，浮置扩散节点fd的电压可以根据积累的电荷的量从驱动电压vdd降低。
61.在本示例实施例中，参照图3，第一光电转换装置pd1和第三光电转换装置pd3对应于彩色像素，并且因此与彩色像素值对应的电荷可以经由上述积累操作额外地积累在浮置扩散节点fd中。因此，与复位操作对应的电荷和与彩色像素值对应的电荷可以积累在浮置扩散节点fd中。
62.当积累操作随着第一传输控制信号ts1和第三传输控制信号ts3从高电平转变为低电平而完成时，可以经由列线cl在第二时间段t2内输出与根据积累操作积累在浮置扩散节点fd中的对应的第一图像信号sig1。斜坡信号ramp可以被生成为在第二时间段t2内以特定斜率减小(或增大)。在斜坡信号ramp的电压电平不断变化的第二时间段t2期间，读出电路130可以将斜坡信号ramp与第一图像信号sig1进行比较。
63.在已经过去第二时间段t2之后，第二传输控制信号ts2可以从低电平转变为高电平以在第二传输时间段tt2内保持高电平，第四传输控制信号ts4可以从低电平转变为高电平以在第四传输时间段tt4内保持高电平。在示例实施例中，第二传输时间段tt2可以与第四传输时间段tt4至少部分地重叠。
64.在本示例实施例中，第二传输晶体管tx2通过高电平的第二传输控制信号ts2而导通，并且因此由第二光电转换装置pd2生成的光电荷可以积累在浮置扩散节点fd中(积累操作)。在本示例实施例中，第四传输晶体管tx4通过高电平的第四传输控制信号ts4而导通，
并且因此由第四光电转换装置pd4生成的光电荷可以积累在浮置扩散节点fd中(积累操作)。
65.在本示例实施例中，参照图3，第二光电转换装置pd2和第四光电转换装置pd4对应于白色像素，并且因此与白色像素值对应的电荷可以经由上述积累操作额外地积累在浮置扩散节点fd中。因此，与复位操作对应的电荷、与彩色像素值对应的电荷和与白色像素值对应的电荷可以积累在浮置扩散节点fd中。
66.当积累操作随着第二传输控制信号ts2和第四传输控制信号ts4从高电平转变为低电平而结束时，可以经由列线cl在第三时间段t3内输出与根据积累操作积累在浮置扩散节点fd中的电荷对应的第二图像信号sig2。斜坡信号ramp可以被生成为在第三时间段t3内以特定斜率减小(或增大)。在斜坡信号ramp的电压电平不断变化的第三时间段t3期间，读出电路130可以将斜坡信号ramp与第二图像信号sig2进行比较。
67.在已经经过第三时间段t3之后，复位控制信号rs可以从低电平转变为高电平并且在第二复位时间段rt2内保持在高电平处。在本示例实施例中，复位晶体管rx根据高电平的复位控制信号rs而导通，并且因此浮置扩散节点fd可以复位(复位操作)。
68.图1的读出电路130可以接收复位信号rst、第一图像信号sig1和第二图像信号sig2，并且可以基于接收到的信号生成彩色像素值和白色像素值。
69.例如，读出电路130可以基于第一图像信号sig1和复位信号rst计算彩色像素值。例如，读出电路130可以基于第一图像信号sig1与复位信号rst之间的差计算彩色像素值。
70.例如，读出电路130可以基于第一图像信号sig1和第二图像信号sig2计算白色像素值。例如，读出电路130可以基于第一图像信号sig1与第二图像信号sig2之间的差计算白色像素值。
71.如上所述，由于根据本示例实施例的图像传感器100可以在单个帧时段中从具有rgbw图案(或rgby图案)的像素阵列110读出包括彩色像素的感测信号和白色像素(或黄色像素)的感测信号的多个像素信号，因此可以保持高帧率，并且可以减少功率消耗。
72.图5a是示出根据示例实施例的生成包括具有rgbw图案的像素阵列110的图像传感器的低分辨率图像数据的操作的示图。图5b是示出根据示例实施例的生成包括具有rgby图案的像素阵列110a的图像传感器的低分辨率图像数据的操作的示图。
73.参照图5a，像素阵列110可以具有rgbw图案。读出电路130可以在执行组合操作的第一模式下接收分别与组合区域ba对应的多个像素信号。读出电路130可以基于多个像素信号计算组合区域ba中的每一个的彩色像素值和白色像素值，以生成第一图像数据idt1和第二图像数据idt2。
74.在图5a的示例实施例中，像素阵列110包括以4
×
4矩阵布置的十六个组合区域ba，读出电路130可以计算分别与十六个组合区域ba对应的十六个彩色像素值。读出电路130可以基于计算的十六个彩色像素值生成第一图像数据idt1。读出电路130可以计算分别与十六个组合区域ba对应的十六个白色像素值，并且基于计算的十六个白色像素值生成第二图像数据idt2。
75.参照图5b，像素阵列110a可以具有rgby图案。可以根据图5a的上述方法生成输出图像数据oidt。
76.例如，参照图5b，像素阵列110a包括以4
×
4矩阵布置的十六个组合区域ba。读出电
路130可以计算分别与十六个组合区域ba对应的十六个彩色像素值，并且基于所计算的十六个彩色像素值生成第一图像数据idt1。读出电路130可以计算分别与十六个组合区域ba对应的十六个黄色像素值，并且基于计算的十六个黄色像素值生成第二图像数据idt2。
77.图像信号处理器160可以通过以组合区域ba为单位将第一图像数据idt1与第二图像数据idt2合并来生成输出图像数据oidt，例如以便输出与分别同十六个黄色像素值合并的十六个彩色像素值对应的十六个值。
78.图6是根据示例实施例的图像传感器的操作方法的流程图。图6的操作方法可以应用到图1的图像传感器100。
79.参照图1和图6，图像传感器100可以在单个帧时段中从像素阵列110的多个组合区域ba中的每一个读出包括彩色像素的感测信号和白色像素(或黄色像素)的感测信号的多个像素信号(s100)。
80.例如，图像传感器100可以在单个帧时段中从包括共享浮置扩散节点的多个像素px的组合区域ba读出多个像素信号。读出的多个像素信号可以包括复位信号、包括彩色像素的感测信号的第一图像信号、以及包括彩色像素的感测信号和白色像素(或黄色像素)的感测信号的第二图像信号。
81.然后，图像传感器100可以基于读出的多个像素信号生成包括彩色像素值的第一图像数据idt1(s200)。
82.例如，图像传感器100可以基于多个像素信号之中的复位信号和第一图像信号生成包括彩色像素值的第一图像数据idt1。
83.然后，图像传感器100可以基于读出的多个像素信号生成包括白色像素值(或黄色像素值)的第二图像数据idt2(s300)。
84.例如，图像传感器100可以基于多个像素信号之中的第一图像信号和第二图像信号生成包括白色像素值(或黄色像素值)的第二图像数据idt2。
85.然后，图像传感器100可以通过将第一图像数据与第二图像数据合并来生成输出图像数据oidt(s400)。
86.例如，图像传感器100可以通过以组合区域ba为单位将第一图像数据idt1与第二图像数据idt2合并来生成输出图像数据oidt。
87.图7a至图7d是根据示例实施例的用于描述读出方法的示图。在下文中，为了便于描述，假设像素阵列110包括四个组合区域ba，即，第一组合区域至第四组合区域ba1、ba2、ba3和ba4。然而，更多的组合区域ba可以包括在像素阵列110中。
88.图像传感器100可以在执行组合操作的第一模式下从每个组合区域ba读出多个像素信号。参照图7a和图7c，图像传感器100可以从第一组合区域至第四组合区域ba1、ba2、ba3和ba4中的每一个读出多个像素信号。
89.在示例实施例中，在第一方向(例如，x轴方向)上布置的组合区域ba可以共享用于接收传输控制信号ts的传输线，在第二方向(例如，y轴方向)上布置的组合区域ba可以共享用于输出像素信号的列线。
90.例如，参照图7a，在x轴方向上布置的第一组合区域ba1和第二组合区域ba2可以共享传输控制信号ts《n》、ts_w《n》、ts《n 1》和ts_w《n 1》。参照图7c，在x轴方向上布置的第三组合区域ba3和第四组合区域ba4可以共享传输控制信号ts《n 2》、ts_w《n 2》、ts《n 3》和
ts_w《n 3》。再次参照图7a，在y轴方向上布置的第一组合区域ba1和第三组合区域ba3可以共享列线clm。再次参照图7c，在y轴方向上布置的第二组合区域ba2和第四组合区域ba4可以共享列线clm 1。
91.图像传感器100可以在每个帧时段中以两个行线为单位读出多个像素信号。
92.例如，参照图7b，图像传感器100可以在第一帧时段t_frame1中从分别布置在第一行(例如，行n)和第二行(例如，行n 1)中的第一组合区域ba1和第二组合区域ba2中的每一个读出多个像素信号。
93.然后，参照图7d，图像传感器100可以在第一帧时段t_frame1之后的第二帧时段t_frame2中从分别布置在第三行(例如，行n 2)和第四行(例如，行n 3)中的第三组合区域ba3和第四组合区域ba4中的每一个读出多个像素信号。
94.在下文中，将参照图7a和图7b更加详细地描述第一帧时段t_frame1中的操作，并且将参照图7c和图7d更加详细地描述第二帧时段t_frame2中的操作。
95.参照图7a，第一组合区域ba1和第二组合区域ba2可以共享行线，并且通过行线从图1的行驱动器120接收控制信号，如上所述。例如，第一组合区域ba1和第二组合区域ba2可以通过四条行线接收第n彩色像素传输控制信号ts《n》、第n白色像素传输控制信号ts_w《n》、第n 1彩色像素传输控制信号ts《n 1》和第n 1白色像素传输控制信号ts_w《n 1》。
96.响应于第n彩色像素传输控制信号ts《n》，第一彩色像素(即，第一组合区域ba1和第二组合区域ba2的第一绿色像素gr1和红色像素r1)可以将积累在光电转换装置中的电荷传输到浮置扩散节点。响应于第n白色像素传输控制信号ts_w《n》，第一组合区域ba1和第二组合区域ba2的第一白色像素w1可以将积累在光电转换装置中的电荷传输到浮置扩散节点。
97.响应于第n 1彩色像素传输控制信号ts《n 1》，第一组合区域ba1和第二组合区域ba2的第二彩色像素(即，第一绿色像素gr2和红色像素r2)可以将积累在光电转换装置中的电荷传输到浮置扩散节点。响应于第n 1白色像素传输控制信号ts_w《n 1》，第一组合区域ba1和第二组合区域ba2的第二白色像素w2可以将积累在光电转换装置中的电荷传输到浮置扩散节点。
98.参照图7b，在第一帧时段t_frame1中，第一组合区域ba1和第二组合区域ba2中的每一个可以响应于上述传输控制信号(即，第n彩色像素传输控制信号ts《n》、第n白色像素传输控制信号ts_w《n》、第n 1彩色像素传输控制信号ts《n 1》和第n 1白色像素传输控制信号ts_w《n 1》)、第n复位信号rs《n》、和第n选择信号sel《n》输出多个像素信号。
99.将图4的实施例与图7b的实施例进行比较，第一传输控制信号ts1可以对应于第n彩色像素传输控制信号ts《n》，第二传输控制信号ts2可以对应于第n白色像素传输控制信号ts_w《n》，第三传输控制信号ts3可以对应于第n 1彩色像素传输控制信号ts《n 1》，第四传输控制信号ts4可以对应于第n 1白色像素传输控制信号ts_w《n 1》，复位控制信号rs可以对应于第n复位信号rs《n》，选择信号sel可以对应于第n选择信号sel《n》。可以以与以上参照图4描述的示例中相同的方式应用根据传输控制信号ts《n》、ts_w《n》、ts《n 1》、ts_w《n 1》、第n复位信号rs《n》和第n选择信号sel《n》中的每一个的电平转变输出第一组合区域ba1和第二组合区域ba2中的每一个的复位信号rst、第一图像信号sig1和第二图像信号sig2的方法，并且因此，将省略其重复描述。
100.第一组合区域ba1可以输出复位信号rst、与第一绿色像素gr1和gr2的像素信号对应的第一图像信号sig1、以及与第一绿色像素gr1和gr2及白色像素w1和w2的像素信号对应的第二图像信号sig2。第二组合区域ba2可以输出复位信号rst、与红色像素r1和r2的像素信号对应的第一图像信号sig1、以及与红色像素r1和r2及白色像素w1和w2的像素信号对应的第二图像信号sig2。
101.参照图7c，第三组合区域ba3和第四组合区域ba4可以共享行线，并且通过传输线从图1的行驱动器120接收控制信号。
102.例如，第三组合区域ba3和第四组合区域ba4可以经由四条传输线接收第n 2彩色像素传输控制信号ts《n 2》、第n 2白色像素传输控制信号ts_w《n 2、第n 3彩色像素传输控制信号ts《n 3》和第n 3白色像素传输控制信号ts_w《n 3》。
103.第三组合区域ba3和第四组合区域ba4的第一彩色像素(即，蓝色像素b1和第二绿色像素gb1)可以响应于第n 2彩色像素传输控制信号ts《n 2》而传输积累在光电转换装置中的电荷。第三组合区域ba3和第四组合区域ba4的第一白色像素w1可以响应于第n 2白色像素传输控制信号ts_w《n 2》而传输积累在光电转换装置中的电荷。
104.第三组合区域ba3和第四组合区域ba4的第二彩色像素(即，蓝色像素b2和第二绿色像素gb2)可以响应于第n 3彩色像素传输控制信号ts《n 3》而传输积累在光电转换装置中的电荷。第三组合区域ba3和第四组合区域ba4的第二白色像素w2可以响应于第n 3白色像素传输控制信号ts_w《n 3》而传输积累在光电转换装置中的电荷。
105.参照图7d，在第二帧时段t_frame2中，第三组合区域ba3和第四组合区域ba4中的每一个可以响应于上述传输控制信号(即，第n 2彩色像素传输控制信号ts《n 2》、第n 2白色像素传输控制信号ts_w《n 2》、第n 3彩色像素传输控制信号ts《n 3》、第n 3白色像素传输控制信号ts_w《n 3》)、第n 1复位信号rs《n 1》和第n 1选择信号sel《n 1》而输出多个像素信号。
106.将图4的实施例与图7d的实施例进行比较，第一传输控制信号ts1可以对应于第n 2彩色像素传输控制信号ts《n 2》，第二传输控制信号ts2可以对应于第n 2白色像素传输控制信号ts_w《n 2》，第三传输控制信号ts3可以对应于第n 3彩色像素传输控制信号ts《n 3》，第四传输控制信号ts4可以对应于第n 3白色像素传输控制信号ts_w《n 3》，复位控制信号rs可以对应于第n 1复位信号rs《n 1》，选择信号sel可以对应于第n 1选择信号sel《n 1》。可以以与以上参照图4描述的示例中相同的方式应用根据传输控制信号ts《n 2》、ts_w《n 2》、ts《n 3》、ts_w《n 3》、第n 1复位信号rs《n 1》和第n 1选择信号sel《n 1》中的每一个的电平转变输出第三组合区域ba3和第四组合区域ba4中的每一个的复位信号rst、第一图像信号sig1和第二图像信号sig2的方法，并且因此，将省略其重复描述。
107.第三组合区域ba3可以输出复位信号rst、与蓝色像素b1和b2的像素值对应的第一图像信号sig1、以及与蓝色像素b1和b2及白色像素w1和w2的像素值对应的第二图像信号sig2。第四组合区域ba4可以输出复位信号rst、与第二绿色像素gb1和gb2的像素值对应的第一图像信号sig1、以及与第二绿色像素gb1和gb2及白色像素w1和w2的像素值对应的第二图像信号sig2。
108.图8是示出根据示例实施例的电子装置的框图。
109.参照图8，电子装置1000可以包括图像传感器1100、应用处理器(ap)1200、显示器
1300、存储器1400、存储部1500、用户接口1600和无线电收发器1700。
110.图8的图像传感器1100可以对应于图1的图像传感器。这里将省略以上参照图1提供的细节的描述。
111.应用处理器1200可以控制电子装置1000的整体操作，并且可以作为驱动应用程序的片上系统(soc)、操作系统等被提供。应用处理器1200可以从图像传感器1100接收图像数据，并且可以对接收到的图像数据执行图像处理。在示例实施例中，应用处理器1200可以将接收到的图像数据和/或经处理的图像数据存储在存储器1400或存储部1500中。
112.显示器1300可以显示由应用处理器1200提供的图像、信息等。
113.存储器1400可以存储由应用处理器1200处理或执行的程序和/或数据。
114.存储部1500可以使用非易失性存储器装置(诸如nand闪存、电阻式存储器等)来实施，存储部1500可以使用例如存储器卡(多媒体卡(mmc)、嵌入式mmc(emmc)、安全数字(sd)卡、微型sd)来提供。存储部1500可以存储关于用于控制应用处理器1200的图像处理操作的执行算法的数据和/或程序，并且当执行图像处理操作时，该数据和/或程序可以被加载到存储器1400。
115.用户接口1600可以使用可以接收用户输入的各种装置(诸如键盘、窗帘按键面板、触控面板、指纹传感器、麦克风)来实施。用户接口1600可以接收用户输入，并且将与接收到的用户输入对应的信号提供到应用处理器1200。
116.无线电收发器1700可以包括调制解调器1710、收发器1720和天线1730。
117.图9是示出根据示例实施例的电子装置的一部分的框图。图10是示出根据示例实施例的相机模块的详细结构框图。例如，图9示出了作为图8的电子装置1000的一部分的电子装置2000，图10示出了图9的第二相机模块2100b的详细结构。
118.参照图9，电子装置2000可以包括多相机模块2100、应用处理器(ap)2200和存储器2300。
119.电子装置2000可以通过使用cmos图像传感器俘获和/或存储对象的图像，并且可以实施为便携式电子装置。便携式电子装置可以包括笔记本计算机、移动电话、智能电话、平板pc、可穿戴装置等。
120.多相机模块2100可以包括第一相机模块2100a、第二相机模块2100b和第三相机模块2100c。多相机模块2100可以包括图1的图像传感器100。尽管图9中所示的多相机模块2100包括三个相机模块(即，第一相机模块2100a、第二相机模块2100b和第三相机模块2100c)，但是各种数量的相机模块可以包括在多相机模块2100中。
121.以下将结合图10更加详细地描述ap 2200。
122.存储器2300可以与图8中所示的存储器1400具有相同的功能，并且将省略其重复描述。
123.在下文中，参照图10，将详细地描述第二相机模块2100b的详细结构。以下的描述还可以应用于其它相机模块(第一相机模块2100a和第三相机模块2100c)。
124.参照图10，第二相机模块2100b可以包括棱镜2105、光路折叠元件(opfe)2110、致动器2130、图像感测装置2140和存储部2150。
125.棱镜2105可以包括光反射材料的反射表面2107，以使从外部入射的光l的路径变形。根据示例实施例，棱镜2105可以将在第一方向x上入射的光l的路径改变为垂直于第一
方向x的第二方向y。棱镜2105可以围绕中心轴2106在a方向或b方向上旋转光反射材料的反射表面2107，从而将在第一方向x上入射的光l的路径改变为垂直于第一方向x的第二方向y。opfe 2110还可以在垂直于第一方向x和第二方向y的第三方向z上移动。
126.在示例实施例中，棱镜2105在方向a上的最大可旋转角度可以在正( )a方向上小于或等于15度，并且可以在负(-)a方向上大于15度。
127.棱镜2105可以在平行于中心轴2106延伸的方向的第三方向(例如，z方向)上移动光反射材料的反射表面2107。在示例实施例中，棱镜2105可以在平行于中心轴2106延伸的方向的第三方向(例如，z方向)上移动光反射材料的反射表面2107。
128.opfe 2110可以包括m(其中，m为自然数)个光学镜头，并且m个光学镜头可以在第二方向y上移动，并且改变相机模块2100b的光学变焦比。例如，当相机模块2100b的基本光学变焦比为z并且移动包括在opfe 2110中的m个光学镜头时，相机模块2100b的光学变焦比可以变为3z、5z，或者光学变焦比高于5z。
129.致动器2130可以将opfe 2110或光学镜头(在下文中被称作光学透镜)移动到特定位置。例如，致动器2130可以调整光学透镜的位置，使得图像传感器2142位于光学透镜的焦距处以用于准确感测。
130.图像感测装置2140可以包括图像传感器(传感器)2142、控制逻辑(逻辑)2144和存储器2146。
131.图像传感器2142可以通过使用通过光学透镜提供的光l来感测感测目标的图像。图10的图像传感器2142可以在功能上与图1的图像传感器100相似，并且因此将省略其重复描述。
132.控制逻辑2144可以控制第二相机模块2100b的整体操作。例如，控制逻辑2144可以根据经由控制信号线cslb提供的控制信号控制第二相机模块2100b的操作。
133.存储器2146可以存储第二相机模块2100b的操作所必需的信息(例如，校准数据2147)。校准数据2147可以包括第二相机模块2100b通过使用从外部提供的光l生成图像数据所必需的信息。校准数据2147可以包括例如关于上述旋转角度的信息、关于焦距的信息、关于光学轴的信息等。当第二相机模块2100b以焦距根据光学透镜的位置而改变的多状态相机的形式来实施时，校准数据2147可以包括用于光学透镜的各个位置(或状态)的焦距值和与自动聚焦有关的信息。
134.存储部2150可以存储通过图像传感器2142感测到的图像数据。存储部2150可以设置在图像感测装置2140外部，并且可以与构成图像感测装置2140的传感器芯片堆叠。例如，存储部2150可以通过电可擦除可编程只读存储器(eeprom)来实施。
135.一起参照图9和图10，在示例实施例中，第一相机模块至第三相机模块2100a、2100b和2100c之中的一个相机模块(例如，第一相机模块2100a)可以包括彼此相邻并且共享一个彩色像素中的相同颜色信息的四个子像素(即，四格单元)，另一相机模块(例如，第二相机模块2100b)可以包括彼此相邻并且共享一个彩色像素中的相同颜色信息的九个子像素(即，九格单元)。
136.第一相机模块至第三相机模块2100a、2100b和2100c可以各自包括致动器2130。因此，第一相机模块至第三相机模块2100a、2100b和2100c可以根据其中包括的致动器2130的操作包括相同或不同的校准数据2147。
137.在示例实施例中，第一相机模块至第三相机模块2100a、2100b和2100c之中的一个相机模块(例如，第二相机模块2100b)可以是包括如上所述的棱镜2105和opfe 2110的折叠透镜型相机模块，其它相机模块(例如，2100a和2100c)可以是没有棱镜2105和opfe 2110的竖直型相机模块。
138.例如，第一相机模块至第三相机模块2100a、2100b和2100c之中的一个相机模块(例如，第三相机模块2100c)可以为通过使用红外线(ir)提取深度信息的竖直型深度相机。在这种情况下，ap 2200可以通过将从这样的深度相机提供的图像数据与从另一相机模块(例如，第一相机模块2100a或第二相机模块2100b)提供的图像数据合并来生成3d深度图像。
139.第一相机模块至第三相机模块2100a、2100b和2100c之中的至少两个相机模块(例如，第一相机模块2100a和第二相机模块2100b)可以具有不同的视场(fov)。在这种情况下，例如，第一相机模块至第三相机模块2100a、2100b和2100c之中的至少两个相机模块(例如，第一相机模块2100a和第二相机模块2100b)可以具有不同的光学透镜。例如，第一相机模块至第三相机模块2100a、2100b和2100c之中的第一相机模块2100a可以比第二相机模块2100b和第三相机模块2100c具有更小的fov。多相机模块2100还可以包括fov比最初使用的相机模块2100a、2100b和2100c的fov更大的相机模块。第一相机模块至第三相机模块2100a、2100b和2100c可以具有彼此不同的fov。在这种情况下，包括在第一相机模块至第三相机模块2100a、2100b和2100c中的光学透镜也可以彼此不同。
140.在示例实施例中，第一相机模块至第三相机模块2100a、2100b和2100c可以彼此物理分离。因此，第一相机模块至第三相机模块2100a、2100b和2100c不被划分并且使用一个图像传感器2142的感测区域。相反，独立的图像传感器2142可以设置在第一相机模块至第三相机模块2100a、2100b和2100c中的每一个的内部。
141.ap 2200可以包括多个第一子处理器至第三子处理器2210a、2210b和2210c、相机模块控制器2230、存储器控制器2240、以及内部存储器2250。ap 2200可以与第一相机模块至第三相机模块2100a、2100b和2100c分开实施。例如，ap 2200以及第一相机模块至第三相机模块2100a、2100b和2100c可以作为单独的半导体芯片彼此分开实施。由第一相机模块至第三相机模块2100a、2100b和2100c生成的图像数据可以通过彼此分开的图像信号线isla、islb和islc分别提供到对应的子处理器2210a、2210b和2210c。例如，从第一相机模块2100a生成的图像数据可以通过第一图像信号线isla提供到第一子处理器2210a，从第二相机模块2100b生成的图像数据可以通过第二图像信号线islb提供到第二子处理器2210b，从第三相机模块2100c生成的图像数据可以通过第三图像信号线islc提供到第三子处理器2210c。例如，可以通过使用基于移动工业处理器接口(mipi)标准的相机串行接口来执行图像数据的传输。
142.一个子处理器可以被设置为对应于多个相机模块。例如，第一子处理器2210a和第三子处理器2210c可以作为单个子处理器一体地实施，而不是彼此分开实施，从第一相机模块2100a和第三相机模块2100c提供的图像数据可以由选择元件(例如，复用器)选择并且被提供到集成的子图像处理器。
143.相机模块控制器2230可以将控制信号提供到第一相机模块至第三相机模块2100a、2100b和2100c中的每一个。从相机模块控制器2230生成的控制信号可以通过彼此分
开的控制信号线csla、cslb和cslc提供到对应的相机模块2100a、2100b和2100c。
144.存储器控制器2240可以控制内部存储器2250。
145.通过总结和回顾，图像数据的增大的大小可能使其难以保持高帧率并且可能增加功率消耗。因此，可以使用经由组合操作生成的具有减小的大小的图像数据的操作模式。
146.如上所述，实施例涉及具有rgbw图案或rgby图案的像素阵列的图像传感器以及该图像传感器的操作方法。实施例可以提供用于在单个帧时段中读出包括彩色像素的感测信号和白色像素(或黄色像素)的感测信号的多个像素信号的图像传感器以及该图像传感器的操作方法。
147.本文中已经公开了示例实施例，尽管采用了特定术语，但是仅以一般性和描述性的含义而非出于限制的目的使用和解释它们。在一些情况下，如对提交本技术为止的本领域的普通技术人员而言将显而易见的是，除非另外明确指出，否则结合特定实施例描述的特征、特性和/或元件可以单独使用，或者与结合其它实施例描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离如所附权利要求中阐述的本发明的精神和范围的情况下，可以做出形式和细节上的各种改变。