一种用于补偿具有多滤色器阵列的图像传感器的串扰的设备和方法与流程

一种用于补偿具有多滤色器阵列的图像传感器的串扰的设备和方法
1.相关申请的交叉引用
2.本技术要求于2020年6月4日在韩国知识产权局提交的韩国专利申请no.10
‑
2020
‑
0067910的优先权，其公开内容通过引用整体并入本文中。
技术领域
3.本发明涉及一种电子设备，并且更具体地，涉及一种用于补偿图像传感器中的多滤色器阵列的串扰的电子设备。


背景技术：

4.图像传感器可以是电荷耦合器件(ccd)图像传感器、互补金属氧化物半导体(cmos)图像传感器(cis)等。cmos图像传感器包括由cmos晶体管形成的像素，并且通过使用包括在每个像素中的光电转换元件来将光能转换为电信号。cmos图像传感器通过使用在每个像素处产生的电信号来获得与捕获/拍摄的图像有关的信息。
5.如今，在各种领域中采用了具有多滤色器阵列的图像传感器，并且在各种领域中也采用了被形成为共享浮置扩散区域(或者，所谓的浮置扩散节点)的像素。然而，制造构成多滤色器阵列的各个滤色器的顺序取决于滤色器的类型而变化，从而引起滤色器的高度(或者，厚度)差。在具有一般拜耳图案的图像传感器中，该高度差可能没有问题。然而，在多个像素共享一个浮置扩散区域的拜耳图案(例如，四拜耳图案)的情况下，滤色器的高度(或者，厚度)差可能会引起光学串扰。


技术实现要素：

6.本公开的技术思想提供了一种用于补偿由于多滤色器阵列中的滤色器的高度差而造成的串扰的电子设备和方法。
7.根据示例性实施例，一种电子设备，包括：处理块，从图像传感器的有源像素区域接收图像数据，并且对图像数据执行预处理；串扰补偿块，对预处理后的图像数据执行串扰补偿；以及暗电平补偿块，对从图像传感器的光学黑色区域接收的暗电平数据执行串扰补偿，并且对串扰补偿后的图像数据和串扰补偿后的暗电平数据执行减法运算。
8.根据示例性实施例，一种电子设备，包括：图像传感器，图像传感器包括有源像素区域和光学黑色区域，有源像素区域包括多个单元像素组，多个单元像素组中的每一个单元像素组包括共享浮置扩散区域的多个像素，图像传感器输出与有源像素区域相对应的图像数据并输出与光学黑色区域相对应的暗电平数据；图像信号处理器(isp)前端块，对图像数据执行串扰补偿，对暗电平数据执行串扰补偿，并对串扰补偿后的图像数据和串扰补偿后的暗电平数据执行减法运算；以及图像信号处理器，接收并处理执行了减法运算的图像数据。
9.根据示例性实施例，一种用于处理从图像传感器输出的信号的方法，图像传感器
包括有源像素区域和光学黑色区域，有源像素区域包括共享第一浮置扩散区域的第一像素以及共享第二浮置扩散区域的第二像素，该方法包括：基于从在第一像素中选择的像素输出的信号来产生图像数据，基于从光学黑色区域输出的信号来产生暗电平数据，根据覆盖第一像素的第一滤色器和覆盖第二像素的第二滤色器的高度差来对图像数据执行串扰补偿，对暗电平数据执行串扰补偿，并且对串扰补偿后的图像数据和串扰补偿后的暗电平数据执行减法运算。
附图说明
10.通过参考附图详细地描述本发明构思的示例性实施例，本发明构思的上述及其他目的和特征将变得清楚。
11.图1示出了根据本公开的实施例的图像处理块的示例性配置。
12.图2示出了根据一个实施例的图1的图像传感器的示例性配置。
13.图3示出了根据一个实施例的图1的图像传感器的平面图。
14.图4示出了沿图3的线i
‑
i’和线ii
‑
ii’截取的像素阵列的截面图。
15.图5示出了图2的像素组之一的示例性电路图。
16.图6a和图6b概念性地示出了外围像素对图2至图4的图像传感器的像素组的影响。
17.图7示出了根据本公开的实施例的isp前端块的示例性配置。
18.图8a和图8b示出了相关双采样的示意性操作。
19.图9示意性地示出了由图7的isp前端块处理的图像数据。
20.图10示出了根据一个实施例的图1的图像传感器的平面图。
21.图11是沿图10的线iii
‑
iii’截取的图像传感器的截面图。
22.图12示出了图10的像素组之一的示例性电路图。
23.图13a和图13b概念性地示出了外围像素对图10至图12的图像传感器的像素组的影响。
24.图14a至图14c示意性地示出了用于确定校准值的各种方法。
25.图15示出了根据本公开的实施例的用于处理从图像传感器输出的信号的方法。
26.图16示出了包括应用本公开的串扰补偿的多相机模块的电子设备的示例性配置。
27.图17示出了图16的相机模块的示例性配置。
具体实施方式
28.下面，以使得本领域普通技术人员可以实现本发明构思的程度详细且清楚地描述了本发明构思的实施例。
29.在具体描述中参考术语“单元”、“模块”、“块”、
“……
器”或
“……
件”等来描述的组件以及附图中所示的功能块将用软件、硬件或其组合来实现。例如，软件可以是机器代码、固件、嵌入式代码和应用软件。例如，硬件可以包括电路、电子电路、处理器、计算机、集成电路、集成电路内核、压力传感器、惯性传感器、微机电系统(mems)、无源元件或者其组合。
30.图1示出了根据本公开的实施例的图像处理块的示例性配置。图像处理块10可以被实现为诸如智能电话、数码相机、膝上型计算机和台式计算机之类的各种电子设备的一部分。图像处理块10可以包括透镜12、图像传感器14、图像信号处理器(isp)前端块16和图
像信号处理器18。
31.在操作中，光由作为拍摄目标的物体、风景反射，并且透镜12接收反射的光。图像传感器14基于通过透镜12接收的光来产生电信号。isp前端块16处理从图像传感器14输出的电信号以适合于由图像信号处理器18进行处理。图像信号处理器18通过适合地处理由isp前端块16处理的电信号来产生与所拍摄的物体和风景相关联的图像数据。
32.图像传感器14可以包括有源像素传感器(aps)区域和光学黑色区域。有源像素传感器区域的像素将光转换为电信号，而光学黑色区域的像素不管光如何都输出暗电流。从光学黑色区域输出的暗电流可以用于补偿暗电平。例如，图像传感器14可以用互补金属氧化物半导体(cmos)图像传感器等来实现。
33.在图1中示出了一个透镜12和一个图像传感器14。然而，在另一示例中，图像处理块10可以包括多个透镜、多个isp前端块和多个图像传感器。可以提供多个图像传感器以具有不同的功能、不同的性能和/或不同的特性。在一些实施例中，图像传感器可以分别包括具有不同视场(fov)的透镜。
34.isp前端块16可以对从图像传感器14输出的信号执行预处理。例如，isp前端块16可以对从图像传感器14输出的信号执行串扰补偿、暗电平补偿等。特别地，在针对从图像传感器14输出的信号的自动暗电平补偿(adlc)中，本公开的isp前端块16考虑了根据构成图像传感器14的像素的滤色器的高度差的串扰补偿。例如，isp前端块16基于预先计算出的串扰校准数据来补偿暗电平。因此，可以去除固定的图案噪声(fpn)。
35.图像信号处理器18可以基于由isp前端块16处理的数据来产生与物体、风景等相关联的图像数据。为此，图像信号处理器18可以执行各种处理，诸如颜色插值、颜色校正、自动白平衡、伽马校正、颜色饱和度校正、格式化、不良像素校正和色相校正。
36.图2示出了图1的图像传感器14的示例性配置。图像传感器100可以包括像素阵列110、行驱动器120、斜坡信号产生器130、模数转换块(在下文中被称为“adc块”)140、定时控制器150和缓冲器160。
37.像素阵列110可以包括沿行和列以矩阵形式布置的多个像素，并且可以被划分为有源像素区域110a和光学黑色区域110b。多个像素中的每一个可以包括光电转换元件。有源像素区域110a的像素可以通过使用光电转换元件来感测光，并且可以将感测到的光转换为电信号(在下文中被称为“像素信号”)。光学黑色区域110b的像素可以不管入射光如何都输出电信号(即，暗电平偏移信号)。例如，光电转换元件可以包括光电二极管、光电晶体管、光电门、钉扎光电二极管等。在图1中示出了这样的实施例，其中光学黑色区域110b被设置在像素阵列110的顶行，但是本公开不限于此。
38.像素阵列110可以包括多个像素组。每个像素组pg可以包括至少两个或更多个像素。在图2中示出了这样的实施例，其中像素组pg包括被布置为两行两列的四个像素。构成一个像素组pg的像素可以共享一个浮置扩散区域(或者，浮置扩散节点)。然而，本公开不限于此。例如，构成一个像素组pg的像素可以共享多个浮置扩散区域。另外，在图2中示出了这样的示例，像素阵列110包括被布置为四行和两列的像素组(即，4
×
2个像素组)。然而，本公开不限于此。
39.像素组pg可以包括相同颜色的像素。例如，像素组pg可以包括用于将红色光谱的光转换为电信号的红色像素“r”、用于将绿色光谱的光转换为电信号的绿色像素gr/gb、用
于将蓝色光谱的光转换为电信号的蓝色像素“b”。例如，构成像素阵列110的像素可以以四拜耳图案的形式进行布置。
40.可以在构成像素阵列110的像素组pg中形成多个滤色器。例如，可以在其上形成多滤色器阵列(multi
‑
cfa)。形成滤色器的高度(例如，滤色器的顶表面的高度)可以取决于处理顺序而变化。例如，相对较早形成的滤色器距基板的高度可以相对较低。相反，相对较晚形成的滤色器距基板的高度可以相对较高。相对较早形成的滤色器可能会受到相对较晚形成的滤色器影响，从而引起像素之间的串扰。将参考图3对此更全面地进行描述。
41.沿一列布置的像素组可以与两条列线交替连接。例如，布置在第一列的像素组中的一些像素组可以与第一列线cl1连接，而其他像素组可以与第二列线cl2连接。如同上面的描述，设置在第二列的像素组中的一些像素组可以与第三列线cl3连接，而其他像素组可以与第四列线cl4连接。
42.行驱动器120被配置为选择并驱动像素阵列110的行。行驱动器120可以解码由定时控制器150产生的地址和/或控制信号，并且可以产生用于选择和驱动像素阵列110的行的控制信号。例如，控制信号可以包括用于选择像素的信号、用于重置浮置扩散区域的信号、用于选择列线的信号等。
43.斜坡信号发生器130被配置为产生斜坡信号。斜坡信号发生器130可以在定时控制器150的控制下操作。例如，斜坡信号发生器130可以响应于诸如斜坡启用信号或模式信号之类的控制信号而操作。当斜坡启用信号被激活时，斜坡信号产生器130可以产生具有基于模式信号而设置的斜率的斜坡信号。
44.adc块140被配置为将从像素阵列110输出的模拟信号(即，像素信号或暗电平偏移信号)转换为数字信号。例如，adc块140可以将像素信号转换为数字信号以产生包括信号电平和暗电平的值。adc块140可以将从光学黑色区域110b输出的暗电平偏移信号转换为数字信号以产生包括暗电平的值。
45.在实施例中，adc模块140可以包括四个adc 140_1、140_2、140_3和140_4，adc各自包括比较器comp和计数器cnt。比较器comp可以将通过与比较器comp连接的列线(即，cl1至cl4之一)输出的像素信号与斜坡信号ramp(参考图8a)进行比较，并且可以输出比较结果。例如，比较器comp可以基于相关双采样(cds)技术进行操作，以获得关于像素信号的重置信号和图像信号，并且提取重置信号与图像信号之间的差异作为有效信号分量。
46.计数器cnt可以在定时控制器150的控制下操作，并且可以对比较器comp的输出信号的脉冲进行计数。例如，计数器cnt可以响应于诸如计数器时钟信号、用于控制计数器cnt的重置的计数器重置信号、以及用于使计数器cnt的内部位反相的反相信号之类的控制信号而操作。计数器cnt可以取决于计数器时钟信号对比较结果信号进行计数，并且可以将计数的结果输出为数字信号。
47.计数器cnt可以包括向上/向下计数器，按位取反计数器等。按位计数器的操作可以类似于向上/向下计数器的操作。例如，按位计数器可以执行以下功能：仅执行向上计数的功能；以及响应于特定信号而将计数器的所有内部位取反以在接收到特定信号时获得1的补码的功能。按位计数器可以执行重置计数，并且可以将重置计数的结果取反为1的补码，即，负值。
48.定时控制器150被配置为产生用于控制行驱动器120、斜坡信号产生器130、adc模
块140和计数器cnt中的每一个的操作和/或定时的控制信号和/或时钟。
49.缓冲器160可以包括存储器mem(例如，存储器单元)和读出放大器sa的集合162。存储器mem中的每一个可以存储从对应的adc输出的数字信号。感测放大器sa可以感测并放大存储在存储器mem中的数字信号。感测放大器sa可以输出放大后的数字信号作为图像数据idat。例如，图像数据idat可以由11比特形成。尽管在附图中未示出，但是感测放大器sa可以放大从adc输出的数字信号(即，第二代码值)，并且可以输出放大后的信号作为暗电平数据。暗电平数据可以用在暗电平补偿中。
50.图3示出了图1的图像传感器的平面图。在实施例中，图3示出了图2中所示的图像传感器100的像素阵列110的平面图。图像传感器100可以包括像素组pg1至pg4。然而，出于示出沿线i
‑
i’和线ii
‑
ii’截取的图像传感器100的截面图的目的，除了像素组pg1至pg4之外，在图3中还示出了与像素组pg1至pg4相邻的其他像素。像素组pg1至pg4可以沿x轴和y轴重复地形成在图像传感器100的基板上。像素组pg1至pg4中的每一个可以包括沿x轴和y轴布置的2
×
2像素。每个像素可以包括光电转换元件pd。
51.用于使特定类型(例如，特定波段)的光通过的滤色器cf1至cf4可以分别形成在像素组pg1至pg4上。例如，第一滤色器cf1可以使蓝光通过，第二滤色器cf2和第三滤色器cf3可以使绿光通过，并且第四滤色器cf4可以使红光通过。如图3中所示，由于第二滤色器cf2在x轴方向上与第一滤色器cf1相邻且第三滤色器cf3在x轴方向上与第四滤色器cf4相邻，所以可以形成拜耳图案。微透镜ml可以形成在在每个像素上形成的滤色器上。
52.图4示出了沿图3的线i
‑
i’和线ii
‑
ii’截取的像素阵列的截面图。
53.像素阵列110可以包括基板sub，基板sub包括彼此背对的第一表面1a和第二表面1b。基板sub可以包括或可以是单晶基板或外延层。基板sub可以包括掺杂有第一导电类型(例如，p型)的杂质的区域1和掺杂有第二导电类型(例如，n型)的杂质的区域2。第一掺杂区域1和第二掺杂区域2可以形成每个像素的光电转换元件pd。当光通过微透镜ml和滤色器(例如，cf1至cf4之一)入射在光电转换元件pd上时，可以产生与吸收的光的强度相对应的电子
‑
空穴对ehp。
54.固定电荷层3可以形成在基板sub的第一表面1a上。固定电荷层3可以包括各种类型的金属氧化物和/或金属氟化物。例如，固定电荷层3可以包括al2o3、hfox、sio2和sin中的至少一种或多种。层间绝缘层6可以形成在基板sub的第二表面1b上。例如，层间绝缘层6可以包括多个绝缘层(可以被称为子层)。层间绝缘层6可以覆盖有钝化层8。例如，钝化层8例如可以包括或可以是氮化硅层。
55.同时，像素px1至px7中的每一个可以包括浮置扩散区域fd和传输晶体管tg。另外，尽管为了简洁起见未示出，但是像素px1至px7中的每一个还可以包括重置晶体管、驱动晶体管和选择晶体管。像素px1至px7可以通过深沟槽隔离器而彼此分离。在将传输信号施加到传输晶体管tg的栅电极时，传输晶体管tg可以导通，因此，在第一掺杂区域1和第二掺杂区域2中产生的电荷可以移动到浮置扩散区域fd。浮置扩散区域fd的电荷可以通过内部导线7传输到外部。
56.遮光图案4可以形成在固定电荷层3上。遮光图案4可以包括钨、钛等。遮光图案4可以防止相邻像素之间的串扰。在平面图中，遮光图案4可以具有栅格形状。遮光图案4例如可以包括彼此平行且在x轴方向上延伸的线性图案以及彼此平行且在y轴方向上延伸的线性
图案。滤色器cf1至cf4可以形成在固定电荷层3上的遮光图案4之间。平坦化层5可以形成在滤色器cf1至cf4上，并且微透镜ml可以形成在平坦化层5上。平坦化层5例如可以由诸如电绝缘材料的透明材料形成。用于防止通过特定滤色器的光影响任何其他的滤色器的遮光图案4可能无法防止由于滤色器cf1至cf4之间的高度或厚度差而造成的影响。
57.在实施例中，假设第一光l1入射在第一像素px1与第二像素px2之间，第二光l2入射在第三像素px3与第四像素px4之间，第三光l3入射在第五像素px5与第三像素px3之间，并且第四光l4入射在第六像素px6与第七像素px7之间。光l1至l4可以来自一个光源(例如，自然光)或多个光源，并且应该理解的是，为了方便起见而取决于光入射在图像传感器100的像素阵列110上的位置进行这种分类。
58.因为第一滤色器cf1的厚度d1或第一滤色器cf1距固定电荷层3的高度(例如，第一滤色器cf1的最上表面距固定电荷层3的高度)与第三滤色器cf3的厚度d3或第三滤色器cf3距固定电荷层3的高度(例如，第三滤色器cf3的最上表面距固定电荷层3的高度)不同，所以当光l1入射时，由于第一像素px1的第一滤色器cf1而造成的阴影可能会影响第二像素px2的第三滤色器cf3的区域“a”。当光l2入射时，由于第四像素px4的第一滤色器cf1而造成的阴影可能会影响第三像素px3的第三滤色器cf3的区域“b”。
59.如上所述，因为第三滤色器cf3的厚度d3或第三滤色器cf3距固定电荷层3的高度(例如，第三滤色器cf3的最上表面距固定电荷层3的高度)与第四滤色器cf4的厚度d4或第四滤色器cf4距固定电荷层3的高度(例如，第四滤色器cf4的最上表面距固定电荷层3的高度)不同，所以当光l3入射时，由于第五像素px5的第四滤色器cf4而造成的阴影可能会影响第三像素px3的第三滤色器cf3的区域“c”。当光l4入射时，由于第七像素px7的第四滤色器cf4而造成的阴影可能会影响第六像素px6的第三滤色器cf3的区域“d”。
60.由于上述滤色器cf1至cf4的厚度或高度差，实际入射在各个像素上的光的强度可能不同，从而使得动态范围和/或固定图案噪声减小。因此，本公开的isp前端块16(参考图1)被配置为在暗电平补偿中根据滤色器cf1至cf4的高度差来考虑串扰。例如，isp前端块16可以将包括图像数据的信号电平和暗电平的代码电平乘以用于补偿串扰的校准值。另外，即使在补偿暗电平的情况下，isp前端块16也可以将包括暗电平数据的暗电平的代码电平乘以用于补偿串扰的校准数据。
61.示出了这样的实施例，其中通过红光的第四滤色器cf4最厚且通过绿光的第三滤色器cf3最薄，但是本公开不限于此。例如，滤色器的厚度可以取决于形成滤色器的顺序而不同地改变。例如，较早形成的滤色器可以相对较薄，而较晚形成的滤色器可以相对较厚。
62.图5示出了图2的像素组pg1至pg4之一的示例性电路图。在实施例中，第三像素组pg3可以包括光电转换元件pd1至pd4、传输晶体管tg1至tg4、双转换晶体管dct、重置晶体管rt、驱动晶体管dt和选择晶体管st。第一像素gr1可以包括第一光电转换元件pd1和第一传输晶体管tg1。第二像素gr2可以包括第二光电转换元件pd2和第二传输晶体管tg2，并且其余的像素gr3和gr4中可以各自包括相似的组件/元件。第一像素gr1至第四像素gr4可以共享双转换晶体管dct、重置晶体管rt、驱动晶体管dt、选择晶体管st和浮置扩散区域fd。
63.当双转换晶体管dct断开时，浮置扩散区域fd可以与第一浮置扩散电容器cfd1连接。当双转换晶体管dct导通时，浮置扩散区域fd可以与第二浮置扩散电容器cfd2以及第一浮置扩散电容器cfd1连接。例如，浮置扩散电容器cfd1和cfd2可以是寄生电容器和/或电容
器元件。可以提供第二浮置扩散电容器cfd2以防止饱和。
64.传输晶体管tg1至tg4可以将由光电转换元件pd1至pd4产生的电荷传输到浮置扩散区域fd或在双转换晶体管dct导通时扩展的浮置扩散区域fd’。例如，传输晶体管tg1、tg2、tg3和tg4的第一端可以分别与光电转换元件pd1、pd2、pd3和pd4连接，并且它们的第二端可以与浮置扩散区域fd共同连接。传输晶体管tg1、tg2、tg3和tg4可以分别由从行驱动器120(参考图1)接收的传输信号vtg1、vtg2、vtg3和vtg4控制。
65.浮置扩散区域fd或扩展的浮置扩散区域fd’可以汇集与入射光的量相对应的电荷。浮置扩散区域fd可以具有与第一浮置扩散电容器cfd1相对应的电容。在通过传输信号vtg1、vtg2、vtg3和vtg4分别使传输晶体管tg1、tg2、tg3和tg4导通的时间期间，从光电转换元件pd1、pd2、pd3和pd4提供的电荷可以汇集在浮置扩散区fd或扩展的浮置扩散区fd’处。浮置扩散区域fd可以与用作源极跟随器放大器的驱动晶体管dt的栅极端子连接。结果是，可以形成与汇集在浮置扩散区域fd处的电荷相对应的电压电势。
66.重置晶体管rt可以通过重置信号vrst导通，并且可以向浮置扩散区域fd或扩展的浮置扩散区域fd’提供重置(reset)电压(例如，电源电压vdd)。结果是，汇集在浮置扩散区域fd或扩展的浮置扩散区域fd’处的电荷可以移动到电源电压vdd的端子，并且可以重置浮置扩散区域fd或扩展的浮置扩散区域fd’的电压。
67.驱动晶体管dt可以放大浮置扩散区域fd或扩展的浮置扩散区域fd’的电势的变化，并且可以产生与放大的结果相对应的电压(即，像素信号pix)。选择晶体管st可以由选择信号vsel驱动，并且可以以行为单位选择要读取的像素。当选择晶体管st导通时，像素信号pix可以通过列线cl输出。
68.图6a和图6b概念性地示出了外围像素对图2至图4的图像传感器的像素组的影响。
69.首先，一起参考图2至图4以及图6a，构成第三像素组pg3的像素gr1至gr4中的每一个可能会受到覆盖与其相邻的至少一个像素的滤色器影响。例如，覆盖像素gr1至gr4的第三滤色器cf3的厚度(或者，高度)可以小于与其相邻的其他滤色器的厚度(或者，高度)。例如，像素gr1可能会受到由于覆盖像素r2的第四滤色器cf4而造成的阴影以及由于覆盖像素b3的第一滤色器cf1而造成的阴影影响。在实施例中，像素gr1经历的串扰由“c1”标记。
70.如上所述，剩余的像素gr2至gr4可能会受到相邻滤色器影响，并且像素gr2、gr3和gr4经历的串扰可以是“c2”、“c3”和“c4”。因为像素gr1至gr4的周围环境(即，滤色器高度)相同，所以像素gr1至gr4经历的影响可能大致相同。即，串扰c1至c4的值可能大致相同。然而，因为覆盖像素gb1至gb4的滤色器的高度与覆盖像素gr1至gr4的第三滤色器cf3的高度相同，所以可能不存在由于滤色器的厚度差而造成的像素gb1至gb4的影响。
71.接下来，一起参考图2至图4以及图6b，覆盖像素b1至b4的第一滤色器cf1的高度大于覆盖像素gr1至gr4以及gb1至gb4的滤色器的高度。因此，与像素b1至b4相关联的信号可能不会受覆盖像素gr1至gr4以及gb1至gb4的滤色器影响。然而，覆盖像素b1至b4的第一滤色器cf1的高度可以小于覆盖像素r1至r4的滤色器的高度。因此，像素b1可能会受到覆盖像素r4的滤色器轻微影响。在实施例中，像素b1经历的串扰由“c5”标记。如上所述，剩余的像素b2、b3和b4可能会分别受到覆盖像素r3、r2和r4(c6至c8)的滤色器影响。
72.根据上面的描述，第二像素组pg2的像素gb1至gb4以及第三像素组pg3的像素gr1至gr4可能会受到覆盖周围像素的滤色器的最大影响。第一像素组pg1的像素b1至b4可能会
受到覆盖周围像素r1至r4的滤色器的轻微影响，而第四像素组pg4的像素r1至r4可能不会受到覆盖周围像素的滤色器影响。根据本公开，相对于从光学黑色区域110b(参见图2)输出的暗电平偏移信号的暗电平，补偿了由于滤色器的厚度(或者，高度)差而造成的串扰。结果是，可以去除固定的图案噪声。
73.图7示出了根据本公开的实施例的isp前端块16的示例性配置。例如，isp前端块200可以用图1的isp前端块16来实现。isp前端块200可以包括cds处理块210、串扰补偿块220、暗电平补偿块230和校准数据解码器240。
74.cds处理块210被配置为接收并处理从图像传感器100(参考图2)输出的图像数据idat。例如，cds处理块210可以允许将特定范围的数据用作图像数据idat的输出范围内的有效数据(或者，有效的数据)。例如，cds处理块210可以确定是否同时处理图像数据idat的数据，图像数据idat的数据属于特定值的区域或该特定值的大于某一量与小于某一量的范围内的区域。
75.在实施例中，cds处理块210可以处理在低照度环境中输出的图像数据idat。为了去除图像数据idat的负值，cds处理块210可以将adc偏移值(例如，诸如128的常数)添加到图像数据idat。参考示出了相关双采样的示意性操作的图8a，由于在低照度环境中汇集在浮置扩散区域fd或fd’(参考图5)处的电荷的量较小，因此，根据传输晶体管tg1至tg4(参考图5)的导通的像素信号pix中的变化“b”可能非常小。在这种情况下，可能需要将特定值添加到图像数据idat的操作以去除包括在图像数据idat中的负值。
76.在一个实施例中，cds处理块210可以确定用于将图像数据idat处理为黑色的最小值max_pos_value(参考图9)。例如，cds处理块210可以将具有负值的图像数据idat的符号取反，并且可以将具有取反后的符号的图像数据idat的值的补码确定为最小值max_pos_value。例如，最小值max_pos_value可以具有近似为“2047”的值，该值是11比特的图像数据idat的最大值。
77.在实施例中，cds处理块210可以处理在高照度环境中输出的图像数据idat。一起参考示出了相关双采样的示意性操作的图8b，由于在高照度环境中汇集在浮置扩散区域fd或fd’(参考图5)处的电荷的量很大，因此，根据传输晶体管tg1至tg4(参考图5)的导通的像素信号pix中的变化“b”可能非常大。在这种情况下，cds处理块210可以确定用于将图像数据idat处理为白色的边界值clip_up_value(参考图9)。边界值clip_up_value的范围或更大的范围可以被认为是饱和状态。
78.另外，在由于在高照度环境下光进入光学黑色区域110b(参考图2)(其中，光通常未被阻挡)而造成图像数据idat失真的情况下，cds处理块210可以执行各种操作以校准失真。
79.为了描述cds处理块210的操作，在图8a和图8b中示意性地示出了相关双采样操作，相关双采样操作通过将像素信号pix与斜坡信号ramp进行比较并使用计数时钟cnt_clk来产生计数值cnt作为对比较结果进行计数的结果。然而，因为相关双采样本身是众所周知的，因此将省略附加描述以避免冗余。
80.返回到图7，串扰补偿块220可以接收由cds处理块210预处理的图像数据idat_pre。串扰补偿块220可以将图像数据idat_pre的代码电平乘以用于补偿由于滤色器的高度(或者，厚度)差而造成的串扰的校准值α。结果是，与包括在代码电平中的信号电平相同，也
可以将暗电平乘以校准值α。例如，如参考图6a和图6b所述，第三像素组pg3的像素gr1至gr4可能会受到覆盖相邻像素的滤色器的显著影响。因此，图像数据idat的代码电平可能与预期的原始值不同，从而使得动态范围减小。例如，由下面的等式1表示的校准值α和图像数据idat_pre的代码电平可以相乘在一起以使得减小的动态范围再次变宽。串扰补偿块220可以输出串扰补偿后的图像数据idat_xt。
81.[等式1]
[0082][0083]
在上面的等式1中，“value_gr1”指示从像素gr1输出的图像数据的像素值(即，代码电平)，并且“value_gr2”指示从像素gr2输出的图像数据的像素值。“value_gr3”指示从像素gr3输出的图像数据的像素值，并且“value_gr4”指示从像素gr4输出的图像数据的像素值。“value_gri”(i为1至4)指示从作为串扰补偿目标的像素输出的图像数据的像素值。
[0084]
暗电平补偿块230可以从图像数据idat_xt中减去暗电平数据，以产生暗电平补偿后的图像数据idat_dk。例如，作为与从光学黑色区域域110b(参考图2)输出的暗电平偏移信号相对应的数字信号的暗电平数据可以包括暗电平。然而，暗电平补偿块230可能不仅仅从图像数据idat_xt中减去暗电平数据，而且还可以将校准值α应用于暗电平数据。
[0085]
然而，在没有用于暗电平数据的串扰补偿的情况下，动态范围的减小可能是不可避免的。原因在于，在对图像数据执行串扰补偿时，校正值甚至被应用于包括在图像数据的代码电平中的暗电平，因此动态范围减小得与图像数据的暗电平一样多。根据本公开的暗电平补偿，串扰补偿后的图像数据idat_xt的相乘的暗电平和暗电平数据的暗电平可以完全抵消，因此，可以从图像数据idat的代码电平中去除暗电平。
[0086]
暗电平补偿块230可以将具有特定值(例如，诸如64的常数)的基准值添加到暗电平补偿后的图像数据idat_dk。例如，相加的基准值可以用于防止暗电平补偿后的图像数据idat_dk具有负值。在执行上述一组操作之后，暗电平补偿块230可以去除暗电平补偿后的图像数据idat_dk。例如，暗电平补偿块230可以剪切暗电平补偿后的图像数据idat_dk，以便适合于图像信号处理器18(参考图1)的处理。结果是，可以获得10比特的图像数据idat_dk，并且可以向图像信号处理器18(参考图2)提供所获得的图像数据idat_dk。
[0087]
校准数据解码器240可以从外部(例如，存储器)接收串扰校准数据。例如，可以压缩作为预先测量到的值的校准值，并且可以将压缩后的值作为串扰校准数据存储在外部存储器中。校准数据解码器240可以对串扰校准数据进行解码，并且可以输出与构成像素阵列110(参考图2)的像素中的每一个相对应的校准值α。例如，串扰校准数据可以包括像素阵列110的每一行(或者，列)中的像素的校准值的代表值(例如，平均值、最大值或最小值)，以及校准数据解码器240可以通过插值方案等产生每一行(或者，列)中的像素的校准值。
[0088]
然而，在另一实施例中，可以直接从外部(例如，存储器)接收像素阵列110的每一行(或者，列)中的像素的校准值。在这种情况下，校准值可以是预先测量到的值，并且可以在没有编码和解码处理的情况下提供给isp前端块200。因此，在直接从外部接收校准值的实施例中，可以不需要图7中所示的校准数据解码器240。
[0089]
图9示意性地示出了由图7的isp前端块200处理的图像数据。
[0090]
一起参考图7和9，cds处理块210可以将adc偏移值添加到从图像传感器14(参考图
2)接收的图像数据idat。cds处理块210可以当图像数据idat包括负值时确定用于像素的黑色处理的max_pos_value，并且可以在高照度环境中确定用于图像数据idat的白色处理的clip_up_value。尽管在附图中未示出，但是可以将从cds处理块210输出的图像数据idat_pre的代码电平乘以校准值α，因此，可以补偿由于滤色器的厚度(或者，高度)而造成的串扰。
[0091]
暗电平补偿块230可以补偿关于图像数据idat_pre的暗电平。例如，在暗电平补偿中，暗电平补偿块230还可以将减去的暗电平偏移信号乘以校准值α。这在图9中由“暗
ⅹ
α”表示。暗电平补偿块230可以将基准值添加到暗电平补偿后的图像数据idat_dk，并且可以输出适合于图像信号处理器18的处理的10比特的图像数据idat_dk。
[0092]
图10示出了根据一个实施例的图1的图像传感器的平面图。图像传感器300可以包括像素组pg1至pg4，这些像素组各自包括单元像素组upg1至upg3。像素组pg1至pg4可以沿x轴和y轴重复地形成在图像传感器300的基板上。像素组pg1至pg4中的每一个可以包括沿x轴和y轴布置的3
×
3像素，但是本公开不限于此。每个像素可以包括光电转换元件pd。
[0093]
将参考第一像素组pg1来描述单元像素组upg1至upg3的布置。单元像素组upg1至upg3中的每一个可以包括沿x轴和y轴布置的1
×
3像素。单元像素组可以被定义为共享同一浮置扩散区域的一组像素。例如，即使单元像素组属于同一像素组，但是由属于一个单元像素组的像素共享的浮置扩散区域也可能不会被属于另一单元像素组的像素共享。单元像素组upg1至upg3可以在x轴方向上彼此相邻。因此，如图10中所示，在一个像素组包括三个单元像素组的情况下，一个像素组可以包括沿x轴和y轴布置的3
×
3个像素。
[0094]
用于使特定波段的光通过的滤色器cf1至cf4可以分别形成在像素组pg1至pg4上。如在图3的实施例中那样，第一滤色器cf1可以使蓝光通过，第二滤色器cf2和第三滤色器cf3可以使绿光通过，并且第四滤色器cf4可以使红光通过。与像素相对应的微透镜可以设置在滤色器中的每一个上。
[0095]
图11是沿图10的线iii
‑
iii’截取的图像传感器的截面图。图11的截面图与图4的横截面图大致相似，并且像素结构与图4的像素结构相似。因此，将省略与像素结构相关联的附加描述以避免冗余。参考图11，光l1可以入射在第三像素px3与第四像素px4之间，并且光l2可以入射在第六像素px6与第七像素px7之间。当然，光l1至l2可以来自一个光源或多个光源，并且可以理解的是，为了方便起见进行这种分类。
[0096]
因为第一滤色器cf1的厚度d1或第一滤色器cf1距固定电荷层3的高度与第三滤色器cf3的厚度d3或第三滤色器cf3距固定电荷层3的高度不同，所以从第四像素px4输出的信号可能会受到第一滤色器cf1影响。第四像素px4受到第一滤色器cf1影响的区域由“a”标记。如上所述，因为第四滤色器cf4的厚度d4或第四滤色器cf4距固定电荷层3的高度与第三滤色器cf3的厚度d3或第三滤色器cf3距固定电荷层3的高度不同，所以从第六像素px6输出的信号可能会受到第四滤色器cf4影响。第六像素px6受到第四滤色器cf4影响的区域由“b”标记。
[0097]
然而，与图2中所示的图像传感器100不同，即使像素属于一个像素组(即，pg3)，因为像素周围的环境不同，所以各个像素经历的串扰的程度可能不同。例如，因为影响第四像素px4的第一滤色器cf1的厚度(或者，高度)与影响第六像素px6的第四滤色器cf4的厚度(或者，高度)不同，所以第四像素的串扰px4经历的串扰可能与第六像素px6经历的串扰不
同。
[0098]
另外，因为第三像素组pg3的像素中的设置在中心的像素(例如，px5)不会受到相邻滤色器影响，所以在像素px5处可能不会发生由于滤色器的高度(或者，厚度)差而造成的串扰。因此，可以考虑用于补偿串扰的各种方法，将参考图13a和图13b至图15更全面地描述这些方法。
[0099]
图12示出了图10的像素组pg1至pg4之一的示例性电路图。将以图10的第一像素组pg1的第二单元像素组upg2为例进行描述。第二单元像素组upg2包括像素px1至px3。第二单元像素组upg2可以包括光电转换元件pd1至pd3、传输晶体管tg1至tg3、双转换晶体管dct、重置晶体管rt、驱动晶体管dt和选择晶体管st。每个像素的组件的基本操作与参考图5所描述的基本操作大致相似，因此，将主要描述它们之间的差异。
[0100]
当传输晶体管tg1至tg3导通时，由光电转换元件pd1至pd3产生的电荷可以传输到第一浮置扩散区域fd1，并且与第一浮置扩散区域fd1的电势相对应的信号可以通过第二列线cl2输出。然而，第一浮置扩散区域fd1的第一浮置扩散电容器cfd1可以较容易地饱和。在这种情况下，第一浮置扩散区域fd1和第二浮置扩散区域fd2可以通过导通双转换晶体管dct而电连接。结果是，第一浮置扩散区域fd1的电容可以扩展到第一浮置扩散区域fd1的电容与第二浮置扩散区域fd2的电容之和。
[0101]
另外，第二浮置扩散区域fd2可以通过线l1与相邻单元像素组(未示出)的浮置扩散区域电连接。在这种情况下，可以进一步扩展第一浮置扩散区域fd1的电容，从而防止饱和。
[0102]
图13a和图13b概念性地示出了外围像素对图10至图12的图像传感器的像素组的影响。一起参考图10、图11和图13a，构成第三像素组pg3的像素gr1至gr9中除第五像素gr5以外的其余像素中的每一个都可能会受到覆盖与其相邻的至少一个像素的滤色器影响。
[0103]
首先，像素gr1可能会受到使红光通过并覆盖像素r3的滤色器以及使蓝光通过并覆盖像素b7的滤色器影响，并且该影响由串扰c1标记。如上所述，像素gr3、gr7和gr9可能会受到使红光通过的滤色器以及使蓝光通过的滤色器影响，并且该影响分别由串扰c3、串扰c7和串扰c9标记。
[0104]
像素gr2可能会受到使蓝光通过并覆盖像素b8的滤色器影响，并且该影响由串扰c2来标记。像素gr8可能会受到使蓝光通过并覆盖像素b2的滤色器影响，并且该影响由串扰c8来标记。
[0105]
像素gr4可能会受到使红光通过并覆盖像素r6的滤色器影响，并且该影响由串扰c4来标记。像素gr6可能会受到使红色光通过并覆盖像素r4的滤色器影响，并且该影响由串扰c6来标记。
[0106]
像素gr1、gr3、gr7和gr9分别经历的串扰c1、c3、c7和c9的程度可以大致相似，像素gr2和gr8分别经历的串扰c2和c8的程度可以大致相似，并且像素gr4和gr6分别经历的串扰c4和c6的程度可以大致相似。因此，从具有周围滤色器的最大影响的像素gr1、gr3、gr7和gr9输出的信号的值大致上可以最小，并且信号大小可以从像素gr4和gr6输出的信号的值到从像素gr2和gr8输出的信号的值依次增大。当然，从不会受到周围滤色器影响的像素gr5输出的信号的值大致上可以最大。
[0107]
接下来，一起参考图10、图11和图13b，覆盖像素b1至b9的第一滤色器cf1的高度小
于覆盖像素r1、r3、r7和r9的滤色器的高度。因此，像素b1可能会受到覆盖像素r9的滤色器轻微影响，该滤色器由串扰c1标记。如上所述，其他像素b3、b7和b9可能会受到周围滤色器影响，周围滤色器分别由串扰c3、串扰c7和串扰c9标记。
[0108]
根据上面的描述，第二像素组pg2的像素gb1至gb9以及第三像素组pg3的像素gr1至gr9可能会受到覆盖周围像素的滤色器的最大影响。第一像素组pg1的像素b1、b3、b7和b9可能会受到覆盖周围像素r1、r3、r7和r9的滤色器轻微影响，而第四像素组pg4的像素r1至r9可能不会受到覆盖周围像素的滤色器影响。根据本公开，相对于由光学黑色区域110b(参考图2)测量的暗电平，补偿了由于滤色器的厚度(或者，高度)差而造成的串扰。结果是，可以去除固定的图案噪声。
[0109]
图14a至图14c示意性地示出了用于确定校准值的各种方法。
[0110]
首先，参考图14a，水平轴表示像素值(即，代码电平)。在图14a的实施例中，可以基于所有像素值value_gr1至value_gr9的平均值mv1来确定校准值α。例如，放置在平均值mv1的左侧的像素值指示从具有相对较高串扰影响的像素输出的值。然而，平均值mv1是示例性的。例如，取决于各种滤色器的高度差，平均值mv1可以是像素值value_gr1与像素值value_gr4之间的值。在这种情况下，可以通过下面的等式2来确定校准值α。
[0111]
[等式2]
[0112][0113]
例如，在补偿从像素gr1输出的信号的情况下，从像素gr1输出的像素值value_gr1的大小可以小于平均值mv1。可以将图像数据idat_pre(参考图7)的代码电平乘以校准值α，使得像素值value_gr1等于平均值mv1(在上面的等式2中，i是1至9之间的整数)。相反，在对从像素gr2输出的信号执行暗电平补偿后的情况下，从像素gr2输出的像素值value_gr2的大小可以大于平均值mv1。因此，可以将图像数据idat_pre(参考图7)的代码电平乘以校准值α，使得像素值value_gr2等于平均值mv1。而且，可以将暗电平数据的代码电平乘以校准值α。作为示例，可以通过将像素组中的所有像素的平均值mv1(例如，与信号的强度或强度相对应的平均码电平)除以特定像素的值来确定单个特定像素的校准值α。因此，如果特定像素具有较多串扰且电平低于平均电平，则校准值α将大于1，并且如果特定像素的串扰较小(小于平均值)，则校准值α将小于1。然后，当接收到图像时，对于特定像素，将针对该像素接收的任何代码电平乘以预先确定的校准值α，从而适合地补偿像素代码电平。
[0114]
在图14b的实施例中，可以基于像素值value_gr2与value_gr8的平均值mv2来确定校准值α。例如，位于平均值mv2的左侧的像素值指示从具有相对较高串扰影响的像素输出的值。在这种情况下，可以通过下面的等式3来确定校准值α。
[0115]
[等式3]
[0116][0117]
例如，在补偿从像素gr1输出的信号的情况下，从像素gr1输出的像素值value_gr1的大小可以小于平均值mv2。因此，可以将图像数据idat_pre(参考图7)的代码电平乘以校准值α，使得像素值value_gr1等于平均值mv2。即使像素gr5不受覆盖与其相邻的其他像素组的滤色器影响，对从像素px5输出的信号甚至也可以执行串扰补偿和暗电平补偿。例如，
从像素gr5输出的像素值value_gr5的大小可以大于平均值mv2。因此，可以将图像数据idat_pre(参考图7)的代码电平乘以校准值α，使得像素值value_gr5等于平均值mv2。而且，可以将暗电平数据的代码电平乘以校准值α。
[0118]
最后，在图14c的实施例中，可以基于像素值value_gr5来确定校准值α。在这种情况下，考虑到像素gr5不受覆盖与其相邻的像素组的滤色器影响，可以不对像素值value_gr5执行暗电平补偿。在这种情况下，可以通过下面的等式4来确定校准值α。
[0119]
[等式4]
[0120][0121]
例如，在补偿从像素gr1输出的信号的情况下，从像素gr1输出的像素值value_gr1的大小可以小于像素值value_gr5。因此，可以将图像数据idat_pre(参考图7)的代码电平乘以校准值α，使得像素值value_gr1等于像素值value_gr5。而且，可以将暗电平数据的代码电平乘以校准值α。在上面的图14a至图14c的三个示例中，可以将用于确定校准值α的等式的最高值描述为像素组参考值，使得通过将像素组参考值除以从针对其确定校准值α的特定像素输出的像素值来确定校准值α。然而，应该注意到，也可以将校准值α取反(例如，将从针对其确定校准值α的特定像素输出的像素值除以像素组参考值)，只要使用相同的等式来确定像素组的像素中的每一个像素的所有校准值α即可。
[0122]
尽管没有被描述为单独的实施例，但是可以基于像素值value_gr4与value_gr6的平均值来确定校准值α。另外，可以通过使用各种值来确定校准值α。
[0123]
图15示出了根据本公开的实施例的用于处理从图像传感器输出的信号的方法。例如，如说明书中所述，可以以使多个像素共享浮置扩散区域的方式实现图像传感器。为了更好地理解，将一起参考图2和图7来给出描述。
[0124]
在操作s110中，图像传感器基于自从有源像素区域的像素中选择的像素输出的信号来产生图像数据。详细地，adc块140可以将从所选择的像素输出的像素信号转换为数字信号以产生图像数据。例如，图像数据可以包括代码电平，该代码电平包括信号电平和暗电平。信号电平可以对应于接收到的光的相对强度。暗电平可以不管接收到的光的强度如何都基于由像素产生的电流。
[0125]
在操作s120中，图像传感器基于从光学黑色区域输出的信号来产生暗电平数据。详细地，adc块140可以将从光学黑色区域的像素输出的暗电平偏移信号转换为数字信号以产生暗电平数据。例如，暗电平数据可以对应于暗电平。尽管以特定顺序示出了步骤s110和s120，但是它们可以以相反顺序发生。
[0126]
在操作s130中，isp前端块200从外部(例如，从图像传感器14外部或图像处理块10外部)接收串扰校准数据。例如，串扰校准数据可以是根据预先测量的校准值进行编码的数据。例如，串扰校准数据可以存储在位于图像处理块10内部的存储器(参考图1)中或存储在位于图像处理块10外部的存储器(例如，主机存储器)中。
[0127]
在操作s140中，isp前端块200的校准数据解码器240对串扰校准数据进行解码以产生校准值。例如，校准数据可以包括特定行或列的校准值的代表值，并且可以通过插值方案等来产生特定行或列的校准值。
[0128]
在操作s150中，可以对图像数据执行串扰补偿。例如，串扰补偿可以与补偿由于覆
盖共享浮置扩散区域的像素的第一滤色器与覆盖共享另一浮置扩散区域的其他像素的第二滤色器的高度差而造成的光学串扰相关联。例如，串扰补偿可以基于共享浮置扩散区域的像素的图像数据的平均值或像素组参考值与从共享浮置扩散区域的像素中选择的像素的图像数据之比。
[0129]
在操作s160中，可以对暗电平数据执行串扰补偿。因为在操作s150中将包括在图像数据的代码电平中的暗电平乘以校准值，所以即使对图像数据执行了串扰补偿，动态范围也可能会减小得与代码电平的暗电平一样多。因此，在暗电平补偿中，可以将暗电平数据的暗电平乘以校准值。
[0130]
在操作s170中，可以对串扰补偿后的图像数据和串扰补偿后的暗电平数据执行减法运算(例如，从串扰补偿后的图像数据中减去串扰补偿后的暗电平数据)。结果是，可以从图像数据的代码电平中完全去除暗电平。
[0131]
图16示出了包括应用本公开的串扰补偿的多相机模块的电子设备的示例性配置。图17示出了图16的相机模块的示例性配置。
[0132]
参考图16，电子设备1000可以包括相机模块组1100、应用处理器1200、pmic 1300和外部存储器1400。
[0133]
相机模块组1100可以包括多个相机模块1100a、1100b和1100c。在图16中示出了包括三个相机模块1100a、1100b和1100c的电子设备，但是本公开不限于此。在一些实施例中，相机模块组1100可以被修改为仅包括两个相机模块。而且，在一些实施例中，相机模块组1100可以被修改为包括“n”个相机模块(n是4或更大的自然数)。
[0134]
下面，将参考图17更全面地描述相机模块1100b的详细配置，但是以下描述可以等同地应用于其余的相机模块1100a和1100c。
[0135]
参考图17，相机模块1100b可以包括棱镜1105，光路折叠元件(opfe)1110、致动器1130，图像感测设备1140和存储装置1150。
[0136]
棱镜1105可以包括光反射材料的反射平面1107，并且可以改变从外部入射的光“l”的路径。
[0137]
在一些实施例中，棱镜1105可以将在第一方向“x”上入射的光“l”的路径改变为垂直于第一方向“x”的第二方向“y”。而且，棱镜1105可以通过绕中心轴1106在方向“a”上旋转光反射材料的反射平面1107或绕中心轴1106在方向“b”上旋转光反射材料的反射平面1107，将在第一方向“x”上入射的光“l”的路径改变为垂直于第一方向“x”的第二方向“y”的路径。在这种情况下，opfe 1110可以在垂直于第一方向“x”和第二方向“y”的第三方向“z”上移动。
[0138]
在一些实施例中，如图所示，棱镜1105在“a”方向上的最大旋转角在正a方向上可以小于或等于15度，并且在负a方向上可以大于15度，但是本公开不限于此。
[0139]
在一些实施例中，棱镜1105在正或负b方向上可以在大约20度内、在10度与20度之间、或者在15度与20度之间移动；在此，棱镜1105在正或负b方向上可以以相同的角度移动，或者可以在大约1度内以相似的角度移动。
[0140]
在一些实施例中，棱镜1105可以在平行于中心轴1106延伸的方向的第三方向(例如，z方向)上移动光反射材料的反射平面1107。
[0141]
opfe 1110例如可以包括由“m”个组(m是自然数)组成的光学透镜。在此，“m”个透
镜可以在第二方向“y”上移动以改变相机模块1100b的光学变焦比。例如，当相机模块1100b的默认光学变焦比是“z”时，可以通过移动包括在opfe 1110中的“m”个光学透镜来将相机模块1100b的光学变焦比改变为3z、5z或5z或更高的光学变焦比。
[0142]
致动器1130可以将opfe 1110或光学透镜(在下文中被称为“光学透镜”)移动到特定位置。例如，致动器1130可以调节光学透镜的位置，使得图像传感器1142被放置在光学透镜的焦距处以用于精确感测。
[0143]
图像感测设备1140可以包括图像传感器1142、控制逻辑1144和存储器1146。图像传感器1142可以通过使用通过光学透镜提供的光“l”来对感测目标的图像进行感测。控制逻辑1144可以控制相机模块1100b的整体操作。例如，控制逻辑1144可以基于通过控制信号线cslb提供的控制信号来控制相机模块1100b的操作。另外，控制逻辑1144可以包括用于执行本公开的暗电平补偿的isp前端块。
[0144]
存储器1146可以存储用于相机模块1100b的操作的信息，诸如校准数据1147。校准数据1147可以包括用于相机模块1100b通过使用从外部提供的光“l”来产生图像数据的信息。校准数据1147例如可以包括关于上述旋转程度的信息、关于焦距的信息、关于光轴的信息等。在相机模块1100b以焦距取决于光学透镜的位置而变化的多状态相机的形式实现的情况下，校准数据1147可以包括光学透镜的每个位置(或者，状态)的焦距值以及关于自动对焦的信息。校准数据1147可以包括用于执行本公开的暗电平补偿的串扰校准数据(例如，参考图7)。
[0145]
存储1150可以存储通过图像传感器1142感测的图像数据。存储1150可以布置在图像感测设备1140外部，并且可以以堆叠了存储1150和构成图像感测设备1140的传感器芯片的形状实现。在一些实施例中，可以用电可擦除可编程只读存储器(eeprom)来实现存储1150，但是本公开不限于此。
[0146]
一起参考图16和图17，在一些实施例中，多个相机模块1100a、1100b和1100c中的每一个可以包括致动器1130。这样，相同的校准数据1147或不同的校准数据1147可以取决于其中的致动器1130的操作而包括在多个相机模块1100a、1100b和1100c中。
[0147]
在一些实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(例如，1100b)可以是折叠透镜形状的相机模块，在其中，包括有上述的棱镜1105和opfe 1110，其余的相机模块(例如，1100a和1100c)可以是垂直形状的相机模块，在其中，不包括上述的棱镜1105和opfe 1110；然而，本公开不限于此。
[0148]
在一些实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(例如，1100c)例如可以是通过使用红外线(ir)提取深度信息的垂直形状的深度相机。在这种情况下，应用处理器1200可以合并从深度相机提供的图像数据以及从任何其他的相机模块(例如，1100a或1100b)提供的图像数据，并且可以产生三维(3d)深度图像。
[0149]
在一些实施例中，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)可以具有不同的视场。在这种情况下，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)可以包括不同的光学透镜，但是不限于此。
[0150]
而且，在一些实施例中，多个相机模块1100a、1100b和1100c的视场可以不同。在这种情况下，多个相机模块1100a、1100b和1100c可以包括不同的光学透镜，但是不限于此。
[0151]
在一些实施例中，多个相机模块1100a、1100b和1100c可以被设置为彼此物理分离。例如，多个相机模块1100a、1100b和1100c可以不使用一个图像传感器1142的感测区域，而是多个相机模块1100a、1100b和1100c可以分别在其中包括独立的图像传感器1142。
[0152]
返回到图16，应用处理器1200可以包括图像处理设备1210、存储器控制器1220和内部存储器1230。应用处理器1200可以被实现为与多个相机模块1100a、1100b和1100c分离。例如，应用处理器1200和多个相机模块1100a、1100b和1100c可以用分离的半导体芯片来实现。
[0153]
图像处理设备1210可以包括多个子图像处理器1212a、1212b和1212c、图像产生器1214和相机模块控制器1216。图像处理设备1210可以包括多个子图像处理器1212a、1212b和1212c，这些子图像处理器的数量对应于多个相机模块1100a、1100b和1100c的数量。
[0154]
分别从相机模块1100a、1100b和1100c产生的图像数据可以通过分离的图像信号线isla、islb和islc分别提供给对应的子图像处理器1212a、1212b和1212c。例如，从相机模块1100a产生的图像数据可以通过图像信号线isla提供给子图像处理器1212a，从相机模块1100b产生的图像数据可以通过图像信号线islb提供给子图像处理器1212b，并且从相机模块1100c产生的图像数据可以通过图像信号线islc提供给子图像处理器1212c。例如可以通过使用基于mipi(移动工业处理器接口)的相机串行接口(csi)来执行该图像数据传输，但是本公开不限于此。
[0155]
在一些实施例中，一个子图像处理器可以被设置为对应于多个相机模块。例如，子图像处理器1212a和子图像处理器1212c可以一体地实现，而不是如图12中所示彼此分离；在这种情况下，可以通过选择元件(例如，多路复用器)选择分别从相机模块1100a和相机模块1100c提供的图像数据之一，并且可以向一体的子图像处理器提供所选择的图像数据。
[0156]
可以向图像产生器1214提供分别提供给子图像处理器1212a、1212b和1212c的图像数据。取决于产生信息(或者，图像产生信息)或模式信号，图像产生器1214可以通过使用分别从子图像处理器1212a、1212b和1212c提供的图像数据来产生输出图像。
[0157]
详细地，取决于产生信息或模式信号，图像产生器1214可以通过合并分别从具有不同视场的相机模块1100a、1100b和1100c产生的图像数据的至少一部分来产生输出图像。此外，取决于产生信息或模式信号，图像产生器1214可以通过选择分别从具有不同视场的相机模块1100a、1100b和1100c产生的图像数据之一来产生输出图像。
[0158]
在一些实施例中，产生信息可以包括变焦信号或变焦因子。而且，在一些实施例中，模式信号例如可以是基于从用户选择的模式的信号。
[0159]
在产生信息是变焦信号(或者，变焦因子)且相机模块1100a、1100b和1100c具有不同视野的情况下，图像产生器1214可以取决于变焦信号的种类而执行不同的操作。例如，在变焦信号是第一信号的情况下，图像产生器1214可以合并从相机模块1100a输出的图像数据与从相机模块1100c输出的图像数据，并且可以通过使用合并的图像信号以及在合并操作中未使用的、从相机模块1100b输出的图像数据来产生输出图像。
[0160]
在变焦信号是与第一信号不同的第二信号的情况下，在没有图像数据合并操作的情况下，图像产生器1214可以选择分别从相机模块1100a、1100b和1100c输出的图像数据之一，并且可以输出所选择的图像数据作为输出图像。然而，本公开不限于此，并且如有必要，可以修改处理图像数据的方式而没有限制。
[0161]
在一些实施例中，图像产生器1214可以通过从多个子图像处理器1212a、1212b和1212c中的至少一个子图像处理器接收具有不同曝光时间的多个图像数据并对多个图像数据执行高动态范围(hdr)处理来产生动态范围增大的合并的图像数据。
[0162]
相机模块控制器1216可以分别向相机模块1100a、1100b和1100c提供控制信号。可以通过彼此分离的控制信号线csla、cslb和cslc分别向对应的相机模块1100a，1100b和1100c提供从相机模块控制器1216产生的控制信号。
[0163]
可以取决于包括变焦信号或模式信号的产生信息而将多个相机模块1100a、1100b和1100c之一指定为主相机(例如，1100b)，并且可以将其余相机模块(例如，1100a和1100c)指定为从相机。上面的指定信息可以包括在控制信号中，并且可以通过彼此分离的控制信号线csla、cslb和cslc分别向对应的相机模块1100a、1100b和1100c提供包括该指定信息的控制信号。
[0164]
可以取决于变焦因子或操作模式信号而更改作为主相机和从相机的相机模块。例如，在相机模块1100a的视场比相机模块1100b的视场宽且变焦因子指示低变焦比的情况下，相机模块1100b可以作为主相机操作，并且相机模块1100a可以作为从相机操作。相反，在变焦因子指示高变焦比的情况下，相机模块1100a可以用作主相机操作，并且相机模块1100b可以作为从相机操作。
[0165]
在一些实施例中，从相机模块控制器1216提供给相机模块1100a、1100b和1100c中的每一个相机模块的控制信号可以包括同步启用信号。例如，在相机模块1100b用作主相机且相机模块1100a和1100c用作从相机的情况下，相机模块控制器1216可以将同步启用信号传送到相机模块1100b。被提供有同步启用信号的相机模块1100b可以基于所提供的同步启用信号来产生同步信号，并且可以通过同步信号线ssl向相机模块1100a和1100c提供所产生的同步信号。相机模块1100b以及相机模块1100a和1100c可以与同步信号同步，以将图像数据传输到应用处理器1200。
[0166]
在一些实施例中，从相机模块控制器1216提供给相机模块1100a、1100b和1100c中的每一个的控制信号可以包括根据模式信号的模式信息。基于模式信息，多个相机模块1100a、1100b和1100c可以在关于感测速度的第一操作模式和第二操作模式下操作。
[0167]
在第一操作模式下，多个相机模块1100a、1100b和1100c可以以第一速度产生图像信号(例如，可以产生第一帧速率的图像信号)，可以以第二速度对图像信号进行编码(例如，可以对高于第一速率的第二速率的图像信号进行编码)，并且将编码后的图像信号传输到应用处理器1200。在这种情况下，第二速度可以是第一速度的30倍或更小。
[0168]
应用处理器1200可以将接收到的图像信号(即，编码后的图像信号)存储在内部提供的内部存储器1230中或放置在应用处理器1200外部的外部存储器1400中。之后，应用处理器1200可以从内部存储器1230或外部存储器1400读取编码的图像信号并解码编码的图像信号，并且可以显示基于解码后的图像信号而产生的图像数据。例如，图像处理设备1210的子图像处理器1212a、1212b和1212c中的对应一个可以执行解码，并且还可以对解码后的图像信号执行图像处理。
[0169]
在第二操作模式中，多个相机模块1100a、1100b和1100c可以以第三速度产生图像信号(例如，可以产生低于第一帧速率的第三帧速率的图像信号)，并且将该图像信号传输到应用处理器1200。提供给应用处理器1200的图像信号可以是未编码的信号。应用处理器
1200可以对接收到的图像信号执行图像处理，或者可以将图像信号存储到内部存储器1230或外部存储器1400中。
[0170]
pmic 1300可以分别向多个相机模块1100a、1100b和1100c提供电源，例如电源电压。例如，在应用处理器1200的控制下，pmic 1300可以通过电源信号线psla向相机模块1100a提供第一电源，可以通过电源信号线pslb向相机模块1100b提供第二电源，并且通过电源信号线pslc向相机模块1100c提供第三电源。
[0171]
响应于来自应用处理器1200的电源控制信号pcon，pmic 1300可以产生与多个相机模块1100a、1100b和1100c中的每一个相对应的电源，并且可以调节该电源电平。电源控制信号pcon可以包括针对多个相机模块1100a、1100b和1100c的每个操作模式的电源调节信号。例如，操作模式可以包括低电源模式。在这种情况下，电源控制信号pcon可以包括与在低电源模式下操作的相机模块和设置的电源电平有关的信息。分别提供给多个相机模块1100a，1100b和1100c的电源电平可以彼此相同或彼此不同。而且，电源电平可以动态地改变。
[0172]
根据本公开，可以补偿由于多滤色器阵列的高度差而造成的串扰。特别地，即使在自动暗电平补偿(adlc)中，也可以通过补偿串扰来去除固定模式噪声(fpn)。
[0173]
虽然已参考本发明构思的示例性实施例描述了本发明构思，但是对于本领域普通技术人员来说显而易见的是，可以在不脱离如所附权利要求中进行阐述的本发明的精神和范围的情况下对其进行各种改变和修改。