图像处理装置和图像感测装置的制作方法

1.本公开的各种实施方式总体上涉及电子装置，更具体地，涉及一种图像感测装置和操作该图像感测装置的方法。


背景技术：

2.图像传感器是利用对光起反应的半导体的性质来捕获图像的装置。随着最近计算机行业和通信行业的发展，在诸如智能电话、数字相机、游戏装置、物联网、机器人、安全相机和医疗微型相机的各种领域中对性能改进的图像传感器的需求不断增长。
3.图像传感器可大致分类为电荷耦合器件(ccd)图像传感器和互补金属氧化物半导体(cmos)图像传感器。与cmos图像传感器相比，ccd图像传感器具有更少的噪声和更好的图像质量。然而，cmos图像传感器被简单地驱动并且可按各种扫描方法来实现。此外，cmos图像传感器使得可将其信号处理电路集成在单个芯片中，从而使得产品容易小型化并且具有低功耗，并且由于能够兼容地使用cmos工艺技术而具有低制造成本。由于其适合于移动装置的性质，cmos图像感测装置如今被广泛使用。


技术实现要素：

4.本公开的各种实施方式涉及一种图像感测装置和操作该图像感测装置的方法，其以改进的网格噪声消除来执行。
5.本公开的实施方式可提供一种图像处理装置。该图像处理装置可包括：增益表发生器，其被配置为使用包括在图像中的感兴趣区域中所包括的像素值来生成包括与第一分辨率对应的增益表值的增益表；增益表分箱器(binner)，其被配置为将增益表转换为包括与第二分辨率对应的目标表值的目标表；以及校准器，其被配置为基于目标表来执行消除包括在图像中的噪声的校准操作。
6.本公开的实施方式可提供一种图像感测装置。该图像感测装置可包括：图像传感器，其使用多个像素来获得图像；以及图像处理器，其被配置为使用包括在图像中的感兴趣区域中所包括的像素值来生成包括与第一分辨率对应的增益表值的增益表，将增益表转换为包括与低于第一分辨率的第二分辨率对应的目标表值的目标表，并且基于目标表来消除包括在图像中的噪声。
7.本公开的实施方式可提供一种图像处理装置的操作方法。该操作方法可包括以下步骤：生成与图像内的2m
×
2m像素值阵列的感兴趣区域(roi)对应的m
×
m增益值阵列；生成n
×
n目标值阵列；以及消除图像的噪声。m的值比n的值大k倍。通过将第一统计代表值除以第二统计代表值来获得增益值阵列内的增益值。第一统计代表值具有颜色与roi内的各自与增益值对应的参考像素值相同的像素值。第二统计代表值具有参考像素值。目标值阵列内的目标值是与目标值对应的k
×
k子增益值阵列的增益值的第三统计代表值，k
×
k子增益值阵列属于m
×
m增益值阵列。通过将目标值与各自与目标值对应的k
×
k子图像阵列的像素值相乘来消除噪声，k
×
k子图像阵列属于所述图像。
附图说明
8.图1是示出根据本公开的实施方式的图像感测装置的图。
9.图2是示出根据本公开的实施方式的图1的图像传感器的图。
10.图3是示出根据本公开的实施方式的图2的像素阵列的拜耳(bayer)图案的图。
11.图4是示出根据本公开的实施方式的图2的像素阵列的四元拜耳图案的图。
12.图5是示出根据本公开的实施方式的图2的像素阵列的九单元图案的图。
13.图6是示出根据本公开的实施方式的图2的像素阵列的十六元图案的图。
14.图7是根据本公开的实施方式的图像感测装置的框图。
15.图8是示出根据本公开的实施方式设置的感兴趣区域的图。
16.图9是示出根据本公开的实施方式的生成增益表的方法的图。
17.图10是示出根据本公开的实施方式的对增益表进行分箱的方法的图。
18.图11是示出根据本公开的实施方式的从增益表的生成排除的像素的图。
19.图12是示出根据本公开的实施方式的噪声校准方法的流程图。
20.图13是示出根据本公开的实施方式的增益表分箱方法的流程图。
21.图14是包括根据本公开的实施方式的图像传感器的计算系统的框图。
具体实施方式
22.本说明书中介绍的本公开的实施方式中的具体结构或功能描述仅是为了描述本公开的实施方式。这些描述不应被解释为限于本说明书中描述的实施方式。
23.现在将参照附图描述本公开的实施方式，以描述本公开的技术构思以便于本领域普通技术人员易于将其付诸实践。
24.图1是示出根据本公开的实施方式的图像感测装置的图。
25.参照图1，图像感测装置10可包括图像传感器100和图像处理器200。
26.图像感测装置10可被包括在例如数字相机、移动电话、智能电话、平板个人计算机(平板pc)、笔记本、个人数字助理(pda)、企业数字助理(eda)、数字静止相机、数字视频相机、便携式多媒体播放器(pmp)、移动互联网装置(mid)、pc、可穿戴装置或用于各种目的的相机(前置车载相机、后置车载相机、黑匣子相机等)的电子装置中。
27.图像传感器100可利用电荷耦合器件(ccd)图像传感器或互补金属氧化物半导体(cmos)图像传感器来实现。图像传感器100可生成通过透镜(未示出)输入(或捕获)的对象(未示出)的图像数据。透镜可包括构成光学系统的至少一个透镜。
28.图像传感器100可包括多个像素。图像传感器100可从多个像素生成与捕获的图像对应的多个像素值dpxs。由图像传感器100生成的多个像素值dpxs可被发送到图像处理器200。例如，图像传感器100可生成与单个帧对应的多个像素值dpxs。
29.图像处理器200可控制图像传感器100。具体地，图像处理器200可执行处理以增强从图像传感器100接收的像素数据的图像质量并输出经处理的图像数据。所述处理可包括电子图像稳定(eis)、插值、色调校正、图像质量校正、尺寸调节等。图像处理器200也可被称为图像处理装置。
30.图像处理器200可基于系统信息ag和多个像素值dpxs来校准包括在图像中的噪声。图像可包括迷宫噪声(maze noise)。迷宫噪声可以是由多个像素当中的相同颜色的像
素之间的颜色不平衡导致的网格型噪声。迷宫噪声可能是由具有相同颜色的像素之间的色差导致的。在本公开的实施方式中，迷宫噪声可以是来自多个像素之间的串扰的网格噪声。
31.图像处理器200可基于多个像素值来计算用于执行校准操作以减少迷宫噪声的校准增益值。
32.在图1中，图像处理器200可被实现于与图像传感器100分离的芯片中。在这种情况下，图像传感器100的芯片和图像处理器200的芯片可被实现于封装(例如，多芯片封装)中。在本公开的实施方式中，图像处理器200可被包括作为图像传感器100的一部分，以使得图像处理器200和图像传感器100可被实现于单个芯片中。
33.图2是示出根据本公开的实施方式的图1的图像传感器的图。
34.参照图2，图像传感器100可包括像素阵列110、行解码器120、定时发生器130和信号换能器140。
35.像素阵列110可包括滤色器阵列111以及形成在滤色器阵列111下方并包括与滤色器阵列111的各个像素对应的多个光电转换元件的光电转换层113。像素阵列110可包括输出包括在入射光中的颜色信息的多个像素。多个像素中的每一个可输出与已穿过对应滤色器阵列111的入射光对应的像素信号。
36.滤色器阵列111可包括仅使入射在各个像素上的特定波长(例如，红色、蓝色和绿色)的光通过的滤色器。利用滤色器阵列111，各个像素的像素数据可表示与特定波长的光的强度对应的值，并且根据滤色器的类型，各个像素可被称为红色像素r、蓝色像素b或绿色像素g。
37.具体地，多个像素中的每一个可累积根据入射光而生成的光电荷，并且生成与累积的光电荷对应的像素信号。各个像素可包括用于将光信号转换为电信号的光电转换元件(例如，光电二极管、光电晶体管、光门或钉扎光电二极管)以及用于处理电信号的至少一个晶体管。
38.像素阵列110可包括按行和列排列的多个像素。像素阵列110可为各行生成多个像素信号vpx。多个像素信号vpx可各自是模拟像素信号vpx。
39.行解码器120可响应于从定时发生器130输出的地址和控制信号而选择多个像素排列的多行之一。
40.信号换能器140可将多个模拟像素信号vpx转换为多个数字像素值dpxs。多个数字像素值dpxs可按各种图案输出。响应于从定时发生器130输出的控制信号，信号换能器140可对从像素阵列110输出的各个信号执行相关双采样(cds)，对通过cds的信号执行模数转换，并且输出数字信号。各个数字信号可以是与已穿过对应滤色器阵列111的波长的入射光的强度对应的信号。
41.信号换能器140可包括cds块和模数转换器(adc)块。cds块可瞬时采样和保持为包括在像素阵列110中的多条列线中的每一条提供的一组参考信号和图像信号。换言之，cds块可采样和保持与各列对应的图像信号和参考信号的电平。adc块可输出从输出自cds块的各列的cds信号转换为数字信号而得到的像素数据。为此，adc块可包括与各列对应的比较器和计数器。
42.此外，在本公开的实施方式中，图像传感器100还可包括输出缓冲器150。输出缓冲器150可利用许多缓冲器实现以用于存储从信号换能器140输出的数字信号。具体地，输出
缓冲器150可以从信号换能器140提供的列为单位锁存和输出像素数据。输出缓冲器150可暂时存储从信号换能器140输出的像素数据，并且在定时发生器130的控制下依次输出像素数据。在本公开的一些实施方式中，可省略输出缓冲器270。
43.图3是示出根据本公开的实施方式的图2的像素阵列的拜耳图案的图。
44.参照图3，像素阵列110可按预定图案排列。例如，像素阵列110可按拜耳图案排列。如图3中以虚线表示的，拜耳图案可以是2
×
2像素的单元的重复。在各个单元中，具有绿色滤色器的两个像素gb和gr可对角地布置，具有蓝色滤色器的像素b和具有红色滤色器的像素r可布置在剩余角中。四个像素b、gb、gr和r不限于图3所示的布置方式，而是可基于拜耳图案不同地布置。
45.图4是示出根据本公开的实施方式的图2的像素阵列的四元拜耳图案的图。
46.参照图4，像素阵列110可按预定图案排列。例如，像素阵列110可按四元拜耳图案排列。如图4中以虚线表示的，四元拜耳图案可以是4
×
4像素的单元的重复。在各个单元中，具有绿色滤色器的八个像素gb和gr可对角地布置，具有蓝色滤色器的四个像素b和具有红色滤色器的四个像素r可布置在剩余角中。十六个像素b、gb、gr和r不限于图4所示的布置方式，而是可基于四元拜耳图案不同地布置。
47.图5是示出根据本公开的实施方式的图2的像素阵列的九单元图案的图。
48.参照图5，像素阵列110可按预定图案排列。例如，像素阵列110可按九单元图案排列。如图5中以虚线表示的，九单元图案可以是6
×
6像素的单元的重复。在各个单元中，具有绿色滤色器的十八个像素gb和gr可对角地布置，具有蓝色滤色器的九个像素b和具有红色滤色器的九个像素r可布置在剩余角中。三十六个像素b、gb、gr和r不限于图5所示的布置方式，而是可基于九单元图案不同地布置。
49.图6是示出根据本公开的实施方式的图2的像素阵列的十六元图案的图。
50.参照图6，像素阵列110可按预定图案排列。例如，像素阵列110可按十六元图案排列。如图6中以虚线表示的，十六元图案可以是8
×
8像素的单元的重复。在各个单元中，具有绿色滤色器的三十二个像素gb和gr可对角地布置，具有蓝色滤色器的十六个像素b和具有红色滤色器的十六个像素r可布置在剩余角中。六十四个像素b、gb、gr和r不限于图6所示的布置方式，而是可基于十六元图案不同地布置。
51.图7是根据本公开的实施方式的图像感测装置的框图。
52.参照图7，图像感测装置可包括图像传感器100和图像处理器200。用于使用多个像素获得图像的图像传感器100可向图像处理器200发送多个像素值。图像处理器200可基于多个像素值来消除包括在图像中的噪声。图像处理器200可包括增益表发生器210、增益表分箱器220、校准器230和增益表存储部240。图像传感器100和图像处理器200可对应于结合图1和图2描述的内容。
53.增益表发生器210可使用包括在图像中的感兴趣区域中所包括的像素值来生成包括与第一分辨率对应的增益表值的增益表。在本公开的实施方式中，增益表发生器210可基于多个像素值来生成增益表，该增益表用于校准操作以减少图像的全分辨率中出现的噪声。噪声可包括迷宫噪声。迷宫噪声可以是由多个像素当中的具有相同颜色的像素之间的像素值的差异而导致的网格型噪声。像素串扰可能导致具有相同颜色的像素之间的像素值的差异。
54.感兴趣区域可以是叠加在图像上的多条网格线的交点之一周围具有预定尺寸的区域。增益表发生器210可设置多条网格线以叠加在输入图像上。增益表发生器210可在网格线的交点周围设置预定的感兴趣区域。增益表发生器210可生成与感兴趣区域中的全分辨率对应的增益表。增益表发生器210可基于增益表来生成整个图像的增益图。具体地，增益表发生器210可使用线性插值方法来将增益表扩展为增益图。
55.增益表可被存储在增益表存储部240中。增益表发生器210可通过从包括在感兴趣区域中的像素值排除与用于相位检测自动聚焦(pdaf)的像素对应的像素值来生成增益表，这将参照图11讨论。
56.增益表可包括多个增益区域。增益表值可各自是与多个增益区域中的每一个对应的值。各个增益区域的增益表值可各自通过将包括在感兴趣区域中的像素值当中的颜色与对应于增益区域的像素值相同的像素值的平均值除以对应于增益区域的像素值的平均值来获得。增益表发生器210可生成包括多个增益表值的增益表。
57.增益表分箱器220可将增益表转换为包括与第二分辨率对应的目标表值的目标表。在本公开的实施方式中，第一分辨率高于第二分辨率。第一分辨率可以是全分辨率，第二分辨率可以是目标分辨率。例如，第一分辨率可以是与十六元图案对应的分辨率，第二分辨率可以是与九单元图案对应的分辨率、与四元拜耳图案对应的分辨率以及与拜耳图案对应的分辨率之一。在示例中，第一分辨率可以是与九单元图案对应的分辨率，第二分辨率可以是与四元拜耳图案对应的分辨率或与拜耳图案对应的分辨率。全分辨率可用于光充足的高强度的照明，分箱的拜耳图案可用于光不足的低强度的照明或用于在视频模式下捕获。
58.目标表可包括多个计算区域。各个计算区域的各个目标表值可以是各自与计算区域对应的增益表值的平均值。与多个计算区域对应的增益表值的数量可基于第一分辨率和第二分辨率来确定。例如，当第一分辨率是与十六元图案对应的分辨率并且第二分辨率是与四元拜耳图案对应的分辨率时，与多个计算区域对应的表值的数量可为四个。
59.在本公开的实施方式中，各个计算区域的各个目标表值是与计算区域对应的增益表值的中值。与多个计算区域中的每一个对应的增益表值的数量可基于第一分辨率和第二分辨率来确定。
60.增益表分箱器220可计算目标表值，目标表值是与多个增益区域对应的那些增益表值的平均值。在本公开的实施方式中，增益表分箱器220可计算与多个计算区域对应的那些增益表值的中值。与计算区域对应的目标表值可以是与计算区域对应的增益表值的平均值或中值。增益表分箱器220可生成包括所计算的目标表值的目标表。在本公开的实施方式中，增益表值的数量可以是目标表值的数量的正整数倍。
61.在本公开的实施方式中，增益表分箱器220可确定与多个计算区域对应的增益表值。例如，第一分辨率可以是与十六元图案对应的分辨率，第二分辨率可以是与四元拜耳图案对应的分辨率。增益表分箱器220可基于第一分辨率和第二分辨率来确定与多个计算区域之一对应的四个增益表值。四个增益表值可具有相同的颜色。四个增益表值可以是邻近增益表值。
62.校准器230可基于目标表来执行校准操作以消除包括在图像中的噪声。校准器230可将目标表值应用于包括在图像中的多个像素值。例如，校准器230可以第二分辨率为单位将包括在图像中的多个像素值与目标表值相乘。
63.在本公开的实施方式中，校准器230可基于目标表来执行校准操作以减少出现在输入图像的第二分辨率中的迷宫噪声。作为校准器230的校准操作的结果，具有相同颜色的像素之间的色差可减小。因此，可消除网格噪声。
64.在本公开的实施方式中，图像感测装置10可使用包括在图像中的感兴趣区域中所包括的像素值来生成包括与第一分辨率对应的增益表值的增益表。图像感测装置10可将增益表转换为包括与第二分辨率(低于第一分辨率)对应的目标表值的目标表。图像感测装置10可基于目标表来消除包括在图像中的噪声。可使用至少两个增益表值的平均值或中值来生成目标表值。
65.图8是示出根据本公开的实施方式设置的感兴趣区域的图。
66.参照图8，生成增益表以用于对输入图像的一部分进行校准操作，以使得可推导整个图像的增益图。
67.在计算校准增益值时，计算包括在图像中的所有像素的增益值可能减缓图像处理速率并且需要较大的存储空间。为了增加图像处理速率并节省存储空间，可使用网格方法。
68.可在输入图像800中设置多条网格线810。多条网格线810可被叠加在图像800上。可在图像800上设置网格线810的交点820。可为交点820设置预定的感兴趣区域830。感兴趣区域830的尺寸可根据图像而改变。
69.在图8中，可存在多个交点820，因此感兴趣区域830的位置可变化。一旦为感兴趣区域830生成增益表，增益表就可根据诸如线性插值的方案而被扩展为整个图像800的增益图。图8的感兴趣区域可由增益表发生器设置。
70.图9是示出根据本公开的实施方式的生成增益表的方法的图。
71.图9示出输入图像的第一分辨率是与十六元图案对应的分辨率并且感兴趣区域830的尺寸为16
×
16像素的示例。
72.增益表发生器可划分感兴趣区域830以与第一分辨率对应。由于图像的全分辨率对应于十六元图案，所以感兴趣区域830可被划分为四个子区域。在图9中，标号910指示感兴趣区域830内的四个子区域之一。
73.增益表920可包括分别与多个增益区域对应的增益表值。例如，增益表值可对应于多个增益区域中的增益区域921。与增益区域921对应的增益表值可以是通过将包括在感兴趣区域中的像素值当中的颜色与对应于增益区域921的像素值(即，911、913、915和917中的任一个)相同的像素值的平均值除以对应于增益区域921的像素值911、913、915和917的平均值而获得的值。在图9中，当与增益区域921对应的像素值(即，911、913、915和917中的任一个)具有绿色gr时，可计算包括在感兴趣区域中的绿色gr的像素值的平均值。在本公开的实施方式中，与增益区域921对应的增益表值可以是通过将包括在感兴趣区域中的像素值当中的颜色与对应于增益区域921的像素值(即，911、913、915和917中的任一个)相同的像素值的平均值除以对应于增益区域921的像素值911、913、915和917的中值而获得的值。
74.同样，可计算增益表920的剩余增益表值。在本公开的实施方式中，包括在图像传感器中的像素的颜色可以是绿色gr和gb、红色r和蓝色b中的任一种。在生成增益表时，绿色gr和gb像素具有相同的颜色。绿色gr和gb像素之间的不一致可能导致噪声。图9中的生成增益表的操作可由增益表发生器执行。
75.图10是示出根据本公开的实施方式的对增益表进行分箱的方法的图。
76.图10示出第一分辨率是与十六元图案对应的分辨率并且第二分辨率是与四元拜耳图案或拜耳图案对应的分辨率的示例。与第一分辨率对应的增益表920可经历分箱以变为目标表1010和1020。图10的分箱方法可对应于结合图7描述的内容。
77.参照图10，增益表分箱器220可将增益表转换为包括与第二分辨率对应的目标表值的目标表。目标表可包括多个计算区域。增益表值可与多个计算区域对应。与多个计算区域对应的增益表值的数量可基于第一分辨率和第二分辨率来确定。增益表分箱器220可确定与多个计算区域对应的增益表值。
78.增益表分箱器220可计算目标表值，目标表值是与多个增益区域对应的那些增益表值的平均值。在本公开的实施方式中，增益表分箱器220可计算与多个计算区域对应的那些增益表值的中心处的中值。与计算区域对应的目标表值可以是与计算区域对应的增益表值的平均值或中值。增益表分箱器220可生成包括所计算的目标表值的目标表。
79.参照图10，增益表920可被转换为目标表1010。第二分辨率可以是与四元拜耳图案对应的分辨率。增益表分箱器220可基于第一分辨率和第二分辨率来确定与多个计算区域之一对应的四个增益表值。四个增益表值可具有相同的颜色。四个增益表值可以是邻近增益表值。
80.例如，相同颜色的四个增益表值可经历分箱。目标表中的表值gr1如下表示：gr1＝(gr11 gr12 gr21 gr22)/4。类似地，目标表中的表值gr2如下表示：gr2＝(gr13 gr14 gr23 gr24)/4。同样，可计算目标表1010的剩余表值gr3、gr4、r1、r2、r3、r4、b1、b2、b3、b4、gb1、gb2、gb3和gb4。
81.参照图10，增益表920可被转换为目标表1020。第二分辨率可以是与拜耳图案对应的分辨率。增益表分箱器220可基于第一分辨率和第二分辨率来确定与多个计算区域之一对应的十六个增益表值。这十六个增益表值可具有相同的颜色。十六个增益表值可以是邻近增益表值。
82.例如，相同颜色的十六个增益表值可经历分箱。目标表中的增益表值gr如下表示：gr＝(gr11 gr12 gr13 gr14 gr21 gr22 gr23 gr24 gr31 gr32 gr33 gr34 gr41 gr42 gr43 gr44)/16。类似地，目标表中的增益表值gb如下表示：gb＝(gb11 gb12 gb13 gb14 gb21 gb22 gb23 gb24 gb31 gb32 gb33 gb34 gb41 gb42 gb43 gb44)/16。在与拜耳图案对应的分辨率中，仅在绿色gr和gb之间出现不一致，因此可不计算目标表1020的剩余表值r和b。
83.在本公开的实施方式中，增益表分箱器220可对与第一分辨率对应的增益表执行分箱，因此可不存储与第二分辨率对应的增益表。
84.在本公开的实施方式中，与计算区域对应的增益表值可对应于另一计算区域。即，单个增益表值可对应于多个计算区域。例如，第一分辨率可以是与十六元图案对应的分辨率，第二分辨率可以是与九单元图案对应的分辨率。换言之，相同颜色的十六个增益表值可经历分箱成为九个目标表值。九个目标表值以下式表示：(gr11 gr12 gr21 gr22)/4、(gr12 gr13 gr22 gr23)/4、(gr13 gr14 gr23 gr24)/4、(gr21 gr22 g31 gr32)/4、(gr22 gr23 gr32 gr33)/4、(gr23 gr24 gr33 gr34)/4、(gr31 gr32 gr41 gr42)/4、(gr32 gr33 gr42 gr43)/4和(gr33 gr34 gr43 gr44)/4。
85.类似地，第一分辨率可以是与九单元图案对应的分辨率，第二分辨率可以是与四
元拜耳图案对应的分辨率。在这种情况下，相同的九个增益表值可被转换为四个目标表值。
86.图11是示出根据本公开的实施方式的从增益表的生成排除的像素的图。
87.参照图11，在包括在子区域1110(例如，图9的子区域910)中的像素当中，可能存在很难维持与邻近像素的线性的像素1120。很难维持与邻近像素的线性的像素1120可以是用于pdaf的光电二极管(pd)像素及其相邻像素。
88.用于pdaf的pd像素的位置可由图像传感器预定。由于用于pdaf的pd像素可具有随位置改变的性质，所以pd像素可能无法维持与其相邻像素的线性。对于用于pdaf的pd像素，两个像素可对应于一个透镜，即，芯片透镜上2
×
1，或者四个像素可对应于一个透镜，即，芯片透镜上2
×
2。另一方面，对于正常像素，单个像素可对应于一个透镜，即，芯片透镜上1
×
1。
89.参照图7，增益表发生器210可通过从包括在感兴趣区域中的像素排除用于pdaf的pd像素来生成增益表。由于用于pdaf的像素具有随图像的位置改变的像素性质，所以这些像素可与执行校准操作以校正颜色不平衡无关。
90.图12是示出根据本公开的实施方式的噪声校准方法的流程图。
91.在本公开的实施方式中，图像感测装置可执行校准操作以消除包括在捕获的图像中的噪声。图像感测装置可通过在低强度照明或视频模式下对与全分辨率对应的增益表进行分箱来执行校准操作。
92.在操作s1201，增益表发生器210可使用包括在图像中的感兴趣区域中所包括的像素值来生成包括与第一分辨率对应的增益表值的增益表。感兴趣区域可以是叠加在图像上的多条网格线的交点之一周围具有预定尺寸的区域。增益表发生器210可设置多条网格线以叠加在输入图像上。增益表发生器210可在网格线的交点周围设置预定的感兴趣区域。
93.增益表可包括分别与多个增益区域对应的增益表值。增益表发生器210可计算各个增益区域的增益表值，其各自通过将包括在感兴趣区域中的像素值当中的颜色与对应于增益区域的像素值相同的像素值的平均值除以对应于增益区域的像素值的平均值来获得。增益表发生器210可生成包括增益表值的增益表。
94.生成增益表的方法可对应于结合图7、图8、图9和图11描述的内容。
95.在操作s1203，增益表分箱器220可将增益表转换为包括与第二分辨率对应的目标表值的目标表。目标表可包括多个计算区域。增益表分箱器220可确定与多个计算区域对应的增益表值。增益表分箱器220可计算目标表值，目标表值是与多个增益区域对应的那些增益表值的平均值。在本公开的实施方式中，增益表分箱器220可计算与多个计算区域对应的那些增益表值的中心处的中值。增益表分箱器220可生成包括所计算的目标表值的目标表。
96.生成目标表的方法可对应于结合图7和图10描述的内容。
97.在操作s1205，校准器230可基于目标表来执行校准操作以消除包括在图像中的噪声。校准器230可将目标表值应用于包括在图像中的多个像素值。作为校准器230的校准操作的结果，具有相同颜色的像素之间的色差可减小。因此，可消除噪声。
98.图13是示出根据本公开的实施方式的增益表分箱方法的流程图。
99.根据本公开的实施方式的增益表分箱方法可由增益表分箱器执行。
100.在操作s1301，增益表分箱器220可确定与多个计算区域对应的增益表值。与多个计算区域对应的增益表值的数量可基于第一分辨率和第二分辨率来确定。例如，第一分辨
率可以是与十六元图案对应的分辨率，第二分辨率可以是与四元拜耳图案对应的分辨率。增益表分箱器220可基于第一分辨率和第二分辨率来确定与多个计算区域之一对应的四个增益表值。这四个增益表值可具有相同的颜色。四个增益表值可以是邻近增益表值。
101.在操作s1303，增益表分箱器220可基于与多个计算区域对应的增益表值来计算目标表值。目标表可包括多个计算区域。增益表分箱器220可计算目标表值，目标表值是与多个增益区域对应的那些增益表值的平均值。在本公开的实施方式中，增益表分箱器220可计算与多个计算区域对应的那些增益表值的中心处的中值。与计算区域对应的目标表值可以是与计算区域对应的增益表值的平均值或中值。增益表分箱器220可生成包括所计算的目标表值的目标表。
102.增益表分箱方法可对应于结合图7和图10描述的内容。
103.在本公开的实施方式中，可生成用于校准操作以减少输入图像的全分辨率中的迷宫噪声的增益表。迷宫噪声可以是由多个像素中的具有相同颜色的像素之间的颜色不平衡导致的网格型噪声。网格噪声通常可能是由像素串扰导致的。串扰可能具有各种原因，包括pd、读电路等中的电子扩散。
104.像素之间的不平衡可按规则图案出现，因此可通过对各个像素应用增益值来消除色差。目标表可通过对增益表进行分箱来生成。不需要存储多个增益表，因此图像处理速率增加并且可节省存储空间。不生成与其它分辨率对应的增益表，从而减少校准所需的时间。
105.根据本公开的实施方式，具有相同颜色的像素之间的不一致可按多图案(例如，四元拜耳图案、九单元图案或十六元图案)最小化，并且绿色gr和gb像素之间的色差可按拜耳图案最小化。
106.图14是包括根据本公开的实施方式的图像传感器的计算系统的框图。
107.参照图14，计算系统2000可包括图像传感器2010、处理器2020、存储装置2030、存储器装置2040、输入/输出装置2050和显示装置2060。尽管图14中未示出，计算系统2000还可包括用于与视频卡、声卡、存储卡、通用串行总线(usb)装置或其它各种电子装置通信的端口。
108.图像传感器2010可生成与入射光对应的图像数据。显示装置2060可显示图像数据。存储装置2030可存储图像数据。处理器2020可控制图像传感器2010、显示装置2060和存储装置2030的操作。
109.处理器2020可执行特定计算或任务。在本公开的实施方式中，处理器2020可以是微处理器或中央处理单元(cpu)。处理器2020可通过地址总线、控制总线和数据总线联接到存储装置2030、存储器装置2040和输入/输出装置2050以进行通信。在本公开的实施方式中，处理器2020也可联接到诸如外围组件互连(pci)总线的扩展总线。
110.存储装置2030可包括闪存装置、固态驱动器(ssd)、硬盘驱动器(hdd)、紧凑盘只读存储器(cd-rom)以及任何类型的非易失性存储器装置。
111.存储器装置2040可存储计算系统2000的操作所需的数据。例如，存储器装置2040可包括诸如动态随机存取存储器(dram)和静态随机存取存储器(sram)的易失性存储器装置以及诸如可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)和闪存装置的非易失性存储器装置。
112.输入/输出装置2050可包括诸如键盘、键区、鼠标等的输入装置以及诸如打印机、
显示器等的输出装置。
113.图像传感器2010可经由总线或其它通信链路联接到处理器2020以进行通信。
114.图像传感器2010可对从包括在像素阵列中的多个像素生成的多个像素数据执行分箱，以生成均匀地分布在像素阵列中的分箱的像素数据。
115.图像传感器2010可按各种类型的封装实现。例如，图像传感器2010的至少一些组件可使用诸如堆叠封装(pop)、球栅阵列(bga)、芯片级封装(csp)、塑料引线芯片载体(plcc)、塑料双列直插封装(pdip)、华夫封装管芯、晶圆形式管芯、板上芯片(cob)、陶瓷双列直插封装(cerdip)、塑料公制四方扁平封装(mqfp)、薄四方扁平封装(tqfp)、小外形集成电路(soic)、收缩小外形封装(ssop)、薄小外形封装(tsop)、系统封装(sip)、多芯片封装(mcp)、晶圆级制造封装(wfp)、晶圆级加工层叠封装(wsp)等的封装来实现。
116.根据本公开的实施方式，图像传感器2010可与处理器2020集成在单个芯片中，或者图像传感器2010和处理器2020可单独地集成在不同的芯片中。
117.此外，计算系统2000应该被解释为使用图像传感器2010的任何计算系统。例如，计算系统2000可包括数字相机、移动电话、pda、pmp、智能电话等。
118.根据本公开，可提供一种图像感测装置以执行改进的网格噪声消除。
119.尽管参考特定实施方式描述了图像感测装置及其操作方法，但这些仅是示例，本公开不限于此，应该根据本说明书中公开的基本构思解释为具有最宽范围。本领域技术人员可通过组合和替换所公开的实施方式来实现未指定的实施方式，但这些也不脱离本公开的范围。另外，本领域技术人员可容易地改变或修改基于本说明书公开的实施方式，并且显而易见，这些改变或修改也落在本公开和以下权利要求的范围内。此外，实施方式可被组合以形成附加实施方式。
120.相关申请的交叉引用
121.本技术要求2021年6月9日提交的韩国专利申请号10-2021-0074776的优先权，其整体通过引用并入本文中。