包括图像信号处理器的图像传感器及其操作方法与流程

包括图像信号处理器的图像传感器及其操作方法
1.相关申请的交叉引用
2.本技术要求在韩国知识产权局于2021年5月28日提交的第10-2021-0069530号和2021年9月9日提交的第10-2021-0120528号韩国专利申请的优先权，其披露内容全部通过引用纳入本文。
技术领域
3.本发明概念涉及图像信号处理，更具体地，涉及包括用于执行一维滤波的图像信号处理器的图像传感器和该图像传感器的操作方法。


背景技术：

4.图像传感器是捕获对象的二维或三维图像的设备。图像传感器使用光电转换设备生成对象的图像，光电转换设备基于对象反射的光的强度进行反应。近年来，随着互补金属氧化物半导体(cmos)技术的发展，使用cmos的cmos图像传感器得到了广泛的应用。由于图像传感器安装在各种设备中，因此需要提高分辨率并增强图像质量，因此，在图像传感器中包括的像素阵列的像素尺寸减小且图像质量增强的情况下，需要图像传感器。


技术实现要素：

5.本发明概念提供了一种图像传感器及其操作方法，其以低功率去除图像数据的噪声，以提供具有高图像质量的图像数据。
6.根据本发明构思的一个方面，提供了一种图像传感器，包括：像素阵列，被配置为将接收的光信号转换为电信号；读出电路，被配置为将电信号进行模数转换以生成图像数据；以及图像信号处理器，被配置为在第一方向和第二方向的每一个上对图像数据执行一维滤波以去除图像数据的噪声，第二方向垂直于第一方向。
7.根据本发明构思的另一方面，提供了一种图像传感器，包括：像素阵列，被配置为将接收的光信号转换为电信号；读出电路，被配置为将电信号进行模数转换以生成图像数据；以及降噪逻辑，被配置为基于一维高斯滤波器集在多个方向上对图像数据连续地执行一维滤波。
8.根据本发明构思的另一方面，提供了一种包括信号处理处理器的图像传感器的操作方法，该操作方法包括：基于由像素阵列接收的光信号生成图像数据；由信号处理处理器基于第一高斯滤波器在第一方向上对图像数据执行一维滤波；以及由信号处理处理器基于第二高斯滤波器在第二方向上对图像数据执行一维滤波，第二方向垂直于第一方向。
9.根据本发明构思的另一方面，提供了一种图像传感器，包括：像素阵列，被配置为将接收的光信号转换为电信号；读出电路，被配置为将电信号进行模数转换以生成图像数据；坏像素校正逻辑，被配置为校正包括在图像数据中的坏像素的像素值；以及降噪逻辑，被配置为基于一维高斯滤波器集在水平方向和垂直方向上对输入图像数据连续地执行一维滤波。
附图说明
10.结合附图进行的以下详细描述将更清楚地理解本发明概念的实施例，其中：
11.图1是示出根据实施例的图像传感器的框图；
12.图2示出了根据实施例的降噪逻辑的示例；
13.图3a和3b是示出根据实施例的对图像数据执行一维滤波的方法的图；
14.图4a和4b示出了图3的像素组；
15.图5a和5b示出了根据实施例的在水平方向上执行一维滤波的方法；
16.图6a和6b示出了根据实施例的在垂直方向上执行一维滤波的方法；
17.图7是示出根据实施例的一维高斯滤波器的图；
18.图8示出了根据实施例的降噪逻辑的示例；
19.图9是示出根据实施例的基于增益的滤波器强度的图；
20.图10是示出根据实施例的高斯曲线相对于一维滤波器的滤波器强度的变化的图；
21.图11是示出根据实施例的基于增益的权重的表；
22.图12是示意性地示出根据实施例的图像信号处理器的框图；
23.图13是描述边缘区域的图；
24.图14是示意性地示出根据实施例的图像信号处理器的框图；
25.图15a-15c是分别描述tetra模式、nona模式和hexa deca模式的图；
26.图16是示出根据实施例的图像传感器的操作方法的流程图；
27.图17a是包括多相机模块的电子设备的框图；
28.图17b是图17a的相机模块的详细框图；以及
29.图18是示出根据实施例的包括图像传感器的电子设备的框图。
具体实施方式
30.以下，将参考附图详细描述实施例。
31.图1是示出根据实施例的图像传感器100的框图。
32.图像传感器100可将通过光学透镜ls入射的、对象的光学信号转换为图像数据。图像传感器100可以安装在具有图像或光感应功能的电子设备中。例如，图像传感器100可以安装在电子设备中，诸如数码相机、数码摄像机、智能手机、可穿戴设备、物联网(iot)设备、平板电脑(pc)、个人数字助理(pda)、便携式多媒体播放器(pmp)和导航设备。此外，图像传感器100可以安装在电子设备中，该电子设备被包括作为载具、家具、制造设施、门和各种仪表的一部分。
33.参考图1，图像传感器100可以包括像素阵列110、读出电路120和/或图像信号处理器130。图像信号处理器130可以包括降噪逻辑10。在实施例中，像素阵列110、读出电路120和图像信号处理器130可以实现为一个半导体芯片或半导体模块。在实施例中，像素阵列110和读出电路120可以实现为一个半导体芯片，图像信号处理器130可以实现为一个半导体芯片。
34.例如，像素阵列110可以实现为光电转换设备，诸如电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)，此外，还可以实现为各种光电转换设备。像素阵列110可以包括多个感测像素px，其将接收的光信号(光)转换为电信号，并且多个感测像素px可排列在矩阵
中。多个感测像素px中的每一个可以包括光感测设备。例如，光感测设备可以包括光电二极管、有机光电二极管、光电晶体管、光电门或钉扎光电二极管。
35.读出电路120可以将从像素阵列110接收的电信号转换为图像数据。读出电路120可以放大电信号，并且可以对放大的电信号进行模数转换。由读出电路120生成的图像数据可以包括分别对应于像素阵列110的多个感测像素px的多个像素。这里，像素阵列110的感测像素px可以是基于接收的光生成信号的物理结构，并且包括在图像数据中的像素可以表示对应于感测像素px的数据。读出电路120可以与像素阵列110一起配置感测核心。
36.图像信号处理器130可以对从读出电路120输出的图像数据idt1(即，原始图像数据)执行图像处理。例如，图像信号处理器130可以对图像数据idt1执行图像处理，诸如坏像素校正、重整合(remosaic)和噪声去除。
37.图像信号处理器130可以包括降噪逻辑10，其降低图像数据的噪声。降噪逻辑10可以对输入图像数据执行一维滤波，以降低图像数据的噪声。图像数据可以是从读出电路120输出的原始图像数据idt1，或者可以是图像信号处理器130中包括的其他处理逻辑已经对其执行了其他图像处理的图像数据。
38.在实施例中，降噪逻辑10可以基于一维滤波器对图像数据执行一维滤波。一维滤波器可以包括分别应用于多个像素中沿一个方向排列的n个像素的n个(其中n是3或更大的整数)系数。一维滤波器可以实现为高斯滤波器。n个系数的系数值可以具有高斯分布。应用于布置在n个像素中的中心的像素(即，滤波目标像素)(以下称为目标像素)的系数的值(以下称为系数值)可以是最大的，并且应用于像素的系数值可以随着对应像素离目标像素越远而减小。在实施例中，系数值可基于外围照明自适应地变化。
39.在实施例中，降噪逻辑10可以通过像素组单元执行一维滤波，像素组单元包括排列在m
×
m矩阵(其中m是2或更大的偶数)中的像素，并且可以基于为每个像素设置的m2个一维滤波器(即，一维滤波器集)对图像数据执行一维滤波。
40.在实施例中，降噪逻辑10可以多次在不同方向上对图像数据执行一维滤波。例如，降噪逻辑10可以在图像数据的行方向和列方向上执行一维滤波。然而，本发明的概念不限于此，并且降噪逻辑10还可以在图像数据的对角线方向(例如，从左上部分到右下部分的方向和/或反向对角线方向)上执行一维滤波。
41.在实施例中，降噪逻辑10可以实现为硬件。然而，本发明构思不限于此，并且降噪逻辑10可以通过软件或硬件和固件的组合来实现。
42.图像信号处理器130可以通过图像处理输出转换后的图像数据idt2。转换后的图像数据idt2可以被提供给外部处理器200(例如，配备有图像传感器100的电子设备的主处理器、应用处理器、图形处理器等)。
43.外部处理器200可以存储转换后的图像数据idt2，或者可以在显示设备上显示转换后的图像数据idt2。外部处理器200可以对转换后的图像数据idt2执行图像处理。在实施例中，外部处理器200可以向图像传感器100提供设置信息is_s。例如，设置信息is_s可以包括用于设置图像传感器200的各种信息，诸如关于像素的转换增益设置信息、曝光信息、模拟增益和数字增益。
44.包括在像素阵列110中的感测像素px的大小随着图像传感器100的分辨率增加而减小，并且由于感测像素px的小型化，图像数据的图像质量可能会降低，并且可能会出现噪
声(例如，盐和胡椒噪声、色斑等)。特别地，在入射到像素阵列110上的光量较低的低照明环境中，噪声可能会严重发生。
45.然而，根据实施例的图像传感器100可以基于简单算法来降低图像数据的噪声，该算法通过使用一维高斯滤波器在多个方向上对图像数据执行一维滤波。因此，根据实施例的图像传感器100可以防止具有低功率的图像数据的图像质量的退化，并且即使在低照明环境中也可以生成具有高图像质量的图像数据。
46.图2示出了根据实施例的降噪逻辑10a的示例。图2的降噪逻辑10a可以应用为图1的降噪逻辑10。
47.参考图2，降噪逻辑10a可以包括第一滤波模块11和第二滤波模块12。在非限制性实施例中，第一滤波模块11和第二滤波模块12可以实现为硬件。
48.第一滤波模块11可以基于第一滤波器在第一方向上对输入图像数据idti执行一维滤波，并且连续地，第二滤波模块12可以基于第二滤波器在第二方向上对从第一滤波模块11输出的图像数据idtc执行一维滤波，以生成输出图像数据idto。
49.在实施例中，第一方向可以是输入图像数据idti的水平方向(或称为行方向)，第二方向可以是图像数据idtc的垂直方向(或称为列方向)。换句话说，第一滤波模块11可以是水平方向hd滤波模块，第二滤波模块12可以是垂直方向vd滤波模块。第一滤波器和第二滤波器可以各自是一维高斯滤波器，并且第二滤波器可以与第一滤波器相同或不同。
50.在图2中，第一滤波模块11和第二滤波模块12被示为单独的元件，但不限于此，并且可以实现为一个模块。
51.已经描述了一个示例，其中降噪逻辑10a包括第一滤波模块11和第二滤波模块12，并且在水平方向和垂直方向上连续执行一维滤波，但本发明的概念不限于此。在实施例中，降噪逻辑10a还可以包括一个或多个滤波模块(例如，第三滤波模块和/或第四滤波模块)，其在不同方向上执行一维滤波。
52.如上所述，降噪逻辑10a可以在多个方向上连续地对图像数据idti执行一维滤波，以降低图像数据idti的噪声。
53.图3a和3b是示出根据实施例对图像数据执行一维滤波的方法的图，并且图4a和4b示出了图3a和3b的像素组。
54.参考图3a和3b，图像数据idti和idtc的片段可以各自是二维数据，并且可以包括沿水平方向(例如，x轴方向)和垂直方向(例如，y轴方向)排列的多个像素px。图像数据idti和idtc中的每一个可以被划分为多个像素组pg(其包括排列在m
×
m矩阵(其中m是2或更大的偶数)中的像素px)，并且可以由像素组pg单元执行一维滤波。
55.如上文参考图1所述，降噪逻辑10可以通过包括m2个像素的像素组pg单元执行一维滤波，并且可以基于分别应用于m2个像素的m2个一维高斯滤波器(即，一维高斯滤波器集)执行一维滤波。
56.图3a示出了图像数据idti上水平方向上的一维滤波，图3b示出了图像数据idtc上垂直方向上的一维滤波。图2的第一滤波模块11可以基于第一滤波器(例如，一维高斯滤波器集)在水平方向上执行一维滤波，第二滤波模块12可以基于第二滤波器在垂直方向上执行一维滤波。然而，本发明构思不限于此，并且在实施例中，图2的第一滤波模块11可以在垂直方向上执行一维滤波，第二滤波模块12可以在水平方向上执行一维滤波。
57.参考图4a和4b，像素组(图3的pg)可以具有bayer模式。bayer模式可以表示一种模式，其中基于人的视觉特性，绿色、红色和蓝色交替排列，使得绿色为50％，红色为25％，蓝色为25％。
58.参考图4a，像素组pga可被配置为具有2
×
2bayer模式。像素组pga可以包括第一绿色像素gr、红色像素r、第二绿色像素gb和蓝色像素b，第一绿色像素gr和第二绿色像素gb可以沿对角线方向排列，并且红色像素r和蓝色像素b可以沿对角线方向排列。
59.参考图4b，像素组pgb可被配置为具有4
×
4bayer模式。像素组pgb可以包括四个第一绿色像素gr、四个红色像素r、四个第二绿色像素gb和四个蓝色像素b。此外，像素组(图3a和3b的pg)可被配置为具有具有各种大小的bayer模式。
60.应用于图3a和3b的像素组pg的模式已参考图4a和4b在上文进行了描述。然而，本发明的概念不限于此，并且各种不同模式中的一种可应用于像素组pg。例如，像素组pg可以包括rgbw模式、rwb模式、ycbcr模式、cmy模式或cmyg模式。
61.再次参考图3a，第一滤波模块11可以在水平方向上对输入图像数据idti执行一维滤波。第一滤波模块11可以在水平方向上对多个像素组pg中的一个像素组pg(例如，第一像素组pg1)执行一维滤波，然后，可以在水平方向上对在水平方向上与其相邻的不同像素组pg(例如，第二像素组pg2)执行一维滤波。第一滤波模块11可以对像素组pg中包括的每个像素px(例如，四个像素px)应用相应的一维高斯滤波器。将参考图5a和5b详细描述在水平方向上执行一维滤波的详细方法。
62.关于图示的虚线方向，可以排列在同一行中的每个像素组pg顺序执行水平方向上的一维滤波，然后，可以对排列在下一行中的每个像素组pg顺序执行水平方向上的一维滤波。以这种方式，可以对图像数据idti的多个像素组pg执行水平方向上的一维滤波。
63.参考图3b，可以对通过在水平方向上执行一维滤波而生成的图像数据idti执行垂直方向上的一维滤波。第二滤波模块12可以在垂直方向上对多个像素组pg中的一个像素组pg(例如，第一像素组pg1)执行一维滤波，然后，可以在垂直方向上对在垂直方向上与其相邻的不同像素组pg(例如，第三像素组pg3)执行一维滤波。第二滤波模块12可以对像素组pg中包括的每个像素px(例如，四个像素px)应用相应的一维高斯滤波器。将参考图6a和6b详细描述在垂直方向上执行一维滤波的详细方法。
64.关于所示的虚线方向，可以对排列在同一列中的每个像素组pg顺序执行垂直方向上的一维滤波，然后，可以对排列在下一列中的每个像素组pg顺序执行垂直方向上的一维滤波。以这种方式，可以对图像数据idtc的多个像素组pg执行垂直方向上的一维滤波。
65.在实施例中，在图像信号处理器130执行图像处理的情况下，图像数据可以以像素px以多行为单位存储和更新在行缓冲器中，并且，可以对存储在行缓冲器中的多行图像数据连续地执行图像处理(例如，在上述水平方向和垂直方向上的一维滤波)。当在行缓冲器中更新多个行时，可以对连续更新的多个行连续地执行水平方向和垂直方向上的一维滤波。
66.图5a和5b示出了根据实施例的在水平方向上执行一维滤波的方法。图5a和5b可由图2的第一滤波模块11执行。
67.参考图5a，在对图像数据idt执行水平方向上的一维滤波时，可以使用与要执行滤波的目标像素组pg_t排列在同一行中的外围像素px。例如，与目标像素px_t排列在同一行
中的n-1个第一绿色像素gr可用于在水平方向上对目标像素组pg_t的第一绿色像素gr(以下称为目标像素px_t)执行一维滤波。例如，可以使用目标像素px_t(例如，排列在第三像素p_h3的左侧和右侧的每一处的两个第一绿色像素gr(例如，第一像素p_h1、第二像素p_h2、第四像素p_h4和第五像素p_h5))。
68.参考图5b，一维滤波器可以包括n个系数，分别应用于包括目标像素px_t的n个像素。例如，一维滤波器可以包括第一到第五系数c1到c5，并且第一到第五系数c1到c5可各自应用于目标像素px_t(例如，第三像素p_h3和外围第一像素p_h1、第二像素p_h2、第四像素p_h4和第五像素p_h5)。
69.可以基于水平方向上的一维滤波来转换目标像素px_t的像素值，并且可以基于以下等式1来计算转换像素值pv_h。
70.[等式1]
[0071][0072]
这里，k可以表示代表系数的比特数，例如，在系数被表示为13比特的情况下，系数可以具有2
13
个值(即，8192个值)中的一个，系数的最小值可以是“0”，系数的最大值可以是“8192”。
[0073]
例如，第一至第五系数c1至c5的系数值可乘以第一至第五像素p_h1至p_h5的像素值，然后，可将乘以的值相加。随后，可以计算最大系数值(例如，除以8192的值)作为目标像素px_t的转换像素值pv_h。
[0074]
同样，布置在目标像素组pg_t的其他像素的左侧和右侧的n-1个(例如，四个)具有相同颜色的像素px可用于在水平方向上对目标像素组pg_t的每个其他像素(例如，红色像素r、蓝色像素b和第二绿色像素gb)进行一维滤波。
[0075]
如上所述，不同的一维滤波器(例如，一维高斯滤波器)可分别应用于目标像素组pg_t的多个像素(例如，第一绿色像素gr、红色像素r、蓝色像素b和第二绿色像素gb)。
[0076]
图6a和6b示出了根据实施例的在垂直方向上执行一维滤波的方法。图6a和6b可由图2的第二滤波模块12执行。
[0077]
参考图6a，在对图像数据idt执行垂直方向上的一维滤波时，可以使用排列在与要执行滤波的目标像素组pg_t相同列中的外围像素px。例如，与目标像素px_t排列在同一列中的n-1个第一绿色像素gr可用于对目标像素组pg_t的第一绿色像素gr(以下称为目标像素px_t)在垂直方向上执行一维滤波，可以使用目标像素px_t(例如，排列在第三像素p_h3的上侧和下侧的每一处的两个第一绿色像素gr(例如，第一像素p_v1、第二像素p_v2、第四像素p_v4和第五像素p_v5))。
[0078]
参考图6b，一维滤波器可以包括n个系数，分别应用于包括目标像素px_t的n个像素。例如，一维滤波器可以包括第一到第五系数c1到c5，并且第一到第五系数c1到c5可各自应用于目标像素px_t(例如，第三像素p_v3和外围第一像素p_v1、第二像素p_v2、第四像素p_v4和第五像素p_v5)。
[0079]
与图5a中水平方向上的一维滤波方法相比，在水平方向上执行一维滤波中，滤波器的第一到第五系数c1到c5可应用于水平方向上排列的第一到第五像素p_h1到p_h5，并且在图6b中在垂直方向上执行一维滤波中，滤波器的第一到第五系数c1到c5可应用于垂直方
向上排列的第一到第五像素p_v1到p_v5。
[0080]
在实施例中，用于在垂直方向上执行一维滤波的一维滤波器可以与图5b中用于在水平方向上执行一维滤波的一维滤波器相同。换句话说，第一到第五系数c1到c5可以与图5b的第一到第五系数c1到c5相同。然而，本发明构思不限于此，并且用于在垂直方向上执行一维滤波的一维滤波器可以不同于图5b中用于在水平方向上执行一维滤波的一维滤波器。
[0081]
基于垂直方向上的一维滤波的目标像素px_t的转换像素值pv_v可基于以下等式2计算。
[0082]
[等式2]
[0083][0084]
例如，第一至第五系数c1至c5的系数值可以乘以第一至第五像素p_v1至p_v5的像素值，然后，乘以的值可以求和。随后，可以计算最大系数值(例如，除以8192的值)作为目标像素px_t的转换像素值pv_v。
[0085]
同样，布置在目标像素组pg_t的其他像素的上侧和下侧的n-1个(例如，四个)具有相同颜色的像素px可以在对目标像素组pg_t的每个其他像素(例如，红色像素r、蓝色像素b和第二绿色像素gb)的水平方向上的一维滤波中使用。
[0086]
图7是示出根据实施例的一维高斯滤波器的图。
[0087]
参考图7，横坐标轴表示应用系数的像素的位置，纵坐标轴表示系数值。一维高斯滤波器可以包括n个系数，n个系数中的每一个可具有2k个系数值中的一个，并且系数值的分布可由高斯曲线表示。
[0088]
例如，一维高斯滤波器可以包括第一到第五系数c1到c5。在系数被表示为13比特的情况下，第一到第五系数c1到c5可以具有2
13
个值(即8192个值)中的一个，系数的最小值可以是“0”，系数的最大值可以是“8192”。
[0089]
如上所述，参考图5b和6b，n个像素可以相对于目标像素(例如，图5a的px_t)应用于目标像素和与目标像素相同行或列的外围像素。例如，第一到第五系数c1到c5可以分别应用于包括目标像素和外围像素的五个像素，并且在这种情况下，应用于目标像素的第三系数c3的系数值可以最大，所应用系数的系数值可以随着相应像素离目标像素越远而减小。第一到第五系数c1到c5的和可以是2
k-1(例如，“8191”(当k是13时))。
[0090]
在实施例中，系数值的分布(即，高斯曲线的梯度)可以基于图像传感器(图1的100)的外围照明而变化。
[0091]
图8示出了根据实施例的降噪逻辑10b的示例。图8的降噪逻辑10b可以应用为图1的降噪逻辑10。
[0092]
参考图8，降噪逻辑10b可以包括第一滤波模块11、第二滤波模块12和滤波器设置模块13。在非限制性实施例中，第一滤波模块11和第二滤波模块12可以实现为硬件，而滤波器设置模块13可以实现为固件。
[0093]
第一滤波模块11可以基于第一滤波器在第一方向上对输入图像数据idti执行一维滤波，并且连续地，第二滤波模块12可以基于第二滤波器在第二方向上对从第一滤波模块11输出的图像数据idtc执行一维滤波，以生成输出图像数据idto。
[0094]
在描述第一滤波模块11和第二滤波模块12的操作时，省略了与上面参考图2给出
的详细描述相同或类似的描述。
[0095]
过滤器设置模块13可以设置第一过滤器和第二过滤器。如上所述，第一滤波器和第二滤波器中的每一个可以实现为一维高斯滤波器，并且可以包括分别应用于m2个像素的m2个一维高斯滤波器。一维高斯滤波器可以包括分别应用于n个像素的n个系数。
[0096]
滤波器设置模块13可以调整在第一滤波模块11和第二滤波模块12中的每个中使用的一维高斯滤波器的n个系数的系数值。在实施例中，滤波器设置模块13可以基于图像传感器(图1的100)的外围照明来调整系数值的分布(即，高斯曲线的梯度)。例如，滤波器设置模块13可以接收应用于读出电路(图1的120)的增益信息gn，并且可以基于增益信息gn调整一维高斯滤波器的高斯曲线的梯度。
[0097]
图9是示出根据实施例的基于增益的滤波器强度的图。
[0098]
参考图9，横坐标轴表示增益，纵坐标轴表示滤波器强度。高照明(或一般照明)环境显示为增益降低，低照明环境显示为增益增加。当增益低时(例如，在增益g0或更小的情况下)(即，在高照明环境下)，可以不执行根据实施例的连续一维滤波。可以从增益g0或更多(即，增益g0到g4)执行连续的一维滤波，并且随着增益增加，一维高斯滤波器的滤波器强度可以增加。
[0099]
配备有图像传感器(图1的100)的图像设备可以感测图像传感器100的外围照明，并可基于外围照明向图像传感器100提供增益设置信息。图像设备的处理器(例如，主处理器、应用处理器(ap)等)可以向图像传感器100提供曝光信息、模拟增益和数字增益。图像传感器100的读出电路110可以包括模拟电路(例如，比较器等)，其对像素阵列(图1的110)接收的感测信号进行模数转换，以及处理数字转换信号的数字电路，模拟增益可以应用于模拟电路，数字增益可以应用于数字电路。随着外围照明降低，模拟增益和数字增益可能会增加。可以基于模拟增益和数字增益来计算增益(例如，总增益)。例如，模拟增益和数字增益的乘法可以被计算为增益。
[0100]
可以将模拟增益和/或数字增益设置为高，以便在低照度环境中提高图像数据的亮度。因此，在高照度环境中增益可能较低，而在低照度环境中增益可能较高。因此，随着外围照明降低，图像数据中出现的噪声量可能会增加。因此，如图9所示，随着增益的增加，可以将滤波器强度设置为高，以便降低图像数据的噪声。
[0101]
图10是示出根据实施例的高斯曲线相对于一维滤波器的滤波器强度的变化的图。
[0102]
参考图10，横坐标轴表示应用一维滤波器的系数的像素的位置，纵坐标轴表示系数值。一维滤波器的系数值分布可用高斯曲线表示。如上文参考图9所述，当增益高时，一维滤波器的强度可以设置为高，并且当增益低时，一维滤波器的强度可以设置为低。一维滤波器的强度增强可能表示高斯曲线的梯度变缓，而一维滤波器的强度减弱可能表示高斯曲线的梯度变陡。因此，如图10所示，可以设置第一滤波器的系数值，使得高斯曲线的梯度随着增益的增加而变缓。
[0103]
再次参考图8，在实施例中，可以预先为每个增益(例如，图9的每个增益g0到g4)设置一维高斯滤波器的m2个数的系数值，并且滤波器设置模块13可以基于在m2个一维高斯滤波器中设置的增益gn应用系数值。
[0104]
在实施例中，可以预先设置参考高斯曲线(即，参考系数值)，并且滤波器设置模块13可以基于根据参考高斯曲线设置的增益计算滤波器强度。例如，与增益g1对应的一维滤
波器的系数值可以被预先设置为参考系数值。滤波器设置模块13可以预先存储基于增益的权重，并且可以将参考系数值乘以对应于设置的增益gn的权重，以设置对应于增益gn的一维滤波器(即高斯曲线)的系数值。
[0105]
图11是示出根据实施例的基于增益的权重的表。
[0106]
参考图11，表tb可以包括增益和为增益设置的权重。可以设置与n个增益g0到gn对应的n个权重w0到wn。例如，每个权重可以具有一维滤波器的系数的对应系数的值。
[0107]
例如，当设置的增益是增益g3时，滤波器设置模块(图8的13)可以将参考系数值乘以权重w0，以计算与增益g3相对应的一维滤波器的系数值。
[0108]
如上所述，取代第一滤波器和第二滤波器的基于增益的系数值可以预先设置和存储，并将设置的系数值提供给滤波器设置模块13，滤波器设置模块13可以基于参考系数和基于增益的权重计算增益集的系数值。因此，基于增益的系数值被加载到滤波器设置模块13中的时间减少，并且用于设置第一滤波器和第二滤波器的设置时间可以减少。
[0109]
图12是示意性地示出根据实施例的图像信号处理器130a的框图。图12的图像信号处理器130a可以应用为图1的图像信号处理器130。
[0110]
参考图12，图像信号处理器130a可以包括坏像素校正逻辑20、降噪逻辑10和增益计算器30。在非限制性实施例中，坏像素校正逻辑20和降噪逻辑10可以实现为硬件，增益计算器30可以实现为固件。
[0111]
图像信号处理器130a可以对输入到其的第一图像数据idt1执行坏像素校正和降噪处理。第一图像数据idt1可以是具有bayer模式的图像数据。
[0112]
坏像素校正逻辑20可以校正包括在第一图像数据idt1中的坏像素的像素值。这里，坏像素可以表示当与外围像素的像素值差大于或等于参考值或者第一图像数据idti表示具有特定灰度的图像时，不具有对应于特定灰度的像素值的像素。坏像素校正逻辑20可以基于设置的算法执行坏像素校正，并且例如，可以通过基于外围像素的像素值的插值来设置坏像素的像素值，或者可以平均外围像素的像素值以将平均值设置为坏像素的像素值。
[0113]
如上文参考图2到11所述的降噪逻辑10可以对从坏像素校正逻辑20输出的图像数据在多个方向上连续执行一维滤波，从而降低图像数据的噪声。降噪逻辑10可以输出降噪图像数据(例如，第二图像数据idt2)。
[0114]
增益计算器30可以基于从外部处理器接收到的增益信息(例如，曝光信息、模拟增益或数字增益)计算增益gn(例如，总增益)。例如，增益计算器30可以将数字增益乘以模拟增益来计算增益gn。
[0115]
增益计算器30可以将计算出的增益gn提供给坏像素校正逻辑20和降噪逻辑10。坏像素校正逻辑20可以使用增益gn校正坏像素的像素值。此外，如上文参考图8所述，包括在降噪逻辑10中的滤波器设置模块(图8的13)可以基于增益gn设置降噪逻辑10中使用的一维滤波器的系数值。在实施例中，增益计算器30可以实现为降噪逻辑10的滤波器设置模块13的元件。
[0116]
在实施例中，坏像素校正逻辑20可以在对第一图像数据idt1执行的坏像素校正处理中生成方向性信息di，并且可以向降噪逻辑10提供方向性信息di。这里，方向性信息di可以表示某个像素是否包括在边缘区域中。下面将参考图13描述边缘区域。
[0117]
图13是描述边缘区域的图。
[0118]
参考图13，图像数据idt可以包括灰度快速变化的边缘区域ear。例如，图13所示的图像数据idt的每个像素可以具有完全对应于白色的灰度(例如，对应于最大灰度的像素值)，并且第一到第四边缘区域ea1到ea4可以具有作为像素值的、对应于与最大灰度之间存在一定灰度或更大的差异的灰度的灰度值。第一和第二边缘区域ea1和ea2可以是水平方向(例如，x轴方向)上的边缘区域，并且可以被称为水平边缘区域。第三和第四边缘区域ea3和ea4可以是垂直方向(例如，y轴方向)上的边缘区域，并且可以被称为垂直边缘区域。
[0119]
在对边缘区域(例如，第一到第四边缘区域ea1到ea4)执行一维滤波的情况下，边缘区域的定义可能会降低，并且由于这一点，图像数据idt的图像质量可能会降低。因此，可以不对边缘区域执行一维滤波。
[0120]
参考图12，方向性信息di可以表示像素是包括在水平边缘区域中还是包括在垂直边缘区域中。降噪逻辑10可以基于方向性信息di跳过对包括在水平边缘区域中的像素在水平方向上的一维滤波，并且可以跳过对包括在垂直边缘区域中的像素在垂直方向上的一维滤波。
[0121]
对应于多个像素的图像信号处理器130a可以在对第一图像数据idt1执行图像处理之前从第一图像数据idt1中移除偏移值。图像信号处理器130a可以对已从中移除偏移值的第一图像数据idt1执行图像处理，以生成第二图像数据idt2，并且可以再次将偏移值应用于第二图像数据idt2。
[0122]
图14是示意性地示出根据实施例的图像信号处理器的框图。图15a到15c是描述图像数据模式的图表。图14的图像信号处理器130b可以应用为图1的图像信号处理器130。
[0123]
参考图14，图像信号处理器130b可以包括坏像素校正逻辑20、重整合逻辑40、降噪逻辑10和增益计算器30。在非限制性实施例中，坏像素校正逻辑20、重整合逻辑40和降噪逻辑10可以实现为硬件，增益计算器30可以实现为固件。
[0124]
输入到图像信号处理器130b的第一图像数据idt1可以具有不是bayer模式的模式。例如，第一图像数据idt1可以具有图15a的tetra模式、图15b的nona模式或图15c的hexa deca模式。tetra模式、nona模式和hexa deca模式都可以是bayer模式的改进模式。
[0125]
参考图15a，tetra模式可以包括四个第一绿色像素gr、四个红色像素r、四个蓝色像素b和四个第二绿色像素gb，它们各自排列在2
×
2矩阵中。四个第一绿色像素gr和四个第二绿色像素gb可以沿对角线方向排列，四个红色像素r和四个蓝色像素b可以沿对角线方向排列。
[0126]
参考图15b，nona模式可以包括九个第一绿色像素gr、九个红色像素r、九个蓝色像素b和九个第二绿色像素gb，它们各自以3
×
3矩阵排列。九个第一绿色像素gr和九个第二绿色像素gb可以沿对角线方向排列，九个红色像素r和九个蓝色像素b可以沿对角线方向排列。
[0127]
参考图15c，hexa deca模式可以包括16个第一绿色像素gr、16个红色像素r、16个蓝色像素b和16个第二绿色像素gb，它们各自排列在4
×
4矩阵中。十六个第一绿色像素gr和十六个第二绿色像素gb可以沿对角线方向排列，十六个红色像素r和十六个蓝色像素b可以沿对角线方向排列。
[0128]
参考图14，坏像素校正逻辑20可以对第一图像数据idt1执行坏像素校正，然后，重
整合逻辑40可以对从坏像素校正逻辑20输出的图像数据执行重整合处理。重整合逻辑40可以将具有不是bayer模式的模式(例如，tetra模式、nona模式和hexa deca模式)的图像数据转换为bayer模式。
[0129]
降噪逻辑10可以对转换成bayer模式的图像数据执行降噪处理，并且可以输出降噪的第二图像数据idt2。第二图像数据idt2可以具有bayer模式。
[0130]
在实施例中，坏像素校正逻辑20、重整合逻辑40和降噪逻辑10可以基于增益计算器30提供的增益gn执行坏像素校正、重整合处理和降噪处理。
[0131]
在实施例中，坏像素校正逻辑20可以向重整合模块40和降噪模块10提供方向性信息di，重整合模块40可以基于方向性信息di执行重整合，并且降噪模块10可以基于方向性信息di跳过对特定像素的一维滤波。
[0132]
图16是示出根据实施例的图像传感器的操作方法的流程图。图16的操作方法可以由图1的图像传感器100执行，并且图像传感器100的上述描述可以应用于本实施例。
[0133]
参考图1和16，在操作s110中，图像传感器100可以生成图像数据。读出电路120可以模数转换从像素阵列110接收的感测信号以生成图像数据。
[0134]
随后，图像传感器100可以对图像数据执行图像处理。在操作s120中，图像传感器100可以对图像数据执行坏像素校正。此外，在操作s130中，图像传感器100可以对图像数据执行降噪处理。在实施例中，当图像数据具有不是bayer模式的模式时，可以在降噪处理之前对图像数据执行重整合处理。因此，图像数据可以具有bayer模式，并且可以对具有bayer模式的图像数据执行降噪处理。
[0135]
在操作s130中，可以在操作s131中对图像数据执行第一方向(例如，水平方向)上的一维滤波。随后，在操作s132中，可以对已经执行了水平方向上的一维滤波的图像数据执行第二方向(例如，垂直方向)上的一维滤波。在实施例中，可以进一步执行不同方向上的一维滤波。可以基于一维高斯滤波器执行一维滤波，并且在垂直方向上的一维滤波中使用的一维高斯滤波器可以与在水平方向上的一维滤波中使用的一维高斯滤波器相同或不同。
[0136]
对其进行降噪处理的图像数据可以被提供给外部处理器。然而，本发明构思不限于此，并且可以对已经对其执行降噪处理的图像数据执行其他图像处理，或者可以对图像数据执行压缩处理，并且可以将已经对其执行其他图像处理或压缩处理的图像数据提供给外部处理器。
[0137]
图17a示出了包括多相机模块的电子设备，图17b是图15的相机模块的详细框图。
[0138]
参考图17a，电子设备1000可以包括相机模块组1100、应用处理器1200、电源管理集成电路(pmic)1300和外部存储器1400。
[0139]
相机模块组1100可以包括多个相机模块1100a、1100b和1100c。尽管图18示出了其中排列了三个相机模块1100a、1100b和1100c的实施例，但实施例不限于此。在一些实施例中，例如，相机模块组1100可以包括两个相机模块，或者可以包括k(其中k是大于或等于4的自然数)个相机模块。
[0140]
以下，将参考图17b更详细地描述相机模块1100b的详细配置，并且根据实施例，以下描述可同样应用于其他相机模块1100a和1100c。
[0141]
参考图17b，相机模块1100b可以包括棱镜1105、光路折叠元件(以下称为“opfe”)1110、致动器1130、图像感测设备1140和存储1150。
[0142]
棱镜1105可以包括光反射材料的反射面1107，并改变从外部入射的光l的路径。
[0143]
在一些实施例中，棱镜1105可将沿第一方向x入射的光l的路径改变为垂直于第一方向x的第二方向y。此外，棱镜1105可沿a方向或b方向在光反射材料的反射面1107的中心轴1106上旋转，从而将沿第一方向x入射的光l的路径改变为与其垂直的第二方向y。在这种情况下，opfe 1110还可以在垂直于第一方向x和第二方向y的第三方向z上移动。
[0144]
在一些实施例中，棱镜1105在a方向上的最大旋转角度在 a方向上小于15度，在-a方向上可以大于15度，如图15b所示，但实施例不限于此。
[0145]
在一些实施例中，棱镜1105可以在大约20度的范围内移动，或者可以在 b或-b方向上在10度和20度之间移动，或者在15度和20度之间移动，并且移动角度可以在 b或-b方向上彼此相同，或者可以在1度的范围内。
[0146]
在一些实施例中，棱镜1105的光反射材料的反射面1107可沿平行于中心轴1106的延伸方向的第三方向(例如，z方向)移动。
[0147]
在一些实施例中，相机模块1100b可以包括两个或多个棱镜，从而将沿第一方向x入射的光l的路径以不同方式改变为垂直于第一方向x的第二方向y、第一方向x或第三方向z，然后再次改变为第二方向y。
[0148]
例如，opfe 1110可以包括包含m(m是自然数)个组的光学透镜。m个镜头可以在第二方向y上移动，以改变相机模块1100b的光学变焦比。例如，当相机模块1100b的基本光学变焦比被称为z时，并且当包括在opfe1110中的m个光学透镜被移动时，相机模块1100b的光学变焦比可以改变为3z、5z或更大。
[0149]
致动器1130可将opfe 1110或光学透镜(以下称为光学透镜)移动到特定位置。例如，致动器1130可以调整光学透镜的位置以进行精确感测，使得图像传感器1142位于光学透镜的焦距处。
[0150]
图像感测设备1140可以包括图像传感器1142、控制逻辑1144和存储器1146。图像传感器1142可以通过使用通过光学透镜提供的光l来感测感测目标的图像。
[0151]
上述参考图1至17描述的像素和像素阵列可应用于图像传感器1142。图像信号处理器可以在多个方向上对图像数据连续地执行一维滤波，因此，可以降低图像数据的噪声。
[0152]
控制逻辑1144可以控制相机模块1100b的操作，并处理感测图像。例如，控制逻辑1144可以根据通过控制信号线cslb提供的控制信号来控制相机模块1100b的操作，并且可以提取与感测图像中的特定图像相对应的图像数据(例如，图像中的面部、手臂、腿部等)，或者执行诸如噪声去除的图像处理。
[0153]
存储器1146可以存储用于相机模块1100b的操作的信息，诸如校准数据1147。校准数据1147可以是用于相机模块1100b通过使用从外部提供的光l来生成图像数据的信息，并且可以包括例如关于旋转度的信息、关于焦距的信息、关于光轴的信息等。当相机模块1100b包括焦距根据光学镜头的位置改变的多状态相机时，校准数据1147可以包括关于光学镜头的每个位置(或状态)的焦距值和关于自动聚焦的信息。
[0154]
存储1150可存储由图像传感器1142感测的图像数据。存储1150可以布置在图像感测设备1140的外部，并且可以与构成图像感测设备1140的传感器芯片以堆叠形式实现。在一些实施例中，图像传感器1142可以包括第一芯片，并且控制逻辑1144、存储1150和存储器1146可以包括第二芯片，以便可以堆叠这两个芯片。
[0155]
在一些实施例中，存储1150可以包括电可擦除可编程只读存储器(eeprom)，但实施例不限于此。在一些实施例中，图像传感器1142可以包括像素阵列，并且控制逻辑1144可以包括用于处理感测图像的模数转换器和图像信号处理器。
[0156]
参考图17a和17b，在一些实施例中，多个相机模块1100a、1100b和1100c中的每一个都可以包括致动器1130。因此，多个相机模块1100a、1100b和1100c可以包括根据其中包括的致动器1130的操作而彼此相同或不同的校准数据1147。
[0157]
在一些实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(例如1100b)可以是包括上述棱镜1105和opfe 1110的折叠透镜型相机模块，并且其他相机模块(例如，1100a和1100c)可以是不包括棱镜1105和opfe 1110的垂直型相机模块，但不限于此。
[0158]
在一些实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(例如1100c)可以是垂直形状的深度相机，用于通过使用例如红外线(ir)来提取深度信息。在这种情况下，应用处理器1200可以将从深度相机提供的图像数据与从另一相机模块(例如，1100a或1100b)提供的图像数据合并，并提供三维(3d)深度图像。
[0159]
在一些实施例中，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如1100a和1100b)可以具有不同的视角。在这种情况下，例如，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如1100a和1100b)的光学镜头可以彼此不同，但不限于此。
[0160]
此外，在一些实施例中，多个相机模块1100a、1100b和1100c中的每一个的视角可以彼此不同。例如，相机模块1100a可以是超宽相机，相机模块1100b可以是宽相机，相机模块1100c可以是远程相机，但不限于此。在这种情况下，包括在多个相机模块1100a、1100b和1100c中的每个中的光学透镜也可以彼此不同，但本发明不限于此。
[0161]
在一些实施例中，多个相机模块1100a、1100b和1100c可以彼此物理分离并布置。也就是说，一个图像传感器1142的感测区域不被多个相机模块1100a、1100b和1100c分割，并且独立的图像传感器1142可以被布置在多个相机模块1100a、1100b和1100c的每个内部。
[0162]
回到图17a，应用处理器1200可以包括图像处理设备1210、存储器控制器1220和内部存储器1230。应用处理器1200可以与多个相机模块1100a、1100b和1100c分开实现。例如，应用处理器1200和多个相机模块1100a、1100b和1100c可以实现为单独的半导体芯片。图像处理设备1210可以包括多个子图像处理器1212a、1212b和1212c、图像生成器1214和相机模块控制器1216。
[0163]
图像处理设备1210可以包括分别对应于多个相机模块1100a、1100b和1100c的多个子图像处理器1212a、1212b和1212c。
[0164]
从相机模块1100a、1100b和1100c中的每一个生成的图像数据可以通过彼此分离的图像信号线isla、islb和islc提供给相应的子图像处理器1212a、1212b和1212c。例如，由相机模块1100a生成的图像数据可以通过图像信号线isla提供给子图像处理器1212a，由相机模块1100b生成的图像数据可以通过图像信号线islb提供给子图像处理器1212b，并且，由相机模块1100c生成的图像数据可以通过图像信号线islc提供给子图像处理器1212c。这种图像数据传输可以通过使用例如基于移动工业处理器接口(mipi)的相机串行接口(csi)来执行，但不限于此。
[0165]
在一些实施例中，一个子图像处理器可被布置为对应于多个相机模块。例如，如图
15a所示，子图像处理器1212a和子图像处理器1212c可以集成到一个子图像处理器中而不彼此分离，从相机模块1100a和1100c提供的图像数据可以由选择元件(例如，多路复用器)等选择，然后提供给集成子图像处理器。在这种情况下，子图像处理器1212b可以从相机模块1100b接收图像数据，而不将其集成到其中。
[0166]
此外，在一些实施例中，由相机模块1100a生成的图像数据可以通过图像信号线isla提供给子图像处理器1212a，由相机模块1100b生成的图像数据可以通过图像信号线islb提供给子图像处理器1212b，并且，由相机模块1100c生成的图像数据可以通过图像信号线islc提供给子图像处理器1212c。此外，由子图像处理器1212b处理的图像数据可以直接提供给图像生成器1214，并且由子图像处理器1212a和1212c处理的图像数据可以由选择元件(例如，多路复用器)等选择，然后提供给图像生成器1214。
[0167]
子图像处理器1212a、1212b和1212c中的每一个都可以对从相机模块1100a、1100b和1100c提供的图像数据执行图像处理，诸如坏像素校正、自动聚焦校正的3a调整、自动白平衡和自动曝光、降噪、锐化、伽马控制和重整合。
[0168]
在一些实施例中，可以对相机模块1100a、1100b和1100c中的每一个执行重整合信号处理，然后，可以将重整合信号处理的结果提供给子图像处理器1212a、1212b和1212c。
[0169]
子图像处理器1212a、1212b和1212c中的每一个子图像处理器处理的图像数据可以被提供给图像生成器1214。图像生成器1214可以根据图像生成信息或模式信号，通过使用从每个子图像处理器1212a、1212b和1212c提供的图像数据来生成输出图像。
[0170]
图像生成器1214可以通过根据图像生成信息或模式信号合并由图像处理器1212a、1212b和1212c生成的至少一些图像数据来生成输出图像。此外，图像生成器1214可以通过根据图像生成信息或模式信号选择由图像处理器1212a、1212b和1212c生成的图像数据中的任何一个来生成输出图像。
[0171]
在一些实施例中，图像生成信息可以包括变焦信号或变焦因子。此外，在一些实施例中，模式信号可以是基于例如用户选择的模式的信号。
[0172]
当图像生成信息是变焦信号(变焦因子)，并且当相机模块1100a、1100b和1100c具有不同的视野(视角)时，图像生成器1214可以根据变焦信号的类型执行不同的操作。例如，当变焦信号是第一信号时，图像生成器1214可以通过在从子图像处理器1212a和1212c输出的图像数据中使用从子图像处理器1212a和1212b输出的图像数据来生成输出图像。当变焦信号是不同于第一信号的第二信号时，图像生成器1214可以通过在从子图像处理器1212a和1212c输出的图像数据中使用从子图像处理器1212c和1212b输出的图像数据来生成输出图像。如果变焦信号是不同于第一信号和第二信号的第三信号，则图像生成器1214不执行图像数据合并，并且通过选择从每个子图像处理器1212a、1212b和1212c输出的图像数据中的任何一个来生成输出图像。然而，实施例不限于此，并且可以修改处理图像数据的方法以满足应用标准。
[0173]
在一些实施例中，图像处理设备1210还可以包括选择器(未示出)，该选择器选择子图像处理器1212a、1212b和1212c的输出，并将所选择的输出发送到图像生成器1214。在实施例中，选择单元可以实现为多路复用器，例如，3x1多路复用器。
[0174]
在这种情况下，选择器可根据变焦信号或变焦因子执行不同的操作。例如，当变焦信号是第四信号(例如，变焦比率是第一比率)时，选择器可以选择子图像处理器1212a、
1212b和1212c的输出中的任何一个，并将所选择的输出发送到图像生成器1214。
[0175]
此外，当变焦信号是与第四信号不同的第五信号(例如，变焦比是第二比率)时，选择器可以将子图像处理器1212a、1212b和1212c的输出中的p(p是大于或等于2的自然数)个输出顺序发送到图像生成器1214。例如，选择器可以顺序地将子图像处理器1212b的输出和子图像处理器1212c的输出发送到图像生成器1214。此外，选择器可以顺序地将子图像处理器1212a的输出和子图像处理器1212b的输出发送到图像生成器1214。图像生成器1214可以通过合并顺序接收的p个输出来生成一个输出图像。
[0176]
这里，子图像处理器1212a、1212b和1212c执行图像处理，诸如重整合、向下缩放到视频/预览分辨率大小、伽马校正和高动态范围(hdr)处理，然后将处理后的图像数据发送到图像生成器1214。因此，即使当处理后的图像数据通过选择器和一个信号线被提供给图像生成器1214时，也可以高速执行图像生成器1214的图像合并操作。
[0177]
在一些实施例中，图像生成器1214可以从多个子图像处理器1212a、1212b和1212c中的至少一个接收具有不同曝光时间的多个图像数据，并对多个图像数据执行高动态范围(hdr)处理，从而生成具有更大动态范围的合并图像数据。
[0178]
相机模块控制器1216可向相机模块1100a、1100b和1100c提供控制信号。由相机模块控制器1216生成的控制信号可以通过彼此分离的控制信号线csla、cslb和cslc提供给相应的相机模块1100a、1100b和1100c。
[0179]
根据包括变焦信号或模式信号的图像生成信息，可以将多个相机模块1100a、1100b和1100c中的任何一个指定为主相机(例如1100b)，并且可以将其他相机模块(例如1100a和1100c)指定为从相机。这些信息可以包括在控制信号中，并通过彼此分离的控制信号线csla、cslb和cslc提供给相应的相机模块1100a、1100b和1100c。
[0180]
可根据变焦因子或操作模式信号改变作为主相机和从相机的相机模块。例如，当相机模块1100a的视场角比相机模块1100b的视场角宽并且其变焦因子表示低变焦率时，相机模块1100a可以作为主相机模块操作，相机模块1100b可以作为从相机模块操作。与此相反，当变焦因子表示高变焦率时，相机模块1100b可以作为主相机操作，相机模块1100a可以作为从相机操作。
[0181]
在一些实施例中，从相机模块控制器1216提供给相机模块1100a、1100b和1100c中的每一个的控制信号可以包括同步启用信号。例如，当相机模块1100b是主相机且相机模块1100a和1100c是从相机时，相机模块控制器1216可以将同步启用信号发送到相机模块1100b。当接收到同步启用信号时，相机模块1100b可以基于所提供的同步启用信号生成同步信号，并通过同步信号线ssl将生成的同步信号发送给相机模块1100a和1100c。相机模块1100b以及相机模块1100a和1100c可以与同步信号同步，以将图像数据发送到应用处理器1200。
[0182]
在一些实施例中，从相机模块控制器1216提供给多个相机模块1100a、1100b和1100c的控制信号可以包括根据模式信号的模式信息。多个相机模块1100a、1100b和1100c可以基于模式信息，在与感测速度相关的第一操作模式和第二操作模式下操作。
[0183]
多个相机模块1100a、1100b和1100c可以在第一操作模式下以第一速度生成图像信号(例如，生成第一帧速率的图像信号)，以及以高于第一速度的第二速度对图像信号进行编码(例如，对高于第一帧速率的第二帧速率的图像信号进行编码)，并将编码后的图像
信号发送到应用处理器1200。在这种情况下，第二速度可能低于或等于第一速度的30倍。
[0184]
应用处理器1200可以将接收的图像信号(即编码图像信号)存储在其中包括的存储器1230中或应用处理器1200外部的外部存储器1400中，然后，从存储器1230或外部存储器1400读取编码图像信号，并解码编码信号，并且显示基于解码图像信号生成的图像数据。例如，图像处理设备1210的多个子图像处理器1212a、1212b和1212c中的对应子图像处理器可以执行解码，并且还可以对解码后的图像信号执行图像处理。
[0185]
多个相机模块1100a、1100b和1100c各自可以在第二操作模式下以低于第一速度的第三速度生成图像信号(例如，低于第一帧速率的第三帧速率的图像信号)，并将图像信号发送给应用处理器1200。提供给应用处理器1200的图像信号可以是未编码的信号。应用处理器1200可以对接收的图像信号执行图像处理，或者可以将图像信号存储在存储器1230或外部存储器1400中。
[0186]
pmic 1300可以向多个相机模块1100a、1100b和1100c供电，例如电源电压。例如，在应用处理器1200的控制下，pmic 1300可以通过电源信号线psla向相机模块1100a提供第一电源，通过电源信号线pslb向相机模块1100b提供第二电源，并通过电源信号线pslc向相机模块1100c提供第三电源。
[0187]
pmic 1300可以响应于来自应用处理器1200的功率控制信号pcon，产生与多个相机模块1100a、1100b和1100c中的每一个相对应的功率，并且还可以调整功率水平。功率控制信号pcon可以包括多个相机模块1100a、1100b和1100c的每个操作模式的功率调整信号。例如，操作模式可以包括低功率模式，并且在这种情况下，功率控制信号pcon可以包括关于在低功率模式下操作的相机模块和要设置的功率水平的信息。提供给多个相机模块1100a、1100b和1100c的功率水平可以彼此相同或不同。此外，功率水平可能会动态变化。
[0188]
图18是示出根据实施例的包括图像传感器的电子设备2000的框图。图18的电子设备2000可以包括便携式终端。
[0189]
参考图18，电子设备2000可以包括主处理器2100、图像传感器2200、显示设备2600、工作存储器2300、存储器2400、用户接口2700和无线收发器2500。
[0190]
主处理器2100可以实现为片上系统(soc)，其控制电子设备2000的整体操作并驱动应用程序、操作系统等。主处理器2100可以向显示设备2600提供从图像传感器2200提供的图像数据，或者可以将图像数据存储在存储器2400中。在实施例中，主处理器2100可以包括图像处理电路，并且可以对从图像传感器2200接收的图像数据执行图像处理，诸如图像质量调整和数据格式转换。
[0191]
上面参考图1到16描述的图像传感器100可以被应用为图像传感器2200。图像传感器2200可以包括图像信号处理器isp，并且图像信号处理器isp可以在多个方向上对图像数据连续执行一维滤波。因此，可以降低图像数据的噪声。
[0192]
工作存储器2300可以实现为易失性存储器，诸如动态随机存取存储器(ram)(dram)或静态ram(sram)，或者非易失性电阻存储器，诸如相变ram(pram)或电阻ram(reram)。存储在存储器2400中的操作程序或应用程序可以被加载到工作存储器2300中或被执行。此外，在执行电子设备2000的操作时生成的数据可以临时存储在工作存储器2300中。
[0193]
存储器2400可以实现为非易失性存储器，诸如nand闪存或电阻存储器，并且例如，
存储器2400可以被提供为存储卡(例如，多媒体卡(mmc)、嵌入式多媒体卡(emmc)、安全数字卡(sd)或微型sd)。存储器2400可以存储从图像传感器2200提供的图像数据。此外，存储器2400可以存储电子设备2000的操作程序、应用程序等。
[0194]
用户接口2700可以实现为各种设备，诸如键盘、窗帘键板、触摸面板、指纹传感器和麦克风，它们可以接收用户输入。用户接口2700可以接收用户输入，并且可以向主处理器2100提供与接收的用户输入相对应的信号。
[0195]
无线收发器2500可以包括收发器2510、调制解调器2520和天线2530。无线收发器2500可以执行与外部设备的无线通信，并且可以从外部设备接收数据，或者可以向外部设备发送数据。
[0196]
上述公开的一个或多个元件可以包括或实现在一个或多个处理电路中，诸如包括逻辑电路的硬件；硬件/软件组合，诸如执行软件的处理器；或两者的组合。例如，更具体地，处理电路可以包括但不限于中央处理单元(cpu)、算术逻辑单元(alu)、数字信号处理器、微型计算机、现场可编程门阵列(fpga)、片上系统(soc)、可编程逻辑单元、微处理机、专用集成电路(asic)等。
[0197]
虽然已经参考本发明的实施例详细地展示和描述了本发明的概念，但是可以理解，在不脱离以下权利要求的精神和范围的情况下，可以对本发明的形式和细节进行各种更改。