相机模块的制作方法

1.本发明涉及一种能够提取深度信息的相机模块。


背景技术：

2.三维内容被应用于教育、制造、自动驾驶以及游戏和文化等诸多领域。获取三维内容需要深度信息(深度图)。深度信息是表示空间中的距离的信息，并且表示二维图像中的一点相对于其中的另一点的透视信息。
3.将红外(ir)结构化光投射到物体上的方法、使用立体相机的方法、飞行时间(tof)方法等用作获取深度信息的方法。根据tof方法，使用在拍摄光后反射回来的光的信息来计算到物体的距离。tof方法的最大优点是其快速地实时提供关于三维空间的距离信息。此外，其允许用户在不应用单独的算法或在硬件方面进行校正的情况下获得准确的距离信息。另外，即使在测量非常近的对象或测量移动对象时，其也允许获取准确的深度信息。
4.[相关技术文献]
[0005]
[专利文献]
[0006]
(专利文献1)美国专利注册第6437307号


技术实现要素：

[0007]
技术问题
[0008]
本发明旨在提供一种能够使用飞行时间(tof)方法来提取深度信息的相机模块。
[0009]
技术方案
[0010]
本发明的一个实施例提供一种相机模块，包括：光输出单元，所述光输出单元被配置为将光学信号输出到物体；光学单元，所述光学单元被配置为使从物体反射的光学信号通过；传感器，所述传感器被配置为接收通过光学单元的光学信号；以及控制单元，所述控制单元被配置为使用由传感器接收的光学信号来获取物体的深度信息，其中，传感器包括设置有光接收元件的有效区域以及除有效区域之外的无效区域，并且传感器包括：第一行区域，在该第一行区域中，有效区域和无效区域在行方向上交替地设置；以及第二行区域，在该第二行区域中，有效区域和无效区域在行方向上交替地设置，并且有效区域设置于在列方向上不与第一行区域的有效区域重叠的位置处，到达第一行区域的有效区域的光由第一移位控制进行控制，以到达第一行区域的无效区域或第二行区域的无效区域，并且到达第二行区域的有效区域的光由第一移位控制进行控制，以到达第二行区域的无效区域或第一行区域的无效区域。
[0011]
到达第一行区域的无效区域的光可以由第二移位控制进行控制，以朝向与第一行区域的无效区域相邻的第二行区域的无效区域移位。
[0012]
到达第一行区域的有效区域的光可以由第二移位控制进行控制，以朝向与第一行区域的有效区域相邻的第二行区域的有效区域移位。
[0013]
到达传感器的光通过第一移位控制在平面上的行进距离可以与到达传感器的光
通过第二移位控制在传感器的平面上的行进距离不同
[0014]
在传感器的平面上，光通过第一移位控制的行进距离可以大于到达传感器的光通过第二移位控制的行进距离。
[0015]
光通过第一移位控制在传感器的平面上的行进距离可以是在同一行区域中的相邻有效区域的中心之间的距离的0.3至0.7倍。
[0016]
光通过第二移位控制在传感器的平面上的行进距离可以是第一行区域的有效区域的中心和与第一行区域的有效区域相邻的第二行区域的中心之间的距离的0.3至0.7倍。
[0017]
在传感器的平面上，光通过第一移位控制的行进距离可以是光通过第二移位控制的行进距离的0.5至1倍。
[0018]
光路可以由光学单元控制，以控制通过第一行区域的有效区域接收的光到达第一行区域的无效区域，并且对通过第二行区域的有效区域接收的光进行移位控制以到达第二行区域的无效区域。
[0019]
光学单元可以包括红外线通过滤光器，并且红外通滤光器可以通过移位控制倾斜并进行控制。
[0020]
光学单元可以包括焦点可调节的可变透镜，并且可变透镜可以通过移位控制进行调节和控制。
[0021]
可变透镜可以包括：包含至少一种液体的液体透镜、聚合物透镜、液晶透镜、音圈电机(vcm)透镜、形状记忆合金(sma)透镜和微机电系统(mems)透镜中的至少一者。
[0022]
相机模块可以包括运算单元，该运算单元被配置为通过使用从光输出单元输出的光学信号与由传感器接收到的光学信号之间的时间差或者使用在传感器的多个积分时间期间获取的多个信息来获取物体的深度信息，在传感器的多个积分时间期间中，传感器的有效区域在不同相位下被积分。
[0023]
运算单元可以通过使用在移位控制之前和移位控制之后由传感器获取的多个信息来获取分辨率比传感器的分辨率更高的深度信息。
[0024]
运算单元可以在通过第一移位控制到达传感器的光与通过第二移位控制到达传感器的光之间应用内插，并且计算通过第一移位控制到达传感器的最邻近光以及与通过第一移位控制到达传感器的最邻近光最相邻的光的中心的光。
[0025]
有益效果
[0026]
在使用根据本发明实施例的相机模块时，可以通过使入射光信号的光路移位而无需显著增加传感器的像素数来以高分辨率获取深度信息。
[0027]
此外，根据本发明的实施例，由于可以在不显著改变设备的硬件配置的情况下检测入射光信号的光路移位的程度，所以可以获取超分辨率的深度信息。
[0028]
此外，可以通过使入射光信号的光路移位并应用内插技术，提供与传感器的像素数量相比具有显著提高的分辨率的相机模块。
[0029]
另外，可以提供一种能够容易地计算深度信息从而减少处理的数据量的相机模块。
附图说明
[0030]
图1是根据本发明实施例的相机模块的框图。
[0031]
图2是用于描述根据实施例的光学信号的频率的视图。
[0032]
图3是根据实施例的相机模块的剖视图。
[0033]
图4是用于描述根据实施例的电信号产生过程的视图。
[0034]
图5是用于描述根据实施例的传感器的视图。
[0035]
图6至图8是用于描述根据变型实施例的传感器的视图。
[0036]
图9是从根据实施例的相机模块获得的与四个相位相关的原始图像。
[0037]
图10是从根据实施例的相机模块获得的幅度图像。
[0038]
图11是从根据实施例的相机模块获得的深度图像。
[0039]
图12是用于描述通过根据实施例的相机模块的控制单元改变输入光信号的光路的视图。
[0040]
图13a和图13b是用于描述用于通过根据实施例的相机模块获得高分辨率图像的驱动的视图。
[0041]
图13c是用于描述根据实施例的相机模块的像素值配置过程的视图。
[0042]
图13d和图13e是用于描述输入到传感器的图像帧根据ir滤光器斜率控制而移位的效果的视图。
[0043]
图14和图15a至图15c是用于描述用于通过根据实施例的相机模块获得高分辨率图像的驱动的视图。
[0044]
图16和图17a至图17c是用于描述用于通过根据实施例的相机模块获得高分辨率图像的驱动的视图。
[0045]
图18和图19a至图19c是用于描述用于通过根据实施例的相机模块获得高分辨率图像的驱动的视图。
[0046]
图20和图21a至图21c是用于描述用于通过根据实施例的相机模块获得高分辨率图像的驱动的视图。
[0047]
图22是用于描述根据本发明实施例的传感器的操作机制的视图。
[0048]
图23是用于描述根据本发明实施例的第一像素信息的视图。
[0049]
图24和图25是用于描述根据本发明实施例的计算第二像素信息的过程的视图。
[0050]
图26是示出根据实施例的四个子帧的视图。
[0051]
图27是用于描述根据本发明实施例的传感器的操作机制的视图。
具体实施方式
[0052]
在下文中，将参照附图详细描述本发明的示例性实施例。
[0053]
然而，本发明的技术构思不限于本文中描述的某些实施例，而是可以以各种其他形式实现。在本发明的技术构思的范围内可以将不同实施例中的一个或多个元件与另一个元件选择性地组合或替换。
[0054]
另外，除非另有定义，否则本发明实施例中使用的所有术语(包括技术术语和科学术语)可以解释为具有与本发明所属领域的普通技术人员通常理解的含义相同的含义。通用术语(例如在词典中定义的术语)应当解释为具有与其在相关技术的上下文中的含义一致的含义。
[0055]
另外，本发明实施例中所使用的术语用于描述实施例，而不旨在限制本发明。
[0056]
在本说明书中，除非上下文中另外明确指示，否则单数形式可以包括复数形式。“a、b和c中的至少一个(或一个以上)”可以包括能够通过组合a、b和c获得的任意组合中的一种或多种。
[0057]
另外，在描述本发明的实施例的元件时，可以使用诸如第一、第二、a、b、(a)、(b)等术语。
[0058]
这些术语仅用于区分一个元件与其它元件，并且相应元件的性质、顺序等不受这些术语限制。
[0059]
另外，某一元件被描述为“连接”、“耦接”或“连结”到另一元件的情况不仅可以包括该元件直接连接、结合或连结到另一元件的情况，而且还可以包括经由设置在它们之间的其他元件而“连接”、“耦接”或“连结”到另一元件的情况。
[0060]
此外，在某一元件被描述为形成或设置在另一元件的“上(上方)或下(下方)”的情况不仅可以包括两个元件彼此直接接触的情况，而且还包括一个或多个其他元件形成或设置在两个元件之间的情况。另外，“上(上方)或下(下方)”不仅可以包含向上方向，而且还可以包含相对于一个元件的向下方向。
[0061]
另外，根据以下描述的实施例的相机模块可以用作光学仪器或构成光学仪器的装置之一。首先，光学仪器可以包括蜂窝电话、移动电话、智能手机、便携式智能装置、数码相机、膝上型计算机、数字广播终端、个人数字助理(pda)、便携式多媒体播放器(pmp)和导航系统中的任一者。然而，光学仪器的种类不限于此，光学仪器可以包括用于拍摄图像或图片的任何其他装置。
[0062]
光学仪器可以包括主体。主体可以是杆的形式。可替代地，主体可以是各种结构，例如滑动式结构、折叠式结构、摆动式结构和涡流式结构，其中两个或多个子体被耦接为可相对于彼此移动。主体可以包括形成主体的外部的壳(壳体、外壳或盖)。例如，主体可以包括前壳和后壳。光学仪器的各种电子部件可以嵌入到在前壳与后壳之间形成的空间中。
[0063]
光学仪器可以包括显示器。显示器可以设置在光学仪器的主体的一个表面上。显示器可以输出图像。显示器可以输出由相机捕获的图像。
[0064]
光学仪器可以包括相机。相机可以包括飞行时间(tof)相机模块。tof相机模块可以设置在光学仪器的主体的前表面。在这种情况下，tof相机模块可以用于各种类型的生物特征识别，例如用户面部识别、虹膜识别和静脉识别，以用于光学仪器的安全认证。
[0065]
图1是根据本发明实施例的相机模块的框图，图2是用于描述根据实施例的光学信号的频率的视图，图3是根据实施例的相机模块的剖视图。
[0066]
参考图1至图3，相机模块100可以包括光输出单元110、光学单元120、传感器130和控制单元150。此外，相机模块100可以包括控制单元150。
[0067]
光输出单元110可以是发光模块、发光单元、发光组件或发光装置。具体地，光输出单元110可以产生光学信号，然后将产生的光学信号辐射到物体。这里，光输出单元110可以产生并输出脉冲波或连续波形式的光学信号。连续波可以是正弦波或方波的形式。通过光输出单元110产生脉冲波或连续波形式的光学信号，相机模块100可以使用从光输出单元110输出的光学信号与从物体反射然后输入到相机模块100的输入光信号之间的相位差或时间差。在本说明书中，输出光可以指从光输出单元110输出并入射到物体上的光，输入光可以指在从光输出单元110输出的输出光到达物体并从物体反射之后输入到相机模块100
的光。从物体的角度来看，输出光可以是入射光，输入光可以是反射光。
[0068]
光输出单元110在预定积分时间期间将产生的光学信号辐射到物体。这里，积分时间是指单个帧时间。在产生多个帧的情况下，重复设定的积分时间。例如，在相机模块100以每秒20帧(fps)拍摄物体的情况下，积分时间是1/20[秒]。此外，在产生一百帧的情况下，积分时间可以重复一百次。
[0069]
光输出单元110不仅可以产生具有预定频率的输出光信号，而且还可以产生具有不同频率的多个光学信号。此外，光输出单元110可以按顺序地并且重复地产生具有不同频率的多个光学信号。可替代地，光输出单元110可以同时产生具有不同频率的多个光学信号。
[0070]
在本发明的一个实施例中，如图2所示，光输出单元110可以控制在积分时间的前一半期间产生具有频率f1的光学信号，并且控制在积分时间的另一半期间产生具有频率f2的光学信号。
[0071]
根据另一实施例，光输出单元110可以控制多个led中的一些发光二极管(led)产生具有频率f1的光学信号并且控制其余led产生具有频率f2的光学信号。这样，光输出单元110可以根据积分时间产生并输出具有不同频率的信号。
[0072]
为此，光输出单元110可以包括被配置为产生光的光源112和被配置为调制光的光调制单元114。
[0073]
首先，光源112产生光。由光源112产生的光可以是波长在770nm至3,000nm的范围内的红外光，或者可以是波长在380nm至770nm的范围内的可见光。光源112可以使用led并且具有根据预定图案布置多个led的形式。此外，光源112可以包括有机发光二极管(oled)或激光二极管(ld)。可替代地，光源112可以是垂直腔面发射激光器(vcsel)。vcsel是将电信号转换为光学信号的激光二极管之一，并且可以使用约800至1,000nm范围内的波长，例如约850nm的波长或约940nm的波长。
[0074]
光源112以预定时间间隔反复地接通和断开以产生脉冲波或连续波形式的光学信号。预定时间间隔可以是光学信号的频率。光源112的接通和断开可以通过光调制单元114控制。
[0075]
光调制单元114控制光源112的接通和断开，使得光源112产生连续波或脉冲波形式的光学信号。光调制单元114可以通过频率调制、脉冲调制等控制光源112产生连续波或脉冲波形式的光学信号。
[0076]
同时，光学单元120可以包括至少一个透镜。光学单元120通过至少一个透镜汇聚从物体反射的输入光信号并将汇聚的输入光信号传输到传感器130。至少一个透镜可以包括固体透镜。此外，至少一个透镜可以包括可变透镜。可变透镜可以是变焦透镜。此外，可变透镜可以是焦点可调节的透镜。可变透镜可以是液体透镜、聚合物透镜、液晶透镜、音圈电机(vcm)透镜和形状记忆合金(sma)透镜中的至少一者。液体透镜可以包括：包含单一液体的液体透镜和包含两种不同液体的液体透镜。包含单一液体的液体透镜可以通过调整设置在与液体相对应的位置处的膜片来改变焦点，例如通过磁体和线圈之间的电磁力按压膜片来改变焦点。包括两种不同液体的液体透镜可以包括导电液体和非导电液体，并且利用施加到液体透镜的电压来调整由导电液体和非导电液体形成的界面。聚合物透镜可以包括聚合物材料并且通过诸如压电装置的驱动单元来改变焦点。液晶透镜可以通过由电磁力控制
液晶来改变焦点。vcm透镜可以通过由磁体和线圈之间的电磁力调整固体透镜或包括固体透镜的透镜组件来改变焦点。sma透镜可以通过使用sma控制固体透镜或包括固体透镜的透镜组件来改变焦点。
[0077]
此外，光学单元120可以包括被配置为使特定波长范围内的光通过的滤光器。例如，被配置为使特定波长范围内的光通过的滤光器可以包括红外线(ir)通过滤光器。滤光器可以仅使波长在770到3,000nm范围内的红外线范围内的光通过。滤光器可以通过驱动装置倾斜。输入光信号的光路可以根据滤光器的倾斜而改变。滤光器可以根据预定规则倾斜，并且输入光信号的光路可以根据预定规则改变。
[0078]
此外，光学单元120可以包括光学板。光学板可以是光通过板。
[0079]
参考图3，相机装置300可以包括透镜组件310、传感器320和印刷电路板330。这里，透镜组件310可以对应于图1的光学单元120，并且传感器320可以对应于图1的传感器130。此外，图1的控制单元150可以通过印刷电路板330或传感器320来实现。虽然未示出，但是图1的光输出单元110可以设置在印刷电路板330上或设置为单独的配置。光输出单元110可以通过控制单元150控制。
[0080]
透镜组件310可以包括透镜312、镜筒314、透镜保持器316和ir滤光器318。
[0081]
透镜312可以设置为多个透镜或单个透镜。在透镜312被设置为多个透镜的情况下，透镜可以相对于中心轴对准并形成光学系统。这里，中心轴可以与光轴相同。透镜312可以包括上述的可变透镜。
[0082]
镜筒314可以耦接到透镜保持器316并且具有设置在其中以容纳透镜的空间。镜筒314可以可旋转地耦接到单个透镜或多个透镜，然而这仅是示例性的。镜筒314可以使用其他方法，例如，使用粘合剂(例如，诸如环氧树脂的粘合树脂)的方法耦接。
[0083]
透镜保持器316可以耦接到镜筒314并支撑镜筒314并且设置于在其上安装有传感器320的印刷电路板330上。可以设置ir滤光器318的空间可以通过透镜保持器316形成在镜筒314中。虽然未示出，但是由控制单元150控制并且能够使镜筒314倾斜或移位的驱动单元可以设置在镜筒314中。螺旋图案可以形成在透镜保持器316的内周面上，并且透镜保持器316可以可旋转地耦接到镜筒314，镜筒314具有形成在其外周面上的螺旋图案。然而，这仅是示例性的，透镜保持器316和镜筒314可以使用粘合剂耦接，或者透镜保持器316和镜筒314可以一体地形成。
[0084]
透镜保持器316可以分为耦接到镜筒314的上保持器316
‑
1和设置于在其上安装有传感器320的印刷电路板330上的下保持器316
‑
2。上保持器316
‑
1和下保持器316
‑
2可以一体地形成，由单独的结构形成然后彼此紧固或耦接，或者彼此分离并且具有间隔开的结构。这里，上保持器316
‑
1的直径可以形成为小于下保持器316
‑
2的直径。
[0085]
上述示例仅仅是一个实施例，光学单元120可以由能够汇聚入射在tof相机模块100上的输入光信号并将汇聚的输入光信号传输到传感器130的任何其他结构形成。
[0086]
传感器130使用由光学单元120汇聚的输入光信号产生电信号。作为实施例，传感器130可以与光输出单元110的接通
‑
断开时段同步地吸收输入光信号。具体而言，传感器130可以吸收与从光输出单元110输出的光学信号同相和异相的光。
[0087]
传感器130可以使用具有不同相位差的多个基准信号来产生与每个基准信号相对应的电信号。例如，电信号可以是每个基准信号与输入光混合的信号，这种混合可以包括卷
积、乘法等。此外，基准信号的频率可以被设定为与从光输出单元110输出的光学信号的频率相对应。作为实施例，基准信号的频率可以与光输出单元110的光学信号的频率相同。
[0088]
以这种方式，在光输出单元110产生多个频率下的光学信号的情况下，传感器130可以使用与每个频率相对应的多个基准信号来产生电信号。此外，电信号可以包括关于与每个基准信号相对应的电荷或电压的量的信息。此外，可以针对每个像素计算电信号。
[0089]
控制单元150可以控制光学单元120以使输入光信号的光路移位。通过这样的配置，如下所述，可以输出用于提取高分辨率深度图像的多个图像数据。下面将对此详细描述。此外，这里，预定单位包括下面将要描述的第一行进距离和第二行进距离。下面将对此进行详细描述。
[0090]
另外，相机模块100可以包括运算单元140，运算单元140被配置为使用从传感器130接收的电信号并计算比传感器的分辨率更高分辨率的深度信息。此外，运算单元140可以设置在包括相机模块的光学仪器中并且执行算术运算。在下文中，将假设运算单元140设置在相机模块中来给出描述。
[0091]
此外，在这种情况下，运算单元可以从相机模块100接收由传感器130感测到的信息并执行算术运算。运算单元140可以使用从传感器130接收到的电信号接收多个低分辨率信息，并使用多个低分辨率信息产生高分辨率深度信息。例如，运算单元140可以重新配置多个低分辨率信息并产生高分辨率深度信息。
[0092]
这里，运算单元140可以通过使用从光输出单元输出的光学信号与由传感器接收的光学信号之间的时间差或者使用在传感器的多个积分时间期间获取的多个信息来计算物体与相机模块100之间的距离，在传感器的多个积分时间的期间，传感器的有效区域在不同相位下被积分。
[0093]
图4是用于描述根据实施例的电信号产生过程的视图。这里，如上所述，反射光(输入光)的相位可以延迟与入射光(输出光)入射到物体上然后从物体反射回来的距离一样多。
[0094]
此外，如上所述，基准信号可以被提供为多个基准信号。在一个实施例中，如图4所示，可以具有四个基准信号(c1至c4)。此外，基准信号(c1至c4)可以各自具有与光学信号相同的频率，同时彼此具有90
°
的相位差。四个基准信号中的一个(c1)可以具有与光学信号相同的相位。
[0095]
传感器130可以对与每个基准信号相对应的传感器130的有效区域进行积分。传感器130可以在执行积分的同时接收光学信号。
[0096]
传感器130可以将输入光信号与每个基准信号混合。然后，传感器130可以产生与图4的阴影部分相对应的电信号。
[0097]
作为另一实施例，在积分时间期间以多个频率产生光学信号的情况下，传感器130根据多个频率吸收输入光信号。例如，假设以频率f1和f2产生光学信号并且多个基准信号具有90
°
相位差。然后，由于入射光信号也具有频率f1和f2，因此可以通过频率为f1的输入光信号和与其对应的四个基准信号产生四个电信号。此外，可以通过频率为f2的输入光信号和与其对应的四个基准信号产生四个电信号。因此，可以产生总共八个电信号。在下文中，将基于此进行描述，但如上所述，也可以以单个频率(例如f1)产生光学信号。
[0098]
图5是用于描述根据实施例的传感器的视图，图6至图8是用于描述根据变型实施
例的传感器的视图，图9是从根据实施例的相机模块中获得的与四个相位相关的原始图像，图10是从根据实施例的相机模块中获得的幅度图像，图11是从根据实施例的相机模块中获得的深度图像。
[0099]
参考图5至图8，传感器130可以配置有多个像素以阵列的形式布置的结构。这里，传感器130是有源像素传感器(aps)并且可以是互补金属氧化物半导体(cmos)传感器。此外，传感器130可以是电荷耦合装置(ccd)传感器。此外，传感器130可以包括接收从对象反射的红外光并使用时间差或相位差测量距对象的距离的tof传感器。
[0100]
此外，传感器130可以包括多个像素。这里，像素可以包括第一像素p1和第二像素p2。
[0101]
第一像素p1和第二像素p2可以在第一方向(x轴方向)和第二方向(y轴方向)上交替地设置。即，多个第二像素p2可以在第一方向(x轴方向)和第二方向(y轴方向)上与单个第一像素p1相邻设置。例如，第一像素p1和第二像素p2可以以棋盘图案设置在传感器130中。此外，这里，第一方向(x轴方向)是以阵列的形式布置的多个像素中第一像素和第二像素并排布置的一个方向，即行方向，第二方向(y轴方向)为垂直于第一方向且第一像素和第二像素并排布置的方向，即列方向。在下文中将基于此进行描述。术语“行方向”和“第一方向”可以可替换地使用，并且术语“列方向”和“第二方向”可以可替换地使用。
[0102]
此外，第一像素p1和第二像素p2可以是接收峰值波长在不同的波长带中的光的像素。例如，第一像素p1可以接收在红外波长带中具有峰值波长的光。此外，第二像素p2可以接收在除了红外波长带之外的波段中具有峰值波长的光。
[0103]
此外，第一像素p1和第二像素p2中的任何一个可以不接收光。作为实施例，多个像素可以包括在其中设置有光接收元件的有效区域sa和作为除有效区域之外的区域的无效区域ia。有效区域sa可以接收光并产生预定的电信号。无效区域ia可以是不接收光的区域。无效区域ia可以是接收光并且不产生电信号的区域。即，可能存在即使当光接收元件设置在无效区域ia中时无效区域ia也不能通过光产生电信号的情况。
[0104]
此外，第一像素p1可以包括无效区域ia以及有效区域sa。另一方面，第二像素p2可以仅由无效区域ia形成而没有有效区域sa。例如，诸如光电二极管的光接收元件可以仅设置在第一像素中，而不设置在第二像素中。在下文中，假设第二像素不接收光而第一像素接收光来进行描述。
[0105]
具体地，传感器130可以包括多个行区域rr，行区域rr包括在行方向上交替地设置的有效区域sa和无效区域ia。此外，在实施例中，传感器130可以包括多个列区域cr，列区域cr包括在列方向上交替地设置的有效区域sa和无效区域。
[0106]
在一个实施例中，传感器130可以包括第一行区域rr1和第二行区域rr2。在第一行区域rr1中，有效区域sa和无效区域ia可以交替地设置。在第二行区域rr2中，有效区域sa和无效区域ia可以在行方向上交替地设置，并且有效区域可以设置于在列方向上不与第一行区域rr1的有效区域重叠的位置处。
[0107]
通过这样的配置，传感器130可以包括多个列区域cr。多个列区域cr可以包括在列方向上交替地设置的有效区域sa和无效区域ia。
[0108]
此外，第一像素p1和第二像素p2可以形成为各种形状，例如四边形、三角形、多边形和圆形。有效区域sa也可以形成为各种形状，例如四边形、三角形、多边形和圆形(见图6
和图7)。
[0109]
此外，第二像素p2可以包括电连接到与其相邻的第一像素p1的元件。该元件可以是诸如电线和电容器的电子元件。该元件也可以设置在第一像素或第二像素上(见图7)。
[0110]
此外，在一个实施例中，每个像素可以是由在像素布置在传感器上的方向(例如，第一方向或第二方向)上相邻的相同有效区域之间的间隔形成的区域。这里，相同的有效区域是指具有相同功能(例如，接收在相同波长段中的光)的有效区域。
[0111]
此外，第一像素p1可以仅具有有效区域sa或者具有有效区域sa和无效区域ia这两者。此外，有效区域sa可以存在于第一像素p1中的各种位置处。因此，像素的中心和有效区域的中心可能不同。然而，将假设像素和有效区域同心来给出以下描述。此外，下面使用的术语“中心”、“第一中心”等是指与中心对应的像素。
[0112]
此外，在图5所示的具有320
×
240分辨率的传感器130的情况下，76,800个像素可以以网格的形式配置。这里，多个像素可以被设置为以预定间隔隔开。也就是说，如图5的阴影部分，可以在多个像素之间形成预定间隔l。间隔l的宽度dl可以显著小于像素的尺寸。进一步，上述的电线等可以以间隔l设置。在以下描述中，忽略间隔l。
[0113]
此外，作为一个实施例，每个像素132(例如，第一像素)可以包括：第一光接收单元132
‑
1，所述第一光接收单元132
‑
1包括第一光电二极管和第一晶体管；以及第二光接收单元132
‑
2，所述第二光接收单元132
‑
2包括第二光电二极管和第二晶体管。
[0114]
第一光接收单元132
‑
1接收在与输出光的波形相同相位下的输入光信号。即，在光源接通时，第一光电二极管接通并吸收输入光信号。此外，在光源断开时，第一光电二极管断开并停止吸收输入光。第一光电二极管将吸收的输入光信号转换为电流并将该电流传输到第一晶体管。第一晶体管将接收到的电流转换为电信号并输出该电信号。
[0115]
第二光接收单元132
‑
2接收在与输出光的波形相反相位下的输入光信号。即，在光源接通时，第二光电二极管断开并吸收输入光信号。此外，在光源断开时，第二光电二极管接通并停止吸收输入光。第二光电二极管将吸收的输入光信号转换为电流并将该电流传输到第二晶体管。第二晶体管将接收到的电流转换为电信号。
[0116]
因此，第一光接收单元132
‑
1可以被称为同相接收单元，第二光接收单元132
‑
2可以被称为异相接收单元。以这种方式，当第一光接收单元132
‑
1和第二光接收单元132
‑
2通过时间差启动时，接收到的光量根据与物体的距离而变化。例如，在物体紧邻于相机模块100的正前方(即，距离＝0)的情况下，因为光从光输出单元110输出之后从物体反射回来所用的时间为0，所以光源的接通断开时段确切地对应于光接收时段。因此，仅第一光接收单元132
‑
1接收光，第二光接收单元132
‑
2不能接收光。作为另一示例，在物体与相机模块100间隔预定距离的情况下，因为光从光输出单元110输出之后从物体反射回来需要花费一定时间，所以光源的接通断开时段不同于光接收时段。因此，在第一光接收单元132
‑
1和第二光接收单元132
‑
2接收到的光量之间存在差异。即，可以利用输入到第一光接收单元132
‑
1和第二光接收单元132
‑
2的光量之间的差来计算距物体的距离。换言之，控制单元150利用从传感器130接收到的电信号计算输出光与输入光之间的相位差，并利用该相位差计算物体与相机模块100之间的距离。
[0117]
更具体地，控制单元150可以利用关于电信号的电荷量的信息来计算输出光与输入光之间的相位差。
[0118]
如上所述，可以在光学信号的每个频率下产生四个电信号。因此，控制单元150可以利用下面的等式1来计算光学信号与输入光信号之间的相位差(t
d
)。
[0119]
[等式1]
[0120][0121]
这里，q1至q4表示四个电信号的电荷量。q1表示与相位与光学信号相同的基准信号相对应的电信号的电荷量。q2表示与相位比光学信号慢180
°
的基准信号相对应的电信号的电荷量。q3表示与相位比光学信号慢90
°
的基准信号相对应的电信号的电荷量。q4表示与相位比光学信号慢270
°
的基准信号相对应的电信号的电荷量。
[0122]
此外，控制单元150可以利用光学信号与输入光信号之间的相位差来计算物体与相机模块100之间的距离。这里，控制单元150可以利用下面的等式2来计算物体与相机模块100之间的距离(d)。
[0123]
[等式2]
[0124][0125]
其中，c表示光速，f表示输出光的频率。
[0126]
根据本发明的实施例，可以从相机模块100获得tof ir图像和深度图像。因此，根据本发明的实施例的相机模块也可以被称为tof相机模块或tof相机模块。
[0127]
与此相关，更详细地，如图9所示，可以从根据本发明的实施例的相机模块100中获得与四个相位相关的原始图像。这里，四个相位可以是0
°
、90
°
、180
°
和270
°
。与每个相位相关的原始图像可以是由针对每个相位而数字化的像素值形成的图像。术语“原始图像”、“相位图像”、“相位ir图像”等可以替换使用。
[0128]
参考图9和图10，当使用四个相位图像raw(x0)、raw(x
90
)、raw(x
180
)和raw(x
270
)(见图9)如以下等式3执行算术运算时，可以获得幅度图像(参见图10)，幅度图像为tof ir图像。
[0129]
[等式3]
[0130][0131]
其中，raw(x0)可以是传感器在0
°
相位下接收的每个像素的数据值，raw(x
90
)可以是传感器在90
°
相位下接收的每个像素的数据值，raw(x
180
)可以是传感器在180
°
相位下接收的每个像素的数据值，raw(x
270
)可以是传感器在270
°
相位下接收的每个像素的数据值。
[0132]
可替代地，当使用图9的四个相位图像如以下等式4执行算术运算时，可以获得强度图像，该强度图像为另一个tof ir图像。
[0133]
[等式4]
[0134]
强度＝raw(x
90
)
‑
raw(x
270
)| |raw(x
180
)
‑
raw(x0)|
[0135]
其中，raw(x0)可以是传感器在0
°
相位下接收的每个像素的数据值，raw(x
90
)可以是传感器在90
°
相位下接收的每个像素的数据值，raw(x
180
)可以是传感器在180
°
相位下接收的每个像素的数据值，raw(x
270
)可以是传感器在270
°
相位下接收的每个像素的数据值。
[0136]
以这种方式，可以通过四个相位图像中的两个相位图像减去另外两个相位图像的过程来产生tof ir图像。例如，180
°
相位差可以存在于每一对两个相位图像之间，在每一对两个相位图像之间发生减法。此外，可以在四个相位图像中的两个相位图像减去另外两个相位图像的过程中去除背景光。因此，仅保留由光源输出的波长带中的信号，使得可以增加ir灵敏度并且可以显著降低相对于物体的噪音。
[0137]
在本说明书中，tof ir图像可以指幅度图像或强度图像。术语“强度图像”可以与术语“置信度图像”替换使用。如图10所示，tof ir图像可以是灰度图像。
[0138]
同时，当使用图9的四个相位图像如以下等式5和等式6执行算术运算时，也可以获得图11所示的深度图像。
[0139]
[等式5]
[0140][0141]
[等式6]
[0142][0143]
同时，在本发明的实施例中，使用超分辨率(sr)技术以增加深度图像的分辨率。sr技术是用于从多个低分辨率图像获得高分辨率图像的技术。sr技术的数学模型可以如下面的等式7所示。
[0144]
[等式7]
[0145]
y
k
＝d
k
b
k
m
k
x n
k
[0146]
其中，1≤k≤p，p表示低分辨率图像的数量，y
k
表示低分辨率图像(＝[y
k,1
,y
k,2
,
…
,
yk,m
]
t
，其中m＝n1*n2)，d
k
表示下采样矩阵，b
k
表示模糊矩阵，m
k
表示图像变形矩阵，x表示高分辨率图像(＝[x1,x2,
…
,x
n
]
t
，其中，n＝l1n1*l2n2)，n
k
代表噪声。即，sr技术指通过应用在y
k
中估计的分辨率劣化因子的反函数来估计x的技术。sr技术主要可以分为统计法和多帧法，多帧法可以主要分为空分法和时分法。在使用sr技术以获取深度图像的情况下，因为不存在等式1的m
k
的反函数，所以可以尝试统计法。然而，在统计法的情况下，由于需要重复计算过程，因此存在效率低的问题。
[0147]
为了将sr技术应用于深度信息提取，控制单元150可以利用从传感器130接收到的电信号产生多个低分辨率子帧，然后利用多个低分辨率子帧提取多个低分辨率图像和多个低分辨率深度信息。此外，控制单元150可以重新配置多个低分辨率深度信息的像素值并提取高分辨率深度信息。在本说明书中，“高分辨率”是指比低分辨率高的分辨率的相对术语。
[0148]
此外，在此，“子帧”可以指从与任一个积分时间和任一个基准信号相对应的电信号产生的图像数据。例如，在单个积分时间(即，单个图像帧)中通过八个基准信号产生电信号的情况下，可以产生八个子帧，还可以产生单个起始帧。在本说明书中，术语“子帧”可以与术语“图像数据”、“子帧图像数据”等交替使用。
[0149]
可替代地，为了将根据本发明实施例的sr技术应用于深度信息提取，运算单元140可以利用从传感器130接收到的电信号产生多个低分辨率子帧和包括多个低分辨率子帧的多个低分辨率图像，然后重新配置多个低分辨率子帧的像素值以产生多个高分辨率子帧。此外，运算单元140可以使用高分辨率子帧来提取高分辨率深度信息。可以使用上述方法来
提取高分辨率深度信息，并且该方法可以同样地应用于以下描述的实施例及其变型例。
[0150]
此外，对于高分辨率深度信息的提取，可以使用像素移位技术。即，可以使用像素移位技术针对每个子帧获取移位预定行进距离的若干子帧，可以通过针对每个子帧应用sr技术获取多个高分辨率子帧，然后可以使用若干移位的子帧和多个高分辨率子帧针对每个子帧提取深度信息，从而提取高分辨率深度图像。此外，对于像素移位，相机模块可以通过控制单元来控制光学单元。
[0151]
控制单元150控制光学单元120以使输入光信号在传感器130上移位预定行进距离。控制单元150可以控制光学单元120的可变透镜以使输入光信号在传感器130上移位预定行进距离。此外，控制单元150可以控制光学单元120的滤光器以使输入光信号在传感器130上移位预定行进距离。例如，控制单元150可以使光学单元120的滤光器倾斜以使输入光信号在传感器130上移位。虽然未示出，但是相机模块100可以包括用于使滤光器倾斜的驱动单元。驱动单元可以使用vcm型、压电型等驱动力来驱动滤光器。
[0152]
控制单元150可以控制光学单元以相对于传感器130将输入光信号的光路改变一个像素单位。
[0153]
同时，在根据本发明实施例的相机模块100应用于需要拍摄高质量图像的应用的情况下，例如，应用于需要生物特征认证等用的精确图像的应用或者应用于需要用户仅用一只手来操作相机模块100和拍摄图像的应用的情况下，还需要用于防止或校正由于手抖动导致的图像模糊的技术。用于防止或校正图像模糊的技术可以被称为光学图像稳定器(ois)技术。利用ois技术，当光轴是z轴时，可以使用在垂直于光轴的x轴和y轴方向上移动相机模块100中的结构(例如，透镜等)的方法来防止或校正图像模糊。
[0154]
此外，为了使相机模块100具有sr功能和ois功能，根据本发明实施例的相机模块100可以进一步包括驱动单元，该驱动单元被配置为移动相机模块100内部的结构。
[0155]
图12是用于描述通过根据实施例的相机模块的控制单元来改变输入光信号的光路的视图。
[0156]
更具体而言，如上所述，控制单元150可以改变输入光的光路。下面实线所示的部分表示在第一时间期间中输入光信号的光路，虚线所示的部分表示在第二时间期间中输入光信号的改变的光路。当与第一时间期间的光路相对应的积分时间结束时，控制单元150可以改变输入光信号的光路，如虚线所示。这里，第一时间为预定时间，第二时间为第一时间之后的时间。
[0157]
然后，输入光信号的路径可以从第一时间期间的光路移位第一行进距离。这里，多个积分时间可以包括第一积分时间和第一积分时间之后的第二积分时间。此外，多个积分时间可以进一步包括第二积分时间之后的第三积分时间和第三积分时间之后的第四积分时间。将在下面对此进行详细描述。此外，第一积分时间是与上述第一时间期间的光路相对应的积分时间，第二积分时间是与第一积分时间之后的第二时间期间的光路相对应的积分时间。此外，在第二积分时间内，输入光信号的光路可以在第一行进方向上移位第一行进距离，使得第一像素至少部分地与邻近第一像素的第二像素重叠。这里，第一行进距离是相对于第一积分时间的根据移位的像素的行进距离。例如，第一行进距离可以是第一像素。此外，第一行进方向可以是第一方向和第二方向中的任一个。例如，如图12所示，当控制单元150在第一时间期间使光学单元120向右倾斜第一角度θ
a
时，入射在传感器130上的输入光
信号可以向右移位1个像素。即，在第一时间期间入射到传感器130上的输入光的区域i1(以下称为“第一输入区域i1”)与在第一时间期间入射到传感器130上的改变的输入光信号的区域i2(以下称为“第二输入区域i2”)之间存在位置差异。此外，在本说明书中，在成像中，在第一时间期间输入光信号和改变的输入光信号的产生可能受到微积分时间影响，并且在短时间内执行。换言之，因为第一输入区域和第二输入区域可能几乎是相同的，所以可以提高最终输出图像的精确度。
[0158]
此外，当如上所述通过改变光路来匹配第一输入区域和第二输入区域时，第一像素可以移位第一行进距离。即，相比于与第二输入区域中的第一像素相对应的像素，与第一输入区域中的第一像素相对应的像素可以移位第一行进距离。换言之，控制单元可以执行第一移位控制，使得到达第一行区域rr1的有效区域的光到达第一行区域rr1的无效区域或第二行区域rr2的无效区域。即，通过第一移位控制，到达第一行区域rr1的有效区域的光可以到达第一行区域rr1的无效区域或第二行区域rr2的无效区域。
[0159]
此外，通过第一移位控制，到达第二行区域rr2的有效区域的光可以到达第二行区域rr2的无效区域或第一行区域rr1的无效区域。这种移位控制可以同样地应用于以下描述的各种实施例。
[0160]
即，如图12所示，第一输入区域i1中的第一像素的中心cp1(以下称为“第一中心”)和第二输入区域i2中的第一像素的中心cp2(以下称为“第二中心”)可以在第一方向或第二方向上交替地设置。此外，第二输入区域i2中的第一像素的中心cp2可以对应于第一输入区域i1中的第二像素的中心。此外，输入图像可以对应于低分辨率图像或对应于多个低分辨率子帧图像。此外，一个像素可以指相邻的第一像素的中心之间的距离的0.3到0.7倍。换言之，一个像素可以是同一行区域中的相邻的有效区域的中心之间的距离的0.3至0.7倍。在下文中，假设一个像素是相邻的第一像素的中心之间的距离的0.5倍来进行描述。此外，上述的第一角度θ
a
例如可以根据光学单元中的透镜的形状以各种方式改变。
[0161]
此外，即使在使光学信号的光路移位时也可以同样地应用光路的移位，并且将省略对其的详细描述。
[0162]
图13a和图13b是用于描述用于通过根据实施例的相机模块获得高分辨率图像的驱动的视图，图13c是用于描述根据实施例的相机模块的像素值配置过程的视图，图13d和13e是用于描述输入到传感器的图像帧根据ir滤光器斜率控制而移位的效果的视图。
[0163]
参考图13a和图13b，运算单元可以利用在同一积分时间(即，同一帧)内产生的多个低分辨率子帧和多个低分辨率图像来提取多个低分辨率深度信息。此外，运算单元可以重新配置多个低分辨率深度信息的像素值并提取高分辨率深度信息。这里，如上所述，与多个低分辨率深度信息相对应的输入光信号的光路可以彼此不同。
[0164]
此外，例如，运算单元可以使用多个电信号产生低分辨率子帧1
‑
1至2
‑
8。低分辨率子帧1
‑
1至1
‑
8是在第一积分时间中产生的低分辨率子帧。即，低分辨率子帧1
‑
1至1
‑
8是由第一输入区域中的电信号产生的帧。低分辨率子帧2
‑
1至2
‑
8是在第二积分时间中产生的低分辨率子帧。同样，低分辨率子帧2
‑
1至2
‑
8是由第二输入区域中的电信号产生的帧。
[0165]
然后，运算单元可以将深度信息提取技术应用于在每个积分时间中产生的多个低分辨率子帧，并提取多个低分辨率深度信息lrd
‑
1和lrd
‑
2。此外，运算单元重新配置所述多个低分辨率深度信息lrd
‑
1和lrd
‑
2的像素并提取高分辨率深度信息hrd(见图13a)。
[0166]
可替代地，如上所述，运算单元可以重新配置与同一基准信号相对应的多个子帧的像素值并产生高分辨率子帧。在此，多个子帧各自对应于光学信号或输入光信号的不同光路。此外，运算单元可以使用多个高分辨率子帧来提取高分辨率深度信息(见图13b)。
[0167]
例如，低分辨率子帧1
‑
1和2
‑
1对应于同一基准信号c1但对应于不同的光路。然后，运算单元可以重新配置低分辨率子帧1
‑
1和2
‑
1的像素值并产生高分辨率子帧h
‑
1。当通过重新配置像素值产生高分辨率子帧h
‑
1至h
‑
8时，运算单元可以将深度信息提取技术应用于高分辨率子帧h
‑
1至h
‑
8并提取高分辨率深度信息hrd。
[0168]
参考图13c，根据第一实施例的相机模块可以产生通过一个像素移位而分辨率增加两倍的图像。作为示例，可以使用两个4
×
4低分辨率图像产生单个4
×
4高分辨率图像。然而，像素的数量不限于此并且可以改变为各种值。
[0169]
具体地，如上所述，第一低分辨率图像和第二低分辨率图像是通过使光路移位一个像素的大小而捕获的图像。第一低分辨率图像可以对应于第一输入区域，第二低分辨率图像可以对应于第二输入区域。即，第一低分辨率图像的第一图像像素对应于第一输入区域的第一像素，第二低分辨率图像的第二图像像素对应于第二输入区域的第一像素。运算单元将第二低分辨率图像的像素值在光路相对于光路没有移位的第一低分辨率图像已经移位的方向上配置为对应于高分辨率图像。在此，低分辨率图像可以具有包含低分辨率子帧和低分辨率深度信息的含义，而高分辨率图像可以具有包含高分辨率子帧和高分辨率的深度信息的含义。另外，因为如上所述仅第一像素在传感器中执行光接收，所以仅是与低分辨率图像中的第一像素相对应的部分被表示为像素a、b、c、d、e、f、g、h等。
[0170]
具体地，第二低分辨率图像是从第一低分辨率图像向右移位1个像素得到的图像。因此，第二低分辨率图像的像素b被配置于在第一低分辨率图像的像素a的右侧设置的像素中。例如，第一低分辨率图像的第二像素可以设置为与第二低分辨率图像的第一像素对应，并且第一低分辨率图像的第一像素可以设置为与第二低分辨率图像的第二像素对应。
[0171]
此外，在重新配置第一低分辨率图像和第二低分辨率图像的所有像素值时，产生分辨率与低分辨率图像的分辨率相比增加两倍的高分辨率图像帧。换言之，根据第一实施例的相机模块可以提高分辨率。此外，因为在仅第一像素在传感器中接收光的情况下基于传感器的电信号的产生和处理减少，所以根据第一实施例的相机模块可以提高处理速度。
[0172]
此外，控制单元150可以将加权值应用于所配置的像素值。这里，加权值可以根据子像素的大小或光路的行进方向而被不同地设定，或者可以针对每个低分辨率图像而被不同地设定。
[0173]
根据实施例，控制单元150可以通过控制在透镜组件中包括的例如ir滤光器318的透镜组件(见图3)的斜率的方法使输入光信号移位。因此，控制单元150可以获得移位1个像素的数据。
[0174]
参考图13d和图13e，图13e示出了在ir滤光器的厚度为0.21mm并且ir滤光器的折射率为1.5的条件下模拟相对于倾斜角的移位距离的结果。
[0175]
参考下面的图13d和等式8，ir滤光器318的斜率θ1和移位距离可以具有以下关系。
[0176]
[等式8]
[0177]
[0178]
其中，θ2可以表示为下面的等式9。
[0179]
[等式9]
[0180][0181]
此外，θ1表示ir滤光器318的斜率，即倾斜角，n
g
表示ir滤光器318的折射率，d表示ir滤光器318的厚度。例如，参考等式8和等式9，为了使输入到传感器的图像帧移位7μm，ir滤光器318可以倾斜约5
°
至6
°
。这里，ir滤光器318的垂直位移可以是大约175到210μm。
[0182]
以这样的方式，当控制ir滤光器318的斜率时，可以在不使传感器320本身倾斜的情况下获得移位的图像数据。
[0183]
根据本发明的实施例，用于控制ir滤光器斜率的控制单元可以包括直接或间接连接到ir滤光器的致动器，并且该致动器可以包括微机电系统(mems)、音圈电机(vcm)和压电元件中的至少一个。
[0184]
这里，如上所述，一个像素的大小可以是相邻的第一像素的中心之间的距离的0.5倍。此外，需要非常精确的控制来使输入光信号移位1个像素。在使用致动器使ir滤光器倾斜的情况下，根据致动器的精度，倾斜的ir滤光器的斜率和输入光信号的移位值可能变得与预定值不同。特别地，在致动器的操作期间出现错误或故障或致动器的部分由于长时间使用而未对准的情况下，ir滤光器的斜率和输入光信号的移位值的误差可能会变得非常大。
[0185]
因此，在一个实施例中，可以使用控制单元以子像素为单位使输入光的光路移位，并且可以检测实际移位值以补偿根据sr技术进行图像处理时的误差。
[0186]
根据实施例，控制单元150可以在软件或硬件方面改变输入光信号的光路。以上虽然以使用控制ir滤光器的斜率的方法通过控制单元150使输入光信号的光路移位为例，但本发明不限于此，控制单元150也可以使用光学单元的可变透镜使输入光信号的光路移位。
[0187]
此外，控制单元150可以通过针对每个积分时间根据预定规则重复光路来使输入光信号的光路移位。例如，控制单元150可以在第一积分时间之后的第二积分时间内使输入光信号的光路在第一行进方向上移位传感器130的1个像素单位。可替代地，如下所述，控制单元150可以在第二积分时间之后的第三积分时间内使输入光信号的光路在第二行进方向和第一行进方向上移位传感器130的0.5个像素单位。此外，控制单元150可以在第三积分时间之后使输入光信号的光路在第三行进方向上移位传感器130的一个像素单位。
[0188]
此外，控制单元150可以控制光学单元120以控制输入光信号的光路。控制单元150可以控制由第一行区域rr1的有效区域接收到的光到达第一行区域rr1的无效区域。此外，控制单元150可以执行移位控制，使得由第二行区域rr2的有效区域接收到的光到达第二行区域rr2的无效区域。
[0189]
此外，如上所述，光学单元120可以包括ir通过滤光器作为滤光器，并且控制单元150可以通过使ir通过滤光器倾斜对光路执行移位控制。
[0190]
上述控制可以同样地应用于以下描述的各种实施例。
[0191]
此外，在一个实施例中，控制单元150可以使用sr技术并且记录从在第一积分时间期间提取的数据获得的第一低分辨率图像和通过在第一行进方向移位1个像素而在第二积分时间期间提取的数据获得的第二低分辨率图像，从而获得单个深度信息。即，可以通过使
用sr技术记录多个低分辨率图像来产生具有深度信息的高分辨率图像。这里，术语“第一低分辨率图像”和“第二低分辨率图像”可以与上述的“低分辨率子帧”、“低分辨率图像”等替换使用。
[0192]
此外，根据实施例的相机模块100可以检测输入光的光路的移位值，并且使用检测到的移位值控制控制单元150或运算单元或者将检测到的移位值反映到深度图像的产生。
[0193]
图14和图15a至图15c是用于描述用于通过根据实施例的相机模块获得高分辨率图像的驱动的视图。
[0194]
参考图14和图15a至15c，在根据第二实施例的相机模块中，可以通过如以上描述中的运算单元形成高分辨率图像，并且运算单元可以使用在同一积分时间(即，同一帧)内产生的多个低分辨率子帧来提取多个低分辨率深度信息。此外，运算单元可以重新配置多个低分辨率深度信息的像素值并提取高分辨率深度信息。此外，在第二实施例中，如上所述，多个低分辨率深度信息可以各自对应于光学信号或输入光信号的不同光路。
[0195]
具体而言，运算单元可以使用多个电信号产生低分辨率子帧1
‑
1至3
‑
8。低分辨率子帧1
‑
1至1
‑
8是在第一积分时间内产生的低分辨率子帧。低分辨率子帧2
‑
1至2
‑
8是在第二积分时间内产生的低分辨率子帧。以上给出的描述可以同样地应用于低分辨率子帧1
‑
1至1
‑
8和低分辨率子帧2
‑
1至2
‑
8。类似地，以上给出的描述可以同样地应用于通过倾斜单元改变光路。
[0196]
然而，低分辨率子帧3
‑
1至3
‑
8可以是基于由改变输入光的光路的控制单元产生的电信号而产生的低分辨率子帧。
[0197]
具体而言，如上所述，控制单元可以改变输入光的光路。控制单元可以在第二积分时间内使光路移位第一行进距离，然后在第三积分时间内使光路在第二行进方向和第三行进方向中的每一个上移位第二行进距离。这里，第二行进距离可以是第一行进距离的0.5至1倍。在下文中，将假设第二行进距离对应于0.5个像素来进行描述。这里，第二行进方向是与第一行进方向垂直的方向，第三行进方向是与第一行进方向相同的方向。因此，当第一行进方向是第一方向时，第二行进方向可以是第二方向，而当第一行进方向是第二方向时，第二行进方向可以是第一方向。
[0198]
例如，当控制单元使光路向下和向左移位第二角度θ
b
时，入射到传感器130上的输入光信号可以向下和向左移位0.5个像素。这里，上述的第二角度θ
b
例如可以根据光学单元中的透镜的形状、滤光器的形状等以各种方式改变。
[0199]
此外，通过这样的移位，入射到传感器130上的第一输入区域i1、第二输入区域i2和第三输入区域i3之间存在位置差异。
[0200]
换言之，第三输入区域i3的中心cp3(以下称为“第三中心”)可以设置在第一输入区域i1的第一中心cp1与第二输入区域i2的第二中心cp2之间。此外，在第三输入区域i3中，第三中心可以设置在距与其相邻的第一中心和与其相邻的第二中心一个像素内。此外，第三中心可以设置在最邻近的第一中心之间的第一虚拟线与最邻近的第二中心之间的第二虚拟线之间的交点处。此外，与第一中心和第二中心一样，第三中心可以设置为在第一方向和第二方向上间隔开。此外，第三中心可以设置为在第一方向或第二方向上以与多个第一中心之间的间隔距离相同的长度间隔开。
[0201]
即，在一个实施例中，控制单元可以执行第二移位控制，在第二移位控制中，到达
第一行区域rr1的无效区域的光朝向与第一行区域rr1的无效区域相邻的第二行区域rr2的无效区域移位。以这样的方式，通过第二移位控制，到达第一行区域rr1的无效区域的光可以到达与第一行区域rr1的无效区域相邻的第二行区域rr2的无效区域。此外，到达第一行区域rr1的无效区域的光可以朝向与第一行区域rr1的无效区域最相邻的第二行区域rr2的无效区域移位。
[0202]
此外，控制单元可以执行第二移位控制，使得到达第一行区域rr1的有效区域的光朝向与第一行区域rr1的有效区域相邻的第二行区域rr2的有效区域移位。以这样的方式，通过第二移位控制，到达第一行区域rr1的有效区域的光可以到达与第一行区域rr1的有效区域相邻的第二行区域rr2的有效区域。此外，到达第一行区域rr1的有效区域的光可以朝向与第一行区域rr1的有效区域最相邻的第二行区域rr2的有效区域移位。这种移位控制可同样地应用于以下描述的各种实施例。
[0203]
此外，可以在上述第一移位控制之后执行第二移位控制。此外，通过第一移位控制到达传感器的光的行进距离可以与通过第二移位控制到达传感器的光的行进距离不同。例如，通过第一移位控制到达传感器的光的行进距离可以大于通过第二移位控制到达传感器的光的行进距离。将在下面对此进行详细描述。
[0204]
此外，低分辨率子帧3
‑
1至3
‑
8是在第三积分时间内产生的低分辨率子帧。然后，运算单元将深度信息提取技术应用于在每个积分时间内产生的多个低分辨率子帧，并提取多个低分辨率深度信息lrd
‑
1至lrd
‑
3。然后，如上所述，运算单元重新配置多个低分辨率深度信息lrd
‑
1至lrd
‑
3的像素值并提取高分辨率深度信息hrd。
[0205]
可替代地，如上所述，运算单元可以重新配置与同一基准信号相对应的多个子帧的像素值并产生高分辨率子帧。这里，多个子帧各自对应于输入光信号的不同光路。此外，运算单元可以使用多个高分辨率子帧来提取高分辨率深度信息。
[0206]
例如，在图14中，低分辨率子帧1
‑
1、2
‑
1和3
‑
1对应于相同的基准信号c1，但对应于不同的光路。然后，运算单元可以重新配置低分辨率子帧1
‑
1、2
‑
1和3
‑
1的像素值并产生高分辨率子帧h
‑
1。当通过重新配置像素值产生高分辨率子帧h
‑
1至h
‑
8时，运算单元可以将深度信息提取技术应用于高分辨率子帧h
‑
1至h
‑
8并提取高分辨率深度信息hrd。
[0207]
更具体地，上述低分辨率子帧1
‑
1至1
‑
8和低分辨率子帧2
‑
1至2
‑
8可以通过与第一实施例中相同的方法产生。因此，将省略其描述，并且将如描述图15a至图15c所示产生低分辨率子帧3
‑
1至3
‑
8的方法。
[0208]
这里，假设使用三个4
×
4低分辨率图像产生单个4
×
6高分辨率图像。这里，高分辨率像素网格具有4
×
6个像素，这与高分辨率图像的像素相同。然而，像素的数量不限于此并且可以改变为各种值。
[0209]
如上所述，运算单元可以产生多个低分辨率图像，例如第一低分辨率图像、第二低分辨率图像和第三低分辨率图像。此外，第一低分辨率图像和第二低分辨率图像是通过使光路在第一行进方向上移位一个像素的大小而捕获的图像，并且可以在第一积分时间期间产生并且包括物体的深度信息。此外，第二低分辨率图像可以在第二积分时间期间产生并且包括物体的深度信息。第三低分辨率图像可以在第三积分时间期间产生并且包括物体的深度信息。此外，如上所述，第一低分辨率图像可以对应于第一输入区域，第二低分辨率图像可以对应于第二输入区域，并且第三低分辨率图像可以对应于第三输入区域。即，第一低
分辨率图像的第一图像像素可以对应于第一输入区域的第一像素，第二低分辨率图像的第二图像像素可以对应于第二输入区域的第一像素，并且第三低分辨率图像的第三图像像素可以对应于第三输入区域的第一像素。
[0210]
运算单元在光路相对于光路没有移位的第一低分辨率图像已经移位的方向上配置第二低分辨率图像的像素值以与高分辨率图像相对应。例如，第二低分辨率图像的像素b可以设置在第一低分辨率图像的每个像素的右侧。这里，低分辨率图像可以具有包含低分辨率子帧和低分辨率深度信息的含义，高分辨率图像可以具有包含高分辨率子帧和高分辨率深度信息的含义。此外，第三低分辨率图像可以设置在第一低分辨率图像的像素a与第二低分辨率图像的像素b之间。
[0211]
具体地，第三低分辨率图像是从第二低分辨率图像在第二行进方向和第三行进方向中的每一个方向上向下移位1个子像素得到的图像。即，第三低分辨率图像可以是从第二低分辨率图像在第二行进方向上移位0.5个像素并进一步在第三行进方向上移位0.5个像素而得到的图像。例如，第三低分辨率图像可以是从第二低分辨率图像向下移位0.5个像素并进一步向左移位0.5个像素而得到的图像。即，第三低分辨率图像可以是相对于第二低分辨率图像移位小于一个像素的图像。因此，通过第一移位控制到达传感器的光的行进距离可以与通过第二移位控制到达传感器的光的行进距离不同，并且通过第一移位控制到达传感器的光的行进距离可以大于通过第二移位控制到达传感器的光的行进距离。例如，参考第三低分辨率图像，第三低分辨率图像可以是从第二低分辨率图像移位0.5个像素的图像，而第二低分辨率图像可以是从第一低分辨率图像移位1个像素的图像。优选地，光通过第一移位控制在传感器平面上的行进距离可以是同一行区域内的相邻有效区域的中心之间的距离的0.3至0.7倍。
[0212]
此外，光通过第二移位控制在传感器平面上的行进距离可以是第一行区域的有效区域的中心和与第一行区域的有效区域相邻的第二行区域的中心之间的距离的0.3至0.7倍。此外，光通过第一移位控制的行进距离可以是光通过第二移位控制的行进距离的0.5至1倍。
[0213]
此外，第三低分辨率图像的每个像素c可以设置在第一低分辨率图像的每个像素a和第二低分辨率图像的每个像素b的中心。更具体地，第三低分辨率图像的每个像素c可以和与其相邻的第一低分辨率图像的像素a和与其相邻的第二低分辨率图像的像素b部分地重叠。例如，第三低分辨率图像的每个像素c可以和与其相邻的第一低分辨率图像的像素a和与其相邻的第二低分辨率图像的像素b中的每一者的一半重叠。
[0214]
此外，第三低分辨率图像上的像素的中心cp3(以下称为“第三中心”)可以设置在距与其相邻的第一中心和与其相邻的第二中心的1个像素内。此外，第三中心可以设置在最相邻的第一中心之间的第一虚拟线与最相邻的第二中心之间的第二虚拟线之间的交点处。此外，与第一中心和第二中心相同，第三中心可以设置为在第一方向和第二方向上间隔开。此外，第三中心可以设置为在第一方向或第二方向上以与第一中心之间的间隔距离相同的长度间隔开。
[0215]
此外，当第一低分辨率图像到第三低分辨率图像的所有像素值被重新配置在高分辨率像素网格上时，可以产生分辨率比低分辨率图像的分辨率增加三倍的高分辨率图像帧。
[0216]
同时，运算单元可以将加权值应用于经配置的像素值。这里，加权值可以根据像素的大小或光路的行进方向不同地设定，或者可以针对每个低分辨率图像不同地设定。
[0217]
根据实施例，控制单元150可以通过控制透镜组件(例如，在透镜组件中包括的ir滤光器318(见图3))的斜率的方法使输入光信号移位。因此，控制单元150可以获得移位1个子像素的数据。控制斜率的方法可以与上面参考图13d和图13e描述的方法相同。
[0218]
图16和图17a至图17c是用于描述用于通过根据实施例的相机模块获得高分辨率图像的驱动的视图。参考图16和图17a至图17c，运算单元可以使用在同一积分时间(即，同一帧)内产生的多个低分辨率子帧提取多个低分辨率深度信息。此外，运算单元可以重新配置多个低分辨率深度信息的像素值并提取高分辨率深度信息。此外，在使用控制单元的情况下，多个低分辨率深度信息可以各自对应于输入光信号的不同光路。
[0219]
例如，运算单元可以使用多个电信号产生低分辨率子帧1
‑
1至4
‑
8。低分辨率子帧1
‑
1至1
‑
8是在第一积分时间内产生的低分辨率子帧。低分辨率子帧2
‑
1至2
‑
8是在第二积分时间内产生的低分辨率子帧。低分辨率子帧3
‑
1至3
‑
8是在第三积分时间内产生的低分辨率子帧。低分辨率子帧4
‑
1至4
‑
8是在第四积分时间内产生的低分辨率子帧。然后，运算单元将深度信息提取技术应用于在每个积分时间内产生的多个低分辨率子帧，并提取多个低分辨率深度信息lrd
‑
1至lrd
‑
4。低分辨率深度信息lrd
‑
1是使用子帧1
‑
1至1
‑
8提取的低分辨率深度信息。低分辨率深度信息lrd
‑
2是使用子帧2
‑
1至2
‑
8提取的低分辨率深度信息。低分辨率深度信息lrd
‑
3是使用子帧3
‑
1至3
‑
8提取的低分辨率深度信息。低分辨率深度信息lrd
‑
4是使用子帧4
‑
1至4
‑
8提取的低分辨率深度信息。此外，运算单元重新配置多个低分辨率深度信息lrd
‑
1至lrd
‑
4的像素值并提取高分辨率深度信息hrd。
[0220]
可替代地，如上所述，运算单元可以重新配置与同一基准信号相对应的多个子帧的像素值并产生高分辨率子帧。这里，多个子帧各自对应于输入光信号的不同光路。此外，运算单元可以使用多个高分辨率子帧来提取高分辨率深度信息。
[0221]
例如，如图17a所示，运算单元使用多个电信号产生低分辨率子帧1
‑
1至4
‑
8。低分辨率子帧1
‑
1至1
‑
8是在第一积分时间内产生的低分辨率子帧。低分辨率子帧2
‑
1至2
‑
8是在第二积分时间内产生的低分辨率子帧。低分辨率子帧3
‑
1至3
‑
8是在第三积分时间内产生的低分辨率子帧。低分辨率子帧4
‑
1至4
‑
8是在第四积分时间内产生的低分辨率子帧。这里，低分辨率子帧1
‑
1、2
‑
1、3
‑
1和4
‑
1对应于同一基准信号c1但对应于不同的光路。然后，运算单元可以重新配置低分辨率子帧1
‑
1、2
‑
1、3
‑
1和4
‑
1的像素值，并产生高分辨率子帧h
‑
1。当以这种方式产生高分辨率子帧h
‑
1至h
‑
8时，运算单元可以将深度信息提取技术应用于高分辨率子帧h
‑
1至h
‑
8，并提取高分辨率深度信息hrd。
[0222]
更具体地，上述的低分辨率子帧1
‑
1至1
‑
8和低分辨率子帧2
‑
1至2
‑
8可以通过与第一实施例和第二实施例中相同的方法产生。此外，低分辨率子帧3
‑
1至3
‑
8可以通过与第二实施例中相同的方法产生。因此，将省略其描述，并且将描述如图17a至17c所示产生低分辨率子帧4
‑
1至4
‑
8的方法。
[0223]
此外，这里假设使用四个4
×
4低分辨率图像产生单个4
×
8高分辨率图像。这里，高分辨率像素网格具有4
×
8个像素，其与高分辨率图像的像素相同。然而，像素的数量不限于此。此外，低分辨率图像可以具有包含低分辨率子帧和低分辨率深度信息的含义，而高分辨率图像可以具有包含高分辨率子帧和高分辨率深度信息的含义。
[0224]
如上所述，在第一实施例和第二实施例中，第一低分辨率图像至第四低分辨率图像是通过控制单元使光路移位而捕获的图像。即，控制单元可以在第四积分时间内使光路在相对于第三积分时间的第三行进方向上移位第一行进距离。这里，第四积分时间是第三积分时间之后的积分时间。因此，如在上述第一实施例或第二实施例中，第四低分辨率图像可以在第四积分时间内由运算单元产生。
[0225]
此外，运算单元在光路相对于光路没有移位的第一低分辨率图像已经移位的方向上重新配置第二低分辨率图像至第四低分辨率图像的像素值以与高分辨率图像相对应。例如，第四低分辨率图像可以在第三积分时间结束之后由控制单元使输入信号的光路相对于传感器向左移位1个像素来产生。类似地，第三行进方向可以是与第一行进方向相反的方向，并且在第一行进方向为向右的情况下，第三行进方向为向左。
[0226]
因此，为了产生第四低分辨率图像，根据第三实施例的相机模块可以从第四输入区域i4来产生第四低分辨率图像，该第四输入区域i4是通过以与第一实施例中由控制单元驱动相同的方式(除了将方向设为相反之外)驱动而获得的。这里，第四输入区域i4的中心cp4(以下称为“第四中心”)可以在第一方向和第二方向上与第三中心cp3交替设置。此外，第四中心cp4可以设置在第一中心cp1与第二中心cp2之间。此外，与第三低分辨率图像的每个像素c相同，第四低分辨率图像的每个像素d可以设置在第一低分辨率图像的每个像素a的中心和第二低分辨率图像的每个像素b的中心处。因此，第四低分辨率图像的每个像素d可以和与其相邻的第一低分辨率图像的像素a和与其相邻的第二低分辨率图像的像素b部分地重叠。例如，第四低分辨率图像的每个像素c可以和与其相邻的第一低分辨率图像的像素a和与其相邻的第二低分辨率图像的像素b中的每一者的一半重叠。
[0227]
此外，如上所述，第一低分辨率图像可以对应于第一输入区域，第二低分辨率图像可以对应于第二输入区域，第三低分辨率图像可以对应于第三输入区域，并且第四低分辨率图像可以对应于第四输入区域。即，第一低分辨率图像的第一图像像素可以对应于第一输入区域的第一像素，第二低分辨率图像的第二图像像素可以对应于第二输入区域的第一像素，第三低分辨率图像的第三图像像素可以对应于第三输入区域的第一像素，第四低分辨率图像的第四图像像素可以对应于第四输入区域的第一像素。此外，如上所述，第一图像像素至第四图像像素可以对应于每个低分辨率图像或第一输入图像的第一像素。
[0228]
例如，第二低分辨率图像的像素b可以配置于在第一低分辨率图像的像素a的右侧设置的像素中，第三低分辨率图像的像素c可以配置于在第二低分辨率图像的每个像素b的下方设置的像素中，第四低分辨率图像的像素d可以配置于在第三低分辨率图像的像素c的左侧设置的像素中。通过这样的配置，根据第三实施例的相机模块可以在高分辨率像素网格上重新配置第一低分辨率图像到第四低分辨率图像的所有像素值，并提供分辨率比低分辨率图像的分辨率增加四倍的高分辨率图像帧。
[0229]
此外，运算单元可以将加权值应用于经配置的像素值。这里，加权值可以根据子像素的大小或光路的行进方向而不同地设定，或者可以针对每个低分辨率图像而不同地设定。
[0230]
此外，根据一个实施例，控制单元150可以通过控制透镜组件(例如包括在透镜组件中的ir滤光器318(参见图3))的斜率的方法来使输入光信号移位。因此，控制单元150可以获得移位预定像素的数据。控制斜率的方法可以与上面参考图13d和图13e描述的方法相
同。
[0231]
此外，作为变型例，运算单元可以通过对第一低分辨率图像和第二低分辨率图像应用内插来产生第四低分辨率图像。即，可以使用低分辨率子帧1
‑
1到1
‑
8和低分辨率子帧2
‑
1到2
‑
8来产生低分辨率子帧4
‑
1到4
‑
8。
[0232]
换言之，作为变型例，可以在不通过控制单元执行移位的情况下产生第四低分辨率子帧4
‑
1至4
‑
8。
[0233]
具体地，为此，运算单元可以通过对与其相邻的子帧1
‑
1至1
‑
8的像素以及与其相邻的子帧2
‑
1至2
‑
8的像素使用内插技术，来计算与对应于第四中心的像素相关的像素值。
[0234]
在一个实施例中，可以应用线性内插、多项式内插、样条内插、指数内插、对数线性内插、拉格朗日内插、牛顿内插、双线性内插、地理内插等作为内插技术。
[0235]
例如，运算单元可以通过从与最邻近第四中心的两个第一中心和最邻近第四中心的两个第二中心相对应的像素值中反映加权值来计算与第四中心相对应的像素值。这里，由于对于与第四中心相邻的第一中心和第二中心，距第四中心的距离相同，因此上述加权值可以彼此相同。通过这种方法，可以提高内插技术的处理速度。
[0236]
此外，换言之，第四低分辨率图像可以包括第四图像像素，并且第四图像像素可以设置在与其最邻近的两个第一图像像素以及与两个第一图像最邻近的两个第二图像像素的中心处。即，第四图像像素可以通过对与其最邻近的两个第一图像像素和与两个第一图像像素最邻近的两个第二图像像素应用内插来计算。通过这样的方法，运算单元可以产生基于与使用内插技术得到第四中心相对应的像素值的低分辨率子帧4
‑
1至4
‑
8。
[0237]
换言之，通过在通过第一移位控制到达传感器的光与通过第二移位控制到达传感器的光之间应用内插，可以计算通过第一移位控制到达传感器的最邻近光(对应于与其最邻近的两个第一图像像素)以及与通过第一移位控制到达传感器的最邻近光最邻近的光(对应于第二图像像素)的中心(第四图像像素)的光。这种内插技术可以在下面同样适用。
[0238]
此外，如上所述，根据第三实施例的相机模块可以在高分辨率像素网格上重新配置第一低分辨率图像到第四低分辨率图像的所有像素值，并提供分辨率比低分辨率图像的分辨率增加四倍的高分辨率图像帧。
[0239]
此外，第四图像像素可以不与第三图像像素重叠。因此，可以提高像素值的精确度。
[0240]
图18和图19a至图19c是用于描述用于通过根据实施例的相机模块获得高分辨率图像的驱动的视图。
[0241]
参考图18和图19a至图19c，运算单元可以使用在同一积分时间(即，同一帧)内产生的多个低分辨率子帧提取多个低分辨率深度信息。另外，运算单元可以使用多个低分辨率子帧产生多个低分辨率子帧。另外，运算单元可以重新配置多个低分辨率深度信息的像素值并提取高分辨率深度信息。此外，在使用控制单元的情况下，多个低分辨率深度信息可以各自对应于输入光信号的不同光路。
[0242]
例如，运算单元可以使用多个电信号产生低分辨率子帧1
‑
1至4
‑
8。低分辨率子帧1
‑
1至1
‑
8是在第一积分时间内产生的低分辨率子帧。低分辨率子帧2
‑
1至2
‑
8是在第二积分时间内产生的低分辨率子帧。低分辨率子帧1
‑
1至1
‑
8和低分辨率子帧2
‑
1至2
‑
8可以与上面在第一实施例至第三实施例中描述的那些相同。
[0243]
然而，根据第四实施例，运算单元可以使用第一低分辨率子帧1
‑
1至1
‑
8和第二低分辨率子帧2
‑
1至2
‑
8来产生第三低分辨率子帧3
‑
1至3
‑
8和第四低分辨率子帧4
‑
1至4
‑
8。
[0244]
具体地，可以使用低分辨率子帧1
‑
1至1
‑
8和低分辨率子帧2
‑
1至2
‑
8来产生低分辨率子帧3
‑
1至3
‑
8。换言之，可以在不通过控制单元执行移位的情况下产生低分辨率子帧3
‑
1至3
‑
8。
[0245]
此外，可以使用低分辨率子帧1
‑
1至1
‑
8和低分辨率子帧2
‑
1到2
‑
8来产生低分辨率子帧4
‑
1至4
‑
8。换言之，可以在不通过控制单元移位的情况下产生低分辨率子帧4
‑
1至4
‑
8。
[0246]
为此，运算单元可以计算与对应于第三中心的像素相关的像素值，该计算通过对与该像素相邻的子帧1
‑
1至1
‑
8的像素以及与该像素相邻的子帧2
‑
1到2
‑
8的像素使用内插技术来进行。
[0247]
类似地，运算单元可以计算与对应于第四中心的像素相关的像素值，该计算通过对与该像素相邻的子帧1
‑
1至1
‑
8的像素以及与该像素相邻的子帧2
‑
1到2
‑
8的像素使用内插技术来进行。换言之，第四低分辨率图像可以包括第四图像像素，并且第四图像像素可以设置在与其最邻近的两个第一图像像素和与两个第一图像像素最邻近的两个第二图像像素的中心。
[0248]
如上所述，可以应用线性内插、多项式内插、样条内插、指数内插、对数线性内插、拉格朗日内插、牛顿内插、双线性内插、地理内插等作为内插技术。
[0249]
此外，运算单元可以通过从与最邻近第三中心的两个第一中心和以及最邻近第三中心的两个第二中心相对应的像素值反映加权值来计算与第三中心相对应的像素值。这里，由于对于与第三中心相邻的第一中心和第二中心，距第三中心的距离相同，因此上述的加权值可以彼此相同。通过这种方法，可以提高内插技术的处理速度。
[0250]
类似地，运算单元可以通过从与最邻近第四中心的两个第一中心和最邻近第四中心的两个第二中心相对应的像素值反映加权值来计算与第四中心相对应的像素值。此外，由于对于与第四中心相邻的第一中心和第二中心，距第四中心的距离相同，因此上述的加权值可以彼此相同。
[0251]
这里，第三中心可以使用用于对与第三中心相邻的第四像素的像素值进行计算的像素值中的一些。例如，在计算像素值时，彼此相邻的第三中心和第四中心可以共用第一中心的至少一个像素值和第二中心的至少一个像素值。
[0252]
通过这样的方法，运算单元可以产生基于与使用内插技术获得的第三中心相对应的像素值的低分辨率子帧3
‑
1至3
‑
8。此外，运算单元可以产生基于与第四中心对应的像素值的低分辨率子帧4
‑
1至4
‑
8。
[0253]
因此，根据第四实施例的相机模块可以在高分辨率像素网格上重新配置第一低分辨率图像到第四低分辨率图像的所有像素值，并提供分辨率比低分辨率图像的分辨率增加四倍的高分辨率图像帧。
[0254]
此外，运算单元可以将深度信息提取技术应用于通过上述方法产生的多个低分辨率子帧，并提取多个低分辨率深度信息lrd
‑
1至lrd
‑
4。此外，低分辨率深度信息lrd
‑
1是使用子帧1
‑
1至1
‑
8提取的低分辨率深度信息。低分辨率深度信息lrd
‑
2是使用子帧2
‑
1至2
‑
8提取的低分辨率深度信息。低分辨率深度信息lrd
‑
3是使用子帧3
‑
1至3
‑
8提取的低分辨率深度信息。低分辨率深度信息lrd
‑
4是使用子帧4
‑
1至4
‑
8提取的低分辨率深度信息。
[0255]
此外，运算单元重新配置多个低分辨率深度信息lrd
‑
1至lrd
‑
4的像素值并提取高分辨率深度信息hrd。
[0256]
此外，运算单元可以重新配置低分辨率子帧1
‑
1、2
‑
1、3
‑
1和4
‑
1的像素值并产生高分辨率子帧h
‑
1。
[0257]
可替代地，如上述第三实施例所述，可以重新配置低分辨率子帧的像素。换言之，运算单元可以产生第一低分辨率图像至第四低分辨率图像。
[0258]
具体地，运算单元可以产生第一低分辨率图像和第二低分辨率图像，所述第一低分辨率图像在第一积分时间期间产生并且包含物体的深度信息，第二低分辨率图像在第二积分时间期间产生并且包含物体的深度信息。此外，运算单元可以通过对第一低分辨率图像和第二低分辨率图像应用内插来产生第三低分辨率图像，并通过对第一低分辨率图像和第二低分辨率图像应用内插来产生第四低分辨率图像。
[0259]
这里，第一低分辨率图像可以包括与第一像素对应的第一图像像素，第二低分辨率图像可以包括与第一像素对应的第二图像像素。
[0260]
此外，在本实施例中，第三低分辨率图像和第四低分辨率图像可以分别包括第三图像像素和第四图像像素，它们设置在与其最相邻的两个第一图像像素和与两个第一图像像素最相邻的两个第二图像像素的中心处。另外，第三图像像素和第四图像像素是通过对与其最相邻的两个第一图像像素和与两个第一图像像素最相邻的两个第二图像像素应用内插来计算的，并且第三图像像素和第四图像像素可以在第一方向和第二方向上交替地设置。
[0261]
即，第二低分辨率图像的像素b可以配置于在第一低分辨率图像的每个像素a的右侧设置的像素中，第三低分辨率图像的像素c可以配置于在第二低分辨率图像的每个像素b的下方设置的像素中，第四低分辨率图像的像素d可以配置于在第三低分辨率图像的像素c的左侧设置的像素中。此外，当通过重新配置像素值产生高分辨率子帧h
‑
1至h
‑
8时，运算单元可以将深度信息提取技术应用于高分辨率子帧h
‑
1至h
‑
8，并提取高分辨率深度信息hrd。通过这样的配置，根据第四实施例的相机模块可以在高分辨率像素网格上重新配置第一低分辨率图像到第四低分辨率图像的所有像素值，并提供分辨率比低分辨率图像的分辨率增加四倍的高分辨率图像帧。
[0262]
此外，这里假设使用四个4
×
4低分辨率图像产生单个4
×
8高分辨率图像。这里，高分辨率像素网格具有4
×
8个像素，其与高分辨率图像的像素相同。然而，像素的数量不限于此。此外，低分辨率图像可以具有包含低分辨率子帧和低分辨率深度信息的含义，而高分辨率图像可以具有包含高分辨率子帧和高分辨率深度信息的含义。
[0263]
此外，如上所述，控制单元150可以通过控制透镜组件(例如包括在透镜组件中的ir滤光器318(参见图3))的斜率的方法来使输入光信号移位。因此，控制单元150可以获得移位预定像素的数据。控制斜率的方法可以与上面参考图13d和图13e描述的方法相同。
[0264]
图20和图21a至图21c是用于描述用于通过根据实施例的相机模块获得高分辨率图像的驱动的视图。参考图20和图21a至图21c，运算单元可以使用在同一积分时间(即，同一帧)内产生的多个低分辨率子帧提取多个低分辨率深度信息。此外，运算单元可以使用多个低分辨率子帧产生多个低分辨率子帧。此外，运算单元可以重新配置多个低分辨率深度信息的像素值并提取高分辨率深度信息。在使用控制单元的情况下，多个低分辨率深度信
息可以各自对应于光学信号或输入光信号的不同光路。
[0265]
例如，运算单元可以使用多个电信号产生低分辨率子帧1
‑
1至4
‑
8。低分辨率子帧1
‑
1至1
‑
8是在第一积分时间内产生的低分辨率子帧。低分辨率子帧2
‑
1至2
‑
8是在第二积分时间内产生的低分辨率子帧。低分辨率子帧1
‑
1至1
‑
8和低分辨率子帧2
‑
1至2
‑
8可以与上面在第一实施例至第三实施例中描述的那些相同。
[0266]
低分辨率子帧3
‑
1至3
‑
8和低分辨率子帧4
‑
1至4
‑
8也可以由上述第三实施例或第四实施例中的任一个产生。
[0267]
因此，运算单元将深度信息提取技术应用于在每个积分时间内产生的多个低分辨率子帧，并提取多个低分辨率深度信息lrd
‑
1至lrd
‑
4。低分辨率深度信息lrd
‑
1是使用子帧1
‑
1至1
‑
8提取的低分辨率深度信息。低分辨率深度信息lrd
‑
2是使用子帧2
‑
1至2
‑
8提取的低分辨率深度信息。低分辨率深度信息lrd
‑
3是使用子帧3
‑
1至3
‑
8提取的低分辨率深度信息。低分辨率深度信息lrd
‑
4是使用子帧4
‑
1至4
‑
8提取的低分辨率深度信息。
[0268]
这里，根据第五实施例，运算单元可以进一步产生低分辨率子帧5
‑
1至8
‑
8。换言之，运算单元可以通过对第一低分辨率图像至第四低分辨率图像应用内插来计算第五低分辨率图像至第八低分辨率图像。
[0269]
具体地，运算单元可以通过使用子帧1
‑
1至1
‑
8、子帧2
‑
1至2
‑
8、子帧3
‑
1至3
‑
8和子帧4
‑
1至4
‑
8来产生子帧5
‑
1至5
‑
8、子帧6
‑
1至6
‑
8、子帧7
‑
1至7
‑
8、子帧8
‑
1至8
‑
8。这里，运算单元可以计算子帧5
‑
1至5
‑
8、子帧6
‑
1至6
‑
8、子帧7
‑
1至7
‑
8和子帧8
‑
1至8
‑
8，该计算是通过对与其相邻的低分辨率子帧1
‑
1至1
‑
8、子帧2
‑
1至2
‑
8、子帧3
‑
1至3
‑
8和子帧4
‑
1至4
‑
8使用内插技术来进行的。内插技术可以与上面在第四实施例中描述的相同。
[0270]
更具体地，第五低分辨率图像至第八低分辨率图像可以分别包括第五图像像素至第八图像像素。这里，第五图像像素至第八图像像素可以设置在第一图像像素、与第一图像像素最相邻的第二图像像素、与第一图像像素和与第一图像像素最相邻的第二图像像素最相邻的第三图像像素、以及与第一图像像素和与第一图像像素最相邻的第二图像像素最相邻的第四图像像素的中心处。这里，第五图像像素和第六图像像素可以在第一方向和第二方向上交替地设置，第七图像像素和第八图像像素可以在第一方向和第二方向上交替地设置。
[0271]
以这样的方式，子帧5
‑
1至5
‑
8的像素e和子帧6
‑
1至6
‑
8的像素f可以在第一方向上平行于子帧1
‑
1至1
‑
8的像素a和子帧2
‑
1至2
‑
8的像素b设置。例如，子帧5
‑
1至5
‑
8的像素e和子帧6
‑
1至6
‑
8的像素f可以设置于在第一方向上连接子帧1
‑
1至1
‑
8和子帧2
‑
1至2
‑
8的虚拟线上。此外，子帧5
‑
1至5
‑
8的像素e和子帧6
‑
1至6
‑
8的像素f可以重复地交替设置。
[0272]
此外，子帧7
‑
1至7
‑
8的像素g和子帧8
‑
1至8
‑
8的像素h可以在第二方向上平行于子帧1
‑
1至1
‑
8的像素a和子帧2
‑
1至2
‑
8的像素b设置。例如，子帧7
‑
1至7
‑
8的像素g和子帧8
‑
1至8
‑
8的像素h可以设置于在第二方向上连接子帧1
‑
1至1
‑
8和子帧2
‑
1至2
‑
8的虚拟线上。此外，子帧7
‑
1至7
‑
8的像素g和子帧8
‑
1至8
‑
8的像素h可以重复地交替设置。
[0273]
此外，运算单元可以重新配置多个低分辨率深度信息lrd
‑
1至lrd
‑
8的像素值并提取高分辨率深度信息hrd。
[0274]
例如，运算单元可以重新配置低分辨率子帧1
‑
1、2
‑
1、3
‑
1、4
‑
1、5
‑
1、6
‑
1、7
‑
1和8
‑
1的像素值并产生高分辨率子帧h
‑
1。基于以上描述，运算单元可以将第五低分辨率图像的像
素e配置在第一低分辨率图像的像素a的右侧，将第二低分辨率图像的像素b配置在第五低分辨率图像的像素e的右侧，将第六低分辨率图像的像素f配置在第二低分辨率图像的像素b的右侧，将第三低分辨率图像的像素c配置在第六低分辨率图像的像素f的下侧，将第八低分辨率图像的像素h配置在第三低分辨率图像的像素c的左侧，将第四低分辨率图像的像素d配置在第八低分辨率图像的像素h的左侧，并且将第七低分辨率图像的像素g配置在第四低分辨率图像的像素d的左侧。
[0275]
当通过重新配置像素或像素值产生高分辨率子帧h
‑
1至h
‑
8时，运算单元可以将深度信息提取技术应用于高分辨率子帧h
‑
1至h
‑
8，并且提取高分辨率深度信息hrd。
[0276]
换言之，根据第五实施例，假设可以使用四个4
×
4低分辨率图像产生单个8
×
8高分辨率图像。这里，高分辨率像素网格可以具有8
×
8个像素，其与高分辨率图像的像素相同。此外，这里，低分辨率图像可以具有包含低分辨率子帧和低分辨率深度信息的含义，高分辨率图像可以具有包含高分辨率子帧和高分辨率深度信息的含义。
[0277]
以这种方式，当第一低分辨率图像到第八低分辨率图像的所有像素值被重新配置在高分辨率像素网格上时，产生分辨率比低分辨率图像的分辨率增加八倍的高分辨率图像帧。
[0278]
同时，运算单元可以将加权值应用于经配置的像素值。这里，加权值可以根据子像素的大小或光路的行进方向而不同地设定，或者可以针对每个低分辨率图像而不同地设定。
[0279]
根据一个实施例，运算单元可以通过控制透镜组件(例如包括在透镜组件中的ir滤光器318(参见图3))的斜率的方法来使输入光信号移位。因此，运算单元可以获得移位1个子像素的数据。控制斜率的方法可以与上面参考图13d和图13e描述的方法相同。
[0280]
图22是用于描述根据本发明实施例的传感器的操作机制的视图。
[0281]
传感器130可以通过第一相位基准信号以及由多个第一个像素中的第(2n
‑
1)列或第(2n
‑
1)行中配置的第一像素接收的输入光信号来产生多个第一电信号。传感器130可以通过第一相位基准信号和由在第一行区域中配置的第一像素接收的输入光信号来产生多个第一电信号。这里，第(2n
‑
1)列、第(2n
‑
1)行和第一行区域可以指奇数列和奇数行。
[0282]
传感器130可以通过第三相位基准信号和由多个第一像素中的第(2n
‑
1)列或第(2n
‑
1)行中配置的第一像素接收的输入光信号来产生第三电信号。传感器130可以通过第三相位基准信号和由在第一行区域中配置的第一像素接收的输入光信号来产生多个第三电信号。这里，第(2n
‑
1)列、第(2n
‑
1)行和第一行区域可以指奇数列和奇数行。
[0283]
这里，n可以是正整数，并且第一相位和第三相位可以具有180
°
的相位差。
[0284]
此外，传感器130可以通过第二相位基准信号和由多个第一像素中的第(2n)列或第(2n)行中配置的第一像素接收的输入光信号来产生多个第二电信号。传感器130可以通过第二相位基准信号和由在第二行区域中配置的第一像素接收的输入光信号来产生多个第二电信号。这里，第(2n)列、第(2n)行和第二行区域可以指偶数列和偶数行。
[0285]
传感器130可以通过第四相位基准信号和由在多个第一像素中的第(2n)列或第(2n)行中配置的第一像素接收的输入光信号来产生第四电信号。传感器130可以通过第四相位基准信号和由在第二行区域中配置的第一像素接收的输入光信号来产生多个第四电信号。这里，第(2n)列、第(2n)行和第二行区域可以指偶数列和偶数行。
[0286]
这里，n可以是正整数。第二相位和第四相位可以具有180
°
的相位差，第二相位可以与第一相位具有90
°
的相位差。
[0287]
将参照图12详细描述根据本发明第一实施例的传感器130的操作机制。图12(a)示出了同相，图12(b)示出了异相。
[0288]
如图22(a)所示，在同相的情况下，可以在配置于第一行和第三行(即，第(2n
‑
1)行)中的多个第一像素中产生与第一相位相对应的多个第一电信号e1。另一方面，可以在配置于第二行和第四行(即，第(2n)行)中的第一像素中产生与第二相位相对应的第一电信号e2。
[0289]
此外，如图12(b)所示，在异相的情况下，可以在配置于第一行和第三行(即，第(2n
‑
1)行)中的多个第一像素中产生与第三相位相对应的多个第三电信号e3。另一方面，可以在配置于第二行和第四行(即，第(2n)行)中的第一像素中产生与第四相位相对应的第四电信号e4。
[0290]
因此，在从同相到异相连续的单个积分时间内，可以在配置于第一行和第三行(即，第(2n
‑
1)行(例如奇数行))中的第一像素中产生第一电信号e1和第三电信号e3。此外，可以在配置于第一行和第三行(即，第(2n)行)(例如，偶数行))中的第一像素中产生第二电信号e2和第四电信号e4。因此，可以在配置于第(2n
‑
1)行的第一像素和配置于第(2n)行的第一像素中产生与不同相位相对应的两个电信号。
[0291]
图23是用于描述根据本发明实施例的第一像素信息的视图。
[0292]
运算单元140可以转换第一电信号至第四电信号并产生第一像素信息。这里，第一像素信息可以指通过转换第一电信号至第四电信号产生的子帧的像素值。
[0293]
例如，在如图22所示产生电信号的情况下，第一像素信息可以如图23所示。图23(a)示出了通过转换第一电信号产生的第一子帧。第一子帧包括关于在第一行和第三行中配置的四个第一像素的第一像素信息d1，但不包括关于第一像素的像素信息和关于在第二行和第四行中配置的第二像素的像素信息。
[0294]
图23(b)示出了通过转换第二电信号产生的第二子帧。第二子帧包括关于在第二行和第四行中配置的四个第一像素的第一像素信息d2，但不包括关于第一像素的像素信息和关于在第一行和第三行中配置的第二像素的像素信息。
[0295]
图23(c)示出了通过转换第三电信号产生的第三子帧。第三子帧包括关于在第一行和第三行中配置的四个第一像素的第一像素信息d3，但不包括关于第一像素的像素信息和关于在第二行和第四行中配置的第二像素的像素信息。
[0296]
图23(d)示出了通过转换第四电信号产生的第四子帧。第四子帧包括关于在第二行和第四行中配置的四个第一像素的第一像素信息d4，但不包括关于第一像素的像素信息和关于在第一行和第三行中配置的第二像素的像素信息。
[0297]
如上所述，需要具有所有像素值的四个相位的子帧图像来产生深度图像。然而，通过电信号产生的像素信息仅在每个子帧图像中提供一些像素值。例如，通过第一像素信息d1产生的第一子帧图像可能仅具有总共十六个像素值中的四个像素值。因此，需要没有通过每个子帧图像中的第一像素信息产生的像素值来产生深度图像。
[0298]
图24和图25是用于描述根据本发明实施例的计算第二像素信息的过程的视图。
[0299]
运算单元140可以通过对第一像素信息执行内插来计算第二像素信息。这里，第二
像素信息可以指子帧图像的像素值中的除第一像素信息以外的像素值。即，第二像素信息可以指子帧图像的像素值中的除了通过电信号转换产生的像素值之外的像素值。
[0300]
首先，运算单元140可以通过内插与第一像素对应的第一像素信息来计算与第二像素相对应的第二像素信息。如图24所示，可以通过内插与第二像素相邻的多个第一像素所对应的第一像素信息来计算与第二像素对应的第二像素信息。即，可以通过内插与从第二像素的上、下、左、右与第二像素相邻的四个第一像素相对应的第一像素信息来计算与第二像素对应的第二像素信息。这里，在第二像素配置在最外部的情况下，可以通过内插与从第二像素的上、下、左、右与第二像素相邻的四个第一像素中的两个或三个第一像素对应的第一像素信息来计算第二像素信息。
[0301]
参考图24，运算单元140可以通过针对每个相位内插两个第一像素信息来计算与第二像素对应的第二像素信息。例如，参考图24(a)，运算单元140可以通过内插与第一相位基准信号对应的两个第一像素信息d1和与第二相位对应的两个第一像素信息d2来计算关于第二像素的第二像素信息。例如，参考图24(b)，运算单元140可以通过内插与第三相位基准信号对应的两个第一像素信息d3和与第四相位对应的两个第一像素信息d4来计算关于第二像素的第二像素信息。同时，在配置在最外部的第二像素的情况下，可以通过两个或三个第一像素信息来计算第二像素信息。
[0302]
以这样的方式，运算单元140可以计算与对应于第一相位至第四相位的第一子帧图像至第四子帧图像相关的第二像素的像素值。例如，可以将在图24(a)中计算出的关于第二像素的第二像素信息设定为第一子帧图像和第二子帧图像的第二像素的像素值。可以将在图24(b)中计算出的关于第二像素的第二像素信息设定为第三子帧图像和第四子帧图像的第二像素的像素值。
[0303]
接下来，运算单元140可以通过内插与第一像素对应的第一像素信息来计算与第一像素对应的第二像素信息。如图25所示，可以通过内插与第一像素相邻的多个第一像素所对应的第一像素信息来计算与第一像素对应的第二像素信息。即，运算单元140可以通过内插与在对角线方向上与第一像素相邻的四个其他第一像素对应的第一像素信息来计算与第一像素对应的第二像素信息。
[0304]
参考图25，对于每个第一像素，与第一像素对应的第一像素信息可以具有与第一相位和第三相位对应的第一像素信息或与第二相位和第四相位对应的第一像素信息。即，可能不存在与两个相位对应的子帧图像的像素值。因此，运算单元140可以通过内插在对角线方向上与第一像素相邻的四个其他第一像素中存在的第一像素信息来计算与第一像素对应的第二像素信息。
[0305]
将参考图25所示的示例进行详细描述。参考图25(a)，在与第一相位对应的子帧中，第一行和第三行中的第一像素可以具有第一像素信息d1，而第二行和第四行中的第一像素可以不具有第一像素信息d1。因此，运算单元140可以通过从第二行和第四行中的第一像素内插关于在对角线方向上设置的第一像素的第一像素信息来计算第二像素信息b1。
[0306]
参考图25(b)，在与第二相位对应的子帧中，第二行和第四行中的第一像素可以具有第一像素信息d1，而第一行和第三行中的第一像素可以不具有第一像素信息。因此，运算单元140可以通过从第一行和第三行中的第一像素内插关于在对角线方向上设置的第一像素的第一像素信息来计算第二像素信息b2。
[0307]
参考图25(c)，在与第三相位对应的子帧中，第一行和第三行中的第一像素可能具有第一像素信息d3，而第二行和第四行中的第一像素可以不具有第一像素信息。因此，运算单元140可以通过从第二行和第四行中的第一像素内插关于在对角线方向上设置的第一像素的第一像素信息来计算第二像素信息b3。
[0308]
参考图25(d)，在与第四相位对应的子帧中，第二行和第四行中的第一像素可以具有第一像素信息d4，而第一行和第三行中的第一像素可以不具有第一像素信息。因此，运算单元140可以通过从第一行和第三行中的第一像素内插关于在对角线方向上设置的第一像素的第一像素信息来计算第二像素信息b4。
[0309]
图26是示出根据实施例的四个子帧的视图。
[0310]
图26示出了通过由运算单元140根据图24和图25计算出的第二像素信息产生的子帧。
[0311]
图26(a)是对应于第一相位的第一子帧图像，图26(b)是对应于第二相位的第二子帧图像，图26(c)是对应于第三相位的第三子帧图像，图26(d)是对应于第四相位的第四子帧图像。
[0312]
以上参考图22描述的第一子帧至第四子帧仅具有总共十六个像素中的四个像素。然而，在根据本发明的实施例计算第二像素信息的情况下，第一子帧至第四子帧可以具有所有的十六个像素的像素值。
[0313]
图27是用于描述根据本发明实施例的传感器的操作机制的视图。
[0314]
参考图27(a)，传感器130可以通过第一相位基准信号和由多个第一像素中的在第(4n
‑
3)行、第(4n
‑
2)列中配置的第一像素接收到的输入光信号来产生多个第一电信号。此外，传感器130可以通过第三相位基准信号和由多个第一像素中的在第(4n
‑
3)行、第(4n
‑
2)列中配置的第一像素接收到的输入光信号来产生第三电信号。这里，n可以是正整数，并且第一相位和第三相位可以具有180
°
的相位差。
[0315]
传感器130可以通过第二相位基准信号和由多个第一像素中的在第(4n
‑
2)行、第(4n
‑
3)列中配置的第一像素接收到的输入光信号来产生多个第二电信号。此外，传感器130可以通过第四相位基准信号和由多个第一像素中的在第(4n
‑
2)行、第(4n
‑
3)列中配置的第一像素接收到的输入光信号来产生第四电信号。第二相位与第四相位可以具有180
°
的相位差，第二相位可以与第一相位具有90
°
的相位差。传感器130也可以根据图27(b)所示的变型例进行操作。
[0316]
在本实施例中，运算单元140可以通过内插对应于同一相位的第一像素信息来计算对应于某一相位的第二像素信息。
[0317]
运算单元140可以通过内插与第一像素相对应的第一像素信息来计算与第二像素相对应的第二像素信息。这里，可以通过内插与第二像素相邻的多个第一像素所对应的第一像素信息来计算与第二像素相对应的第二像素信息。
[0318]
运算单元140可以通过内插与第一像素相对应的第一像素信息来计算与第一像素相对应的第二像素信息。这里，可以通过内插与第一像素相邻的多个第一像素所对应的第一像素信息来计算与第一像素相对应的第二像素信息。
[0319]
以上参照本发明的实施例对本发明进行了描述，但实施例仅为示例，并不用于限制本发明。本发明所属领域的普通技术人员应当理解的是，在不脱离本文所描述的实施例
的本质特征的范围内，以上未描述的各种修改和应用是可能的。例如，可以修改和实践实施例中具体示出的各个元件。此外，与此修改和应用相关的差异应当被解释为落入由所附权利要求限定的本发明的范围内。