1.本公开涉及一种摄像系统及方法，尤其涉及一种双传感器摄像系统及其深度图计算方法。
背景技术：
：：2.相机的曝光条件(包括光圈、快门、感亮度)会影响所拍摄图像的质量，因此许多相机在拍摄图像的过程中会自动调整曝光条件，以获得清晰且明亮的图像。然而，在低光源或是背光等高反差的场景中，相机调整曝光条件的结果可能会产生噪声过高或是部分区域过曝的结果，无法兼顾所有区域的图像质量。3.对此，目前技术有采用一种新的图像传感器架构，其是利用红外线(ir)传感器高光敏感度的特性，在图像传感器的色彩像素中穿插配置ir像素，以辅助亮度检测。举例来说，图1是现有使用图像传感器获取图像的示意图。请参照图1，现有的图像传感器10中除了配置有红(r)、绿(g)、蓝(b)等颜色像素外，还穿插配置有红外线(i)像素。因此，图像传感器10能够将r、g、b颜色像素所获取的色彩信息12与i像素所获取的亮度信息14结合，而获得色彩及亮度适中的图像16。4.然而，在上述单一图像传感器的架构下，图像传感器中每个像素的曝光条件相同，因此只能选择较适用于颜色像素或红外线像素的曝光条件来获取图像，结果仍无法有效地利用两种像素的特性来改善所获取图像的图像质量。技术实现要素：5.本发明提供一种双传感器摄像系统及其深度图计算方法，可精确地算出摄像场景的深度图。6.本发明的双传感器摄像系统包括至少一个色彩传感器、至少一个红外线传感器、存储装置以及耦接所述色彩传感器、红外光传感器及存储装置的处理器。所述处理器经配置以加载并执行存储在存储装置中的计算机程序以：控制色彩传感器及红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；从多张色彩图像及多张红外线图像中适应性选择出彼此可对比的色彩图像及红外线图像的组合；以及使用所选择的色彩图像及红外线图像计算摄像场景的深度图。7.本发明的双传感器摄像系统的深度图计算方法，适用于包括至少一个色彩传感器、至少一个红外线传感器及处理器的双传感器摄像系统。所述方法包括下列步骤：控制色彩传感器及红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；从多张色彩图像及多张红外线图像中适应性选择出彼此可对比的色彩图像及红外线图像的组合；以及使用所选择的色彩图像及红外线图像计算摄像场景的深度图。8.基于上述，本发明的双传感器摄像系统及其深度图计算方法，通过在独立配置的色彩传感器及红外线传感器上采用适于当前摄像场景的不同曝光条件来获取多张图像，并从中选择出彼此可对比的色彩及红外线图像来计算摄像场景的深度图，因此可精确地算出摄像场景的深度图。9.为让本公开能还明显易懂，下文特举实施例，并配合附图作详细说明如下。附图说明10.图1是现有使用图像传感器获取图像的示意图；11.图2是依照本发明一实施例所示出的使用图像传感器获取图像的示意图；12.图3是依照本发明一实施例所示出的双传感器摄像系统的方块图；13.图4是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的流程图；14.图5是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的流程图；15.图6是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的范例；16.图7是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的流程图。17.符号说明18.10、20：图像传感器19.12：色彩信息20.14：亮度信息21.16：图像22.22：色彩传感器23.22a、62：色彩图像24.24：红外线传感器25.24a、64：红外线图像26.26：场景图像27.30：双传感器摄像系统28.32：色彩传感器29.34：红外线传感器30.36：存储装置31.38：处理器32.62a：人脸区域33.66：深度图34.r、g、b、i：像素35.s402～s406、s502～s510、s702～s710：步骤具体实施方式36.本发明实施例适用在独立配置有色彩传感器及红外线传感器的双传感器摄像系统。其中，由于色彩传感器及红外线传感器之间具有像差(parallex)，其所获取的色彩图像及红外线图像可用以计算摄像场景的深度图。针对色彩传感器所获取的色彩图像可能会因为摄像场景中的光线反射、阴影、高反差等因素的影响而有过曝或曝光不足的情况，本发明实施例利用红外线图像具有较佳的信噪比(signaltonoiseratio，snr)且包含较多的摄像场景的纹理细节的优点，使用红外线图像所提供的纹理信息来辅助缺陷区域的深度值的计算，从而可获得精确的摄像场景的深度图。37.图2是依照本发明一实施例所示出的使用图像传感器获取图像的示意图。请参照图2，本发明实施例的图像传感器20采用独立配置色彩传感器22与红外线(ir)传感器24的双传感器架构，利用色彩传感器22与红外线传感器24各自的特性，采用适于当前拍摄场景的多个曝光条件分别获取多张图像，并从中选择曝光条件适当的色彩图像22a与红外线图像24a。在一些实施例中，透过图像融合的方式，可使用红外线图像24a来补足色彩图像22a中缺乏的纹理细节，从而获得色彩及纹理细节均佳的场景图像26。而在一些实施例中，则可使用色彩图像22a与红外线图像24a来计算摄像场景的深度图，并利用红外线图像24a所提供的纹理细节来补偿色彩图像中缺乏的纹理细节，并辅助计算缺陷区域的深度值。38.图3是依照本发明一实施例所示出的双传感器摄像系统的方块图。请参照图3，本实施例的双传感器摄像系统30可配置于手机、平板计算机、笔记本电脑、导航装置、行车纪录器、数字相机、数字摄影机等电子装置中，用以提供摄像功能。双传感器摄像系统30包括至少一个色彩传感器32、至少一个红外线传感器34、存储装置36及处理器38，其功能分述如下：39.色彩传感器32例如包括电荷耦合器件(chargecoupleddevice，ccd)、互补金属氧化物半导体(complementarymetal-oxidesemiconductor，cmos)器件或其他种类的感光器件，而可感测光线强度以产生摄像场景的图像。色彩传感器32例如是红绿蓝(rgb)图像传感器，其中包括红(r)、绿(g)、蓝(b)颜色像素，用以获取摄像场景中的红光、绿光、蓝光等色彩信息，并将这些色彩信息合成以生成摄像场景的色彩图像。40.红外线传感器34例如包括ccd、cmos器件或其他种类的感光器件，其经由调整感光器件的波长感测范围，而能够感测红外光。红外线传感器34例如是以上述感光器件作为像素来获取摄像场景中的红外光信息，并将这些红外光信息合成以生成摄像场景的红外线图像。41.存储装置36例如是任意型式的固定式或可移动式随机存取存储器(randomaccessmemory，ram)、只读存储器(read-onlymemory，rom)、闪存(flashmemory)、硬盘或类似器件或上述器件的组合，而用以存储可由处理器38执行的计算机程序。在一些实施例中，存储装置36例如还可存储由色彩传感器32所获取的色彩图像及红外线传感器34所获取的红外线图像。42.处理器38例如是中央处理器(centralprocessingunit，cpu)，或是其他可编程的一般用途或特殊用途的微处理器(microprocessor)、微控制器(microcontroller)、数字信号处理器(digitalsignalprocessor，dsp)、可编程控制器、专用集成电路(applicationspecificintegratedcircuits，asic)、可编程逻辑器件(programmablelogicdevice，pld)或其他类似装置或这些装置的组合，本发明不在此限制。在本实施例中，处理器38可从存储装置36加载计算机程序，以执行本发明实施例的双传感器摄像系统的深度图计算方法。43.图4是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的流程图。请同时参照图3及图4，本实施例的方法适用于上述的双传感器摄像系统30，以下即搭配双传感器摄像系统30的各项器件说明本实施例的深度图计算方法的详细步骤。44.在步骤s402中，由处理器38控制色彩传感器32及红外线传感器34采用适用于所识别的摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像。45.在一些实施例中，处理器38例如是以标准曝光条件中的曝光时间为基准，控制色彩传感器32及红外线传感器34获取曝光时间较短或较长的色彩图像，这些色彩图像彼此的曝光时间的差例如为介于-3至3的曝光值(exposurevalue，ev)中的任意值，在此不设限。举例来说，若a图像比b图像亮一倍，则可将b图像的ev加1，以此类推，曝光值可以有小数(例如 0.3ev)，在此不设限。46.在一些实施例中，处理器38例如是控制色彩传感器32及红外线传感器34中的至少一者采用标准曝光条件来获取摄像场景的至少一张标准图像，并使用这些标准图像来识别摄像场景。所述标准曝光条件例如包括采用既有测光技术所决定的光圈、快门、感亮度等参数，而处理器38则根据在此曝光条件下所获取的图像的色调(hue)、明度(value)、彩度(chroma)、白平衡等图像参数的强弱或分布来识别摄像场景，包括摄像场景的位置(室内或室外)、光源(高光源或低光源)、反差(高反差或低反差)、摄像物的种类(物品或人像)或状态(动态或静态)等。在其他实施例中，处理器38亦可采用定位方式来识别摄像场景或是直接接收使用者操作来设定摄像场景，在此不设限。47.在步骤s404中，由处理器38从多张色彩图像及多张红外线图像中适应性选择出彼此可对比的色彩图像及红外线图像的组合。在一些实施例中，处理器38例如会根据各张色彩图像的颜色细节和各张红外线图像的纹理细节来选择彼此可对比的色彩图像及红外线图像的组合。在一些实施例中，处理器38则会以色彩图像或红外线图像作为基准，来比较各张色彩图像和红外线图像的图像直方图，以确定彼此可对比的色彩图像及红外线图像的组合。48.在步骤s406中，由处理器38使用所选择的述色彩图像及红外线图像计算摄像场景的深度图。在一些实施例中，处理器38例如会获取所选择的色彩图像及红外线图像中特征强健的多个特征点，并根据色彩图像及红外线图像中彼此相对应的特征点的位置，计算摄像场景的深度图。49.通过上述方法，双传感器摄像系统30可选择出颜色细节较佳的色彩图像及纹理细节较佳的红外线图像来计算摄像场景的深度图，并利用红外线图像来补偿或取代色彩图像中所缺乏的纹理细节来计算深度值，因此可精确地算出摄像场景的深度图。50.在一些实施例中，处理器38例如会先根据各张色彩图像的颜色细节，选择其中一张色彩图像作为基准图像，接着识别基准图像中缺乏纹理细节的至少一个缺陷区域，然后再根据各张红外线图像中对应于这些缺陷区域的图像的纹理细节，选择其中一张红外线图像作为可与基准图像彼此对比的图像，一同用于深度图的计算。51.详细而言，基于色彩传感器32每次只能采用单一曝光条件获取色彩图像，在摄像场景为低光源或高反差的情况下，每一张色彩图像都可能会出现高噪声、过曝或曝光不足的区域(即上述的缺陷区域)。此时，处理器38即可利用红外线传感器34高光敏感度的特性，针对上述的缺陷区域，从先前获取的多张红外线图像中，选择具备该缺陷区域的纹理细节的红外线图像，而可用以补足色彩图像中缺陷区域的纹理细节。52.图5是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的流程图。请同时参照图3及图5，本实施例的方法适用于上述的双传感器摄像系统30，以下即搭配双传感器摄像系统30的各项器件说明本实施例的深度图计算方法的详细步骤。53.在步骤s502中，由处理器38从多张色彩图像中选择能显露出摄像场景的颜色细节的色彩图像作为基准图像。54.在一些实施例中，处理器38例如是根据各张色彩图像的颜色细节，从多张色彩图像中选择颜色细节最多的色彩图像作为基准图像。所述颜色细节的多寡例如可由色彩图像中过曝或曝光不足区域的大小来决定。55.详细而言，过曝区域像素的颜色趋近白色、曝光不足区域像素的颜色趋近黑色，因此这些区域的颜色细节会较少。因此，若色彩图像中包括较多的这类区域，代表其颜色细节较少，处理器38据此即可判断出哪一张色彩图像的颜色细节最多，而用以作为基准图像。在其他实施例中，处理器38也可依据各张色彩图像的对比度、饱和度或其他图像参数来分辨其颜色细节的多寡，在此不设限。56.在步骤s504中，由处理器38识别基准图像中缺乏纹理细节的至少一个缺陷区域。所述的缺陷区域例如是上述的过曝区域或曝光不足区域，或是在低光源下所获取的具较高噪声的区域，在此不设限。57.在步骤s506中，由处理器38根据各张红外线图像中对应于所述缺陷区域的图像的纹理细节，选择其中一张红外线图像，而用以作为与基准图像彼此对比的组合。58.在一些实施例中，处理器38例如是选择对应于所述缺陷区域的图像的纹理细节最多的红外线图像作为与基准图像彼此对比的组合。其中，处理器38例如是依据各张红外线图像的对比度或其他图像参数来分辨其纹理细节的多寡，在此不设限。59.在步骤s508中，由处理器38执行特征获取算法，从基准图像及所选择的红外线图像中获取特征强健的多个特征点。60.在一些实施例中，所述的特征获取算法例如是哈里斯边角检测(harriscornerdetector)、海森仿射区域检测(hessian-affineregiondetector)、最大稳定极值区域(maximallystableextremalregions，mser)、尺度不变特征变换(scaleinvariantfeaturetransform，sift)或加速稳健特征(speededuprobustfeatures，surf)，所述特征点例如是图像中的边缘或角落像素，在此不设限。在一些实施例中，处理器38还可根据所获取特征之间的对应关系将色彩图像及红外线图像对准。61.在步骤s510中，由处理器38根据基准图像及红外线图像中彼此相对应的特征点的位置，计算摄像场景的深度图。62.在一些实施例中，处理器38例如是直接计算基准图像及红外线图像中相对应的各个像素的像差，并依据双传感器摄像系统30的色彩传感器及红外线传感器34拍摄图像时的焦距、两个传感器的间距以及各个像素的像差，估测各个像素的深度。其中，处理器38例如是依据各个像素在基准图像及红外线图像中的位置，计算各个像素在基准图像及红外线图像之间的位移，以作为像差。63.详细而言，双传感器摄像系统30所拍摄的基准图像及红外线图像中相对应像素的像差是由焦距(决定图像大小)、传感器间距(决定图像重迭范围)以及该像素对应对象与传感器间的距离(即深度值，决定图像中对象的大小)来决定，其中存在着某种比例关系，而记载此比例关系的关系表可通过在双传感器摄像系统30出厂前预先测试而得。因此，当用户使用双传感器摄像系统30拍摄图像，而处理器38在计算图像中各个像素的像差时，即可利用预先建立的关系表查询而获得各个像素的深度值。64.通过上述方法，双传感器摄像系统30即可利用色彩图像及红外线图像中相对应像素的位置关系来计算各个像素的深度值，从而获得精确的摄像场景的深度图。65.举例来说，图6是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的范例。请参照图6，本实施例是通过上述图5的深度图计算方法，选择出颜色细节最多的色彩图像62作为基准图像，并针对色彩图像62中缺乏纹理细节的缺陷区域(例如人脸区域62a)，从采用不同曝光条件获取的多张红外线图像中选择出该缺陷区域的纹理细节最多的红外线图像64，用以与色彩图像62进行对比，从而计算出精确的摄像场景的深度图66。66.在一些实施例中，处理器38例如会在用户启动实时显示(liveview)模式时，控制色彩传感器32拍摄多张色彩图像，以执行自动对焦(autofocus)，因此获得所拍摄物体的焦距，并根据此焦距来决定可显露出物体颜色细节最多的色彩图像。67.在实时显示模式中，处理器38例如会以此可显露出物体颜色细节最多的色彩图像映射的曝光时间为基准，控制色彩传感器32以较此曝光时间为长或短的多个曝光时间拍摄多张色彩图像，并用以监测摄像场景的环境变化。类似地，处理器38也可以可显露出物体纹理细节最多的红外线图像映射的曝光时间为基准，控制红外线传感器34以较此曝光时间为长或短的多个曝光时间拍摄多张红外线图像。最后，处理器38可从这些由色彩传感器32及红外线传感器34所拍摄的图像中，选择彼此最能够对比的色彩图像及红外线图像的组合，而用以计算摄像场景的深度图。68.举例来说，在一些实施例中，处理器38会计算这些色彩图像及红外线图像中每张图像的图像直方图，并选择以色彩图像或红外线图像作为基准，来比较各张色彩图像和红外线图像的图像直方图，以确定彼此最能够对比的色彩图像及红外线图像的组合，并用以计算摄像场景的深度图。69.详细而言，在一些实施例中，处理器38例如是选择色彩图像其中之一(例如是选择可显露出物体颜色细节最多的色彩图像)作为基准图像，并选择红外线图像其中之一(例如是选择可显露出物体纹理细节最多的色彩图像)来与基准图像比较，而依据这些图像的图像直方图判断所选择的红外线图像的亮度是否高于基准图像的亮度。其中，若判断结果为是，则处理器38会从红外线传感器34预先获取的多张红外线图像中选择曝光时间较所选择的红外线图像的曝光时间短的红外线图像，或控制红外线传感器34采用较所选择的红外线图像的曝光时间短的曝光时间获取红外线图像，用以作为与基准图像彼此对比的组合。反之，若判断结果为否，则处理器38会从红外线传感器34预先获取的多张红外线图像中选择曝光时间较所选择的红外线图像的曝光时间长的红外线图像，或控制红外线传感器34采用较所选择的红外线图像的曝光时间长的曝光时间获取红外线图像，用以作为与基准图像彼此对比的组合。70.另一方面，在一些实施例中，处理器38例如是选择红外线图像其中之一(例如是选择可显露出物体纹理细节最多的色彩图像)作为基准图像，并选择色彩图像其中之一(例如是选择可显露出物体颜色细节最多的色彩图像)来与基准图像比较，依据这些图像的图像直方图，判断所选择的色彩图像的亮度是否高于基准图像的亮度。其中，若判断结果为是，则处理器38会从色彩传感器32预先获取的多张色彩图像中选择曝光时间较所选择的色彩图像的曝光时间短的色彩图像，或控制色彩传感器32采用较所选择的色彩图像的曝光时间短的曝光时间获取色彩图像，用以作为与基准图像彼此对比的组合。反之，若判断结果为否，则处理器38会从色彩传感器32预先获取的多张色彩图像中选择曝光时间较所选择的色彩图像的曝光时间长的色彩图像，或控制色彩传感器32采用较所选择的色彩图像的曝光时间长的曝光时间获取色彩图像，用以作为与基准图像彼此对比的组合。71.通过上述方法，双传感器摄像系统30即可从多张色彩图像及红外线图像中适应性选择出彼此最能够对比的色彩图像及红外线图像的组合，并用以算出精确的摄像场景的深度图。72.在一些实施例中，即便是选择彼此最能够对比的色彩图像及红外线图像的组合来计算摄像场景的深度图，所选择的色彩图像仍有可能会因为反射或色彩传感器32的动态范围不足等因素，而具有许多缺乏颜色及/或纹理细节不足的缺陷区域，此即所谓的遮盖(occlusion)。在此情况下，可使用由红外线图像提供的纹理细节作为参考依据，而从遮盖周围像素的深度值来估测该遮盖的深度值。73.详细而言，图7是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的流程图。请同时参照图3及图7，本实施例的方法适用于上述的双传感器摄像系统30，并额外在双传感器摄像系统30中配置如红外线发光二极管(lightemittingdiode，led)等红外线投射器(irprojector)(未示出)，用以加强所获取的红外线图像的纹理细节。以下即搭配双传感器摄像系统30的各项器件说明本实施例的深度图计算方法的详细步骤。74.在步骤s702中，由处理器38检测所选择的色彩图像中缺乏颜色细节或纹理细节的至少一个遮盖，并在步骤s704中，判断是否检测到遮盖。75.若在步骤s704中有检测到遮盖，则在步骤s706中，处理器38会控制红外线投射器投射红外线至摄像场景，并控制红外线传感器34获取摄像场景的红外线图像。其中，通过投射红外线至摄像场景，可增强红外线传感器34所获取的摄像场景中暗部区域的纹理细节，而用以辅助后续深度图的计算。76.在步骤s708中，处理器38会根据红外线传感器34所获取的红外线图像所提供的各个遮盖周围的纹理细节，由各个遮盖周围的多个像素的深度值决定遮盖的深度值。详细而言，由于红外线图像可提供遮盖周围像素的精确的纹理细节，因此可利用与遮盖具有同质性(homogeneity)的周围像素的深度值，来填补深度图中空洞的深度值，使得深度图中的空洞得以经由红外线图像的辅助而填补正确的深度值。77.另一方面，若在步骤s704中没有检测到遮盖，则在步骤s710中，处理器38会根据基准图像及红外线图像中彼此相对应的特征点的位置，计算摄像场景的深度图。此步骤与前述实施例的步骤s510相同或相似，故其详细内容在此不再赘述。78.通过上述方法，双传感器摄像系统30可有效地填补所计算的深度图中的空洞，从而获得完整且精确的摄像场景的深度图。79.综上所述，本发明的双传感器摄像系统及其深度图计算方法通过独立配置色彩传感器与红外线传感器，并采用适于当前拍摄场景的多个曝光条件分别获取多张图像，从中选择彼此可对比的色彩图像及红外线图像来进行深度图的计算，因此可精确地算出各种摄像场景的深度图。而通过使用红外线图像所提供的纹理细节来辅助计算深度图中空洞的深度值，因此可生成完整的摄像场景的深度图。80.然本公开已以实施例揭示如上，然其并非用以限定本公开，任何本领域技术人员，在不脱离本公开的精神和范围内，当可作些许的改动与润饰，因此本公开的保护范围当视后附的权利要求及其均等范围所界定的为准。当前第1页12当前第1页12
背景技术：
：：2.相机的曝光条件(包括光圈、快门、感亮度)会影响所拍摄图像的质量，因此许多相机在拍摄图像的过程中会自动调整曝光条件，以获得清晰且明亮的图像。然而，在低光源或是背光等高反差的场景中，相机调整曝光条件的结果可能会产生噪声过高或是部分区域过曝的结果，无法兼顾所有区域的图像质量。3.对此，目前技术有采用一种新的图像传感器架构，其是利用红外线(ir)传感器高光敏感度的特性，在图像传感器的色彩像素中穿插配置ir像素，以辅助亮度检测。举例来说，图1是现有使用图像传感器获取图像的示意图。请参照图1，现有的图像传感器10中除了配置有红(r)、绿(g)、蓝(b)等颜色像素外，还穿插配置有红外线(i)像素。因此，图像传感器10能够将r、g、b颜色像素所获取的色彩信息12与i像素所获取的亮度信息14结合，而获得色彩及亮度适中的图像16。4.然而，在上述单一图像传感器的架构下，图像传感器中每个像素的曝光条件相同，因此只能选择较适用于颜色像素或红外线像素的曝光条件来获取图像，结果仍无法有效地利用两种像素的特性来改善所获取图像的图像质量。技术实现要素：5.本发明提供一种双传感器摄像系统及其深度图计算方法，可精确地算出摄像场景的深度图。6.本发明的双传感器摄像系统包括至少一个色彩传感器、至少一个红外线传感器、存储装置以及耦接所述色彩传感器、红外光传感器及存储装置的处理器。所述处理器经配置以加载并执行存储在存储装置中的计算机程序以：控制色彩传感器及红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；从多张色彩图像及多张红外线图像中适应性选择出彼此可对比的色彩图像及红外线图像的组合；以及使用所选择的色彩图像及红外线图像计算摄像场景的深度图。7.本发明的双传感器摄像系统的深度图计算方法，适用于包括至少一个色彩传感器、至少一个红外线传感器及处理器的双传感器摄像系统。所述方法包括下列步骤：控制色彩传感器及红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；从多张色彩图像及多张红外线图像中适应性选择出彼此可对比的色彩图像及红外线图像的组合；以及使用所选择的色彩图像及红外线图像计算摄像场景的深度图。8.基于上述，本发明的双传感器摄像系统及其深度图计算方法，通过在独立配置的色彩传感器及红外线传感器上采用适于当前摄像场景的不同曝光条件来获取多张图像，并从中选择出彼此可对比的色彩及红外线图像来计算摄像场景的深度图，因此可精确地算出摄像场景的深度图。9.为让本公开能还明显易懂，下文特举实施例，并配合附图作详细说明如下。附图说明10.图1是现有使用图像传感器获取图像的示意图；11.图2是依照本发明一实施例所示出的使用图像传感器获取图像的示意图；12.图3是依照本发明一实施例所示出的双传感器摄像系统的方块图；13.图4是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的流程图；14.图5是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的流程图；15.图6是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的范例；16.图7是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的流程图。17.符号说明18.10、20：图像传感器19.12：色彩信息20.14：亮度信息21.16：图像22.22：色彩传感器23.22a、62：色彩图像24.24：红外线传感器25.24a、64：红外线图像26.26：场景图像27.30：双传感器摄像系统28.32：色彩传感器29.34：红外线传感器30.36：存储装置31.38：处理器32.62a：人脸区域33.66：深度图34.r、g、b、i：像素35.s402～s406、s502～s510、s702～s710：步骤具体实施方式36.本发明实施例适用在独立配置有色彩传感器及红外线传感器的双传感器摄像系统。其中，由于色彩传感器及红外线传感器之间具有像差(parallex)，其所获取的色彩图像及红外线图像可用以计算摄像场景的深度图。针对色彩传感器所获取的色彩图像可能会因为摄像场景中的光线反射、阴影、高反差等因素的影响而有过曝或曝光不足的情况，本发明实施例利用红外线图像具有较佳的信噪比(signaltonoiseratio，snr)且包含较多的摄像场景的纹理细节的优点，使用红外线图像所提供的纹理信息来辅助缺陷区域的深度值的计算，从而可获得精确的摄像场景的深度图。37.图2是依照本发明一实施例所示出的使用图像传感器获取图像的示意图。请参照图2，本发明实施例的图像传感器20采用独立配置色彩传感器22与红外线(ir)传感器24的双传感器架构，利用色彩传感器22与红外线传感器24各自的特性，采用适于当前拍摄场景的多个曝光条件分别获取多张图像，并从中选择曝光条件适当的色彩图像22a与红外线图像24a。在一些实施例中，透过图像融合的方式，可使用红外线图像24a来补足色彩图像22a中缺乏的纹理细节，从而获得色彩及纹理细节均佳的场景图像26。而在一些实施例中，则可使用色彩图像22a与红外线图像24a来计算摄像场景的深度图，并利用红外线图像24a所提供的纹理细节来补偿色彩图像中缺乏的纹理细节，并辅助计算缺陷区域的深度值。38.图3是依照本发明一实施例所示出的双传感器摄像系统的方块图。请参照图3，本实施例的双传感器摄像系统30可配置于手机、平板计算机、笔记本电脑、导航装置、行车纪录器、数字相机、数字摄影机等电子装置中，用以提供摄像功能。双传感器摄像系统30包括至少一个色彩传感器32、至少一个红外线传感器34、存储装置36及处理器38，其功能分述如下：39.色彩传感器32例如包括电荷耦合器件(chargecoupleddevice，ccd)、互补金属氧化物半导体(complementarymetal-oxidesemiconductor，cmos)器件或其他种类的感光器件，而可感测光线强度以产生摄像场景的图像。色彩传感器32例如是红绿蓝(rgb)图像传感器，其中包括红(r)、绿(g)、蓝(b)颜色像素，用以获取摄像场景中的红光、绿光、蓝光等色彩信息，并将这些色彩信息合成以生成摄像场景的色彩图像。40.红外线传感器34例如包括ccd、cmos器件或其他种类的感光器件，其经由调整感光器件的波长感测范围，而能够感测红外光。红外线传感器34例如是以上述感光器件作为像素来获取摄像场景中的红外光信息，并将这些红外光信息合成以生成摄像场景的红外线图像。41.存储装置36例如是任意型式的固定式或可移动式随机存取存储器(randomaccessmemory，ram)、只读存储器(read-onlymemory，rom)、闪存(flashmemory)、硬盘或类似器件或上述器件的组合，而用以存储可由处理器38执行的计算机程序。在一些实施例中，存储装置36例如还可存储由色彩传感器32所获取的色彩图像及红外线传感器34所获取的红外线图像。42.处理器38例如是中央处理器(centralprocessingunit，cpu)，或是其他可编程的一般用途或特殊用途的微处理器(microprocessor)、微控制器(microcontroller)、数字信号处理器(digitalsignalprocessor，dsp)、可编程控制器、专用集成电路(applicationspecificintegratedcircuits，asic)、可编程逻辑器件(programmablelogicdevice，pld)或其他类似装置或这些装置的组合，本发明不在此限制。在本实施例中，处理器38可从存储装置36加载计算机程序，以执行本发明实施例的双传感器摄像系统的深度图计算方法。43.图4是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的流程图。请同时参照图3及图4，本实施例的方法适用于上述的双传感器摄像系统30，以下即搭配双传感器摄像系统30的各项器件说明本实施例的深度图计算方法的详细步骤。44.在步骤s402中，由处理器38控制色彩传感器32及红外线传感器34采用适用于所识别的摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像。45.在一些实施例中，处理器38例如是以标准曝光条件中的曝光时间为基准，控制色彩传感器32及红外线传感器34获取曝光时间较短或较长的色彩图像，这些色彩图像彼此的曝光时间的差例如为介于-3至3的曝光值(exposurevalue，ev)中的任意值，在此不设限。举例来说，若a图像比b图像亮一倍，则可将b图像的ev加1，以此类推，曝光值可以有小数(例如 0.3ev)，在此不设限。46.在一些实施例中，处理器38例如是控制色彩传感器32及红外线传感器34中的至少一者采用标准曝光条件来获取摄像场景的至少一张标准图像，并使用这些标准图像来识别摄像场景。所述标准曝光条件例如包括采用既有测光技术所决定的光圈、快门、感亮度等参数，而处理器38则根据在此曝光条件下所获取的图像的色调(hue)、明度(value)、彩度(chroma)、白平衡等图像参数的强弱或分布来识别摄像场景，包括摄像场景的位置(室内或室外)、光源(高光源或低光源)、反差(高反差或低反差)、摄像物的种类(物品或人像)或状态(动态或静态)等。在其他实施例中，处理器38亦可采用定位方式来识别摄像场景或是直接接收使用者操作来设定摄像场景，在此不设限。47.在步骤s404中，由处理器38从多张色彩图像及多张红外线图像中适应性选择出彼此可对比的色彩图像及红外线图像的组合。在一些实施例中，处理器38例如会根据各张色彩图像的颜色细节和各张红外线图像的纹理细节来选择彼此可对比的色彩图像及红外线图像的组合。在一些实施例中，处理器38则会以色彩图像或红外线图像作为基准，来比较各张色彩图像和红外线图像的图像直方图，以确定彼此可对比的色彩图像及红外线图像的组合。48.在步骤s406中，由处理器38使用所选择的述色彩图像及红外线图像计算摄像场景的深度图。在一些实施例中，处理器38例如会获取所选择的色彩图像及红外线图像中特征强健的多个特征点，并根据色彩图像及红外线图像中彼此相对应的特征点的位置，计算摄像场景的深度图。49.通过上述方法，双传感器摄像系统30可选择出颜色细节较佳的色彩图像及纹理细节较佳的红外线图像来计算摄像场景的深度图，并利用红外线图像来补偿或取代色彩图像中所缺乏的纹理细节来计算深度值，因此可精确地算出摄像场景的深度图。50.在一些实施例中，处理器38例如会先根据各张色彩图像的颜色细节，选择其中一张色彩图像作为基准图像，接着识别基准图像中缺乏纹理细节的至少一个缺陷区域，然后再根据各张红外线图像中对应于这些缺陷区域的图像的纹理细节，选择其中一张红外线图像作为可与基准图像彼此对比的图像，一同用于深度图的计算。51.详细而言，基于色彩传感器32每次只能采用单一曝光条件获取色彩图像，在摄像场景为低光源或高反差的情况下，每一张色彩图像都可能会出现高噪声、过曝或曝光不足的区域(即上述的缺陷区域)。此时，处理器38即可利用红外线传感器34高光敏感度的特性，针对上述的缺陷区域，从先前获取的多张红外线图像中，选择具备该缺陷区域的纹理细节的红外线图像，而可用以补足色彩图像中缺陷区域的纹理细节。52.图5是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的流程图。请同时参照图3及图5，本实施例的方法适用于上述的双传感器摄像系统30，以下即搭配双传感器摄像系统30的各项器件说明本实施例的深度图计算方法的详细步骤。53.在步骤s502中，由处理器38从多张色彩图像中选择能显露出摄像场景的颜色细节的色彩图像作为基准图像。54.在一些实施例中，处理器38例如是根据各张色彩图像的颜色细节，从多张色彩图像中选择颜色细节最多的色彩图像作为基准图像。所述颜色细节的多寡例如可由色彩图像中过曝或曝光不足区域的大小来决定。55.详细而言，过曝区域像素的颜色趋近白色、曝光不足区域像素的颜色趋近黑色，因此这些区域的颜色细节会较少。因此，若色彩图像中包括较多的这类区域，代表其颜色细节较少，处理器38据此即可判断出哪一张色彩图像的颜色细节最多，而用以作为基准图像。在其他实施例中，处理器38也可依据各张色彩图像的对比度、饱和度或其他图像参数来分辨其颜色细节的多寡，在此不设限。56.在步骤s504中，由处理器38识别基准图像中缺乏纹理细节的至少一个缺陷区域。所述的缺陷区域例如是上述的过曝区域或曝光不足区域，或是在低光源下所获取的具较高噪声的区域，在此不设限。57.在步骤s506中，由处理器38根据各张红外线图像中对应于所述缺陷区域的图像的纹理细节，选择其中一张红外线图像，而用以作为与基准图像彼此对比的组合。58.在一些实施例中，处理器38例如是选择对应于所述缺陷区域的图像的纹理细节最多的红外线图像作为与基准图像彼此对比的组合。其中，处理器38例如是依据各张红外线图像的对比度或其他图像参数来分辨其纹理细节的多寡，在此不设限。59.在步骤s508中，由处理器38执行特征获取算法，从基准图像及所选择的红外线图像中获取特征强健的多个特征点。60.在一些实施例中，所述的特征获取算法例如是哈里斯边角检测(harriscornerdetector)、海森仿射区域检测(hessian-affineregiondetector)、最大稳定极值区域(maximallystableextremalregions，mser)、尺度不变特征变换(scaleinvariantfeaturetransform，sift)或加速稳健特征(speededuprobustfeatures，surf)，所述特征点例如是图像中的边缘或角落像素，在此不设限。在一些实施例中，处理器38还可根据所获取特征之间的对应关系将色彩图像及红外线图像对准。61.在步骤s510中，由处理器38根据基准图像及红外线图像中彼此相对应的特征点的位置，计算摄像场景的深度图。62.在一些实施例中，处理器38例如是直接计算基准图像及红外线图像中相对应的各个像素的像差，并依据双传感器摄像系统30的色彩传感器及红外线传感器34拍摄图像时的焦距、两个传感器的间距以及各个像素的像差，估测各个像素的深度。其中，处理器38例如是依据各个像素在基准图像及红外线图像中的位置，计算各个像素在基准图像及红外线图像之间的位移，以作为像差。63.详细而言，双传感器摄像系统30所拍摄的基准图像及红外线图像中相对应像素的像差是由焦距(决定图像大小)、传感器间距(决定图像重迭范围)以及该像素对应对象与传感器间的距离(即深度值，决定图像中对象的大小)来决定，其中存在着某种比例关系，而记载此比例关系的关系表可通过在双传感器摄像系统30出厂前预先测试而得。因此，当用户使用双传感器摄像系统30拍摄图像，而处理器38在计算图像中各个像素的像差时，即可利用预先建立的关系表查询而获得各个像素的深度值。64.通过上述方法，双传感器摄像系统30即可利用色彩图像及红外线图像中相对应像素的位置关系来计算各个像素的深度值，从而获得精确的摄像场景的深度图。65.举例来说，图6是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的范例。请参照图6，本实施例是通过上述图5的深度图计算方法，选择出颜色细节最多的色彩图像62作为基准图像，并针对色彩图像62中缺乏纹理细节的缺陷区域(例如人脸区域62a)，从采用不同曝光条件获取的多张红外线图像中选择出该缺陷区域的纹理细节最多的红外线图像64，用以与色彩图像62进行对比，从而计算出精确的摄像场景的深度图66。66.在一些实施例中，处理器38例如会在用户启动实时显示(liveview)模式时，控制色彩传感器32拍摄多张色彩图像，以执行自动对焦(autofocus)，因此获得所拍摄物体的焦距，并根据此焦距来决定可显露出物体颜色细节最多的色彩图像。67.在实时显示模式中，处理器38例如会以此可显露出物体颜色细节最多的色彩图像映射的曝光时间为基准，控制色彩传感器32以较此曝光时间为长或短的多个曝光时间拍摄多张色彩图像，并用以监测摄像场景的环境变化。类似地，处理器38也可以可显露出物体纹理细节最多的红外线图像映射的曝光时间为基准，控制红外线传感器34以较此曝光时间为长或短的多个曝光时间拍摄多张红外线图像。最后，处理器38可从这些由色彩传感器32及红外线传感器34所拍摄的图像中，选择彼此最能够对比的色彩图像及红外线图像的组合，而用以计算摄像场景的深度图。68.举例来说，在一些实施例中，处理器38会计算这些色彩图像及红外线图像中每张图像的图像直方图，并选择以色彩图像或红外线图像作为基准，来比较各张色彩图像和红外线图像的图像直方图，以确定彼此最能够对比的色彩图像及红外线图像的组合，并用以计算摄像场景的深度图。69.详细而言，在一些实施例中，处理器38例如是选择色彩图像其中之一(例如是选择可显露出物体颜色细节最多的色彩图像)作为基准图像，并选择红外线图像其中之一(例如是选择可显露出物体纹理细节最多的色彩图像)来与基准图像比较，而依据这些图像的图像直方图判断所选择的红外线图像的亮度是否高于基准图像的亮度。其中，若判断结果为是，则处理器38会从红外线传感器34预先获取的多张红外线图像中选择曝光时间较所选择的红外线图像的曝光时间短的红外线图像，或控制红外线传感器34采用较所选择的红外线图像的曝光时间短的曝光时间获取红外线图像，用以作为与基准图像彼此对比的组合。反之，若判断结果为否，则处理器38会从红外线传感器34预先获取的多张红外线图像中选择曝光时间较所选择的红外线图像的曝光时间长的红外线图像，或控制红外线传感器34采用较所选择的红外线图像的曝光时间长的曝光时间获取红外线图像，用以作为与基准图像彼此对比的组合。70.另一方面，在一些实施例中，处理器38例如是选择红外线图像其中之一(例如是选择可显露出物体纹理细节最多的色彩图像)作为基准图像，并选择色彩图像其中之一(例如是选择可显露出物体颜色细节最多的色彩图像)来与基准图像比较，依据这些图像的图像直方图，判断所选择的色彩图像的亮度是否高于基准图像的亮度。其中，若判断结果为是，则处理器38会从色彩传感器32预先获取的多张色彩图像中选择曝光时间较所选择的色彩图像的曝光时间短的色彩图像，或控制色彩传感器32采用较所选择的色彩图像的曝光时间短的曝光时间获取色彩图像，用以作为与基准图像彼此对比的组合。反之，若判断结果为否，则处理器38会从色彩传感器32预先获取的多张色彩图像中选择曝光时间较所选择的色彩图像的曝光时间长的色彩图像，或控制色彩传感器32采用较所选择的色彩图像的曝光时间长的曝光时间获取色彩图像，用以作为与基准图像彼此对比的组合。71.通过上述方法，双传感器摄像系统30即可从多张色彩图像及红外线图像中适应性选择出彼此最能够对比的色彩图像及红外线图像的组合，并用以算出精确的摄像场景的深度图。72.在一些实施例中，即便是选择彼此最能够对比的色彩图像及红外线图像的组合来计算摄像场景的深度图，所选择的色彩图像仍有可能会因为反射或色彩传感器32的动态范围不足等因素，而具有许多缺乏颜色及/或纹理细节不足的缺陷区域，此即所谓的遮盖(occlusion)。在此情况下，可使用由红外线图像提供的纹理细节作为参考依据，而从遮盖周围像素的深度值来估测该遮盖的深度值。73.详细而言，图7是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的流程图。请同时参照图3及图7，本实施例的方法适用于上述的双传感器摄像系统30，并额外在双传感器摄像系统30中配置如红外线发光二极管(lightemittingdiode，led)等红外线投射器(irprojector)(未示出)，用以加强所获取的红外线图像的纹理细节。以下即搭配双传感器摄像系统30的各项器件说明本实施例的深度图计算方法的详细步骤。74.在步骤s702中，由处理器38检测所选择的色彩图像中缺乏颜色细节或纹理细节的至少一个遮盖，并在步骤s704中，判断是否检测到遮盖。75.若在步骤s704中有检测到遮盖，则在步骤s706中，处理器38会控制红外线投射器投射红外线至摄像场景，并控制红外线传感器34获取摄像场景的红外线图像。其中，通过投射红外线至摄像场景，可增强红外线传感器34所获取的摄像场景中暗部区域的纹理细节，而用以辅助后续深度图的计算。76.在步骤s708中，处理器38会根据红外线传感器34所获取的红外线图像所提供的各个遮盖周围的纹理细节，由各个遮盖周围的多个像素的深度值决定遮盖的深度值。详细而言，由于红外线图像可提供遮盖周围像素的精确的纹理细节，因此可利用与遮盖具有同质性(homogeneity)的周围像素的深度值，来填补深度图中空洞的深度值，使得深度图中的空洞得以经由红外线图像的辅助而填补正确的深度值。77.另一方面，若在步骤s704中没有检测到遮盖，则在步骤s710中，处理器38会根据基准图像及红外线图像中彼此相对应的特征点的位置，计算摄像场景的深度图。此步骤与前述实施例的步骤s510相同或相似，故其详细内容在此不再赘述。78.通过上述方法，双传感器摄像系统30可有效地填补所计算的深度图中的空洞，从而获得完整且精确的摄像场景的深度图。79.综上所述，本发明的双传感器摄像系统及其深度图计算方法通过独立配置色彩传感器与红外线传感器，并采用适于当前拍摄场景的多个曝光条件分别获取多张图像，从中选择彼此可对比的色彩图像及红外线图像来进行深度图的计算，因此可精确地算出各种摄像场景的深度图。而通过使用红外线图像所提供的纹理细节来辅助计算深度图中空洞的深度值，因此可生成完整的摄像场景的深度图。80.然本公开已以实施例揭示如上，然其并非用以限定本公开，任何本领域技术人员，在不脱离本公开的精神和范围内，当可作些许的改动与润饰，因此本公开的保护范围当视后附的权利要求及其均等范围所界定的为准。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
