双传感器摄像系统及其摄像方法与流程

1.本公开涉及一种摄像系统及方法，尤其涉及一种双传感器摄像系统及其摄像方法。


背景技术：

2.相机的曝光条件(包括光圈、快门、感亮度)会影响所拍摄图像的质量，因此许多相机在拍摄图像的过程中会自动调整曝光条件，以获得清晰且明亮的图像。然而，在低光源或是背光等高反差的场景中，相机调整曝光条件的结果可能会产生噪声过高或是部分区域过曝的结果，无法兼顾所有区域的图像质量。
3.对此，目前技术有采用一种新的图像传感器架构，其是利用红外线(ir)传感器高光敏感度的特性，在图像传感器的色彩像素中穿插配置ir像素，以辅助亮度检测。举例来说，图1是现有使用图像传感器获取图像的示意图。请参照图1，现有的图像传感器10中除了配置有红(r)、绿(g)、蓝(b)等颜色像素外，还穿插配置有红外线(i)像素。因此，图像传感器10能够将r、g、b颜色像素所获取的色彩信息12与i像素所获取的亮度信息14结合，而获得色彩及亮度适中的图像16。
4.然而，在上述单一图像传感器的架构下，图像传感器中每个像素的曝光条件相同，因此只能选择较适用于颜色像素或红外线像素的曝光条件来获取图像，结果仍无法有效地利用两种像素的特性来改善所获取图像的图像质量。


技术实现要素：

5.本发明提供一种双传感器摄像系统及其摄像方法，利用独立配置的色彩及红外线传感器分别获取不同曝光条件下的多张图像，并选择曝光条件适当的色彩及红外线图像融合为结果图像，可补足色彩图像的纹理细节，提高所摄图像的图像质量。
6.本发明的双传感器摄像系统包括至少一个色彩传感器、至少一个红外线传感器、存储装置以及耦接所述色彩传感器、红外光传感器及存储装置的处理器。所述处理器经配置以加载并执行存储在存储装置中的计算机程序以：识别双传感器摄像系统的摄像场景；控制色彩传感器及红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；适应性选择能显露出摄像场景的细节的色彩图像及红外线图像的组合；以及融合所选择的色彩图像及红外线图像，以生成具备摄像场景的细节的场景图像。
7.本发明的双传感器摄像系统的摄像方法，适用于包括至少一个色彩传感器、至少一个红外线传感器及处理器的双传感器摄像系统。所述方法包括下列步骤：识别双传感器摄像系统的摄像场景；控制色彩传感器及红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；适应性选择能显露出摄像场景的细节的色彩图像及红外线图像的组合；以及融合所选择的色彩图像及红外线图像，以生成具备摄像场景的细节的场景图像。
8.基于上述，本发明的双传感器摄像系统及其摄像方法，在独立配置的色彩传感器及红外线传感器上采用适于当前摄像场景的不同曝光条件获取多张图像，并从中选择出能够显露出摄像场景细节的色彩图像及红外线图像的组合以进行融合，藉此可生成具备摄像场景细节的场景图像，提高所摄图像的图像质量。
9.为让本公开能还明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
10.图1是现有使用图像传感器获取图像的示意图；
11.图2是依照本发明一实施例所示出的使用图像传感器获取图像的示意图；
12.图3是依照本发明一实施例所示出的双传感器摄像系统的方块图；
13.图4是依照本发明一实施例所示出的双传感器摄像系统的摄像方法的流程图；
14.图5是依照本发明一实施例所示出的双传感器摄像系统的摄像方法的流程图；
15.图6是依照本发明一实施例所示出的双传感器摄像系统的摄像方法的范例；
16.图7是依照本发明一实施例所示出的双传感器摄像系统的摄像方法的流程图；
17.图8是依照本发明一实施例所示出的双传感器摄像系统的摄像方法的范例；
18.图9是依照本发明一实施例所示出的双传感器摄像系统的摄像方法的流程图。
19.符号说明
20.10、20：图像传感器
21.12：色彩信息
22.14：亮度信息
23.16：图像
24.22：色彩传感器
25.22a、62、82：色彩图像
26.24：红外线传感器
27.24a、64、84：红外线图像
28.26、66、86：场景图像
29.30：双传感器摄像系统
30.32：色彩传感器
31.34：红外线传感器
32.36：存储装置
33.38：处理器
34.62a：人脸区域
35.82a、84a、86a：可乐罐区域
36.r、g、b、i：像素
37.s402～s408、s502～s510、s702～s708、s902～s914：步骤
具体实施方式
38.图2是依照本发明一实施例所示出的使用图像传感器获取图像的示意图。请参照图2，本发明实施例的图像传感器20采用独立配置色彩传感器22与红外线(ir)传感器24的
双传感器架构，利用色彩传感器22与红外线传感器24各自的特性，采用适于当前拍摄场景的多个曝光条件分别获取多张图像，并从中选择曝光条件适当的色彩图像22a与红外线图像24a，透过图像融合的方式，使用红外线图像24a来补足色彩图像22a中缺乏的纹理细节，从而获得色彩及纹理细节均佳的场景图像26。
39.图3是依照本发明一实施例所示出的双传感器摄像系统的方块图。请参照图3，本实施例的双传感器摄像系统30可配置于手机、平板计算机、笔记本电脑、导航装置、行车纪录器、数字相机、数字摄影机等电子装置中，用以提供摄像功能。双传感器摄像系统30包括至少一个色彩传感器32、至少一个红外线传感器34、存储装置36及处理器38，其功能分述如下：
40.色彩传感器32例如包括电荷耦合器件(charge coupled device，ccd)、互补金属氧化物半导体(complementary metal-oxide semiconductor，cmos)器件或其他种类的感光器件，而可感测光线强度以产生摄像场景的图像。色彩传感器32例如是红绿蓝(rgb)图像传感器，其中包括红(r)、绿(g)、蓝(b)颜色像素，用以获取摄像场景中的红光、绿光、蓝光等色彩信息，并将这些色彩信息合成以生成摄像场景的色彩图像。
41.红外线传感器34例如包括ccd、cmos器件或其他种类的感光器件，其经由调整感光器件的波长感测范围，而能够感测红外光。红外线传感器34例如是以上述感光器件作为像素来获取摄像场景中的红外光信息，并将这些红外光信息合成以生成摄像场景的红外线图像。
42.存储装置36例如是任意型式的固定式或可移动式随机存储器(random access memory，ram)、只读存储器(read-only memory，rom)、闪存(flash memory)、硬盘或类似装置或上述装置的组合，而用以存储可由处理器38执行的计算机程序。在一些实施例中，存储装置36例如还可存储由色彩传感器32所获取的色彩图像及红外线传感器34所获取的红外线图像。
43.处理器38例如是中央处理器(central processing unit，cpu)，或是其他可编程的一般用途或特殊用途的微处理器(microprocessor)、微控制器(microcontroller)、数字信号处理器(digital signal processor，dsp)、可程序化控制器、专用集成电路(application specific integrated circuit，asic)、可编程逻辑器件(programmable logic device，pld)或其他类似装置或这些装置的组合，本发明不在此限制。在本实施例中，处理器38可从存储装置36加载计算机程序，以执行本发明实施例的双传感器摄像系统的摄像方法。
44.图4是依照本发明一实施例所示出的双传感器摄像系统的摄像方法的流程图。请同时参照图3及图4，本实施例的方法适用于上述的双传感器摄像系统30，以下即搭配双传感器摄像系统30的各项器件说明本实施例的摄像方法的详细步骤。
45.在步骤s402中，由处理器38识别双传感器摄像系统30的摄像场景。在一些实施例中，处理器38例如是控制色彩传感器32及红外线传感器34中的至少一者采用标准曝光条件来获取摄像场景的至少一张标准图像，并使用这些标准图像来识别摄像场景。所述标准曝光条件例如包括采用既有测光技术所决定的光圈、快门、感亮度等参数，而处理器38则根据在此曝光条件下所获取的图像的色调(hue)、明度(value)、彩度(chroma)、白平衡等图像参数的强弱或分布来识别摄像场景，包括摄像场景的位置(室内或室外)、光源(高光源或低光
源)、反差(高反差或低反差)、摄像物的种类(物品或人像)或状态(动态或静态)等。在其他实施例中，处理器38亦可采用定位方式来识别摄像场景或是直接接收使用者操作来设定摄像场景，在此不设限。
46.在步骤s404中，由处理器38控制色彩传感器32及红外线传感器34采用适用于所识别的摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像。在一些实施例中，处理器38例如是以标准曝光条件中的曝光时间为基准，控制色彩传感器32及红外线传感器34获取曝光时间较短或较长的色彩图像，这些色彩图像彼此的曝光时间的差例如为介于-3至3的曝光值(exposure value，ev)中的任意值，在此不设限。举例来说，若a图像比b图像亮一倍，则可将b图像的ev加1，以此类推，曝光值可以有小数(例如 0.3ev)，在此不设限。
47.在步骤s406中，由处理器38适应性选择能显露出摄像场景的细节的色彩图像及红外线图像的组合。在一些实施例中，处理器38例如会控制色彩传感器32以适当的曝光时间获取色彩图像，使得摄像场景的部分颜色细节可被保留，并确保之后融合的图像可显露出摄像场景的颜色细节。所述适当的曝光时间例如是比会造成所获取图像过曝的曝光时间还短一预设时间长度的曝光时间，所述预设时间长度例如为0.01至1秒中的任意值，在此不设限。
48.在一些实施例中，处理器38例如会先根据各张色彩图像的颜色细节，选择其中一张色彩图像作为基准图像，接着识别基准图像中缺乏纹理细节的至少一个缺陷区域，然后再根据各张红外线图像中对应于这些缺陷区域的图像的纹理细节，选择其中一张红外线图像作为与基准图像融合的图像。
49.详细而言，基于色彩传感器32每次只能采用单一曝光条件获取色彩图像，在摄像场景为低光源或高反差的情况下，每一张色彩图像都可能会出现高噪声、过曝或曝光不足的区域(即上述的缺陷区域)。此时，处理器38即可利用红外线传感器34高光敏感度的特性，针对上述的缺陷区域，从先前获取的多张红外线图像中，选择具备该缺陷区域的纹理细节的红外线图像，而可用以补足色彩图像中缺陷区域的纹理细节。
50.在步骤s408中，由处理器38融合所选择的色彩图像及红外线图像，以生成具备摄像场景的细节的场景图像。在一些实施例中，处理器38例如是采用计算所选择色彩图像及红外线图像整张图像中对应像素的像素值的平均或加权平均的方式，或是采用其他图像融合方式，将所选择的色彩图像及红外线图像的整张图像直接融合。在一些实施例中，处理器38也可仅针对色彩图像中的缺陷区域，而使用红外线图像中对应于该缺陷区域的图像来填补或取代色彩图像中缺陷区域的图像，在此不设限。
51.通过上述方法，双传感器摄像系统30不仅可选择出颜色细节较佳的色彩图像，还可针对此色彩图像中纹理细节不足的区域，使用红外线图像中对应区域的图像来填补或取代，最终生成可包括摄像场景的所有细节(颜色及纹理细节)的图像，而提高所摄图像的图像质量。
52.图5是依照本发明一实施例所示出的双传感器摄像系统的摄像方法的流程图。请同时参照图3及图5，本实施例进一步说明上述针对整张图像进行融合的实施例的详细实施方式。本实施例的方法适用于上述的双传感器摄像系统30，以下即搭配双传感器摄像系统30的各项器件说明本实施例的摄像方法的详细步骤。
53.在步骤s502中，由处理器38根据各张色彩图像的颜色细节，选择其中一张色彩图
像作为基准图像。在一实施例中，处理器38例如是选择颜色细节最多的色彩图像作为基准图像。所述颜色细节的多寡例如可由色彩图像中过曝或曝光不足区域的大小来决定。详细而言，过曝区域像素的颜色趋近白色、曝光不足区域像素的颜色趋近黑色，因此这些区域的颜色细节会较少。因此，若色彩图像中包括较多的这类区域，代表其颜色细节较少，处理器38据此即可判断出哪一张色彩图像的颜色细节最多，而用以作为基准图像。在其他实施例中，处理器38也可依据各张色彩图像的对比度、饱和度或其他图像参数来分辨其颜色细节的多寡，在此不设限。
54.在步骤s504中，由处理器38识别基准图像中缺乏纹理细节的至少一个缺陷区域。所述的缺陷区域例如是上述的过曝区域或曝光不足区域，或是在低光源下所获取的具较高噪声的区域，在此不设限。
55.在步骤s506中，由处理器38根据各张红外线图像中对应于所述缺陷区域的图像的纹理细节，选择其中一张红外线图像。在一实施例中，处理器38例如是选择对应于所述缺陷区域的图像的纹理细节最多的红外线图像作为与基准图像融合的图像。其中，处理器38例如是依据各张红外线图像的对比度或其他图像参数来分辨其纹理细节的多寡，在此不设限。
56.在步骤s508中，由处理器38对所选择的色彩图像及红外线图像执行特征获取，以获取色彩图像及红外线图像中的多个特征，并根据所获取特征之间的对应关系将色彩图像及红外线图像对齐。需说明的是，上述的特征获取及匹配的方式仅为举例说明，在其他实施例中，处理器38亦可采用其他种类的图像对齐方式对色彩图像及红外线图像进行对齐，在此不设限。
57.在步骤s510，由处理器38对经对齐的红外线图像与基准图像进行图像融合，以生成补足所述缺陷区域的纹理细节的场景图像。
58.在一些实施例中，处理器38例如是计算色彩图像及红外线图像整张图像中对应像素的像素值的平均或加权平均的方式来对红外线图像与基准图像进行图像融合。
59.在一些实施例中，处理器38例如是将基准图像的色彩空间由rgb色彩空间转换至yuv色彩空间，并将转换后基准图像的亮度分量以红外线图像的亮度分量取代，然后将取代后的基准图像的色彩空间转换回rgb色彩空间，以生成场景图像。在其他实施例中，处理器38亦可将基准图像的色彩空间转换至ycbcr、cmyk或其他种类的色彩空间，并在取代亮度分量之后再转换回原本的色彩空间，本实施例不限定色彩空间的转换方式。
60.详细而言，由于红外线图像的亮度分量具有较佳的信噪比(signal-to-noise ratio，snr)，且包括较多的摄像场景的纹理细节，因此以红外线图像的亮度分量直接取代基准图像的亮度分量，可大幅增加基准图像中的纹理细节。
61.通过上述方法，双传感器摄像系统30即可利用红外线图像来增加色彩图像的纹理细节，特别是针对纹理细节不足的区域，从而提高所摄图像的图像质量。
62.举例来说，图6是依照本发明一实施例所示出的双传感器摄像系统的摄像方法的范例。请参照图6，本实施例是通过上述图5的摄像方法，选择出颜色细节最多的色彩图像62作为基准图像，并针对色彩图像62中缺乏纹理细节的缺陷区域(例如人脸区域62a)，从采用不同曝光条件获取的多张红外线图像中选择出该缺陷区域的纹理细节最多的红外线图像64，用以与色彩图像62进行图像融合，从而获得同时具备较多颜色细节及纹理细节的场景
图像66。
63.图7是依照本发明一实施例所示出的双传感器摄像系统的摄像方法的流程图。请同时参照图3及图7，本实施例进一步说明上述针对缺陷区域进行融合的实施例的详细实施方式。本实施例的方法适用于上述的双传感器摄像系统30，以下即搭配双传感器摄像系统30的各项器件说明本实施例的摄像方法的详细步骤。
64.在步骤s702中，由处理器38根据各张色彩图像的颜色细节，选择其中一张色彩图像作为基准图像。在步骤s704中，由处理器38识别基准图像中缺乏纹理细节的至少一个缺陷区域。在步骤s706中，由处理器38根据各张红外线图像中对应于所述缺陷区域的图像的纹理细节，选择其中一张红外线图像。上述步骤s702～s706的实施方式分别与前述实施例的步骤s502～s506相同或相似，故其细节在此不再赘述。
65.与前述实施例不同的是，在步骤s708中，处理器38是将基准图像中的所述缺陷区域的图像的亮度分量以红外线图像中对应于所述缺陷区域的亮度分量取代，以生成补足所述缺陷区域的纹理细节的场景图像。
66.在一些实施例中，处理器38例如是将基准图像的色彩空间由rgb色彩空间转换至yuv色彩空间，并将转换后基准图像的缺陷区域的图像的亮度分量以红外线图像的对应于所述缺陷区域的亮度分量取代，然后将取代后的基准图像的色彩空间转换回rgb色彩空间，以生成场景图像。在其他实施例中，处理器38亦可将基准图像的色彩空间转换至ycbcr、cmyk或其他种类的色彩空间，并在取代亮度分量之后再转换回原本的色彩空间，本实施例不限定色彩空间的转换方式。
67.通过上述方法，双传感器摄像系统30即可利用红外线图像来补足色彩图像中纹理细节不足的区域，从而提高所摄图像的图像质量。
68.举例来说，图8是依照本发明一实施例所示出的双传感器摄像系统的摄像方法的范例。请参照图8，本实施例是通过上述图7的摄像方法，选择出颜色细节最多的色彩图像82作为基准图像，并针对色彩图像82中缺乏纹理细节的缺陷区域(例如可乐罐区域82a)，从采用不同曝光条件获取的多张红外线图像中选择出该缺陷区域的纹理细节最多的红外线图像84，并将可乐罐区域82a的亮度分量以红外线图像84中对应的可乐罐区域84a的亮度分量取代，从而获得可乐罐区域86a具备较多纹理细节的场景图像86。
69.需说明的是，在一些实施例中，色彩图像中某些缺陷区域的纹理细节可能会因特定因素无法用红外线图像来增强或补足，例如色彩传感器32与红外线传感器34之间的视差(parallax)会造成红外线传感器34被遮蔽。在此情况下，本发明实施例提供一种替代方式来增加缺陷区域的纹理细节，以最大程度地提高所摄图像的图像质量。
70.图9是依照本发明一实施例所示出的双传感器摄像系统的摄像方法的流程图。请同时参照图3及图9，本实施例的方法适用于上述的双传感器摄像系统30，以下即搭配双传感器摄像系统30的各项器件说明本实施例的摄像方法的详细步骤。
71.在步骤s902中，由处理器38控制色彩传感器32及红外线传感器34中的至少一者采用标准曝光条件来获取摄像场景的至少一张标准图像，并使用这些标准图像来识别摄像场景。所述标准曝光条件的定义以及摄像场景的识别方式如前述实施例所述，在此不再赘述。
72.在步骤s904中，由处理器38控制色彩传感器32及红外线传感器34采用适用于所识别的摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像。在步骤s906
中，由处理器38根据各张色彩图像的颜色细节，选择其中一张色彩图像作为基准图像。在步骤s908中，由处理器38识别基准图像中缺乏纹理细节的至少一个缺陷区域。上述步骤s904～s908的实施方式分别与前述实施例的步骤s404、s702～s704相同或相似，故其细节在此不再赘述。
73.与前述实施例不同的是，在步骤s910中，处理器38会判断前述的多张红外线图像中是否有红外线图像包括基准图像中缺陷区域的纹理细节。其中，处理器38例如会检视各张红外线图像中对应于所述缺陷区域的区域是否有图像，以判断红外线传感器34是否被遮蔽，并判断是否可用红外线图像来填补基准图像中缺陷区域的纹理细节。
74.若有红外线图像包括此缺陷区域的纹理细节，则在步骤s912中，处理器38会将基准图像中的所述缺陷区域的图像的亮度分量以红外线图像中对应于所述缺陷区域的亮度分量取代，以生成补足所述缺陷区域的纹理细节的场景图像。此步骤s912的实施方式与前述实施例的步骤s708相同或相似，故其细节在此不再赘述。
75.若没有红外线图像包括此缺陷区域的纹理细节，则在步骤s914中，处理器38会控制色彩传感器32采用较基准图像的曝光时间长或短的多个曝光时获取多张色彩图像并执行高动态范围(high dynamic range，hdr)处理，以生成具备缺陷区域的纹理细节的场景图像。
76.在一些实施例中，处理器38例如会根据其所选择的基准图像的曝光时间，使用较此曝光时间为短的曝光时间以及较此曝光时间为长的曝光时间，控制色彩传感器32分别获取曝光时间较短的色彩图像以及曝光时间较长的色彩图像，而结合使用原曝光时间获取的色彩图像来实施hdr处理。即，从三张色彩图像中选择具备较佳颜色及纹理细节的区域来补足其他色彩图像中欠缺细节的区域，从而获得亮部及暗部细节均佳的hdr图像作为最终输出的场景图像。
77.在一些实施例中，处理器38例如会针对hdr图像执行二维空间降噪(2d spatial denoise)等降噪(noise reduction，nr)处理，以减少hdr图像中的噪声，提高最终输出图像的图像质量。
78.在一些实施例中，处理器38可结合上述步骤s912及s914的处理方式，针对基准图像中的多个缺陷区域个别选用适当的处理方式，以最大程度地增加基准图像的细节，从而提高所摄图像的图像质量。
79.综上所述，本发明的双传感器摄像系统及其摄像方法通过独立配置色彩传感器与红外线传感器，并采用适于当前拍摄场景的多个曝光条件分别获取多张图像，从中选择曝光条件适当的色彩图像及红外线图像来进行融合，以使用红外线图像填补或增加色彩图像中缺乏的纹理细节，因此可生成具备摄像场景细节的场景图像，从而提高所摄图像的图像质量。
80.然本公开已以实施例揭示如上，然其并非用以限定本公开，任何本领域技术人员，在不脱离本公开的精神和范围内，当可作些许的更改与润饰，因此本公开的保护范围当视后附的权利要求及其均等范围所界定的为准。