双传感器摄像系统及其校准方法与流程

1.本公开涉及一种摄像系统及方法，尤其涉及一种双传感器摄像系统及其校准方法。


背景技术：

2.相机的曝光条件(包括光圈、快门、感亮度)会影响所拍摄图像的质量，因此许多相机在拍摄图像的过程中会自动调整曝光条件，以获得清晰且明亮的图像。然而，在低光源或是背光等高反差的场景中，相机调整曝光条件的结果可能会产生噪声过高或是部分区域过曝的结果，无法兼顾所有区域的图像质量。
3.对此，目前技术有采用一种新的图像传感器架构，其是利用红外线(ir)传感器高光敏感度的特性，在图像传感器的色彩像素中穿插配置ir像素，以辅助亮度检测。举例来说，图1是现有使用图像传感器获取图像的示意图。请参照图1，现有的图像传感器10中除了配置有红(r)、绿(g)、蓝(b)等颜色像素外，还穿插配置有红外线(i)像素。因此，图像传感器10能够将r、g、b颜色像素所获取的色彩信息12与i像素所获取的亮度信息14结合，而获得色彩及亮度适中的图像16。
4.然而，在上述单一图像传感器的架构下，图像传感器中每个像素的曝光条件相同，因此只能选择较适用于颜色像素或红外线像素的曝光条件来获取图像，结果仍无法有效地利用两种像素的特性来改善所获取图像的图像质量。


技术实现要素：

5.本发明提供一种双传感器摄像系统及其校准方法，利用独立配置的色彩及红外线传感器分别获取不同拍摄条件下的多张图像，据以进行图像对准及亮度匹配，并应用于后续获取的图像，因此可提高所获取图像的图像质量。
6.本发明的双传感器摄像系统包括至少一个色彩传感器、至少一个红外线传感器、存储装置以及耦接所述色彩传感器、红外光传感器及存储装置的处理器。所述处理器经配置以加载并执行存储在存储装置中的计算机程序以：控制色彩传感器及红外线传感器采用多个拍摄条件分别获取一摄像场景的多张色彩图像及多张红外线图像；计算在各拍摄条件下获取的色彩图像的多个色彩图像参数以及在各拍摄条件下获取的红外线图像的多个红外线图像参数，用以计算色彩图像的亮度及红外线图像的亮度之间的差异；以及根据所计算的差异，决定适于色彩传感器及红外线传感器的曝光设定。
7.本发明的双传感器摄像系统的校准方法，适用于包括至少一个色彩传感器、至少一个红外线传感器及处理器的双传感器摄像系统。所述方法包括下列步骤：控制色彩传感器及红外线传感器采用多个拍摄条件分别获取一摄像场景的多张色彩图像及多张红外线图像；计算在各拍摄条件下获取的色彩图像的多个色彩图像参数以及在各拍摄条件下获取的红外线图像的多个红外线图像参数，用以计算色彩图像的亮度及红外线图像的亮度之间的差异；以及根据所计算的差异，决定适于色彩传感器及红外线传感器的曝光设定。
8.基于上述，本发明的双传感器摄像系统及其校准方法，在独立配置的色彩传感器及红外线传感器上采用不同拍摄条件获取多张图像，并根据这些图像中对应像素的位置关系和这些图像之间的亮度差异，决定适于色彩传感器及红外线传感器的曝光及对准设定，用以对后续获取的图像进行图像对准及亮度匹配，而可提高所摄图像的图像质量。
9.为让本公开能还明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
10.图1是现有使用图像传感器获取图像的示意图；
11.图2是依照本发明一实施例所示出的使用图像传感器获取图像的示意图；
12.图3是依照本发明一实施例所示出的双传感器摄像系统的方块图；
13.图4是依照本发明一实施例所示出的双传感器摄像系统的校准方法的流程图；
14.图5是依照本发明一实施例所示出的双传感器摄像系统的对准校准方法的流程图；
15.图6是依照本发明一实施例所示出的双传感器摄像系统的亮度匹配校准方法的流程图；
16.图7是依照本发明一实施例所示出的双传感器摄像系统的校准方法的流程图。
17.符号说明
18.10、20：图像传感器
19.12：色彩信息
20.14：亮度信息
21.16：图像
22.22：色彩传感器
23.22a：色彩图像
24.24：红外线传感器
25.24a：红外线图像
26.26：场景图像
27.30：双传感器摄像系统
28.32：色彩传感器
29.34：红外线传感器
30.36：存储装置
31.38：处理器
32.r、g、b、i：像素
33.s402～s406、s502～s506、s602～s606、s702～s706：步骤
具体实施方式
34.图2是依照本发明一实施例所示出的使用图像传感器获取图像的示意图。请参照图2，本发明实施例的图像传感器20采用独立配置色彩传感器22与红外线(ir)传感器24的双传感器架构，利用色彩传感器22与红外线传感器24各自的特性，采用适于当前摄像场景的多个曝光条件分别获取多张图像，并从中选择曝光条件适当的色彩图像22a与红外线图
像24a，通过图像融合的方式，使用红外线图像24a来补足色彩图像22a中缺乏的纹理细节，从而获得色彩及纹理细节均佳的场景图像26。
35.图3是依照本发明一实施例所示出的双传感器摄像系统的方块图。请参照图3，本实施例的双传感器摄像系统30可配置于手机、平板计算机、笔记本电脑、导航装置、行车纪录器、数字相机、数字摄影机等电子装置中，用以提供摄像功能。双传感器摄像系统30包括至少一个色彩传感器32、至少一个红外线传感器34、存储装置36及处理器38，其功能分述如下：
36.色彩传感器32例如包括电荷耦合器件(charge coupled device，ccd)、互补金属氧化物半导体(complementary metal-oxide semiconductor，cmos)器件或其他种类的感光器件，而可感测光线强度以产生摄像场景的图像。色彩传感器32例如是红绿蓝(rgb)图像传感器，其中包括红(r)、绿(g)、蓝(b)颜色像素，用以获取摄像场景中的红光、绿光、蓝光等色彩信息，并将这些色彩信息合成以生成摄像场景的色彩图像。
37.红外线传感器34例如包括ccd、cmos器件或其他种类的感光器件，其经由调整感光器件的波长感测范围，而能够感测红外光。红外线传感器34例如是以上述感光器件作为像素来获取摄像场景中的红外光信息，并将这些红外光信息合成以生成摄像场景的红外线图像。
38.存储装置36例如是任意型式的固定式或可移动式随机存取存储器(random access memory，ram)、只读存储器(read-only memory，rom)、闪存(flash memory)、硬盘或类似器件或上述器件的组合，而用以存储可由处理器38执行的计算机程序。在一些实施例中，存储装置36例如还可存储由色彩传感器32所获取的色彩图像及红外线传感器34所获取的红外线图像。
39.处理器38例如是中央处理器(central processing unit，cpu)，或是其他可编程的一般用途或特殊用途的微处理器(microprocessor)、微控制器(microcontroller)、数字信号处理器(digital signal processor，dsp)、可编程控制器、专用集成电路(application specific integrated circuits，asic)、可编程逻辑器件(programmable logic device，pld)或其他类似装置或这些装置的组合，本发明不在此限制。在本实施例中，处理器38可从存储装置36加载计算机程序，以执行本发明实施例的双传感器摄像系统的校准方法。
40.基于色彩传感器32与红外线传感器34的特性(例如分辨率、波长范围、视野(field of view，fov))不同，本发明实施例提供一种校准方法，可在生产阶段(production stage)对装配在双传感器摄像系统30上的色彩传感器32与红外线传感器34进行校准，以平衡色彩传感器32与红外线传感器34在不同拍摄条件下的差异，此校准结果将存储于存储装置36，而可在后续运行时间(run stage)中用以作为对获取图像进行调整的依据。
41.图4是依照本发明一实施例所示出的双传感器摄像系统的校准方法的流程图。请同时参照图3及图4，本实施例的方法适用于上述的双传感器摄像系统30，适于在生产阶段对双传感器摄像系统30的色彩传感器32与红外线传感器34进行校准，以下即搭配双传感器摄像系统30的各项器件说明本实施例的校准方法的详细步骤。
42.在步骤s402中，将至少一个色彩传感器32及至少一个红外线传感器34装配于双传感器摄像系统30。其中，色彩传感器32及红外线传感器34例如是由机械人装配于图像传感
器中，例如图2所示的装配在图像传感器20中的色彩传感器22与红外线传感器24。
43.在步骤s404中，由处理器38执行色彩传感器32及红外线传感器34之间对准的校准。其中，处理器38例如会执行暴力法(bruteforce)、光流法(optical flow)、单应性变换法(homography)或局部翘曲法(local warping)等图像对准算法，以对色彩传感器32所获取的色彩图像与红外线传感器34所获取的红外线图像进行对准，后文将描述其详细的实施方式。
44.在步骤s406中，由处理器38执行色彩传感器32及红外线传感器34在不同拍摄条件下的亮度匹配的校准。其中，处理器38例如会计算在不同拍摄条件下获取的色彩图像及红外线图像之间的差异，据以决定适于色彩传感器32及红外线传感器34的曝光设定，后文将描述其详细的实施方式。
45.对于上述对准的校准，图5是依照本发明一实施例所示出的双传感器摄像系统的对准校准方法的流程图。请同时参照图3及图5，本实施例的方法适用于上述的双传感器摄像系统30，以下即搭配双传感器摄像系统30的各项器件说明本实施例的对准校准方法的详细步骤。
46.在步骤s502中，由处理器38控制色彩传感器32及红外线传感器34分别拍摄具有特殊图案的测试图(test chart)，以获得一色彩测试图像及一红外线测试图像。其中，所述特殊图案例如是黑白棋盘图案，或是其他可明显区别出特征的图案，在此不设限。
47.在步骤s504中，由处理器38检测色彩测试图像及红外线测试图像中的特殊图案的多个特征点。
48.在一些实施例中，处理器38例如会将每张色彩测试图像及红外线测试图像切割为多个块，并执行一特征检测算法以检测各个块内的至少一个特征点。其中，处理器38例如是根据自身的计算能力决定从各个块检测出特征点的数目，而所述的特征检测算法例如是哈里斯边角检测法(harris corner detection)。在一些实施例中，处理器38例如会选择每个块中的边缘像素，或是每个块中具有高局域偏差(local deviation)的像素，作为所检测的特征点，在此不设限。
49.在步骤s506中，由处理器38执行图像对准算法以根据色彩测试图像及红外线测试图像中相对应的特征点之间的位置关系，计算色彩测试图像及红外线测试图像之间的匹配关系，用以对后续获取的色彩图像及红外线图像进行对准。其中，在执行图像对准时，处理器38例如会取得色彩图像中的所有特征点以及红外线图像中的所有特征点，从而针对这些特征点执行图像对准算法。
50.在一些实施例中，当所摄像场景为平面场景时，处理器38会针对从色彩测试图像中检测出的特征点中的一个指定特征点，在红外线测试图像中的对应位置移动一个包括多个像素的面片(patch)，来搜寻红外线测试图像中对应于此指定特征点的对应特征点。其中，处理器38例如是以红外线测试图像中对应于此指定特征点的像素为中心，在其周围移动面片，并将位于面片内的像素与色彩测试图像中位于指定特征点周围的像素进行比较，直到面片内的像素与指定特征点周围的像素匹配(例如所有像素的像素值的差值总和小于预定门坎值)为止。最终，处理器38即可将达成匹配时面片所在位置的中心点像素判定为对应于指定特征点的对应特征点。处理器38将重复执行上述匹配动作，直到获得所有特征点的对应关系。
51.之后，处理器38例如会执行随机抽样一致(random sample consensus，ransac)算法以建立单应性变换矩阵(homography transformation matrix)，如下：
[0052][0053]
其中，(x,y)代表色彩测试图像中的指定特征点的位置，(x’,y’)则代表红外线测试图像中的对应特征点的位置，a～h代表变量。处理器38例如会将色彩测试图像中的各个特征点与红外线测试图像中的对应特征点的位置带入上述的单应性变换矩阵求解，从而以所求得的解作为色彩测试图像及红外线测试图像之间的匹配关系。
[0054]
在一些实施例中，当所摄像场景为具有多个深度的场景时，由于色彩传感器32及红外线传感器34之间具有视差(parallax)，其所获取的图像会有像差(aberration)，因此需要针对不同深度的图像平面计算其匹配关系。此时，处理器38会利用色彩测试图像及红外线测试图像计算摄像场景的多个深度，据以将摄像场景区分为不同深度的多个深度场景(例如区分为近景和远景)。其中，处理器38例如会针对各个深度场景，建立一个二次方程(quadratic equation)，如下：
[0055][0056]
其中，(x,y)代表色彩测试图像中的指定特征点的位置，(x’,y’)则代表红外线测试图像中的对应特征点的位置，a～f代表变量。处理器38例如会将色彩测试图像中的各个特征点与红外线测试图像中的对应特征点的位置带入上述的二次方程式求解，从而以所求得的解作为色彩测试图像及红外线测试图像之间的匹配关系。
[0057]
另一方面，对于上述亮度匹配的校准，图6是依照本发明一实施例所示出的双传感器摄像系统的亮度匹配校准方法的流程图。请同时参照图3及图6，本实施例的方法适用于上述的双传感器摄像系统30，以下即搭配双传感器摄像系统30的各项器件说明本实施例的亮度匹配校准方法的详细步骤。
[0058]
在步骤s602中，由处理器38控制色彩传感器32及红外线传感器34采用多个拍摄条件分别获取一摄像场景的多张色彩图像及多张红外线图像。所述的拍摄条件例如包括环境光(ambient light)的波长范围、亮度，与摄像场景中的主体、背景的距离其中之一或其组合，在此不设限。
[0059]
在步骤s604中，由处理器38计算在各拍摄条件下获取的色彩图像的多个色彩图像参数以及在各拍摄条件下获取的红外线图像的多个红外线图像参数，并用以计算色彩图像的亮度及红外线图像的亮度之间的差异。
[0060]
在一些实施例中，对于在不同拍摄条件下拍摄的图像，处理器38例如会计算每张图像的3a(包括自动对焦(auto focus，af)、自动曝光(auto exposure，ae)、自动白平衡(auto white balance，awb))统计值，并用以计算所述图像亮度之间的差异(例如为差值或比值)。
[0061]
在一些实施例中，处理器38例如会将各张色彩图像及各张红外线图像切割为多个块(block)，并计算各个块内所有像素的像素值平均，从而计算相对应块的像素值平均的差异，用以作为色彩图像的亮度及红外线图像的亮度之间的差异。
[0062]
在一些实施例中，处理器38例如会计算各张色彩图像及各张红外线图像的图像直方图(histogram)，从而计算色彩图像及红外线图像的图像直方图的差异，用以作为色彩图像的亮度及红外线图像的亮度之间的差异。
[0063]
回到图6的流程，在步骤s606中，由处理器38根据所计算的差异，决定适于色彩传感器32及红外线传感器34的曝光设定。
[0064]
在一些实施例中，为了达到画面同步，处理器38例如会控制色彩传感器32及红外线传感器34采用相同的曝光时间分别获取摄像场景的色彩图像及红外线图像，并计算色彩图像及红外线图像之间的亮度差异，从而计算用以调整色彩图像的亮度和/或红外线图像的亮度的增益(gain)。即，处理器38会计算可补偿色彩图像及红外线图像的亮度差异的增益，其可以是针对色彩图像的增益、针对于红外线图像的增益，或是针对上述两者的增益，在此不设限。
[0065]
举例来说，若采用相同曝光时间获取的色彩图像较亮，则可计算用以调整红外线图像的亮度的增益，使得红外线图像的亮度乘上该增益后，与色彩图像的亮度相当。所计算的增益例如会连同其对应的拍摄条件存储于存储装置36中，从而在后续的运行时间中，每当获取色彩图像和红外线图像时，处理器38即可通过识别拍摄条件，从存储装置36中取得应对于该拍摄条件的增益，并将所获取的色彩图像或红外线图像的像素值乘上所取得的增益，从而使得色彩图像的亮度能够与红外线图像的亮度匹配。
[0066]
在一些实施例中，双传感器摄像系统30中可额外配置一个红外线投射器(ir projector)，从而搭配红外线传感器32来辅助处理器38计算双传感器摄像系统30与摄像场景中的主体和背景之间的距离。
[0067]
详言之，图7是依照本发明一实施例所示出的双传感器摄像系统的校准方法的流程图。请同时参照图3及图7，本实施例的方法适用于上述的双传感器摄像系统30，以下即搭配双传感器摄像系统30的各项器件说明本实施例的校准方法的详细步骤。
[0068]
在步骤s702中，由处理器38控制红外线投射器投射具有特殊图案的不可见光至摄像场景。
[0069]
在步骤s704中，由处理器38控制红外线传感器32中的两个红外线传感器分别获取具有特殊图案的摄像场景的多张红外线图像。
[0070]
在步骤s706中，由处理器38根据所获取的红外线图像中的特殊图案以及两个红外线传感器之间的视差(parallax)，分别计算双传感器摄像系统30与摄像场景中的主体和背景之间的距离。其中，由于由红外线投射器投射到摄像场景的特殊图案不易受到环境的影响，因此通过上述方法可取得较精确的拍摄主体和/或背景的距离，并用以识别拍摄条件来作为后续进行图像补偿的依据。
[0071]
综上所述，本发明的双传感器摄像系统及其校准方法针对配置于双传感器摄像系统上的色彩传感器与红外线传感器，采用不同的拍摄条件分别获取多张图像，从而对色彩传感器与红外线传感器进行图像对准及亮度匹配的校准，并将校准结果用以作为对后续获取图像进行调整的依据。因此，可提高双传感器摄像系统所获取图像的图像质量。
[0072]
然本公开已以实施例揭示如上，然其并非用以限定本公开，任何本领域技术人员，在不脱离本公开的精神和范围内，当可作些许的还动与润饰，因此本公开的保护范围当视后附的权利要求及其均等范围所界定的为准。