一种适用于阵列相机的空间独立曝光高动态范围增强方法

1.本发明属于阵列相机摄像技术领域，具体涉及适用于阵列相机的空间独立曝光高动态范围增强方法。


背景技术：

2.大场景相机面对的场景更加恶劣、动态范围更加广、场景范围内有更多的图像内容和细节。然而单路图像传感器受限于芯片设计频率、帧率限制、读出速度限制等等原因，曝光次数是受限的，目前市面上最多曝光的图像传感器是dol 4曝光技术，四曝光往往最大也只能支持到22bit，132db的动态范围，而且在这个动态范围内也没办法所有亮度区间都能够照顾到，中间很多的细节仍然没法保证。
3.本发明提出一种适用于阵列相机的空间独立曝光高动态范围技术，可以充分利用阵列相机具备很多独立的图像传感器，很多独立的图像处理器，利用每一路图像传感器独立曝光，把自己看到的区域达到最优曝光，这样可以在整个阵列相机有很多独立的曝光值，覆盖更广的动态范围，而且各个曝光区域都有合适的曝光，中间区域的细节也可以得到很好的保留。这都使得阵列相机的动态范围可以做到远高于传统相机。


技术实现要素：

4.本发明的目的在于针对阵列相机面对更加恶劣的应用场景、更广的动态范围、更多的场景内容和细节，提出一种适用于阵列相机的空间独立曝光高动态范围增强方法。
5.本发明提供的阵列相机空间独立曝光高动态范围增强方法，所述阵列相机设为n
×
n阵列，共n2个相机；每个相机都具有摄像头、图像传感器、图像处理芯片；每个相机的摄像头具有4个不同的曝光，其中典型的三种为：长曝光（l_exposure），中曝光（m_exposure），短曝光（s_exposure）；另一种可为介于两个相邻曝光长度中间的曝光值；对应于4个不同的曝光，有4个曝光通道；一个图像处理芯片包括4个图像处理器，分别对应4个曝光通道；n
×
n阵列相机，就有4n2种曝光。例如，n=8，就有64的摄像头，图1为8
×
8 阵列图示，左边阵列代表每个摄像头看到的真实场亮度覆盖很大的动态范围；阵列区域包含高达256种曝光。本发明方法就是要确保每个区域空间具有最适合的动态范围区间，即一张图像分成很多块，每一块用不同的曝光值，使得每一个区域可以曝光到最适合的范围，使得超高分辨率视频具有更高的动态范围，更合适的区域空间曝光，更清晰的细节，更小的噪声。
6.本发明提供的阵列相机空间独立曝光高动态范围增强方法，具体步骤如下。
7.（1）对于每个图像处理芯片，各自独立控制图像传感器进行曝光每颗图像处理芯片具有4个图像处理器，每颗芯片的图像处理器之间都空间独立统计，并在当前芯片根据当前区域的直方图分布统计值（该分布统计值有相机内部自带功能实现）做出空间独立的自动曝光建议值（具体曝光方法本发明不做限制），并把所有的图像处理器曝光建议值通过芯片之间传递（具体传递方法本发明不做限制），统一送到主核mcu（一般设定为相机阵列左上角位置的相机）进行统筹决策，然后把64颗图像处理的曝光
值通过广播机制，给到各个芯片，每个芯片各自独立控制图像传感器进行曝光；这个时候每颗图像处理器收到的图像是空间独立的，和人眼看到的自然界图像完全不一致，没办法直接送给显示，如图1所示。
8.（2）空间独立曝光的数字增益补偿空间独立曝光的图像是块状的，不符合环境真是情况，比如多达4n2种不同的曝光，这样整体的动态范围更大，但是没法显示，本发明解决这个问题的方法是，对每一路图像传感器各自的曝光输入，进行空间独立的数字增益补偿，把独立曝光的图像，恢复到自然界动态范围分布的状态。具体做法为：首先，计算每一路图像的数字增益：先把4n2（如256）个不同的曝光值排序，得到最大曝光值exposure.max,这个最大曝光值对应的区域的数字增益digtal_gain为1，其他4n
2-1（255）块区域的数字增益为最大曝光值除以当前区域的曝光值，公式如下：digtal_gain.current=exp.max/exp.current，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）得到4n
2 （如256）路中每一路的数字增益，如图2所示；然后，将每一路的数字增益送到相应曝光通道的图像处理器进行增益处理（该增益处理器是相机中流水线上的一个数字乘法计算模块），于是，得到4n
2 （如256）种曝光各自独立的数字增益补偿，使图像恢复到和自然环境一致的线性空间。
9.（3）空间独立拉伸并统一融合 至此，所有的256个不同曝光已经通过数字增益补偿恢复到了和自然环境一致的线性空间，如图3所示，所有曝光都拉伸至一条直线上，具体计算公式在上面已说明。接下来做统一的融合，这里以摄像头是典型的3曝光为例：长曝光（l_exposure），中曝光（m_exposure），短曝光（s_exposure），同一个图像传感器的三路曝光融合成一个结果，具体规则如下：长曝光没有过曝的区域优先使用长曝光拉伸后的值，长曝光过曝区域且中曝光没有过曝的区域有限使用中曝光拉伸后的值，中曝光过曝区域且短曝光没有过曝的区域使用短曝光拉伸后的值。这样同一个图像传感器输出的三个曝光就变成一个融合后的结果。（在每个曝光接近过区域会有非线性状态，可以使用差值过度，这里不做限制）。除此之外，不同图像传感器之间由于是空间独立的，所以各自融合完之后，图像传感器相互之间不做融合，直接输出就是空间独立拉伸并统一融合的结果。融合后的图像具有超高的动态范围，和自然界人眼看到的图像保持一致，且各个区域具有最好的信噪比。
10.本发明的具体收益效果是：提出了一种适用于阵列相机的空间独立曝光高动态范围增强方法，结合多芯片通信机制，可以在整个系统上实现更广的动态范围，每一块空间区域都得到最合适的曝光，动态范围全区间都保持更清晰的细节、更小的噪声。
附图说明
11.图1所有图像处理器空间独立曝光。
12.图2所有图像处理器空间独立数字增益。
13.图3所有图像处理器空间独立拉伸融合。
具体实施方式
14.本发明提出一种适用于阵列相机的空间独立曝光高动态范围增强方法，如图1所
示，数量为8x8的阵列相机，共64个摄像头，图1左边阵列代表每个摄像头看到的真实场亮度覆盖很大的动态范围，64路摄像头之间都采用空间独立曝光的方式，使得每一路摄像头看到的区域都得到最合适的曝光，如图1右边阵列所示，这样所有图像传感器设置的曝光范围可能拉的很大，而且每一路图像传感器都有各自的曝光值，这样得到的目标亮度是一致的，但这和真实的世界人眼看到场景完全格格不入，因为真实世界是连续的、包含各种各样丰富的亮度。
15.下一步，通过相应的各个图像处理器对每一路视频流设置独立的数字增益，如图2所示，使得64路图像恢复连续的空间，这就要求图像处理器有更高的位宽，比如28bit，甚至更高，这样就获得了更高的动态范围168db，其中最大曝光和最小曝光的曝光比高达65536倍，这么高的动态范围，在传统相机(单颗图像传感器一般最大是4曝光)是不可能实现的，但用本发明提出的阵列相机空间独立曝光的方式，由于有64路空间独立曝光，可以很好的覆盖每一段亮度范围。使用如图3 所示的方式，对每一个图像处理器看到的空间范围进行拉伸到最长的曝光，由于每一路都使用最合适的曝光，所以这里的拉伸，每一路都是最小的数字增益，使得最后的整个动态范围以内的物体都有最好的信噪比。事实上每一路摄像头本身还可以是4曝光，这样就相当于在整帧图像内部有4x64=256种不同曝光值的曝光。这也是阵列相机的物理优势。