一种基于曝光融合的图像宽动态范围处理方法及装置与流程

1.本发明涉及图像处理技术领域，具体涉及一种基于曝光融合的图像宽动态范围处理方法及装置。


背景技术：

2.使用全局色调映射曲线进行宽动态范围图像处理的方法无法适用于图像中所有区域的像素，因此往往会采用例如伽马校正、直方图均衡化、分段变换等处理操作来调整图像整体的对比度，然而这些调整处理效果有限，虽然可以提升图像某一区域的亮度和细节信息，但会牺牲其他局部区域的质量。
3.使用滤波分层进行宽动态范围图像处理的方法计算复杂度较高，并且容易产生光晕、分层、梯度反转、边缘模糊的情况，并且在图像进行多层分解后会占用较大资源，进一步限制硬件性能，无法处理更复杂的滤波操作。
4.因此本文提出一种基于曝光融合的图像宽动态范围处理方法及装置通过人工构造不同曝光比图像进行曝光融合，针对不同亮度区域能自适应地进行处理，能够有效地增强图像的细节纹理，提升图像暗部区域质量，并且计算资源低，能够满足硬件实时性处理要求。


技术实现要素：

5.针对现有技术的不足，本发明公开了一种基于曝光融合的图像宽动态范围处理方法及装置，用于解决目前单张拍摄图片动态范围不足带来的区域像素质量不高的问题，使拍摄图片中暗部细节更加明显；同时减少宽动态范围处理算法的计算资源和存储资源消耗问题，使算法能够在硬件环境下处理实时场景。
6.本发明通过以下技术方案予以实现：
7.第一方面，本发明提供了一种基于曝光融合的图像宽动态范围处理方法，包括以下步骤：
8.s1收集相同相机拍摄的同一场景的多个不同曝光比图像，并对图像像素值进行拟合获得相机响应模型；
9.s2将输入图像输入相机响应模型获得额外生成图像，并获得原始输入图像的明度图，在下采样后经处理后得到输入图像对应的光照图；
10.s3对输入图像限制对比度自适应直方图均衡，得到原始图像提升对比度后的图像；
11.s4根据光照图得到权重矩阵，并将s2中获得的额外图像与s3的图像进行曝光融合，图像线性拉伸得到宽动态范围处理后的图像。
12.更进一步的，所述方法中，使用数学模型构建相机响应模型的形式，提取图像的像素值对函数模型进行拟合，并将生成的不同曝光比图像和拍摄的真实不同曝光比图像进行比较，测定生成图像与真实图像之间的直方图距离，所求相机响应模型使两张图像直方图
距离最小。
13.更进一步的，所述方法中，选择贝塔－伽马形式的相机响应模型，则不同曝光比图像的生成计算公式如下：
[0014][0015]
其中g(g)代表相机响应模型，β和γ是模型的两个参数，e为自然系数，p为原始图像，不同曝光比的图像通过相机参数a，b和曝光比k计算得到。
[0016]
更进一步的，设定曝光比k，选取其中一张拍摄的照片，不断调整相机响应模型中参数a和b的值，使得生成的不同曝光比图像的直方图和真实拍摄的对应曝光比图像的直方图距离最近，距离使用欧式距离进行度量，具体计算公式如下：
[0017]
其中，d(q,m)表示生成的图像q和真实图像m之间的直方图距离，0≤qi≤1和0≤mi≤1为像素值i对应的频率，对于rgb三通道图像，分别对三通道进行距离的计算，最终的距离为三通道直方图距离的均值
[0018]
其中，dr、dg、db分别代表红、绿、蓝三通道直方图距离。
[0019]
更进一步的，所述方法中，设定生成图像曝光比用于控制宽动态范围增强的程度，其中当时生成的图像和输入图像一致；将输入图像送入相机响应模型进行映射计算，得到曝光比对应的生成图像。
[0020]
更进一步的，所述方法中，将尺寸为输入图像从rgb颜色空间转换到hsv颜色空间，从红、绿、蓝三通道转变为色相、饱和度、明度三通道，提取明度通道作为图像的明度图；对求得的尺寸为的明度图进行倍下采样操作，得到分辨率为的明度图，使用半径为的双边滤波对明度图进行保边平滑操作，再使用进行倍上采样插值操作恢复原始图像尺寸，得到最终的图像光照图。
[0021]
更进一步的，所述方法中，根据光照图l求出曝光融合所需的权重矩阵w，所述权重矩阵为：w＝l
μ
，其中μ控制不同亮度区间增强的程度；
[0022]
图像p
′
和图像q进行曝光融合，权重矩阵w作为图像p
′
像素的融合加权系数，权重矩阵1-w作为图像q的融合加权系数，得到融合后的图像t，其融合像素值计算公式如下：
[0023]
t(x,y,c)＝w(x,y,c)
×
p
′
(x,y,c) (1-w(x,y,c))
×
q(x,y,c),c∈r,g,b
[0024]
其中，x为像素横坐标值，y为像素纵坐标值，c为相应颜色通道，图像曝光融合过程应用于r、g、b三通道，三通道分别进行加权融合，融合过程互不影响，最终合并为一张rgb图像。
[0025]
更进一步的，所述方法中，将融合后的图像进行线性拉伸，保持融合后的图像t的rgb三通道最大值不变，最小值映射为原始输入图像p，对中间像素进行三通道的线性拉伸操作，得到最终的宽动态范围处理图像z。
[0026]
第二方面，本发提供一种基于曝光融合的图像宽动态范围处理装置，其特征在于，包括：
[0027]
图像数据集收集模块，用于收集同一相机拍摄的相同场景下的真实不同曝光比的图像，并将拍摄的图像及其对应的曝光补偿信息进行存储；
[0028]
相机响应模型拟合模块，用于构建数学模型表达相机响应模型，进而拟合收集到的真实场景下拍摄的不同曝光比图像；
[0029]
图像宽动态范围处理模块，包含存储器和处理器，所述存储器用于存储计算机程序、处理器输入输出数据和相关中间结果，当所述处理器执行所述存储器存储的所述计算机程序时，所述处理器执行第一方面所述的基于曝光融合的图像宽动态范围处理方法。
[0030]
本发明的有益效果为：
[0031]
本发明通过构建相机响应模型生成不同曝光比图像进行曝光融合，而无需真实场景下拍摄的不同曝光比图像，仅需一张低动态范围的图像即可进行宽动态范围处理，无需多次拍摄操作，因此降低了拍摄的难度。
[0032]
本发明不需要考虑不同曝光比图像拍摄产生的镜头抖动和鬼影等因素，能够针对不同亮度区域进行自适应宽动态范围处理，能有效地增强图像的细节纹理，提升图像暗部区域质量，并且计算资源低，能够满足硬件实时性处理要求。
附图说明
[0033]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]
图1是一种基于曝光融合的图像宽动态范围处理方法的原理步骤图；
[0035]
图2是一种针对单张输入图像进行宽动态范围处理方法的网络框图。
具体实施方式
[0036]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0037]
实施例1
[0038]
参照图1所示，本实施例提供一种基于曝光融合的图像宽动态范围处理方法，包括以下步骤：
[0039]
s1收集相同相机拍摄的同一场景的多个不同曝光比图像，并对图像像素值进行拟合获得相机响应模型；
[0040]
s2将输入图像输入相机响应模型获得额外生成图像，并获得原始输入图像的明度图，在下采样后经处理后得到输入图像对应的光照图；
[0041]
s3对输入图像限制对比度自适应直方图均衡，得到原始图像提升对比度后的图像；
[0042]
s4根据光照图得到权重矩阵，并将s2中获得的额外图像与s3的图像进行曝光融合，图像线性拉伸得到宽动态范围处理后的图像。
[0043]
本实施例构建生成不同曝光比所需的相机响应模型，包括：使用常用的数学模型构建相机响应模型的形式；
[0044]
收集真实场景下的同一相机拍摄的一系列不同曝光比图像，提取图像的像素值对函数模型进行拟合；
[0045]
将生成的不同曝光比图像和拍摄的真实不同曝光比图像进行比较，测定生成图像与真实图像之间的直方图距离，所求相机响应模型使两张图像直方图距离最小。
[0046]
本实施例中，获得用于曝光融合的生成图像，包括：设定生成图像曝光比k用于控制宽动态范围增强的程度，其中当k＝1时生成的图像和输入图像一致；将输入图像送入相机响应模型进行映射计算，得到曝光比k对应的生成图像q。
[0047]
本实施例中，获得输入图像的光照图，包括：将尺寸为m
×
n输入图像从rgb颜色空间转换到hsv颜色空间，即从红、绿、蓝三通道转变为色相、饱和度、明度三通道，提取明度通道作为图像的明度图；
[0048]
对求得的尺寸为m
×
n的明度图进行s倍下采样操作，即得到分辨率为(m/s)
×
(n/s)的明度图，使用半径为r的双边滤波对明度图进行保边平滑操作，再使用进行s倍上采样插值操作恢复原始图像尺寸，得到最终的图像光照图l。
[0049]
本实施例根据求得的光照图l求出曝光融合所需的权重矩阵w，所述权重矩阵为：w＝l
μ
，其中μ控制不同亮度区间增强的程度；
[0050]
图像p
′
和图像q进行曝光融合，权重矩阵w作为图像p
′
像素的融合加权系数，权重矩阵1-w作为图像q的融合加权系数，得到融合后的图像t，其融合像素值计算公式如下：
[0051]
t(x,y,c)＝w(x,y,c)
×
p
′
(x,y,c) (1-w(x,y,c))
×
q(x,y,c),c∈r,g,b
[0052]
其中，x为像素横坐标值，y为像素纵坐标值，c为相应颜色通道，图像曝光融合过程需要应用于r、g、b三通道，三通道分别进行加权融合，融合过程互不影响，最终合并为一张rgb图像。
[0053]
将融合后的图像进行线性拉伸，保持融合后的图像t的rgb三通道最大值不变，最小值映射为原始输入图像p，对中间像素进行三通道的线性拉伸操作，得到最终的宽动态范围处理图像z。
[0054]
本实施例解决了目前单张拍摄图片动态范围不足带来的区域像素质量不高的问题，使拍摄图片中暗部细节更加明显；同时减少宽动态范围处理算法的计算资源和存储资源消耗问题，使算法能够在硬件环境下处理实时场景。
[0055]
实施例2
[0056]
在具体实施层面，本实施例提供一种针对单张输入图像进行宽动态范围处理方法的具体实施，参照图2所示，本实施例介绍了对于单张输入图像的宽动态范围处理方法。
[0057]
本实施首先收集一系列同一相机拍摄的相同场景的不同曝光比图像，对图像像素值进行拟合获得相机响应模型；
[0058]
本实施例以贝塔－伽马形式的相机响应模型为例，不同曝光比图像的生成计算公式如下：
[0059][0060]
其中g(g)代表相机响应模型，β和γ是该模型的两个参数，e为自然系数，p为原始
图像，不同曝光比的图像通过相机参数a，b和曝光比k计算得到。
[0061]
本实施例收集一系列同一相机在相同时刻拍摄的相同场景的不同曝光比图像，具体地，选取静态拍摄场景，将相机设置到自动包围曝光模式，曝光补偿量手动设置为2ev(2档)，连续拍摄2张以上的图像，分别记录下不同曝光下的拍摄图像。
[0062]
本实施例设定曝光比k，选取其中一张拍摄的照片，不断调整相机响应模型中参数a和b的值，使得生成的不同曝光比图像的直方图和真实拍摄的对应曝光比图像的直方图距离最近，在本发明实施例中，距离使用欧式距离进行度量，具体计算公式如下：
[0063][0064]
其中，d(q,m)表示生成的图像q和真实图像m之间的直方图距离，0≤qi≤1和0≤mi≤1为像素值i对应的频率，对于256级灰度图像，n＝256，对于rgb三通道图像，分别对三通道进行距离的计算，最终的距离为三通道直方图距离的均值。
[0065][0066]
其中，dr、dg、db分别代表红、绿、蓝三通道直方图距离。
[0067]
本实施例中，拍摄一系列包围曝光图像组成参考图像数据库，对相机响应模型的参数进行拟合求解，得到的相机响应模型使生成的图像和数据库中的图像直方图距离之和达到最小，在本实施例中求得的相机响应模型参数a＝-0.329，b＝1.126。
[0068]
本实施例设定曝光比k，输入图像通过相机响应模型获得用于曝光融合的额外生成图像q。
[0069]
曝光比控制宽动态范围增强的程度，当k＝1时生成的图像和输入图像一致，在本实施例中设定曝光比k＝4，输入图像进行归一化操作，图像的rgb三通道分别通过相机响应模型映射，得到生成图像q；
[0070]
本实施例获得原始输入图像p的明度图，下采样后通过双边滤波进行保边平滑滤波后再恢复尺寸得到输入图像对应的光照图l；
[0071]
作为一种可选的实施方式，以尺寸为1920
×
1080输入rgb三通道图像为例，将图像从rgb颜色空间转换到hsv颜色空间，即从红、绿、蓝三通道转变为色相、饱和度、明度三通道，提取明度通道作为图像的明度图；
[0072]
本实施例对求得的尺寸为1920
×
1080的明度图进行8倍最近邻插值下采样操作，即得到分辨率为240
×
135的明度图，使用半径为7的双边滤波对明度图进行保边平滑操作，将图像先进行下采样再进行保边平滑操作能有效地减少计算资源，并且结果比不进行下采样的保边滤波效果更佳。
[0073]
本实施例再使用双线性插值操作进行8倍上采样恢复原始图像尺寸，得到最终的图像光照图l，最终的光照图能有效的去除纹理信息的干扰，同一区域的物体具有相同的光照。
[0074]
本实施例对输入图像进行限制对比度自适应直方图均衡操作，将对比度增强限制为0.002，得到原始图像提升对比度后的图像p
′
；
[0075]
本实施例根据光照图求出权重矩阵w，将对比度增强后的图像p
′
和生成的不同曝
光比图像q进行曝光融合，融合后图像线性拉伸得到宽动态范围处理后的图像z。
[0076]
在本发明实施例中，根据求得的光照图l求出曝光融合所需的权重矩阵w，所述权重矩阵为：w＝l
μ
，其中μ控制不同亮度区间增强的程度，在本实施例中μ＝0.5。
[0077]
根据图像的光照图求权重矩阵能够针对图像的不同区域的不同曝光情况进行自适应的处理：对于曝光较差的区域，宽动态处理程度较大；对于光照较低的区域，对比度增强的程度较小，抑制拍摄时产生的暗部噪声。
[0078]
本实施例图像p
′
和图像q进行曝光融合，权重矩阵w作为图像p
′
像素的融合加权系数，权重矩阵1-w作为图像q的融合加权系数，得到融合后的图像t，其融合像素值计算公式如下：
[0079]
t(x,y,c)＝w(x,y,c)
×
p
′
(x,y,c) (1-w(x,y,c))
×
q(x,y,c),c∈r,g,b
[0080]
其中，x为像素横坐标值，y为像素纵坐标值，c为相应颜色通道，图像曝光融合过程需要应用于r、g、b三通道，三通道分别进行加权融合，融合过程互不影响，最终合并为一张rgb图像。
[0081]
本实施例将融合后的图像进行线性拉伸，保持融合后的图像t的rgb三通道最大值不变，最小值映射为原始输入图像p，对中间像素进行三通道的线性拉伸操作，得到最终的宽动态范围处理图像z。
[0082]
本发明实施例通过构建相机响应模型生成不同曝光比图像进行曝光融合，而无需真实场景下拍摄的不同曝光比图像。
[0083]
本发明实施例仅需一张低动态范围的图像即可进行宽动态范围处理，无需多次拍摄操作，因此降低了拍摄的难度，也不需要考虑不同曝光比图像拍摄产生的镜头抖动和鬼影等因素。
[0084]
本发明实施例能够针对不同亮度区域进行自适应宽动态范围处理，能有效地增强图像的细节纹理，提升图像暗部区域质量，并且计算资源低，能够满足硬件实时性处理要求。
[0085]
实施例3
[0086]
本实施例提供一种基于曝光融合的图像宽动态范围处理装置，包括：
[0087]
图像数据集收集模块，用于收集同一相机拍摄的相同场景下的真实不同曝光比的图像，并将拍摄的图像及其对应的曝光补偿信息进行存储；
[0088]
相机响应模型拟合模块，用于构建数学模型表达相机响应模型，进而拟合收集到的真实场景下拍摄的不同曝光比图像；
[0089]
图像宽动态范围处理模块，包含存储器和处理器，所述存储器用于存储计算机程序、处理器输入输出数据和相关中间结果，当所述处理器执行所述存储器存储的所述计算机程序时，所述处理器执行基于曝光融合的图像宽动态范围处理方法。
[0090]
综上，本发明通过构建相机响应模型生成不同曝光比图像进行曝光融合，而无需真实场景下拍摄的不同曝光比图像，仅需一张低动态范围的图像即可进行宽动态范围处理，无需多次拍摄操作，因此降低了拍摄的难度。
[0091]
本发明不需要考虑不同曝光比图像拍摄产生的镜头抖动和鬼影等因素，能够针对不同亮度区域进行自适应宽动态范围处理，能有效地增强图像的细节纹理，提升图像暗部区域质量，并且计算资源低，能够满足硬件实时性处理要求。
[0092]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。