一种基于自适应光照一致性的多曝光图像融合方法

1.本发明属于数字图像处理技术领域，具体涉及一种基于自适应光照一致性的多曝光图像融合方法。


背景技术：

2.hdr图像已经开始进入市场社交产品，比如智能手机。在人眼可见的真实世界场景中，大多数的成像传感器常常不能捕获红外信号发光的所有动态范围。且这些设备要么太重，要么太昂贵的。目前，hdr成像的一般方法是色调映射和多重曝光图像融合。多曝光图像融合(mef)通过多个低动态范围(ldr)将在同一场景中的不同曝光水平下的图像合成hdr图像，因此融合图像中有更多的真实纹理细节和颜色信息。
3.目前常用的高动态范围成像技术为多曝光图像融合方法，包括：直接融合方法、基于块的融合方法和基于分层的融合方法。直接融合方法指直接对源图像进行加权平均的融合方法。在这种方法中，权重图质量是获得高质量图像的关键。为了获得高质量的权重图，这种方法会变得非常复杂。基于区域的融合方法首先将输入图像分成若干的块，然后选取所有输入图像每个块的最优区域，最后融合选取的最优区域。由于这种方法需要像素级运算来选择最优块，同时需要像素级的融合，因此算法运行时间较长。基于分层的融合方法是利用某种分层框架将输入图像分解，进行一定的处理后再进行重构的一种融合方法。常用的基于分层的融合方法有：基于拉普拉斯金字塔的融合方法和基于块的融合方法。基于块的融合方法能够获得含有丰富细节的高质量高动态范围图像。由于该方法的增益控制图的获取比较复杂，因此该方法的复杂度很高，并且实时性不高。基于拉普拉斯金字塔的多曝光图像融合方法是目前使用较多的获得高动态范围图像的方法，但传统的基于拉普拉斯金字塔的融合方法在进行多尺度分解和重构的过程中损失了图像的细节等信息，并且没有对丢失的信息进行补偿，使得最终得到的高动态范围图像缺失细节信息。因此，亟需一种新的能获得更多图像细节信息从而获得高质量多曝光融合图像的方法。


技术实现要素：

4.针对现有技术存在的不足，本发明提出了一种基于自适应光照一致性的多曝光图像融合方法，该方法包括：
5.s1：获取不同程度曝光的图像；其中不同程度曝光的图像包括低曝光图像、正常曝光图像和高曝光图像；
6.s2：采用稀疏编码对不同程度曝光的图像进行处理，得到稀疏编码后的图像；
7.s3：选择曝光度正常的图像作为参考图像，根据参考图像对低曝光图像和高曝光图像进行自适应光照一致性处理，得到曝光一致的图像；曝光一致的图像包括光照一致性处理后的低曝光图像、光照一致性处理后的高曝光图像和正常曝光图像；
8.s4：采用峰值信噪比和信息熵对曝光一致的图像的质量进行度量，得到度量结果；根据度量结果对曝光一致的图像进行选择，得到中间结果图像；其中，中间结果图像包括低
曝光中间结果图、正常曝光中间结果图和高曝光中间结果图；
9.s5：对中间结果图像进行独立成分分析处理，得到纹理细节特征图；对不同程度曝光的图像进行独立成分分析处理，得到颜色信息特征图；
10.s6：对纹理细节特征图和颜色信息特征图进行融合处理，得到融合图像。
11.优选的，采用稀疏编码对不同程度曝光的图像进行处理的过程包括：对不同程度光爆的图像进行稀疏编码，得到稀疏字典；根据稀疏字典生成稀疏编码后的图像。
12.优选的，根据参考图像对低曝光图像和高曝光图像进行自适应光照一致性处理的过程包括：
13.分别计算低曝光图像、高曝光图像和参考图像的三通道平均值；其中，三通道为红色r、绿色g和蓝色b三个颜色通道；
14.根据低曝光图像和参考图像的三通道平均值计算第一亮度差，根据第一亮度差得到光照一致性处理后的低曝光图像；
15.根据高曝光图像和参考图像的三通道平均值计算第二亮度差，根据第二亮度差得到光照一致性处理后的高曝光图像。
16.进一步的，根据第一亮度差得到光照一致性处理后的低曝光图像的公式为：
17.i[
…
,0]＝k[
…
,0] αδr[0018]
i[
…
,1]＝k[
…
,1] βδb[0019]
i[
…
,2]＝k[
…
,2] γδg[0020]
其中，i[
…
,0]表示光照一致性处理后的图像的r通道矩阵表示，k[
…
,0]表示低曝光图像的r通道矩阵表示，i[
…
,1]表示光照一致性处理后的图像的b通道的矩阵表示，k[
…
,1]表示低曝光图像的b通道矩阵表示，i[
…
,2]表示光照一致性处理后的图像的g通道的矩阵表示，k[
…
,2]表示低曝光图像的g通道矩阵表示，α表示第一权重，β表示第二权重，γ表示第三权重，δr表示r通道亮度差，δb表示b通道亮度差，δg表示g通道亮度差。
[0021]
优选的，采用峰值信噪比和信息熵对曝光一致的图像和不同程度曝光的图像的质量进行度量包括：分别计算低曝光图像与光照一致性处理后的低曝光图像之间像素的均方误差以及高曝光图像与光照一致性处理后的高曝光图像之间像素的均方误差；根据低曝光图像与光照一致性处理后的低曝光图像之间像素的均方误差以及高曝光图像与光照一致性处理后的高曝光图像之间像素的均方误差分别计算低曝光图像与光照一致性处理后的低曝光图像之间像素的峰值信噪比和高曝光图像与光照一致性处理后的高曝光图像之间像素的峰值信噪比；计算所有曝光一致的图像的信息熵。
[0022]
进一步的，计算低曝光图像与光照一致性处理后的低曝光图像之间像素的均方误差的计算公式为：
[0023][0024]
其中，mse表示像素的均方误差，m表示图像的高度，n表示图像的宽度，i(i,j)表示光照一致性处理后图像的像素，k(i,j)表示光照一致性处理前图像的像素，e(x,y)表示光照一致性处理后图像的像素平均值。
[0025]
进一步的，计算低曝光图像与光照一致性处理后的低曝光图像之间像素的峰值信
噪比的公式为：
[0026][0027]
其中，psnr表示峰值信噪比，mse表示均方误差，maxi表示光照一致性处理后图像颜色的最大数值。
[0028]
优选的，根据度量结果对曝光一致的图像和不同程度曝光的图像进行选择的过程包括：
[0029]
设定峰值信噪比阈值t，选择低曝光图像与光照一致性处理后的低曝光图像之间像素的峰值信噪比大于阈值t的光照一致性处理后的低曝光图像作为候选低曝光中间结果图；
[0030]
选择高曝光图像与光照一致性处理后的高曝光图像之间像素的峰值信噪比大于阈值t的光照一致性处理后的高曝光图像作为候选高曝光中间结果图；
[0031]
比较候选低曝光中间结果图的信息熵，选择信息熵最大的图像作为低曝光中间结果图；比较候选高曝光中间结果图的信息熵，选择信息熵最大的图像作为高曝光中间结果图；将正常曝光图像作为正常曝光中间结果图。
[0032]
优选的，对中间结果图像进行独立成分分析处理的过程包括：
[0033]
对低曝光中间结果图和正常曝光中间结果图进行独立成分分析，得到第一特征图；
[0034]
对高曝光中间结果图和正常曝光中间结果图进行独立成分分析，得到第二特征图；
[0035]
对第一特征图和第二特征图进行独立成分分析，得到纹理细节特征图。
[0036]
优选的，对不同程度曝光的图像进行独立成分分析处理的过程包括：对低曝光图像和正常曝光图像进行独立成分分析，得到第三特征图；对高曝光图像和正常曝光图像进行独立成分分析，得到第四特征图；第三特征图和第四特征图进行独立成分分析得到颜色信息特征图。
[0037]
本发明的有益效果为：本发明通过对多曝光图像使用光照一致性处理实现了将光照变化影响和运动变化影响进行分离即光照运动分离；通过稀疏编码处理，能够去除强烈光照变化的影响，更好的实现光照运动分离；并将独立成分分析应用于提取图像的颜色信息和纹理信息，更好的去除了光照运动未分离时造成的干扰，提取的图像特征更加清晰；本发明提出光照运动分离概念，分别处理光照变化和运动变化，减少了干扰，融合图像包含了更多的颜色信息和纹理信息，具有广阔的应用前景。
附图说明
[0038]
图1为本发明中基于自适应光照一致性的多曝光图像融合方法的框架示意图。
具体实施方式
[0039]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
[0040]
本发明提出了一种基于自适应光照一致性的多曝光图像融合方法，如图1所示，所述方法包括：
[0041]
s1：获取不同程度曝光的图像；其中不同程度曝光的图像包括低曝光图像、正常曝光图像和高曝光图像；
[0042]
s2：采用稀疏编码对不同程度曝光的图像进行处理，得到稀疏编码后的图像；
[0043]
s3：选择曝光度正常的图像作为参考图像，根据参考图像对低曝光图像和高曝光图像进行自适应光照一致性处理，得到曝光一致的图像；曝光一致的图像包括光照一致性处理后的低曝光图像、光照一致性处理后的高曝光图像和正常曝光图像；
[0044]
s4：采用峰值信噪比和信息熵对曝光一致的图像的质量进行度量，得到度量结果；根据度量结果对曝光一致的图像进行选择，得到中间结果图像；其中，中间结果图像包括低曝光中间结果图、正常曝光中间结果图和高曝光中间结果图；
[0045]
s5：对中间结果图像进行独立成分分析处理，得到纹理细节特征图；对不同程度曝光的图像进行独立成分分析处理，得到颜色信息特征图；
[0046]
s6：对纹理细节特征图和颜色信息特征图进行融合处理，得到融合图像。
[0047]
一种基于自适应光照一致性的多曝光图像融合方法的优选实施例如下：
[0048]
获取不同程度曝光的图像即多曝光图像，可表示为{ki}＝{ki∣1≤i≤k}，ki为第i张图像；其中不同程度曝光的图像包括低曝光图像、正常曝光图像和高曝光图像。
[0049]
采用稀疏编码后的图像能够有效去除剧烈光照影响，本发明针对输入源图像即不同程度曝光的图像采用稀疏编码，具体过程如下：
[0050]
对每张图像进行稀疏编码，每张图进行n次迭代训练，优选的，n取50，经过五十次迭代训练后，得到稀疏字典；根据稀疏字典生成稀疏编码后的图像。
[0051]
由于低曝光图像在某种特定场景下物体的信息已经完全过暗，在图像领域中称为暗视觉图像，暗视觉图像在经过图像增强处理后即可得到有用的细节，但是要加入图像增强模块在多曝光图像融合中将大大增加图像融合的繁琐；设置正常曝光范围，从落在正常曝光范围内随机选择一张正常曝光图像作为参考图像，将低曝光图像和高曝光图像分别与参考图像进行自适应光照一致性处理，将光照分量加入到低曝图像中，将多余光照分量从高曝光图像中减去，以此得到与参考图像相同光照强度的二次处理后的图像，以此为之后的独立成分分析提供更多信息。
[0052]
对稀疏编码后的图像进行自适应光照一致性处理，具体过程如下：
[0053]
选取曝光度正常的图像作为参考图像，将与参考图像对比的光照一致性映射的光照亮度差转移到低曝光或高曝光图像中。例如，输入三张图像，分别为低曝光图像、正常曝光图像和高曝光图像，将正常曝光图像作为参考图像；以低曝光图像和参考图像为例，低光照图像表示为：
[0054][0055]
其中，m表示图像高度，n表示图像的宽度，p表示图像的通道。
[0056]
参考图像表示为：
[0057][0058]
分别计算低曝光图像和参考图像的三通道平均值其中，三通道为红色r、绿色g和蓝色b三个颜色通道；计算公式为：
[0059][0060][0061][0062]
将图像k1和参考图像k2的亮度差δ添加到图像k1的三个通道中，三个通道根据特定的比例将信息融合到k1中最终得到结果图i1即光照一致性处理后的低曝光图像；亮度差δ计算公式为：
[0063][0064][0065][0066]
其中，δr表示r通道的亮度差，δb表示b通道的亮度差，δg表示g通道的亮度差，表示参考图像r通道的亮度平均值，表示低曝光图像r通道的亮度平均值，表示参考图像b通道的亮度平均值，表示低曝光图像b通道的亮度平均值，表示参考图像g通道的亮度平均值，表示参考图像g通道的亮度平均值。
[0067]
将亮度差δ添加到图像k1的三个通道：
[0068]
i[
…
,0]＝k[
…
,0] αδr[0069]
i[
…
,1]＝k[
…
,1] βδb[0070]
i[
…
,2]＝k[
…
,2] γδg[0071]
其中，α、β和γ均属于[0,1]，α表示第一权重，β表示第二权重，γ表示第三权重；i[
…
,0]表示光照一致性处理后的图像的r通道矩阵表示，k[
…
,0]表示低曝光图像的r通道矩阵表示，i[
…
,1]表示光照一致性处理后的图像的b通道的矩阵表示，k[
…
,1]表示低曝光图像的b通道矩阵表示，i[
…
,2]表示光照一致性处理后的图像的g通道的矩阵表示，k[
…
,2]表示低曝光图像的g通道矩阵表示。
[0072]
上述自适应光照一致性处理迭代执行n次，α、β和γ的值以0.1变化，优选的，n取50；在执行上述处理时，肯定会出现图像边界溢出情况，因此我们需要截断它，用0替换数组中小于0的数据，并用255替换数组中大于255的数据，并将矩阵转换为unit8格式进行存储，即可得到处理后的图像{ii}＝{ii∣1≤i≤k}。通过权值的约束使得每张图像可获得该图像对应的多张光照一致性处理后的图像，可在这些光照一致性处理后的图像中选取质量最好的图像作为中间结果图，使得最终融合图像具有更多的纹理细节信息。
[0073]
峰值信噪比(peak signal to noise ratio，psnr)是一种评价图像的客观标准，psnr一般是用于衡量最大值信号和背景噪音之间关系。本发明对采用峰值信噪比和信息熵对曝光一致的图像的质量进行度量，具体过程如下：
[0074]
分别计算低曝光图像与光照一致性处理后的低曝光图像之间像素的均方误差以及高曝光图像与光照一致性处理后的高曝光图像之间像素的均方误差，公式为：
[0075][0076]
其中，mse表示像素的均方误差，m表示图像的高度，n表示图像的宽度，i(i,j)表示光照一致性处理后的图像的像素，k(i,j)表示光照一致性处理前的图像的像素，e(x,y)表示光照一致性处理后的图像的像素平均值。
[0077]
根据低曝光图像与光照一致性处理后的低曝光图像之间像素的均方误差以及高曝光图像与光照一致性处理后的高曝光图像之间像素的均方误差分别计算低曝光图像与光照一致性处理后的低曝光图像之间像素的峰值信噪比和高曝光图像与光照一致性处理后的高曝光图像之间像素的峰值信噪比，公式为：
[0078][0079]
其中，psnr表示峰值信噪比，mse表示均方误差，maxi表示光照一致性处理后图像颜色的最大数值，比如，8位采样点表示为255。
[0080]
psnr的单位为db，psnr值越大，表示图像失真越少。psnr是最普遍，最广泛使用的评鉴画质的客观量测法，不过许多实验结果都显示，psnr的分数无法和人眼看到的视觉品质完全一致，有可能psnr较高者看起来反而比psnr较低者差。这是因为人眼的视觉对于误差的敏感度并不是绝对的，其感知结果会受到许多因素的影响而产生变化(例如：人眼对空间频率较低的对比差异敏感度较高，人眼对亮度对比差异的敏感度较色度高，人眼对一个区域的感知结果会受到其周围邻近区域的影响)。信息熵的大小反映了图像携带的信息量的多少。通常情况下，影像的信息熵越大，其信息量就越丰富，质量也就越好。为了保证光照一致性映射的可靠性，本发明还引入信息熵entropy与psnr共同度量曝光一致的图像和不同程度曝光的图像的质量。
[0081]
计算所有曝光一致的图像的信息熵，计算公式为：
[0082]
[0083]
其中，h(x)表示图像的信息熵，p(xi)表示图像的灰度xi在该图像出现的概率，n表示像素最大值255。
[0084]
根据度量结果对曝光一致的图像和不同程度曝光的图像进行选择，具体过程为：
[0085]
设定峰值信噪比阈值t，选择低曝光图像与光照一致性处理后的低曝光图像之间像素的峰值信噪比大于阈值t的光照一致性处理后的低曝光图像作为候选低曝光中间结果图；
[0086]
选择高曝光图像与光照一致性处理后的高曝光图像之间像素的峰值信噪比大于阈值t的光照一致性处理后的高曝光图像作为候选高曝光中间结果图
[0087]
比较候选低曝光中间结果图的信息熵，选择信息熵最大的图像作为低曝光中间结果图；比较候选高曝光中间结果图的信息熵，选择信息熵最大的图像作为高曝光中间结果图；将正常曝光图像作为正常曝光中间结果图。
[0088]
选择出的中间结果图噪声少，图像质量高；对中间结果图像进行独立成分分析(ica)处理，得到颜色特征；其中，中间结果图像包括低曝光中间结果图、正常曝光中间结果图和高曝光中间结果图；具体过程为：对低曝光中间结果图和正常曝光中间结果图进行独立成分分析，得到第一特征图；对高曝光中间结果图和正常曝光中间结果图进行独立成分分析，得到第二特征图；对第一特征图和第二特征图进行独立成分分析，得到纹理细节特征图。对图像进行独立成分分析得到特征图的具体过程为：将输入图像转化为一维数组，根据一维数据生成混合矩阵，对混合矩阵进行中心化处理和白化预处理，得到解混矩阵即输出特征图。
[0089]
对不同程度曝光的图像进行独立成分分析处理，得到颜色信息特征图；具体过程为：对低曝光图像和正常曝光图像进行独立成分分析，得到第三特征图；对高曝光图像和正常曝光图像进行独立成分分析，得到第四特征图；第三特征图和第四特征图进行独立成分分析得到颜色信息特征图；独立成分分析的具体过程与上述过程相同，此处不再赘述。
[0090]
对纹理细节特征图和颜色信息特征图进行融合处理，得到融合图像。优选的，融合过程中，可根据具体要求按照一定的权值对其加权求和，例如，若原图像颜色信息中的色彩饱和时，可加大颜色特征图的权重。
[0091]
为了更可靠的得到清晰的纹理细节结果，本发明采用均方误差对处理过程进行评估；ica在处理过程中可能受到运动导致的不良影响，均方误差(mean-square error,mse)是衡量“平均误差”的一种较方便的方法，可以评价数据的变化程度。设置迭代次数，重复执行上述过程，例如，迭代五十次，输入图像进行ica处理，由于其ica的解混矩阵不唯一，因此每次产生的特征图也不唯一，根据低曝图像与参考图像的特征图和高曝图像与参考图像的特征图计算它们之间的均方误差，从五十次的结果中选取均方误差最小值时输出的纹理细节特征图，同理，从五十次的结果中选取均方误差最小值时输出的颜色信息特征图；将根据最小均方误差得到的纹理细节特征图和颜色信息特征图进行融合，得到融合图像作为最终的多曝光图像融合结果。
[0092]
本发明通过对多曝光图像使用光照一致性处理实现了将光照变化影响和运动变化影响进行分离即光照运动分离；通过稀疏编码处理，能够去除强烈光照变化的影响，更好的实现光照运动分离；并将独立成分分析应用于提取图像的颜色信息和纹理信息，更好的去除了光照运动未分离时造成的干扰，提取的图像特征更加清晰；本发明提出光照运动分
离概念，分别处理光照变化和运动变化，减少了干扰，融合图像包含了更多的颜色信息和纹理信息，具有广阔的应用前景。
[0093]
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。