一种不需要多曝光融合的强光抑制和暗光增强方法与流程

1.本发明属于图像处理技术领域，特别涉及一种不需要多曝光融合的强光抑制和暗光增强方法。


背景技术：

2.随着图像相关技术的快速发展，图像技术广泛应用于巡检、交通、安防等多个领域，故成像效果对这些应用起着至关重要的作用；当前多曝光图像融合的主要方法包含：基于wdr（宽动态范围）的多曝光融合，hdr（高动态范围）图像生成等，这些方法虽然可以一定程度上改善过曝和低曝带来的部分细节缺失，但在硬件成本（如计算资源、高帧率成像设备）上的缺陷都会一定程度上限制这些方法的使用范围，因而现有的技术还有待于改进。


技术实现要素：

3.发明目的：为了克服以上不足，本发明的目的是提供一种不需要多曝光融合的强光抑制和暗光增强方法，基于对图像的伽马校正，然后通过带有权重的拉普拉斯图像金字塔进行融合，可以显著增强图像局部内容对比度，使整体亮度更加均衡且亮度过度更加平滑，有效提高图像处理的效果。
4.技术方案：为了实现上述目的，本发明提供了一种不需要多曝光融合的强光抑制和暗光增强方法，包括：s1：对输入的单张原始图像，采用多伽马因子进行图像校正，得到不同整体亮度范围的图像；s2：对各伽马校正后得到不同整体亮度范围的图像计算出各图像不同像素位置的权重图，以及对应权重图的高斯金字塔；s3：对各伽马校正后的每一张结果图像分别进行下采样生成拉普拉斯图像金字塔；s4：对于步骤s2中各金字塔层级多张图像相应的权重图进行标准化，并对步骤s3中各拉普拉斯图像金字塔层级内的多张图像进行加权融合；s5：根据权重融合后得到的拉普拉斯图像金字塔进行最终普拉斯图像金字塔层级图像融合，获取最终强光抑制和暗光增强的结果图。
5.本发明所述不需要多曝光融合的强光抑制和暗光增强方法，基于对图像的伽马校正，根据校正后的图像计算出各个图像不同像素位置的权重图，以及对应权重图的高斯金字塔，然后通过带有权重的拉普拉斯图像金字塔进行融合，可以显著增强图像局部内容对比度，使整体亮度更加均衡且亮度过度更加平滑，有效提高图像处理的效果。
6.其中，所述的不需要多曝光融合的强光抑制和暗光增强方法，所述步骤s1中多伽马因子进行图像校正，可定义为幂律表达式如下：；其中v
in
是输入值；v
out
为经过校正后的输出值；γ为伽马因子；vin为当前位置像素值，其像素值取值区间为[0，255]；
校正过程中，通过调整伽马因子使图像中不同像素值区间的区分度更加明显，采用某一固定数值的伽马因子对图像进行校正时，会对图像中某一像素值区间进行区分度的增强，从而通过调整伽马因子的数值可以获得一组原始图像中不同像素值区间分别被增强区分度的图像。
[0007]
本发明所述的不需要多曝光融合的强光抑制和暗光增强方法，所述步骤s2中对各伽马校正后得到不同整体亮度范围的图像计算出各图像不同像素位置的权重图，以及对应权重图的高斯金字塔的具体方法如下： s21：计算出各图像不同像素位置的权重图，即将色彩饱和度、对比度、曝光性多个方面的权重指标融合带入公式得到当前图像的权重图；s22：根据设定的图像金字塔层数，每一次权重图生成时先对当前权重图的高宽进行扩展，再采用高斯核对当前权重图进行卷积，对卷积计算的结果图去除偶数行和列，这样可以获得一个高宽为当前权重图1/2倍的高斯金字塔上层权重图，即下采样权重图；直至整个高斯权重图金字塔生成完毕。
[0008]
本发明所述的不需要多曝光融合的强光抑制和暗光增强方法，所述步骤s21中计算出各图像不同像素位置的权重图的具体方法如下：；其中，c、s、e分别为对比度、饱和度、曝光性；wc，ws，we为对比度、饱和度、曝光性相应的加权指数；公式中下标ij，k是指第k幅图像中的像素(i,j)；为图像不同像素位置的权重图；依据此方法计算得到当前图像的权重图。
[0009]
本发明所述的不需要多曝光融合的强光抑制和暗光增强方法，所述步骤s22中高斯权重图金字塔的生成方法如下：g
i 1 =down（gik5×5）；其中，gi表示第i层高斯金字塔图像；k5×5为5x5的高斯卷积核；g
i 1
表示第i 1层高斯金字塔图像；表示卷积运算；down表示向下采样；去除图像中的偶数行和偶数列，得到原图高宽1/2倍的高斯金字塔上层权重图。
[0010]
本发明所述的不需要多曝光融合的强光抑制和暗光增强方法，所述步骤s3中对各伽马校正后的每一张结果图像分别进行下采样生成拉普拉斯图像金字塔的具体方法如下： s31：根据设定的图像金字塔层数，采用步骤s22同样的方法，每一次图像生成可以获得一个高宽为当前图像1/2倍的高斯金字塔上层图像，然后直到整个高斯图像金字塔生成完毕；s32：根据由高斯金字塔的最顶层图像开始，从尺寸最小的图像开始，先对当前图像的行列均间隔插入相同数量数值为0的行列，生成的图像行和列扩展为当前图像的2倍，然后对扩展后的图像进行高斯核卷积，得到上采样完成的图像；然后直到整个高斯金字塔的上采样图像生成完毕；s33：针对高斯金字塔每一层，将当前层的下采样图像与上采样图像作差，即可获得当前层的拉普拉斯图像，直至金字塔所有层的拉普拉斯图像生成完毕，即完成了拉普拉斯图像金字塔的生成。
[0011]
所述步骤s32中得到上采样完成的图像中具体的上采样方法如下：
；式中，表示第i 1层高斯金字塔图像经过上采样后得到的第i层高斯金字塔图像；表示第i 1层高斯金字塔图像；为5x5的高斯卷积核；表示卷积运算；up表示在图像的行列均间隔插入相同数量数值为0的行列。
[0012]
本发明中所述的不需要多曝光融合的强光抑制和暗光增强方法，所述步骤s33中拉普拉斯图像金字塔的生成方法如下：；式中，l
i 为第i层拉普拉斯图像；gi表示第i-1层高斯金字塔图像经过步骤s22下采样得到的第i层高斯金字塔图像；g
i’表示第i 1层高斯金字塔图像经过步骤s32上采样后得到的第i层高斯金字塔图像；处理过程中将原图像在每个方向扩大为原来的两倍，新增的行和列以0填充，得到原图高宽2倍的图像。
[0013]
本发明所述的不需要多曝光融合的强光抑制和暗光增强方法，所述步骤s4，对各拉普拉斯金字塔层级中不同伽马校正生成的结果图进行加权融合，具体步骤包括：s41：对于每个金字塔层级中由不同伽马校正图像权重图下采样生成的高斯权重图，先对多个伽马校正图像生成的权重图进行标准化，标准化方式如下： ；其中，下标中ij为对应像素位置，k为融合的第k个图像；为第k个图像像素（i,j）位置的权重值，为n个权重图在（i,j）位置的权重值之和，为依此方法得到各拉普拉斯图像在（i,j）位置对应的标准化后的权重值；s42：然后根据该金字塔层级中的多个拉普拉斯图像和各自标准化后的权重图进行加权平均，生成当前金字塔层级的拉普拉斯加权融合图像，融合方法公式如下：
ꢀꢀ
；其中，下标中ij为对应像素位置，k为融合的第k个图像；为所有金字塔层级的拉普拉斯加权融合后图像（i,j）位置的像素值，表示拉普拉斯金子塔中第i层级的第k张拉普拉斯图像（i,j）位置的像素值；表示高斯金字塔中第i层级标准化后的第k张权重图（i,j）位置的权重值；将金字塔第i层级的n张拉普拉斯图像按权重图进行求和，即得到加权融合后的拉普拉斯图像；按此方法，依次计算生成所有金字塔层级的拉普拉斯加权融合图像。
[0014]
本发明所述的不需要多曝光融合的强光抑制和暗光增强方法，所述s5根据权重融合后得到的拉普拉斯图像金字塔进行最终多金字塔层级图像融合，获取最终强光抑制和暗光增强的结果图的具体方式如下：对于各金字塔层级加权融合后的拉普拉斯图像金字塔，由最顶层开始，每一次生成采用步骤s32同样的上采样方法生成下一层级的高斯金字塔结果图，再将生成的高斯金字塔结果图与下一层级的拉普拉斯图像各像素位置求和，即可以得到下一金字塔层级的高斯金字塔结果图，融合方法公式如下：g
n = l
n up(g
n 1
)；其中，gn为第n层高斯金字塔结果图；g
n 1
为第n 1层高斯金字塔结果图；ln为第n层拉普拉斯金字塔结果图；up(g
n 1
) 为采用步骤s32同样的上采样方法生成的高斯金字塔结果图；依此方法直至生成原始图像尺寸大小的融合图像，该融合图像中局部细节对比度更加明显，各局部区域亮度更加均衡。
[0015]
上述技术方案可以看出，本发明具有如下有益效果：1、本发明所述的一种不需要多曝光融合的强光抑制和暗光增强方法基于对图像的伽马校正，然后通过带有权重的拉普拉斯图像金字塔进行融合，可以显著增强图像局部内容对比度，使整体亮度更加均衡且亮度过度更加平滑，有效提高图像处理的效果。
[0016]
2、本发明所述的一种不需要多曝光融合的强光抑制和暗光增强方法，其基于连续调整伽马因子数值然后对原始图像进行伽马校正的方法，节省了多曝光连续拍摄的硬件成本和耗时，可以将原始图像中不同像素值区间的图像内容进行区分度加强，使得在不同的校正结果图中可以改善原始图中不同亮度区域的内容辨识度。
[0017]
3、本发明通过对多张不同伽马因子校正后的图像进行拉普拉斯图像金字塔加权融合，可以较大程度地融合不同伽马校正结果图中亮度更加均衡的图像内容，使得融合图像的整体亮度更加均衡，内容辨识度较高且亮度过度更加自然，达到强光抑制和弱光增强的目的，改善图像的显示效果。
附图说明
[0018]
图1为本发明中的原图；图2为本发明中不同伽马因子校正后的图片；图3a为本发明中拉普拉斯金字塔第六层（最顶层）图像；图3b为本发明中拉普拉斯金字塔第五层图像；图3c为本发明中拉普拉斯金字塔第四层图像；图3 d拉普拉斯金字塔第三层图像；图3e拉普拉斯金字塔第二层图像；图3f拉普拉斯金字塔第一层（最底层）图像；图4为本发明中拉普拉斯金字塔融合结果图。
具体实施方式
[0019]
下面结合附图和具体实施例，进一步阐明本发明。
实施例
[0020]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0021]
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0022]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上，除非另有明确的限定。
[0023]
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0024]
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0025]
实施例1本实施例所述的一种不需要多曝光融合的强光抑制和暗光增强方法，包括：s1：对输入的单张原始图像，采用多伽马因子进行图像校正，得到不同整体亮度范围的图像；s2：对各伽马校正后得到不同整体亮度范围的图像计算出各图像不同像素位置的权重图，以及对应权重图的高斯金字塔；s3：对各伽马校正后的每一张结果图像分别进行下采样生成拉普拉斯图像金字塔；s4：对于步骤s2中各金字塔层级多张图像相应的权重图进行标准化，并对步骤s3中各拉普拉斯图像金字塔层级内的多张图像进行加权融合；s5：根据权重融合后得到的拉普拉斯图像金字塔进行最终多金字塔层级图像融合，获取最终强光抑制和暗光增强的结果图。
[0026]
需要说明的是，步骤s4中用到的权重图为s2中生成的高斯金字塔，先对多个不同曝光图像的权重图高斯金字塔进行标准化，结合s3中多个不同曝光图像的拉普拉斯金字塔，加权计算融合为一个拉普拉斯图像金字塔。
[0027]
本实施例中所述的不需要多曝光融合的强光抑制和暗光增强方法，所述步骤s1中多伽马因子进行图像校正，可定义为幂律表达式如下： ；其中v
in
是输入值；v
out
为经过校正后的输出值；γ为伽马因子；v
in
为当前位置像素值，其像素值取值区间为[0，255]；需要说明的是，此处输入和输出均为该图像位置的像素值；校正过程中，通过调整伽马因子使图像中不同像素值区间的区分度更加明显，采用某一固定数值的伽马因子对图像进行校正时，会对图像中某一像素值区间进行区分度的增强，从而通过调整伽马因子的数值可以获得一组原始图像中不同像素值区间分别被增强区分度的图像。
[0028]
本实施例中所述的不需要多曝光融合的强光抑制和暗光增强方法，所述步骤s2中对各伽马校正后得到不同整体亮度范围的图像计算出各图像不同像素位置的权重图，以及对应权重图的高斯金字塔的具体方法如下： s21：计算出各图像不同像素位置的权重图，即将色彩饱和度、对比度、曝光性多个方面的权重指标融合带入公式得到当前图像的权重图；s22：根据设定的图像金字塔层数，每一次权重图生成时先对当前权重图的高宽进行扩展，再采用高斯核对当前权重图进行卷积，对卷积计算的结果图去除偶数行和列，这样可以获得一个高宽为当前权重图1/2倍的高斯金字塔上层权重图，即下采样权重图；直至整个高斯权重图金字塔生成完毕。
[0029]
需要说明的是，步骤s22中“每一次权重图生成时先对当前权重图的高宽进行一定规则的扩展”，其中的扩展即为边界像素值填充，由于使用了卷积计算，为了保证卷积计算后的图尺寸大小与原图保持一致，需对边界进行像素填充，常用的边界像素填充方法一般有几种，如复制填充，对称填充，固定值填充等等。
[0030]
步骤s22中“采用高斯核对当前权重图进行卷积，对卷积计算的结果图去除偶数行和列”中卷积的具体过程为使用5x5的卷积核对扩展后的图进行点积计算，结果作为图中当前卷积核中心位置的值，并将处理后的结果图中的偶数行和列直接删除。
[0031]
本实施例中所述的不需要多曝光融合的强光抑制和暗光增强方法，所述步骤s21中计算出各图像不同像素位置的权重图的具体方法如下：；其中，c、s、e分别为对比度、饱和度、曝光性；wc，ws，we为对比度、饱和度、曝光性相应的加权指数；公式中下标ij，k是指第k幅图像中的像素(i,j)；为图像不同像素位置的权重图；依据此方法计算得到当前图像的权重图。
[0032]
本实施例中所述不需要多曝光融合的强光抑制和暗光增强方法，所述步骤s22中高斯权重图金字塔的生成方法如下：g
i 1 =down（gik5×5）；其中，gi表示第i层高斯金字塔图像；k5×5为5x5的高斯卷积核；g
i 1
表示第i 1层高斯金字塔图像；表示卷积运算；down表示向下采样；去除图像中的偶数行和偶数列，得到原图高宽1/2倍的高斯金字塔上层权重图。
[0033]
本实施例中所述的不需要多曝光融合的强光抑制和暗光增强方法，所述步骤s3中对各伽马校正后的每一张结果图像分别进行下采样生成拉普拉斯图像金字塔的具体方法如下：s31：根据设定的图像金字塔层数，采用步骤s22同样的方法，每一次图像生成可以获得一个高宽为当前图像1/2倍的高斯金字塔上层图像，然后直到整个高斯图像金字塔生成完毕；s32：根据由高斯金字塔的最顶层图像开始，从尺寸最小的图像开始，先对当前图像的行列均间隔插入相同数量数值为0的行列，生成的图像行和列扩展为当前图像的2倍，然后对扩展后的图像进行高斯核卷积，得到上采样完成的图像；然后直到整个高斯金字塔的上采样图像生成完毕；s33：针对高斯金字塔每一层，将当前层的下采样图像与上采样图像作差，即可获得当前层的拉普拉斯图像，直至金字塔所有层的拉普拉斯图像生成完毕，即完成了拉普拉斯图像金字塔的生成。
[0034]
所述步骤s32中得到上采样完成的图像中具体的上采样方法如下：；式中，表示第i 1层高斯金字塔图像经过上采样后得到的第i层高斯金字塔图像；表示第i 1层高斯金字塔图像；为5x5的高斯卷积核； 表示卷积运算；up表示在图像的行列均间隔插入相同数量数值为0的行列。需要说明的是，此处高斯金字塔图像是多张不同曝光图片分别经过自身采样生成的金字塔图像。
[0035]
需要说明的是，此处金字塔图像为多张不同曝光图片分别经过自身采样生成的金字塔图像。
[0036]
本实施例中所述的不需要多曝光融合的强光抑制和暗光增强方法，所述步骤s33中拉普拉斯图像金字塔的生成方法如下：；式中l
i 为第i层拉普拉斯图像；gi表示第i-1层高斯金字塔图像经过步骤s22下采样得到的第i层高斯金字塔图像；g
i’表示第i 1层高斯金字塔图像经过步骤s32上采样后得到的第i层高斯金字塔图像；处理过程中将原图像在每个方向扩大为原来的两倍，新增的行和列以0填充，得到原图高宽2倍的图像。
[0037]
本实施例中所述的不需要多曝光融合的强光抑制和暗光增强方法，所述步骤s4，对各拉普拉斯金字塔层级中不同伽马校正生成的结果图进行加权融合，具体步骤包括：s41：对于每个金字塔层级中由不同伽马校正图像权重图下采样生成的高斯权重图（需要说明的是多个权重图在同一像素位置的权重和为1），先对多个伽马校正图像生成的权重图进行标准化，标准化方式如下：；其中，下标中ij为对应像素位置，k为融合的第k个图像；为第k个图像像素
（i,j）位置的权重值，为n个权重图在（i,j）位置的权重值之和，为依此方法得到各拉普拉斯图像在（i,j）位置对应的标准化后的权重值；s42：然后根据该金字塔层级中的多个拉普拉斯图像和各自标准化后的权重图进行加权平均，生成当前金字塔层级的拉普拉斯加权融合图像，融合方法公式如下：；其中，下标中ij为对应像素位置；k为融合的第k个图像；为所有金字塔层级的拉普拉斯加权融合后图像（i,j）位置的像素值，表示拉普拉斯金子塔中第i层级的第k张拉普拉斯图像（i,j）位置的像素值；表示高斯金字塔中第i层级标准化后的第k张权重图（i,j）位置的权重值；将金字塔第i层级的n张拉普拉斯图像按权重图进行求和，即得到加权融合后的拉普拉斯图像；按此方法，依次计算生成所有金字塔层级的拉普拉斯加权融合图像。
[0038]
本实施例中所述的不需要多曝光融合的强光抑制和暗光增强方法，所述s5根据权重融合后得到的拉普拉斯图像金字塔进行最终多金字塔层级图像融合，获取最终强光抑制和暗光增强的结果图的具体方式如下：对于各金字塔层级加权融合后的拉普拉斯图像金字塔，由最顶层开始，每一次生成采用步骤s32同样的上采样方法生成下一层级的高斯金字塔结果图，再将生成的高斯金字塔结果图与下一层级的拉普拉斯图像各像素位置求和，即可以得到下一金字塔层级的高斯金字塔结果图，融合方法公式如下：gn=ln up(g
n 1
)；其中，gn为第n层高斯金字塔结果图；g
n 1
为第n 1层高斯金字塔结果图；ln为第n层拉普拉斯金字塔结果图；up(g
n 1
)为采用步骤s32同样的上采样方法生成的高斯金字塔结果图；需要说明的是本方案中的图像是同一金字塔层级多张不同图像加权融合后的结果图；依此方法直至生成原始图像尺寸大小的融合图像，该融合图像中局部细节对比度更加明显，各局部区域亮度更加均衡。
[0039]
本步骤s5中的高斯金字塔结果图为本实施例中步骤s4加权融合后的拉普拉斯金字塔计算生成的，与文中其他金字塔不相关。需要说明的是，该公式的gn、ln的计算方式与在前的gi’和li的计算方式相同，在此不再赘述。
[0040]
实施例2结合具体的图像对本案中的不需要多曝光融合的强光抑制和暗光增强方法对图像处理的效果进行说明。
[0041]
如图1所示，其是一张待融合处理的图片，其中部分区域存在亮度过亮或过暗的情况，导致该局部区域的内容区分度较差。
[0042]
对输入的单张原始图像，采用多伽马因子进行图像校正，得到不同整体亮度范围
的图像；即通过调整伽马因子使图像中不同像素值区间的区分度更加明显，采用某一固定数值的伽马因子对图像进行校正时，会对图像中某一像素值区间进行区分度的增强，从而通过调整伽马因子的数值可以获得一组原始图像中不同像素值区间分别被增强区分度的图像；经过上述处理后，可以得到如图2所示的图像，即通过不同伽马校正因子取值校正后的图片，通过连续调整伽马因子，可以增强原始图像中不同像素值区间的内容对比度；如图3a、图3b、图3c、图3d、图3e至图3f所示，是各金字塔层级内拉普拉斯加权融合图，对于单张伽马校正的图像，最顶层（图3a）为高斯金字塔的最顶层图像，最底层（图3f）为伽马校正的结果图，随着金字塔层级的升高（从上往下），每一层拉普拉斯图像金字塔等于该层的高斯金字塔图像与上一层高斯金字塔图像（下方）按s32步骤上采样结果图的差值，保存的内容为改层高斯金字塔图像的细节内容（即拉普拉斯图像），然后对各金字塔层级内的多张拉普拉斯图像按照标准化后的权重图进行加权融合。
[0043]
如图4所示，是将图3a、图3b、图3c、图3d、图3e至图3f中拉普拉斯金子塔加权融合图像，从最顶层开始（最上方图像）从上往下进行按步骤s32上采样，然后将上采样的结果图与当前层的拉普拉斯融合图按像素位置求和，直至运算到拉普拉斯金字塔最底层，求得与原始图像尺寸大小相同的拉普拉斯金字塔图像融合结果图。
[0044]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进也应视为本发明的保护范围。