一种多曝光图像融合在多能流平台上的监管方法

1.本发明属于图像处理技术领域，具体属于图像处理在多能流平台上进行监管的技术领域。


背景技术：

2.数字图像是人们获取外部信息的主要来源之一，但是随着数字图像技术的快速发展，人们对数字图像质量的要求也在不断提高。多曝光图像融合可以满足人们对于图像质量的要求。多曝光图像融合算法是通过一些特定的权重衡量因子对多曝光图像序列中像素点的重要程度进行衡量，构造融合权重并进行滤波优化。然后根据融合权重的指标，提取图像序列中的细节信息，再与图像序列进行加权融合，得到最终的融合图像。
3.目前用于电网的监管方式非常的多，但都是通过摄像头直接提取信息，但是在外部环境很有可能被光照强度干扰，造成信息缺失的问题，在多能流平台上，可能会因为曝光强度过低的问题，使我们对多能流平台上的信息，如热能电能转换显示器、储能电能显示、风能显示等装置，用来监测能量转换设备信息；或者监测多能流平台环境，是否正常工作等方面。对于多曝光图像融合来融合成高质量的图像，得到较好的信息，再进行下一步图像处理。应用多曝光图像融合技术，可以更加准确的监测多能流平台环境信息。
4.因此对于准确的获取多能流平台上的信息应用一种多曝光图像融合在多能流平台上的监管方法是非常有必要的。
5.经过检索，申请公开号cn111429368a，一种自适应细节增强和鬼影消除的多曝光图像融合方法，包括：获取ldr图像序列；基于所述ldr图像序列的信号强度和曝光强度构造权重图；对所述ldr图像序列进行运动检测，得到静态图像序列；基于所述权重图和所述静态图像序列得到融合图像金字塔；对所述融合图像金字塔进行自适应增强；对自适应增强后的图像进行拉普拉斯重构，得到融合图像rfinal。本发明能保留更多图像细节信息，使得融合图像更加清晰，本发明能有效检测与消除鬼影，本发明可应用与各类场景的高动态成像中。
6.以上发明是通过得到ldr图像序列之后，应用金字塔图像融合的方式即应用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的预测图像，得到一系列的差值图像即为lp分解图像，但是应用金字塔图像融合，高分辨率变为低分辨率的图像；而且由于下采样过程会丢失信息，所以对降采样后的图像进行上采样重建时会发现，重建后的图像变得模糊，同时金字塔融合计算量比较大，实时性不高；本发明通过在像素级上的融合将分别在yuv通道上的融合，选取的融合权重易计算，且如果在环境中光线较暗时，可以调整ldr序列亮度，得到更多的图像信息，其融合方式采用加权融合，计算简单，速度快，时性高，提高融合质量。


技术实现要素：

7.本发明旨在解决以上现有技术的问题。提出了一种多曝光图像融合在多能流平台
上的监管方法。本发明的技术方案如下：
8.一种多曝光图像融合在多能流平台上的监管方法，其包括以下步骤：
9.101、初始化图像，将不同曝光度的图片进行读取然后将rgb色域图上的转换为yuv色域，通过双边滤波对图像进行分解，进行图像预处理；
10.102、分别在y、u、v通道进行权重的计算，在y通道采用对曝光适度评价、对比度因子以及色度因子的乘积作为权重，在u、v通道采用u、v的最大值及其对比度的因子作为权重，然后得到其权重；
11.103、把灰度图作为引导图，图权重图进行引导滤波，最后在二尺度上进行图像加权融合；
12.104、对输入的多曝光图像序列曝光度不够，则需要对图像进行亮度调整后，再对图像进行图像融合；
13.105、将融合后的图像进行传送，传送至控制中心，并对其进行下一步处理。
14.进一步的，所述步骤101初始化图像，将不同曝光度的图片进行读取然后将rgb色域图上的转换为yuv色域，通过双边滤波对图像进行分解，进行图像预处理，具体包括：每张图片在rgb色域上都有三个通道，通过色域转换公式将其转换到yuv色域上，基于变换域的图像融合，将不同曝光的图像分别进行处理，应用
15.转换到yuv色域上，并对图像进行双边滤波
16.i、j、k、l分别表示为该图像的像素点；f(k,l)、g(i,j)分别表示参照像素点的值和应用双边滤波后的像素值；w(i,j,k,l)表示权重系数；
17.应用高斯核，即分别考虑空间距离和欧式距离来进行保边滤波。
18.进一步的，所述应用高斯核，即分别考虑空间距离和欧式距离来进行保边滤波，具体包括：
19.高斯核即高斯函数，空间距离表示考虑空间域核，即二维高斯函数，可以把它视作高斯滤波，欧式距离，即像素域核就是衡量像素变化剧烈程度；空间域核计算方法为：其中σ为方差，像素域核的计算方法为
20.进一步的，所述步骤102根据对不同的曝光度序列在y、u、v通道进行权重的计算，在y通道对曝光适度评价和对比度因子以及色度因子的乘积作为权重，在u、v通道采用对比度和色度的因子作为权重，然后得到其融合权重，具体包括：
21.以像素的归一化像素值与0.5的接近程度评价曝光适度作为像素的融合权重分量：ii(x,y)表示第i幅图像中坐标为(x,y)处的像素值，u(x,y)表示场景中坐标为(x,y)处像素的最佳像素值，其中
μ(x,y)取0.5；表示为坐标为(x,y)的平均像素，n表示有n个曝光度不同的图像，σ表示为方差，权重因子β为细节信息与亮暗对比信息平衡参数；对比度因子应用c(i,j)＝|yk(i 1,j) yk(i-1,j) yk(i,j 1) yk(i,j-1)-4yk(i,j)|计算；
22.其中，c(i,j)表示为像素在(i，j)的对比度；yk(i 1,j)表示为在y通道上像素在(i 1，j)的像素值；yk(i-1,j)为在y通道上像素在(i-1，j)的像素值；yk(i,j 1)为在y通道上像素在(i,j 1)的像素值；yk(i,j-1)为在y通道上像素在(i，j-1)的像素值；yk(i,j)为在y通道上像素在(i，j)的像素值；
23.色度因子的因子的计算ek(i,j)＝|uk(i,j) ε|
×
|vk(i,j) ε|；其中ε是误差；
24.uk(i,j)表示为在u通道上像素在(i，j)的像素值；vk(i,j)表示为在v通道上像素在(i,j)的像素值；
25.对于y通道上的权重为y_w＝wk(i,j)
×
c(i,j)
×ek
(i,j)；对于u通道上的权重为u_w＝max_uv
×
c(i,j)
×
u(i,j)；其中max_uv表示为在u、v通道上的权重最大值；对于v通道上的权重为v_w＝max_uv
×
c(i,j)
×
v(i,j)；分别对y、u、v通道上的权重其进行归一化，得到融合权重。
26.进一步的，所述103步骤根据得到的灰度图作为引导滤波的引导图，引导图像、滤波输入图像和滤波输出图像分别表示为i、p和q，i是一个像素的索引，k是半径为r的局部方窗ω的索引；ωk为长宽为k的窗口；
27.pi为第i个滤波输入图像，为平均滤波输入图像；μk和σk为i在窗口k中的均值和方差，ε为控制平滑度的正则化参数，其输出为其中，和是a和b在i处的ωi窗口上的平均值。
28.进一步的，所述步骤103的权重图的获取具体包括：分别得到细节层的权重图和基层的权重图，应用细节层和权重图对图像序列进行加权融合：fi＝d_w
×
i_st b_w
×
b_st；其中d_w是细节层权重，i_st是获取的细节层，同理b_w是基层权重，b_st是获取的基层。
29.进一步的，所述步骤104对输入的多曝光图像序列曝光度不够，则需要对图像进行亮度调整后，再对图像进行图像融合，具体包括：
30.根据对曝光度不够，或者曝光过度，对亮度进行调整，设l'
med
为输入图像{l
′n}的中间亮度，利用l'
med
来分隔场景，p1、p2、
…
、pm由l'
med
的亮度范围等分m得到：
31.pm＝{θm≤l'
med
(p)≤θ
m 1
}，m表示划分为m的第m个区域；pm表示为第m个区域的亮度，θm表示为第m个区域的平均亮度。
32.本发明的优点及有益效果如下：
33.本发明创新的步骤主要是权利要求3，与权利要求7，根据对多曝光图像的融合权重进行选取，在像素级上，对图像y通道的权重，以及u、v通道上的权重选取，都具有创新性；
其他图像融合方式所取的融合权重大多是使用的是自适应金字塔融合或者其他具有计算量大，实时性低，这个发明方法计算方法亮度调整后，可以得到更多的信息，且对于融合权重的计算都非常简便，计算量小，融合融合后得到的信息量多、没有光晕、更有利于进行后续的对图像的分析。将调整图像的亮度与图像融合的方式配合使用，可以提高图像融合的质量。
附图说明
34.图1是本发明提供优选实施例的与各个其他融合算法的比较；
35.图2为本发明的图像融合算法；
36.图3为本发明的多能流平台监管系统图；
37.图4为本发明输入图像；
38.图5为本发明输出图像；
39.图6为本发明在多能流平台上的硬件连接图；
具体实施方式
40.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
41.本发明解决上述技术问题的技术方案是：
42.一种多曝光图像融合在多能流平台上的监管方法，其包括以下步骤：
43.101、初始化图像，在不同曝光度下对图像信息的获取程度不同，特别是在多能流平台上，在监视系统终端对于各个不同的设备进行信息获取时，不同的光照程度可能影响信息获取的不准确，所以要通过对不同曝光度的图片进行融合，提高信息获取的准确率，将不同曝光度的图片进行读取然后将rgb色域图上的转换为yuv色域，通过双边滤波对图像进行分解，进行图像预处理。
44.102、分别在y、u、v通道进行权重的计算，在y通道对曝光适度评价、对比度因子以及色度因子的乘积作为权重，在u、v通道采用u、v的最大值及其对比度的因子作为权重，然后得到其权重。
45.103、把灰度图作为引导图，图权重图进行引导滤波，最后在二尺度上进行图像加权融合。
46.104、对输入的多曝光图像序列曝光度不够，则需要对图像进行亮度调整后，再对图像进行图像融合。
47.105、将融合后的图像进行传送，传送至控制中心，并对其进行下一步处理。
48.优选的，所述步骤101中每张图片在rgb色域上都有三个通道，通过色域转换公式将其转换到yuv色域上，基于变换域的图像融合，将不同曝光的图像分别进行处理，应用转换到yuv色域上，并对
图像进行双边滤波应用高斯核，即分别考虑空间距离和欧式距离来进行保边滤波。
49.优选的，所述102步骤根据对不同的曝光度序列在y、u、v通道进行权重的计算，在y通道对曝光适度评价和对比度因子以及色度因子的乘积作为权重，在u、v通道采用对比度和色度的因子作为权重，然后得到其融合权重。以像素的归一化像素值与0.5的接近程度评价曝光适度作为像素的融合权重分量：其中其中μ(x,y)取0.5与该均值的加权和；权重因子β为细节信息与亮暗对比信息平衡参数；对比度因子应用c(i,j)＝|yk(i 1,j) yk(i-1,j) yk(i,j 1) yk(i,j-1)-4yk(i,j)|计算；色度因子的因子的计算ek(i,j)＝|uk(i,j) ε|
×
|vk(i,j) ε|；其中ε是误差
50.对于y通道上的权重为y_w＝wk(i,j)
×
c(i,j)
×ek
(i,j)；对于u通道上的权重为u_w＝max_uv
×
c(i,j)
×
u(i,j)；对于v通道上的权重为v_w＝max_uv
×
c(i,j)
×
v(i,j)；分别对y、u、v通道上的权重其进行归一化，得到融合权重。
51.优选的，所述103步骤根据得到的灰度图作为引导滤波的引导图，其中其中μk和σk为i在窗口k中的均值和方差，ε为控制平滑度的正则化参数。其输出为其中，和是a和b在i处的ωi窗口上的平均值。
52.优选的，权重图的获取，分别得到细节层的权重图和基层的权重图，应用细节层和权重图对图像序列进行加权融合：fi＝d_w
×
i_st b_w
×
b_st；其中d_w是细节层权重，i_st是获取的细节层，同理b_w是基层权重，b_st是获取的基层；
53.优选的，所述104步骤根据对曝光度不够，或者曝光过度，对亮度进行调整，设l'
med
为输入图像{l'n}的中间亮度，利用l'
med
来分隔场景，p1、p2、
…
、pm由l'
med
的亮度范围等分m得到：pm＝{θm≤l'
med
(p)≤θ
m 1
}，
54.本发明公开一种多曝光图像融合在多能流平台上的监管方法，包括：
55.(1)对图像进行亮度调整，包括三个部分:第一个部分是局部对比度增强；第二个部分是基于场景分割的亮度缩放和第三个部分是色调映射。第n个输入图像xn计算得到的亮度ln进行局部对比度增强，然后用基于场景分割的亮度调整的方法，根据亮度将像素集p分割为m个区域p1、p2、
…
、pm值，每个区域pm的亮度l
″m，然后通过缩放一组增强的亮度{l'm}得到。这里，缩放后的亮度m，即调整后的多次曝光图像的数量，通常与输入图像的数量n不
同此外，色调映射为了以避免像素值的截断适用于每一比例亮度l
″m。将映射的亮度与输入的图像{xn}结合生成调整后的图像亮度l
″n增强算法通过来定义；色调映射，像素集像素上亮度l的几何平均值g(l|pm)用下式来计算:)用下式来计算:
56.(2)对图像进行预处理并对图像进行分解，二尺度分解方式往往会将源图像分解为细节层和基础层，细节层类似于频域变换中的高频层，包含了源图像的边缘结构信息。基础层类似于频域变换中的低频层，包含源图像的背景信息。
57.(3)y、u、v通道进行权重的计算，在y通道对曝光适度评价和对比度因子以及色度因子的乘积作为权重，在u、v通道采用对比度和色度的因子作为权重，然后得到其融合权重。以像素的归一化像素值与0.5的接近程度评价曝光适度作为像素的融合权重分量：其中μ(x,y)取0.5与该均值的加权和；权重因子β为细节信息与亮暗对比信息平衡参数；对比度因子应用c(i,j)＝|yk(i 1,j) yk(i-1,j) yk(i,j 1) yk(i,j-1)-4yk(i,j)|计算；色度因子的因子的计算ek(i,j)＝|uk(i,j) ε|
×
|vk(i,j) ε|；其中ε是误差
58.对于y通道上的权重为y_w＝wk(i,j)
×
c(i,j)
×ek
(i,j)；对于u通道上的权重为u_w＝max_uv
×
c(i,j)
×
u(i,j)；对于v通道上的权重为v_w＝max_uv
×
c(i,j)
×
v(i,j)；分别对y、u、v通道上的权重其进行归一化，得到融合权重。
59.(4)运用导向滤波得到其融合权重，并根据融合权重对图像根据基层和细节层进行图像融合，并应用modbus总线将图像信息传输到主控到主控中心，进行下一步操作。
60.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
61.以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。