基于运动感知权重掩膜和伪曝光补偿的HDR图像重建方法

本发明涉及图像重建，具体地说，尤其涉及一种基于运动感知权重掩膜和伪曝光补偿的高动态范围图像重建方法。

背景技术：

1、高动态范围（high dynamic range，hdr）图像通常通过融合同一场景下多张不同曝光等级的图像来获取，以还原场景中丰富的明暗细节，因而广泛应用于数码摄影、视频监控、自动驾驶等领域。

2、然而，当场景中存在运动目标（如行人、车辆）时，各曝光图像中运动目标的位置不一致，直接融合易产生“鬼影”伪影，影响成像质量。同时，参考图像本身存在的欠曝光区域（阴影）与过曝光区域（高光），常因缺乏有效纹理信息而被误判为运动区域予以剔除，由于缺乏有效的跨曝光信息补偿，融合后这些区域仍为欠曝或过曝状态，造成阴影与高光细节的丢失。

3、因此，如何在有效抑制运动鬼影的同时，弥补参考图像极端曝光区域的信息缺失，是动态场景多曝光图像融合领域亟待解决的技术问题。

技术实现思路

1、本发明针对动态场景下多曝光图像融合中运动鬼影难以消除、以及参考图像欠曝光区域和过曝光区域被误判为运动区域导致融合后仍存在曝光失真的问题，提供一种基于运动感知权重掩膜和伪曝光补偿的hdr图像重建方法，结合基于块结构相似度的运动感知权重掩膜与直方图匹配伪曝光补偿技术，实现了高动态范围图像重建。

2、为了实现上述目的，本发明所采用的技术方案如下：

3、一种基于运动感知权重掩膜和伪曝光补偿的hdr图像重建方法，包括以下步骤：

4、从多曝光图像序列中选择参考图像，对各曝光图像与参考图像进行块结构相似度分析，得到各曝光图像相对于参考图像的结构相似度矩阵；

5、根据各曝光图像相对于参考图像的结构相似度矩阵，对各曝光图像中的运动区域进行检测和标注，生成各曝光图像的运动检测图；

6、对各曝光图像的运动检测图进行处理，得到权重掩膜，采用直方图匹配方法，以参考图像为输入、曝光图像为目标，生成伪曝光图像；

7、基于权重掩膜，将各曝光图像与其对应的各伪曝光图像进行加权融合，生成与各曝光图像对应的潜在图像；

8、根据多个维度指标分别对各潜在图像进行质量评估，将多个维度的质量评估结果进行相乘并归一化，得到各潜在图像的融合权重；

9、根据各潜在图像的融合权重，采用多分辨率融合策略，对各潜在图像进行加权融合，获得hdr图像。

10、进一步地，从多曝光图像序列中选择参考图像，具体为：

11、首先将多个不同曝光度的曝光图像按照亮度值进行排序，确保多曝光图像序列中的曝光图像按照亮度值从暗到亮排列；

12、然后对多曝光图像序列中的每幅曝光图像进行窗口卷积操作，采用指定大小的卷积窗口计算各像素的局部平均亮度值，统计每幅曝光图像中欠曝光像素和过曝光像素的总数量，根据欠曝光像素和过曝光像素的总数量，进行曝光图像的曝光质量评分；

13、最后选择曝光质量评分最低的曝光图像，即欠曝光像素和过曝光像素最少的曝光图像，作为参考图像。

14、进一步地，对各曝光图像与参考图像进行块结构相似度分析，得到各曝光图像相对于参考图像的结构相似度矩阵，具体为：

15、设定块尺寸大小，对参考图像和当前曝光图像分别进行局部均值滤波，计算块内的均值、方差和协方差，进而计算块级的结构相似度；

16、将结构相似度计算结果限制在[-1,1]范围内，得到各曝光图像相对于参考图像的结构相似度矩阵。

17、进一步地，根据各曝光图像相对于参考图像的结构相似度矩阵，对各曝光图像中的运动区域进行检测和标注，生成各曝光图像的运动检测图，具体为：

18、设置一个阈值区分静态像素和运动像素，遍历结构相似度矩阵中的每一个块结构相似度值，当块结构相似度值大于该阈值时，判定该块对应的区域为静止区域，反之，判定为运动区域，据此生成各曝光图像的运动检测图。

19、进一步地，各曝光图像进行运动检测前，对参考图像的极端曝光区域标进行强制静止处理，具体为：

20、首先识别参考图像中的欠曝光区域和过曝光区域，将欠曝光区域和过曝光区域标记为强制静止区域；

21、在各曝光图像运动检测中，对于落在强制静止区域内的像素位置，无论其与参考图像是否存在运动，均直接采用该曝光图像对应位置的像素值，不再进行结构相似度的运动检测判断。

22、进一步地，对各曝光图像的运动检测图进行处理，得到权重掩膜，具体为：

23、在获得运动检测图后，采用指定大小的膨胀核对运动区域进行形态学膨胀，扩大运动区域的边界，消除误检和边界伪影；最后，对膨胀后的运动检测图进行指定标准差的高斯平滑滤波，将硬边界柔和化，得到权重掩膜图；权重掩膜图以连续数值表示各像素的静止置信度，其中1表示静止，0表示运动。

24、进一步地，采用直方图匹配方法，以参考图像为输入、曝光图像为目标，生成伪曝光图像，具体为：

25、将原始的 n张曝光图像扩展至张，其中 n张为原始曝光图像；对于非参考图像的每张曝光图像，以参考图像为源图像，以曝光图像的直方图分布为目标，采用直方图匹配算法将参考图像的像素强度映射到目标曝光的直方图分布，生成伪曝光图像；伪曝光图像保留参考图像的内容特征，包括物体形状、细节纹理和运动状态，同时具备与曝光图像相同的曝光水平和亮度分布，生成的伪曝光图像经过像素值截断处理，确保输出值域在[0,1]范围内。

26、进一步地，基于权重掩膜，将各曝光图像与其对应的各伪曝光图像进行加权融合，生成与各曝光图像对应的潜在图像，具体为：

27、对于参考图像，其潜在图像即为自身；对于非参考图像的每张曝光图像，以权重掩膜为融合权重，逐像素合成潜在图像；在静止区域，潜在图像保留原始曝光图像的真实内容；在运动区域，潜在图像以伪曝光图像替代。

28、进一步地，根据多个维度指标分别对各潜在图像进行质量评估，将多个维度的质量评估结果进行相乘并归一化，得到各潜在图像的融合权重，具体为：

29、对各潜在图像从对比度、饱和度和曝光适中度三个维度分别进行质量评估，并将三个维度的质量评估结果逐点相乘并归一化，得到各潜在图像在每一像素位置的融合权重；

30、将潜在图像转换为灰度图后，采用拉普拉斯算子对灰度图进行滤波，取其滤波响应的绝对值作为各像素的对比度质量评估值；

31、对各潜在图像的r、g、b三通道，计算三通道像素值相对于其均值的标准差作为饱和度质量评估值：

32、采用以中间曝光值为中心的高斯函数对各通道归一化像素值进行评估，得到曝光适中度质量评估值；

33、将对比度、饱和度、曝光适中度三个维度的质量评估值逐点相乘，得到各潜在图像的综合质量权重：

34、随后在像素维度上对所有潜在图像的综合质量权重进行归一化，得到各潜在图像的融合权重。

35、进一步地，根据各潜在图像的融合权重，采用多分辨率融合策略，在不同尺度上对各潜在图像进行加权融合，获得hdr图像，具体为：

36、根据潜在图像的空间分辨率自适应确定金字塔层数 k：

37、对每张潜在图像构建 k层拉普拉斯金字塔，对应的归一化融合权重图构建k层高斯金字塔，并在每一层对所有潜在图像的融合权重进行归一化：

38、在金字塔的每一层上，对所有潜在图像的拉普拉斯系数进行加权叠加：

39、最后从融合金字塔的最顶层出发，逐层上采样并叠加对应层的拉普拉斯系数，完成图像重建，并将像素值截断至 [0,1] 范围内，得到无伪影干扰的高动态范围重建结果。

40、与现有技术相比，本发明采用块级结构相似度运动检测机制，精确识别运动区域边界，构建运动感知自适应权重掩膜，配合形态学膨胀与高斯平滑处理，在有效消除鬼影伪影的同时，完整保留静止区域的纹理细节。

41、本发明将参考图像中的欠曝光区域和过曝光区域在运动检测阶段即标记为强制静止区域，避免其被误判为运动区域。同时，通过直方图匹配伪曝光补偿技术，生成与各曝光图像相匹配的伪曝光图像，使这些极端曝光区域能够从其他曝光图像获取有效信息，从而在融合结果中还原阴影和高光细节，充分发挥多曝光融合的宽动态范围优势。

42、本发明综合考虑图像对比度、色彩饱和度与曝光适中度对融合权重分配的协同作用，结合对比度质量评估、饱和度质量评估、曝光适中度质量评估与多分辨率拉普拉斯金字塔加权融合策略进行图像重建，确保融合结果在亮度、色彩和细节层面均达到最优平衡。

43、本发明有效消除了动态场景中运动物体引入的鬼影伪影，同时解决了参考图像欠曝光区域和过曝光区域信息缺失导致的局部曝光失真问题，精确生成了细节丰富、过渡自然的高动态范围图像，具有重要的理论、实践意义和推广应用价值。