一种镜头炫光去除方法、电子设备、存储介质及程序产品与流程

本技术涉及图像处理，具体而言，涉及一种镜头炫光去除方法、电子设备、存储介质及程序产品。

背景技术：

1、在逆光、强光源入射或画面内同时存在高亮区域和暗部区域时，镜头内部的反射、散射和透射杂散光可能在图像传感器上形成附加光分量。该附加光分量常表现为覆盖较大范围且变化缓慢的雾状炫光，使暗部被抬亮、局部对比度降低，并削弱物体边缘和纹理的层次。

2、相关图像处理方法通常采用全局或局部对比度增强、直方图调整、retinex处理、去雾或基于训练数据的恢复网络改善该类图像。上述方法能够提升视觉对比度，但其处理目标通常是整体亮度分布或大气散射模型，未必显式分离由镜头光路产生的附加炫光分量。

3、镜头雾状炫光具有两个可利用的图像先验。其一，在自然图像的局部邻域中，至少一个颜色通道或亮度样本常具有较低响应，可利用局部最小值估计覆盖在真实信号上的缓变附加光。其二，镜头炫光通常由画面中的真实明亮物体或强光源经镜头散射形成，其强度与图像亮区参考亮度具有相关性。

4、总的来说，目前需要一种能够从单帧图像中直接估计镜头炫光分量的方法，将暗通道先验与亮区参考亮度约束结合，使炫光估计既反映局部低频光幕，又受到真实亮区能量的限制。另外，还需要使估计得到的炫光分量在空间上连续，并在扣除炫光后依据同一亮区参考恢复亮度和对比度，从而形成从炫光估计、幅度约束、空间连续化到图像恢复的完整数据处理链路。

技术实现思路

1、本技术实施例的目的在于提供一种镜头炫光去除方法、电子设备、存储介质及程序产品，用以实现高效去除镜头炫光的技术效果。

2、本技术实施例第一方面提供了一种镜头炫光去除方法，所述方法包括：

3、获取通过镜头采集的输入图像；

4、针对所述输入图像，在像素的局部邻域内计算至少一个颜色通道的最小响应值，得到暗通道图；

5、根据所述暗通道图生成初始炫光估计图；所述初始炫光估计图用于表征叠加在真实场景信号上的镜头炫光分量的空间分布；

6、根据所述输入图像中的高亮区域估计亮区参考值；

7、利用所述亮区参考值构造炫光幅度上限，将所述初始炫光估计图中各位置的估计值限制为不超过所述炫光幅度上限，得到受约束炫光估计图；

8、根据所述输入图像和所述受约束炫光估计图，逐像素扣除炫光分量，得到初步恢复图像；

9、根据所述亮区参考值和所述受约束炫光估计图计算亮度对比度补偿系数，利用所述亮度对比度补偿系数对所述初步恢复图像进行补偿，得到输出图像。

10、在上述实现过程中，通过利用自然图像局部邻域内至少一个颜色通道的最小响应值构建暗通道图，并基于真实场景信号在局部暗像素处接近零而炫光分量在空间上缓慢变化的物理特性，将暗通道值作为镜头炫光分量的初始估计，无需预先标定特定镜头的炫光模板或扩散函数即可从单帧图像获取炫光分量的空间分布；同时利用输入图像中高亮区域的亮区参考值构造炫光幅度上限，对初始炫光估计施加与场景光源能量关联的约束，有效抑制了暗通道先验在天空、白色物体等高亮度区域的过估计问题；通过对初步恢复图像进行自适应补偿，恢复了因炫光扣除而被压缩的暗部层次和局部对比度。该方法适合在图像信号处理器硬件流水线中实时实现，且能够适应不同场景和不同镜头的雾状炫光分布。

11、进一步地，所述根据所述暗通道图生成初始炫光估计图，包括：

12、将所述暗通道图中各位置的暗通道值作为对应位置的初始炫光估计值，得到所述初始炫光估计图。

13、在上述实现过程中，将暗通道图中各位置的暗通道值直接作为对应位置的初始炫光估计值，不需要引入大气光值、透射率调节因子或任何中间映射参数；另外，暗通道值随输入图像内容自适应变化，不同场景、不同炫光强度下都能给出与当前炫光水平匹配的估计值，无需针对特定镜头型号、特定场景或特定光照条件进行参数调节。

14、进一步地，所述根据所述输入图像中的高亮区域估计亮区参考值，包括以下至少一种：

15、将所述输入图像中最大亮度值作为所述亮区参考值；

16、将所述输入图像中预设数量的最亮像素的亮度均值作为所述亮区参考值；

17、将所述输入图像的亮度值按从大到小排序后，将在预设分位位置处的亮度值作为所述亮区参考值；

18、将所述输入图像中亮度值大于预设亮度阈值的像素所构成的连通域内的亮度统计量作为所述亮区参考值；

19、将连续采集的多帧输入图像中位置变化小于预设位移阈值且亮度值大于预设亮度阈值的亮区内的亮度统计量作为所述亮区参考值。

20、在上述实现过程中，提供了不同的亮区参考值估计方式，覆盖了从单帧到多帧、从简单统计到空间聚合的实现方案，使亮区参考值的估计能够适应不同的应用场景和计算资源条件。这几种亮区参考值估计方式的共通点在于：将亮区参考值与输入图像中真实高亮区域的亮度水平建立关联，而不是采用固定的全局参数，从而使后续的炫光幅度约束和对比度补偿能够随场景内容自适应调节。

21、进一步地，所述炫光幅度上限为所述亮区参考值与预设比例的乘积；所述预设比例为全局常数，或者所述预设比例根据以下至少一项确定：图像整体亮度、亮区面积、亮区位置、镜头参数、曝光参数或场景类别；

22、所述将所述初始炫光估计图中各位置的估计值限制为不超过所述炫光幅度上限，包括：

23、将各位置的估计值设置为初始炫光估计值与所述炫光幅度上限中的较小值。

24、在上述实现过程中，通过亮区参考值与预设比例的乘积构造炫光幅度上限，并利用取最小值操作将初始炫光估计值限制在该上限以内，实现了炫光估计的自适应幅度约束。该约束的效果体现在：在暗通道先验失效的区域，暗通道产生的过高估计值被截断至与光源亮度成比例的合理范围内，防止了后续扣除步骤过度减去真实场景信号而导致输出图像出现不自然的暗区或色彩偏移；在暗通道先验正常工作的区域，初始炫光估计值通常低于炫光幅度上限，约束操作不产生截断，炫光估计被完整保留。同时，预设比例的动态确定方式使炫光幅度上限能够随场景条件和镜头特性调节，无需人工干预就可适应不同的拍摄环境。

25、进一步地，在所述利用所述亮区参考值构造炫光幅度上限，将所述初始炫光估计图中各位置的估计值限制为不超过所述炫光幅度上限，得到受约束炫光估计图之后，还包括：

26、对所述受约束炫光估计图进行空间连续化处理，得到连续炫光分量图；

27、所述根据所述输入图像和所述受约束炫光估计图，逐像素扣除炫光分量，得到初步恢复图像，包括：

28、根据所述输入图像和所述连续炫光分量图，逐像素扣除炫光分量，得到所述初步恢复图像；

29、所述根据所述亮区参考值和所述受约束炫光估计图计算亮度对比度补偿系数，利用所述亮度对比度补偿系数对所述初步恢复图像进行补偿，得到输出图像，包括：

30、根据所述亮区参考值和所述连续炫光分量图计算亮度对比度补偿系数，利用所述亮度对比度补偿系数对所述初步恢复图像进行补偿，得到所述输出图像。

31、在上述实现过程中，在受约束炫光估计图之后增加了空间连续化处理步骤，将可能存在的块状效应、噪声波动和局部突变消除，使炫光分量在空间上呈现与镜头杂散光物理特性一致的缓慢变化分布。连续炫光分量图替代受约束炫光估计图作为后续扣除和补偿的依据，使逐像素扣除操作更加平滑稳定，避免了因炫光估计值的局部不连续而在输出图像中产生人造边缘或振铃效应；同时，连续化后的炫光分量为对比度补偿系数的计算提供了更平滑的输入，使补偿后的图像亮度过渡自然，不会出现因补偿系数突变而导致的局部过亮或过暗区域。

32、进一步地，所述根据所述输入图像和所述受约束炫光估计图，逐像素扣除炫光分量，得到初步恢复图像，包括：

33、针对每个像素位置和每个颜色通道，将所述输入图像在所述像素位置和所述颜色通道处的值减去通道炫光系数与所述受约束炫光估计图在所述像素位置处的值的乘积，得到差值；

34、对所述差值进行有效范围限幅，得到所述初步恢复图像在所述像素位置和所述颜色通道处的值；其中，各颜色通道的所述通道炫光系数取值是相同的；或者，所述通道炫光系数是根据颜色通道、白平衡增益或镜头光谱特性分别设置的。

35、在上述实现过程中，通过在每个像素位置和每个颜色通道上执行减法操作并限幅，实现了加法模型的逆运算，将叠加在真实场景信号上的炫光分量从输入图像中去除。另外，通过通道炫光系数的差异化设置，能够适应镜头对不同波长光的散射差异和isp白平衡增益导致的通道间幅度差异，提高各通道扣除的精确度。

36、进一步地，所述根据所述亮区参考值和所述受约束炫光估计图计算亮度对比度补偿系数，包括：

37、根据所述亮区参考值与所述受约束炫光估计图在各像素位置处的值之间的关系，确定各像素位置处的所述亮度对比度补偿系数；其中，所述亮度对比度补偿系数随所述受约束炫光估计图在对应像素位置处的值的增大而增大，且所述亮度对比度补偿系数不小于1。

38、在上述实现过程中，亮度对比度补偿能够自适应地针对各像素位置的炫光扣除程度进行差异化的信号恢复，避免了全局统一补偿可能带来的高亮区域过曝或暗部区域补偿不足的问题。

39、本技术实施例第二方面提供了一种电子设备，所述电子设备包括：

40、处理器；

41、用于存储处理器可执行指令的存储器；

42、其中，所述处理器调用所述可执行指令时实现第一方面任一所述的方法。

43、本技术实施例第三方面提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现第一方面任一所述的方法。

44、本技术实施例第四方面提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法。