一种基于照明调整和注意力校色的低照度图像增强方法

本发明涉及数字图像处理和计算机视觉，尤其涉及一种基于照明调整和注意力校色的低照度图像增强方法。

背景技术：

1、低照度图像受光源分布、成像噪声和传感器动态范围限制，容易出现暗部细节缺失、局部曝光失衡、噪声放大及颜色偏移。现有低照度图像增强方法主要采用直方图调整、retinex分解、伽马校正及深度神经网络处理。retinex方法将输入图像分解为照明成分和反射成分，通过平滑照明成分提升亮度；深度神经网络方法从图像特征中预测亮度参数、颜色矩阵及饱和度参数，完成端到端图像增强。

2、现有方法采用单一尺度或固定融合规则估计照明成分，难以兼顾暗区细节、亮区边缘和局部光照变化。照明调整与反射成分去噪缺少关联控制，亮度提升过程容易放大暗部噪声。颜色校正网络采用共享查询或单路参数预测时，暗区颜色信息与亮区颜色信息相互干扰，饱和高亮像素还会影响颜色参数生成。两路颜色判断存在差异时，现有方法缺少分歧检测和针对性回查，易在明暗交界区域产生色偏、过度增强及颜色不连续。因此，如何提供一种基于照明调整和注意力校色的低照度图像增强方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于照明调整和注意力校色的低照度图像增强方法，本发明结合多尺度照明估计、熵自适应调整、明暗双查询和分歧回查处理，实现亮度提升、噪声抑制及颜色校正，具备细节保持能力强、色彩还原准确和增强稳定性高的优点。

2、根据本发明实施例的一种基于照明调整和注意力校色的低照度图像增强方法，包括如下步骤：

3、获取低照度图像，经多尺度照明估计得到初始照明图；

4、精化初始照明图得到精化照明图，精化照明图经伽马调整得到调整照明图，由低照度图像和精化照明图提取反射图，去噪后与调整照明图重组得到基础增强图像；

5、基础增强图像经渐进卷积和直接映射，融合特征得到内容特征图；

6、由精化照明图生成暗区、亮区权重，分别聚合内容特征图得到暗区、亮区描述向量，分别更新全一、全零初始查询矩阵，得到暗区、亮区查询矩阵；

7、以暗区、亮区权重分别约束暗区、亮区查询矩阵与内容特征图的注意力计算，得到两项注意力特征和两项颜色参数提议；

8、由精化照明图生成融合权重，融合两项颜色参数提议得到初始颜色参数，计算两项提议差值和分歧度，根据分歧度与预设阈值生成连续回查权重，将两项注意力特征、提议差值和精化照明图经自注意力和深度卷积融合得到修正量，以回查权重加权修正量，叠加至初始颜色参数，得到目标颜色参数；

9、由目标颜色参数生成颜色矩阵和通道伽马参数，据此校正基础增强图像，由校正结果生成饱和度调整系数，调整饱和度，得到低照度增强图像。

10、可选的，所述多尺度照明估计的操作包括：

11、将低照度图像转换至hsv颜色空间，提取明度分量作为引导图；

12、采用小尺度、中尺度和大尺度引导滤波分别处理低照度图像，对各尺度的引导滤波结果执行通道最大值提取，得到三个尺度照明图；

13、对三个尺度照明图执行逐像素最小值融合，生成初始照明图。

14、可选的，所述基础增强图像的生成操作包括：

15、采用水平方向索贝尔算子和垂直方向索贝尔算子提取初始照明图的梯度，根据梯度依次执行水平方向高斯加权平滑和垂直方向高斯加权平滑，得到精化照明图；

16、计算精化照明图的归一化信息熵，根据归一化信息熵确定照明伽马参数，对精化照明图进行伽马调整，得到调整照明图；

17、根据低照度图像和精化照明图提取反射图，将反射图转换至yuv颜色空间，根据归一化信息熵确定去噪强度，对亮度分量执行块匹配三维滤波，将去噪后的反射图转换至rgb颜色空间；

18、对去噪后的反射图和调整照明图进行逐像素重组，生成基础增强图像。

19、可选的，所述渐进卷积、直接映射及特征融合的操作包括：

20、将基础增强图像分别输入渐进卷积分支和直接映射分支；

21、在渐进卷积分支中，对基础增强图像执行第一次3×3卷积和高斯误差线性单元激活，得到第一卷积特征，对第一卷积特征执行第二次3×3卷积、批归一化和高斯误差线性单元激活，得到渐进卷积特征；

22、在直接映射分支中，对基础增强图像执行1×1卷积，将基础增强图像的通道数量调整至与渐进卷积特征的通道数量一致，得到直接映射特征；

23、保持渐进卷积特征与直接映射特征的高度、宽度和像素位置一致，对渐进卷积特征与直接映射特征执行逐元素相加，得到内容特征图。

24、可选的，所述暗区查询矩阵和亮区查询矩阵的生成操作包括：

25、根据精化照明值和一减去精化照明值的结果生成亮区权重和暗区权重，抑制饱和高亮位置的亮区权重；

26、采用暗区权重和亮区权重分别加权聚合内容特征图，得到暗区描述向量和亮区描述向量；

27、对两个描述向量分别执行第一线性映射，得到暗区候选查询矩阵和亮区候选查询矩阵，分别执行第二线性映射和逻辑函数处理，得到暗区更新门矩阵和亮区更新门矩阵；

28、采用两个更新门矩阵，分别对全一初始查询矩阵与暗区候选查询矩阵、全零初始查询矩阵与亮区候选查询矩阵执行互补加权融合，得到暗区查询矩阵和亮区查询矩阵。

29、可选的，所述两项注意力特征的生成操作包括：

30、对内容特征图进行键映射和值映射，得到键矩阵和值矩阵；

31、分别计算暗区查询矩阵、亮区查询矩阵与键矩阵的缩放相似度，采用暗区权重和亮区权重对对应缩放相似度进行空间加权归一化，得到暗区注意力权重矩阵和亮区注意力权重矩阵；

32、采用两个注意力权重矩阵分别聚合值矩阵，得到暗区注意力特征和亮区注意力特征。

33、可选的，所述初始颜色参数的生成操作包括：

34、将暗区注意力特征和亮区注意力特征分别回投至内容特征图的空间位置，分别与内容特征图进行通道拼接和卷积映射，得到暗区颜色参数提议和亮区颜色参数提议；

35、对精化照明图进行线性变换和逻辑函数处理，得到融合权重；

36、采用融合权重调制亮区颜色参数提议，采用融合权重的互补权重调制暗区颜色参数提议，对两项调制结果进行逐像素门控融合，得到初始颜色参数。

37、可选的，所述提议差值、分歧度和连续回查权重的生成操作包括：

38、按照相同像素位置和参数通道，将暗区颜色参数提议减去亮区颜色参数提议，得到提议差值；

39、对提议差值的各参数通道取绝对值，对同一像素位置的全部绝对值进行平均，得到对应像素位置的分歧度；

40、计算分歧度与预设分歧阈值之间的差值，对所得差值进行正斜率调制和逻辑函数处理，得到取值处于零至一数值范围的连续回查权重；

41、按照像素位置排列全部分歧度和连续回查权重，得到分歧度图和连续回查权重图。

42、可选的，所述目标颜色参数的生成操作包括：

43、将内容特征图、回投至空间位置的两项注意力特征、提议差值和精化照明图按照像素位置进行特征融合，得到回查特征图；

44、分别对回查特征图执行自注意力处理和深度卷积处理，对两项处理结果进行通道融合和参数映射，得到修正量；

45、采用连续回查权重对修正量执行逐像素门控，根据门控后的修正量更新初始颜色参数，得到目标颜色参数。

46、可选的，所述低照度增强图像的生成操作包括：

47、从目标颜色参数中提取三个通道伽马增量和九个颜色矩阵增量，经双曲正切处理分别生成三个通道伽马参数和三行三列颜色矩阵；

48、采用颜色矩阵和三个通道伽马参数依次对基础增强图像进行矩阵变换和幂次调整，得到校色图像；

49、提取校色图像的饱和度特征，采用可学习饱和度查询向量进行注意力聚合，得到饱和度调整系数；

50、根据饱和度调整系数调节校色图像各颜色通道相对于通道均值的偏移量，得到低照度增强图像。

51、本发明的有益效果是：

52、（1）通过多尺度照明估计、梯度引导平滑和熵自适应伽马调整，兼顾暗区细节、亮区边缘及局部光照变化，并根据图像信息熵调节反射图去噪强度，降低亮度提升过程中的噪声放大。

53、（2）通过暗区权重和亮区权重分别聚合内容特征，生成明暗查询矩阵及两项颜色参数提议，减少暗区颜色信息与亮区颜色信息之间的干扰，提高不同照明区域的颜色参数预测精度。

54、（3）通过提议分歧度生成连续回查权重，对颜色参数修正量实施逐像素门控，降低明暗交界区域的色偏和颜色不连续，并结合颜色矩阵、通道伽马及饱和度调整，提高增强图像的色彩还原度和视觉稳定性。