一种基于亮色分离与色偏回退保护的沙尘图像增强方法

本发明涉及图像增强，尤其涉及一种基于亮色分离与色偏回退保护的沙尘图像增强方法。

背景技术：

1、沙尘天气中的悬浮颗粒会对可见光产生吸收和散射，使采集图像同时呈现对比度降低、远景信息衰减、雾状朦胧、红黄通道偏强、蓝色信息损失和局部暗区加重等退化。该类退化既具有类似雾霾成像的空气光叠加特征，又具有明显的波长选择性。普通去雾方法若未区分亮度与色度，容易造成整体偏暗、天空过增强或颜色失真；仅进行白平衡或通道拉伸，又难以恢复被沙尘幕层遮蔽的结构信息。现有深度网络能够学习沙尘图像到清晰图像的映射，但较大模型通常具有参数量大、推理资源需求高的问题；当训练数据与真实沙尘场景的沙尘浓度、照明条件或相机响应不一致时，还可能出现泛化不足。传统增强算法运算资源需求较低，却常因依赖固定先验或固定参数而导致局部过暗、红黄偏色残留、过饱和或雾状感去除不足。此外，现有方法通常将去雾、颜色校正和对比度增强简单串行执行，缺少对亮度影响与色度影响的解耦，也缺少能够根据处理前后色偏变化自动减弱或拒绝不可靠颜色校正的保护机制；当某次颜色校正不适合当前图像时，该误差可能在后续处理中被放大。

技术实现思路

1、发明目的：为了克服现有技术中存在的不足，本发明提供一种基于亮色分离与色偏回退保护的沙尘图像增强方法，以解决真实沙尘图像中红黄偏色残留、暗区加重、雾状朦胧、固有颜色误校正以及学习模型跨场景稳定性不足的问题。

2、技术方案：为实现上述目的，本发明的一种基于亮色分离与色偏回退保护的沙尘图像增强方法，包括以下步骤：

3、步骤1、获取待处理的沙尘退化图像，计算待处理的沙尘退化图像的全局颜色统计、沙尘幕层和局部活动度。

4、步骤2、将待处理的沙尘退化图像分别通过轻量学习增强模型和传统图像增强模型进行增强操作，分别得到学习增强图像和传统增强图像。

5、步骤3、将学习增强图像和传统增强图像的亮度和色度进行分离，并以传统增强图像的亮度分量为主以及学习增强图像的色度分量为主进行融合，获得初始融合图像。

6、步骤4、在初始融合图像中提取融合亮度和融合色度，根据待处理的沙尘退化图像的沙尘幕层估计透射率、大气光亮度和有色大气光；基于估计得到的透射率、大气光亮度以及有色大气光构建亮度恢复路径和色度恢复路径；通过亮度恢复路径和色度恢复路径分别对融合亮度和融合色度进行恢复，分别得到目标亮度和候选色度；基于得到的目标亮度和候选色度执行保持亮度的rgb可显示域合成，得到联合恢复图像。

7、步骤5、筛选联合恢复图像中的中性像素，并依据中性像素rgb统计偏移对联合恢复图像执行受限颜色反馈和弱红通道平衡，得到局部色度校正图像。

8、步骤6、计算局部色度校正前后的色偏评分，依据局部色度校正前后的色偏评分执行局部色度校正量的强度回退或校正拒绝；并在满足最终路径选择的触发条件时，获取并比较主路径图像和备用路径图像的色偏评分，选择色偏评分较优且满足预设改善条件的路径图像作为最终目标增强图像。

9、进一步的，所述步骤1中，计算待处理的沙尘退化图像的全局颜色统计、沙尘幕层和局部活动度；计算过程如下所示：

10、；

11、；

12、；

13、；

14、式中，为全局颜色统计向量，为局部活动度，为归一化的沙尘幕层；，分别为沙尘退化图像在通道c的均值、标准差；为沙尘退化图像中通道图像的第q个分位数，q为分位水平集合；；为半径的平滑操作，为沙尘退化图像的输入亮度，为绝对值操作；、分别为同一沙尘幕层的x像素位置和y像素位置的响应值，为待处理的沙尘退化图像的像素集合；为对取第97.5分位数，为防止分母为零的最小正数，为将的值截断到区间内；为大尺度平滑半径的平滑操作，为沙尘退化图像的红黄相对蓝通道的正超量，为定义平坦度权重，为低饱和度权重，为亮度权重。

15、进一步的，所述步骤3中，将学习增强图像和传统增强图像均进行分离操作得到学习增强图像以及传统增强图像的亮度分量和色度分量，计算过程如下所示：

16、，；，；

17、式中，为学习增强图像，为传统增强图像，、分别为学习增强图像的亮度分量和色度分量；、分别为传统增强图像的亮度分量和色度分量；为亮度提取算子，为色度提取算子。

18、以传统增强图像的亮度分量为主与学习增强图像的亮度分量和进行融合得到融合亮度，以学习增强图像的色度分量为主与传统增强图像的色度分量进行融合得到融合色度，计算过程如下所示：

19、；；

20、式中，为融合亮度，为融合色度，为融合亮度的融合权重，为融合色度的融合权重；基于融合亮度和融合色度组建获得初始融合图像；计算过程如下所示：

21、；

22、式中，为初始融合图像，为将的值截断到区间内，为将标量亮度复制到图像的三个rgb通道，为色度幅值系数。

23、进一步的，所述步骤4中，在初始融合图像中提取融合亮度和融合色度，根据待处理的沙尘退化图像的沙尘幕层估计透射率、大气光亮度和有色大气光；计算过程如下所示：

24、；

25、；；

26、；

27、式中，为大气光亮度，为经亮度归一化后的有色大气光，为透射率；为高沙尘幕层像素集合，为取第95分位数，为取第90分位数；为高沙尘幕层像素集合中亮度不低于预设高分位数的像素集合；为rgb亮度权重的转置，其中t为转置操作；为透射率下限，为恢复强度。

28、基于估计得到的透射率、大气光亮度以及有色大气光构建亮度恢复路径和色度恢复路径；通过亮度恢复路径对融合亮度依次执行受最大暗化约束的恢复，局部与中尺度对比度增强以及自适应色调、阴影提升和高光保护，得到目标亮度；通过色度恢复路径对融合色度依次执行基于透射率的物理色度恢复，沙尘幕层、饱和度、亮度和局部活动度的联合门控以及源沙尘低频色偏方向正投影的去除，得到候选色度。

29、进一步的，基于得到的目标亮度和候选色度执行保持亮度的rgb可显示域合成，得到联合恢复图像；将候选色度投影为零亮度色度，采用零亮度色度和目标亮度计算每个通道在不越过rgb边界时允许的最大色度比例，基于每个通道的最大色度比例计算rgb三个通道共同采用的最小可行比例，基于零亮度色度、目标亮度以及最小可行比例计算得到联合恢复图像；计算过程如下所示：

30、；

31、式中，为将标量亮度复制到图像的三个rgb通道，为目标亮度，为最小可行比例，为零亮度色度，为将的值截断到区间内。

32、进一步的，所述步骤5中，采用低相对色度且亮度位于预设非极暗、非极亮区间的像素筛选联合恢复图像中的中性像素，基于筛选的中性像素确定中性像素区域；根据中性像素区域的通道代表值与通道中心值之间的偏移计算每个通道的受限颜色增益，通过物体颜色保护图对受限颜色增益进行空间混合，对联合恢复图像执行受限颜色反馈和弱红通道平衡，得到局部色度校正图像；对联合恢复图像执行受限颜色反馈的计算如下所示：

33、；

34、；

35、式中，为空间加权校正后的中间图像，为将标量亮度复制到图像的三个rgb通道，为联合恢复图像，为校正空间权重，为逐通道乘法；为通道增益向量，其中分别为每个通道的受限颜色增益。

36、进一步的，所述步骤6中，将未执行局部色度校正的图像作为基准图像，将得到的局部色度校正图像作为候选图像；分别计算基准图像和候选图像的色偏评分，当候选图像的色偏评分小于或等于基准图像的色偏评分与评分容差之和时，则筛选候选图像中的中性像素，依据中性像素rgb统计偏移对候选图像执行受限颜色反馈和弱红通道平衡，得到主路径图像。

37、当候选图像的色偏评分大于基准图像的色偏评分与评分容差之和时，按照预设衰减系数逐次减小局部色度校正量，并判断当前强度回退次数是否达到最大次数；若是强度回退次数没有达到最大次数，则采用逐级衰减的局部色度校正量对候选图像进行校正，重新生成候选图像；若是强度回退次数达到最大次数，则进行校正拒绝采用基准图像；筛选基准图像中的中性像素，依据中性像素rgb统计偏移对基准图像执行受限颜色反馈和弱红通道平衡，得到备用路径图像。

38、进一步的，基于获得的主路径图像和备用路径图像，分别计算主路径图像和备用路径图像的色偏评分，将主路径图像的色偏评分与预设的触发阈值比较，当路径图像的色偏评分小于预设的触发阈值，则输出主路径图像作为最终目标增强图像。

39、当主路径图像的色偏评分大于或等于预设的触发阈值，则将备用路径图像的色偏评分与色偏评分改善量之和与预设的最小改善阈值比较；当备用路径图像的色偏评分与色偏评分改善量之和小于预设的最小改善阈值时，则输出备用路径图像作为最终目标增强图像；当备用路径图像的色偏评分与色偏评分改善量之和大于或等于预设的最小改善阈值时，则输出主路径图像作为最终目标增强图像。

40、进一步的，包括用于实现一种基于亮色分离与色偏回退保护的沙尘图像增强方法的沙尘图像增强系统；其包括：特征估计模块：用于计算沙尘退化图像的全局颜色统计、沙尘幕层和局部活动度；双分支增强模块：用于将沙尘退化图像分别通过轻量学习增强模型和传统图像增强模型进行增强操作，得到学习增强图像和传统增强图像；亮色分离融合模块：用于将学习增强图像和传统增强图像进行亮度、色度分离并进行融合得到初始融合图像；亮度—色度联合恢复模块：用于采用计透射率、大气光亮度和有色大气光对初始融合图像中的融合亮度和融合色度进行联合恢复，得到联合恢复图像；颜色反馈模块：用于对联合恢复图像依据中性像素rgb统计偏移执行受限颜色反馈和弱红通道平衡，得到局部色度校正图像；保护决策模块：用于依据局部色度校正前后的色偏评分执行局部色度校正量的强度回退或校正拒绝；并选择较优路径图像作为最终目标增强图像。

41、进一步的，包括存储介质，存储介质中存储有可执行程序，所述可执行程序被处理器执行可实现一种基于亮色分离与色偏回退保护的沙尘图像增强方法。

42、有益效果：本发明的一种基于亮色分离与色偏回退保护的沙尘图像增强方法，通过学习图像增强分支与传统图像增强分支的亮色分离融合，使学习图像增强分支主要贡献色度、传统图像增强分支主要贡献亮度，降低单一分支在真实场景中出现颜色或亮度失稳的风险；通过同一透射率下的亮度—色度并行恢复，使去除沙尘幕层与抑制红黄偏色相互协调；通过沙尘幕层、饱和度、亮度和局部活动度联合门控，降低对高饱和物体、暗区及高纹理区域的误校正；通过保持亮度的rgb可显示域合成和颜色反馈后的亮度补偿，减少颜色校正引起的亮度漂移、过饱和及通道截断；通过局部校正回退和最终路径选择构成的两级保护，在校正不适合当前图像时自动减弱、拒绝或替换所述校正；通过轻量学习增强模型中全局颜色变换与深度可分离局部残差网络协同处理，在保持颜色和细节恢复能力的同时降低模型参数量及计算量。