基于残差分配的夜间恶劣天气图像恢复方法及系统
本发明涉及图像处理,具体涉及一种夜间恶劣天气条件下的图像恢复方法及系统,其能够应用于智能驾驶、道路监控、安防摄像、无人机与机器人视觉、夜间移动摄影,以及其他低照度或复杂人工照明条件下的恶劣天气视觉增强场景。
背景技术:
1、雨、雾、雪、雨滴和雨丝会降低场景能见度、遮挡物体纹理并引起对比度衰减。夜间环境还存在照度不足、人工光源分布不均、车灯及路灯光晕、反射和局部过曝光等问题。天气退化与夜间照明相互耦合后,同一幅图像中通常同时存在空间范围不同的退化:雨滴、雪斑、雨丝和光源附近伪影多集中于局部区域,而雾化、整体亮度偏差、色彩偏移和能见度不足则影响较大范围。
2、随着智能驾驶、道路监控、无人机巡检等应用对全天候视觉感知需求的不断增长,夜间恶劣天气条件下的图像清晰化已成为计算机视觉领域备受关注的研究课题之一。现有研究多围绕单一退化类型展开,而实际场景中往往是多种退化叠加,给图像恢复带来了更大的挑战。
3、目前,夜间恶劣天气图像恢复的主流技术路线可分为以下几类:
4、(1)基于物理模型的传统方法。这类方法以大气散射模型或retinex理论为基础,通过估计透射率、大气光值或照度分量来恢复图像。例如,一种全天时雾霾图像清晰化恢复方法,通过非天空区域分割提取有效边缘轮廓,依据主干边缘估计图像复杂度并自适应调整去雾权重,同时针对夜晚雾霾图像伴随复杂人造光源干扰的问题,采用带颜色恢复的多尺度retinex理论去除照度成分。另一种天候自适应快速图像清晰化处理方法,通过环境光照预测、大气光强估计和雾气浓度分布计算,实现浓雾、阴雨和夜间多种天候条件下的图像清晰化。然而,这类方法依赖手工设计的先验假设,在复杂夜间照明条件下容易产生较大的估计误差。
5、(2)基于深度学习的端到端恢复方法。近年来,卷积神经网络(cnn)、视觉transformer(vit)及多尺度混合网络被广泛应用于图像恢复任务。现有方案通常采用编码器-解码器结构,将夜间恶劣天气图像直接映射为清晰图像。例如,vqcnir方法通过矢量量化码本提供高质量先验,并引入自适应照度增强模块和可变形双向交叉注意力模块来恢复夜间图像的细节和照度。一种基于pfrd-net的低照度叠加雨雾处理方法,采用共享编码器提取多尺度初级特征,通过双分支模块并行处理雨雾特征和照度特征。部分方案还引入天气提示、退化先验或预训练视觉语义特征辅助恢复。
6、现有技术方案主要存在以下不足:
7、第一,缺少对残余误差的显式分类和分工。现有方法通常把全部误差交由同一主干网络或同一尺度校正模块处理,对主恢复网络输出中仍然存在的残余误差缺少显式建模,未区分局部集中残差和场景级广域残差。
8、第二,校正路径单一,难以兼顾局部与全局。采用单一尺度或单一路径进行后续校正时,局部雨滴、雪斑和眩光残留可能去除不足,而大范围雾化、亮度和色彩偏差也可能校正不充分。现有方法中虽然也有结合全局残差学习与局部残差学习的做法,但其目的主要是解决梯度消失和网络参数增长等训练问题,而非针对图像内容中不同空间范围的残余误差进行分工校正。
9、第三,统一的强校正容易破坏弱纹理和边缘。现有方法在低照度条件下容易将弱纹理、道路边缘、车辆轮廓和低对比度目标误判为退化并予以削弱。
10、第四,语义先验的使用方式单一。部分方案采用预训练视觉特征辅助恢复,但通常采用固定层级或相同注入方式,没有根据编码、解码、高分辨率细化和全局校正等阶段的不同职责选择语义深度。
11、第五,缺少对更新幅值的约束。现有方法缺少对局部更新和全局残差幅值的显式约束时,容易产生过度增强、颜色漂移或新伪影。
12、因此,有必要建立一种多路径协同、兼顾局部与全局、能够根据不同阶段职责选择适配语义深度的夜间恶劣天气图像恢复方法,以提高复杂夜间照明条件下恶劣天气图像的整体恢复质量,并为后续可能的视觉感知任务提供更可靠的图像输入。
技术实现思路
1、有鉴于此,本发明提供一种基于残差分配的夜间恶劣天气图像恢复方法及系统。该方法在主恢复网络取得基础恢复特征后,将局部集中型残余误差和场景级广域残余误差分别分配到局部特征空间路径和全局图像空间路径;同时根据各恢复阶段的职责,从冻结的预训练视觉编码器中选择并融合适配深度的语义特征,以受控残差方式锚定场景内容,使局部雨滴、雪斑和光晕残留得到选择性处理,同时使全场景雾化、亮度和色彩偏差得到一致性处理,避免单一校正范围顾此失彼。
2、本发明公开了一种基于残差分配的夜间恶劣天气图像恢复方法,其包括以下步骤:
3、s1,获取待恢复的夜间恶劣天气图像作为输入图像;
4、s2,将输入图像输入至主恢复网络,获取处于高分辨率特征空间的主恢复特征;主恢复网络至少包括编码阶段、解码阶段和高分辨率细化阶段;其中,基于残余误差在所述主恢复特征中所占的空间尺度,在所述高分辨率特征空间中设置有用于处理局部集中型残余误差的局部残差分配路径,并在图像空间中设置有用于处理场景级广域残余误差的全局残差分配路径;
5、s3,将所述主恢复特征和所述输入图像的特征表示输入局部残差分配路径进行局部校正,生成局部校正残差,并将其与主恢复特征融合,得到局部校正特征;
6、s4,利用冻结的预训练视觉编码器从输入图像中提取语义特征,并将所述语义特征以受控残差的方式注入主恢复网络当前阶段的阶段恢复特征;其中在高分辨率细化阶段,以所述局部校正特征作为阶段恢复特征进行语义锚定,获得相应语义增强特征;
7、s5,将基于局部校正特征获得的语义增强特征输入图像重建头,预测图像残差并与所述输入图像相加,获得初步恢复图像;
8、s6,将所述初步恢复图像输入全局残差分配路径,并结合所述输入图像、所述语义增强特征以及所述初步恢复图像与所述输入图像之间的差分信息,预测全局残差,并将其与所述初步恢复图像融合,得到最终恢复图像;
9、s7,输出所述最终恢复图像。
10、本发明方法的具体实现过程如下:
11、设输入夜间恶劣天气图像为输入图像,在步骤s1中,获取待恢复的夜间恶劣天气图像,作为后续处理的输入。
12、在步骤s2中,将输入图像输入分层主恢复网络。主恢复网络至少包括浅层特征提取阶段、编码阶段、解码阶段和高分辨率细化阶段。该网络对输入图像进行多尺度特征提取和初步恢复,输出处于高分辨率特征空间的主恢复特征。其中,“高分辨率特征空间”是指主恢复网络在最高空间分辨率下进行精细化特征处理的特征图所在的空间。
13、对主恢复特征中未被充分去除而残留的残余误差,根据其在图像中所占的空间尺度进行区分。具体地,若残余误差的空间范围仅限于图像中的局部小区域,则作为“局部集中型残余误差”;若残余误差的空间范围覆盖整个图像画面,则作为“场景级广域残余误差”。局部集中型残余误差主要包括残留雨丝、雨滴、雪斑、局部光晕及边缘附近伪影;场景级广域残余误差主要包括整体雾化残留、能见度不足、亮度偏差及色彩偏移。在所述高分辨率特征空间中设置有用于处理局部集中型残余误差的局部残差分配路径,并在图像空间中设置有用于处理场景级广域残余误差的全局残差分配路径,以使得局部集中型残余误差和场景级广域残余误差能够基于不同的残差路径进行处理。
14、在步骤s3中,局部残差分配以主恢复特征和输入图像的特征表示为输入,通过上下文融合生成局部特征更新量和空间门控,并对局部特征更新量施加幅值约束和空间平滑后,经空间门控调制生成局部校正残差,然后将局部校正残差与主恢复特征相加,得到局部校正特征。局部校正残差的幅值受至少一种约束机制的限制,包括但不限于双曲正切函数预约束、空间平滑操作、空间门控调制和缩放系数控制。
15、在步骤s4中,利用冻结的预训练视觉编码器从输入图像中提取多个抽象层级的语义特征(包括浅层语义、中层语义和深层语义),并将这些语义特征以受控残差方式注入主恢复网络当前阶段的恢复特征。其中,在高分辨率细化阶段,以局部校正特征作为当前阶段的恢复特征进行语义锚定,获得语义增强特征。“受控残差方式”是指语义信息不作为替换项直接覆盖图像特征,而是作为修正项,通过语义残差锚和内容相关调制图以小幅、空间自适应的方式注入恢复特征。
16、在步骤s5中,语义增强特征输入图像重建头,预测图像级残差,并与输入图像相加,经截断操作后得到初步恢复图像。在步骤s6中,在图像空间中设置全局残差分配路径。该路径以为初步恢复图像输入,结合所述输入图像、所述语义增强特征以及所述初步恢复图像与所述输入图像之间的差分信息,建立全局上下文,预测幅值受约束的三通道全局残差,并将三通道全局残差与初步恢复图像相加,经截断操作后得到最终恢复图像。在步骤s7中,输出最终恢复图像。
17、在本发明的方法中,通过“局部-全局双路径分治”实现不同空间尺度残余误差的专门化校正。局部路径在高分辨率特征空间中精细化处理雨滴、光晕等局部残留,全局路径在图像空间中整体性处理雾化、亮度偏差等广域退化。两条路径分阶段协同工作,先由局部路径在高分辨率特征空间完成局部残留的精细校正,再由全局路径在图像空间完成整体一致性调整,实现了单一网络无法同时达到的“局部精细+全局一致”的联合效果。同时,通过“受控残差方式”的语义注入实现内容保持的语义引导。具体地,语义信息通过语义残差锚和内容相关调制图以小幅修正项的方式注入恢复特征,避免了直接替换导致的已恢复内容被破坏,调制图根据图像内容自适应调节注入强度,在边缘和纹理区域降低强度以保护细节。
18、根据本发明第一方面所公开的方法,步骤s2中,所述主恢复网络还包括浅层特征提取阶段,所述高分辨率细化阶段设置于所述解码阶段之后;所述主恢复网络还包括高分辨率细化阶段前的前级特征;步骤s3中,将主恢复特征、前级特征以及所述输入图像的特征表示共同作为局部残差分配路径的输入对象;局部残差分配路径通过对主恢复特征、前级特征以及所述输入图像的特征表示进行上下文融合,生成局部特征更新量和空间门控,并对所述局部特征更新量施加幅值约束和空间平滑后,经所述空间门控调制,生成所述局部校正残差。
19、这种三源输入设计使得局部路径能够同时利用细化前的结构信息、细化后的恢复结果和原始图像的外观线索,实现更准确的局部残差估计。
20、根据本发明第一方面所公开的方法,步骤s3中,所述局部校正残差通过如下方式生成:;其中,为局部特征更新量,为空间门控, 为空间平滑操作,为幅值约束参数,用于限制局部特征更新的幅值, 为整体强度调节参数;所述局部校正特征为:;为主恢复特征。
21、根据本发明第一方面所公开的方法,步骤s6中,所述全局残差分配路径的输入包括所述语义增强特征、所述输入图像、所述初步恢复图像以及差分信息;所述全局残差通过如下方式生成:其中, 表示全局上下文聚合操作,用于融合语义增强特征 、输入图像 、初步恢复图像 及差分信息 ; 表示用于全局校正阶段的语义特征; 表示全局残差预测操作; 表示全局残差幅值约束参数。
22、根据本发明第一方面所公开的方法,步骤s5中,所述初步恢复图像通过如下方式生成:;其中, 表示图像重建映射,用于根据语义增强特征 生成图像级恢复残差,为截断操作,用于将像素值限制在有效范围内。
23、根据本发明第一方面所公开的方法,所述全局残差为三通道图像残差,与所述初步恢复图像具有相同的空间尺寸;当所述全局残差在低于所述输入图像空间分辨率下预测时,在所述全局残差与所述初步恢复图像融合前对所述全局残差进行尺度变换。
24、根据本发明第一方面所公开的方法,步骤s3中,所述局部集中型残余误差包括残留雨丝、雨滴、雪斑、局部光晕及边缘附近伪影中的至少一种;所述场景级广域残余误差包括整体雾化残留、能见度不足、亮度偏差及色彩偏移中的至少一种。
25、根据本发明第一方面所公开的方法,步骤s4中,所述预训练视觉编码器从所述输入图像中提取的语义特征包括浅层语义、中层语义和深层语义;所述浅层语义包含纹理和边缘信息,所述中层语义包含区域结构信息,所述深层语义包含场景级内容信息。
26、根据本发明第一方面所公开的方法,步骤s4中,所述以受控残差方式注入,包括:根据当前阶段的作用,从所述浅层语义、中层语义和深层语义中选择一个作为主语义层级,并以可学习权重融合其他层级的语义作为辅助语义,形成混合语义特征;所述恢复阶段包括编码阶段、解码阶段、高分辨率细化阶段和全局校正阶段中的至少一个。
27、根据本发明第一方面所公开的方法,所述高分辨率细化阶段优先选择所述浅层语义作为主语义层级;所述编码阶段和/或解码阶段优先选择所述中层语义作为主语义层级;所述全局校正阶段优先选择所述深层语义作为主语义层级。
28、根据本发明第一方面所公开的方法,混合语义特征通过以下方式生成:;其中,为第个恢复阶段的主语义层级索引,为主语义层级对应的语义特征,为主语义占比控制参数,为辅助语义权重,且。
29、根据本发明第一方面所公开的方法,步骤s4中,所述以受控残差方式注入,还包括:将所述语义特征输入语义融合单元,所述语义融合单元根据当前阶段的阶段恢复特征和所述语义特征同时生成语义残差锚和内容相关调制图;所述内容相关调制图具有与所述恢复特征相同的空间尺寸,其每个元素取值在0至1之间,用于根据图像内容调节所述语义残差锚的空间注入强度;将经所述内容相关调制图调制后的语义残差锚与所述阶段恢复特征融合,得到语义增强特征,即,语义增强后的阶段恢复特征。
30、根据本发明第一方面所公开的方法,语义残差锚与阶段恢复特征的融合方式为:其中,为当前阶段的恢复特征,为所述语义残差锚,为所述内容相关调制图,为阶段强度系数,为调制强度参数,表示逐元素相乘。
31、根据本发明第一方面所公开的方法,主恢复网络、局部残差分配路径和全局残差分配路径采用端到端联合训练方式优化;训练时,以成对的夜间恶劣天气图像与清晰目标图像作为训练数据,以最终恢复图像与所述清晰目标图像之间的像素域重建损失和频域损失为基础损失,并辅以全局校正辅助损失、局部校正辅助损失和语义辅助损失中的至少一种作为辅助损失。
32、根据本发明第一方面所公开的方法,所述基础重建损失为:其中,为最终恢复图像,为清晰目标图像,为l1范数,为频域损失,为频域损失权重系数。
33、根据本发明第一方面所公开的方法,训练过程中的总损失为:其中,为基础重建损失,为全局校正辅助损失,为局部校正辅助损失,为语义辅助损失,为随训练进程逐渐增大的权重函数。
34、根据本发明第一方面所公开的方法,空间平滑操作采用高斯平滑、平均池化或深度可分离卷积中的至少一种实现;空间门控通过sigmoid激活函数生成。
35、根据本发明第一方面所公开的方法,预训练视觉编码器采用在imagenet上预训练的resnet、vit或dino中的任意一种;浅层语义、中层语义和深层语义分别取自所述预训练视觉编码器的不同深度层级。
36、根据本发明第一方面所公开的方法,夜间恶劣天气图像包括夜间环境下的雨、雾、雪、雨滴、雨丝、光晕、眩光及其混合退化中的至少一种。
37、本发明第二方面公开了一种实现根据本发明第一方面所公开的基于残差分配的夜间恶劣天气图像恢复方法的系统,其包括:
38、图像输入模块,用于接收待恢复的夜间恶劣天气图像作为输入图像;
39、主恢复网络模块,用于对所述输入图像进行特征提取,输出处于高分辨率特征空间的主恢复特征;所述主恢复网络模块至少包括编码阶段、解码阶段和高分辨率细化阶段;并且基于残余误差在所述主恢复特征中所占的空间尺度,在所述高分辨率特征空间中设置有用于处理局部集中型残余误差的局部残差分配路径,并在图像空间中设置有用于处理场景级广域残余误差的全局残差分配路径;
40、局部残差分配模块,用于在所述高分辨率特征空间中接收所述主恢复特征,对所述主恢复特征进行局部校正,生成局部校正残差,并将所述局部校正残差与所述主恢复特征融合,输出局部校正特征;
41、语义引导模块,用于利用冻结的预训练视觉编码器从所述输入图像中提取语义特征,并将所述语义特征以受控残差的方式注入主恢复网络当前阶段的阶段恢复特征;其中在高分辨率细化阶段,以所述局部校正特征作为阶段恢复特征进行语义锚定,获得相应语义增强特征;
42、初步重建模块,用于通过基于所述局部校正特征获得的语义增强特征,通过图像重建头将特征映射至图像空间,重建并输出初步恢复图像;
43、全局残差分配模块,用于在所述图像空间中接收所述初步恢复图像,并结合所述输入图像、所述语义增强特征以及所述初步恢复图像与所述输入图像之间的差分信息预测全局残差,将所述全局残差与所述初步恢复图像融合,输出最终恢复图像;
44、图像输出模块,用于输出所述最终恢复图像。
45、根据本发明第二方面所公开的系统,语义引导模块包括:
46、语义特征提取单元,包括冻结的预训练视觉编码器,用于从所述输入图像中提取浅层语义、中层语义和深层语义;
47、阶段感知语义路由单元,用于根据当前阶段的作用从所述浅层语义、中层语义和深层语义中选择主语义层级,并融合其他层级的语义作为辅助语义,输出混合语义特征;
48、语义锚定注入单元,用于根据当前阶段的阶段恢复特征和所述混合语义特征生成语义残差锚和内容相关调制图,并利用所述内容相关调制图对所述语义残差锚进行空间自适应调制后将调制后的语义残差锚与所述恢复特征融合,输出语义增强特征。
49、本发明第三方面公开了一种电子设备,其包括存储器和处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行根据本发明第一方面所公开的基于残差分配的夜间恶劣天气图像恢复方法。
50、本发明第四方面公开了一种可读存储介质,其中存储有计算机程序指令,所述计算机程序指令被一处理器读取并运行时,执行根据本发明第一方面所公开的基于残差分配的夜间恶劣天气图像恢复方法。
51、综上所述,在本发明具备以下有益效果:
52、(1)通过局部与全局双路径协同校正,兼顾局部细节修复与全局一致性调整。 局部路径通过空间门控选择性修复雨滴、雪斑、光晕等局部残留伪影,结合幅值约束和空间平滑确保校正温和、过渡自然;全局路径联合差分信息和语义引导对全场景亮度偏差、雾化残留和色彩偏移进行一致性校正。两者功能互补,显著提升了恢复图像的局部清晰度和整体视觉质量。
53、(2)通过阶段感知语义锚定,在恢复过程中有效保持场景内容。 根据编码、解码、高分辨率细化和全局校正等阶段的不同职责,从浅层、中层、深层语义中自适应选择适配层级,并通过语义残差锚和调制图以受控残差形式注入,而非直接替换,在去除退化的同时保留道路边缘、车辆轮廓和弱纹理等关键内容,避免过度平滑。
54、(3)通过多重约束机制,降低过度增强和颜色漂移风险。 局部路径通过门控选择、幅值约束和空间平滑三重控制,全局路径通过幅值约束限制调整幅度,使校正过程温和可控,恢复结果在视觉质量和色彩保真度上均得到保障。
55、下面结合附图中所示的实施例以及附图标记详细公开本发明的基于残差分配的夜间恶劣天气图像恢复方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com