基于多尺度循环对抗网络的恶劣环境图像复原方法与流程
本发明涉及计算机视觉与图像处理领域,具体涉及一种基于多尺度循环对抗网络的恶劣环境图像复原方法。
背景技术:
1、在计算机视觉与图像处理领域,恶劣天气条件下的图像采集质量下降是一个长期存在的技术难题。当图像采集设备处于烟雾、雾霾、雨雪等恶劣环境中时,大气介质中的微小颗粒(如烟尘粒子、水汽凝结核、气溶胶等)会对场景光线产生严重的散射与吸收效应,导致采集到的图像出现对比度降低、色彩偏移、细节模糊以及动态范围压缩等一系列退化现象。具体而言,这种退化过程遵循大气散射物理模型,可表述为:
2、;
3、其中,表示图像像素的二维空间坐标,为观测到的有雾或有烟图像在像素位置处的强度向量(对于彩色图像而言为rgb三通道向量),为待恢复的清晰无退化图像(即真实场景辐射强度),为全局大气光向量,通常假设为与空间位置无关的常量,为透射率函数,其取值范围为,表示场景光线从物体表面传播到成像设备过程中未被散射的比例。透射率与场景深度及大气散射系数(该系数与烟/雾浓度呈正相关)之间存在指数衰减关系:
4、;
5、从上述物理模型可以清晰地看出,图像去烟/去雾问题的本质是一个高度病态的反问题求解过程:在仅已知观测图像的情况下,需要同时估计出清晰图像、大气光以及透射率图(或等价地估计场景深度和散射系数),而未知量的数目远大于已知方程的数目。这种病态性使得传统的确定性求解方法面临巨大挑战,往往需要借助各种先验知识或统计假设来约束解空间。
6、随着深度学习和生成对抗网络(generative adversarial networks, gan)技术的快速发展,基于数据驱动的图像去烟/去雾方法近年来取得了显著进展。生成对抗网络通过构建生成器(generator)与判别器(discriminator)之间的博弈对抗机制,能够学习到从退化图像域到清晰图像域的高度非线性映射关系,尤其擅长恢复图像中丰富的纹理细节和自然感知质量。然而,现有基于gan的去烟/去雾方法仍然存在诸多局限性,例如对训练数据中烟/雾浓度分布的敏感性过高、在真实复杂场景下的泛化能力不足、容易产生伪影和色彩失真以及缺乏对物理成像过程的显式约束等。
7、与本发明最相近的现有实现方案主要包括三类:第一类是基于先验知识的传统图像复原方法,第二类是基于卷积神经网络的端到端监督学习方法,第三类是基于条件生成对抗网络的图像到图像翻译方法。以下分别对这三类方法进行详细阐述。
8、第一类:基于暗通道先验的传统去雾方法
9、何恺明等人提出的暗通道先验(dark channel prior, dcp)是迄今为止最具影响力的传统图像去雾方法之一。该方法基于对大量无雾图像统计特性的观察:在绝大多数非天空局部区域中,至少有一个颜色通道的强度值趋近于零。这一先验知识可以用数学语言表述为:
10、;
11、其中,表示以像素为中心的局部图像块内的暗通道值,表示清晰图像在颜色通道(红、绿、蓝)上的强度值。基于暗通道先验,对于有雾图像,在假设透射率在局部块内保持恒定的条件下,对大气散射模型两边取最小通道运算并经过变形,可以得到透射率的粗估计表达式:
12、;
13、大气光的估计通常选取暗通道中强度最高的前0.1%像素对应的原始有雾图像中的最大强度值。获得透射率粗估计后,进一步采用软抠图(soft matting)或引导滤波(guided filter)等精细化技术对进行优化,得到精细化的透射率图。最终,清晰图像通过下式恢复:
14、;
15、其中是一个很小的正常数(通常取0.1),用于避免透射率过小时的分母为零问题。
16、除暗通道先验外,其他传统方法还包括:颜色衰减先验(color attenuationprior, cap),该方法基于有雾图像中亮度与饱和度的线性关系来估计场景深度;对比度最大化方法,通过最大化局部对比度来估计透射率;以及非局部先验方法,假设清晰图像的颜色在rgb空间中呈现稀疏分布特性。
17、第二类:基于卷积神经网络的端到端去雾方法
18、随着深度学习技术的成熟,研究人员开始探索利用卷积神经网络(convolutionalneural network, cnn)直接从有雾图像中学习到清晰图像的端到端映射函数。dehazenet是较早的代表性工作之一,该方法设计了一个轻量级的cnn结构,包含特征提取层、多尺度融合层、局部极值层和非线性回归层,直接输出透射率图的估计值,然后结合大气散射模型恢复清晰图像。dehazenet的损失函数通常定义为预测透射率与真实透射率之间的均方误差:
19、;
20、其中为像素总数,为网络预测的透射率,为基于合成数据计算得到的真实透射率。
21、mscnn(multi-scale convolutional neural network)方法进一步引入了多尺度思想,使用粗尺度网络估计整体透射率图,然后通过细尺度网络对局部细节进行精炼。aod-net(all-in-one dehazing network)则提出了一个更加优雅的解决方案,将大气散射模型重新参数化为一个统一的公式,使网络能够直接输出清晰图像而无需单独估计透射率和大气光。具体而言,aod-net定义了一个变换函数:
22、;
23、然后通过cnn学习从到的映射,最终清晰图像由获得,其中为偏置项。
24、griddehazenet提出了一种基于网格结构的去雾网络,通过引入注意力机制和残差密集块来增强特征表达能力。该方法的特点在于采用可学习的预处理模块替代传统的手工设计的预处理操作,并且通过多尺度网格结构实现了对不同尺度特征的有效融合。
25、第三类:基于条件生成对抗网络的图像去雾方法
26、生成对抗网络的引入为图像去雾任务带来了全新的思路。条件生成对抗网络(conditional generative adversarial network, cgan)通过在生成器和判别器中同时引入条件信息(即有雾图像),使得网络能够学习到从输入图像到输出图像的条件分布映射。典型的cgan去雾框架可以表述为以下极小极大博弈问题:
27、
28、其中为生成器,其输入为有雾图像,输出为生成的去雾图像;为判别器,其输入为图像对或,输出为该图像对是否为真实清晰图像与其对应条件之间的匹配概率。生成器的目标是生成足够逼真的去雾图像以欺骗判别器,而判别器的目标是尽可能准确地区分真实清晰图像对和生成的伪清晰图像对。
29、在实际实现中,为了进一步提升去雾质量,通常会在cgan的损失函数中增加额外的内容损失项,例如l1损失或感知损失。完整的生成器损失函数可表示为:
30、;
31、其中为对抗损失,为像素级l1重构损失,为基于预训练vgg网络的特征感知损失,和为平衡各损失项贡献的权重系数。
32、cyclegan是另一种相关的无配对图像翻译方法,它通过引入循环一致性损失来解除对配对训练数据的依赖。对于去雾任务,cyclegan同时学习两个方向的映射:从有雾域到清晰域的前向映射,以及从清晰域到有雾域的反向映射。循环一致性损失确保经过往返变换后的图像能够恢复到原始图像:
33、;
34、这种无配对的方法在实际应用中具有更大的灵活性,因为获取严格配对的真实有雾/清晰图像对在物理上是极其困难的。
35、近年来,一些改进的gan去雾方法被陆续提出。例如,dense-haze gan专门针对浓雾场景设计了稠密残差块和特征融合机制;pm-gan引入了物理模型约束,将大气散射模型嵌入到网络结构中作为指导;而edn-gan则采用了编码器-解码器结构并加入了通道注意力机制来增强重要特征的表达能力。
36、尽管上述现有技术方案在图像去烟/去雾领域取得了一定的成效,但经过深入分析和实验验证,本发明人发现这些技术方案仍然存在以下一个或多个关键性缺点,这些缺点严重制约了它们在复杂恶劣环境下的实际应用效果:
37、缺点一:对烟/雾浓度的适应能力有限,缺乏浓度自适应的特征处理机制
38、现有方法,无论是基于暗通道先验的传统方法还是基于深度学习的方法,在烟/雾浓度发生变化时性能都会出现显著波动。对于暗通道先验方法而言,其核心假设(局部块内至少有一个颜色通道强度趋近零)在浓烟/浓雾场景中可能失效,因为强散射作用会使所有通道的强度值都被提升到较高水平,导致暗通道先验不再成立。对于深度学习方法而言,虽然理论上可以通过大量数据学习到不同浓度下的映射关系,但实际训练数据中的烟/雾浓度分布往往是不均匀的,网络容易对训练集中占主导的浓度范围产生过拟合。当输入图像的烟/雾浓度与训练数据分布存在差异时,去雾效果会急剧下降,表现为残留雾霾、颜色过饱和或对比度不足等现象。更为关键的是,现有网络结构中缺少对烟/雾浓度信息的显式建模和自适应调节机制,网络的所有参数对不同浓度的输入都是共享的,这限制了网络对不同退化程度图像的灵活处理能力。
39、缺点二:物理模型约束与数据驱动学习之间的脱节,导致复原结果缺乏物理真实性
40、虽然部分现有方法(如aod-net、pm-gan)尝试将大气散射物理模型引入到网络设计中,但这些方法大多只是将物理模型作为网络结构的固定组成部分,未能充分利用物理模型与数据驱动学习之间的协同互补关系。具体而言,这些方法存在两个层面的问题:第一,物理模型的参数(如透射率和大气光)是通过网络隐式学习的,缺乏对参数估计不确定性的量化和传播机制,导致当物理模型假设与实际情况不符时(例如存在非均匀大气光或光源色温变化),网络无法自适应地调整对物理模型的依赖程度;第二,物理模型产生的中间结果(如透射率图)与最终去雾图像之间的误差传播是单向的,缺少从图像质量到物理参数的反馈调节回路。这种脱节导致的后果是:生成的去雾图像虽然在像素级指标(如psnr、ssim)上表现良好,但在视觉感知上可能出现不符合物理规律的伪影,例如天空区域出现不自然的纹理、物体边缘周围产生光晕效应、或者颜色还原违背了光照一致性约束。
41、缺点三:单一尺度的生成对抗机制难以同时保证全局结构一致性和局部细节保真度
42、现有基于gan的去雾方法通常采用单一尺度的生成器和判别器结构。生成器往往采用u-net或类似的自编码器结构,虽然通过跳跃连接能够在一定程度上保留细节信息,但编码器下采样过程中的空间分辨率损失是不可避免的。当输入图像分辨率较高或场景结构复杂时,单一尺度的特征提取难以兼顾大范围的上下文语义信息和小范围的纹理细节特征。判别器的设计同样存在问题:多数方法采用patchgan判别器,该判别器对输入图像进行或尺寸的图像块的真假判别,这种设计虽然能够保证局部纹理的真实性,但对全局结构一致性(如场景几何布局、光照分布趋势、色彩协调性等)的约束能力较弱。反之,如果采用全局判别器,则又可能丢失对局部细节的敏感性。这种单一尺度的对抗机制使得网络在面对同时需要保持宏观结构和微观细节的复杂场景时陷入两难境地。
43、缺点四:训练过程中缺少对边缘结构和显著性区域的有效保护,导致重要细节丢失或模糊
44、在恶劣环境下采集的图像中,边缘结构和显著性区域(如行人轮廓、车辆边缘、交通标志、建筑物轮廓等)承载着最重要的视觉信息。然而,现有方法在去烟/去雾处理过程中往往对这些关键区域造成了不可逆的损伤。分析其原因主要包括:第一,损失函数设计上缺少对边缘结构的显式关注,无论是像素级l1/l2损失还是感知损失,都未能针对边缘区域赋予更高的优化权重;第二,网络中的下采样操作(如步长卷积或池化层)会不可逆地损失高频信息,而在解码阶段通过上采样和跳跃连接只能部分恢复这些信息,无法完全弥补;第三,判别器的对抗训练倾向于生成平滑且“看起来自然”的图像,这种倾向在缺乏针对性约束时会导致对边缘的过度平滑处理。实验观察表明,现有方法在处理包含精细结构(如树枝、电线、文字等)的烟/雾图像时,复原结果往往出现边缘模糊、结构断裂或者细节丢失的现象,严重影响了图像的可读性和后续高级视觉任务(如目标检测、语义分割)的性能。
45、缺点五:对真实复杂场景中的非均匀烟/雾分布处理能力不足,泛化性能差
46、现有方法大多假设烟/雾在大气中的分布是相对均匀的(即散射系数在空间上恒定),然而在真实恶劣环境中,烟/雾的浓度分布往往呈现显著的空间非均匀性。例如,在室外场景中,近地面的雾霾浓度通常高于高处;在工业烟雾环境中,烟尘源附近的浓度远高于远处;在隧道或地下空间中,烟气的扩散受通风条件影响呈现复杂分布模式。现有方法对这种非均匀退化的建模能力严重不足。对于传统方法,局部块内的恒定透射率假设在非均匀区域会产生块效应和光晕伪影。对于深度学习方法,由于训练数据大多是基于均匀散射模型合成的,网络没有接触过真实的非均匀退化模式,因此在真实复杂场景下的泛化性能难以保证。即使部分方法采用了多尺度结构或多层特征融合,本质上仍然是在均匀退化的假设框架下进行学习,未能从根本上解决非均匀退化建模的问题。
技术实现思路
1、针对上述现有技术存在的诸多缺点和不足,本发明提出了一种基于多尺度循环生成对抗网络的恶劣环境图像去烟去雾复原方法。本发明的核心目的可以归纳为以下几个方面:
2、目的一:建立浓度感知的自适应特征调制机制,实现对不同烟/雾浓度图像的鲁棒复原
3、针对现有方法对烟/雾浓度适应性差的问题,本发明设计了一种轻量级的浓度估计模块,该模块能够从输入图像中快速估计出全局烟/雾浓度系数和局部浓度分布图。基于估计出的浓度信息,本发明进一步提出了浓度自适应特征调制(concentration-adaptivefeature modulation, cafm)单元,该单元能够根据浓度分布动态调整网络中间特征的尺度和偏置参数,使得网络对不同退化程度的图像采用差异化的处理策略。通过这种方式,本发明旨在实现对宽浓度范围内烟/雾图像的一致高质量复原。
4、目的二:构建物理模型与生成对抗网络的深度耦合框架,增强复原结果的物理真实性
5、为解决物理模型与数据驱动学习脱节的问题,本发明设计了一种物理引导的双路协同生成网络。该网络包含一条物理参数估计路径和一条直接复原路径,两条路径通过信息交互模块进行深度耦合。物理参数估计路径显式输出透射率图和大气光,并通过改进的大气散射模型生成初步复原结果;直接复原路径则学习从有雾图像到清晰图像的残差映射。两路结果通过可学习的融合权重进行自适应融合,同时设计了一种双向误差传播机制,使得最终复原图像的质量能够反向修正物理参数的估计误差。这种设计旨在融合物理模型的确定性和深度网络的表达能力的双重优势。
6、目的三:采用多尺度循环生成对抗结构,实现全局一致性与局部细节的联合优化
7、针对单一尺度对抗机制的局限性,本发明提出了一种多尺度循环生成对抗网络架构。在生成器端,采用带有循环反馈连接的编码器-解码器结构,循环反馈使得网络能够在多次迭代中逐步精化复原结果,每次循环都基于前一次的输出进行特征重提取和细节增强。在判别器端,本发明设计了多尺度判别器集成机制,包含全局判别器、局部判别器和边缘判别器三个分支,分别从全局结构、局部纹理和边缘锐度三个维度对生成图像进行约束。通过这种多尺度循环对抗机制,本发明旨在同时保证复原图像在宏观尺度上的结构完整性和在微观尺度上的细节保真度。
8、目的四:引入边缘感知的注意力损失函数,强化对显著性区域的结构保护
9、为解决边缘和细节丢失的问题,本发明设计了一种边缘感知的复合损失函数。该损失函数在传统内容损失和对抗损失的基础上,增加了三个创新性的分量:边缘结构损失、显著性区域加权损失和多尺度梯度匹配损失。边缘结构损失通过sobel和canny算子提取生成图像与真实图像的边缘图,并计算两者之间的结构相似性;显著性区域加权损失利用预训练的显著性检测网络生成注意力权重图,对图像中的关键区域赋予更高的优化权重;多尺度梯度匹配损失则约束生成图像与真实图像在不同尺度下的梯度分布保持一致。通过这种精心设计的损失函数,本发明旨在实现对边缘和细节的针对性保护。
10、目的五:引入非均匀退化建模模块,提升在真实复杂环境下的泛化能力
11、针对非均匀烟/雾分布问题,本发明提出了基于空间变异散射系数的非均匀退化模型。与传统的大气散射模型不同,本发明将散射系数扩展为空间函数,从而能够描述非均匀的烟/雾浓度分布。基于这一扩展模型,本发明的浓度估计模块不仅输出全局浓度等级,还输出像素级的浓度分布图。在训练阶段,本发明通过合成具有非均匀浓度分布的训练数据来增强网络的泛化能力;在推理阶段,网络能够直接从输入图像中推断出浓度分布并据此进行自适应处理。这种设计旨在使本发明的方法能够有效应对真实场景中复杂的非均匀烟/雾退化模式。
12、综上所述,本发明的总体目标是提供一种能够适应宽浓度范围、符合物理规律、保持全局局部一致性、保护边缘细节并具有良好泛化性能的恶劣环境图像去烟去雾复原方法,以克服现有技术的诸多缺点,满足实际工程应用中对图像复原质量的严苛要求。
13、本发明的技术方案为,包括以下步骤:
14、s10,浓度感知与自适应调制;
15、s20,物理引导的双路协同生成;
16、s30,多尺度循环精化;
17、s40,多尺度判别器集成;
18、s50,边缘感知复合损失。
19、优选地,所述s10的输入为有烟或有雾图像,通过轻量级的浓度估计子网络,其输出为全局浓度系数和局部浓度分布图;
20、浓度估计子网络的处理包括:三个步长为2的卷积层用于下采样,通道数分别为32、64、128,每个卷积层后接批归一化和leakyrelu激活函数;随后是两个全连接层,分别输出全局浓度系数和一个的低分辨率浓度图;最后通过双线性上采样将低分辨率浓度图恢复至原始输入分辨率,得到局部浓度分布图,全局浓度系数经sigmoid函数约束到区间,其中0表示无烟/雾,1表示极浓烟或雾;
21、浓度估计完成后,浓度自适应特征调制单元根据和生成调制参数对,对于网络中的第层特征图,调制过程表示为:
22、;
23、其中表示逐元素相乘,和是由全局浓度系数和局部浓度分布图经过小型调制参数生成网络产生的尺度调制因子和偏置调制因子;调制参数生成网络包含一个全局池化层处理和一个空间自适应卷积层处理,两者的输出经过融合后通过两个独立的卷积层分别生成和。
24、优选地,所述s20具体经过共享编码器后进入两条并行路径:物理参数估计路径和直接复原路径,两条并行路径的输出再进行自适应融合。
25、优选地,所述s20中共享编码器的输入图像首先经过一个步长为1、核大小为的初始卷积层,将通道数扩展至64,得到初始特征;随后依次通过四个下采样块,每个下采样块包含一个步长为2的卷积层和一个残差密集块;经过四个下采样块后,特征图的空间分辨率依次变为、、和,对应的通道数分别为128、256、512、512;在每个下采样块的输出端,特征图被复制为两份,分别送入物理参数估计路径和直接复原路径,设第个下采样块输出的特征图为,其中分别对应四个尺度层级。
26、优选地,所述s20中物理参数估计路径,估计大气散射模型中的物理参数,透射率图和全局大气光,该路径接收编码器输出的多尺度特征作为输入,并采用从粗到精的策略逐步精化物理参数的估计;
27、在最粗尺度层级,分辨率,通道数512,物理参数估计路径首先通过一个透射率估计头和一个大气光估计头分别输出粗尺度的透射率图和大气光值,透射率估计头的结构为:两个卷积层;随后是一个卷积层将通道数降至1,最后通过sigmoid激活函数将输出值约束在区间。粗尺度透射率图的表达式为:
28、;
29、其中表示sigmoid激活函数,大气光估计头首先对进行全局平均池化,得到的全局特征向量,然后通过两个全连接层,最后通过sigmoid激活函数得到归一化的估计值;
30、在获得粗尺度估计后,物理参数估计路径向上逐级进行精化,对于层级,将上一级的透射率图上采样至当前尺度,与当前尺度的编码器特征进行通道拼接,然后通过一个精化模块输出当前尺度的精细化透射率图,精化模块的结构为:三个卷积层,通道数分别为256、128、1,每个卷积层后接批归一化和leakyrelu激活,这一过程表示为:
31、;
32、其中表示双线性上采样操作,将分辨率从提升至;
33、最终,在最精细尺度,即分辨率处得到精细化透射率图,再经过一次双线性上采样即可恢复至原始分辨率,记为;。对于大气光,由于其全局常量的特性,只在最粗尺度进行一次估计并向上传递,无需逐级精化;
34、获得透射率图和大气光后,物理参数估计路径基于大气散射模型生成初步的物理复原结果:
35、;
36、其中是一个小于0.1的常数,用于防止透射率过小时数值不稳定;
37、直接复原路径:不显式估计物理参数,直接学习从有烟或有雾图像到清晰图像的端到端映射,直接复原路径接收共享编码器输出的多尺度特征,采用编码器解码器结构进行特征重建,解码器部分包含四个上采样块,每个上采样块依次包含:一个双线性上采样层将分辨率提升2倍、一个卷积层将通道数减半、一个与对应尺度编码器特征的跳跃连接以及一个残差密集块;
38、设解码器在第尺度上的输出特征为,其计算过程表示为:
39、;
40、其中表示通道维度上的拼接操作,初始化为,即最粗尺度的编码器特征,表示第尺度的残差密集块;残差密集块的具体结构为:四个卷积层,每个卷积层的输出都会与后续所有卷积层的输入进行拼接,最后通过一个卷积层进行特征融合,并与输入形成残差连接;经过四个上采样块后,输出特征图,再经过一个卷积层和双线性上采样层恢复至原始分辨率,并通过tanh激活函数,输出范围,再线性映射到,得到直接复原结果。
41、优选地,所述s20中自适应融合在第尺度层级上,包含两个方向的转换:
42、从物理参数估计路径到直接复原路径的转换:将物理参数估计路径在当前尺度的透射率图,已上采样至与相同分辨率,通过一个卷积层,输出通道数与相同,映射为物理信息特征,然后通过通道注意力机制与进行融合:
43、;
44、其中,表示通道注意力操作,是一个可学习的融合权重系数,融合方式使得drp路径能够利用ppep路径估计的物理参数信息来指导特征重建过程。
45、从直接复原路径到物理参数估计路径的转换:将直接复原路径在当前尺度的解码器特征通过一个卷积层,输出通道数为1,映射为深度引导特征,该特征被用于修正ppep路径的透射率估计,修正方式为对精化模块的输出增加一个残差项:
46、;
47、其中同样是可学习的融合权重系数;
48、最终,输出由物理参数估计路径的物理复原结果和直接复原路径的直接复原结果通过可学习的空间自适应权重图融合得到:
49、;
50、其中和是空间自适应的融合权重图,满足,为全1矩阵;权重图由一个轻量级的权重生成网络产生,该网络的输入为,最精细尺度的编码器特征,经过两个卷积层和softmax激活函数,输出两个权重图。
51、优选地,所述s30中通过多次迭代的方式逐步精化复原结果,具体为,在第次循环迭代中,循环单元的输入为上一轮输出的去雾图像和原始有雾图像的拼接,输出为本轮的精细化去雾图像;
52、对于第一轮迭代,即,初始化为,引入循环状态传递机制,即共享编码器的部分特征被保留并传递到下一轮迭代中,使得网络能够在多轮处理中积累和保持对场景结构的记忆;
53、循环迭代过程的数学表达如下:
54、;
55、其中表示上一轮迭代中编码器输出的多尺度特征;
56、为了控制循环状态的更新速率,采用门控循环更新机制:
57、;
58、其中是当前轮编码器输出的新特征,是由当前轮编码器特征和上一轮状态共同计算的门控信号:
59、;
60、该门控机制使得网络自适应地决定保留多少历史信息以及融合多少新信息,从而在多次迭代中稳定地积累有用的场景结构知识;
61、经过次循环迭代后,最终的生成器输出为。
62、优选地,所述s40中包含三个并行的判别器分支:全局判别器、局部判别器和边缘判别器,分别从不同的感受野和关注角度对图像的真实性进行评估,其中,
63、全局判别器:全局判别器的输入为完整尺寸的去雾图像或真实清晰图像与条件图像的拼接,由5个卷积层组成,卷积核大小均为,步长分别为2、2、2、2、1,通道数依次为64、128、256、512、1,前4个卷积层后均接有批归一化和leakyrelu激活函数,的输出是一个的特征图,每个输出值对应输入图像中一个感受野较大的局部区域,表示该区域为真实清晰图像的概率;
64、局部判别器:局部判别器的输入是从去雾图像或真实清晰图像中随机裁剪出的图像块,的网络结构包含4个卷积层,卷积核大小,步长2、2、2、1,通道数64、128、256、1,。的输出是一个的特征图;
65、边缘判别器:输入为去雾图像或真实清晰图像的边缘图与条件图像边缘图的拼接,边缘图通过可微分的sobel算子提取:
66、;
67、其中和分别为水平方向和垂直方向的sobel算子核,表示卷积操作。的网络结构与相同,输出的特征图;
68、三个判别器分支的输出通过加权求和的方式融合为总的判别器得分:
69、;
70、其中、和为平衡权重,本发明分别取0.4、0.4和0.2。
71、优选地,所述s50包含多个分量,分别对生成图像的不同属性进行约束,生成器损失函数表示为:
72、;
73、其中各损失分量的定义为:
74、对抗损失:采用最小二乘生成对抗网络的形式:
75、;
76、即生成器试图让判别器将生成图像判断为真实图像,得分接近1;
77、l1内容损失:计算生成图像与真实清晰图像之间的平均绝对误差:
78、;
79、其中为真实清晰图像,l1损失相比l2损失能够更好地保留图像的边缘信息;
80、感知损失:利用在imagenet上预训练的vgg-16网络提取高层语义特征,约束生成图像与真实图像在特征空间中的相似性:
81、;
82、其中表示vgg-16网络第个特征层的输出,为选用的特征层数量,、、分别为该特征层的高度、宽度和通道数;
83、边缘结构损失:用于显式地约束生成图像的边缘质量,包含两个部分:边缘图均方误差和边缘图结构相似性:
84、;
85、其中为sobel边缘提取算子,为结构相似性指数;
86、显著性加权损失:首先使用预训练的显著性检测网络生成显著性概率图,然后以显著性概率作为权重对像素级误差进行加权:
87、;
88、其中为真实清晰图像的显著性图;
89、多尺度梯度匹配损失:该损失项约束生成图像与真实图像在不同尺度下的梯度分布保持一致,定义下采样算子将图像分辨率降低倍,则多尺度梯度损失为:
90、;
91、其中表示梯度算子,包含水平和垂直两个方向,为下采样的最大层数,为第尺度下的像素总数;
92、物理一致性损失:该损失项利用大气散射物理模型对生成结果施加约束,将生成图像与估计的透射率图和大气光重新合成有雾图像,该合成图像应与原始输入尽可能接近:
93、;
94、还包括对透射率图平滑性的约束:
95、;
96、循环一致性损失:在完成从有雾到清晰的前向映射后,再利用另一个反向生成器(结构与对称)将清晰图像映射回有雾图像:
97、;
98、其中,设为0,即不使用循环一致性损失;当使用无配对训练数据时,设为10;
99、判别器的损失函数定义为标准lsgan形式:
100、;
101、所有损失项的权重系数经过网格搜索优化确定:,,,,,,,代表配对训练或10代表无配对训练。
102、优选地,网络训练分为两个阶段:预训练阶段和对抗训练阶段;
103、预训练阶段:在预训练阶段,仅训练生成器网络,不使用判别器,预训练损失函数为,其中,,,预训练共进行50个epoch,初始学习率设为,每20个epoch衰减为原来的0.5倍,预训练的目的是让生成器具备去烟和去雾能力,为后续的对抗训练提供良好的初始点;
104、对抗训练阶段:在预训练的基础上,同时训练生成器和判别器,采用adam优化器,生成器和判别器的初始学习率均设为,动量参数,,采用一对一交替更新策略:每次迭代先更新一次判别器,再更新一次生成器,对抗训练共进行150个epoch,学习率在第80个epoch和第120个epoch分别衰减为原来的0.5倍,为了稳定训练过程,采用谱归一化对判别器中的所有卷积层进行权重归一化处理;
105、数据增强:为了增强模型的泛化能力,在训练过程中采用在线数据增强策略,包括:随机水平翻转、随机旋转、随机色彩抖动以及随机缩放裁剪。
106、发明的有益效果如下:
107、1.实现了对宽浓度范围烟/雾图像的鲁棒复原,浓度适应能力显著提升
108、通过引入浓度感知与自适应调制模块cpamm,本发明能够显式地估计输入图像的全局浓度系数和局部浓度分布图,并据此对网络特征进行自适应调制。与传统方法中所有输入共享相同网络参数的机制相比,本发明的浓度自适应调制机制使得网络能够根据实际退化程度动态调整特征表达,从而在从轻度薄雾到浓重烟雾的宽浓度范围内都保持优异的复原性能。实验结果表明,在合成数据集(不同浓度等级)和真实数据集上,本发明在峰值信噪比(psnr)指标上相比最优现有方法平均提升2.3db,在结构相似性指数(ssim)上平均提升0.07,特别是在极浓烟/雾浓度(透射率)条件下,本发明的psnr提升幅度达到4.1db,充分体现了浓度自适应机制的有效性。
109、2.物理模型与数据驱动深度耦合,复原结果具有更高的物理真实性
110、本发明设计的物理引导双路协同生成网络pgd-cgn,通过双路信息交互模块实现了物理参数估计路径与直接复原路径的双向耦合。与现有方法中物理模型与深度学习相对割裂的设计相比,本发明的耦合机制带来了三个层面的有益效果:第一,物理参数估计路径显式输出透射率图和大气光,这些中间结果具有良好的可解释性,便于人工检查和干预;第二,直接复原路径能够借助物理信息来约束生成过程,减少了违反物理规律的不合理结果(如物体边缘出现光晕、天空区域出现异常纹理等);第三,从直接复原路径到物理参数估计路径的反向修正机制,使得网络能够根据图像内容自适应地调整对物理模型的信任程度,当物理模型假设与实际情况不符时(如存在非均匀光照或局部光源),网络能够自动降低物理参数的权重,避免物理模型误差对最终结果的影响。在主观视觉评估实验中,超过78%的受试者认为本发明的复原结果在物理真实性(包括光照一致性、色彩自然度、无伪影等方面)上优于对比方法。
111、3.多尺度循环对抗机制同时保证了全局结构一致性和局部细节保真度
112、本发明的多尺度判别器集成网络(全局判别器、局部判别器、边缘判别器)和循环精化机制相互配合,解决了现有单一尺度对抗机制难以兼顾全局与局部优化的固有问题。全局判别器保证了复原图像在场景布局、光照分布和色彩协调性等宏观属性上的真实性;局部判别器专注于局部纹理和微小结构的自然度,有效抑制了块效应和模糊伪影;边缘判别器则直接约束了边缘结构的锐利度和连续性。三个判别器分支的联合训练产生了协同增强效应:生成器必须在所有尺度上都欺骗所有判别器,这迫使生成器同时关注从低频到高频的所有视觉属性。多尺度循环精化机制进一步通过多次迭代的方式逐步精化复原结果,每次迭代都能在前一次的基础上补充缺失的细节。实验结果表明,在包含复杂纹理和精细结构的图像上,本发明在感知指标lpips(learned perceptual image patch similarity,数值越低表示感知质量越好)上相比最优现有方法降低0.12,表明生成图像与真实图像在人类视觉感知层面更加接近。
113、4.边缘感知损失函数有效保护了边缘和显著性区域的复原质量
114、本发明设计的边缘感知复合损失函数通过边缘结构损失、显著性加权损失和多尺度梯度匹配损失三个创新分量,对图像中的边缘和显著性区域形成了多层次的保护机制。边缘结构损失直接优化生成图像与真实图像在边缘图上的差异,迫使生成器产出锐利且连续的结构边缘;显著性加权损失通过注意力机制引导网络将更多容量分配给图像中的关键区域;多尺度梯度匹配损失则从频域角度约束生成图像与真实图像在多尺度梯度分布上的一致性,这相当于对图像的局部对比度进行了全面的约束。这三个损失分量的协同作用,使得本发明在处理包含精细结构(如文字、细小物体、网状结构等)的烟/雾图像时,能够显著减少边缘模糊和细节丢失现象。在目标检测下游任务上的评估显示,使用本发明复原的图像作为输入的yolov4目标检测器,其平均精度均值(map)相比使用现有方法复原的图像提升了6.8%,这充分证明了本发明在保留对高级视觉任务至关重要的边缘和细节信息方面的优势。
115、5.非均匀退化建模能力显著增强了在真实复杂环境下的泛化性能
116、本发明的浓度估计模块输出局部浓度分布图而非单一全局浓度值,这使得网络具备了建模非均匀烟/雾分布的能力。结合训练阶段合成非均匀浓度分布数据(通过空间变化的散射系数生成),本发明的网络能够有效学习到从局部浓度线索到对应复原强度的映射关系。在真实拍摄的包含非均匀烟雾(如工业烟囱排放、森林火灾烟雾扩散、隧道内烟气分层等)的图像测试集上,本发明的复原结果在主观视觉质量和客观指标上都显著优于现有方法。特别是在烟雾浓度剧烈变化的区域(如烟源附近与远离烟源区域之间的过渡带),现有方法往往出现过渡不自然(突然的对比度跳变)或残留雾霾的问题,而本发明通过浓度自适应调制机制能够实现平滑且恰当的复原强度过渡。泛化性能实验表明,在完全不参与训练的四个真实场景数据集上,本发明的psnr指标相比训练集上的验证结果下降幅度仅为0.7db,而对比方法的下降幅度在1.8db到3.2db之间,充分证明了本发明优越的泛化能力。
117、6.端到端的整体框架和高效的网络设计保证了实际应用的可行性
118、尽管本发明包含了多个创新模块,但整体网络结构保持了端到端的可训练性,所有模块(包括浓度估计模块、双路生成网络、多尺度判别器、损失函数中的边缘提取和显著性检测部分)都是可微分的,可以通过标准的反向传播算法进行联合优化。这大大简化了训练流程,避免了分阶段训练可能引入的次优解问题。在推理效率方面,本发明通过精心设计控制计算量:浓度估计模块采用轻量级结构(参数量仅0.8m),多尺度循环精化机制在推理时可根据需要选择循环次数(即可获得良好效果,时计算量约为单次的三倍但质量提升有限),实际部署时可采用以速度优先或以质量优先的灵活配置。在nvidia tesla v100 gpu上,处理一张图像的平均推理时间为0.23秒(),满足大多数实时或准实时应用的需求。
119、综上所述,本发明在去烟/去雾质量、物理真实性、细节保真度、泛化能力和计算效率等多个维度上均取得了相较于现有技术的显著进步,具有突出的实质性特点和显著的进步。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com