一种联合频域退化感知与动态专家路由的雨雾图像复原方法

摘要: 本发明属于雨雾图像复原的,具体涉及一种联合频域退化感知与动态专家路由的雨雾图像复原方法。背景技术:1、随着自动驾驶、智能监控以及无人机视觉等应用的快速发展,复杂...
一种联合频域退化感知与动态专家路由的雨雾图像复原方法

本发明属于雨雾图像复原的,具体涉及一种联合频域退化感知与动态专家路由的雨雾图像复原方法。

背景技术:

1、随着自动驾驶、智能监控以及无人机视觉等应用的快速发展,复杂天气条件下的图像质量问题逐渐成为制约视觉系统性能的重要因素。其中,雨和雾是最常见且具有代表性的两类天气退化形式。雨天气通常在图像中产生大量具有明显方向性的雨条纹结构,这些雨线表现为中高频干扰并对图像结构造成遮挡。而雾天气则由于大气散射效应导致图像整体对比度下降、细节模糊,其特征主要表现为低频信息增强与高频细节衰减。当雨雾同时存在时,图像会同时受到结构遮挡与全局对比度退化的双重影响,从而严重降低图像质量,并进一步影响目标检测、识别等下游任务的准确性。因此,研究高效的雨雾图像复原方法具有重要的理论意义和应用价值。

2、近年来,基于深度学习的图像复原方法在去雨、去雾任务中取得了显著进展。现有方法通常基于卷积神经网络或transformer结构,通过多尺度特征提取和注意力机制提升模型的表达能力。同时,多专家结构被引入以增强模型对不同退化类型的适应性,使网络能够根据输入特征选择不同的处理路径。此外,部分现有技术尝试通过频域信息刻画不同退化的分布特性,以提升模型对复杂退化的辨识能力。

3、然而,现有方法仍存在以下不足。首先,多数方法仍主要依赖空间域特征进行建模,对退化在频域中的分布特性利用不足,难以充分区分雨的高频干扰与雾的低频退化特征。其次,在多专家结构中,传统路由策略缺乏对退化特征的有效感知,专家选择过程往往依赖粗粒度语义信息,难以实现针对不同退化程度的精细化调度。此外,现有注意力机制多侧重通道或空间单一维度建模,对复杂天气下结构信息与细节纹理的协同恢复能力有限。

技术实现思路

1、本发明的目的在于针对现有技术中的上述不足,提供一种联合频域退化感知与动态专家路由的雨雾图像复原方法,以解决现有技术中复杂雨雾天气下,图像退化特征难以准确建模的问题。

2、为达到上述目的,本发明采取的技术方案是:

3、一种联合频域退化感知与动态专家路由的雨雾图像复原方法,其包括以下步骤:

4、s1、获取雨雾混合退化图像,并将其输入浅层特征提取模块,提取得到基础空域特征;

5、s2、将基础空域特征输入编码器路径中,通过下采样逐步扩大感受野、压缩空间维度并增强通道表达能力,进而输出多尺度深层空域特征;

6、s3、将多尺度深层空域特征输入多尺度拉普拉斯滤波器,对高层特征进行频域分析,并生成频域退化嵌入;

7、s4、将多尺度深层空域特征和频域退化嵌入输入解码器路径中,并联合退化感知动态专家模块和方向坐标注意力模块进行上采样与特征融合操作,进而逐步恢复图像空间分辨率;

8、s5、将解码器的输出通过精炼层模块处理后,与雨雾混合退化图像执行逐元素加和的全局残差学习操作,输出复原图像。

9、进一步的,所述s2中,编码器路径包括四个依次串联的编码块,每个编码块均包括自注意力模块和前馈网络;所述编码块的处理流程为:

10、雨雾混合退化图像作为输入,经过层归一化处理后,进入自注意力模块以建模特征内部的全局依赖关系;自注意力模块的输出与该层的输入进行残差连接,得到第一级残差特征;该第一级残差特征再经过一次层归一化处理后,送入前馈网络模块进行特征变换;前馈网络模块的输出与所述第一级残差特征再次进行残差连接,得到编码块的最终输出,即多尺度深层空域特征。

11、进一步的,所述s3中,多尺度拉普拉斯滤波器设置于编码器路径与解码器路径的瓶颈处。

12、进一步的,所述多尺度拉普拉斯滤波器的处理流程为:

13、多尺度深层空域特征分别经过3×3和5×5的拉普拉斯卷积核进行并行滤波,得到两路多尺度高频特征;两路多尺度高频特征在通道维度拼接后,得到融合特征,该得到融合特征经gelu激活函数引入非线性变换,增强特征表达能力;对激活特征执行全局平均池化以压缩空间维度,得到全局频域统计向量;将该统计向量再送入由两层线性层构成的多层感知机进行映射,最终输出频域退化嵌入。

14、进一步的,所述s4中,解码器路径包括三个串联设置的解码块,每个解码块接收对应层级编码块跳跃连接的多尺度深层空域特征以及频域退化嵌入,进而通过上采样与特征融合操作逐步恢复图像空间分辨率。

15、进一步的,每个解码块均包括退化感知动态专家模块和方向坐标注意力模块;所述解码块的处理流程包括:

16、多尺度深层空域特征以及频域退化嵌入输入解码块中,多尺度深层空域特征经过层归一化处理,再与频域退化嵌入一同进入退化感知动态专家模块进行自适应特征处理;退化感知动态专家模块的输出与多尺度深层空域特征进行残差连接,得到第一残差特征;该第一残差特征经过一次层归一化处理,送入前馈网络进行特征变换;前馈网络的输出经方向坐标注意力模块进行方向敏感特征增强后,与第一残差特征再次进行残差连接,得到解码块的最终输出。

17、进一步的,所述退化感知动态专家模块包括频域感知动态门控路由和一组可学习的专家子网络,其处理流程包括:

18、采用两组独立1×1卷积对多尺度深层空域特征进行通道映射与分支拆分,分别构建注意力查询分支与专家共享输入分支;

19、专家共享输入分支的共享空域特征和频域退化嵌入输入频域感知动态门控路由中,对共享空域特征执行全局平均池化压缩空间维度,再通过双层全连接与非线性激活得到空域统计表征;同时,频域退化嵌入经两层线性变换与修正线性单元增强非线性表达,并通过sigmoid约束输出值域,获得归一化退化感知表征;将空域统计表征和归一化退化感知表征逐元素相加,以融合全局退化先验,再与空域统计表征进行像素级乘积,得到门控特征;对门控特征执行维度投影、温度系数平滑、负载偏置校正与高斯噪声增强处理,再通过softmax归一化与top-k策略筛选,生成稀疏路由权重;

20、随后,注意力查询分支中的查询分支特征经共享专家处理并映射为注意力键k与值v;

21、专家共享输入分支中,将共享空域特征并行送入多个专家子网络进行特征变换,根据稀疏路由权重执行top-k专家筛选,保留响应度最高的多个专家,再利用筛选后的稀疏权重g对这多个专家的输出进行加权求和,生成动态聚合特征,并将动态聚合特征投影为查询q;

22、最后,通过跨分支注意力机制,将查询q与注意力键k进行矩阵乘法、softmax 归一化后再与值v进行矩阵乘法,输出经全局上下文调制的增强特征。

23、进一步的,所述方向坐标注意力模块的处理流程为:

24、前馈网络输出的特征作为输入特征,将该输入特征分别沿水平方向与垂直方向执行平均池化,得到水平方向全局空间统计特征与垂直方向全局空间统计特征;将垂直方向全局空间统计特征转置后与水平方向全局空间统计特征在通道维度拼接,得到联合方向特征;

25、将联合方向特征送入由 1×1 卷积、批归一化与hard swish激活构成的变换层,得到通道压缩后的中间特征;将该中间特征沿空间维度拆分为水平与垂直两个分支,对两个分支分别通过1×1卷积恢复通道数并通过sigmoid激活生成垂直方向注意力权重和水平方向注意力权重;

26、将垂直方向注意力权重转置后,与水平方向注意力权重一同和输入特征进行逐元素乘法,最终得到方向增强后的输出特征。

27、本发明提供的联合频域退化感知与动态专家路由的雨雾图像复原方法,具有以下有益效果:

28、1、本发明首先通过多尺度拉普拉斯滤波模块(multi-scale laplacian filter,msl filter)对图像进行频域特征建模,从不同尺度刻画雨雾退化的频率分布特性。随后设计退化感知的动态专家路由机制(degradation-aware dynamic gating router, dadg-r),通过融合频域特征与全局语义信息,实现对专家路径的自适应选择。同时,在解码阶段引入方向性坐标注意力模块(directional coordinate attention, dca),以增强网络对结构信息与细节纹理的联合建模能力,从而实现更加有效的雨雾图像复原。

29、2、针对雨雾混合退化中的不同频率特征,本发明构建了一种多尺度拉普拉斯滤波结构,该结构通过不同感受野的拉普拉斯高通算子对中高频信息进行建模,以增强雨纹等结构细节,同时结合多尺度特征融合,对低频信息进行补充,从而提升图像的清晰度与边缘质量。

30、3、本发明提出了一种融合空间特征与频域信息的动态门控路由函数,通过引入频域嵌入调制和自适应温度控制机制,实现对雨、雾及其混合退化的自适应建模,并动态选择合适的专家路径,有效提升模型在不确定退化场景下的适应能力。

31、4、本发明提出方向性坐标注意力模块(dca),方向坐标注意力模块通过分离并建模水平与垂直方向的特征依赖关系,使模型能够更好地捕捉雨条纹的方向性分布及雾霭的空间结构,从而提高特征表达能力与恢复效果。