基于双分支小波扩散的天气图像处理方法、计算机系统及可读存储介质与流程

本申请涉及图像处理，尤其涉及一种基于双分支小波扩散的天气图像处理方法、计算机系统及可读存储介质。

背景技术：

1、在自动驾驶、视频监控和户外目标识别等实际应用中，采集到的图像往往受到雾霾、雨线、雪斑等恶劣天气的严重退化，导致图像可见度降低、纹理模糊和色彩偏移，极大地限制了高层视觉任务的性能。因此，从单幅退化图像中恢复出清晰、自然的高质量图像，是计算机视觉领域一项极具挑战性的基础研究课题。

2、目前，基于扩散模型的生成式恢复方法如diffuir将扩散模型引入图像恢复，取得了比传统回归模型更逼真的纹理细节。然而，现有基于扩散的恢复方法，在rgb空间处理混合退化时存在技术瓶颈——网络需要同时学习去雾（即亮度/颜色调整）和去雨雪（即纹理重构）两种物理机制不同的映射，导致优化难度增加，在复杂混合天气下易出现恢复效果不稳定的现象。

3、鉴于此，本申请提出一种新的基于扩散模型的天气图像处理方法，旨在实现可靠的恶劣天气图像恢复。

技术实现思路

1、本申请的主要目的在于提供一种基于双分支小波扩散的天气图像处理方法，旨在解决如何实现可靠的恶劣天气图像恢复的问题。

2、为实现上述目的，本申请提供的一种基于双分支小波扩散的天气图像处理方法，所述方法包括：

3、s10，获取待恢复图像；

4、s20，将所述待恢复图像经过小波变换分解为低频成分和至少一种高频成分，通过第一分支处理所述低频成分得到第一分支特征，并通过第二分支处理所述高频成分得到第二分支特征；

5、s30，以所述第一分支特征生成的第一调制信号引导所述第二分支特征进行调制，得到调制后高频特征，以及以所述第二分支特征生成的第二调制信号引导所述第一分支特征进行调制，得到调制后低频特征；

6、s40，基于所述调制后高频特征和所述调制后低频特征，生成天气恢复图像并输出。

7、可选地，s30中，以所述第一分支特征生成的第一调制信号引导所述第二分支特征进行调制，得到调制后高频特征，包括：

8、对所述第一分支特征执行池化及张量重塑操作，得到所述第一调制信号；

9、将所述第一调制信号与所述第二分支特征进行逐元素相乘，得到高频调制特征；

10、对所述高频调制特征执行逐点卷积及张量重塑操作，得到高频调制权重；

11、将所述高频调制权重与所述第二分支特征逐元素相乘后，与所述第二分支特征进行通道拼接，得到所述调制后高频特征。

12、可选地，s30中，以所述第二分支特征生成的第二调制信号引导所述第一分支特征进行调制，得到调制后低频特征，包括：

13、对所述第二分支特征执行深度卷积处理，得到所述第二调制信号；

14、将所述第二调制信号与所述第一分支特征逐元素相乘，得到第一低频调制特征；

15、对所述第一低频调制特征执行池化操作后与所述第二调制信号经逐点卷积处理得到的特征进行逐元素相乘，得到第二低频调制特征；

16、将所述第一低频调制特征与所述第二低频调制特征相加后，与所述第一分支特征进行通道拼接，得到所述调制后低频特征。

17、可选地，所述方法还包括：

18、对所述低频成分执行多尺度特征提取及门控筛选，得到门控特征；

19、基于所述门控特征的全局统计量构建退化表征向量；

20、基于所述退化表征向量对用于执行步骤s20-s40的图像恢复模型中的卷积层权重进行调制。

21、可选地，所述基于所述退化表征向量对用于执行步骤s20-s40的图像恢复模型中的卷积层权重进行调制包括：

22、基于所述退化表征向量生成任务专属权重；

23、将所述任务专属权重与预设静态共享基础权重叠加得到重组卷积核权重；

24、将所述重组卷积核权重作为所述图像恢复模型中目标卷积层的原始权重。

25、可选地，s20，包括：

26、对所述待恢复图像与当前时间歩的带噪输入拼接后的特征执行小波变换，得到低频子带以及水平高频子带、垂直高频子带和对角高频子带；

27、根据所述水平高频子带、所述垂直高频子带和所述对角高频子带，确定所述高频成分，以及根据所述低频子带确定所述低频成分；

28、通过所述第一分支对所述低频成分执行降采样特征建模，以提取包含全局结构信息的第一分支特征；

29、通过所述第二分支在不改变空间分辨率的条件下对所述高频成分执行细节增强处理，以提取包含局部纹理信息的第二分支特征。

30、可选地，基于低频编码器的执行所述降采样特征建模进行特征提取后进行上采样恢复，得到所述第一分支特征；

31、通过串行的多个相同分辨率的残差细节增强模块对所述高频成分进行处理，得到所述第二分支特征。

32、可选地，s40之后，还包括，

33、将所述天气恢复图像作为当前输入图像，并将所述待恢复图像作为条件图像；

34、将所述当前输入图像与所述条件图像拼接后，返回迭代执行步骤s20至s40，并在满足预设迭代停止条件时停止迭代并输出最终的天气恢复图像。

35、此外，为实现上述目的，本申请还提供一种计算机系统，所述计算机系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的基于双分支小波扩散的天气图像处理方法的步骤。

36、此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的基于双分支小波扩散的天气图像处理方法的步骤。

37、本申请至少具备以下有益效果：

38、1、将小波变换嵌入扩散模型的迭代过程中，将退化图像分解为低频和高频分别处理。低频分支专注恢复被雾霾干扰的光照和色彩，高频分支专注重建被雨雪覆盖的边缘和细节，避免了单一网络在rgb空间混淆两种物理退化特征，显著提升了去雾时颜色的自然度和去雨雪时纹理的清晰度。

39、2、基于退化表征动态调制网络参数，使同一模型能够根据输入图像的退化状态自适应调整卷积层权重，增加了模型对多类退化任务的适配能力，减少了多任务学习中的特征干扰；

40、3、通过跨分支特征调制机制，利用低频特征指导高频特征的恢复并利用高频特征反馈修正低频特征，增加了恢复图像在全局结构与局部纹理之间的一致性。

1.一种基于双分支小波扩散的天气图像处理方法，其特征在于，所述方法包括以下步骤：

2.如权利要求1所述的基于双分支小波扩散的天气图像处理方法，其特征在于，s30中，以所述第一分支特征生成的第一调制信号引导所述第二分支特征进行调制，得到调制后高频特征，包括：

3.如权利要求1所述的基于双分支小波扩散的天气图像处理方法，其特征在于，s30中，以所述第二分支特征生成的第二调制信号引导所述第一分支特征进行调制，得到调制后低频特征，包括：

4.如权利要求1所述的基于双分支小波扩散的天气图像处理方法，其特征在于，所述基于所述退化表征向量对用于执行步骤s20-s40的图像恢复模型中的卷积层权重进行调制包括：

5.如权利要求1所述的基于双分支小波扩散的天气图像处理方法，其特征在于，s20，包括：

6.如权利要求5所述的基于双分支小波扩散的天气图像处理方法，其特征在于，通过低频编码器执行降采样特征建模、提取特征后再上采样恢复，得到所述第一分支特征；

7.如权利要求1所述的基于双分支小波扩散的天气图像处理方法，其特征在于，s40之后，还包括，

8.一种计算机系统，其特征在于，所述计算机系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于双分支小波扩散的天气图像处理方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于双分支小波扩散的天气图像处理方法的步骤。