一种基于多阶段和多尺度注意力融合网络及图像去雨方法与流程

1.本发明属于计算机视觉研究技术领域，更具体地说，特别涉及一种基于多阶段和多尺度注意力融合网络及图像去雨方法。


背景技术：

2.雨条纹会显著影响图片的可见性，导致图片中的物体十分模糊。下雨作为一种常见的天气现象，不仅提升了室外采集图像的难度，并且雨条纹会降低了图片的视觉质量。许多计算机视觉算法的性能是建立在高质量图片数据集上的，各种方向和尺度的雨条纹会影响了图片的质量，因此降低了这些算法的性能，如目标检测，视频监控，语义分割。为了消除雨条纹，提高这些算法的性能，开发一个从低级图像中恢复干净图像的算法是十分必要的。
3.各种尺度和方向上雨条纹的叠加使得单图像去雨成为一个十分困难的问题。单图像去雨的核心观点是将雨图像分为两层：雨条纹层和背景层。kang等人利用双边滤波器将雨天图像分解成低频部分(lfp)和高频部分(hfp)，然后通过执行字典学习和稀疏编码，将高频部分分解为“雨分量”和“非雨分量从而恢复无雨图像。hao等人将雨天图像分解为具有特定方向和频率特征的子图像，在含有细节信息少的子图像上进行去雨。还有一些方法是通过高斯混合模型(gmm)去模拟雨条纹层和背景层的先验知识。这些先验知识可以适应各种方向和尺度上的雨条纹，能够很好的去除雨条纹。这些方法已被证明在某些情况下是有效的，但是结果不是最优的，这些方法往往会模糊背景并且很难去灵活适应具有复杂雨形状和背景的雨图像。随着深度学习日趋成熟，其中的一些技术也应用于去雨的任务。在去雨任务中，基于深度学习的方法已经取得了十分显著的结果。一些优秀的卷积网络架构也被引入去雨任务，如resnet，unet，densenet，lstm,inception等。还有采用fpn网络在多尺度特征上去除雨水。为了更多关注图像的相关区域来提升卷积网络去除雨纹的效果，又引入了注意力机制。尽管这些方法，取得了最先进的结果，但是分离雨和背景仍然具有挑战性。单一的滤波器很难提取不同形状的雨条纹信息，并且很多雨条纹和背景特别相似导致了在去除雨条纹的时候很大概率会损失重要的背景信息。


技术实现要素：

4.为了解决上述技术问题，本发明提供一种基于多阶段和多尺度注意力融合网络及图像去雨方法，提出了一种有效的算法，即mmafn，用于去除含有雨条纹的图像。本发明主要提出的是一种两阶段网络结构，这两个网络均采用编码器-解码器网络来提取特征，第一阶段网络粗化特征，第二阶段网络融合了第一阶段网络的特征进一步细化特征。同时考虑到雨纹信息的水平性和垂直性，本发明引入了联合通道坐标注意力模块来关注不同方向上的有用信息。此外，为了融合不同尺度的特征和促进两个网络之间的信息流通，本发明使用了inception注意力分支模块和多级特征融合模块。在四个个公共合成数据集上，本发明将提出方法与最先进的方法进行了比较。实验结果表明，该方法优于目前最先进的去雨方法。有效的解决了上述存在的技术问题。
5.本发明一种基于多阶段和多尺度注意力融合网络及图像去雨方法的目的与功效，由以下具体技术手段所达成：
6.一种基于多阶段和多尺度注意力融合网络，它由两个编码器解码器网络组成，所述网络包含有联合通道坐标注意力模块(jccab)、inception注意力分支模块(inceptionabb)和多级特征融合模块(multi-level feature fusion)，所述联合通道坐标注意力模块(jccab)用来提取每个尺度上的有用信息，用来对通道关系和位置信息进行编码；所述inception注意力分支模块(inceptionabb)位于联合通道坐标注意力模块(jccab)之后，用来提取高级特征，所述多级特征融合模块(multi-level feature fusion)位于两个编解码器网络之间，用于将第一阶段网络提取的粗糙特征融合到第二阶段，对特征进一步细化。这样不仅丰富了特征信息，还弥补了多次下采样造成的信息损失。
7.所述inception注意力分支模块(inceptionabb)中，设有不同尺寸卷积核分支组合而成的多分支模块(dbb)。
8.所述联合通道坐标注意力模块(jccab)由两个3x3的卷积层、prelu函数和联合通道坐标注意力(jcaa)组合而成。
9.所述多级特征融合模块(multi-level feature fusion)在两个编码器-解码器之间，用于将第一阶段编解码器网络的不同尺度特征转移融合到第二阶段编解码器网络中。
10.一种基于多阶段和多尺度注意力融合网络的图像去雨方法，所述方法步骤为：一、使用一个3
×
3的卷积核来提取初始特征，然后将这些特征输入到具有联合通道坐标注意力模块(jccab)编码器-解码器网络结构中；本发明设计的联合通道坐标注意力块用来提取每个尺度上的有用信息；二、为了提取高级特征，在联合通道坐标注意力模块之后紧接着采用了inception注意力分支模块(inceptionabb)，在第一阶段的编解码器网络中，跳跃连接也使用了联合通道坐标注意力块来处理特征映射，在第二阶段的编解码器网络中，没有使用跳跃连接，而是在两个编解码器网络之间引入了多级特征融合模块(multi-level feature fusion)，将第一阶段网络提取的粗糙特征融合到第二阶段，对特征进一步细化；这样不仅丰富了特征信息，还弥补了多次下采样造成的信息损失；三、通过一个3
×
3卷积得到输入图像的残差输出，再和退化图像进行融合就得到了重建后的图像。
11.所述步骤一中，联合通道坐标注意力对通道关系和位置信息进行编码，总共分为两步：多通道信息注意融合和位置信息嵌入。
12.所述步骤一中，多通道信息注意融合的步骤为：(1)为了获得更大的感受野，选择尺寸为3和尺寸为5的卷积核，对任意给定的特征图通过大小为3的卷积核生成的中间特征为通过大小为5的卷积核生成的中间特征为h
×
w表示输入的空间维度，c为输入特征图的通道数，h
′×w′
表示输出的空间维度，c
′
/r为通过卷积核输出后的通道数，通过使用通道缩减因子r，来降低模型的复杂度以及提升模型的泛化能力；(2)构建通道之间依赖关系可以提高网络模型对通道信息的敏感性，这些通道信息可以显著提高网络模型的性能，对通道信息建模，选择在上使用全局平均池化来捕获全局信息去生成通道统计信息具体来说，通过收缩的空间维度h
×
w来计算b的第c个元素，
[0013][0014]fgp
(
·
)为全局平均池化操作，为通道维度上的特征图，h
′×w′
为的空间维度；
[0015]
通过全连接层和sigmoid函数生成一个紧凑的特征能够对所有通道实现精确的自适应选择，z＝f
fc
(b)＝δ(wb)，δ是sigmoid的函数，使用d来控制全连接层的维度大小，最后通过逐元素(element-wise)相乘融合多分支结果：f为融合后的结果。
[0016]
所述步骤一中，位置信息嵌入的方法为：给定输入分别用池化核(h，1)和(1，w)的两个空间范围沿着水平方向和垂直方向去编码每一个通道，因此，在水平方向h的第c个通道的输出公式如下同样，在垂直方向w的第c个通道的输出公式如下fc为通道维度上的特征图；
[0017]
通过上述两种变换可以沿两个空间方向提取特征，生成水平方向和垂直方向的特征图，而senet中的通道注意力模块只能产生通道特征向量。这两种转换可以沿着两个不同的方向捕获长距离依赖关系，同时还能保留精确的位置信息，这有助于网络更准确地定位不同大小的雨条纹。
[0018]
对于给定的两个方向的特征向量和通过尺寸1x1的卷积核进行转换得到和1x1的卷积核用来恢复特征图原本的通道大小，最后实现特征图的聚合，最终公式为：
[0019][0020]
δ是sigmoid的函数，b是batchnormalization，x为最开始输入的特征图，fout为最终输出的特征图。
[0021]
与只关注通道重要性的通道注意方法不同，本发明的联合通道坐标注意力模块还考虑扩大感受野和编码位置信息。本发明首先通过两个不同的卷积核扩大了感受野，然后对其中一个卷积核的输出执行通道注意力，保留了通道信息，最后融合两个不同的特征图，考虑到雨纹信息的水平性和垂直性，本发明对融合后的特征图使用了沿水平和垂直方向的注意力。这两个方向映射后的每个元素都反映了相应方向上是否存在有用信息。这种位置信息嵌入允许本发明更准确地聚焦有用信息的位置，从而帮助整个模型更好地去除雨条纹。
[0022]
所述步骤二中，第一阶段网络只能提取粗糙的特征，因此提出了一个多级特征融合模块(mlff)融合两个阶段网络的特征，进一步细化特征；为了对特征图进行精确校准，多联合通道坐标注意力模块采用了多个jccab模块和一个卷积层；mlff模块在两个编码器-解码器之间，能够将第一阶段编解码器网络的不同尺度特征转移到第二阶段编解码器网络中；在将两个阶段对应等级的特征融合之前，首先使用多联合通道坐标注意力模块(mjccab)对第二阶段三个等级的特征图重新校准，然后将第一阶段编码器三个等级的特征，解码器三个等级的特征和第二阶段编码器三个等级的特征融合在一起，每个等级的特征都要通过多分支模块(dbb)来丰富特征信息，最后等级2和等级3的特征进行上采样与上
一等级的特征进行融合，输出到第二阶段的解码器中。对于上采样，本发明不使用转置卷积来提高特征的分辨率，而是以2的比例因子执行双线性上采样。这有助于减少输出图像中经常由于转置卷积而产生的棋盘效应。考虑到计算量的问题，本发明只在等级3后引入nolocal机制来增强长距离信息的表达。
[0023]
mlff模块有很多优点：第一，注意力机制能够捕获显著的有用信息，堆叠注意力机制然后和不同阶段的对应等级的特征融合，不仅丰富了特征图信息，而且使得注意力机制更加聚焦有用信息，提升了网络的性能。第二，编码器解码器多次下采样损失了很多有用信息，两个阶段网络模型特征的融合显著减小了这种损失。
[0024]
所述步骤三中，为了提高网络的建模能力，将两个3x3的卷积层，prelu函数和联合通道坐标注意力(jcaa)进行组合，形成了联合通道坐标注意力模块，在mmafn的编码层和解码层，添加了多个jccab来提取每个尺度上的特征；在编解码器网络中，引入了inceptionabb来提取高级特征，inception结构提取了不同尺度的特征并将特征进行叠加输出，丰富了特征图的信息，极大的提高了网络的性能。
[0025]
本发明借鉴了inception的多分支思想，不同的是，本发明没有将相同尺寸卷积核分支组合起来，而是将不同尺寸卷积核分支组合，形成了多分支模块(dbb)。经过大量实验，本发明发现不同尺寸卷积核分支的效果比相同尺寸卷积核分支的效果更好，因此多分支模块(dbb)在分支一上采用一个1x1的卷积核，在分支二上采用1x1的卷积核和3x3的卷积核，在分支三上采用1x1的卷积核和全局平均池化，在分支四上采用3x3的卷积核，之后将四个分支的结果逐元素相加输出。首先，本发明使用dbb模块从不同尺度细化相关信息并且融合，然后使用联合通道坐标注意力模块关注信息量最大的有用尺度信息来增强网络的辨别性学习能力，从而使特征表达更加有效。最后，接着相同的dbb模块来帮助更加精细的表达多尺度雨纹信息。此外，在跳跃连接中使用了尺寸为1的卷积核，来实现多尺度信息的渐进融合，而且还有效防止了梯度的消失。
[0026]
为了保留高频纹理，消除过度平滑，本发明采用charbonnierpenalty function在训练过程中能够保持更好的收敛性，对真实的图像y进行近似。这个函数表示为：
[0027][0028]
xr代表重建后的图像，根据经验惩罚系数ε设置为0.001。
[0029]
本发明提出的模型总共分为两个阶段，因此对于这两个阶段，模型通过将退化的输入图像xd添加到输出的残差图像x
res
来直接得到重建后的图像xr。xr＝xd x
res
[0030]
为了保证重建后图像xr的真实性，本发明使用边缘损失来约束真实图像和预测的重建后图像之间的高频分量。边缘损失定义如下：
[0031][0032]
lap(
·
)定义为laplacian operator。最后本发明使用以下损失函数来优化本发明提出的模型：
[0033][0034]
等式中λ控制着损失和损失的相对重要性，该项设置为0.05。
[0035]
本发明至少包括以下有益效果：
[0036]
提出了一种多阶段和多尺度注意力融合网络结构，称为mmafn。它包含几个关键组件，(1)两个编码器-解码器网络，第一阶段网络用来粗化特征，第二阶段网络用来进一步细化特征。(2)联合通道坐标注意力模块(jcca)放置在两个编解码器网络之中，更准确地聚焦有用的信息，实现渐进式学习，从而帮助整个模型更好地去除雨条纹。(3)添加了多级特征融合模块(mlff)，丰富了特征图信息，而且使得注意力机制更加聚焦有用信息，提升了网络的性能。此外，该方法弥补了多次上下采样造成的信息损失。(4)inception注意力分支模块，细化了不同尺度的相关信息并且融合，增强网络的辨别性学习能力，从而使特征表达更加有效。
附图说明：
[0037]
图1为本发明的网络模型图；
[0038]
图2为本发明的联合通道坐标注意力(jcca)模型图；
[0039]
图3为本发明的联合通道坐标注意力模块(jccab)模型图；
[0040]
图4为本发明的多分支模块(dbb)模型图；
[0041]
图5为本发明的注意力分支模块(inceptionabb)模型图；
[0042]
图6为本发明的多级特征融合模块模型图；
[0043]
图7为本发明的多联合通道坐标注意力模块(mjccab)模型图；
[0044]
图8为本发明的去雨效果对比图。
具体实施方式
[0045]
下面通过实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。
[0046]
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0047]
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0048]
实施例：
[0049]
本发明提供一种基于多阶段和多尺度注意力融合网络，如附图1-7所示，它由两个编码器解码器网络组成，所述网络包含有联合通道坐标注意力模块(jccab)、inception注意力分支模块(inceptionabb)和多级特征融合模块(multi-level feature fusion)，所述联合通道坐标注意力模块(jccab)用来提取每个尺度上的有用信息，用来对通道关系和位
置信息进行编码；所述inception注意力分支模块(inceptionabb)位于联合通道坐标注意力模块(jccab)之后，用来提取高级特征，所述多级特征融合模块(multi-level feature fusion)位于两个编解码器网络之间，用于将第一阶段网络提取的粗糙特征融合到第二阶段，对特征进一步细化。这样不仅丰富了特征信息，还弥补了多次下采样造成的信息损失。
[0050]
进一步的，inception注意力分支模块(inceptionabb)中，设有不同尺寸卷积核分支组合而成的多分支模块(dbb)。
[0051]
进一步的，联合通道坐标注意力模块(jccab)由两个3x3的卷积层、prelu函数和联合通道坐标注意力(jcca)组合而成。
[0052]
进一步的，多级特征融合模块(multi-level feature fusion)在两个编码器-解码器之间，用于将第一阶段编解码器网络的不同尺度特征转移融合到第二阶段编解码器网络中。
[0053]
一种基于多阶段和多尺度注意力融合网络的图像去雨方法，所述方法步骤为：一、使用一个3
×
3的卷积核来提取初始特征，然后将这些特征输入到具有联合通道坐标注意力模块(jccab)编码器-解码器网络结构中；本发明设计的联合通道坐标注意力块用来提取每个尺度上的有用信息；二、为了提取高级特征，在联合通道坐标注意力模块之后紧接着采用了inception注意力分支模块(inceptionabb)，在第一阶段的编解码器网络中，跳跃连接也使用了联合通道坐标注意力块来处理特征映射，在第二阶段的编解码器网络中，没有使用跳跃连接，而是在两个编解码器网络之间引入了多级特征融合模块(multi-level feature fusion)，将第一阶段网络提取的粗糙特征融合到第二阶段，对特征进一步细化；这样不仅丰富了特征信息，还弥补了多次下采样造成的信息损失；三、通过一个3
×
3卷积得到输入图像的残差输出，再和退化图像进行融合就得到了重建后的图像。
[0054]
进一步的，步骤一中，联合通道坐标注意力对通道关系和位置信息进行编码，总共分为两步：多通道信息注意融合和位置信息嵌入。提出的联合通道坐标注意力的示意图如附图2和3所示。具体来说，通过两个操作实现多通道信息注意融合。
[0055]
进一步的，步骤一中，如附图2part1所示，多通道信息注意融合的步骤为：(1)为了获得更大的感受野，选择尺寸为3和尺寸为5的卷积核，对任意给定的特征图通过大小为3的卷积核生成的中间特征为通过大小为5的卷积核生成的中间特征为h
×
w表示输入的空间维度，c为输入特征图的通道数，h
′×w′
表示输出的空间维度，c
′
/r为通过卷积核输出后的通道数，通过使用通道缩减因子r，来降低模型的复杂度以及提升模型的泛化能力；(2)构建通道之间依赖关系可以提高网络模型对通道信息的敏感性，这些通道信息可以显著提高网络模型的性能，对通道信息建模，选择在上使用全局平均池化来捕获全局信息去生成通道统计信息具体来说，通过收缩的空间维度h
×
w来计算b的第c个元素，
[0056][0057]fgp
(
·
)为全局平均池化操作，为通道维度上的特征图，h
′×w′
为的空间维度；
[0058]
通过全连接层和sigmoid函数生成一个紧凑的特征能够对所有通道实现
精确的自适应选择，z＝f
fc
(b)＝δ(wb)，δ是sigmoid的函数，使用d来控制全连接层的维度大小，最后通过逐元素(element-wise)相乘融合多分支结果：f为融合后的结果。
[0059]
进一步的，步骤一中，如附图2part2所示，位置信息嵌入的方法为：给定输入分别用池化核(h，1)和(1，w)的两个空间范围沿着水平方向和垂直方向去编码每一个通道，因此，在水平方向h的第c个通道的输出公式如下同样，在垂直方向w的第c个通道的输出公式如下fc为通道维度上的特征图；
[0060]
通过上述两种变换可以沿两个空间方向提取特征，生成水平方向和垂直方向的特征图，而senet中的通道注意力模块只能产生通道特征向量。这两种转换可以沿着两个不同的方向捕获长距离依赖关系，同时还能保留精确的位置信息，这有助于网络更准确地定位不同大小的雨条纹。
[0061]
对于给定的两个方向的特征向量和通过尺寸1x1的卷积核进行转换得到和1x1的卷积核用来恢复特征图原本的通道大小，最后实现特征图的聚合，最终公式为：
[0062][0063]
δ是sigmoid的函数，b是batchnormalization，x为最开始输入的特征图，f
out
为最终输出的特征图。
[0064]
与只关注通道重要性的通道注意方法不同，本发明的联合通道坐标注意力模块还考虑扩大感受野和编码位置信息。如附图2所示，本发明首先通过两个不同的卷积核扩大了感受野，然后对其中一个卷积核的输出执行通道注意力，保留了通道信息，最后融合两个不同的特征图，考虑到雨纹信息的水平性和垂直性，本发明对融合后的特征图使用了沿水平和垂直方向的注意力。这两个方向映射后的每个元素都反映了相应方向上是否存在有用信息。这种位置信息嵌入允许本发明更准确地聚焦有用信息的位置，从而帮助整个模型更好地去除雨条纹。
[0065]
进一步的，步骤二中，第一阶段网络只能提取粗糙的特征，因此提出了一个多级特征融合模块(mlff)融合两个阶段网络的特征，进一步细化特征；附图7展示了多联合通道坐标注意力模块。为了对特征图进行精确校准，多联合通道坐标注意力模块采用了多个jccab模块和一个卷积层；附图6展示了mlff模块的网络架构。mlff模块在两个编码器-解码器之间，能够将第一阶段编解码器网络的不同尺度特征转移到第二阶段编解码器网络中；在将两个阶段对应等级的特征融合之前，首先使用多联合通道坐标注意力模块(mjccab)对第二阶段三个等级的特征图重新校准，然后将第一阶段编码器三个等级的特征，解码器三个等级的特征和第二阶段编码器三个等级的特征融合在一起，每个等级的特征都要通过多分支模块(dbb)来丰富特征信息，最后等级2和等级3的特征进行上采样与上一等级的特征进行融合，输出到第二阶段的解码器中。对于上采样，本发明不使用转置卷积来提高特征的分辨率，而是以2的比例因子执行双线性上采样。这有助于减少输出图像中经常由于转置卷积而产生的棋盘效应。考虑到计算量的问题，本发明只在等级3后引入nolocal机制来增强长距
离信息的表达。
[0066]
mlff模块有很多优点：第一，注意力机制能够捕获显著的有用信息，堆叠注意力机制然后和不同阶段的对应等级的特征融合，不仅丰富了特征图信息，而且使得注意力机制更加聚焦有用信息，提升了网络的性能。第二，编码器解码器多次下采样损失了很多有用信息，两个阶段网络模型特征的融合显著减小了这种损失。
[0067]
进一步的，步骤三中，为了提高网络的建模能力，将两个3x3的卷积层，prelu函数和联合通道坐标注意力(jcaa)进行组合，形成了联合通道坐标注意力模块，如附图3所示。在mmafn的编码层和解码层，添加了多个jccab来提取每个尺度上的特征；在编解码器网络中，引入了inceptionabb来提取高级特征，inception结构提取了不同尺度的特征并将特征进行叠加输出，丰富了特征图的信息，极大的提高了网络的性能。
[0068]
因为雨纹信息大多在图像的高频部分，所以在编解码器网络中，本发明引入了inceptionabb来提取高级特征。inception结构提取了不同尺度的特征并将特征进行叠加输出，丰富了特征图的信息，极大的提高了网络的性能。本发明借鉴了inception的多分支思想，不同的是，本发明没有将相同尺寸卷积核分支组合起来，而是将不同尺寸卷积核分支组合，形成了多分支模块(dbb),如附图4所示。经过大量实验，本发明发现不同尺寸卷积核分支的效果比相同尺寸卷积核分支的效果更好，因此多分支模块(dbb)在分支一上采用一个1x1的卷积核，在分支二上采用1x1的卷积核和3x3的卷积核，在分支三上采用1x1的卷积核和全局平均池化，在分支四上采用3x3的卷积核，之后将四个分支的结果逐元素相加输出。附图5给出了inception注意力分支模块的架构。首先，本发明使用dbb模块从不同尺度细化相关信息并且融合，然后使用联合通道坐标注意力模块关注信息量最大的有用尺度信息来增强网络的辨别性学习能力，从而使特征表达更加有效。最后，接着相同的dbb模块来帮助更加精细的表达多尺度雨纹信息。此外，在跳跃连接中使用了尺寸为1的卷积核，来实现多尺度信息的渐进融合，而且还有效防止了梯度的消失。
[0069]
为了保留高频纹理，消除过度平滑，本发明采用charbonnierpenalty function在训练过程中能够保持更好的收敛性，对真实的图像y进行近似。这个函数表示为：
[0070][0071]
xr代表重建后的图像，根据经验惩罚系数ε设置为0.001。
[0072]
本发明提出的模型总共分为两个阶段，因此对于这两个阶段，模型通过将退化的输入图像xd添加到输出的残差图像x
res
来直接得到重建后的图像xr。xr＝xd x
res
[0073]
为了保证重建后图像xr的真实性，本发明使用边缘损失来约束真实图像和预测的重建后图像之间的高频分量。边缘损失定义如下：
[0074][0075]
lap(
·
)定义为laplacian operator。最后本发明使用以下损失函数来优化本发明提出的模型：
[0076][0077]
等式中λ控制着损失和损失的相对重要性，该项设置为0.05。
[0078]
本发明提出了一种多阶段和多尺度注意力融合网络结构，称为mmafn。它包含几个
关键组件，(1)两个编码器-解码器网络，第一阶段网络用来粗化特征，第二阶段网络用来进一步细化特征。(2)联合通道坐标注意力模块(jcca)放置在两个编解码器网络之中，更准确地聚焦有用的信息，实现渐进式学习，从而帮助整个模型更好地去除雨条纹。(3)添加了多级特征融合模块(mlff)，丰富了特征图信息，而且使得注意力机制更加聚焦有用信息，提升了网络的性能。此外，该方法弥补了多次上下采样造成的信息损失。(4)inception注意力分支模块，细化了不同尺度的相关信息并且融合，增强网络的辨别性学习能力，从而使特征表达更加有效，去雨效果对比如附图8所示。
[0079]
这项工作的主要贡献是：
[0080]
·
本发明关注不同方向上的有效特征信息，并提出了联合通道坐标注意力模块。
[0081]
·
第二阶段网络通过mlff模块融合第一阶段网络输出的粗糙特征信息，能够很大提高网络的学习能力。
[0082]
·
使用inception注意力分支模块丰富了特征信息，增强了网络的鲁棒性。
[0083]
·
本发明在四个的合成数据集上达到了sota最优效果，从而证明了本发明的mmafn的有效性。去雨效果对比如附图8所示。此外，本发明还提供了详细的消融实验和分析结果。
[0084]
本发明未详述之处，均为本领域技术人员的公知技术。
[0085]
本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。