基于多尺度沙漏密集连接网络的去雨方法、系统和介质与流程

技术特征：
1.一种基于多尺度沙漏密集连接网络的去雨方法，其特征在于，包括：获取合成的图像去雨样本数据集，得到数据集合，用于网络模型的训练；构建多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，所述网络模型包括三个卷积核大小为3的卷积层和四个多尺度沙漏注意力残差模块单元；将所述数据集合进行预处理，得到训练数据集合，基于pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，得到训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型；将需要去雨图像输入训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，获得去雨图像。2.根据权利要求1所述的一种基于多尺度沙漏密集连接网络的去雨方法，其特征在于，所述构建多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，具体为：从图像空间到特征空间的转换由一个卷积核大小为3且带有leakyrelu激活函数的卷积层构成输入层，用于提取浅层次的雨图像特征，其过程表示为：f0＝σ(conv3×3(o
rain
))，其中，o
rain
表示输入网络的有雨图像；conv3×3(
·
)表示卷积核大小为3
×
3的卷积操作，用来将图像变换到特征空间，f0表示图像经过卷积和非线性操作后提取得到的浅层特征图像,σ(
·
)为非线性激活函数leakyrelu；使用多尺度沙漏结构从提取到的浅层特征f0中进一步采集不同尺度雨纹特征，多尺度沙漏结构由下采样，上采样，池化层，卷积层和反卷积层构成，其数学表达式为:其中，x表示输入网络的数据信息，f
u
(x；η
u
)是对数据进行上采样过程。f
d
(x；η
d
)是对输入数据进行下采样过程。i,j表示上下采样的层数，η
d
和η
u
分别表示下采样和上采样的网络参数，h
i
表示经过沙漏网络处理后得到的特征信息；利用多尺度沙漏残差结构提取并传递不同尺度雨纹特征的同时引入并行连接的空间和通道双注意力模块对空间上下文特征依赖性进行重校准同时对通道重要特征信息进行加权，以抑制无用的通道信息；通道注意力模块提取和处理特征图的通道特征信息，获得通道间的相互关联特征信息和重要性程度，通道注意力特征图表示为：其中，avgpool指的是平均池化操作,maxpool指的是最大池化操作,mlp表示构成共享网络产生通道注意力图map
c
的多层感知器；f是输入网络的特征信息，和分别表示通道注意力模块中经平均池化和最大池化操作后的特征图，w1和w2表示网络权重参数，σ表示sigmoid非线性激活函数；空间注意力模块提取关注图像的空间上下文信息分布情况，空间注意力特征图表示为：
其中，f∈r1×
h
×
w
是空间特征分布，f(i)是对应点的特征，c表示所对应的通道数；f7×7表示一个滤波器大小为7
×
7的卷积运算；和表示进行空间注意力上的平均池化和最大池化操作得到的特征图，大小均为1
×
h
×
w；σ表示sigmoid函数；将经过通道注意力模块和空间注意力模块得到的特征图像进行拼接融合，其过程可进一步表示为：f
out
＝concat([map
c
(f),map
s
(f)])，其中，concat是拼接操作,map
c
(f)和map
s
(f)分别表示经通道注意力模块和空间注意力模块处理后得到的特征信息，f
out
表示经整个多尺度沙漏残差注意模块单元网络处理后得到的输出特征信息；多尺度沙漏结构和双注意力模块加上残差跳转连接而构成多尺度沙漏注意力残差模块单元，残差网络将浅层提取到的特征跳跃跨层传递到更深的网络层，mhar模块表示为：f
i
＝f
mhari
([l0,
……
,l
d
],[w0,
……
,w
d
])，其中，[l0,
……
,l
d
]是网络对应卷积层的输入，[w0,
……
,w
d
]是mhar模块各层的参数，f
mhari
表示第i个mhar模块的映射过程；在多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型中加入密集连接机制，其具体实现表示为：f1＝f
mhar1
(f0) f0，f2＝f
mhar2
(f1) f1 f0，f3＝f
mhar3
(f2) f2 f1 f0，f4＝f
mhar4
(f3) f3 f2 f1 f0。利用一个带有leakyrelu激活函数的卷积核大小为1
×
1和3
×
3的conv1×1和conv3×3卷积层将聚合的深度特征进行融合，表示为：r＝σ(conv3×3(σ(conv1×1(mhar4(f3) f3 f2 f1 f0))))，其中σ为非线性激活函数leakyrelu，r为提取分离得到的雨纹层。3.根据权利要求1所述的一种基于多尺度沙漏密集连接网络的去雨方法，其特征在于，基于pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，具体为：将训练数据集合批量化输入构建的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型中进行训练，最终可得到预训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型；b＝o
‑
r，其中，o为输入网络的有雨图像，r为网络提取分离的雨纹层图像，b为去雨网络处理生
成的无雨图像。4.根据权利要求1所述的一种基于多尺度沙漏密集连接网络的去雨方法，其特征在于，基于pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，具体由重建损失、ssim损失，感知损失组成，具体为：重建损失基于均方误差构造重建损失定义如下：其中，l
mse
表示均方误差，h、w表示图像的尺寸，即高度和宽度,c为图像的通道数，g(r
i
；p)表示去雨模型输出的第i张无雨图像，p为网络训练参数，p＝{w1,w2,
……
，w
n
；b1,b2,
……
，b
n
},w1,
…
w
n
为权值参数；b1,
…
，b
n
为偏置矢量，b
i
表示对应的第i幅真实的无雨图像；f为frobenius范数；ssim损失通过图像的结构相似性进行计算，图像的结构相似性公式表示为：其中，μ
x
表示图像的均值，代表图像的方差，σ
xy
表示两幅图像的协方差，c1和c2是方程的经验常数，ssim损失函数定义为：l
ssim
＝
‑
ssim(g(r；p),b)，其中，l
ssim
是一个负函数；感知损失定义为：其中，v表示一个非线性神经网络变换，目标是最小化高级特征之间的距离；最终的混合误差损失函数可表示为：l
loss
＝λ1l
mse
λ2l
ssim
λ3l
p
，其中，λ1、λ2、λ3是重建损失，ssim损失和感知损失三部分分量上的相对权重的参数。5.根据权利要求4所述的一种基于多尺度沙漏密集连接网络的去雨方法，其特征在于，λ1、λ2、λ3被分别设置为1，0.2，0.04。6.一种基于多尺度沙漏密集连接网络的去雨系统，其特征在于，该系统包括：存储器及处理器，所述存储器中包括基于多尺度沙漏密集连接网络的去雨方法的程序，所述基于多尺度沙漏密集连接网络的去雨方法的程序被所述处理器执行时实现以下步骤：获取合成的图像去雨样本数据集，得到数据集合，用于网络模型的训练；构建多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，所述网络模型包括三个卷积核大小为3的卷积层和四个多尺度沙漏注意力残差模块单元；将所述数据集合进行预处理，得到训练数据集合，基于pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，得到训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型；将需要去雨图像输入训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，获得去雨图像。
7.根据权利要求6所述的一种基于多尺度沙漏密集连接网络的去雨系统，其特征在于，基于pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，具体为：将训练数据集合批量化输入构建的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型中进行训练，最终可得到预训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型；b＝o
‑
r，其中，o为输入网络的有雨图像，r为网络提取分离的雨纹层图像，b为去雨网络处理生成的无雨图像。8.根据权利要求6所述的一种基于多尺度沙漏密集连接网络的去雨系统，其特征在于，基于pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，具体由重建损失、ssim损失，感知损失组成，具体为：重建损失基于均方误差构造重建损失定义如下：其中，l
mse
表示均方误差，h、w表示图像的尺寸，即高度和宽度,c为图像的通道数，g(r
i
；p)表示去雨模型输出的第i张无雨图像，p为网络训练参数，p＝{w1,w2,
……
，w
n
；b1,b2,
……
，b
n
},w1,
…
w
n
为权值参数；b1,
…
，b
n
为偏置矢量，b
i
表示对应的第i幅真实的无雨图像；f为frobenius范数；ssim损失通过图像的结构相似性进行计算，图像的结构相似性公式表示为：其中，μ
x
表示图像的均值，代表图像的方差，σ
xy
表示两幅图像的协方差，c1和c2是方程的经验常数，ssim损失函数定义为：l
ssim
＝
‑
ssim(g(r；p),b)，其中，l
ssim
是一个负函数；感知损失定义为：其中，v表示一个非线性神经网络变换，目标是最小化高级特征之间的距离；最终的混合误差损失函数可表示为：l
loss
＝λ1l
mse
λ2l
ssim
λ3l
p
，其中，λ1、λ2、λ3是重建损失，ssim损失和感知损失三部分分量上的相对权重的参数。9.根据权利要求8所述的一种基于多尺度沙漏密集连接网络的去雨系统，其特征在于，λ1、λ2、λ3被分别设置为1，0.2，0.04。10.一种可读存储介质，其特征在于，所述可读存储介质中包括基于多尺度沙漏密集连接网络的去雨方法程序，所述基于多尺度沙漏密集连接网络的去雨方法程序被处理器执行时，实现如权利要求1至5中任一项所述的一种基于多尺度沙漏密集连接网络的去雨方法的
步骤。

技术总结
本发明提供的一种基于多尺度沙漏密集连接网络的去雨方法，首先利用多尺度沙漏并行结构对提取输入的特征图像进行多次采样，获取多尺度雨纹映射特征；其次，在多尺度沙漏结构中加入并行连接的空间和通道双注意模块并用残差跳连融合多层次特征，实现对雨纹层特征信息识别提取的自适应重校准；本发明在多尺度沙漏注意力残差模块间密集连接使不同深度网络层次间提取到的特征进行相互密集前向传递和特征融合；最终经多层次特征聚合得到全局丰富的雨纹层特征图，利用雨图线性叠加模型得到清晰的无雨背景层图像。本方明综合利用多尺度特征融合,双注意力机制和层次特征聚合，提高模型特征学习准确度，有效提取并去除雨纹层特征，获得清晰的去雨图像。获得清晰的去雨图像。获得清晰的去雨图像。


技术研发人员：吴梦华 罗玉 凌捷
受保护的技术使用者：广东工业大学
技术研发日：2021.08.13
技术公布日：2021/11/21