一种基于边缘信息引导的上下文聚合图像去雨方法

1.本发明属于图像处理和深度学习领域，具体涉及一种基于边缘信息引导的上下文聚合图像去雨方法。


背景技术：

2.图像边缘是图像的重要特征，是图像中特性(如像素灰度、纹理等)分布的不连续处，图像的边缘部分集中了图像的大部分信息，一幅图像的边缘结构与特点往往是决定图像特质的重要部分。目前阶段，深度学习已经在图像去雨任务上取得优异的表现，但是在对图像进行去雨的过程中往往忽略边缘信息，在去除雨纹、雨滴的过程中将图像中的边缘信息也去除掉，以至于丢失一些重要的边缘信息导致不能完整恢复出原始图像。因此，去雨的同时能对边缘信息进行恢复也至关重要。
3.现有的大多数图像去雨的方法往往忽略了对图像边缘信息恢复，或直接用一个主干网络处理图像去雨和图像细节修复，虽然基于深度学习的图像去雨的方法日渐成熟，但是在去雨的同时把重要的边缘信息恢复也有待解决。所以本发明提出一种基于边缘信息引导的上下文聚合图像去雨方法，设计了一个多尺度信息网络，其中包括了用于获取粗调图像去雨信息的上分支图像去雨网络和用于获取图像边缘信息的下分支边缘信息检测网络，且包括了上下文聚合模块，此模块用于聚合处理上下文信息，并利用聚合处理后的信息对粗调图像去雨信息进行引导，增强上分支图像去雨网络对图像细节信息的表征能力。实验结果表明该方法在完成图像去雨的同时使图像获得更加丰富的纹理信息和边缘信息，在不会丢失分辨率的同时，获得更丰富的边缘信息和更好的去雨效果。


技术实现要素：

4.本发明的目的在于提供一种基于边缘信息引导的上下文图像去雨方法，实现去雨的同时对边缘信息进行恢复的目的，该方法能够获得更丰富的边缘信息和更好的去雨效果，使最终结果更加接近无雨原图。
5.实现本发明目的的技术解决方案为：一种基于边缘信息引导的上下文图像去雨方法，包括以下步骤：
6.步骤1、选择rain200l合成图像去雨数据中的n张图像，100＜n＜10000，进行归一化处理，将图像大小统一，即高
×
宽为h
×
w，作为训练样本集s，转入步骤2；
7.步骤2、构建多尺度信息网络，多尺度信息网络包括编码器enc_p、第一解码器dnc_r、第二解码器dnc_e、一个图像输出层以及三个上下文聚合模块egcak，k＝1，2，3，转入步骤3；
8.步骤3、利用训练样本集s对多尺度信息网络进行训练，得到训练好的多尺度信息网络：
9.步骤3-1、将训练样本集s输入编码器enc_p，提取其图像特征信息，再分别利用第一解码器dnc_r、第二解码器dnc_e，对应得到粗调图像去雨信息和图像边缘信息；
10.步骤3-2、利用三个上下文聚合模块egcak对粗调图像去雨信息和图像边缘信息进行上下文聚合处理，得到聚合处理后的信息
11.步骤3-3、利用聚合处理后的信息对粗调图像去雨信息进行引导，得到边缘信息引导的图像去雨信息，将边缘信息引导的图像去雨信息送入图像输出层，得到去雨图像，进而得到训练好的多尺度信息网络，转入步骤4；
12.步骤4、重新选择rain200l合成图像去雨数据中的m张图像，100＜m＜10000，通过归一化处理，将图像大小统一为h
×
w，构成测试样本集t，转入步骤5；
13.步骤5、将测试样本集t中的含雨图像输入到训练好的多尺度信息网络，得到去雨图像，在去除雨纹信息的同时使图像具有更加丰富的纹理信息和边缘信息，且去雨结果更加真实化。
14.与现有技术相比，本发明的优点在于：
15.(1)现存的图像去雨方法在去除雨纹、雨滴等信息的同时，往往造成图像细节的丢失，导致去雨结果图与原图存在偏差，本发明注重对图像边缘信息和细节信息的恢复，利用边缘信息指导整个去雨过程，去雨的同时又能对边缘信息以及图像细节进行恢复，使结果更接近原图像。
16.(2)现存的图像去雨方法直接用一个主干网络处理图像去雨和图像细节修复，结果不佳。本发明利用上下文聚合模块将上分支图像去雨网络获取的粗调图像去雨信息和下分支边缘信息检测网络获取的图像边缘信息聚合和处理，并利用聚合处理后的信息增强上分支的图像去雨网络对图像细节信息的表征能力，在完成图像去雨的同时使图像获得更加丰富的纹理信息和边缘信息。
附图说明
17.图1为本发明一种基于边缘信息引导的上下文聚合图像去雨方法的流程图。
18.图2为本发明一种基于边缘信息引导的上下文聚合图像去雨方法的模型图。
19.图3为两种半监督图像去雨算法sirr和syn2real在合成域含雨图像样本上与本发明提出方法的对比实验结果图。
具体实施方式
20.为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
21.结合图1和图2，一种基于边缘信息引导的上下文聚合图像去雨方法，包括以下步骤：
22.步骤1、选择rain200l合成图像去雨数据库中的n张图像，100＜n＜10000，进行归一化处理，将图像大小统一，即高
×
宽为h
×
w，作为训练样本集s，转入步骤2。
23.步骤2、构建多尺度信息网络，多尺度信息网络包括编码器enc_p、第一解码器dnc_r、第二解码器dnc_e、一个图像输出层以及三个上下文聚合模块egcak，k＝1，2，3，具体如下：
24.1)、编码器enc_p含有四个卷积块，分别定义为e1、e2、e3、e4，编码器enc_p网络定义
如下：
[0025][0026]
其中，表示经编码器中第m个卷积块所提取的图像特征信息，s表示输入编码器的训练样本集，的图像特征信息大小即高
×
宽
×
通道数为hm×
wm×cm
，其中hm＝h/2
m-1
，wm＝w/2
m-1
，cm＝32
×2m-1
。
[0027]
2)、第一解码器dnc_r含有三个卷积块，分别被定义为d
r1
、d
r2
、d
r3
，将编码器enc_p提取的图像特征信息输入第一解码器dnc_r，获取粗调图像去雨信息，第一解码器dnc_r网络定义如下：
[0028][0029]
其中，表示经第一解码器dnc_r的第i个卷积块后获取的粗调图像去雨信息，的图像特征信息大小即高
×
宽
×
通道数为hi×
wi×ci
，其中hi＝h/2
i-1
，wi＝w/2
i-1
，ci＝32
×2i-1
。
[0030]
3)、第二解码器dnc_e含有三个卷积块，分别定义为d
e1
、d
e2
、d
e3
，将编码器enc_p提取的图像特征信息输入第二解码器dnc_e，获取图像边缘信息，第二解码器dnc_e网络定义如下：
[0031][0032]
其中，表示经第二解码器dnc_e中第j个卷积块所获取的图像边缘信息，的图像特征信息大小即高
×
宽
×
通道数为hj×
wj×cj
，其中hj＝h/2
j-1
，wj＝w/2
j-1
，cj＝32
×2j-1
。
[0033]
4)、三个上下文聚合模块egcak，k＝1，2，3，即egca1、egca2、egca3。
[0034]
转入步骤3。
[0035]
步骤3、利用训练样本集s对多尺度信息网络进行训练，得到训练好的多尺度信息网络：
[0036]
步骤3-1、将训练样本集s输入编码器enc_p，提取其图像特征信息，再分别利用第一解码器dnc_r、第二解码器dnc_e，对应得到粗调图像去雨信息和图像边缘信息，具体如下：
[0037]
编码器enc_p用于提取训练样本集s的图像特征信息，编码器enc_p和第一解码器dnc_r共同构建了上分支图像去雨网络，用于获取粗调图像去雨信息，编码器enc_p和第二解码器dnc_e共同构建了下分支边缘信息检测网络，用于获取图像边缘信息，利用同一编码器提取的图像特征信息目的是使上下两分支实现共享权值，更有利于图像去雨和边缘信息检测过程：
[0038]
其中，图像特征信息的提取过程，具体展开如下：
[0039]
当m＝1时，
[0040]
当m＝2时，
[0041]
当m＝3时，
[0042]
当m＝4时，
[0043]
其中，em(*)表示经编码器中第m个卷积块提取信息操作，m＝1，2，3，4。
[0044]
利用上分支图像去雨网络获取粗调图像去雨信息的过程，具体展开如下：
[0045]
当i＝1时，
[0046]
当i＝2时，
[0047]
当i＝3时，
[0048]
其中，d
ri
(*，*)表示经第一解码器dnc_r的第i个卷积块获取粗调图像去雨信息操作，i＝1，2，3。
[0049]
利用下分支边缘信息检测网络获取图像边缘信息的过程，具体展开如下：
[0050]
当j＝1时，
[0051]
当j＝2时，
[0052]
当j＝3时，
[0053]
其中，d
ej
(*，*)表示经第二解码器dnc_e中第j个卷积块获取图像边缘信息操作，j＝1，2，3。
[0054]
步骤3-2、利用三个上下文聚合模块egcak对粗调图像去雨信息和图像边缘信息进行上下文聚合处理，得到聚合处理后的信息具体如下：
[0055]
第一步，将图像特征信息大小为hi×
wi×ci
粗调图像去雨信息和图像特征信息大小为hj×
wj×cj
图像边缘信息分别经过三个大小为1
×
1的卷积核，得到三个图像特征信息大小分别为hi×
wi×ci
/2、hi×
wi×ci
/2和hj×
wj×cj
/2的卷积图像信息，即
[0056][0057]
第二步，将卷积图像信息进行图像特征重组变换，得到图像特征信息大小为hi×
wi×ci
/2的第一重组图像信息以及图像特征信息大小为cj/2
×hj
×
wj的第二重组图像信息即
[0058][0059]
第三步，将第一重组图像信息和第二重组图像信息
进行矩阵相乘，得到初步图像特征信息feture1k，图像特征信息大小为(hi×
wj)
×
(hj×
wj)，即
[0060][0060]
表示矩阵相乘；
[0061]
第四步，将初步图像特征信息feture1k经过归一化层进行处理后，与进行矩阵相乘，得到最终图像特征信息feture2k，图像特征信息大小为hi×
wi×ci
/2，即
[0062][0063]
第五步，将最终特征图信息feture2k经过一个大小为1
×
1的卷积核后，得到聚合处理后的信息图像特征信息大小为hi×
wi×ci
，即
[0064][0065]
步骤3-3、利用聚合处理后的信息对粗调图像去雨信息进行引导，得到边缘信息引导的图像去雨信息，将边缘信息引导的图像去雨信息送入图像输出层，得到去雨图像，进而得到训练好的多尺度信息网络，具体如下：
[0066]
将引导粗调图像去雨信息定义为边缘信息引导的图像去雨信息即
[0067][0068]
其中，表示第一解码器中第i个卷积块所获取的粗调图像去雨信息，表示第二解码器中第j个卷积块所获取的图像边缘信息，表示经过第k个上下文聚合模块聚合处理后的信息。
[0069]
利用聚合处理后的信息对粗调图像去雨信息进行引导的具体过程如下：
[0070]
当k＝1时，
[0071]
当k＝2时，
[0072]
当k＝3时，
[0073]
再将通过图像输出层后得到去雨图像，进而得到训练好的多尺度信息网络，转入步骤4。
[0074]
步骤4、重新选择rain200l合成图像去雨数据中的m张图像，100＜m＜10000，通过归一化处理，将图像大小统一为h
×
w，构成测试样本集t，转入步骤5。
[0075]
步骤5、将测试样本集t中的含雨图像输入到训练好的多尺度信息网络，得到去雨图像，在去除雨纹信息的同时使图像具有更加丰富的纹理信息和边缘信息，且去雨结果更加真实化。
[0076]
实施例1
[0077]
结合图1和图2，本发明所述的一种基于边缘信息引导的上下文聚合图像去雨方法，包括以下步骤：
[0078]
步骤1、选择rain200l合成图像去雨数据中的1800张图像，进行归一化处理，将图像大小统一为256
×
256，作为训练样本集s，转入步骤2。
[0079]
步骤2、构建多尺度信息网络，多尺度信息网络包括编码器enc_p、第一解码器dnc_r、第二解码器dnc_e、一个图像输出层以及三个上下文聚合模块egca1、egca2、egca3，具体如下：
[0080]
1)、编码器enc_p含有四个卷积块，分别定义为e1、e2、e3、e4，编码器enc_p网络定义如下：
[0081][0082]
其中，表示经编码器中第m个卷积块所提取的图像特征信息，s表示输入编码器的训练样本集，的图像特征信息大小为256
×
256
×
32，的图像特征信息大小为128
×
128
×
64，的图像特征信息大小为64
×
64
×
128，的图像特征信息大小为32
×
32
×
256。
[0083]
2)、第一解码器dnc_r含有三个卷积块，分别被定义为d
r1
、d
r2
、d
r3
，将编码器enc_p提取的图像特征信息输入第一解码器dnc_r，获取粗调图像去雨信息，第一解码器dnc_r网络定义如下：
[0084][0085]
其中，表示经第一解码器dnc_r的第i个卷积块后获取的粗调图像去雨信息，的图像特征信息大小为256
×
256
×
32，的图像特征信息大小为128
×
128
×
64，的图像特征信息大小为64
×
64
×
128。
[0086]
3)、第二解码器dnc_e含有三个卷积块，分别定义为d
e1
、d
e2
、d
e3
，将编码器enc_p提取的图像特征信息输入第二解码器dnc_e，获取图像边缘信息，第二解码器dnc_e网络定义如下：
[0087][0088]
其中，表示第二解码器dnc_e中第j个卷积块所获取的图像边缘信息，的图像特征信息大小为256
×
256
×
32，的图像特征信息大小为128
×
128
×
64，的图像特征信息大小为64
×
64
×
128。
[0089]
4)、三个上下文聚合模块egca1、egca2、egca3，转入步骤3。
[0090]
步骤3、利用训练样本集s对多尺度信息网络进行训练，得到训练好的多尺度信息网络：
[0091]
步骤3-1、将训练样本集s输入编码器enc_p，提取其图像特征信息，再分别利用第一解码器dnc_r、第二解码器dnc_e，对应得到粗调图像去雨信息和图像边缘信息，具体如下：
[0092]
编码器enc_p用于提取训练样本集s的图像特征信息编码器enc_
p和第一解码器dnc_r共同构建了上分支图像去雨网络，用于获取粗调图像去雨信息编码器enc_p和第二解码器dnc_e共同构建了下分支边缘信息检测网络，用于获取图像边缘信息利用同一编码器提取的图像特征信息目的是使上下两分支实现共享权值，更有利于图像去雨和边缘信息检测过程：
[0093]
其中，图像特征信息的提取过程，具体展开如下：
[0094]
当m＝1时，
[0095]
当m＝2时，
[0096]
当m＝3时，
[0097]
当m＝4时，
[0098]
利用上分支图像去雨网络获取粗调图像去雨信息的过程，具体展开如下：
[0099]
当i＝1时，
[0100]
当i＝2时，
[0101]
当i＝3时，
[0102]
利用下分支边缘信息检测网络获取图像边缘信息的过程，具体展开如下：
[0103]
当j＝1时，
[0104]
当j＝2时，
[0105]
当j＝3时，
[0106]
步骤3-2、利用三个上下文聚合模块egcak对粗调图像去雨信息和图像边缘信息进行上下文聚合处理，得到聚合处理后的信息具体如下：
[0107]
第一步，将图像特征信息大小为256
×
256
×
32粗调图像去雨信息和图像特征信息大小为256
×
256
×
32图像边缘信息分别经过三个大小为1
×
1的卷积核，降低了图像通道数，得到三个图像特征信息大小均为256
×
256
×
16的卷积图像信息，即
[0108][0109]
第二步，将卷积图像信息进行图像特征重组变换，得到图像特征信息大小256
×
256
×
16的第一重组图像信息以及图像特征信息大小为16
×
256
×
256的第二重组图像信息即
[0110][0111]
第三步，将第一重组图像信息和第二重组图像信息进行矩阵相乘，得到初步图像特征信息feture1k，图像特征信息大小为(256
×
256)
×
(256
×
256)，即
[0112][0112]
表示矩阵相乘。
[0113]
第四步，将初步图像特征信息feture11经过归一化层进行处理后，与进行矩阵相乘，得到最终图像特征信息feture21，图像特征信息大小为256
×
256
×
16，即
[0114][0115]
第五步，将最终特征图信息feture21经过一个大小为1
×
1的卷积核后，得到聚合处理后的信息图像特征信息大小为256
×
256
×
32，即
[0116][0117]
同理，得到聚合处理后的信息
[0118]
步骤3-3、利用聚合处理后的信息对粗调图像去雨信息进行引导，得到边缘信息引导的图像去雨信息将边缘信息引导的图像去雨信息送入图像输出层，得到去雨图像，进而得到训练好的多尺度信息网络，具体如下：
[0119]
将引导粗调图像去雨信息定义为边缘信息引导的图像去雨信息即
[0120][0121]
其中，表示第一解码器中第i个卷积块所获取的粗调图像去雨信息，表示第二解码器中第j个卷积块所获取的图像边缘信息，表示经过第k个上下文聚合模块聚合处理后的信息。
[0122]
利用聚合处理后的信息对粗调图像去雨信息进行引导的具体过程如下：
[0123]
当k＝1时，
[0124]
当k＝2时，
[0125]
当k＝3时，
[0126]
再将通过图像输出层后得到去雨图像，进而得到训练好的多尺度信息网络，转入步骤4。
[0127]
步骤4、重新选择rain200l合成图像去雨数据库中的1400张图像，通过归一化处理，将图像大小统一为256
×
256，构成测试样本集t，转入步骤5。
[0128]
步骤5、将测试样本集t中的含雨图像输入到训练好的多尺度信息网络，得到去雨图像，在去除雨纹信息的同时使图像具有更加丰富的纹理信息和边缘信息，且去雨结果更加真实化。
[0129]
本发明方法在nvidia2080ti gpu主机上采用python编程语言和tensorflow框架语言搭建网络框架进行相关实验。首先训练多尺度信息网络的编码器enc_p、第一解码器dnc_r和第二解码器dnc_e，每层卷积层使用relu激活函数，网络的学习率设置为2e-4
，训练编码器enc_p、第一解码器dnc_r和第二解码器dnc_e的batch-size设置为3，训练迭代400次。然后训练上下文聚合模块，使用relu激活函数，在se注意力机制中使用sigmoid激活函数，网络的学习率设置为2e-4
，batch-size设置为2，训练迭代400次。在网络训练的过程中，输入图像的大小被归一化为256
×
256，得到整个去雨网络模型。
[0130]
为了更好地体现本发明提出的算法对于图像去雨的效果，根据实施例1设计了模型去可视化实验。通过可视化每个上下文聚合模块后的图像去雨效果，利用视觉判断经每一次边缘信息引导后的图像去雨表现。且也进行了两种半监督图像去雨算法sirr和syn2real在合成域含雨图像样本上的实验，用此实验的结果与本发明的实验结果作比对发现本发明的实验结果不仅能获得良好的图像去雨效果，且能恢复图像的细节信息及边缘信息。