一种基于特征域循环一致性的半监督图像去雨方法与流程

1.本发明属于图像处理领域，特别涉及半监督学习的方法进行单幅图像去雨。


背景技术：

2.随着硬件算力的提升，计算机技术飞速发展，并且被广泛应用于生活中的各个领域，例如导航定位、公共安全、军事国防等。作为计算机感知世界的主要载体之一，图像和视频包含着丰富的视觉信息，在计算机视觉任务中发挥着重要的作用。现有大多数计算机视觉算法都假定输入图像是清晰、可靠的，然而图像在成像、传输过程中会不可避免地引入额外干扰，比如热噪声、量化误差等，特别是针对室外视觉系统，经常会受到天气因素的影响。其中雨作为最具代表性的恶劣天气，它会导致所拍图像产生遮挡、模糊变形、颜色失真、对比度降低等问题，直接导致主观视觉效果变差，从而影响后续计算机视觉算法的性能。因此，有效地消除雨水对图像的影响具有重要应用价值。目前，单张图像去雨算法主要分为两类：基于监督学习和基于半监督学习的方法。
3.基于监督学习的方法需要成对数据。然而真实场景雨图很难获得其干净标签图像，因此现有大多数监督算法均训练于合成数据，这导致此类算法泛化性较差，无法处理真实场景中复杂的降雨类型。
4.基于半监督学习的方法是近些年的研究热点，此类方法是在监督模型中合成数据基础上，将大量真实雨图引入训练过程，让学习器更好地学习真实雨线分布，从而提高去雨算法在真实场景中的泛化性。如何合理利用真实雨图并构建无监督约束是半监督去雨算法的关键所在。


技术实现要素：

5.基于上述分析，本发明的目的在于提供一种基于特征域循环一致性的半监督图像去雨方法，该方法在特征域对合成雨线特征和真实雨线特征进行分布对齐，避免网络过于学习合成数据的特定分布，以提高去雨模型泛化性。
6.本发明提供的一种基于特征域循环一致性的半监督图像去雨方法，包括以下具体步骤：
7.步骤1，根据已有干净图像，通过添加雨线得到对应合成带雨图像，将每对干净图像和合成带雨图像以及一张真实场景雨图作为一组训练样本，建立训练集；
8.步骤2，网络模型构建，去雨网络模型具体包括主干去雨网络和半监督约束模块两部分，主干去雨网络模型采用“编码器encoder-解码器decoder”结构，其中编码器encoder用于对输入图像进行特征提取，解码器decoder用于从特征重建回图像，半监督约束模块包括多个多层感知机mlp结构；
9.步骤3，损失函数设计，损失函数包括监督损失和无监督损失，监督损失采用最小均方误差mse损失函数，无监督损失则是循环一致性损失；
10.步骤4，利用步骤1中构建的数据集以及步骤3中的损失函数对网络模型进行训练；
11.步骤5，将待测试的带雨图像输入到训练好的网络模型中，获得相应的去雨图像。
12.进一步的，步骤2中主干去雨网络中的编码器encoder包括一个卷积层conv、多个下采样层downsample和多个残差模块resblcok，每个resblock包含一个卷积层和一个relu激活层；解码器decoder包括多个resblock、多个上采样层upsample和一个卷积层。
13.进一步的，编码器encoder的具体实现为，输入图像经过一个卷积层进行通道变换，然后经过三组“resblock-downsample”模块以及三个resblock模块进行特征提取；解码器decoder的具体实现为，所提取特征经过三组“resblock-upsample”和一个卷积层进行图像重建。
14.进一步的，步骤2中，为保证合成数据分布与真实数据分布之间分布映射的可逆性，半监督约束模块采用两个相同的mlp结构，每个mlp具有三个全连接层fc和两个relu激活层，具体为“fc-relu-fc-relu-fc”。
15.进一步的，步骤3中监督损失为mse损失函数，表达式如下：
[0016][0017]
其中，x
gt
是干净图像，x
predict
是网络预测的去雨图像，监督损失可以端到端约束网络学习合成数据分布，降低网络学习难度。
[0018]
进一步的，步骤3中无监督损失为循环一致性损失函数，表达式如下：
[0019][0020]
其中，z
syn
是合成带雨图像的特征，z
real
是真实场景雨图的特征，分别是合成雨图和真实雨图经过编码器的输出，t
s2r
与t
r2s
用于合成数据域与真实数据域之间的相互转化，t
s2r
与t
r2s
的结构为多层感知机mlp，无监督损失用于约束网络学习合成数据和真实数据之间的公共特征，提高网络在真实场景的泛化性。
[0021]
进一步的，最终综合的损失函数为；
[0022][0023]
其中，为最终损失函数，为监督损失函数，为无监督损失函数，λ
cc
为权重参数，用于调整监督损失与无监督损失惩罚比例。
[0024]
进一步的，步骤1中，每组训练数据包括一张真实场景雨图、一张合成带雨图及其干净图像，采用翻转、旋转、缩放、裁剪手段进行数据增强，然后输入网络模型进行训练优化；其中，合成带雨图数据借助于photoshop软件，对大量干净图像添加合成雨线来获得合成样本对，真实场景雨图数据来源于网络以及自行拍摄采集。
[0025]
本发明提供了一种基于特征域循环一致性的半监督图像去雨方法，综合利用合成数据和真实数据，避免网络过拟合于合成数据的特定分布，提高网络在真实场景的泛化性。相比于监督去雨算法，本专利的方法大幅度提升去雨结果的psnr，并且取得了与当前最先进算法性能相当的效果，说明了本专利方法的有效性。
附图说明
[0026]
图1为本发明的流程图。
[0027]
图2为本发明神经网络结构示意图。
[0028]
图3为sirr20数据集中稀疏雨水图片的各算法去雨结果对比。
[0029]
图4为sirr20数据集中稠密雨水图片的各算法去雨结果对比。
[0030]
图5为真实雨水图片的各算法去雨结果对比。
[0031]
图6为真实雨水图片的各算法去雨结果对比。
具体实施方式
[0032]
为了更清楚地了解本发明，下面具体介绍本发明技术内容。
[0033]
如图1所示，本发明提供的一种基于特征域循环一致性的半监督图像去雨方法，具体分为五个步骤：
[0034]
步骤1，根据已有干净图像，通过添加雨线得到对应合成带雨图像，将每对干净图像和合成带雨图像以及一张真实场景雨图作为一组训练样本，建立训练集；
[0035]
首先，本实施例为半监督范式，综合利用合成数据和真实数据。合成数据则借助于photoshop软件，对大量干净图像添加合成雨线来获得合成样本对。真实数据则来源于网络以及自行拍摄采集。每组训练数据包括一张真实雨图、一张合成雨图及其干净背景图像，采用翻转、旋转、缩放、裁剪等手段进行数据增强，然后输入模型进行训练优化。
[0036]
步骤2，网络模型构建，具体包括主干去雨网络和半监督约束模块两部分，主干去雨网络为“encoder-decoder”结构，半监督约束模块包括两个多层感知机mlp，该约束可以避免网络过于拟合合成数据的特定分布，迫使网络学习合成数据和真实数据之间的公共特征，从而提高网络在真实场景的泛化性。
[0037]
步骤2a，编码器encoder包含一个卷积层conv、三个下采样层downsample和六个残差模块resblcok，每个resblock包含一个卷积层和一个relu激活层，用于对输入图像进行特征提取。具体而言，输入图像经过一个卷积层进行通道变换，然后经过三组“resblock-downsample”模块以及三个resblock模块进行特征提取。
[0038]
步骤2b，解码器decoder包括三个resblock、三个上采样层upsample和一个卷积层，用于从特征重建回图像。具体而言，所提取特征经过三组“resblock-upsample”和一个卷积层进行图像重建。
[0039]
步骤2c，每个mlp具有三个全连接层fc和两个relu激活层。具体而言，每个mlp的实现方式为“fc-relu-fc-relu-fc”。
[0040]
步骤3，损失函数设计，损失函数包括监督损失和无监督损失，监督损失采用最小均方误差mse损失函数，无监督损失则是循环一致性损失。
[0041]
步骤3a，监督损失为mse损失函数，表达式如下：
[0042][0043]
其中，x
gt
是干净的背景图像，x
predict
是网络预测的去雨图像。监督损失可以端到端约束网络学习合成数据分布，降低网络学习难度。
[0044]
步骤3b，无监督损失为循环一致性损失函数，表达式如下：
[0045][0046]
其中，z
syn
是合成雨图的特征，z
real
是真实雨图的特征，分别是合成雨图和真实雨
图经过编码器的输出。t
s2r
与t
r2s
用于合成数据域与真实数据域之间的相互转化，结构为多层感知机mlp，二者具有相同结构，均通过三层fc全连接层和两个relu激活层，即“fc-relu-fc-relu-fc”。无监督损失可以约束网络学习合成数据和真实数据之间的公共特征，提高网络在真实场景的泛化性。
[0047]
步骤3c，最终综合的损失函数为：
[0048][0049]
其中，为最终损失函数，为监督损失函数，为无监督损失函数，λ
cc
为权重参数，用于调整监督损失与无监督损失惩罚比例。
[0050]
步骤4，利用步骤1中构建的数据集以及步骤2中的损失函数对网络模型进行训练，
[0051]
步骤5，将待测试的带雨图像输入到训练好的网络模型中，获得相应的去雨图像。
[0052]
测试过程中采用峰值信噪比(psnr)作为衡量标准，具体定义如下：
[0053]
psnr＝l0*logt0(2552/mean(mean((x-y)2)))
[0054]
其中，psnr数值越高，则说明重建效果越好。
[0055]
测试过程中，选择didmdn、semi与syn2real作为对比算法，其中didmdn为监督去雨算法，semi与syn2real为半监督去雨算法。视觉对比如附图3-6所示，本专利方法更容易去除图像中的雨线，同时保存良好细节信息，而对比算法去雨效果不理想，去雨不完全或产生模糊结果，甚至产生伪影。至于定量指标，则选择常用的半监督去雨数据集sirr20作为测试集，该数据集包含20组测试数据，稀疏雨线与稠密雨线各10组。测试结果如表1所示，可以看出：相比于监督去雨算法，本专利的方法大幅度提升去雨结果的psnr，并且取得了与当前最先进算法性能相当的效果，说明了本专利方法的有效性。
[0056]
表1测试结果
[0057]
数据集didmdnsemisyn2realours稀疏25.6626.9827.2627.60稠密25.6621.6022.3622.02稀疏 稠密22.1324.2924.8124.81
[0058]
应当理解的是，上述针对实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。