一种基于生成对抗网络的雨天图像去雨方法及装置与流程

1.本发明涉及车辆自动驾驶及控制技术领域，具体涉及一种基于生成对抗网络的雨天图像去雨方法及装置。


背景技术：

2.随着人工智能的发展，各种户外场景高科技技术得以发展，但是这些户外场景应用技术需要清晰的图像数据，比如无人驾驶汽车。而在实践中，干扰是难以避免的，它们会导致获取的图像质量下降、视觉效果差、图像中的有用信息较少。这样的图像在处理后不会产生令人满意的结果，比如雨、雾、雪等恶劣环境。所以能够有效的消除这些恶劣环境对图像的影响有助于提高户外场景人工智能技术的应用，使得无人驾驶汽车能在恶劣环境下正常进行工作。
3.因此，本技术提供了一种基于合成生成对抗网络用于无人驾驶车辆雨天图像去雨方法及装置，以增强去雨效果，提高雨天图像的判别性。


技术实现要素：

4.针对现有技术中的缺陷，本发明提供一种基于生成对抗网络的雨天图像去雨方法及装置。
5.本发明的方案为：
6.第一方面，一种基于生成对抗网络的雨天图像去雨方法，包括：
7.步骤1：获取训练图像数据集，所述训练图像数据集包括雨图集，其中，所述雨图集包括合成的雨图和真实的雨图，所述合成的雨图采用图像工具生成不同形状的雨纹图像随机到无雨图像上进行合成；
8.步骤2：构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器，其中，所述生成器包括雨纹估计模块和背景清除模块，所述雨纹估计模块用于根据输入的雨图生成雨纹估计图像，所述背景清除模块用于根据输入的雨图生成无雨图像，所述判别器用于判别输入的雨图是生成器合成的雨图还是真实的雨图；
9.步骤3：利用所述训练图像数据集对所述生成对抗网络模型进行训练，得到优化后的生成对抗网络模型；
10.步骤4：将待去雨的雨图输入优化后的所述生成对抗网络模型，得到无雨图像。
11.优选地，步骤2中，所述雨水纹估计模块包括5个跨步卷积块、9个残差块和四个转置卷积块，其中，所述第i个跨步卷积输出与第i个转置卷积块的输入连接，所述残差块为resblock结构。
12.优选地，所述雨纹估计模块的损失函数为：
[0013][0014]
式中，x表示输入的雨图，z表示雨纹图像，m(x)表示生成雨纹估计图像。
[0015]
优选地，步骤2中，所述背景清除模块包括编码器和解码器；所述编码器包括5个卷积层，其核大小分别为5x5、3x3、4x4、4x4、4x4并且通道数分别为64、64、64、512、1024；所述解码器包括5个反卷积层，其核大小分别为4x4、4x4、4x4、4x4、3x3，其通道数分别为1024、512、256、64、3。
[0016]
优选地，步骤2中，所述判别器包括5个卷积层，每个卷积层后面都有一个bn层、一个leakyrelu函数激活层和一个sigmoid函数激活层，所述判别器的输入包括训练后的雨纹图像和无雨图像合成的雨图像以及真实的雨图。
[0017]
优选地，所述生成对抗网络模型的损失函数为：
[0018]
l＝αl
mae
βlc γl
ls
[0019][0020][0021][0022]
式中，l表示总损失函数，y表示真实的无雨图像，m(x)表示生成雨纹估计图像，l
mae
表示合成损失函数，l
ls
表示生成对抗网络的损失函数，lc表示合成损失,c(x)表示生成的无雨图像，表示判别器的函数。α、β、γ为权重系数，α＝1、β＝50、γ＝50。a和b表示偏置超参数，其中a＝1，b＝0。
[0023]
优选地，利用所述训练图像数据集对所述生成对抗网络模型进行训练，得到优化后的生成对抗网络模型包括：
[0024]
步骤31：将所述训练图像数据集分为训练集和测试集；
[0025]
步骤32：利用所述训练集对所述生成对抗网络模型进行训练，利用所述测试集对所述生成对抗网络模型进行测试；
[0026]
步骤33：在所述测试结果达到预设准确率时，得到优化后的所述生成对抗网络模型。
[0027]
第二方面，一种基于生成对抗网络的雨天图像去雨装置，包括：
[0028]
获取模块，用于获取训练图像数据集，所述训练图像数据集包括雨图集，其中，所述雨图集包括合成的雨图和真实的雨图，所述合成的雨图采用图像工具生成不同形状的雨纹图像随机到无雨图像上进行合成；
[0029]
构建模块，用于构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器，其中，所述生成器包括雨纹估计模块和背景清除模块，所述雨纹估计模块用于根据输入的雨图生成雨纹估计图像，所述背景清除模块用于根据输入的雨图生成无雨图像，所述判别器用于判别输入的雨图是生成器合成的雨图还是真实的雨图；
[0030]
训练模块，用于利用所述训练图像数据集对所述生成对抗网络模型进行训练，得到优化后的生成对抗网络模型；
[0031]
去雨模块，用于将待去雨的雨图输入优化后的所述生成对抗网络模型，得到无雨图像。
[0032]
第三方面，一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述
计算机程序被处理器执行时实现上述任一项所述方法的步骤。
[0033]
本发明的有益效果体现在：本发明提供了一种基于合成生成对抗网络用于无人驾驶车辆雨天图像去雨方法及装置，增强了去雨效果，提高了雨天图像的判别性；解决了现有技术中雨天环境图像存在的颜色偏差、背景模糊、对比度和能见度低等问题，降低了恶劣环境对无人驾驶车辆的影响。
附图说明
[0034]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
[0035]
图1为本发明实施例所提供的一种基于生成对抗网络的雨天图像去雨方法的流程图；
[0036]
图2为本发明实施例所提供的生成器的结构示意图；
[0037]
图3为本发明实施例所提供的一种基于生成对抗网络的雨天图像去雨装置的结构示意图；
[0038]
图4为本发明实施例所提供的一种处理设备的结构示意图。
具体实施方式
[0039]
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
[0040]
需要注意的是，除非另有说明，本技术使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
[0041]
如图1所示，本发明实施例提高了一种基于生成对抗网络的雨天图像去雨方法包括：
[0042]
步骤1：获取训练图像数据集，所述训练图像数据集包括雨图集，其中，所述雨图集包括合成的雨图和真实的雨图，所述合成的雨图采用图像工具生成不同形状的雨纹图像随机到无雨图像上进行合成；
[0043]
步骤2：构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器，其中，所述生成器包括雨纹估计模块和背景清除模块，所述雨纹估计模块用于根据输入的雨图生成雨纹估计图像，所述背景清除模块用于根据输入的雨图生成无雨图像，所述判别器用于判别输入的雨图是生成器合成的雨图还是真实的雨图；
[0044]
在本发明实施例中，所述雨水纹估计模块包括5个跨步卷积块、9个残差块和四个转置卷积块，其中，所述第i个跨步卷积输出与第i个转置卷积块的输入连接，所述残差块为resblock结构。
[0045]
本发明利用雨纹估计模块识别获取雨纹估计图像，并联合背景清除模块获取无雨图像，将获取的雨纹估计图像和无雨图像进行融合，得到接近真实的雨图，以达到更好的去雨效果。
[0046]
在本发明实施例中，所述雨水纹估计模块的损失函数为：
[0047][0048]
式中，x表示输入的雨图，z表示雨纹图像，m(x)表示雨纹估计图像。
[0049]
在本发明实施例中，所述背景清除模块包括编码器和解码器；所述编码器包括5个卷积层，其核大小分别为5x5、3x3、4x4、4x4、4x4并且通道数量分别为64、64、64、512、1024；所述解码器包括5个反卷积层，其核大小分别为损失函数4x4、4x4、4x4、4x4、3x3，其通道数分别为1024、512、256、64、3。
[0050]
在本发明实施例中，生成器的每一层都包括卷积层、in层和leakyrelu组成，以保证每层输出的图像大小都一致，具体的为256*256，同时，采用in层对特征进行归一化处理，来代替其他工作中的b n对数据进行归一化，bn是对输入的一批数据进行归一化，因此一批数据中的不同样本之间容易相互影响，而in只对单个样本的特征输出进行归一化操作可以消除这种影响。
[0051]
在本发明实施例中，所述判别器包括5个卷积层，每个卷积层后面都有一个bn层、一个leakyrelu函数激活层和一个sigmoid函数激活层。
[0052]
经过编码器可以得到带有雨点特征和雨图中其他细节特征的特征图，将雨纹估计模块得到的雨纹估计图像与编码器得到的特征图进行差处理，再经过解码器生成无雨的图像；最后再经过判别器来判别生成器生成的无雨图像的真假，从而将输入的雨图输出为去雨后的无雨图像。
[0053]
在本发明实施例中，所述生成对抗网络模型的损失函数为：
[0054]
l＝αl
mae
βlc γl
ls
[0055][0056][0057][0058]
式中，l表示总损失函数，y表示真实的无雨图像，m(x)表示生成雨纹估计图像，l
mae
表示合成损失函数，l
ls
表示生成对抗网络的损失函数，lc表示合成损失,c(x)表示生成的无雨图像，表示判别器的函数，α、β、γ为权重系数，α＝1、β＝50、γ＝50。a和b表示偏置超参数，其中a＝1，b＝0。
[0059]
通过将雨图输入生成对抗网络模型(包括雨纹估计模块、编码器、解码器和判别器)，我们就可以把输入的雨图输出为无雨图像。生成对抗网络模型的参数主要通过特征损失函数、合成损失函数和最小二成损失函数来优化，l
mae
用于约束生成的无雨图像与真实的无雨图像的特征之间的误差lc用于约束输出的无雨图像和真实的无雨图像之间的像素差异l
ls
用于判别器对生成的图片真假的判断，若判断为假，那么往判别器输出为真的方向进行优化，反之则说明判别模型需要优化。
[0060]
步骤3：利用所述训练图像数据集对所述生成对抗网络模型进行训练，得到优化后的生成对抗网络模型；
[0061]
在本发明实施例中，利用所述训练图像数据集对所述生成对抗网络模型进行训
练，得到优化后的生成对抗网络模型包括：步骤31：将所述训练图像数据集分为训练集和测试集；步骤32：利用所述训练集对所述生成对抗网络模型进行训练，利用所述测试集对所述生成对抗网络模型进行测试；步骤33：在所述测试结果达到预设准确率时，得到优化后的所述生成对抗网络模型。
[0062]
具体的，通过adam优化算法来更新生成对抗网络模型的参数。
[0063]
步骤4：将待去雨的雨图输入优化后的所述生成对抗网络模型，得到无雨图像。
[0064]
具体的，通过无人驾驶汽车摄像头获取雨天环境所检测的图像，然后将该图像输入到优化后的生成对抗网络模型中，输出去雨后的无雨图像，并将该无雨图像反馈给无人驾驶车辆的车机系统，将该无雨图像运用于路径、障碍物识别，从而降低因为恶劣环境干扰导致的错误识别。
[0065]
综上，本发明实施例提供了一种基于生成对抗网络的雨天图像去雨方法，所述方法包括：获取训练图像数据集，所述训练图像数据集包括有雨图像和无雨图像对；构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器；利用所述训练图像数据集对所述生成对抗网络模型进行训练，得到优化后的生成对抗网络模型；将待去雨的雨图输入优化后的所述生成对抗网络模型，得到无雨图像。本发明增强了去雨效果，提高了雨天图像的判别性；解决了现有技术中雨天环境图像存在的颜色偏差、背景模糊、对比度和能见度低等问题，降低了恶劣环境对无人驾驶车辆的影响。
[0066]
如图2所示，本发明实施例还提供了一种基于生成对抗网络的雨天图像去雨装置，包括：
[0067]
获取模块201，用于获取训练图像数据集，所述训练图像数据集包括雨图集，其中，所述雨图集包括合成的雨图和真实的雨图，所述合成的雨图采用图像工具生成不同形状的雨纹图像随机到无雨图像上进行合成；
[0068]
构建模块202，用于构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器，其中，所述生成器包括雨纹估计模块和背景清除模块，所述雨纹估计模块用于根据输入的雨图生成雨纹估计图像，所述背景清除模块用于根据输入的雨图生成无雨图像，所述判别器用于判别输入的雨图是生成器合成的雨图还是真实的雨图；
[0069]
训练模块203，用于利用所述训练图像数据集对所述生成对抗网络模型进行训练，得到优化后的生成对抗网络模型；
[0070]
去雨模块204，用于将待去雨的雨图输入优化后的所述生成对抗网络模型，得到无雨图像。
[0071]
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
[0072]
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，或，一个或多个微处理器(digital singnal processor，简称dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
[0073]
图3为本发明实施例提供的一种处理设备的结构示意图，如图4所示，该处理设备可以包括：处理器301、存储器302。
[0074]
存储器302用于存储程序，处理器301调用存储器302存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
[0075]
可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
[0076]
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0077]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0078]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0079]
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文：read-only memory，简称：rom)、随机存取存储器(英文：random access memory，简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0080]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。