一种基于生成对抗网络的雾天图像去雾方法及装置与流程

1.本发明涉及车辆自动驾驶与控制技术领域，具体涉及一种基于生成对抗网络的雾天图像去雾方法及装置。


背景技术：

2.随着人工智能的发展，各种户外场景高科技技术得以发展，但是这些户外场景应用技术需要清晰的图像数据，比如无人驾驶汽车。而在实践中，干扰是难以避免的，它们会导致获取的图像质量下降、视觉效果差、图像中的有用信息较少。这样的图像在处理后不会产生令人满意的结果，比如雨、雾、雪等恶劣环境。所以能够有效的消除这些恶劣环境对图像的影响有助于提高户外场景人工智能技术的应用，使得无人驾驶汽车能在恶劣环境下正常进行工作。
3.因此，本技术提供了一种基于合成生成对抗网络用于无人驾驶车辆雾天图像去雾方法，以增强去雾效果，提高雾天图像的判别性。


技术实现要素：

4.针对现有技术中的缺陷，本发明提供一种基于生成对抗网络的雾天图像去雾方法及装置。
5.本发明的方案为：
6.第一方面，一种基于生成对抗网络的雾天图像去雾方法，其特征在于，包括：
7.步骤1：获取训练图像数据集，所述训练图像数据集包括有雾图像和无雾图像对；
8.步骤2：构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器，其中，所述生成器包括4个编码器、9个residual-inception块和2个解码块，用于生成无雾图像；所述判别器包括2个编码器、3个残差块和1个卷积层，用于判断生成的无雾图像的真假；
9.步骤3：利用所述训练图像数据集对所述生成对抗网络模型进行训练，得到优化后的生成对抗网络模型；
10.步骤4：将待去雾的雾图输入优化后的所述生成对抗网络模型，得到无雾图像。
11.优选地，所述生成器中的编码器包括卷积层、instance norm层和relu函数激活层，所述卷积层的核大小为3x3。
12.优选地，所述生成器中解码器的包括反卷积层、instance norm层和relu函数激活层，所述反卷积层的核大小为3x3。
13.优选地，所述residual-inception块采用跳跃连接，第i(i《＝4)个所述residual-inception块的输出与第10-i个所述residual-inception块的输入连接。
14.优选地，所述residual-inception块由三个空间大小分别为3x3、5x5、7x7的平行卷积层组成，之后进行特征连接再通过三个平行3x3卷积层进行卷积操作，然后对卷积结果进行相加，最后通过1x1卷积层保持与residual-inception模块输入维度相同并把residual-inception模块输入特征与1x1卷积层输出进行相加。
15.优选地，所述判别器的编码器包括卷积层、instance norm层和relu函数激活层，所述卷积层的核大小为3x3，所述判别器的残差块包括3个卷积层和relu函数激活层，其中，第一个卷积层输出与第二个卷积层输出进行相加，第一个卷积层输出与relu激活单元输出进行相加，第二个卷积层输出加到relu激活单元输出。
16.优选地，所述对抗网络模型的损失函数为：
[0017][0018][0019][0020][0021]
式中，表示条件gan损失用来指导图像生成，ssim(g(x),y)表示ssim损失用来保存图像的结构信息,表示边缘损失用来保存图像的边缘信息，表示l1范数，g(x)表示生成的无雾图像、y表示真实的无雾图像，μ
g(x)
,μy,σ
g(x)
,σy,σ
g(x)y
分别表示图像g(x)、y的局部均值、标准差和互协方差，e
g(x)
表示生成的无雾图像的边缘图，ey表示真实无雾图像的边缘图，其中，边缘图采用canny算子进行提取。
[0022]
优选地，利用所述训练图像数据集对所述生成对抗网络模型进行训练，得到优化的生成对抗网络模型的方法包括：
[0023]
步骤31：将所述训练图像数据集分为训练集和测试集；
[0024]
步骤32：利用所述训练集对所述生成对抗网络模型进行训练，利用所述测试集对所述生成对抗网络模型进行测试；
[0025]
步骤33：在所述测试结果达到预设准确率时，得到优化后的所述生成对抗网络模型。
[0026]
第二方面，一种基于生成对抗网络的雾天图像去雾装置，包括：
[0027]
获取模块，用于获取训练图像数据集，所述训练图像数据集包括有雾图像和无雾图像对；
[0028]
构建模块，用于构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器，其中，所述生成器包括4个编码器、9个residual-inception块和2个解码块，用于生成无雾图像；所述判别器包括2个编码器、3个残差块和1个卷积层，用于判断生成的无雾图像的真假；
[0029]
训练模块，用于利用所述训练图像数据集对所述生成对抗网络模型进行训练，得到优化的生成对抗网络模型；
[0030]
去雾模块，用于将待去雾的雾图输入优化后的所述生成对抗网络模型，得到无雾图像。
[0031]
第三方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述方法的步骤。
[0032]
本发明的有益效果体现在：本发明提供了一种基于合成生成对抗网络用于无人驾驶车辆雾天图像去雾方法及装置，增强了去雾效果，提高雾天图像的判别性；解决了现有技术中雾天环境图像存在的颜色偏差、背景模糊、对比度和能见度低等问题，降低了恶劣环境对无人驾驶车辆的影响。
附图说明
[0033]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
[0034]
图1为本发明实施例所提供的一种基于生成对抗网络的雾天图像去雾方法的流程图；
[0035]
图2为本发明实施例所提供的生成器的结构示意图；
[0036]
图3为本发明实施例所提供的生成器中编码器的residual-inception块的结构示意图；
[0037]
图4为本发明实施例所提供的判别器的残差块的结构示意图
[0038]
图5为本发明实施例所提供的一种基于生成对抗网络的雾天图像去雾装置的结构示意图；
[0039]
图6为本发明实施例所提供的一种处理设备的结构示意图。
具体实施方式
[0040]
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
[0041]
需要注意的是，除非另有说明，本技术使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
[0042]
如图1所示，本发明实施例提供了一种基于生成对抗网络的雾天图像去雾方法，包括：
[0043]
步骤1：获取训练图像数据集，所述训练图像数据集包括有雾图像和无雾图像对；
[0044]
步骤2：构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器，其中，所述生成器包括4个编码器、9个residual-inception块和2个解码块，用于生成无雾图像；所述判别器包括2个编码器、3个残差块和1个卷积层，用于判断生成的无雾图像的真假；
[0045]
在本发明实施例中，所述生成器中编码器包括卷积层、in层和relu函数激活层，所述卷积层的核大小为3x3。
[0046]
在本发明实施例中，所述生成器中解码器包括反卷积层、in层和relu函数激活层，所述反卷积层的核大小为3x3。
[0047]
在本发明实施例中，生成器的每一层都包括卷积层(或者反卷积层)、in层和leakyrelu组成，以保证每层输出的图像大小都一致，具体的为256*256，同时，采用in层对特征进行归一化处理，来代替其他工作中的b n对数据进行归一化，bn是对输入的一批数据进行归一化，因此一批数据中的不同样本之间容易相互影响，而in只对单个样本的特征输
出进行归一化操作可以消除这种影响。
[0048]
如图3所示，在本发明实施例中，所述residual-inception块采用跳跃连接，第i(i《＝4)个所述residual-inception块的输出与第10-i个所述residual-inception块的输入连接。
[0049]
采用跳跃连接避免梯度消失，以便于实现更高层次的特征融合。
[0050]
在本发明实施例中，所述residual-inception块由三个空间大小分别为3x3、5x5、7x7的平行卷积层组成，之后进行特征连接再通过三个平行3x3卷积层进行卷积操作，然后对卷积结果进行相加，最后通过1x1卷积层保持与residual-inception模块输入维度相同并把residual-inception模块输入特征与1x1卷积层输出进行相加。
[0051]
在本发明实施例中，所述判别器的编码器包括卷积层、instance norm层和relu函数激活层，所述卷积层的核大小为3x3，所述判别器的残差块包括3个卷积层和relu函数激活层，其中，第一个卷积层输出与第二个卷积层输出进行相加，第一个卷积层输出与relu激活单元输出进行相加，第二个卷积层输出加到relu激活单元输出。
[0052]
经过编码器从输入的雾图中提取特征，通过解码器从特征图中解码生成去雾图像，通过判别器判别图像的真假，以使得生成的无雾图像无限接近于真实的无雾图像。
[0053]
在本发明实施例中，所述对抗网络模型的损失函数为：
[0054][0055][0056][0057][0058]
式中，表示条件gan损失用来指导图像生成，ssim(g(x),y)表示ssim损失用来保存图像的结构信息,表示边缘损失用来保存图像的边缘信息，表示l1范数，g(x)表示生成的无雾图像、y表示真实的无雾图像，μ
g(x)
,μy,σ
g(x)
,σy,σ
g(x)y
分别表示图像g(x)、y的局部均值、标准差和互协方差，e
g(x)
表示生成的无雾图像的边缘图，ey表示真实无雾图像的边缘图，其中，边缘图采用canny算子进行提取。
[0059]
通过将雾图输入生成对抗网络模型(包括编码器、解码器和判别器)，我们就可以把输入的雾图输出为无雾图像。生成对抗网络模型的参数主要通过条件gan损失函数、条件gan损失函数和边缘损失函数来优化。
[0060]
步骤3：利用所述训练图像数据集对所述生成对抗网络模型进行训练，得到优化的生成对抗网络模型；
[0061]
在本发明实施例中，利用所述训练图像数据集对所述生成对抗网络模型进行训练，得到优化的生成对抗网络模型的方法包括：步骤31：将所述训练图像数据集分为训练集和测试集；步骤32：利用所述训练集对所述生成对抗网络模型进行训练，利用所述测试集对所述生成对抗网络模型进行测试；步骤33：在所述测试结果达到预设准确率时，得到优化后的所述生成对抗网络模型。
[0062]
具体的，通过adam优化算法来更新生成对抗网络模型的参数。
[0063]
步骤4：将待去雾的雾图输入优化后的所述生成对抗网络模型，得到无雾图像。
[0064]
在本发明实施例中，通过车载摄像头获取雾天环境下的雾图，并将雾天环境下的雾图输入生成对抗网络模型，得到去雾后的无雾图像，将去雾后的所述无雾图像反馈给车机系统。
[0065]
综上，本发明实施例提供了一种基于生成对抗网络的雾天图像去雾方法所述方法包括：取训练图像数据集，所述训练图像数据集包括有雾图像和无雾图像对；构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器；利用所述训练图像数据集对所述生成对抗网络模型进行训练，得到优化后的生成对抗网络模型；将待去雾的雾图输入优化后的所述生成对抗网络模型，得到无雾图像。本发明增强了去雾效果，提高雾天图像的判别性；解决了现有技术中雾天环境图像存在的颜色偏差、背景模糊、对比度和能见度低等问题，降低了恶劣环境对无人驾驶车辆的影响。
[0066]
如图2所示，本发明实施例还提供了一种基于生成对抗网络的雾天图像去雾装置，包括：
[0067]
获取模块201，用于获取训练图像数据集，所述训练图像数据集包括有雾图像和无雾图像对；
[0068]
构建模块202，用于构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器，其中，所述生成器包括4个编码器、9个residual-inception块和2个解码块，用于生成无雾图像；所述判别器包括2个编码器、3个残差块和1个卷积层，用于判断生成的无雾图像的真假；
[0069]
训练模块203，用于利用所述训练图像数据集对所述生成对抗网络模型进行训练，得到优化的生成对抗网络模型；
[0070]
去雾模块204，用于将待去雾的雾图输入优化后的所述生成对抗网络模型，得到无雾图像。
[0071]
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
[0072]
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，或，一个或多个微处理器(digital singnal processor，简称dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
[0073]
图3为本发明实施例提供的一种处理设备的结构示意图，如图4所示，该处理设备可以包括：处理器301、存储器302。
[0074]
存储器302用于存储程序，处理器301调用存储器302存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
[0075]
可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
[0076]
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0077]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0078]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0079]
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文：read-only memory，简称：rom)、随机存取存储器(英文：random access memory，简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0080]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。