水下图像质量恢复方法、装置、电子设备及存储介质

1.本发明涉及计算机视觉领域，尤其涉及一种水下图像质量恢复方法、装置、电子设备及存储介质。


背景技术：

2.随着卷积神经网络(convolutional networks，cnn)与水下机器人技术的快速发展，水下视觉感知技术受到了广泛的关注，并逐渐在海洋探索、能源勘探、管道检修等水下作业任务中发挥无可替代的作用。然而，野外水域中的微生物、杂质微粒以及光学焦散现象都极大地影响了自然光在水下的传播，从而导致光的衰减、散射等退化现象。水下图像质量由此大幅下降，使目标检测、动态跟踪、实时定位与建图(simultaneous localization and mapping，slam)等视觉感知任务的精度下降甚至失败，严重损害到水下机器人视觉系统的应用效果。
3.针对上述问题，水下图像质量恢复问题逐渐引起了科研人员的重视。图像质量恢复通常是基于模型的方法，即对图像质量下降的原因进行建模并实现重构，例如相机和物体相对运动、系统误差、噪声等。近年来，图像质量恢复方法主要分为传统图像处理方法和深度学习方法。传统的图像处理方法通常具有大量的像素统计与操作步骤，因此难以满足边缘计算平台的实时性要求，并且很难应对跨度较大的挑战性退化图像的恢复问题。


技术实现要素：

4.本发明提供一种水下图像质量恢复方法、装置、电子设备及存储介质，用以解决现有技术中网络泛化低、水下图像恢复的质量低缺陷，实现水下图像的高质量恢复。
5.本发明提供一种水下图像质量恢复方法，包括：
6.将目标水下图像输入图像生成器，得到所述目标水下图像的质量恢复图像；
7.其中，所述图像生成器是基于训练图像样本、预设收敛条件对循环生成对抗网络模型进行训练，并根据训练完成时的所述循环生成对抗网络中的第一生成器得到的；
8.所述训练图像样本中包括多个图像对，每个所述图像对中包括水上图像和水下图像；
9.所述循环生成对抗网络模型包括用于将水下图像映射为水上图像的所述第一生成器、用于将水上图像映射为水下图像的第二生成器、用于区分所述第一生成器输出水上图像与真实水上图像的第一判别器和用于区分所述第二生成器输出水下图像与真实水下图像的第二判别器。
10.本发明还提供一种水下图像质量恢复装置，包括：
11.图像恢复模块，用于将目标水下图像输入图像生成器，得到所述目标水下图像的质量恢复图像；
12.其中，所述图像生成器是基于训练图像样本、预设收敛条件对循环生成对抗网络模型进行训练，并根据训练完成时的所述循环生成对抗网络中的第一生成器得到的；
13.所述训练图像样本中包括多个图像对，每个所述图像对中包括水上图像和水下图像；
14.所述循环生成对抗网络模型包括用于将水下图像映射为水上图像的所述第一生成器、用于将水上图像映射为水下图像的第二生成器、用于区分所述第一生成器输出水上图像与真实水上图像的第一判别器和用于区分所述第二生成器输出水下图像与真实水下图像的第二判别器。
15.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述水下图像质量恢复方法的步骤。
16.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述水下图像质量恢复方法的步骤。
17.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述水下图像质量恢复方法的步骤。
18.本发明提供的水下图像质量恢复方法、装置、电子设备及存储介质，基于循环生成对抗网络进行无监督训练得到的图像生成器，进行水下图像质量恢复，将目标水下图像输入图像生成器，得到目标水下图像的质量恢复图像，实现水下图像的高质量恢复。
附图说明
19.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1是本发明提供的水下图像质量恢复方法的流程示意图；
21.图2是本发明提供的图像生成器的结构示意图；
22.图3是本发明提供的水下退化图像质量恢复的流程示意图；
23.图4是本发明提供的将目标水下图像输入图像生成器，得到所述目标水下图像的质量恢复图像的流程示意图；
24.图5是本发明提供的训练得到所述图像生成器的流程示意图；
25.图6是本发明提供的循环生成对抗网络的结构示意图；
26.图7是本发明提供的水下图像质量恢复装置的结构示意图；
27.图8是本发明提供的电子设备的结构示意图。
具体实施方式
28.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.相关技术中，深度学习方法采用了丰富的水下图像大数据实现神经网络训练，弥补了传统方法泛化性差的缺陷。根据监督信息的区别，深度学习方法可分为有监督和无监
督框架。li和wang针对水下图像缺乏匹配监督信息的问题，基于图像退化模型分别提出了watergan和uwgan算法，实现了水下图像恢复网络的监督训练。但是，上述监督学习框架的最终效果受限于人工生成的监督信息，在实现数据增强的同时也导致了效果瓶颈。zhu采用循环生成对抗网络(cycle generative adversarial network,cyclegan)，实现了无监督的图像质量恢复。然而，该方法仅考虑了图像质量的损失函数，没有参考任何图像的光学模型，恢复结果存在少量不合理区块。本发明针对水下图像退化问题，通过设计基于光学模型和数据驱动的无监督循环生成网络训练框架，实现水下图像高质量的恢复工作。
30.下面结合图1-图6描述本发明的水下图像质量恢复方法。
31.如图1所示，该方法包括：
32.步骤100、将目标水下图像输入图像生成器，得到所述目标水下图像的质量恢复图像。
33.可选地，目标水下图像可以是智能水下机器人在执行感知任务过程中实时获取的图像。
34.此外，根据水下感知任务实时性要求，水下机器人的控制频率通常不低于5hz，即基于视觉系统的控制器的输出频率要高于5hz。
35.其中，所述图像生成器是基于训练图像样本、预设收敛条件对循环生成对抗网络模型进行训练，并根据训练完成时的所述循环生成对抗网络中的第一生成器得到的。
36.所述训练图像样本中包括多个图像对，每个所述图像对中包括水上图像和水下图像。
37.需要说明的是，为了保证卷积网络的计算速率满足控制实时性，需要对训练图像样本中的图像进行裁剪，例如裁剪为256
×
256大小。此外，为提升图像生成器的网络泛化性，在训练阶段，裁剪过后的一对水下和水上图片需要被不断打乱，然后重新组合并传输至循环生成对抗网络中，也就是说训练图像样本中的图像对为非固定匹配的水上水下图像对。
38.所述循环生成对抗网络模型包括用于将水下图像映射为水上图像的第一生成器、用于将水上图像映射为水下图像的第二生成器、用于区分第一生成器输出水上图像与真实水上图像的第一判别器和用于区分第二生成器输出水下图像与真实水下图像的第二判别器。
39.可以理解的是，智能水下机器人在执行水下感知任务过程中能通过该图像生成器实时获取高对比度、合理色彩浓度的清晰水下图像。
40.本发明实施例，基于循环生成对抗网络进行无监督训练得到的图像生成器，进行水下图像质量恢复，将目标水下图像输入图像生成器，得到目标水下图像的质量恢复图像，实现水下图像的高质量恢复。
41.可选地，如图2所示，所述图像生成器中包括场景深度生成网络、衰减因子及散射因子编码器、环境光总量编码器和光学恢复模型。
42.下面对图像生成器中的上述三个子网络进行说明。
43.一、场景深度生成网络。
44.可选地，场景深度生成网络的设计遵循以下原则：
45.场景深度图z作为原图像输入的内容部分，同时影响了衰减和散射过程。然而，过
度地精细化深度图会导致生成过程中出现模式崩溃的现象，而采用现有的水下单目深度估计网络又无法满足控制实时性要求。因此，场景深度估计模块被嵌套在整个循环生成框架内部，且不特别针对生成精细度设计损失函数，而是借助联合优化整体恢复结果提升场景深度估计效果。
46.场景深度生成网络是根据输入图像尺寸配置的，例如，针对256
×
256
×
3的图像输入，本发明中的场景深度生成网络由2个下采样层和6个残差块组成网络骨干，最终输出256
×
256
×
1的深度图。
47.此外，在对场景深度生成网络的训练中，针对网络的输出层，去除最终的激活函数和去中心化操作，采用最大最小滤波方法限制像素深度值z∈[0,6]。该设计有助于网络随机初始化条件下的快速收敛和模式稳定。
[0048]
二、环境光总量编码器。
[0049]
环境光总量主要影响光学图像风格中的亮度表达。传统图像处理方法通常采用图像中的暗先验通道图的最暗点对应的像素值来估计拍摄场景的环境光总量。然而，水下图片的光源来自水面对于自然光的穿透光，传统方法无法得到水下光总量的合理估计。
[0050]
基于场景深度估计的联合优化方法，结合了物理先验，本发明提出环境光总量编码器。水下环境光总量估计的光学模型如下：
[0051][0052]b∞
(λ)＝[b(λ)e(d,λ)]/β(λ)
[0053][0054]
其中，为环境光总量估计值，λ表示水下光线的波长，λ的有效范围为400nm至700nm，λ1为400nm，λ2为700nm，对应的，红光，绿光和蓝光三色彩通道下的环境光总量有较大的差异，b
∞
(λ)为环境光总量与相机成像的光学参数，sc(λ)为光谱反射，β(λ)为峰值衰减系数，d为距离水面的距离，kd(λ)d为竖直方向的光学衰减因子。
[0055]
本发明中的环境光总量编码器由八个卷积层和relu激活函数构成，其输入维度为256
×
256
×
3，输出维度为1
×1×
3。结合环境光的物理先验，限制最终的估计值
[0056]
三、衰减因子及散射因子编码器。
[0057]
由于水下光线的衰减和散射分别由水中微生物的化学反应和杂质微粒的物理效果产生，因此需要对衰减因子和散射因子进行分开建模与训练，如下：
[0058]
[0059][0060]
其中，为衰减因子，为散射因子，z为场景深度，δz为在通过实验方法推导该衰减因子模型时采样数据的场景深度间隔，ρ(λ)为光学反射系数。
[0061]
由模型可知，衰减因子相较散射因子与场景深度z的关联性更强。但是本发明假设衰减和散射过程都受到深度图的同等影响，以保证训练早期的收敛稳定性。所述衰减和散射因子编码器由7个共享参数的卷积层和leakyrelu激活函数层，以及两个各自独立的输出卷积层组成，其输入维度为256
×
256
×
3，输出为两个1
×1×
3的独立向量。由于网络输出表征的是和衰减因子及散射因子编码器的输出层被限制在(0,1)范围内。
[0062]
需要说明的是，本发明的水下图像质量恢复方法，将水下图像退化过程解构为内容和风格两部分，其中，内容部分即场景深度，风格部分包括环境光总量、衰减因子和散射因子，并基于该水下图像退化过程设计图像生成器的网络结构，即场景深度生成网络、衰减因子及散射因子编码器、环境光总量编码器和光学恢复模型。
[0063]
本发明实施例，基于循环生成对抗网络进行无监督训练得到的图像生成器，进行水下图像质量恢复，该图像生成器中包括场景深度生成网络、衰减因子及散射因子编码器、环境光总量编码器和光学恢复模型，将目标水下图像输入图像生成器，得到目标水下图像的质量恢复图像，实现水下图像的高质量恢复。
[0064]
可选地，所述光学恢复模型包括：
[0065][0066]
其中，jc是ic映射后的水上图像，ic是水下图像，fd是衰减参数，是衰减因子向量，z是场景深度图，是环境光总量估计值，fb是散射参数，是散射因子向量。
[0067]
如图3所示，水下退化图像质量恢复的流程主要分为两个步骤，去除散射掩膜和恢复光学衰减。本发明参考了如下水下图像退化模型：
[0068]
ic＝dc bc[0069]
其中，dc表示水下光学衰减图像，bc表示水下生成的散射掩膜，二者的加和即水下退化图像ic。
[0070]
在此基础上，根据jaffe-mcglamery水下退化模型细化了退化过程中的影响因素，建立如下细化后的水下退化模型：
[0071][0072]
可以理解的是，水下图像退化过程包括四个影响因素：衰减因子、散射因子、水下图像的场景深度图以及当前拍摄场景的环境光总量。细化后的水下退化模型描述了光学图像在水下环境质量退化过程。基于此，本发明提出了光学恢复模型，从而形成了一个生成对
抗网络训练闭环，光学恢复模型的公式如下：
[0073][0074]
本发明实施例，细化了水下图像退化过程中的影响因素，并基于水下图像退化过程中的影响因素建立光学恢复模型，提高了水下图像恢复的质量。可选地，如图4所示，步骤100包括步骤400、步骤401和步骤402。
[0075]
步骤400、将所述目标水下图像输入所述场景深度生成网络，得到单通道的场景深度图，将所述目标水下图像输入所述环境光总量编码器，得到三通道的环境光总量估计值。
[0076]
如图2所示，单张水下图片通过场景深度生成网络，得到场景深度图，同时水下图像通过环境光总量编码器产生一个长度为3的向量，分别表示r、g、b三个色彩通道的环境光总量。
[0077]
步骤401、将所述目标水下图像和所述场景深度图拼接为一个特征图，将所述特征图输入所述衰减因子及散射因子编码器得到三通道的衰减因子向量和三通道的散射因子向量。
[0078]
将水下原图和所得场景深度图拼接为一个特征图，再输入吸收因子以及散射因子编码器，从而分别得到长度为3的衰减因子向量和散射因子向量。
[0079]
步骤402、基于所述目标水上图像、所述场景深度图、所述环境光总量估计值、所述衰减因子向量、所述散射因子向量和所述光学恢复模型，得到所述目标水下图像的质量恢复图像。
[0080]
根据所述目标水上图像、所述场景深度图、所述环境光总量估计值、所述衰减因子向量、所述散射因子向量和光学恢复模型计算得到目标水下图像的质量恢复图像。
[0081]
可选地，在所述将目标水下图像输入图像生成器，得到所述目标水下图像的质量恢复图像之前，所述方法还包括，训练得到所述图像生成器，如图5所示，具体包括步骤500、步骤501、步骤502和步骤503。
[0082]
步骤500、将所述训练图像样本中的目标图像对中的水下图像输入至所述第一生成器，输出水上映射图像，将所述水上映射图像输入至所述第二生成器，输出水下重构图像，将目标图像对中的水上图像输入至所述第二生成器，输出水下映射图像，将所述水下映射图像输入至所述第一生成器，输出水上重构图像。
[0083]
需要说明的是，考虑到水下感知任务所需实时性和图像精度要求，需要对训练图像数据预处理。
[0084]
为了保证卷积网络的计算速率满足控制实时性，需要对训练图像样本中的图像进行裁剪，例如裁剪为256
×
256大小。此外，为提升图像生成器的网络泛化性，在训练阶段，裁剪过后的一对水下和水上图片需要被不断打乱，然后重新组合并传输至循环生成对抗网络中，也就是说训练图像样本中的图像对为非固定匹配的水上水下图像对。
[0085]
如图6所示，本发明中的循环训练过程包括质量恢复分支g即第一生成器和附加水下分支f即第二生成器。
[0086]
所述训练图像样本中的目标图像对中的水下图像和水下图像分别送入不同的深度学习通道。水下图像首先经过表征恢复过程的神经网络映射，即质量恢复分支g生成恢复图像，然后再送入表征退化过程的映射即附加水下分支f得到循环生成的水下图像。水上图
像的生成过程和水下图像完全相反，但采用相同的神经网络映射g和映射f。
[0087]
在质量恢复分支g中，首先，通过散射因子和环境光总量以及深度图估算后向散射掩膜；然后，用水下退化图像减去后向散射掩膜；最后，所得仅衰减的特征图除以衰减因子特征图，得到水下质量恢复结果即水上映射图像。
[0088]
在附加水下分支f中，水上图片首先乘以衰减因子特征图，得到衰减图片；然后，衰减图片附加后向散射掩膜，得到水下退化图片即水下重构图像。
[0089]
步骤501、基于所述水上映射图像、所述水下重构图像、所述水下映射图像、所述水上重构图像确定所述生成网络损失和判别网络损失是否满足预设收敛条件。
[0090]
可选地，根据所述第一判别器确定的所述水上映射图像的可信度以及所述第二判别器确定的所述水下映射图像的可信度，确定生成对抗损失，根据所述水下重构图像与所述目标图像对中的水下图像之间的l1范数以及所述水上重构图像与目标图像对中的水上图像之间的l1范数，确定重构损失，根据所述水上映射图像的网络激活层与所述目标图像对中的水下图像的网络激活层之间的l2范数，确定感知损失，基于暗通道先验算法，确定后向散射约束损失。
[0091]
可以理解的是，在循环训练流程中，本发明设计损失函数包括：生成对抗损失、重构损失、感知损失和后向散射约束损失。下面对四个损失进行逐一说明：
[0092]
一、生成对抗损失：采用最小二乘gan损失，生成对抗损失函数是一个平方误差。
[0093]
生成网络g的目标是最大化生成图像的可信度，如下：
[0094][0095]
其中，x为训练图像样本中的水下图像，g(x)为质量恢复分支g根据水下图像x得到的水上映射图像，d1(g(x))为第一判别器确定的g(x)的可信度，0表示预测结果为生成的水上映射图像，1表示预测结果为真实的水上图像，表示求期望。
[0096]
生成水下分支损失lf和恢复分支损失lg计算原理相同，只需改变对应的生成网络f和评价网络c，如下：
[0097][0098]
其中，y为训练图像样本中的水上图像，f(y)为附加水下分支f根据水下图像y得到的水下映射图像，d2(f(y))为第二判别器确定的f(y)的可信度，0表示预测结果为生成的水下映射图像，1表示预测结果为真实的水下图像，表示求期望。
[0099]
二、重构损失：为了提升循环生成图片与原图的重合度设计了重构损失。
[0100]
根据cyclegan架构，计算先后经过了质量恢复和附加水下的图像与原水下图像之间的l1范数，以及先后经过了附加水下和质量恢复的图像与原水上图片之间的l1范数，以增加质量恢复和附加水下两个生成器的训练梯度，重构损失的表达式如下：
[0101]
[0102]
其中，f(g(x))表示附加水下分支f根据水下映射图像g(x)得到的水下重构图像，g(f(y))表示质量恢复分支g根据水上映射图像f(y)得到的水上重构图像。
[0103]
三、感知损失：为了增强质量恢复分支生成图片的边缘细节，设计感知损失。
[0104]
提取网络激活层的特征图，例如可以采用图像编码器(vgg16)提取网络激活层relu3-3的特征图，计算水下原图和水上映射图像的该层特征图的l2范数，感知损失的表达式如下：
[0105][0106]
其中，i为目标图像对中的水下图像，i
recov
为水上映射图像，k为特征图在vgg16网络中的层数，为vgg16网络中第k层特征图，(u,v)为relu3-3层特征图的像素坐标，ωk为relu3-3层特征图的像素集。
[0107]
四、后向散射约束损失：本发明采用水下图像的暗先验通道图中前1％的低亮度点的像素值作为图像后向散射的估值，计算该估值与根据环境光、深度以及后向散射因子计算所得后向散射估值的差异作为后向散射约束损失，后向散射约束损失的表达式如下：
[0108][0109]
其中，为后向散射约束损失，m为暗先验通道掩膜，ic为目标图像对中的水下图像，为环境光总量的估计结果。
[0110]
基于暗先验通道图的后向散射光学约束损失，通过规范化后向散射特征图，有效提高质量恢复图像的亮度、对比度和色彩浓度。
[0111]
步骤502、对所述生成对抗损失、所述重构损失、所述感知损失和所述后向散射约束损失进行加权求和，得到所述生成网络损失，确定所述生成网络损失是否满足预设收敛条件，并基于所述第一判别器对所述水上映射图像的判别结果和所述第二判别器对所述水下映射图像的判别结果得到所述判别网络损失，确定所述判别网络损失是否满足预设收敛条件。
[0112]
可选地，生成网络损失的表达式入如下：
[0113][0114]
其中，λg、λf、λc、λ
p
和λb均为超参数，用于调配各个损失对总的生成网络损失的影响，以获得最优的水下图像恢复效果。
[0115]
对于单个质量恢复分支g而言，评价网络d的目标是最小化原始gan网络的目标函数，第一判别器的网络损失如下：
[0116][0117]
相应的，对于附加水下分支f而言，第二判别器的网络损失如下：
[0118][0119]
步骤503、在所述生成网络损失或判别网络损失不满足预设收敛条件的情况下，调整所述循环生成对抗网络模型参数，继续对所述循环生成对抗网络模型进行训练；或者，
[0120]
在所述生成网络损失和判别网络损失均满足预设收敛条件的情况下，确定训练完成。
[0121]
可以理解的是，通过训练图像样本中的图像对，对循环生成对抗网络模型进行训练，如果所述生成网络损失或判别网络损失不满足预设收敛条件，调整所述循环生成对抗网络模型参数，继续对所述循环生成对抗网络模型进行训练，直至所述生成网络损失和判别网络损失均满足预设收敛条件，确定训练完成。
[0122]
步骤504、基于训练完成情况下的第一生成器，得到所述图像生成器。
[0123]
可选地，训练完成后的循环生成对抗网络模型中的第一生成器即为图像生成器。
[0124]
通过公共数据集u45和ruie的测试实验，验证了本发明所提物理-数据混合驱动无监督训练的水下图像质量恢复方法的有效性。在测试中，所提方法在cpu上运行恢复测试，运行速率可超过10fps，而在gpu上的运行速度可以达到33.7fps，满足水下感知任务的实时性要求。
[0125]
本发明实施例，无需人工标注水上-水下图像匹配对，实现物理-数据混合驱动的无监督网络训练，解决现有的基于深度学习方法的水下图像质量恢复研究中有效的匹配样本少、网络泛化性低的问题，实现水下图像的高质量恢复。
[0126]
下面对本发明提供的水下图像质量恢复装置进行描述，下文描述的水下图像质量恢复装置与上文描述的水下图像质量恢复方法可相互对应参照。
[0127]
如图7所示，水下图像质量恢复装置700包括图像恢复模块701。
[0128]
图像恢复模块701，用于将目标水下图像输入图像生成器，得到所述目标水下图像的质量恢复图像；
[0129]
其中，所述图像生成器是基于训练图像样本、预设收敛条件对循环生成对抗网络模型进行训练，并根据训练完成时的所述循环生成对抗网络中的第一生成器得到的；
[0130]
所述训练图像样本中包括多个图像对，每个所述图像对中包括水上图像和水下图像；
[0131]
所述循环生成对抗网络模型包括用于将水下图像映射为水上图像的所述第一生成器、用于将水上图像映射为水下图像的第二生成器、用于区分所述第一生成器输出水上图像与真实水上图像的第一判别器和用于区分所述第二生成器输出水下图像与真实水下图像的第二判别器。
[0132]
可选地，所述图像生成器中包括场景深度生成网络、衰减因子及散射因子编码器、环境光总量编码器和光学恢复模型，
[0133]
图像恢复模块701，还用于，
[0134]
将所述目标水下图像输入所述场景深度生成网络，得到单通道的场景深度图，将所述目标水下图像输入所述环境光总量编码器，得到三通道的环境光总量估计值；
[0135]
将所述目标水下图像和所述场景深度图拼接为一个特征图，将所述特征图输入所述衰减因子及散射因子编码器得到三通道的衰减因子向量和三通道的散射因子向量；
[0136]
基于所述目标水上图像、所述场景深度图、所述环境光总量估计值、所述衰减因子向量、所述散射因子向量和所述光学恢复模型，得到所述目标水下图像的质量恢复图像。
[0137]
可选地，所述光学恢复模型包括：
[0138][0139]
其中，jc是ic映射后的水上图像，ic是水下图像，fd是衰减参数，是衰减因子向量，z是场景深度图，是环境光总量估计值，fb是散射参数，是散射因子向量。
[0140]
可选地，所述场景深度生成网络包括2个下采样层和6个残差块，所述环境光总量编码器包括8个卷积层和relu激活函数层，所述衰减因子及散射因子编码器包括7个卷积层和leakyrelu激活函数层。
[0141]
可选地，水下图像质量恢复装置700还包括模型训练模块，用于在所述将目标水下图像输入图像生成器，得到所述目标水下图像的质量恢复图像之前，将所述训练图像样本中的目标图像对中的水下图像输入至所述第一生成器，输出水上映射图像，将所述水上映射图像输入至所述第二生成器，输出水下重构图像，将目标图像对中的水上图像输入至所述第二生成器，输出水下映射图像，将所述水下映射图像输入至所述第一生成器，输出水上重构图像；
[0142]
基于所述水上映射图像、所述水下重构图像、所述水下映射图像、所述水上重构图像确定所述生成网络损失和判别网络损失是否满足预设收敛条件；
[0143]
在所述生成网络损失或判别网络损失不满足预设收敛条件的情况下，调整所述循环生成对抗网络模型参数，继续对所述循环生成对抗网络模型进行训练；或者，
[0144]
在所述生成网络损失和判别网络损失均满足预设收敛条件的情况下，确定训练完成；
[0145]
基于训练完成情况下的第一生成器，得到所述图像生成器。
[0146]
可选地，所述基于所述水上映射图像、所述水下重构图像、所述水下映射图像、所述水上重构图像确定所述生成网络损失和判别网络损失是否满足预设收敛条件包括：
[0147]
根据所述第一判别器确定的所述水上映射图像的可信度以及所述第二判别器确定的所述水下映射图像的可信度，确定生成对抗损失，根据所述水下重构图像与所述目标图像对中的水下图像之间的l1范数以及所述水上重构图像与目标图像对中的水上图像之间的l1范数，确定重构损失，根据所述水上映射图像的网络激活层与所述目标图像对中的水下图像的网络激活层之间的l2范数，确定感知损失，基于暗通道先验算法，确定后向散射约束损失；
[0148]
对所述生成对抗损失、所述重构损失、所述感知损失和所述后向散射约束损失进行加权求和，得到所述生成网络损失，确定所述生成网络损失是否满足预设收敛条件，并基于所述第一判别器对所述水上映射图像的判别结果和所述第二判别器对所述水下映射图像的判别结果得到所述判别网络损失，确定所述判别网络损失是否满足预设收敛条件。
[0149]
本发明提供的水下图像质量恢复装置能够实现图1-图6的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
[0150]
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行水下图像质量恢复方法，该方法包括：
[0151]
将目标水下图像输入图像生成器，得到所述目标水下图像的质量恢复图像；
[0152]
其中，所述图像生成器是基于训练图像样本、预设收敛条件对循环生成对抗网络模型进行训练，并根据训练完成时的所述循环生成对抗网络中的第一生成器得到的；
[0153]
所述训练图像样本中包括多个图像对，每个所述图像对中包括水上图像和水下图像；
[0154]
所述循环生成对抗网络模型包括用于将水下图像映射为水上图像的所述第一生成器、用于将水上图像映射为水下图像的第二生成器、用于区分所述第一生成器输出水上图像与真实水上图像的第一判别器和用于区分所述第二生成器输出水下图像与真实水下图像的第二判别器。
[0155]
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0156]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的水下图像质量恢复方法，该方法包括：
[0157]
将目标水下图像输入图像生成器，得到所述目标水下图像的质量恢复图像；
[0158]
其中，所述图像生成器是基于训练图像样本、预设收敛条件对循环生成对抗网络模型进行训练，并根据训练完成时的所述循环生成对抗网络中的第一生成器得到的；
[0159]
所述训练图像样本中包括多个图像对，每个所述图像对中包括水上图像和水下图像；
[0160]
所述循环生成对抗网络模型包括用于将水下图像映射为水上图像的所述第一生成器、用于将水上图像映射为水下图像的第二生成器、用于区分所述第一生成器输出水上图像与真实水上图像的第一判别器和用于区分所述第二生成器输出水下图像与真实水下图像的第二判别器。
[0161]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的水下图像质量恢复方法，该方法包括：
[0162]
将目标水下图像输入图像生成器，得到所述目标水下图像的质量恢复图像；
[0163]
其中，所述图像生成器是基于训练图像样本、预设收敛条件对循环生成对抗网络
模型进行训练，并根据训练完成时的所述循环生成对抗网络中的第一生成器得到的；
[0164]
所述训练图像样本中包括多个图像对，每个所述图像对中包括水上图像和水下图像；
[0165]
所述循环生成对抗网络模型包括用于将水下图像映射为水上图像的所述第一生成器、用于将水上图像映射为水下图像的第二生成器、用于区分所述第一生成器输出水上图像与真实水上图像的第一判别器和用于区分所述第二生成器输出水下图像与真实水下图像的第二判别器。
[0166]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0167]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0168]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。