基于环境光感知的端到端水下图像复原方法与流程

1.本发明属于图像处理技术领域,特别涉及一种水下图像复原方法,可用于处理成像系统拍摄的单幅水下图像。


背景技术：

2.受现实条件中水对光线吸收与散射作用的影响，水下光学图像普遍存在对比度低、颜色失真以及图像模糊的质量退化问题。这些退化图像不仅影响人眼的主观感受，更严重制约各类智能视觉信息处理系统的性能。因此，重建清晰的水下光学图像具有非常重要的实际应用价值。目前，水下图像处理方法的关键问题是如何提高图像清晰度并校正色偏，主要分为传统图像增强、传统图像复原、深度学习图像复原和深度学习图像增强四类方法，其中：
3.传统图像增强方法，是针对水下图像退化的具体表现选取适合的图像增强技术来改善图像质量。典型的方法如zhang等人提出的基于retinex和直方图均衡化的水下图像增强算法，见zhang w,li g,ying z,and et al.a new underwater image enhancing method via color correction and illumination adjustment[c].//ieee international conference on visual communications and image processing.2017,doi:10.1109/vcip.2017.8305027；ancuti等人提出的基于融合策略的水下图像增强算法，见c.ancuti,c.o.ancuti,t.haber,and p.bekaert.enhancing underwater images and videos by fusion[c].//ieee conference on computer vision and pattern recognition.2012,doi:10.1109/cvpr.2012.6247661。这类方法原理简单，能够有效改善图像的视觉效果，但由于未考虑水下图像退化原理，忽略退化程度与深度之间的关系，其增强结果不能正确反映图像真实色彩。
[0004]
传统图像复原方法，是以水下退化图像的物理成像模型为基础，利用不同的先验或假设提取图像特征，然后利用该特征分别设计有效的环境光和透射率估计方法，以实现图像复原。典型的方法如galdran等人提出红通道先验，在计算暗通道时用1与红通道值的差代替红通道值，见galdran a,alvarez-gila a,alvarez-gila a.automatic red-channel underwater image restoration[j].journal of visual communication&image representation,2015,26(c):132-145.该方法虽然提升了暗通道先验应用于水下图像的效果，但违背了暗通道原本的统计意义，降低了先验在清晰图像中的有效性；li等人通过减小红通道信息损失的方法估计透射率，并借助亮度高、红蓝通道差异大的特点估计环境光值，见li c,guo j,cong r,et al.underwater image enhancement by dehazing with minimum information loss and histogram distribution prior[j].ieee transactions on image processing.2016:5664-5677.该方法有效增强图像的对比度，但不能完全去除色偏。这类方法的图像复原效果高度依赖先验的可靠性，在先验失效的情况下将出现较大的估计误差，导致图像复原效果不佳。
[0005]
深度学习图像复原方法，是基于物理成像模型，利用神经网络自动学习水下退化
图像与成像模型参数之间的非线性映射关系。hou等人提出利用残差卷积神经网络urcnn来估计水下图像透射率和环境光，采用场景残差计算方法平衡水下照明，见hou m,liu r,fan x and luo z.joint residual learning for underwater image enhancement[c]//ieee international conference on image processing(icip).2018:4043
–
4047。wang等人提出利用并联的卷积神经网络分别估计透射率和环境光的方法，再借助水下成像模型得到清晰的水下图像，见wang k,hu y,chen j,wu x,zhao x，li y.underwater image restoration based on a parallel convolutional neural network[j]//remote sensing.2019；11(13):1951.该网络复原的图像较为清晰自然，但作用在退化程度高的图像上仍然无法消除色偏，且网络模型无法避免误差传递，使得小的模型参数估计误差在复原过程中可能被放大，导致复原结果偏差较大。
[0006]
深度学习图像增强方法，是不借助物理模型，直接“端到端”地学习水下退化图像与相应清晰图像之间的映射关系。li等人借鉴图像融合的思想，提出了waternet网络。首先分别对原始图像进行白平衡、直方图均衡化和伽马校正处理，输入网络，利用网络学习三个置信度图，再与图像加权融合得到增强后的水下图像，见li c,guo c,ren w,and et al.an underwater image enhancement benchmark dataset and beyond[j]//ieee transactions on image processing.2020:4376-4389；islam等人提出了funie-gan网络实时增强水下图像，见islam m j,xia y and sattar j.fast underwater image enhancement for improved visual perception[j]//ieee robotics and automation letters.2020:3227-3234。这类方法的网络设计较为复杂，学习难度较大，容易出现难以拟合的问题，并且这类方法严重依赖训练数据的分布，泛化能力不足，对于退化严重的水下图像复原效果较差。


技术实现要素：

[0007]
本发明的目的在于针对上述现有技术的不足，提出一种基于环境光感知的水下图像复原方法，以利用卷积神经网络端到端地复原水下图像，减小不同退化程度下水下图像的颜色失真和图像模糊，提高图像复原效果。
[0008]
为实现上述目的，本发明的技术方案包括如下：
[0009]
1)在pytorch框架下构建水下图像复原网络eccn：
[0010]
1a)建立包括十一个卷积层、一个上采样层和一个池化层的环境光感知网络；
[0011]
1b)建立包括一个浅层特征提取模块、一个多尺度编解码模块及三个特征整合重建模块的复原主体网络；
[0012]
1c)将环境光感知网络与复原主体网络进行级联，组成水下图像复原网络；
[0013]
2)下载含有深度信息的室内数据集nyu、含有深度信息的真实单图像去雾数据集reside、基于生成网络合成的配对水下数据集euvp，并分别对这些数据集依次进行筛选、缩放裁剪，得到室内清晰图像集j、室内深度图集d、水下清晰图像集u、水下退化图像集r1；
[0014]
3)分别构建环境光感知网络和复原主体网络的训练图像集：
[0015]
设定环境光值a和蓝色通道透射率tb，利用室内清晰图像集j和室内深度图集d，合成水下退化图像集r2，将水下退化图像集r2与其对应的环境光值a配对，作为环境光感知网络的训练图像集b；
[0016]
将室内清晰图像集j与水下退化图像集r2配对，并加入水下清晰图像集u和水下退化图像集r1，一起作为复原主体网络的训练图像集c；
[0017]
4)利用环境光感知网络的训练图像集b，采用自适应矩估计算法，以最小化欧氏距离损失值为目标，对环境光感知网络进行训练，得到训练好的环境光感知网络；
[0018]
5)利用复原主体网络的训练图像集c、训练好的环境光估计网络，采用自适应矩估计算法,以最小化加权总损失值为目标，对复原主体网络进行训练，得到训练好的复原主体网络；
[0019]
6)将一幅需要复原处理的水下图像ic输入到训练好的环境光感知网络，输出rgb三通道的环境光值ac；
[0020]
7)将环境光值ac与水下图像ic一起输入到训练好的复原主体网络，输出复原后的清晰图像jc。
[0021]
本发明与现有技术相比，具有如下有益效果：
[0022]
第一，本发明由于通过一个简单的回归网络感知与颜色相关的环境光先验信息，辅助主体网络的训练与复原，可使不同退化程度的水下图像的复原结果有更自然准确的色彩呈现；
[0023]
第二，本发明的复原主体网络采用多尺度的编解码结构，并融合从粗到细的三个尺度的特征信息，可还原退化图像的全局结构和局部细节；同时由于在编解码结构中引入残差模块，提高了网络在训练过程中各层的信息传递效率，减少了网络的训练误差且对细节变换更敏感；
[0024]
第三，本发明设计加权损失训练网络由于综合考虑了全局结构、局部纹理和色彩因素，使得复原图像的细节信息、边缘纹理信息保留较好，色彩还原较精确。
[0025]
仿真结果表明，本发明在保持复原图像对比度的前提下，可以更好地校正图像色偏，提高视觉效果；相较于现有的其他算法的处理结果边界更清晰，颜色更自然，图像整体质量更高，且峰值信噪比psnr、结构相似性ssim和色差公式ciede2000中的客观指标均优于现有技术。
附图说明
[0026]
图1为本发明的实现总流程图；
[0027]
图2为本发明中构建的环境光感知网络的结构图；
[0028]
图3为本发明中构建的复原主体网络的结构图；
[0029]
图4为用本发明和现有的水下图像处理算法对水下模拟图像的处理效果对比图；
[0030]
图5为用本发明和现有的水下图像处理算法对真实水下图像的处理效果对比图。
具体实施方式
[0031]
下面结合附图对本发明的具体实施方式及效果作进一步说明。
[0032]
参照图1，本发明的具体实现步骤如下：
[0033]
步骤1：在pytorch框架下构建环境光感知网络。
[0034]
如图2所示，本发明构建的环境光感知网络包含十一个卷积层、一个上采样层和一个池化层，其结构关系为：第一卷积层
→
第二卷积层
→
第三卷积层
→
第四卷积层
→
上采样
层
→
第五卷积层
→
第六卷积层
→
第七卷积层
→
第八卷积层
→
池化层
→
第九卷积层
→
第十卷积层
→
第十一卷积层；
[0035]
各层参数设置如下：
[0036]
第一卷积层、第二卷积层的卷积核大小均为9*9，
[0037]
第三卷积层、第四卷积层、第五卷积层、第六卷积层的卷积核大小均为7*7，
[0038]
第七卷积层、第八卷积层、第九卷积层、第十卷积层的卷积核大小均为5*5，
[0039]
第十一卷积层的卷积核大小为3*3，
[0040]
所有卷积层的步长均为1，所有卷积层包括卷积操作以及relu激活函数层，
[0041]
上采样层的缩放因子为2，
[0042]
池化层的缩放因子为2。
[0043]
步骤2：在pytorch框架下构建复原主体网络。
[0044]
如图3所示，本实例构建的复原主体网络包括一个浅层特征提取模块、一个多尺度编解码模块以及三个特征整合重建模块，其中：
[0045]
所述浅层特征提取模块，由第1卷积层
→
第2卷积层
→
第3卷积层级联组成；
[0046]
所述多尺度编解码模块，由三条分支并联组成，其中：
[0047]
第一分支依次为：第1池化层
→
第4卷积层
→
第1编码单元
→
第2编码单元
→
第1解码单元
→
第2解码单元；
[0048]
第二分支依次为：第2池化层
→
第5卷积层
→
第3编码单元
→
第4编码单元
→
第3解码单元
→
第4解码单元；第3解码单元同时与第2编码单元相连接；
[0049]
第三分支依次为：第3池化层
→
第6卷积层
→
第5编码单元
→
第6编码单元
→
第5解码单元
→
第6解码单元；第5解码单元同时与第4编码单元相连接；
[0050]
第1池化层、第2池化层、第3池化层均与第3卷积层相连接；
[0051]
每个编码单元依次为：第i卷积层
→
第i残差模块
→
第ii残差模块
→
第iii残差模块；
[0052]
每个解码单元依次为：第iv残差模块
→
第v残差模块
→
第vi残差模块
→
双线性插值
→
第ii卷积层；
[0053]
所述特征整合重建模块依次为：上采样层
→
第一卷积层
→
第二卷积层
→
第三卷积层；
[0054]
各模块的连接关系如下：
[0055]
多尺度编解码模块中的第2解码单元、第4解码单元、第6解码单元分别与三个特征重建模块相连接，浅层特征提取模块的第3卷积层同时与特征重建模块的第一卷积层相连接；
[0056]
复原主体网络的输出为与第三分支相连接的特征重建模块的末端输出；
[0057]
各层参数设置如下：
[0058]
第1卷积层的卷积核大小为7*7，第2卷积层的卷积核大小为5*5，其余卷积层的卷积核大小均为3*3；所有卷积层的卷积步长均为1，所有卷积层均包括卷积操作以及relu激活函数层；
[0059]
上采样层的缩放因子为2；
[0060]
第1池化层的缩放因子为8，
[0061]
第2池化层的缩放因子为4，
[0062]
第3池化层的缩放因子为2；
[0063]
双线性插值运算的缩放因子为2。
[0064]
步骤3：分别构建环境光感知网络和复原主体网络的训练图像集。
[0065]
3.1)从互联网上下载含有深度信息的室内数据集nyu、含有深度信息的真实单图像去雾数据集reside、基于生成网络合成的配对水下数据集euvp，并分别对这些数据集依次进行筛选、缩放裁剪，将尺寸统一为160
×
160，得到室内清晰图像集j、室内深度图集d、水下清晰图像集u、水下退化图像集r1；
[0066]
3.2)使用random函数在0.1-0.6间随机生成红色通道环境光值ar，再使用random函数在a
r-1.0间随机生成绿色通道环境光值ag和蓝色通道的环境光值ab；
[0067]
3.3)使用random函数在0.5-2.5间随机生成蓝色通道透射率参数βb，利用室内深度图集d计算得到每张图的蓝色通道透射率红色通道透射率绿色通道透射率
[0068]
3.4)根据室内清晰图像集j和3.2)生成的环境光值a、透射率t，计算得到水下退化图像集r2＝jt a(1-t)；
[0069]
3.5)将水下退化图像集r2的尺寸缩放至49
×
49后，再和环境光值a配对，一起作为环境光感知网络的训练图像集b；
[0070]
3.6)将室内清晰图像集j与水下退化图像集r2配对，在配对后的图像集中加入水下清晰图像集u和水下退化图像集r1，一起作为复原主体网络的训练图像集c。
[0071]
步骤4：训练神经网络。
[0072]
4a)训练环境光感知网络：
[0073]
4a1)将欧氏距离公式作为环境光感知网络的损失函数：
[0074][0075]
其中，||.||2为对矩阵求二范数操作，c为输入图像的颜色通道，bc为环境光感知网络的输出，b'c为对应的人工合成环境光；
[0076]
4a2)将环境光感知网络的训练图像集b中的水下退化图像依次输入到环境光感知网络中，输出估计的环境光值a'；
[0077]
4a3)将设定环境光值a和估计出的环境光值a'同时代入欧氏距离公式，计算得到a和a'之间的欧氏距离损失值；
[0078]
4a4)利用自适应矩估计算法更新环境光感知网络中各个卷积操作的权值和偏置值；
[0079]
4a5)重复步骤4a2)-4a4)10000次，直到欧式距离损失值最小，得到训练好的环境光感知网络。
[0080]
4b)训练复原主体网络：
[0081]
3b1)将加权总损失公式作为复原主体网络的损失函数lossc，表示如下：
[0082]
lossc＝0.75
×
loss
t
0.25
×
lossc[0083]
其中，loss
t
是边界保持损失，lossc是色偏校正损失，计算式为：
[0084][0085][0086]
其中，||.||2为对矩阵求二范数操作，|.|为对矩阵求一范数操作，n为输入图像的像素数，jn、j
n1
、j
n2
分别为复原主体网络三个特征整合重建模块的末端输出，j'n，j'
n1
，j'
n2
为对应的清晰图像，j'
n1
为缩小16倍后的j'n，j'
n2
为缩小64倍后的j'n；代表红色通道的平均值，δrn、δbn、δgn分别代表网络输出与清晰图像在红色、绿色和蓝色通道的差异；
[0087]
4b2)将复原主体网络训练集c中的水下退化图像依次输入到训练好的环境光估计网络中，输出估计的环境光值a”；
[0088]
4b3)将复原主体网络训练集c中的水下退化图像与估计的环境光值a”组合后，输入到复原主体网络中，输出估计的复原图像i'；
[0089]
4b4)将复原主体网络训练集c中的清晰图像i与估计的复原图像i'同时代入加权总损失函数lossc中，计算得到清晰图像i和复原图像i'之间的加权总损失值；
[0090]
4b5)利用自适应矩估计算法更新复原主体网络中各个卷积操作的权值和偏置值；
[0091]
4b6)重复4b3)-4b5)共20000次，直到加权总损失值最小，得到训练好的复原主体网络。
[0092]
步骤5：复原图像。
[0093]
5a)将一幅需要复原处理的水下图像ic输入至步骤4a)训练好的环境光感知网络，输出环境光值ac；
[0094]
5b)将水下图像ic和环境光值ac组合输入至步骤4b)训练好的复原主体网络，输出高质量的清晰图像jc,c∈{r,g,b}，完成对水下退化图像的恢复。
[0095]
本发明的效果通过以下仿真进一步说明：
[0096]
一、测试条件与方法
[0097]
1.测试图片：选用406组水下模拟图像和具有不同退化程度的126张水下真实图像；
[0098]
2.测试方法：使用现有的anwar的算法、zhang的算法、galdran的算法、li的算法、wang的算法、waternet、funie-gan、cwr和本发明共九种方法。
[0099]
3.仿真测试内容：
[0100]
仿真测试1：使用上述九种方法对四幅水下模拟图像进行复原处理，结果如图4所示，其中：
[0101]
图4a为四幅合成的水下图像；
[0102]
图4b为使用anwar的算法对图4a水下模拟图像进行处理的结果；
[0103]
图4c为使用zhang的算法对图4a水下模拟图像进行复原的结果；
[0104]
图4d为使用rcp的算法对图4a水下模拟图像进行复原的结果；
[0105]
图4e为使用li的方法对图4a水下模拟图像进行复原的结果；
[0106]
图4f为使用wang的方法对图4a水下模拟图像进行复原的结果；
[0107]
图4g为使用waternet对图4a水下模拟图像进行复原的结果；
[0108]
图4h为使用funie-gan对图4a水下模拟图像进行复原的结果；
[0109]
图4i为使用cwr对图4a水下模拟图像进行复原的结果；
[0110]
图4j为使用本发明方法对图4a水下模拟图像进行复原的结果；
[0111]
从图4可看出如下不同恢复效果：
[0112]
使用现有anwar、zhang、rcp、li的方法处理图像时，对色彩信息的还原结果较差，几乎所有图像都保留原有的蓝色/绿色色偏；
[0113]
使用现有anwar的方法和rcp算法复原的图像有时依然较为模糊；使用现有wang等人提出的算法能够去除色偏，但由于透射率估计不准确，局部区域的色彩过渡不自然；
[0114]
使用现有waternet处理后的图像整体带有黄色色偏，颜色不够真实自然；
[0115]
使用现有cwr算法的处理结果不稳定，部分图的色偏去除会失效；
[0116]
使用funiegan处理后，图像清晰度好，也能去除色偏，但复原图像仍存在着色不一致的情况；
[0117]
用本发明方法恢复的图像效果均优于其他几种算法，复原的图像边界清晰、饱和度高，在颜色丰富的图像上也有很好的恢复效果。
[0118]
仿真测试2：使用上述九种方法对六幅水下真实图像进行复原，效果如图5所示，其中：
[0119]
图5a为六幅水下真实图像；
[0120]
图5b为使用anwar的算法对图5a水下真实图像进行处理的结果；
[0121]
图5c为使用zhang的算法对图5a水下真实图像进行复原的结果；
[0122]
图5d为使用rcp的算法对图5a水下真实图像进行复原的结果；
[0123]
图5e为使用li的方法对图5a水下真实图像进行复原的结果；
[0124]
图5f为使用wang的方法对图5a水下真实图像进行复原的结果；
[0125]
图5g为使用waternet对图5a水下真实图像进行复原的结果；
[0126]
图5h为使用funie-gan对图5a水下真实图像进行复原的结果；
[0127]
图5i为使用cwr对图5a水下真实图像进行复原的结果；
[0128]
图5j为使用本发明方法对图5a水下真实图像进行复原的结果；
[0129]
从图5可看出不同方法的以下恢复效果：
[0130]
使用现有anwar的方法处理的结果，整体对比度提高，但局部区域会引入紫色色偏；使用现有zhang的算法和li的算法处理的图像出现色彩过饱和现象，不够真实自然；
[0131]
使用现有waternet处理后，图像饱和度降低；使用现有rcp、wang等人提出的方法对图像色偏处理力度不够，出现欠处理的现象，多张图像依然呈现严重的色偏；
[0132]
使用现有funie-gan消除了大部分蓝绿色的色偏，但丢失了许多纹理细节和主要的背景信息；
[0133]
使用现有cwr方法明显地校正了色偏，提高了复原图像的可见性，然而,cwr在某些
局部区域表现出对比度低或过饱和现象；
[0134]
用本发明方法恢复的图像效果均优于其他现有八种方法，在不同退化程度的图像上都有好的视觉处理效果。
[0135]
仿真测试3：使用上述九种方法对406组水下模拟图像进行处理，计算结构相似性ssim指标、峰值信噪比pnsr指标与色差公式ciede2000指标，结果如表1所示。
[0136]
表1
[0137]
指标anwarzhangrcpliwangwaternetfuniegancwr本发明psnr17.57818.02020.54117.52620.53422.20322.10218.77523.767ssim0.8730.8830.9500.8120.9360.9540.9270.8660.969ciede200017.12314.96415.99214.43616.2839.0047.63712.3186.075
[0138]
由表1可得，本发明方法的psnr、ssim和色差指标数值都优于其他算法，与主观结果一致，有效地校正色偏，提升图像清晰度。
[0139]
仿真测试4：使用上述九种方法对126张水下真实图像进行处理，计算无参考图像空间质量评估器brisque指标和水下彩色图像质量评价uciqe指标，结果如表2所示。
[0140]
表2
[0141][0142]
通过表2可得，本发明方法的brisque及uciqe数值都优于其它八种方法，与主观结果一致，表明本发明处理后的图片更清晰自然。
[0143]
综合上述，本发明方法在水下图像处理上的效果均优于其它八种方法。