基于复杂水下成像模型的水下图像颜色校正方法与流程

1.本发明涉及图像处理技术领域，具体涉及一种基于复杂水下成像模型的水下图像颜色校正方法。


背景技术：

2.水下图像在海洋环境保护、海洋工程开发、海洋考古等方面均有重要作用，为水下机器人完成管道检测和深海探测等主要任务提供了视觉依据。然而，与陆地成像不同，水下成像会受到光照、气候、季节和水中悬浮物的影响，导致水下图像出现蓝绿偏色和对比度下降等问题。这些问题极大地降低水下图像的质量，影响水下图像在高级视觉任务上的应用。
3.图像复原是恢复降质图像的重要手段。复原方法通常会对成像环境进行建模，并根据所得的物理模型和估计的参数反演退化过程，从而对图像进行复原。随着水下光学成像系统的发展，水下图像复原方法已经成为水下图像清晰化方法的重要分支。过去的水下图像复原方法通常基于简单水下成像模型，通过估计透射率和背景光来复原水下图像。但是，简单水下成像模型是由雾天成像模型改进而来，并未考虑水对光的选择性吸收带来的影响。基于该模型的方法不具有鲁棒性，效果也有待提升。相反，基于复杂水下成像模型的复原方法，考虑了水下成像的主导因素，能更精确地表示水下成像过程。基于复杂水下成像模型的复原方法可以有效提高水下图像的颜色和对比度，使处理后的水下图像更符合人类的视觉感受。


技术实现要素：

4.本发明提供一种基于复杂水下成像模型的水下图像颜色校正方法。本发明方法对采集的水下退化图像采用对比度拉伸方法，获取深度估计输入图；其次，使用自监督的单目深度估计方法估计深度图，并使用引导滤波增强深度细节；然后，使用归一化操作将相对深度图转为绝对深度图；接着，等分深度图为八个相同大小区间，并在每个区间内寻找红绿蓝三通道之和最小的前1％的点。根据找到的点和其对应的深度值，使用复杂水下成像模型进行拟合，得到后向散射值，并在原图像上进行去除，得到无后向散射的水下图像；接着，对无后向散射的水下图像使用高斯滤波，得到亮度图，并根据亮度图和深度图估计带宽衰减系数；最后，根据带宽衰减系数、无散射水下图像和深度图，基于复杂水下成像模型进行图像复原。
5.本发明采用的技术方案为：
6.一种基于复杂水下成像模型的水下图像颜色校正方法，包括以下步骤：
7.步骤s01：将输入的原始水下图像进行对比度拉伸处理；
8.步骤s02：获取对比度拉伸后的水下图像的相对深度图，并使用引导滤波增强深度细节；
9.步骤s03：使用归一化操作将相对深度图转为绝对深度图；
10.步骤s04：等分绝对深度图为八个相同大小区间，并在每个区间内寻找红绿蓝三通
道值之和由小至大排序的点中前1％的点；
11.步骤s05：根据找到的点和其对应的深度值，使用复杂水下成像模型进行拟合，得到后向散射值，并在原图像上进行去除，得到无后向散射的水下图像；
12.步骤s06：对无后向散射的水下图像使用高斯滤波，得到亮度图；
13.步骤s07：根据亮度图和深度图估计带宽衰减系数；
14.步骤s08：根据带宽衰减系数、无散射水下图像和深度图，基于复杂水下成像模型进行图像复原。
15.进一步地，步骤s01中的对比度拉伸处理采用如下公式：
[0016][0017]
其中，x
min
和x
max
分别表示原始水下图像中每个通道的像素点的最小值和最大值，x表示图像各像素点，y表示对比度拉伸后的图像。
[0018]
进一步地，步骤s02采用的引导滤波方法表示为：
[0019][0020]
其中，q(x,y)表示滤波输出图像，t
l,i
(x,y)表示引导图像，i和k均表示像素索引，a和b均表示当窗口中心位于k时该线性函数的系数，w
k
表示以k中心的窗口大小。
[0021]
进一步地，步骤s05采用的复杂水下成像模型表示为：
[0022]
i
c
＝d
c
b
c
[0023]
其中，i
c
表示拍摄的原始水下图像，d
c
表示直接反射信号；b
c
表示后向散射；d
c
，b
c
可由如下公式表示：
[0024][0025]
其中，j
c
表示未经退化的水下图像；表示带宽衰减系数，z表示深度图；
[0026][0027]
其中，a
c
表示水下环境光；表示散射衰减系数，z表示深度图。获得后向散射值的过程在于将j
c
，a
c
，看作四个未知量，使用红绿蓝三通道之和最小值和深度图，基于复杂水下成像模型拟合上述四个未知量，再带入复杂水下成像模型，从而根据该模型和深度图求解整幅图的后向散射。
[0028]
进一步地，步骤s06中采用的高斯滤波表达式如下：
[0029][0030]
其中，(x,y)表示像素点的坐标，g(x,y)是高斯卷积函数，σ表示高斯卷积核的大小。
[0031]
进一步地，步骤s07估计带宽衰减系数的过程如下：
[0032][0033]
其中，表示带宽衰减系数，e
c
表示亮度图，z表示深度图。
[0034]
进一步地，步骤s08根据复杂水下成像模型进行图像复原的过程如下：
[0035][0036]
其中，j
c
表示未经退化的水下图像，d
c
表示直接反射信号，表示带宽衰减系数，z表示深度图。
[0037]
本发明与现有技术相比具有以下优势：
[0038]
1、本发明所述水下图像颜色校正方法基于更精确的物理成像模型，与现有技术中的基于简单水下成像模型的方法相比，能够有效恢复水下图像的颜色和对比度，并且能应用在多种类型的水下图像，复原结果更加稳定。
[0039]
2、本发明所述水下图像颜色校正方法能够恢复水下图像的真实颜色，与现有技术中的增强方法相比，本发明建立在准确物理模型的基础上，重建的颜色更加接近物体本来具有的颜色。
[0040]
3、本发明所述水下图像颜色校正方法无需借助外部硬件设备，与依靠昂贵硬件设备获取参数的方式不同，本发明无需借助硬件设备，仅通过一幅水下图像便可以获得深度图、亮度图、后向散射值和带宽衰减系数值。
[0041]
基于上述理由本发明可在图像预处理等领域推广应用。
附图说明
[0042]
为了明确本发明或者技术方案，下面将对实施例或现有技术描述所需采用的附图进行简要概况说明。
[0043]
图1为本发明的原理示意流程图；
[0044]
图2为本发明与其他水下图像方法的效果图，图2
‑
1为水下采集图像原图(雕像)；图2
‑
2为采用he et al.dcp方法处理效果图；图2
‑
3为采用peng et al.gdcp方法处理效果图；图2
‑
4为采用peng et al.ibla方法处理效果图；
[0045]
图2
‑
5为采用本发明方法处理效果图。
[0046]
图3为本发明与其他水下图像方法的效果图，图3
‑
1为水下采集图像原图(珊瑚)；图3
‑
2为采用he et al.dcp方法处理效果图；图3
‑
3为采用peng et al.gdcp方法处理效果图；图3
‑
4为采用peng et al.ibla方法处理效果图；
[0047]
图3
‑
5为采用本发明方法处理效果图。
具体实施方式
[0048]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0049]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或
描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0050]
实施例1
[0051]
如图1所示，本发明提供了一种基于复杂水下成像模型的水下图像颜色校正方法，包括以下步骤：
[0052]
步骤s01：将输入的原始水下图像进行对比度拉伸处理；
[0053]
对比度拉伸处理采用如下公式：
[0054][0055]
其中，x
min
和x
max
分别表示原始水下图像中每个通道的像素点的最小值和最大值，x表示图像各像素点，y表示对比度拉伸后的图像；
[0056]
步骤s02：获取对比度拉伸后的水下图像的相对深度图，并使用引导滤波增强深度细节；
[0057]
获取深度图可以采用基于自监督的单目深度估计方法(c.godard,o.mac aodha,m.firman,and g.brostow,“digging into self
‑
supervised monocular depth estimation,”in proc.ieee/cvf int.conf.on computer vision(iccv),(2019),pp.3827
‑
3837.)或者使用立体相机获得；
[0058]
步骤s02采用的引导滤波方法表示为：
[0059][0060]
其中，q(x,y)表示滤波输出图像，t
l,i
(x,y)表示引导图像，i和k均表示像素索引，a和b均表示当窗口中心位于k时该线性函数的系数，w
k
表示以k中心的窗口大小；
[0061]
步骤s03：使用归一化操作将相对深度图转为绝对深度图；
[0062]
步骤s04：等分绝对深度图为八个相同大小区间，并在每个区间内寻找红绿蓝三通道值之和由小至大排序的点中前1％的点；
[0063]
步骤s05：根据找到的点和其对应的深度值，使用复杂水下成像模型进行拟合，得到后向散射值，并在原图像上进行去除，得到无后向散射的水下图像；
[0064]
复杂水下成像模型表示为：
[0065]
i
c
＝d
c
b
c
[0066]
其中，i
c
表示拍摄的原始水下图像，d
c
表示直接反射信号；b
c
表示后向散射；d
c
，b
c
可由如下公式表示：
[0067][0068]
其中，j
c
表示未经退化的水下图像；表示带宽衰减系数，z表示深度图；
[0069][0070]
其中，a
c
表示水下环境光；表示散射衰减系数，z表示深度图。获得后向散射值
的过程在于将j
c
，a
c
，看作四个未知量，使用红绿蓝三通道之和最小值和深度图，基于复杂水下成像模型拟合上述四个未知量，再带入复杂水下成像模型，从而根据该模型和深度图求解整幅图的后向散射；
[0071]
步骤s06：对无后向散射的水下图像使用高斯滤波，得到亮度图；
[0072]
采用的高斯滤波表达式如下：
[0073][0074]
其中，(x,y)表示像素点的坐标，g(x,y)是高斯卷积函数，σ表示高斯卷积核的大小；
[0075]
步骤s07：根据亮度图和深度图估计带宽衰减系数；
[0076]
估计带宽衰减系数的过程如下：
[0077][0078]
其中，表示带宽衰减系数，e
c
表示亮度图，z表示深度图；
[0079]
步骤s08：根据带宽衰减系数、无散射水下图像和深度图，基于复杂水下成像模型进行图像复原；
[0080]
根据复杂水下成像模型进行图像复原的过程如下：
[0081][0082]
其中，j
c
表示未经退化的水下图像，d
c
表示直接反射信号，表示带宽衰减系数，z表示深度图。
[0083]
为了验证本发明图像增强的有效性，选择不同场景图像作为测试数据集，并与he et al.dcp(k.he,j.sun and x.tang,"single image haze removal using dark channel prior,"in ieee transactions on pattern analysis and machine intelligence,vol.33,no.12,pp.2341
‑
2353,dec.2011,doi:10.1109/tpami.2010.168.)，peng et al.gdcp(y.peng,k.cao,and p.c.cosman,“generalization of the dark channel prior for single image restoration,”ieee trans.image process.27(6),2856
‑
2868(2018).gdcp)，peng et al.ibla(y.peng and p.c.cosman,“underwater image restoration based on image blurriness and light absorption,”ieee trans.image process.26(4),1579
‑
1594(2017).ibla)方法的实验结果通过主客观两个方面对比分析验证。
[0084]
如图2所示，本发明提供与其他方法对水下场景(雕像)复原后的实验效果图。通过对比可以看出，本发明方法不仅没有过度增强水下场景，而且颜色恢复效果和对比度增强效果均明显优于其他方法(he et al.dcp，peng et al.gdcp，peng et al.ibla)。因此本发明方法能够有效提升水下图像的质量和视觉效果。
[0085]
如图3所示，本发明提供与其他方法对水下场景(珊瑚)复原后的实验效果图。通过与(he et al.dcp，peng et al.gdcp，peng et al.ibla)方法进行对比分析，本文处理后珊瑚边缘细节明显优于其他方法，并且图像清晰度更高。因此本发明方法能够有效提升水下图像的清晰度。
[0086]
本实施例为了进一步验证本发明提供方法的鲁棒性，采用针对水下图像的无参考图像质量评价指标(uiqm和uciqe)进行对比分析，具体数据参见表1和表2。无参考图像质量评价指标越大，表示该方法的复原结果在图像色度、饱和度和对比度上的复原效果越好。从表1和表2中看出，本发明方法处理后的图像，在uiqm和uciqe两个无参考指标下获得的值明显高于其他方法的结果。证明本发明方法能够有效提升水下降质图像的色度、饱和度和对比度。
[0087]
表1本发明和其他方法处理结果的无参考图像质量评价指标(uiqm)
[0088]
raw imagedcpgdcpiblaour1.38671.52461.70411.62071.78491.12171.49831.49641.44351.6214
[0089]
表2本发明和其他方法处理结果的无参考图像质量评价指标(uciqe)
[0090]
raw imagedcpgdcpiblaour0.43600.48430.48830.55340.59960.43280.56170.55940.54310.6449
[0091]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。