基于HSV色彩空间的多尺度融合水下图像增强的方法

基于hsv色彩空间的多尺度融合水下图像增强的方法
技术领域
1.本发明属于计算机视觉技术领域，特别是一种基于hsv色彩空间的多尺度融合水下图像增强的方法。


背景技术：

2.水下环境蕴藏着丰富的生物资源和能源，是维持人类可持续发展所必需的核心组成部分之一。人们在研究水下环境时，常常需要携带防水相机的水下机器人拍摄视频或图像来获取有价值的信息。但因为水下传播的光受到水体介质的不同以及浮游生物等的吸收散射作用的影响，普通的水下光学成像无法达到满意的效果。同时由于光衰减的波长依赖性，较短的波长(绿色和蓝色)比较长的波长(红色)能到达更深的水下，红光在4、5米后迅速消失，导致水下图像呈现蓝绿色，明显出现颜色失真的问题，不利于获取更多的信息，提高水下图像质量，对图像进行清晰化处理，有利于进一步进行水下目标检测跟踪等任务。近年来，许多研究人员正在不断改进图像处理技术，提出了许多有效的水下图像增强方法。2016年wang q等人在“a fusion-based method for single backlit image enhancement(2016 ieee international conference on image processing)”提出了一种单背光图像增强算法，该方法可以有效地将不同类型的有用信息融合为单一信息进而进行融合得到增强图像。增强后的图像在提高亮度和保持自然度之间有很好的平衡，但对于水下图像rgb三通道的补偿有欠缺。2020年付青青等人在“基于非锐化掩模引导滤波的水下图像细节增强算法研究(海洋学报，2020，42(07)：pp.130-138.)”中提出了基于非锐化掩模引导滤波的算法，缓解了水下图像细节模糊的问题，但图像对比度提升不理想。


技术实现要素：

3.本发明的目的在于提供一种基于hsv色彩空间的多尺度融合水下图像增强方法，对水下图像进行增强操作，从而改善图像颜色失真问题并增强图像细节。
4.实现本发明目的的技术解决方案为：一种基于hsv色彩空间的多尺度融合水下图像增强方法，包括以下步骤：
5.步骤1、采集多张后向散射程度不同的图像；
6.步骤2、根据jaffe-mcglamery水下成像模型得出复原后的图像；
7.步骤3、确定统一灰度值并计算rgb三通道的增益系数；
8.步骤4、对复原图像的v通道进行处理；
9.步骤5、对s通道进行处理；
10.步骤6、输入最终增强的图像。
11.一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述基于hsv色彩空间的多尺度融合水下图像增强的方法的步骤。
12.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，
所属计算机可读指令被处理器执行时实现上述基于hsv色彩空间的多尺度融合水下图像增强的方法的步骤。
13.本发明与现有技术相比，其显著优点为：1)本发明比传统方法的色偏比例更低，对比度更高，在颜色上更加自然，更加接近人眼视觉。2)优于现有的物理模型。3)相比一些复杂度高的水下图像处理算法，本发明处理水下图像的效果更有效。4)可以应用在水下机器人的实际应用场景中。
14.下面结合附图对本发明作进一步详细描述。
附图说明
15.图1为本发明的流程图。
16.图2为威海海域采集的5组图像处理结果，其中(a)原图像；(b)udcp算法；(c)ibla算法；(d)本发明算法。
具体实施方式
17.光在水中传播时，受到微粒和杂质的散射以及水介质的吸收作用而产生强烈的衰减。散射是光沿着直线传播时发生的小角度偏转现象；吸收是光在传播过程中引起的能量损失。根据jaffe-mcglamery水下成像模型，到达相机的光是前向散射、后向散射和直接光三部分的线性叠加，前向散射是水下物体的反射光又经散射的光，后向散射是环境光被水中的颗粒、生物等散射后进入相机的光，直接光是相机直接接受到的光。
18.灰度世界算法是一种基于灰色世界假设的算法。这种假设意思是：对一副色彩非常丰富的图像来说，该图像rgb三分量的平均值和统一灰度值几乎相等。在物理上，灰色世界算法假设一切物体对光反射得出的均值是固定的。颜色校正算法把这种灰色世界假设应用在需要处理的图像上。通过这种算法的处理，可以消除背景光对图像的影响，从而得到真实的原始图像。
19.色调、饱和度和亮度值(hsv)色彩空间和人类视觉有关。h代表色调(hue)，从0
°
到360
°
分别有红色(0
°
和360
°
)、黄色(60
°
)、绿色(120
°
)、青色(180
°
)、蓝色(240
°
)、紫色(300
°
)。s代表饱和度(saturation)，指的是颜色的纯度，取值范围是0-1。其中，s＝0时只有灰度。v代表颜色的亮度(value)，取值范围也是0-1。其中，v＝0时为黑色；v＝1时为白色。wan等人证明了在一定条件下，朦胧图像的色调h通道是不变的。
20.本发明在jaffe-mcglamery水下成像模型得出复原后的图像的基础上，先基于灰度世界算法对水下图像rgb三通道进行颜色校正，接着基于多尺度融合对hsv空间的亮度v进行改进，然后利用自适应非线性算法对饱和度s进行处理，得到了增强良好的图像。
21.如图1所示，本发明的一种基于hsv色彩空间的多尺度融合水下图像增强方法，包括以下步骤：
22.步骤1、在拍摄的图像中选取多组后向散射程度不同且拍摄状态和距离未知的图像。
23.步骤2、根据jaffe-mcglamery水下成像模型得出复原后的图像的过程为：
24.在距离较短时，到达相机的总光为：
25.an(x,λ)＝a
∞
(λ)(1-e-α(λ)x
)
ꢀꢀꢀ
(1)
26.其中，x为光传播距离；a
∞
(λ)为背景光；λ为波长；α(λ)为由于吸收和散射的总的衰减系数；
27.场景直接光散射ad(x，λ)表示为：
28.ad(x,λ)＝j0(λ)e-α(λ)x
ꢀꢀꢀ
(2)
29.其中，λ表示波长；α(λ)为由于吸收和散射的总的衰减系数；j0(λ)是未被水下环境衰减的光，即需要被恢复的清晰图像；
30.水下摄像机成像模型为：
31.i＝ad(x,λ) an(x,λ)＝j0(λ)e-α(λ)x
a
∞
(λ)(1-e-α(λ)x
)
ꢀꢀꢀ
(3)
32.近距离下，认为水对光的吸收和散射作用相同，将α视为常数，忽略波长的影响，水下成像模型为：
33.i＝j0e-αx
a
∞
(1-e-αx
)＝j0t(x) a
∞
(1-t(x))
ꢀꢀꢀ
(4)
34.其中，t(x)为透射率；
35.等式两边对距离x求导，得：
[0036][0037]
由公式(4)可得水下图像复原公式：
[0038][0039]
步骤3、根据灰度世界算法确定统一灰度值并计算rgb三通道的增益系数的过程为：
[0040]
通过计算图像r，g，b三通道的平均值确定
[0041][0042]
计算三通道的增益系数：
[0043][0044]
在水下成像过程中，在水下6m深处，红色就会基本消失，在水下20m时物体基本变成蓝绿色，则三通道的增益为：
[0045][0046]
三通道校正结果为：
[0047][0048]
其中，r
rec
，g
rec
，b
rec
为校正后的图像三通道，r，g，b为原图的三通道。
[0049]
步骤4、采用多尺度融合单背光算法对复原图像的v通道进行处理的过程为：
[0050]
从rgb空间到hsv色彩空间的转换如下：
[0051][0052]
h＝60
°×h′ꢀꢀꢀ
(12)
[0053]
v＝m
ꢀꢀꢀ
(13)
[0054][0055]
其中，h代表色调，s代表饱和度，v代表颜色的亮度，m＝max(r,g,b)，m＝min(r,g,b)；
[0056]
对v通道图像分别使用系数法、gamma变换、gum法(非锐化掩蔽算法)进行处理；
[0057]
系数法：
[0058]
i1(x,y)＝v(x,y)
η
ꢀꢀꢀ
(15)
[0059]
其中，v(x,y)为hsv空间(x,y)处的亮度原始值层；η为图像亮度系数；
[0060]
gamma变换：
[0061][0062][0063]
其中，v(x,y)为hsv空间(x,y)中的亮度原始值层；为适应因子，它的值取决于暗像素的个数；n为总像素数；p为值小于50的像素数；
[0064]
gum法：
[0065]
i3(x,y)＝v(x,y) γ(c)
×
d(x,y)
ꢀꢀꢀ
(18)
[0066]
其中，i3(x,y)是处理后的图像，v(x,y)是原图像经过中值滤波和自适应直方图均衡化得到的图片，d(x,y)是原图与原图经过中值滤波得到图的细节差图，γ(c)是自适应控制增益，其表达式为：
[0067]
γ(c)＝∈ σexp(-|c|
η
)
ꢀꢀꢀ
(19)
[0068]
其中，c＝2d(x,y)-1，η是控制减少的速率，∈和σ的求解公式如下：
[0069]
σ＝(γ
nax-γ
min
)/(1-e-1
)
ꢀꢀꢀ
(20)
[0070]
∈＝γ
max-β
ꢀꢀꢀ
(21)
[0071]
其中，γ(0)＝γ
max
，γ(1)＝γ
min
；
[0072]
保存分别使用系数法、gamma变换、gum法进行处理后的三幅图像，得到它们的权值图：
[0073][0074]
其中，k为初始输入图片的数量，k＝3；i(x,y)为每个像素的输入值；θ＝0.3。
[0075]
对三幅权重值不同的结果图进行归一化处理：
[0076]
[0077]
其中，l为金字塔的层数；g{w}是归一化权映射w的高斯金字塔；l{i}是输入i的拉普拉斯金字塔。
[0078]
步骤5、采用自适应非线性增强算法对s通道进行处理以提高图像的饱和度的过程为：
[0079]
使用自适应非线性增强算法处理s分量：
[0080][0081]
其中，s(x,y)为hsv空间(x,y)处的饱和度原始值层。m＝max(r,g,b)，m＝min(r,g,b)。
[0082]
步骤6、将经过以上步骤处理的图像输出。
[0083]
为检验所提出的基于hsv色彩空间的多尺度融合水下图像增强方法的可行性和有效性，选择真实的水域环境进行了实验，将udcp法、ibla法与本算法分别处理5组后向散射程度不同的水下图像，它们的图像色偏对比如表1所示：
[0084]
表1
[0085][0086]
其图像对比度对比如表2所示：
[0087]
表2
[0088][0089][0090]
由表1、表2可知，在水下十五米深处的图像采用udcp的方法处理后对比度相比于原图平均提高了113.968％，但是图像的色偏平均降低了55.293％。采用ibla算法处理后的图像对比度比原图平均提高了212.146％，但色偏平均降低了59.868％；而经过本文算法的处理后，虽然对比度在ibla算法的基础上平均降低了6.078％，但和原图相比，对比度还是大幅度提高的趋势，本文算法的色偏和ibla算法相比得到大幅度降低，平均降低了
86.436％。结合图2，基于hsv色彩空间的多尺度融合水下图像增强方法几乎消除了蓝绿通道对图像整体的影响，同时红色通道的颜色补偿也适当，海草、游鱼、螃蟹、暗礁、海星等动植物与周围环境用肉眼就可以明显区分，并且图像整体视觉效果良好。