一种基于改进加权区域损失的闸坝水下表面缺陷图像增强方法及系统

摘要: 本发明属于图像处理与计算机视觉,具体涉及一种水下图像增强方法,尤其适用于闸坝水下表面缺陷(如裂缝、孔洞、剥落)的检测与识别。背景技术:1、水下图像增强是水下机器...
一种基于改进加权区域损失的闸坝水下表面缺陷图像增强方法及系统

本发明属于图像处理与计算机视觉,具体涉及一种水下图像增强方法,尤其适用于闸坝水下表面缺陷(如裂缝、孔洞、剥落)的检测与识别。

背景技术:

1、水下图像增强是水下机器人视觉和结构健康监测的关键技术。现有先进的水下图像增强模型(如uiec²-net)在室内数据集(nyu-v2)和海洋生物数据集(uiebd)上表现优异,能够显著提升图像的视觉质量。然而,将其直接应用于闸坝水下结构检测场景时,面临以下根本性挑战:

2、(1)数据分布差异显著:闸坝水下环境具有独特的浑浊度、非均匀光照以及高浓度的矿物悬浮物,与清澈的室内环境或开放海域存在本质区别。

3、(2)任务目标不同:原始模型旨在提升图像整体质量,而闸坝检测的核心需求是精确识别微小的结构缺陷。通用增强算法往往在去噪和平滑过程中,将裂缝、孔洞等关键缺陷信息误判为噪声而过滤掉。

4、(3)图像特征特殊:闸坝水下图像通常呈现特定的灰绿色调,存在局部高浑浊区域,水体吸收和散射导致图像呈现“灰蒙蒙”状态,缺陷与背景的对比度较低。

5、传统的水下图像增强方法主要分为基于物理模型的方法和基于深度学习的方法。基于物理模型的方法依赖于先验假设,在复杂水下环境中鲁棒性较差;基于深度学习的方法虽然效果显著,但大多针对通用场景设计,难以满足闸坝缺陷检测对局部细节的高要求。因此,需要一种专门用于闸坝水下场景、能够针对性增强缺陷区域特征的图像增强方法。

技术实现思路

1、本发明所要解决的技术问题是:提供一种基于改进加权区域损失的闸坝水下表面缺陷图像增强方法,以解决现有通用增强模型在应用于闸坝水下缺陷检测时,因以提升图像整体视觉质量为目标而导致的缺陷特征丢失、对比度不足的问题。

2、本发明为解决上述技术问题采用以下技术方案:

3、步骤一、数据获取与预处理

4、获取闸坝水下原始图像,这些图像通常包含裂缝、孔洞、剥落等结构缺陷。由于水体吸收和散射效应,图像呈现“灰蒙蒙”状态,边缘信息模糊。在数据预处理阶段,对原始图像进行直方图均衡化处理,拉伸图像整体的对比度,使缺陷区域的边缘和纹理更加突出,为后续网络处理提供更好的输入。

5、步骤二、生成伪真实图像

6、由于闸坝水下场景难以获取成对的真实清晰图像(即同一场景的水下缺陷图像和真实清晰缺陷图像),本发明利用在通用数据集(nyu-v2、uiebd)上预训练好的uiec²-net模型,对预处理后的图像进行统一裁剪,裁剪为256×256分辨率,基于pytorch框架调用预训练模型前向推理,将模型输出的增强图像作为训练所需的真实参考图像(伪真实图像)。由此,构建由(预处理后的图像x,伪真实图像y,缺陷掩码)组成的三元组训练数据集。

7、步骤三、构建缺陷区域掩码

8、根据现有的水下缺陷图像标注文件(即对原始图像中缺陷区域的像素级标注,标注文件格式为txt),生成对应的缺陷区域掩码。掩码矩阵尺寸与原始图像一致,其中缺陷区域(裂缝、孔洞、剥落)的像素值标为1,背景区域的像素值标为0。该掩码将用于损失函数中对缺陷区域的加权关注。

9、步骤四、构建改进的损失函数

10、在uiec²-net模型的基础上,针对闸坝缺陷检测的任务需求改进其损失函数。改进后的总损失函数表达式为:

11、

12、其中:为l1损失函数,约束预测图像与真实图像在像素级别的一致性;其定义为:

13、,其中,为预测图像,为真实图像,n为像素总数。

14、为结构相似性损失,约束图像的亮度、对比度和结构相似性;

15、,

16、,

17、其中,与  分别对应预测图像中目标 rgb 图像块的均值与标准差;与 对应真实标签图像中对应位置图像块的均值与标准差;代表二者的互协方差,参数。

18、为hsv颜色空间损失,约束图像在色调、饱和度和明度上的准确性;其定义为:

19、,

20、其中,色调通道 、饱和度通道,明度通道 ]。

21、为感知损失,基于预训练网络的特征图约束图像的高级语义特征;其定义为:

22、,

23、其中,代表预训练vgg-19 网络的第j个卷积层;b为训练过程中的批次大小;分别表示 vgg-19 网络第 j层特征图的通道数、高度与宽度。

24、为对应损失的权重系数;和为平衡像素级损失与整体损失的动态系数;

25、为新增的加权区域损失,其定义如下:

26、

27、其中,为模型预测的输出图像,为伪真实图像,n为像素总数;为缺陷区域掩码,1代表缺陷区域,0代表背景区域;为背景区域的损失权重系数。

28、在具体实施中,设置,使得模型在计算损失时,对于掩码为1的缺陷区域,计算预测图像与伪真实图像的l1距离,权重为1;对于掩码为0的背景区域,计算l1距离后乘以0.3,从而降低背景误差对总损失的贡献,引导模型将计算资源集中于关键缺陷区域。各损失函数的权重设置:。通过设置较高的,引导模型更加关注图像中的缺陷区域,提升缺陷与背景的对比度。

29、步骤五、分段训练策略

30、采用分段训练策略以平衡不同训练阶段的学习目标:

31、阶段一(epoch 1-20):设置。此阶段让模型同时学习像素级重建和整体结构保持,奠定基础重建能力。

32、阶段二(epoch 21至50):设置。此阶段降低像素级损失的权重,提高整体损失权重,引导模型更加关注图像的语义一致性和整体视觉效果,使生成的图像更加自然。

33、阶段一和阶段二均采用adam 优化器,初始学习率设置为0.0001,批次大小(batchsize)设为8,实验硬件环境为nvidia tesla v100-pice-32gb gpu。

34、步骤六、模型训练与应用

35、利用构建好的三元组训练数据集,采用改进的损失函数和分段训练策略对uiec²-net模型进行训练。训练完成后,将新采集的闸坝水下原始图像输入模型,模型输出的图像即为增强后图像。该图像在缺陷区域的边缘锐度和对比度上显著优于原图,可直接输入后续的目标检测或分割网络进行缺陷识别。

36、其次,本发明还提出一种基于改进加权区域损失的闸坝水下表面缺陷图像增强装置,包括:

37、预处理单元,用于获取闸坝水下原始图像,对原始图像进行直方图均衡化处理,将预处理后的图像记为x;

38、训练集生成单元,用于利用预训练的uiec²-net模型对预处理后的图像x进行处理,生成对应的伪真实图像y,构建数据集(x,y);并且

39、根据已有水下缺陷图像标注文件,生成对应的缺陷区域掩码;将x、y和一一对应,构成训练数据集(x,y,);

40、模型训练单元,用于在uiec²-net模型的基础上改进其损失函数,构建改进后的总损失函数;利用训练数据集(x,y,)对改进后的模型进行重新训练,采用分段训练策略平衡像素级精度与整体一致性,得到新的模型uiec²-net-ours;

41、缺陷检测单元,将待处理的闸坝水下原始缺陷图像输入到训练完成的新模型uiec²-net-ours中进行处理,输出增强后的图像,用于后续的缺陷检测任务。

42、同时,本发明还提出一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本发明所提方法的步骤。

43、另一方面,本发明还提出一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现本发明所提方法的步骤。

44、最后,本发明提出一种电子系统,包括存储器、处理器和存储在存储器中可供处理器运行的程序指令,其特征在于,所述处理器执行所述程序指令以实现本发明所述控制方法的步骤。

45、与现有技术相比,本发明具有以下技术效果:

46、本发明通过引入直方图均衡化预处理,专门针对闸坝水下图像“灰蒙蒙”、对比度低的固有问题进行初步增强,有效拉伸图像对比度,使缺陷边缘和纹理更加突出,为后续网络处理提供了更优质的输入。在此基础上,创新性地在损失函数中引入基于标注文件的加权区域损失,通过掩码机制引导网络将计算资源集中于裂缝、孔洞等关键缺陷区域;通过设置背景权重及较高的缺陷区域损失权重,显著提高了缺陷与背景的对比度,避免了通用增强算法对缺陷的过度平滑,实现了缺陷感知能力的精准提升。

47、同时,本发明利用预训练模型生成伪真实图像,成功解决了闸坝水下场景难以获取真实清晰参考图像的实际难题,使得有监督训练成为可能,极大拓展了方法的适用性。并且采用前20个epoch平衡像素级与整体损失、后续epoch侧重整体一致性的分段训练策略,使模型在保证缺陷区域精度的同时,生成视觉上更加自然的增强图像。

48、通过在真实闸坝水下图像数据集上的验证,本发明方法在边缘强度(ei)、水下图像质量度量(uiqm)等客观指标上均取得显著提升,且在人眼视觉主观评价上,缺陷区域更加清晰可辨,为闸坝结构健康监测提供了高质量的图像数据支撑。