一种水下图像复原方法及相关装置与流程
本发明属于水下视觉,尤其涉及一种水下图像复原方法及相关装置。
背景技术:
1、水下视觉技术是海洋工程作业、水下机器人自主导航、海洋生态环境监测、水下目标检测识别、水产养殖智能巡检、海底资源勘探开发等领域不可或缺的核心感知技术,水下图像是上述任务获取场景信息的重要信息源。受水体环境复杂性影响,光线在水中传播时会产生吸收、散射及非均匀照明效应,且不同波长光线的衰减程度存在显著差异,红光衰减速度较快,蓝绿光衰减程度相对较低,叠加水体悬浮颗粒引发的散射作用,水下图像普遍存在颜色偏移、对比度降低、细节模糊、纹理丢失及局部雾化等退化问题。上述图像退化现象不仅会劣化人眼视觉观察效果,还会直接降低后续目标检测、识别、分割及导航等视觉任务的执行可靠性,因此水下图像增强与复原技术具有重要的研究意义与工程应用价值。
2、现有水下图像增强或复原方法主要分为传统图像处理方法、基于深度学习的方法、基于生成模型或扩散模型的方法,以及引入视觉语言模型或语义先验的方法四大类。其中,传统方法依赖人工设计的图像先验或简化物理模型,典型包括对比度受限自适应直方图均衡、白平衡校正、伽马校正、水下暗通道先验、红通道补偿先验等,该类方法实现简单、计算开销低,但受固定假设约束,难以准确描述复杂水域中吸收、散射、偏色与光照不均的耦合退化机理,面对真实水域复杂的光照变化、水体颜色差异、悬浮颗粒散射与物体颜色多样性时,易出现校正不足、过度增强或颜色失真等问题,复杂场景适应性不足。基于卷积神经网络、transformer、生成对抗网络的深度学习方法具备更强的特征表达与映射学习能力,但多数方法仅以退化图像为核心输入,单路径学习退化图像到清晰图像的端到端映射,仅依赖退化图像内部的像素、纹理与结构线索进行恢复;在严重偏色或强散射场景下,退化图像自身的颜色线索可靠性不足,模型难以准确推理目标对象的自然颜色,易产生残余偏色、颜色不自然或局部对象颜色恢复错误的问题;同时,现有多数方法将全局颜色校正与局部纹理恢复耦合在同一路径中同步优化,而两类退化的产生机理与恢复目标存在本质差异,优化过程易相互干扰,导致复原结果稳定性不足。基于扩散模型的水下复原方法虽具备优异的图像生成与细节恢复能力,但现有方案通常直接将退化图像特征注入去噪过程以保留场景结构,易同步引入蓝绿色偏、散射雾化、噪声与模糊纹理等退化信息,造成输出图像残留色偏、出现局部伪影或纹理不自然;且部分扩散模型需较多采样步骤才能保障复原质量,推理时间长、计算成本高,难以适配水下机器人、在线监测、实时巡检等场景的效率要求。此外,现有通用视觉语言模型仅擅长生成通用场景描述,无法输出面向水下复原任务的颜色差异描述,难以为复原网络提供明确的颜色校正方向,对水下图像复原的指导作用十分有限。
3、综上所述,现有水下图像增强与复原技术存在复杂水域适应性不足、颜色推理能力受限、颜色校正与细节恢复易相互干扰、语义先验指导针对性弱、扩散复原易引入退化伪影、复原质量与推理效率难以兼顾的技术缺陷,无法充分满足复杂水下场景下高质量、高效率的图像复原需求。
技术实现思路
1、本发明提供一种水下图像复原方法,采用本方法能够有效解决现有水下图像增强与复原技术存在的复杂水域适应性不足、颜色推理能力受限、颜色校正与细节恢复易相互干扰、语义先验指导针对性弱、扩散复原易引入退化伪影、复原质量与推理效率难以兼顾等技术缺陷,能够充分满足复杂水下场景下高质量、高效率的图像复原需求。
2、为了达到上述目的,本发明采用如下技术方案:
3、一种水下图像复原方法,包括;
4、将待复原的退化水下图像输入至预训练的视觉语言模型,生成颜色差异描述;其中,所述颜色差异描述用于表征待复原水下图像相对于目标清晰图像所需发生的颜色变化,以明确颜色校正方向;
5、将颜色差异描述输入文本编码器进行文本编码,得到语义颜色先验特征;
6、将待复原的退化水下图像输入至水下特征编码器,提取得到多尺度水下图像特征;
7、基于预构建的初始扩散潜变量,结合当前扩散时间步与扩散中间特征,对多尺度水下图像特征执行自适应退化感知特征调制,得到调制后的水下图像特征;其中,所述扩散中间特征基于扩散去噪网络在当前扩散时间步生成得到;
8、将语义颜色先验特征、调制后的水下图像特征与当前时间步的噪声潜变量输入扩散去噪网络,预测噪声并更新潜变量,重复执行自适应退化感知特征调制和扩散去噪,直至获得复原图像潜变量;
9、将复原图像潜变量输入图像解码器,生成水下复原图像。
10、进一步地,所述视觉语言模型的训练过程如下:
11、获取成对的退化水下图像与清晰参考图像,根据二者之间的颜色差异生成包含全局颜色变化与局部区域颜色变化的颜色差异文本,构建训练语料;
12、采用低秩适配方法,以退化水下图像、清晰参考图像及训练语料组成的视觉指令训练数据,对视觉语言模型进行参数微调,以使得视觉语言模型学习退化颜色与自然颜色之间的对应关系;
13、所述颜色差异描述的内容包括水体颜色的调整方向、红绿蓝颜色分量的增强或抑制关系、前景目标与背景区域的颜色变化、局部区域的饱和度、亮度或色调调整中的至少一种。
14、进一步地,对视觉语言模型进行微调时采用混合颜色描述训练策略,共同参与训练的文本包括两类:根据清晰参考图像生成的目标颜色描述、根据退化图像与清晰参考图像生成的颜色差异描述;通过混合训练提升视觉语言模型在无清晰参考图像条件下的颜色推理能力。
15、进一步地,所述语义颜色先验特征包括图像整体色调变化、局部对象颜色变化以及亮度、冷暖、饱和度变化信息;所述语义颜色先验特征通过交叉注意力机制注入扩散去噪网络,以使得扩散去噪网络在各去噪步骤中均依据颜色差异描述执行颜色校正。
16、进一步地,所述水下特征编码器采用变分自编码器的编码部分;提取得到的多尺度水下图像特征包括目标轮廓、空间布局、边缘与局部纹理信息,所述多尺度水下图像特征用于约束扩散复原过程,以使得生成的水下复原图像在进行颜色与纹理恢复的同时,保持与待复原的退化水下图像一致的场景内容与结构。
17、进一步地,所述对多尺度水下图像特征执行自适应退化感知特征调制,包括:
18、对多尺度水下图像特征执行通道对齐操作,使多尺度水下图像特征与扩散中间特征具有匹配的通道维度;
19、对对齐后的水下图像特征进行全局平均池化,经多层感知机与sigmoid激活函数生成通道门控权重,通过逐元素相乘得到通道调制特征,以增强包括有效结构信息的特征通道、抑制包括色偏、噪声或散射信息的退化特征通道;
20、基于扩散中间特征与通道调制特征生成空间注意权重,对不同图像位置的特征融合强度进行调节,在目标轮廓与纹理区域强化结构信息注入,在散射与噪声区域降低退化信息影响;
21、根据融合后的特征生成缩放参数与偏移参数,对扩散中间特征执行仿射调制,得到调制后的水下图像特征。
22、进一步地,所述扩散去噪网络采用混合文本条件训练策略进行训练,训练过程分为三个阶段:
23、第一阶段:使用清晰参考图像生成的高质量颜色差异描述作为文本条件,使扩散去噪网络学习稳定、准确的颜色校正方向;
24、第二阶段:混合使用高质量颜色差异描述与视觉语言模型预测的颜色差异描述作为文本条件,使扩散去噪网络逐步适应预测文本的表达差异;
25、第三阶段:主要或全部使用视觉语言模型预测的颜色差异描述作为文本条件,使训练条件与实际推理阶段保持一致。
26、一种水下图像复原系统,包括:
27、生成模块,用于将待复原的退化水下图像输入至预训练的视觉语言模型,生成颜色差异描述;其中,所述颜色差异描述用于表征待复原水下图像相对于目标清晰图像所需发生的颜色变化,以明确颜色校正方向;
28、编码模块,用于将颜色差异描述输入文本编码器进行文本编码,得到语义颜色先验特征;
29、提取模块,用于将待复原的退化水下图像输入至水下特征编码器,提取得到多尺度水下图像特征;
30、调制模块,用于基于预构建的初始扩散潜变量,结合当前扩散时间步与扩散中间特征,对多尺度水下图像特征执行自适应退化感知特征调制,得到调制后的水下图像特征;其中,所述扩散中间特征基于扩散去噪网络在当前扩散时间步生成得到;
31、迭代模块,用于将语义颜色先验特征、调制后的水下图像特征与当前时间步的噪声潜变量输入扩散去噪网络,预测噪声并更新潜变量,重复执行自适应退化感知特征调制和扩散去噪,直至获得复原图像潜变量;
32、解码模块,用于将复原图像潜变量输入图像解码器,生成水下复原图像。
33、一种水下图像复原设备,包括:
34、存储器,用于存储计算机程序;
35、处理器,用于执行所述计算机程序时实现上述水下图像复原方法。
36、一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时用于实现上述水下图像复原方法。
37、与现有技术相比,本发明具有如下有益效果:
38、本发明提供一种水下图像复原方法,通过将退化水下图像输入预训练视觉语言模型生成颜色差异描述,为复原提供明确的颜色校正方向,随后将其编码为语义颜色先验特征;同时提取多尺度水下图像特征,并在扩散过程中利用当前时间步的扩散中间特征对该特征执行自适应退化感知调制,以动态抑制退化信息的传递。颜色差异描述引导扩散模型聚焦于颜色校正而非盲目恢复,自适应调制则分离全局颜色校正与局部纹理恢复的优化路径,避免两者相互干扰,并借助扩散模型的生成能力逐步净化潜变量。采用本方法有效克服了传统方法适应性差、深度学习模型颜色推理不准、扩散模型易残留偏色与伪影以及推理耗时长的缺陷,显著提升了水下复原图像的颜色自然度、结构保真度和处理效率,尤其适用于复杂水下场景的实时应用。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com