一种水下图像自适应轻量化增强系统
本发明属于数字图像处理领域,尤其涉及一种水下图像自适应轻量化增强系统。
背景技术:
1、水下图像在采集过程中,受水体对光线的选择性吸收、悬浮颗粒引起的散射效应以及不同波长光在水下传播时衰减速率差异显著等因素的共同影响,普遍存在对比度下降、颜色偏移、纹理细节模糊和整体雾化严重等退化现象。上述退化问题不仅导致水下图像的主观视觉质量显著下降,而且直接影响目标检测、识别、分割、定位及三维重建等下游视觉任务的处理精度与系统稳定性。现有水下图像增强方法主要分为三大类:第一类是基于图像先验的方法,如暗通道先验、最大对比度先验等,通过设计特定的统计规则对图像进行恢复,但其对水下复杂多变环境的泛化能力较差,难以适应不同水质条件下的图像增强需求;第二类是基于物理退化模型的方法,如基于水下成像模型进行参数估计和逆向求解,其虽具备一定的物理可解释性,但增强效果严重依赖于对水体参数、场景深度和光照条件的精确估计,在实际应用中适应性有限;第三类是基于深度学习的方法,通过构建卷积神经网络或生成对抗网络从大量成对数据中学习退化图像到清晰图像的非线性映射关系,能够取得较好的增强效果。
2、然而,上述基于深度学习的水下图像增强方法在实际应用中仍存在以下技术问题:第一,现有方法大多采用统一的网络结构对所有输入图像进行相同的增强处理,缺乏对水下图像不同退化状态的显式感知与智能判别机制,难以根据图像实际的浑浊程度和颜色偏移类型动态调整增强策略,导致在多种退化场景混杂时增强效果不稳定,无法实现真正意义上的自适应增强;第二,现有方法为了提升对水下图像整体颜色一致性、亮度均衡性和长程空间依赖关系的建模能力,往往采用较大规模的网络结构或引入计算量庞大的注意力机制,导致模型参数量大、推理速度慢、内存占用高,难以满足水下机器人、嵌入式设备及实时视觉平台对模型轻量化和高效推理的实际需求;第三,现有方法的增强过程缺乏对输入图像原始结构与边缘信息的有效保持机制,在增强对比度和恢复色彩的过程中容易引入伪影或丢失细节,且训练过程中单一损失函数的约束难以同时保证像素级精度和感知级质量。
技术实现思路
1、针对现有水下图像增强方法在复杂水下退化场景下适应性不足、全局建模能力有限以及模型复杂度较高的问题,本发明提供一种水下图像自适应轻量化增强系统。该系统通过显式感知输入水下图像的退化状态,并将退化感知信息作为条件约束注入增强网络,使增强过程能够根据不同浑浊程度和颜色退化类型进行自适应调整,同时结合轻量化卷积结构与二维状态空间建模机制,在降低模型参数量和计算开销的基础上提升水下图像的颜色恢复、对比度增强和结构细节保持能力。
2、为实现上述目的,本发明提供了一种水下图像自适应轻量化增强系统,包括:
3、图像退化感知模块,用于接收输入水下图像,对所述输入水下图像进行退化属性分析,输出表征当前图像退化状态的退化感知信息;
4、条件构建与注入模块,用于接收所述退化感知信息,对所述退化感知信息进行归一化、拼接和映射处理,生成用于控制增强过程的通道权重;
5、轻量化增强模块,用于接收所述输入水下图像和所述通道权重,对所述输入水下图像进行多级特征提取以获得多层级特征,对所述多层级特征进行特征融合以获得融合特征,利用所述通道权重对所述融合特征执行逐通道自适应调制以获得调制后融合特征,对所述调制后融合特征进行深层增强和残差重建,输出增强后的水下图像。
6、优选地,所述图像退化感知模块包括特征提取骨干网络、浑浊度预测头和颜色预测头;
7、所述特征提取骨干网络采用efficientnet-b0轻量特征提取网络,用于对所述输入水下图像进行全局特征提取,输出全局特征;
8、所述浑浊度预测头用于接收所述全局特征,对所述全局特征进行浑浊度预测处理,输出一维连续退化评分,所述一维连续退化评分用于表征图像浑浊程度;
9、所述颜色预测头用于接收所述全局特征,对所述全局特征进行颜色退化预测处理,输出十六维颜色退化特征,所述十六维颜色退化特征用于表征图像颜色偏移状态。
10、优选地,所述条件构建与注入模块包括条件拼接单元和权重映射单元;
11、所述条件拼接单元用于对所述退化感知信息中的十六维颜色退化特征进行softmax归一化以获得十六维颜色概率分布,并将所述十六维颜色概率分布与所述退化感知信息中的一维连续退化评分进行拼接,获得十七维条件向量;
12、所述权重映射单元用于接收所述十七维条件向量,对所述十七维条件向量进行全连接映射处理,获得与融合特征通道数一致的通道权重。
13、优选地,所述轻量化增强模块包括输入卷积层、多个轻量化卷积块、特征拼接单元、深层增强块和输出卷积层;
14、所述输入卷积层用于对所述输入水下图像进行卷积映射,输出浅层特征;
15、所述多个轻量化卷积块依次连接,用于对所述浅层特征逐级提取局部纹理特征和结构特征,各级轻量化卷积块分别输出对应层级的中间特征和深层特征;
16、所述特征拼接单元用于将所述浅层特征、所述中间特征和所述深层特征沿通道维进行拼接,获得所述融合特征;
17、所述深层增强块用于接收经所述通道权重调制后的调制后融合特征,对所述调制后融合特征进行通道增强和全局依赖建模,输出增强特征;
18、所述输出卷积层用于对所述增强特征进行卷积重建,获得重建图像,将所述重建图像与所述输入水下图像进行逐像素残差相加,输出所述增强后的水下图像。
19、优选地,每个所述轻量化卷积块均包括深度卷积层、第一批归一化层、hardswish激活层和逐点卷积层;
20、所述深度卷积层用于对输入对应轻量化卷积块的特征进行逐通道空间卷积,输出深度卷积特征;
21、所述第一批归一化层用于对所述深度卷积特征进行批归一化处理,输出归一化深度特征;
22、所述hardswish激活层用于对所述归一化深度特征进行hardswish激活处理,输出激活后特征;
23、所述逐点卷积层用于对所述激活后特征进行逐点卷积处理,输出对应轻量化卷积块的提取结果。
24、优选地,所述深层增强块包括依次连接的深度卷积层、第二批归一化层、hardswish激活单元、se通道注意力单元、二维状态空间建模单元和逐点卷积层;
25、所述深度卷积层用于对所述调制后融合特征进行逐通道空间卷积,输出局部空间增强特征;
26、所述第二批归一化层用于对所述局部空间增强特征进行批归一化处理,输出归一化空间特征;
27、所述hardswish激活单元用于对所述归一化空间特征进行hardswish激活处理,输出激活空间特征;
28、所述se通道注意力单元用于接收所述激活空间特征,对所述激活空间特征的各通道响应进行重标定,输出重标定通道特征;
29、所述二维状态空间建模单元用于接收所述重标定通道特征,对所述重标定通道特征进行维度重排、状态空间扫描和残差融合处理,输出全局建模特征;
30、所述逐点卷积层用于对所述全局建模特征进行逐点卷积处理,输出所述增强特征。
31、优选地,所述二维状态空间建模单元包括输入归一化层、ss2d状态空间扫描单元、输出归一化层、可学习残差缩放单元和随机失活结构;
32、所述输入归一化层用于对输入对应二维状态空间建模单元的特征进行归一化处理,输出归一化建模输入特征;
33、所述ss2d状态空间扫描单元用于对所述归一化建模输入特征进行二维状态空间扫描,输出扫描特征;
34、所述输出归一化层用于对所述扫描特征进行归一化处理,输出归一化扫描特征;
35、所述可学习残差缩放单元用于对所述归一化扫描特征进行残差缩放处理,获得残差缩放特征;
36、所述随机失活结构用于对所述残差缩放特征进行随机失活处理,获得随机失活特征,将所述随机失活特征与输入对应二维状态空间建模单元的特征进行残差融合,输出所述全局建模特征。
37、优选地,所述轻量化增强模块还包括条件调制单元,所述条件调制单元用于将所述通道权重扩展为空间共享形式,获得空间共享通道权重,利用所述空间共享通道权重对所述融合特征进行逐通道乘法调制,获得所述调制后融合特征。
38、优选地,所述系统还包括训练冻结模块,所述训练冻结模块用于在训练阶段预先加载所述图像退化感知模块的预训练权重,并冻结所述图像退化感知模块的全部参数,仅将所述轻量化增强模块的参数送入优化器进行更新。
39、优选地,所述系统还包括联合损失计算模块,所述联合损失计算模块用于在训练阶段接收所述增强后的水下图像和对应的清晰参考图像,对所述增强后的水下图像和所述清晰参考图像分别进行均方误差损失计算、感知损失计算和结构相似性损失计算,获得像素重建损失、感知损失和结构相似性损失,将所述像素重建损失、所述感知损失和所述结构相似性损失相加获得联合损失值,以所述联合损失值作为约束对所述轻量化增强模块进行参数优化。
40、与现有技术相比,本发明具有如下优点和技术效果:
41、本发明通过在系统中设置图像退化感知模块,利用efficientnet-b0轻量特征提取网络结合浑浊度预测头和颜色预测头,对输入水下图像的浑浊程度和颜色退化类型进行显式感知与量化表征,使系统能够准确识别不同水下场景的退化状态,弥补了现有方法缺乏退化感知机制的缺陷;通过设置条件构建与注入模块,将退化感知信息转换为通道调制权重并注入轻量化增强模块,实现对不同退化状态的自适应差异化增强,显著提高了系统在多种退化场景混杂情况下的增强稳定性和自适应性。
42、本发明通过在轻量化增强模块中采用深度卷积与逐点卷积组合的轻量化结构,在保证局部细节恢复能力的同时大幅降低了模型参数量和计算复杂度,使系统能够部署于水下机器人、嵌入式设备及实时视觉平台等资源受限场景。
43、同时,本发明在深层增强阶段引入se通道注意力单元与二维状态空间建模单元,在保持较低计算开销的前提下有效建模了图像特征中的长程空间依赖关系,提升了整体颜色一致性、亮度均衡性和结构连续性;
44、此外,本发明通过将增强结果与原始输入图像进行逐像素残差相加的输出重建方式,有效保持了原始场景的边缘与结构信息,在训练阶段采用像素重建损失、感知损失和结构相似性损失构成的联合损失函数进行多维度约束,使增强后的图像在客观评价指标和主观视觉质量方面均得到显著提升,为水下视觉感知、水下目标检测、水下机器人导航等实际应用提供了可靠的技术支撑。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com