一种基于异质感知注意力机制与自适应语义对齐器的非均匀海雾去除方法
本发明涉及图像处理与计算机视觉,具体为一种基于异质感知注意力机制与自适应语义对齐器的非均匀海雾去除方法。
背景技术:
1、海上交通和船舶作业高度依赖视觉监控设备。真实的海洋气象复杂多变,海面经常出现不同浓度的雾气遮挡。这种海雾会导致监控设备采集的图像能见度直接下降。航标、交会船舶以及海岸线等关键目标的轮廓因此变得模糊。为保障航行安全和日常海面作业的顺利进行,必须通过图像处理技术消除海雾的干扰,从而恢复海面场景的真实清晰度。
2、目前的图像去雾领域已经发展出多种处理方案。部分算法基于大气散射物理模型提取暗通道先验信息。这类方法能够有效估算全局大气光值和透射率,在处理常规均匀雾霾图像时可显著提升画面的整体对比度。同时,基础的深度学习去雾网络多采用标准的编码解码架构。它们通过多层卷积直接拟合输入图片与输出结果的映射关系。这种端到端的网络拓扑具备较高的前向推理速度,能够较好地满足常规图像处理系统的基础运算效能需求。
3、然而,真实海洋环境受海风气流与场景深度的物理影响,海雾的浓度分布往往具备明显的空间异质性。现有方案普遍采用全局统一的特征映射权重。面对这种非均匀遮挡时,低浓度的近景区域容易被网络过度补偿,导致局部色彩发黑失真。高浓度的远景目标则去雾不彻底。其次,常规编码解码网络在特征交互环节,直接对降采样与上采样特征进行线性通道拼接。编码端提取的浅层特征夹杂着原始的雾气干扰。解码端回传的特征已经是经过处理的深层语义。两者直接堆叠完全忽略了底层的数据分布差异。这种语义鸿沟在网络重构图像时容易引发数值冲突,进而产生不平滑的边缘伪影。此外,现有模型的优化过程极度依赖单一的像素级绝对误差计算。这种点对点的距离逼近逻辑天生倾向于生成平滑的输出图像。海浪波纹和细小轮廓等高频空间纹理很容易被网络抹平。由于缺乏对频域能量分布的显式约束,重构出的去雾画面经常丢失底层的物理结构,严重缺乏视觉保真度。
技术实现思路
1、针对现有技术的不足,本发明提供了一种基于异质感知注意力机制与自适应语义对齐器的非均匀海雾去除方法,解决了现有技术在处理空间异质性海雾时,受全局统一映射限制导致近景过度补偿与远景去雾不彻底,以及特征直接线性拼接与单一像素损失引发的边缘伪影和高频纹理丢失的问题。
2、为实现以上目的,本发明通过以下技术方案予以实现:一种基于异质感知注意力机制与自适应语义对齐器的非均匀海雾去除方法,包括以下步骤:
3、获取待处理的含雾海面图像集与对应的真实清晰图像集,对所述含雾海面图像进行随机空间增强与像素归一化预处理后,将预处理后的所述含雾海面图像投影至特征空间生成浅层特征张量;
4、对所述浅层特征张量进行多级编码降采样处理得到降采样特征,利用异质感知注意力机制分别计算所述降采样特征在通道维度与空间维度的权重分布信息,根据所述权重分布信息对所述降采样特征进行自适应调制输出编码特征;
5、获取上一解码阶段经上采样处理后得到的深层特征,利用自适应语义对齐器将所述编码特征与所述深层特征进行拼接,对拼接后的特征执行非线性映射与分布对齐处理,以主动弥合编码器与解码器之间的语义鸿沟,生成融合特征张量;
6、对所述融合特征张量进行多级解码上采样与精修映射生成残差图像,将所述残差图像与所述含雾海面图像进行像素级相加运算生成网络预测去雾图像;
7、根据所述网络预测去雾图像与对应的所述真实清晰图像,依据混合感知损失函数计算出的误差值,利用链式法则进行反向传播,计算误差对网络中各层神经元参数的梯度;利用adamw优化器根据所述梯度微调网络权重,并结合余弦退火策略动态调整学习率。
8、优选的,所述将预处理后的所述含雾海面图像投影至特征空间生成浅层特征张量包括:
9、将所述含雾海面图像的像素值从常规物理区间归一化至浮点区间得到归一化图像;
10、对所述归一化图像执行卷积映射操作提取空间几何特征;
11、在保持所述含雾海面图像空间分辨率不变的条件下拓展特征维度,生成包含初级纹理与色彩分布信息的所述浅层特征张量。
12、优选的,所述利用异质感知注意力机制分别计算所述降采样特征在通道维度与空间维度的权重分布信息,根据所述权重分布信息对所述降采样特征进行自适应调制输出编码特征包括:
13、对所述降采样特征沿空间维度执行全局平均池化操作提取全局统计特征,将所述全局统计特征输入至由两层1×1卷积层等效构成的通道映射网络与激活函数中生成通道注意力权重矩阵;
14、利用所述通道注意力权重矩阵对所述降采样特征进行通道维度的校准操作输出通道调制特征;
15、对所述通道调制特征沿通道维度分别执行平均池化操作与最大池化操作生成两组二维图,将所述两组二维图在通道维度上进行拼接操作,通过卷积运算与非线性激活函数处理生成空间注意力掩码;
16、将所述通道调制特征与所述空间注意力掩码进行逐元素相乘操作,并输入至卷积层中处理输出所述编码特征。
17、优选的,所述获取上一解码阶段经上采样处理后得到的深层特征,利用自适应语义对齐器将所述编码特征与所述深层特征进行拼接,对拼接后的特征执行非线性映射与分布对齐处理,生成融合特征张量包括:
18、将所述编码特征与所述深层特征对齐至相同的空间分辨率;
19、将对齐后的所述编码特征与所述深层特征在通道维度上进行拼接操作生成联合特征张量;
20、将所述联合特征张量馈入二维卷积层中进行局部上下文信息的特征交互,并引入高斯误差线性单元激活函数进行非线性映射处理得到映射特征;
21、将所述映射特征输入至降维卷积层中进行通道压缩融合操作生成所述融合特征张量。
22、优选的,所述对所述融合特征张量进行多级解码上采样与精修映射生成残差图像,将所述残差图像与所述含雾海面图像进行像素级相加运算生成网络预测去雾图像包括:
23、利用包含亚像素卷积操作的上采样模块对所述融合特征张量进行处理以扩大空间分辨率并缩减通道维度,生成解码阶段特征;
24、利用包含了异质感知注意力机制的特征精修块对所述解码阶段特征进行边界平滑与伪影抑制处理得到精修增强特征张量;
25、利用降维卷积层将所述精修增强特征张量的维度从高维特征空间反向投影回三通道的图像色彩空间生成所述残差图像;
26、将所述残差图像与所述含雾海面图像在像素级别进行逐元素的加法运算生成所述网络预测去雾图像;在训练阶段,所述网络预测去雾图像直接输入混合感知损失函数以计算误差;在验证、测试、可视化或实际部署输出阶段,采用数值截断函数将所述网络预测去雾图像的像素浮点值约束在[0,1]的标准图像有效物理区间内。
27、优选的,所述根据所述网络预测去雾图像与对应的所述真实清晰图像,依据混合感知损失函数计算出的误差值包括:
28、计算所述网络预测去雾图像与对应的所述真实清晰图像在三通道色彩空间中的像素级绝对误差生成所述像素重构损失;
29、计算所述网络预测去雾图像与所述真实清晰图像的结构相似度测度函数值生成所述结构相似性损失;
30、对所述网络预测去雾图像与所述真实清晰图像分别执行二维快速傅里叶变换提取频域特征分量,计算所述频域特征分量之间的绝对距离生成所述频域损失;
31、将所述网络预测去雾图像与所述真实清晰图像分别输入至预训练的图像分类网络中提取深层特征图,计算所述深层特征图之间的均方误差生成所述感知损失;
32、为所述像素重构损失、结构相似性损失、频域损失以及感知损失配置权重超参数,进行加权计算生成所述混合感知损失,根据计算出的误差值,利用链式法则进行反向传播,计算误差对网络中各层神经元参数的梯度,采用adamw优化算法并结合余弦退火学习率衰减策略更新网络权重。
33、优选的,所述利用包含亚像素卷积操作的上采样模块对所述融合特征张量进行处理以扩大空间分辨率并缩减通道维度,生成解码阶段特征包括:
34、将所述融合特征张量输入至异质感知注意力机制中进行通道维度的权重调制与空间维度的权重调制,生成特征调制张量;
35、利用通道降维卷积结合亚像素卷积操作对所述特征调制张量进行逆向推导运算,扩大所述特征调制张量的空间分辨率并在通道尺度上逐级压缩,生成所述解码阶段特征。
36、优选的,所述将所述网络预测去雾图像与所述真实清晰图像分别输入至预训练的图像分类网络中提取深层特征图,计算所述深层特征图之间的均方误差生成所述感知损失包括:
37、将所述网络预测去雾图像与所述真实清晰图像输入至预训练完毕的vgg-16图像分类网络中;
38、选取所述vgg-16图像分类网络的特定深层特征激活层,提取预训练完毕的vgg-16图像分类网络在所述特征激活层输出的深层特征张量;
39、计算所述网络预测去雾图像与所述真实清晰图像在选定的所述特征激活层对应的深层特征张量之间的均方误差,以此生成所述感知损失。
40、优选的,所述对所述网络预测去雾图像与所述真实清晰图像分别执行二维快速傅里叶变换提取频域特征分量,计算所述频域特征分量之间的绝对距离生成所述频域损失包括:
41、对所述网络预测去雾图像与所述真实清晰图像在空间域执行二维快速傅里叶变换操作生成包含实部与虚部的复数域张量;
42、分离所述复数域张量的实部与虚部特征,在张量的末端特征维度上进行堆叠以构建包含完整实部与虚部信息的频域特征张量;
43、计算所述网络预测去雾图像的频域特征张量与所述真实清晰图像的频域特征张量在频域空间中的第一范数距离生成所述频域损失。
44、优选的,所述将所述联合特征张量馈入二维卷积层中进行局部上下文信息的特征交互,并引入高斯误差线性单元激活函数进行非线性映射处理得到映射特征包括:
45、将所述联合特征张量馈入二维卷积层中捕获局部上下文信息并进行跨通道初步融合;
46、采用高斯误差线性单元激活函数的正态分布累积概率机制平稳限制所述联合特征张量中的异常激活值,以对齐所述联合特征张量在高维特征空间中的数据分布;
47、在高维特征空间中动态调整所述联合特征张量中来源于所述编码特征的模糊特征与来源于所述深层特征的清晰特征的分布形态,生成所述映射特征。
48、本发明提供了一种基于异质感知注意力机制与自适应语义对齐器的非均匀海雾去除方法。具备以下有益效果:
49、1、本发明采用在网络计算层级中嵌入异质感知注意力机制的技术方案,通过计算特征通道与空间的二维权重分布对输入特征进行联合调制,达到了对局部浓雾区域精准定位与自适应增强特征响应的技术效果。相较于现有技术中采用全局统一去雾权重的常规映射技术方案,本发明解决了传统模型处理空间异质性海雾时,近景容易发暗且远景遮挡去除不彻底的不足。
50、2、本发明采用带有高斯误差线性单元的自适应语义对齐器处理特征交互的技术方案,将降采样输出的模糊特征与上采样的清晰特征进行局部上下文卷积和非线性映射,达到了在共享的高维空间中完成数据分布对齐的技术效果。相较于现有技术中直接执行线性通道堆叠的常规层级拼接技术方案,本发明解决了编码端与解码端特征因语义鸿沟直接融合,引发的去雾图像重构断层与边缘伪影不足。
51、3、本发明采用联合像素、结构、频域与深层感知空间的混合感知损失函数指导网络优化的技术方案,专门提取快速傅里叶变换的频域特征分量约束高频能量,并结合分类网络的特征误差维持语义保真度,达到了同步恢复图像锐利边缘与底层物理结构的技术效果。相较于现有技术中仅依赖单一像素级绝对误差计算的单目标优化技术方案,本发明解决了常规网络容易导致重构图像过度平滑以及海面波纹等高频纹理严重丢失的不足。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com