一种多天气下天气-区域退化协同引导红外图像恢复方法
本发明属于红外图像处理,具体涉及一种多天气下天气-区域退化协同引导红外图像恢复方法。
背景技术:
1、热红外成像依托目标自身热辐射成像,可适配夜间、低照度、逆光等复杂光线场景,成像稳定性强,广泛应用于自动驾驶、遥感监测、无人机巡检、安防监控等视觉感知领域。但户外雨、雾、雪及云层遮挡等天气干扰,会造成红外图像热对比度下降、目标边界模糊、局部遮挡、结构非均匀失真等退化问题,显著降低后续目标检测、分割、识别任务的精度,制约了红外成像系统在多天气复杂场景的实用性能。现有图像恢复技术多针对去雾、去雨、去雪等单一天气退化单独设计,传统先验方法与单一深度模型仅能适配预设天气场景,需针对不同退化搭建独立模型,通用性差、模型冗余度高、部署成本高,无法以统一模型处理多种天气退化,难以满足实际复杂户外场景的修复需求。为解决单一模型适配性不足的问题,现有一体化图像恢复技术通过共享主干网络、天气嵌入、提示向量、混合专家等结构,实现多退化统一修复。目前相近现有技术主要分为两类:一是面向可见光的多天气一体化恢复方法,依靠全局退化类型识别匹配修复策略;二是传统红外图像增强方法,主要处理噪声、模糊、低对比度等固有缺陷,仅少量研究针对单一天气红外图像修复,且两类方法均存在明显局限。
2、然而,现有技术普遍采用全图均质化修复策略,仅依托全局天气类别调控修复过程,未对不同天气的退化机理差异、图像内部空间非均匀退化程度进行层次化精细化建模,无法适配多天气红外图像的差异化退化特征,具体技术缺陷如下:
3、第一,天气退化与红外热结构高度耦合,修复易失真。红外图像弱目标轮廓、低对比热响应与天气干扰特征相近,现有技术无法精准区分有效热目标与退化噪声,易误压制真实弱目标特征,造成目标边缘断裂、热强度失真、细节过度平滑,丢失关键感知信息。
4、第二,缺乏天气类型与区域退化程度协同调控机制,修复均衡性差。现有方法仅依靠全局天气标签和统一修复参数,无法区分不同天气的退化差异,也不能适配单帧图像内轻重不一的区域退化,易出现轻度区域过修复、重度区域修复残留的问题,修复鲁棒性不足。
5、第三,区域退化监督与专家路由机制稳定性不足。现有一体化模型依赖隐式特征学习完成退化判别与专家选择,缺乏显式的区域退化程度监督,标注成本高、训练难度大,易产生跨天气负迁移、专家调用失衡等问题,导致模型泛化性与多场景修复稳定性较差。
6、因此,亟需一种能够针对同一图像内不同退化区域自适应分配恢复能力,减少过恢复和欠恢复的红外图像恢复方法,以解决上述技术问题。
技术实现思路
1、本发明提供以下技术方案:一种多天气下天气-区域退化协同引导红外图像恢复方法,包括以下步骤:
2、步骤1、获取含有雨、雾、雪、云遮挡中的至少一种天气退化的待恢复红外图像,将待恢复红外图像输入编码器得到多尺度编码特征和瓶颈特征,对待恢复红外图像缩放得到任务级视图。
3、步骤2、将任务级视图与其高频响应进行拼接后输入天气语义编码器,获得天气类型逻辑量和全局天气语义先验,全局天气语义先验用于限定提示选择和天气专属专家池选择。
4、步骤3、在解码器的各阶段,基于当前阶段局部恢复特征生成局部提示先验,结合所述全局天气语义先验计算天气条件化提示分布,从对应阶段的提示库中稀疏选择阶段自适应提示并与当前阶段特征融合,得到提示调制特征;深层提示调控全局恢复方向,中层提示优化热对比度与主体结构,浅层提示细化边缘纹理。
5、步骤4、在训练阶段,基于空间对齐的退化红外图像与清晰红外图像构建区域退化程度代理标签;所述代理标签由区域残差幅值和残差梯度统计共同确定,并按天气类型执行条件归一化,以消除不同天气类别之间的统计偏移。
6、步骤5、基于编码器瓶颈特征的全局语义信息和高频退化信息,结合全局天气语义先验预测区域退化程度分数,利用代理标签对预测结果进行监督,使模型在无需人工区域退化程度标注的情况下学习空间非均匀退化分布。
7、步骤6、在每一解码阶段执行多源协同专家选择:通过共享恢复分支提取跨天气通用热结构,通过天气语义先验从多个天气专属专家池中选择目标专家池,再根据区域退化程度从所述目标专家池的多个复杂度等级专家中选择与当前区域退化程度匹配的专家。
8、步骤7、将提示调制特征、共享恢复特征和专家恢复特征融合,并通过前馈增强模块逐级生成下一解码阶段特征,最终输出恢复后的红外图像。
9、步骤8、采用分阶段训练策略:第一阶段训练天气语义、阶段提示及基础恢复网络;第二阶段引入退化程度估计、类型-程度层次路由、程度一致性和专家均衡约束,以获得稳定且区域自适应的多天气红外图像恢复模型。
10、优选的,所述步骤1中,任务级视图通过双线性插值由待恢复红外图像获得。
11、优选的,所述步骤2中,高频响应通过拉普拉斯卷积核对任务级视图进行卷积操作获得,拼接表达式为:
12、
13、其中,为任务级视图,表示拉普拉斯卷积核,*表示卷积操作。
14、优选的,所述步骤3中,生成天气条件化提示分布的过程为:对解码阶段特征全局平均池化得到阶段局部提示先验,拼接全局天气语义先验后通过多层感知机生成缩放因子校准提示选择逻辑量,采用top-1稀疏策略选取单条阶段自适应提示,并经transformer模块与1×1卷积完成特征融合。
15、优选的,所述步骤4中,区域退化代理标签构建方式为:对图像划分独立区域,计算退化区域与清晰真值区域残差幅值、水平梯度均值、垂直梯度均值,原始退化程度; 统计同类天气样本退化程度均值、标准差,经sigmoid归一化得到代理标签:; 其中为梯度权重,为归一化温度系数,为数值稳定常数。
16、优选的,所述步骤5中,退化表征的获取方式为:将瓶颈特征经全局平均池化获得语义表示,并经高通卷积、激活、池化和多层感知机获得频率嵌入,二者相加形成退化表征;将退化表征与天气语义先验拼接,输入退化程度预测头,输出区域退化程度预测值。
17、优选的,所述步骤6中,多源协同专家选择的具体过程包括:
18、天气语义先验在任务层执行稀疏选择,确定天气专属专家池;
19、为每个天气专家池内的每个复杂度等级专家设置退化程度中心;
20、根据区域退化程度与各专家退化程度中心的匹配偏置,结合阶段特征和频率嵌入,得到专家路由逻辑量,经温度缩放和稀疏选择获得复杂度路由权重;
21、由任务级权重与退化程度级权重形成二维门控,控制专家分支的输出。
22、更优的,不同复杂度等级的专家通过卷积核尺寸、残差堆叠深度及参数规模形成由轻到重的恢复能力梯度。
23、优选的,所述步骤8中,两阶段训练损失函数设置如下:
24、第一阶段总损失为:
25、
26、其中为像素重建损失;为天气类别交叉熵;为对比提示恢复损失,、分别为权重系数。
27、第二阶段总损失为:
28、
29、其中,为退化程度监督损失、为退化一致性损失、为专家均衡损失,、、分别为权重系数。
30、优选的,编码器-解码器主网络、天气语义编码器、退化程度预测头、多级提示生成模块、多等级专家池共同构成红外图像恢复网络;所述网络可同时处理雨、雾、雪、云层遮挡四类天气退化,输出恢复红外图像用于目标检测、分割、识别视觉任务。
31、本发明的有益效果是:
32、1.本发明构建了以天气类型确定恢复方向、区域退化程度确定恢复强度的层次化控制机制,能够依据单帧图像内部不同区域的退化差异自适应分配模型恢复能力,对不同退化区域实施差异化修复,有效缓解图像过恢复、欠恢复问题,提升多天气场景下红外图像整体修复均衡性。
33、2.本发明融合天气语义、阶段局部状态与多级提示信息,能够在网络不同解码深度分别对修复全局方向、图像热对比度以及目标细节边缘进行分层调节,有效缓解天气退化干扰与红外真实热结构之间的特征耦合问题,降低将有效目标特征误判为噪声被抑制的风险,更好保留红外图像真实目标轮廓与热辐射细节。
34、3.本发明基于配对区域的残差幅值与梯度统计构建天气条件化代理标签,无需大量人工标注,结合共享分支、天气专家池以及退化程度等级专家协同工作,以较低标注成本保障模型专家路由逻辑稳定,抑制跨天气负迁移、专家调用失衡现象,在复杂多天气退化场景下仍可获得优异的红外图像恢复质量。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com