一种基于迭代框架的红外可见光透雾检测方法及装置

摘要: 本发明涉及雾天图像检测,特别是涉及一种基于迭代框架的红外可见光透雾检测方法及装置。背景技术:1、目标检测作为高层视觉任务,已广泛服务于室内机器人感知、自动驾驶与...
一种基于迭代框架的红外可见光透雾检测方法及装置

本发明涉及雾天图像检测,特别是涉及一种基于迭代框架的红外可见光透雾检测方法及装置。

背景技术:

1、目标检测作为高层视觉任务,已广泛服务于室内机器人感知、自动驾驶与安防监控等场景。但在雾等恶劣天气下,可见光图像严重退化,单模态检测鲁棒性不足;同时真实有雾无雾配对数据难以采集,标注可靠性下降且数据规模与计算代价高。红外成像能穿透雾气、补充热辐射信息,多模态融合逐渐成为提升雾天感知能力的关键方向,迫切需要与检测任务深度耦合的融合策略与可用数据支撑。

2、在雾天条件目标检测中,现有做法多依赖可见光图像去雾预处理、直接在雾图上训练检测器或简单的可见光—红外融合。去雾方法基于对比度、暗通道等先验,一旦真实光照与雾分布不符即失效,且像素重建最优并不等于检测最优;仅用可见光端到端训练需海量雾域标注,真实雾天/无雾配对难得、合成雾与真实域存差异,泛化与成本不理想;简单融合未显式利用“红外保轮廓、可见光保纹理”的互补且缺少任务约束,易引入伪影或细节流失。上述局限源于单模态信息不足、目标错配与解耦优化,最终削弱了雾天目标检测的鲁棒性与工程可用性。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高雾天目标检测精度和稳定性的一种基于迭代框架的红外可见光透雾检测方法及装置。

2、一种基于迭代框架的红外可见光透雾检测方法,所述方法包括:

3、对红外与可见光输入分别经卷积与通道-空间注意块进行细化,得到初始增强特征。

4、二次增强初始增强特征后,通过解码端进行逐级上采样并与对应编码层跳连融合,得到待检测表征。

5、对每一尺度的结构对计算不一致权重图,根据权重图与红外结构图进行调制,得到多尺度表征。

6、在各尺度将多尺度表征加和至对应可见光特征,得到目标融合图。

7、根据目标融合图与待检测表征采用迭代及两阶段训练,将检测目标反馈到融合学习中,得到目标去雾图像。

8、一种基于迭代框架的红外可见光透雾检测装置,所述装置包括:

9、初始增强模块,用于对红外与可见光输入分别经卷积与通道-空间注意块进行细化,得到初始增强特征。

10、二次增强模块,用于二次增强初始增强特征后,通过解码端进行逐级上采样并与对应编码层跳连融合,得到待检测表征。

11、多尺度表征获取模块,用于对每一尺度的结构对计算不一致权重图,根据权重图与红外结构图进行调制,得到多尺度表征。

12、融合图获取模块,用于在各尺度将多尺度表征加和至对应可见光特征,得到目标融合图。

13、融合检测模块,用于根据目标融合图与待检测表征采用迭代及两阶段训练,将检测目标反馈到融合学习中,得到目标去雾图像。

14、上述一种基于迭代框架的红外可见光透雾检测方法及装置,针对传统去雾方法依赖对比度、暗通道等先验,易因真实光照与雾分布不符失效,且像素重建最优不等于检测最优的问题,首先未采用预处理去雾思路,而是直接将红外与可见光图像作为双模态输入,经卷积与通道-空间注意块细化特征,借助通道交换增强模块实现跨模态选择性通道交换,既抑制可见光雾噪声,又引入红外稳健响应,避免了单一去雾策略的场景局限性。然后,针对仅用可见光端到端训练需海量雾域标注、真实配对数据难得、泛化与成本不佳的问题,以双模态融合为基础,通过迭代与两阶段训练将检测目标反馈至融合学习,无需依赖大规模雾天/无雾配对数据,利用红外穿透雾气的特性补充热辐射信息,降低了数据采集与标注成本,同时缓解了合成雾与真实域的差异问题。进而,针对简单融合未显式利用红外保轮廓、可见光保纹理地互补性、缺少任务约束导致伪影或细节流失的问题,设计不一致引导的多尺度融合策略,通过计算各尺度结构对的不一致权重图,自适应调节两模态贡献,在雾致低对比区域强化红外轮廓,在纹理丰富区域保留可见光细节,同时以检测损失与融合损失联合优化,实现低层增强与高层检测目标对齐,解决了单模态信息不足、目标错配与解耦优化的核心局限。最后,通过特征细化增强、多尺度融合、检测引导迭代训练的一体化设计,有效提升了不同雾浓度与光照条件下目标检测的鲁棒性与工程可用性,最终达成雾天目标检测精度与稳定性同步提升的技术效果。

1.一种基于迭代框架的红外可见光透雾检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,对红外与可见光输入分别经卷积与通道-空间注意块进行细化,得到初始增强特征,包括:

3.根据权利要求1所述的方法,其特征在于,二次增强所述初始增强特征后,通过解码端进行逐级上采样并与对应编码层跳连融合,得到待检测表征,包括:

4.根据权利要求1至3任意一项所述的方法,其特征在于,对每一尺度的结构对计算不一致权重图,根据所述权重图与红外结构图进行调制,得到多尺度表征,包括:

5.根据权利要求4所述的方法,其特征在于,在各尺度将所述多尺度表征加和至对应可见光特征,得到目标融合图,包括:

6.根据权利要求5所述的方法,其特征在于,训练的总损失函数为:

7.根据权利要求6所述的方法,其特征在于,根据所述目标融合图与所述待检测表征采用迭代及两阶段训练,将检测目标反馈到融合学习中,得到目标去雾图像,包括:

8.一种基于迭代框架的红外可见光透雾检测装置,其特征在于,所述装置包括: