一种红外与可见光跨尺度语义交互目标检测方法

摘要: 本发明涉及计算机视觉与多模态图像处理,具体涉及一种红外与可见光跨尺度语义交互目标检测方法。背景技术:1、在自动驾驶和智能安防等安全攸关的领域中,环境感知系统的可...
一种红外与可见光跨尺度语义交互目标检测方法

本发明涉及计算机视觉与多模态图像处理,具体涉及一种红外与可见光跨尺度语义交互目标检测方法。

背景技术:

1、在自动驾驶和智能安防等安全攸关的领域中,环境感知系统的可靠性是实现安全运行的基石。传统的目标检测算法主要依赖可见光摄像头这一单一模态。然而在夜间、强光眩光、雨雾等恶劣成像条件下,可见光图像信噪比极低,极易引发漏检和误检。红外成像通过捕捉热辐射,不受光照条件影响,能有效弥补可见光传感器的失效场景。现有红外与可见光融合(rgb-ir)方法仍存在不容忽视的局限:

2、1.现有融合策略在应对极端模态冲突时表现出显著的脆弱性。多数方法高度依赖拼接、相加等浅层线性操作,缺乏智能的“非线性通道仲裁”能力。当出现浓烟遮挡或强光致盲时,高噪模态的负面信号会渗入网络,导致检测性能断崖式下降。

3、2.在跨模态特征交互与提取方面,现有方法往往忽视了特征编码初期的模态异构性,导致纹理信息与热辐射信息过早发生同质化混合,高保真模态特异性信息严重丢失。

4、3.多尺度特征优化中存在“语义稀释”与“信息隔离”。常规的高低层特征上采样与级联缺乏深度二次提纯与增强,导致高维语义特征难以与低层空间细节精确对齐,引发微小目标的严重漏检。

技术实现思路

1、本发明的目的在于提供一种红外与可见光跨尺度语义交互目标检测方法,旨在解决传统的目标检测方法在低照度与强干扰环境下检测性能低与检测精度不足的技术问题。

2、为实现上述目的,本发明提供了一种红外与可见光跨尺度语义交互目标检测方法,包括下列步骤:

3、步骤1:获取配准的可见光图像与红外图像,构建双模态输入数据;

4、步骤2:利用双流多尺度并行提取模块对输入数据进行特征提取,在浅层阶段对双模态信息进行独立编码保留特异性信息,在深层阶段进行跨模态多尺度信息交互;

5、步骤3:利用残差通道交互模块处理深层交互特征,通过动态非线性仲裁机制抑制环境特定的光热伪影干扰,并提取和放大双模态的互补特征;

6、步骤4:利用跨尺度语义交互融合架构处理多尺度特征图,建立跨尺度的信息通信链路,利用高层语义特征指导低层细节特征的表达;

7、步骤5:将经过跨尺度语义交互融合后的多尺度特征送入rt-detr解码器与检测头,输出目标的类别和精准的边界框预测结果。

8、可选的,在步骤2的执行过程中,首先将6通道的双模态输入解耦为两个独立的3通道数据流,类型分为可见光图像与红外图像;随后将数据流分别送入两个结构相同但权重参数独立的特征提取分支,在编码初期强制保留可见光图像的高频视觉细节与红外图像的低频抗干扰特性;最后在骨干网络的深层阶段,通过跨模态多尺度机制,在多个抽象语义层级上对可见光与红外特征进行深度的信息交互与对齐整合。

9、可选的,步骤3中所述残差通道交互模块的处理过程,包括下列步骤:

10、利用分组卷积机制在交互初中期将可见光与红外特征流强制隔离,在各自的通道组内进行流内提纯与增强;

11、构建多层级的残差连接网络,逐步扩大感受野;

12、嵌入全局通道注意力机制,对提纯后的特征进行跨通道的重要性评估与动态加权,随后经由融合卷积层完成从独立增强到跨流协同融合的转换。

13、可选的,所述残差通道交互模块中的分组卷积,分组数设置为2,分别对应处理可见光通道特征组与红外通道特征组;所述流内提纯的过程采用大小为3×3的卷积核进行多轮次残差特征提取。

14、可选的,步骤4中所述跨尺度语义交互融合架构基于特征金字塔网络方式构建信息链路,实现自上而下的跨尺度语义注入,强化高层语义对浅层细节的指导。

15、可选的,所述跨尺度语义交互融合架构在进行语义注入时,采用重参数化结构对高层特征进行上采样与平滑处理,确保高层语义与底层空间细节在融合时的特征分布一致性,避免语义稀释。

16、本发明提供了一种红外与可见光跨尺度语义交互目标检测方法,首先获取配准的红外与可见光图像,通过双流多尺度并行提取模块将双模态输入显式解耦为两条独立的特征流,由浅入深进行独立编码提取后,在深层进行多尺度跨模态拼接与通道融合,实现模态特异性信息的高保真提取;随后,将融合特征送入残差通道交互模块,利用分组卷积与多层残差网络进行流内去噪,并结合全局通道注意力机制进行动态非线性仲裁,有效抑制光热伪影;最后,通过跨尺度语义交互融合架构,利用深度重参数化技术与自顶向下的上采样路径,将高层语义精准低损耗注入低分辨率特征中,打通尺度间的通信链路。本发明有效克服了复杂环境下的模态语义冲突与特征同质化问题,有效降低了小目标的漏检率,有效提升了自动驾驶与安防等场景下目标检测的鲁棒性与精度。

1.一种红外与可见光跨尺度语义交互目标检测方法,其特征在于,包括下列步骤:

2.如权利要求1所述的红外与可见光跨尺度语义交互目标检测方法,其特征在于,

3.如权利要求1所述的红外与可见光跨尺度语义交互目标检测方法,其特征在于,

4.如权利要求3所述的红外与可见光跨尺度语义交互目标检测方法,其特征在于,

5.如权利要求4所述的红外与可见光跨尺度语义交互目标检测方法,其特征在于,

6.如权利要求5所述的红外与可见光跨尺度语义交互目标检测方法,其特征在于,