一种面向低可见度场景的退化感知门控融合目标检测方法
本技术涉及目标检测,具体而言,涉及一种面向低可见度场景的退化感知门控融合目标检测方法。
背景技术:
1、近年来,基于深度学习的目标检测算法在清晰、光照充足的理想环境下已取得显著进展。然而,在雾霾、雨雪、夜间和低照度等复杂环境中,图像容易受到空气散射、光照不足、噪声干扰和成像模糊等因素影响,导致目标区域出现对比度降低、边缘模糊、纹理细节弱化和局部响应不稳定等问题。上述退化现象会削弱检测模型对目标轮廓、类别特征和边界位置的表征能力,进而造成漏检、误检和定位偏差,尤其对小目标、远距离目标和弱可见目标影响更加明显。
2、针对恶劣天气和低照度场景下的目标检测问题,现有改进方案主要分为以下几类。第一类:是基于图像增强或复原的预处理方法。这类方法通过去雾、去雨或低照度增强算法改善输入图像质量,再将增强后的图像输入目标检测网络以提升检测性能。例如,采用去噪扩散模型对原始图像进行去噪和光照恢复,或通过频域处理模块提取全局信息以实现低照度图像增强。然而,上述方法存在两方面不足:一是图像增强过程通常引入额外计算开销,影响检测实时性;二是增强结果主要面向视觉质量优化,并不一定能够保留对目标检测最有利的结构信息和纹理特征,增强后的特征图与检测网络之间存在特征分布偏差,限制了检测性能的提升空间。第二类:是基于域自适应或域泛化的方法。这类方法通过缩小正常天气图像与退化图像之间的特征分布差异,使在正常光照条件下训练的目标检测模型能够泛化至恶劣天气场景。典型技术方案包括通过图像翻译网络将退化图像转换为正常图像后进行检测,或采用对抗训练策略对齐源域与目标域的特征分布。然而,上述方法的训练过程通常依赖目标域数据采集、伪标签生成或复杂的对抗对齐机制,实际部署时的灵活性和泛化能力受到限制,且在多类型退化混合场景下的适应性较差。第三类:是基于多模态传感器融合的方法。这类方法利用红外、雷达或激光雷达等传感器信息弥补可见光图像在恶劣天气条件下的信息不足。然而,多模态融合方法需要额外传感器设备支持,系统成本和标定复杂度较高,难以在现有单目视觉系统中直接部署,限制了其在自动驾驶和智能交通等实际应用场景中的推广。
3、此外,现有目标检测网络中的多尺度特征融合方式大多采用固定路径或简单拼接,难以根据当前输入图像的退化类型和退化程度动态调整不同尺度特征的重要性。在低照度和恶劣天气条件下,浅层特征虽然包含较多边缘和纹理信息,但容易受到噪声、模糊和低对比度背景的干扰;深层特征虽然具有较强语义表达能力,但空间分辨率较低,对小目标和远距离目标的细节保留不足。若直接采用固定方式融合不同尺度特征,难以适应不同退化场景下特征可靠性的动态变化。
4、需要一种面向低可见度场景的退化感知门控融合目标检测方法,以解决现有技术中对输入图像退化状态感知不足、目标结构与细节信息增强能力有限以及多尺度特征融合方式固定导致检测精度下降的问题。
技术实现思路
1、本技术的目的在于提供一种面向低可见度场景的退化感知门控融合目标检测方法,能够解决上述提到的至少一个技术问题。具体方案如下:
2、根据本技术的具体实施方式,本技术提供一种面向低可见度场景的退化感知门控融合目标检测方法,包括以下步骤:
3、获取输入退化图像,对所述输入退化图像进行拉普拉斯金字塔分解,得到低频结构分量和高频细节分量;
4、对所述低频结构分量进行多尺度结构特征增强,得到低频增强特征;
5、根据所述低频增强特征提取退化区域和目标区域对应的注意力信息,生成退化注意力引导特征;
6、根据所述退化注意力引导特征对所述高频细节分量进行选择性调制,得到高频增强特征;
7、将所述低频增强特征和所述高频增强特征进行拉普拉斯金字塔融合,得到退化感知增强特征,根据所述退化感知增强特征生成退化上下文向量;
8、将所述退化感知增强特征输入主干网络进行多尺度特征提取,获取多个尺度特征,将各尺度特征对应的尺度响应信息分别与所述退化上下文向量进行融合,生成各尺度特征对应的退化感知门控权重;
9、利用各尺度特征对应的所述退化感知门控权重对各尺度特征分别进行残差式重标定,将重标定后的各尺度特征进行相互融合,并根据融合后的检测特征输出目标检测结果。
10、进一步地,所述得到低频增强特征的方法,包括以下步骤:
11、将所述低频结构分量进行特征映射和通道扩展,得到初始低频特征;
12、将所述初始低频特征划分为多个特征分支,各个特征分支分别输入不同膨胀率的空洞卷积,以获取不同感受范围对应的结构特征;
13、将各个特征分支输出进行特征拼接后恢复通道数,得到包含多尺度上下文信息的低频增强特征。
14、进一步地,所述生成退化注意力引导特征的方法,包括以下步骤:
15、对所述低频增强特征进行上采样处理,使上采样后的低频增强特征与所述高频细节分量具有相同空间尺寸;
16、根据所述上采样后的低频增强特征生成通道注意力权重和空间注意力权重;
17、利用所述通道注意力权重和所述空间注意力权重对所述上采样后的低频增强特征进行特征选择,生成所述退化注意力引导特征。
18、进一步地,得到高频增强特征的方法,包括以下步骤:
19、将所述高频细节分量进行特征映射,得到高频映射特征;
20、对所述退化注意力引导特征进行特征映射,并根据映射后的退化注意力引导特征生成退化引导权重;
21、利用所述退化引导权重对所述高频映射特征进行调制,根据调制后的高频特征与调制前的高频映射特征进行残差融合,得到所述高频增强特征。
22、进一步地,所述生成退化上下文向量的方法,包括以下步骤:
23、将所述低频增强特征进行上采样,将上采样后的低频增强特征与所述高频增强特征进行拉普拉斯金字塔融合重构,得到所述退化感知增强特征;
24、对所述退化感知增强特征进行卷积映射,通过全局平均池化提取图像级退化特征,得到全局退化描述向量;
25、计算所述全局退化描述向量与预设的多个可学习退化原型之间的匹配关系,得到各所述可学习退化原型对应的原型匹配权重;
26、根据各所述原型匹配权重对对应的所述可学习退化原型进行加权融合,生成所述退化上下文向量。
27、进一步地,所述根据各所述相似度确定各原型匹配权重的方法,包括以下步骤:
28、计算所述全局退化描述向量与各所述可学习退化原型之间的点积,将各所述点积分别除以温度系数后取指数,经归一化得到各所述可学习退化原型对应的原型匹配权重。
29、进一步地,所述生成各尺度特征对应的退化感知门控权重的方法,包括以下步骤:
30、分别对各尺度特征进行特征压缩和全局信息提取,得到各尺度特征对应的尺度响应描述;
31、将各所述尺度响应信息与所述退化上下文向量进行融合,根据融合结果确定对应尺度特征的重要程度;
32、根据所述重要程度生成各尺度特征对应的退化感知门控权重。
33、进一步地,所述残差式重标定的方法,包括以下步骤:
34、将各尺度特征与对应尺度的所述退化感知门控权重调制后的尺度特征进行残差融合;
35、通过所述残差融合保留原尺度特征信息,并增强符合当前退化状态的尺度特征响应,得到重标定后的各尺度特征。
36、进一步地,所述预设的多个可学习退化原型在训练过程中,通过提取不同退化图像各自对应的全局退化描述向量,根据各所述全局退化描述向量与各所述可学习退化原型之间的匹配结果对所述可学习退化原型的参数进行自适应更新,使各所述可学习退化原型用于表征不同退化状态下所述输入退化图像对应的退化特征分布。
37、进一步地,所述根据融合后的检测特征输出目标检测结果的方法,包括以下步骤:
38、将重标定后的各尺度特征输入特征融合网络进行多尺度特征融合,得到融合检测特征;
39、根据所述融合检测特征进行目标类别预测和边界框位置回归,输出对应的目标检测结果。
40、本技术实施例的上述方案与现有技术相比,至少具有以下有益效果:
41、1、本技术公开了一种面向低可见度场景的退化感知门控融合目标检测方法,通过对输入退化图像进行拉普拉斯金字塔分解,将图像分离为低频结构分量和高频细节分量,使网络能够针对不同频率分量执行差异化增强,避免在增强过程中出现结构模糊或噪声放大的问题,有效缓解低可见度条件下目标轮廓模糊和纹理细节弱化的问题,使输入主干网络的特征更加鲁棒。
42、2、本技术公开了一种面向低可见度场景的退化感知门控融合目标检测方法,通过根据退化感知增强特征提取全局退化描述向量,并将全局退化描述向量与预设的多个可学习退化原型进行匹配,生成用于表征当前输入图像退化状态的退化上下文向量,使网络能够显式感知当前图像的退化类型和退化强度,为后续多尺度特征调制提供退化先验信息,克服了现有技术中模型难以根据退化状态自适应调整特征提取和融合策略的缺陷。
43、3、本技术公开了一种面向低可见度场景的退化感知门控融合目标检测方法,通过将各尺度特征对应的尺度响应信息分别与退化上下文向量进行融合,生成各尺度特征对应的退化感知门控权重,并利用退化感知门控权重对各尺度特征进行残差式重标定,使网络能够根据当前图像的退化状态和不同尺度特征自身的可靠性,自适应增强可靠尺度特征并抑制由噪声、模糊和低对比度引起的无效响应,解决了现有技术中多尺度特征融合方式固定、难以适应退化场景中特征可靠性变化的问题,在保持一阶段检测框架推理效率的同时提升了恶劣天气和低照度场景下的目标检测精度与鲁棒性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com