一种基于细节增强的通道重校准雾天检测方法

本发明涉及无人驾驶车辆目标检测，特别是涉及一种基于细节增强的通道重校准雾天检测方法。

背景技术：

1、伴随着人工智能与传感器技术的蓬勃发展，无人驾驶技术正逐步从实验室迈向规模化商用。据counterpoint research报告分析，全球范围内高级驾驶辅助系统adas以及自动驾驶车辆的市场渗透率已突破65%，预计到2035年，相关技术普及率将跃升至94%，这标志着无人驾驶技术即将进入全面普及的新时代。然而，雾霾等复杂气象条件严重制约着该技术的发展与普及。

2、从光学原理层面深入剖析，雾气作为一种典型的气溶胶介质，其内部包含大量悬浮的微小水滴和冰晶，这导致入射光产生强烈的光散射效应，使得车载摄像头采集的图像对比度下降、色彩失真，严重制约目标检测精度，漏检与误检概率大大攀升。

3、更严峻的挑战在于无人驾驶系统对实时性的严苛要求。传统目标检测算法多采用人工特征提取方法，研究人员需凭借专业知识精心构造具有区分度的特征描述子，如方向梯度直方图（histogram of oriented gradient，hog）、局部二值模式（local binarypattern，lbp）。这类方法存在三大根本性局限：其一，特征设计高度依赖人工经验，难以覆盖复杂多变的实际场景；其二，手工特征对气象退化图像的鲁棒性不足，在雾霾场景下特征表达能力急剧衰减；其三，多步骤的特征提取与分类流程导致计算效率低下，难以满足车规级系统的毫秒级响应要求。因此，突破恶劣天气下的实时目标检测难题，已成为推动无人驾驶技术跨越式发展的核心突破口。

4、近年来，深度学习在计算机视觉领域实现突破性发展，基于深度学习的目标检测算法凭借卓越的性能优势，逐渐成为主流算法。目前，基于深度学习的目标检测算法主要分为两阶段检测和一阶段检测。两阶段目标检测，以区域卷积神经网络（region-basedconvolutional neural network，r-cnn）为代表，包括快速r-cnn（fast r-cnn）和更快速r-cnn（faster r-cnn）等。这类算法的核心思想是借助区域建议网络（region proposalnetwork，rpn）对输入图像生成粗略的候选区域，并在保证足够高的准确率和召回率前提下，使用全连接网络对每个建议框进行分类和边界框回归，以确定目标的具体类别和精确位置。尽管两阶段检测算法在检测精度方面表现出色，但候选区域的生成与处理引入了大量计算开销，导致算法的实时性受到一定限制。相比之下，一阶段目标检测算法，如“你只看一次”（you only look once，yolo）、单步骤多框检测器（single shot multiboxdetector，ssd）、视网膜网络（retinanet）等，更适用于需要快速检测的场景。一阶段检测可简化为一个统一的端到端过程，不需要额外生成候选区域，直接在输入图像上完成特征提取、目标分类、边界框预测等任务，从而实现对目标的快速定位和分类。这种简洁高效的网络模型在确保检测精度的同时，大大降低计算成本，提高了算法的运行速度，使其在需要快速响应的无人驾驶技术中具有显著优势。

5、为提高雾天场景下目标检测精度，张淑卿等改进第5代版本yolo（yolo version，yolov5），采用基于自注意力机制的bot3模块和轻量化混合注意力ham，增强模型对雾霾天气下行人车辆的捕捉。祝琴等提出时空特征融合模块sf-module并将其嵌入第8代版本yolo（yolo version，yolov8）的颈部，采用transformer模型中的多头自注意力机制加强特征提取与融合，选择wiou损失函数作为预测框回归损失，减少低质量标注框产生的有害梯度。潘宗友等在yolov8基础上引入轻量化动态上采样模块dysample增强模型的抗干扰能力，采用可扩张残差注意力模块dwr强化特征表达，选用轻量级共享卷积检测头lscd替换标准检测头，显著提升雾天检测的准确率和召回率。

6、由于不同实际应用场景下目标信息的多样性和复杂性，当前雾天检测算法仍然存在一些局限性，如在处理图像数据的背景纹理模糊、边缘轮廓等细节信息严重丢失问题，以及多尺度特征融合不充分等。因此需要在检测精度、检测效率和泛化能力方面对现阶段的目标检测算法进行改进和优化。

技术实现思路

1、针对雾天等模糊复杂场景下，无人驾驶技术在目标检测任务中面临的细节丢失、图像对比度下降、多尺度特征融合不充分等问题，以第11代版本yolo（yolo version，yolov11）为基础模型，提出了一种细节增强的通道重校准雾天检测方法dise-yolo，旨在弥补现阶段去雾算法存在的缺陷，进一步提高无人驾驶车辆在雾天检测的精度与速度，推动无人驾驶技术发展。

2、为实现上述目的，本发明提供了如下方案：

3、一种基于细节增强的通道重校准雾天检测方法，包括：

4、构建雾霾场景的图像数据集；其中，图像数据集中的标签包括：行人、公交车、小汽车、摩托车和自行车；

5、将所述图像数据集输入改进的yolov11神经网络模型，进行模型训练，获取雾天检测模型；其中，改进yolov11神经网络模型包括：在主干网络中用细节增强卷积模块代替主干网络backbone首层标准卷积，在颈部网络引入迭代注意力特征融合机制，在头部网络的各检测头detect前嵌入挤压激励模块；

6、无人驾驶车辆基于所述雾天检测模型，在雾天进行检测。

7、可选地，将所述图像数据集输入改进的yolov11神经网络模型包括：

8、将图像输入主干网络，经细节增强与多尺度特征提取处理，输出多尺度特征图；

9、将所述多尺度特征图输入颈部网络，经特征融合与增强处理，输出高质量的融合特征图；

10、将所述融合特征图输入检测头，经通道重校准和目标检测预测，输出雾天场景下的目标检测结果。

11、可选地，将图像输入主干网络包括：

12、图像进入主干网络中，通过细节增强卷积模块获取细节增强特征；

13、所述细节增强特征依次经过若干卷积模块、动态可配置模块，输出的多尺度语义特征进入快速空间金字塔池化层，生成具有多尺度感受野的特征表示；

14、所述具有多尺度感受野的特征表示进入通道并行空间注意力机制，获取所述多尺度特征图。

15、可选地，所述细节增强卷积模块采用五分支并行架构，包括1个普通卷积和4个差分卷积；

16、所述差分卷积包括：中心差分卷积、角度差分卷积、水平差分卷积和垂直差分卷积；

17、所述中心差分卷积和角度差分卷积重新排列学习到的核卷积，水平差分卷积和垂直差分卷积分别显示编码水平、垂直梯度先验，4个差分卷积学习有益的梯度信息来增强表示和泛化能力，5路特征相加融合得到最终输出。

18、可选地，将所述多尺度特征图输入颈部网络包括：

19、颈部网络接收所述多尺度特征图，通过上采样操作将高层语义特征图的尺寸放大，使其与浅层特征图尺寸对齐；

20、上采样后的特征图与颈部网络中同尺度的浅层特征图进行拼接，融合细节与语义信息，拼接后的特征图分别经过额外的c3k2_iaff模块，获取高质量的融合特征图；所述c3k2_iaff模块通过引入迭代注意力特征融合机制，将动态自适应特性融入到特征融合过程中；所述c3k2_iaff模块的检测结果作为输入进入检测头。

21、可选地，所述c3k2_iaff模块采用双阶段注意力机制设计；

22、第一阶段，通过多尺度通道注意力ms-cam实现特征映射的初始融合，该模块同时聚合局部细节和全局上下文信息；

23、第二阶段，采用迭代注意力特征融合机制进一步提高融合特征的质量。

24、可选地，所述迭代注意力特征融合机制为：

25、

26、

27、

28、其中，表示初始特征融合结果，代表多尺度通道注意力模块操作，表示初始特征集成，为sigmoid激活函数，和分别表示局部特征提取和全局特征提取，表示元素级乘法，表示第一阶段融合结果，表示第二阶段融合结果，即最终融合输出的高质量特征。

29、可选地，将所述融合特征图输入检测头包括：

30、在输入各detect前，不同尺度的特征图会先经过seblock模块进行全局信息压缩和通道权重重校准；其中，所述seblock模块集成到yolov11模型的大、中、小目标检测层输出位置，使模型在生成最终检测结果前对特征图进行通道重校准。

31、可选地，所述seblock模块包括：挤压操作和激励操作；

32、对于输入特征图，所述挤压操作首先通过全局平均池化来生成通道统计量，对全局空间信息进行压缩，压缩到一个通道描述符中；

33、所述激励操作通过一个简单的门控机制，在非线性周围形成两个具有全连接层的瓶颈，即降维层和升维层，结合非线性激活函数生成通道权重；最终，输出特征图通过逐元素相乘进行重新校准。

34、本发明的有益效果为：

35、本发明基于一种基于细节增强的通道重校准雾天检测方法，该方法基于yolov11构建dise-yolo，在backbone中将首层标准卷积替换为细节增强卷积模块deconv，以五分支并行架构实现强度与梯度的协同建模，显著提升模型对边缘、纹理等细节的捕捉；在neck中引入迭代注意力融合机制iaff，增强多尺度上下文聚合能力以解决尺度偏差导致的伪干扰问题；最后在各detect前添加挤压激励模块seblock，自适应校准大中小不同尺度目标检测层的通道特征响应，增强通道间关系的协同性。

36、本发明旨在弥补现阶段去雾算法存在的缺陷，进一步提高无人驾驶车辆在雾天检测的精度与速度，推动无人驾驶技术发展。