一种基于多尺度协同增强的交通目标检测方法与流程
本发明涉及计算机视觉和图像处理等,特别是涉及一种基于多尺度协同增强的交通目标检测方法,用以提升复杂交通场景下目标检测的检测精度。
背景技术:
1、随着智能驾驶、辅助驾驶和道路交通智能感知技术的发展,车辆需要实时获取周围交通环境中的目标类别和位置信息。交通目标检测是智能交通环境感知的重要组成部分,其检测结果可为目标跟踪、轨迹预测、路径规划及车辆控制提供基础信息。实际道路场景中的目标在尺寸、外观和空间位置上存在明显差异,并容易受到遮挡、光照变化、复杂背景及成像距离等因素影响。现有基于深度学习的目标检测方法已经在交通目标检测任务中得到广泛应用。其中,yolo(you only look once)系列网络具有较高的检测速度和端到端推理能力,常用于实时目标检测场景。该类方法通常通过主干网络提取图像特征,再由颈部网络融合不同层级的特征信息,最后通过检测头完成目标分类和边界框回归。
2、虽然现有方法能够满足一般交通场景下的检测需求,但常规卷积结构通常采用固定卷积核提取特征,不同感受野信息之间缺少逐级传递和差异化保留。在连续下采样和特征融合过程中,远距离目标及小尺度目标的纹理、边缘等局部信息容易减弱,深层特征又难以充分兼顾较大范围的上下文信息,导致多尺度目标的特征表达不充分。高层语义特征虽然具有较大的感受野,但现有特征增强方法通常侧重全局关联或局部信息中的单一方面,缺少对全局语义关系和局部上下文信息的连续协同建模。在目标受到遮挡、纹理较弱或背景相似时,容易出现有效特征响应不足、目标与背景区分困难以及边界信息不完整的问题。
3、此外,现有多尺度检测头通常针对不同尺度特征分别设置相对独立的卷积预测结构,容易产生参数重复和计算冗余。不同尺度特征的通道数量和响应幅值存在差异,若缺少统一的特征处理与尺度自适应调节,还可能影响分类结果和边界框回归结果的一致性。
技术实现思路
1、为了解决或至少部分解决上述技术问题,本发明提供了一种基于多尺度协同增强的交通目标检测方法,可以提升复杂交通场景下目标检测的检测精度。
2、为实现上述目的,本发明采取的技术方案为:
3、第一方面,本发明实施例提供一种基于多尺度协同增强的交通目标检测方法,该方法包括以下步骤:
4、步骤1、数据集预处理:
5、选取kitti道路场景数据作为实验数据,对图像文件与对应标注信息进行逐一校验,移除无法读取的图像、无有效目标的样本以及坐标异常的标注框;按照检测任务要求统一原始类别,将车辆相关类别归并为car类,将骑行者相关类别归并为cyclist类,将行人相关类别归并为person类;对图像尺寸、目标框坐标和标签格式进行同步转换,并按照6:2:2的比例形成训练集、验证集和测试集。
6、步骤2、构建多尺度协同增强目标检测网络:
7、以yolov11为基础建立多尺度协同增强目标检测网络。主干网络和颈部网络采用跨阶段分级多尺度聚合模块chmfa(cross-stage hierarchical multi-scale featureaggregation),对不同感受野下的局部纹理、目标结构和上下文信息进行分级提取与融合;深层特征经过快速空间金字塔池化sppf(spatial pyramid pooling-fast)模块扩展感受野后输入动态统计全局局部增强模块dsgle(dynamic statistical global-localenhancement),通过动态双曲正切调制、tssa(token statistics self-attention)统计自注意力和mona(multi-cognitive visual adapter)局部适配,加强全局语义与局部上下文之间的联系;颈部网络输出的多尺度增强特征由多尺度共享细节解耦检测头msddh(multi-scale detail-sharing decoupled head)进行处理,完成目标类别预测和边界框回归。
8、2.1、跨阶段分级多尺度聚合模块chmfa:
9、跨阶段分级多尺度聚合模块chmfa用于增强不同尺度目标的纹理、结构及上下文特征表达。跨阶段分级多尺度聚合模块chmfa包括第一卷积(3×3标准卷积)、第一深度卷积(5×5深度卷积)、第二深度卷积(7×7深度卷积)、通道拼接单元和第二卷积(1×1卷积)。其中:
10、输入特征经3×3标准卷积处理后沿通道维度等分,其中一部分作为浅层保留特征,另一部分输入5×5深度卷积;5×5深度卷积的输出沿通道维度再次等分,其中一部分作为中层保留特征,另一部分输入7×7深度卷积,得到深层增强特征。
11、浅层保留特征用于保留目标的局部纹理和边缘信息,中层保留特征用于表征中等范围的结构信息,深层增强特征通过较大卷积感受野提取更大范围的上下文信息。通过通道拼接单元将浅层保留特征、中层保留特征和深层增强特征沿通道维度进行拼接,并通过1×1卷积完成通道融合,融合结果与输入特征逐元素相加,得到跨阶段分级多尺度聚合模块chmfa的输出特征。
12、主干网络中的chmfa输出经下采样操作继续进行层级特征提取,最深层特征输入sppf模块。sppf模块通过连续池化操作扩大特征感受野,聚合不同尺度的上下文信息,使chmfa提取的局部纹理、目标结构和大范围上下文进一步融入高层语义表达,得到高层语义特征。
13、2.2、动态统计全局局部增强模块dsgle:
14、动态统计全局局部增强模块dsgle用于增强高层语义特征中的全局关联和局部上下文信息。所述动态统计全局局部增强模块dsgle包括两个动态双曲正切调制单元、空间特征序列化单元、tssa统计自注意力单元、空间特征重构单元、两个逐元素相加单元、两个mona局部适配单元和ffn前馈网络(feed-forward network)。其中:
15、高层语义特征首先经过第一次动态双曲正切调制,对不同通道的特征响应进行自适应调整,动态双曲正切调制如式(1)所示:
16、(1)
17、式中,为输入特征,为调制后的特征,为可学习的响应调节参数,和分别为逐通道缩放参数和偏置参数,表示双曲正切函数,表示逐元素乘法。
18、调制后的特征经空间特征序列化后输入tssa统计自注意力单元。tssa统计自注意力单元对序列特征进行线性映射和多头划分,根据不同空间位置的归一化平方响应计算统计权重,并利用所述统计权重调节各注意力头的特征响应,其计算过程如式(2)到(4)所示:
19、(2)
20、(3)
21、(4)
22、式中,为注意力头索引,为注意力头数量;为空间位置索引,为空间位置总数;为单个注意力头内的通道索引,为单个注意力头对应的通道数;和为空间位置求和索引;为注意力头求和索引;表示指数函数;为防止分母为零而设置的正数;表示第个注意力头在第个空间位置、第个通道上的特征值;表示第个注意力头在第个空间位置、第个通道上的特征值;表示第个注意力头在第个空间位置、第个通道上的特征值;表示第个注意力头在第个空间位置、第个通道上的特征值;和分别表示对应特征沿空间位置维度归一化后的特征值;和分别表示第个和第个注意力头对应的可学习温度参数;、和分别表示第个注意力头在第、第和第个空间位置上的统计权重;表示tssa注意力机制在第个注意力头、第个空间位置及第个通道上的输出特征值。
23、tssa注意力机制的输出经注意力头拼接和线性映射后进行空间特征重构,并与输入特征进行第一次逐元素相加;所得特征经第一次mona局部适配单元增强局部上下文信息,再依次经过第二次动态双曲正切调制和ffn前馈网络;ffn前馈网络的输出与第一mona局部适配单元的输出进行第二次逐元素相加,并经第二次mona局部适配单元得到动态统计全局局部增强模块dsgle的输出特征,如式(5)所示:
24、(5)
25、式中,和分别表示第一次和第二次动态双曲正切调制;表示空间特征序列化;表示tssa注意力机制;表示空间特征重构;和分别表示第一mona局部适配单元和第二mona局部适配单元;表示ffn前馈网络;为第一次逐元素相加后的特征;为第一mona局部适配单元的输出特征;为第二次逐元素相加后的特征;为动态统计全局局部增强模块dsgle的输出特征。
26、dsgle输出的高层增强特征进入颈部网络,通过上采样、特征拼接、步长卷积和chmfa进行多尺度特征传递与融合,形成用于不同尺度目标检测的特征。
27、2.3、多尺度共享细节解耦检测头msddh:
28、多尺度共享细节解耦检测头msddh用于对颈部网络输出的多尺度特征进行细节增强、目标分类和边界框回归。所述msddh包括组归一化卷积conv_gn(convolution withgroup normalization)、细节共享组归一化卷积deconv_gn(detail-enhancedconvolution with group normalization)、回归分支、分类分支、尺度调节单元scale和通道拼接单元。
29、不同尺度的输入特征分别通过由1×1卷积和组归一化构成的组归一化卷积conv_gn,将不同通道数的输入特征映射至相同通道数;映射后的各尺度特征分别依次通过两个细节共享组归一化卷积deconv_gn,且不同尺度共用两个deconv_gn的网络参数,以减少多尺度检测过程中的参数重复,并增强目标边缘、纹理和局部结构信息。
30、细节增强后的各尺度特征分别输入回归分支和分类分支。回归分支生成边界框分布预测结果,并通过与当前尺度对应的尺度调节单元scale进行自适应缩放;分类分支生成目标类别预测结果;将同一尺度的回归预测结果与分类预测结果沿通道维度拼接,得到对应尺度的检测输出。
31、步骤3、训练并评估多尺度协同增强目标检测网络:
32、使用训练集对搭建好的多尺度协同增强目标检测网络进行训练,并使用验证集对训练过程中的网络模型进行验证。随后,在测试集上进行评估,评估指标包括精确率、召回率和;其中,精确率表示检测结果中正确检测目标所占比例,召回率表示真实目标中被正确检测出的比例,表示iou(intersection over union)阈值为0.5时各类别ap的平均值。
33、第二方面,本发明还提供一种基于多尺度协同增强的交通目标检测系统,应用上述的方法,对复杂交通场景中的目标进行检测,该系统包括:
34、数据预处理模块,用于对交通场景图像数据进行预处理;
35、多尺度协同增强目标检测网络,基于预处理后交通场景图像数据进行目标检测。
36、与现有技术相比,本发明至少具有如下有益效果:
37、1.本发明可以提升复杂交通场景下目标检测的检测精度。
38、2.本发明在目标检测网络中引入跨阶段分级多尺度聚合模块chmfa、动态统计全局局部增强模块dsgle和多尺度共享细节解耦检测头msddh;通过chmfa对不同感受野特征进行逐级分流、提取和聚合,增强目标局部纹理、中层结构和大范围上下文信息;通过dsgle结合动态双曲正切调制、tssa统计自注意力和mona局部适配,建立全局语义关联并补充局部上下文信息;通过msddh对多尺度增强特征进行共享细节提取、分类回归解耦和尺度自适应调节,减少检测头参数重复,提高了复杂交通场景下目标的识别与定位性能。
39、本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
40、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com