一种基于多尺度特征融合的微小目标行为检测方法与流程

本发明涉及交通道路行驶异常状况检测的，具体涉及一种基于多尺度特征融合的微小目标行为检测方法，解决道路交通场景中道路抛洒物、骑行人员佩戴头盔、路面微小障碍物等检测面临的小目标特征识别困难、光照条件变化以及动态场景下的快速精准检测等问题。

背景技术：

1、在中国，机动车的保有量已经超过3.6亿辆，成为群众日常出行的重要交通工具之一。在交通行驶过程中因道路障碍物、抛洒物等小目标行为及电动车未佩戴头盔等行为，易导致交通事故和人员伤亡，多地开展针对道路障碍物、抛洒物等抛洒行为的日常巡查巡检，同时还有电动车佩戴头盔的专项行动。然而，传统监管方式主要依靠交通管理部门的通过道路巡查巡检的方式，人力物力消耗大且效率低，难以大规模推广，亟需研究自动化的监管方式以提高监管效率。

2、近年来，深度学习技术在计算机视觉领域取得了快速的发展，为交通异常行为的实时检测提供了坚实的技术基础。针对道路障碍物和抛洒物等抛洒行为、电动车骑行者未佩戴头盔的突出问题，可借助基于计算机视觉的目标检测技术实施实时检测与记录，以提升道路日常监管效率，为道路交通安全提供有力保障。

3、目标检测技术的核心为通过计算机算法，从图像或视频中精准识别定位特定目标，可广泛应用于交通领域的行人识别、车辆监测、交通信号、道路异常检测以及微小目标行为判断等诸多任务。当前主流目标检测技术主要包括：r-cnn系列，通过生成区域建议定位潜在目标区域，利用卷积神经网络（cnn）提取特征并分类；ssd系列，创新地在多尺度特征图上直接开展目标检测，可高效识别不同尺寸目标；yolo系列，将目标检测转化为回归问题，实现图像像素到边界框坐标及类别概率的直接映射。作为单阶段检测器的杰出代表，yolo系列在实时处理与高速检测场景中展现出显著的性能优势。随着版本迭代，yolo系列检测精度持续提升，可适应多场景需求，应用前景广阔。

4、针对微小目标行为检测问题，目前已有诸多研究。padmini等人结合机器学习与图像处理技术，通过实时交通监控录像实现摩托车骑手微小目标行为状态的自动检测。kumar等人设计多神经网络架构，实现比r-cnn和fast r-cnn更快的微小目标行为的检测算法。jakubec等人融合yolov7与cbam注意力机制，通过通道与空间维度的特征图精细化调整，显著提升小目标检测的准确性与效率。谢溥轩等人将yolov5与eca-net通道注意力机制、bifpn特征金字塔模块及alpha-ciou loss损失函数相结合，实现复杂场景微小目标状态的高精度监测。谢昊等人通过在改进的yolov5模型中引入cbam、优化多尺度特征融合、新增小目标检测层，并结合eiou优化与k-means聚类先验框，显著提升目标检测的准确率、召回率和泛化能力。

5、尽管已有研究在提高微小目标行为检测的准确率和鲁棒性方面取得了积极进展，尤其是在模型结构优化与注意力机制引入方面展现出一定优势，但将这些方法直接应用于交通监控的实际场景仍存在明显不足。一方面，许多方法在提升精度的同时显著增加了模型的复杂度，导致其难以部署在资源受限的边缘设备上；另一方面，部分改进侧重于单一尺度或局部特征的建模，缺乏对小目标检测中多尺度上下文信息的充分利用，限制了其在复杂场景下对头盔目标的准确定位能力。此外，部分方法在处理目标遮挡和姿态变化时仍表现出不稳定性，易出现误检和漏检，影响整体检测系统的实用性和可靠性。

技术实现思路

1、针对本领域上述问题，本发明提供一种基于多尺度特征融合的微小目标行为检测方法，用于交通监控场景中微小目标行为检测任务设计，兼顾检测精度、计算效率与模型部署可行性，解决道路交通场景中微小目标行为检测面临的小目标特征识别困难、光照条件变化以及动态场景下的快速精准检测等问题。

2、一种基于多尺度特征融合的微小目标行为检测方法，包括以下步骤：

3、（1）构建faster-c2f轻量化主干网络和efficient decoupled head检测头以降低模型复杂度；

4、（2）引入p2检测层和双向级联的bifusion模块重构颈部网络结构以增强小目标检测能力与特征融合效果；

5、（3）采用repblock模块进一步压缩参数；

6、（4）结合focaler-shapeiou损失函数优化头部姿态下的边界框回归；

7、（5）利用lamp剪枝技术构建更加轻量的lmsf-yolo-nano模型，满足实际部署对精度与资源的双重需求。

8、进一步的，构建faster-c2f轻量化主干网络具体为：将yolov8的c2f模块内部bottleneck结构替换为faster-block模块，faster-block采用“pconv + 1×1 conv + 1×1 conv”的倒置残差结构，首先通过pconv提取轻量特征，再经两个1×1卷积完成维度扩展与压缩，实现信息重构，同时，模块末尾引入捷径连接，在不同尺度上复用输入特征，增强网络的非线性表达能力与特征稳定性。

9、进一步的，efficient decoupled head检测头基于hybrid channels策略配合高效的解耦头结构，在维持检测精度的同时降低模型时延。

10、进一步的，引入双向级联的bifusion模块，捕获多层次的上下文信息，大尺度特征提供全局结构与背景线索，小尺度特征则着重保留细节纹理与边界信息。

11、进一步的，采用repblock模块进一步压缩参数，将repblock模块应用于颈部网络使得颈部网络具有可重参数化结构，通过学习将不同尺度特征映射到共同特征空间，动态调整结构以应对多样输入数据和不同任务，确保最佳性能输出。

12、进一步的，结合focaler-shapeiou损失函数优化头部姿态下的边界框回归，将focaler-iou损失应用到关注边界框本身的形状和尺度的shape-iou得到focaler-shapeiou损失函数。

13、进一步的，利用lamp剪枝技术构建更加轻量的lmsf-yolo-nano模型：lamp分数考虑权重的幅度及其在整个层中的相对重要性，对于权重幅度较大的连接，lamp分数相对较高，lamp分数提供了对连接重要性的细粒度评估，允许更准确地选择要保留或剪除的连接，对于每一层连接，通过比较lamp分数来实现全局网络的稀疏性约束，剪枝那些lamp分数较低的连接；随后，通过精细的微调操作，剪枝后的模型恢复到先前的高精度水平并进一步提升。

14、本发明所取得的技术优势：

15、针对道路交通场景中微小目标行为检测面临的小目标特征识别困难、光照条件变化以及动态场景下的快速精准检测等问题，开展了基于多尺度特征融合的微小目标行为检测算法研究，通过一系列创新性改进，实现了精准高效的头盔检测。首先，通过整合轻量型faster-block模块的faster-c2f设计，并采用简洁高效的efficient decoupled head结构，实现了网络的轻量化。其次，引入p2检测层，利用浅层网络在高分辨率和较小感受野方面的优势，提升小目标检测的性能。同时，为捕获复杂的高级语义信息，引入bifusion模块融合不同尺度的特征图，并通过repblock模块优化参数量过大的问题。此外，针对头部姿态的变化，设计了focaler-shapeiou损失函数，以提高定位的准确性。最后，采用lamp剪枝技术去除冗余神经元和参数，构建了轻量高效的微小目标行为检测模型。实验结果表明该模型具备卓越的轻量化架构，仅需1.78mb的参数量、6.97g的计算量以及4.1mb的权重文件大小，便于在资源有限的设备上部署，可实现实时检测。同时，模型精度达到了84.9%，完美平衡了轻量化和高精度的双重要求。本发明方法适用于交通领域的众多小目标检测场景，在保持模型轻量级的同时，有效提升小目标检测的精度与效率。