基于音视频融合的轻量化交通检测方法

本发明属于交通监测，具体涉及一种基于音视频融合的轻量化交通检测方法。

背景技术：

1、早期道路交通监测系统以视频监控为核心载体，依托摄像头采集道路场景画面，结合传统图像处理算法完成车辆目标检测与交通流量统计工作。

2、随着深度学习技术快速迭代发展，卷积神经网络逐步应用于交通视觉感知任务，大幅提升了车辆精准检测、交通异常事件识别等任务的综合性能。

3、为进一步提升交通监测系统在夜间、雨雾、逆光等复杂场景下的运行稳定性，科研人员开始引入多类传感信息辅助纯视觉感知。在各类辅助传感手段中，声学传感器凭借成本低廉、功耗较低、不受光照条件限制等优势，逐渐成为研究热点。车辆行驶过程中会持续产生发动机运转噪声、轮胎路面摩擦噪声及空气动力学噪声等声学信号，蕴含丰富的车辆类型、行驶状态及交通态势特征信息。

4、得益于多模态感知技术的持续突破，研究领域逐步探索视觉与音频信息的跨模态融合方法，以此构建抗干扰能力更强、鲁棒性更优的交通感知体系。同时，深度学习在音频特征提取与场景识别领域的技术成熟，也为交通声学信号分析、噪声事件分类提供了坚实的理论与技术支撑。

5、主流的现有技术包括：

6、目标检测：

7、video-only（基线方法）：仅利用视频检测模型对每一帧图像进行车辆目标检测，并依据视频模型输出的检测置信度对候选检测框进行筛选。

8、仅采用视频检测模型对每一帧图像进行车辆目标检测，直接依据该模型输出的检测置信度，对候选检测框实施筛选，获取最终车辆检测结果。

9、wsf（加权得分融合）：在保持视频检测模型输出目标位置与类别信息不变的前提下，引入音频模型输出的场景级车辆存在概率，并在分数层对视频检测置信度与音频先验进行加权融合，最后基于融合后的得分完成目标级筛选。

10、tgf（门控阈值融合）：在视频检测结果的基础上，结合音频先验与当前帧视觉检测得分构建门控系数，并依据门控结果对检测阈值进行动态调节，从而实现音频信息对视觉检测筛选过程的门控增强。

11、目标追踪：

12、deepsort：基于外观特征与运动信息联合关联的多目标追踪方法。通过引入目标外观特征进行跨帧匹配，在目标遮挡和交互场景下具有一定优势。

13、bytetrack：基于检测置信度分层关联的多目标追踪方法。通过充分利用低置信度检测框信息提升目标召回率，是当前较具代表性的tracking-by-detection方法之一。

14、ocsort：基于运动状态建模优化的多目标追踪方法。通过改进运动预测与关联策略提升目标追踪稳定性，对目标短时运动变化具有较好的适应能力。

15、现有技术中，xiwen li等人在文献《joint audio-visual idling vehicledetection with streamlined input dependencies》中公开了一种联合音视频怠速车辆检测方法，该文献发表于2025 ieee/cvf winter conference on applications ofcomputer vision workshops，ieee文献号为10972572，doi为10.1109/wacvw65960.2025.00098。该方法分别提取视频特征与音频特征，通过双向注意力机制将两种模态的特征映射至联合特征空间，并基于融合后的特征检测车辆位置及车辆状态，将车辆划分为行驶、怠速和发动机关闭三种类别。

16、但是，该现有技术主要面向怠速车辆状态检测，其音频和视频信息在特征层进行端到端融合，未公开在保持视频检测框位置及类别信息不变的条件下，利用音频模型输出的场景级车辆存在概率对视频检测置信度进行加权修正的方案；同时，也未公开根据音频先验和当前帧视觉检测得分构建门控系数，并依据该门控系数动态调节车辆候选框筛选阈值的方案。因此，该方法难以直接解决弱光、遮挡、远距离及小目标条件下，车辆候选框因检测置信度较低而被固定阈值误删除的问题。此外，该方法需要音视频联合标注数据训练端到端融合网络，当音频受到非车辆噪声、多车辆声源或环境混响干扰时，错误的音频特征可能进一步影响车辆位置和车辆状态预测。该方法也未设置独立的多目标追踪模块，不能直接解决车辆遮挡、跨帧身份关联、低置信度检测框关联以及身份切换等多目标追踪问题。

技术实现思路

1、为了克服上述现有技术存在的不足，本发明的目的在于提供一种基于音视频融合的轻量化交通检测方法，该方法具有在不改变视频候选检测框位置及类别信息的基础上，利用音频场景先验对检测置信度进行加权修正或对检测阈值进行动态调节，且融合过程计算量小、模块化程度高、实时性及复杂场景适应性强的特点。

2、为了实现上述目的，本发明采用的技术方案是：

3、基于音视频融合的轻量化交通检测方法，包括以下步骤；

4、步骤1：通过音视频感知模型对同一交通场景的同步视频帧和音频片段分别进行建模，获得包含候选边界框、类别及视觉检测置信度的视觉检测结果，以及表征场景中车辆是否存在的音频概率，为步骤2的决策层融合提供输入；

5、步骤2：基于logit（对数几率）空间的音视频融合目标检测方法，用于接收所述视觉检测置信度和音频概率，将二者映射至统一的logit决策尺度并进行加权融合，再依据融合阈值形成最终车辆检测集合，为步骤3提供目标级检测输入；

6、步骤3：基于音频先验的多目标追踪增强，用于接收步骤2得到的最终车辆检测集合，并复用步骤1得到的表征场景中车辆是否存在的音频概率，对轨迹关联、轨迹置信度及轨迹生命周期进行增强，最终输出车辆轨迹集合。

7、上述步骤按照“感知建模—检测融合—时序追踪”的顺序依次执行：步骤1产生基础多模态观测，步骤2在不改变视觉候选框位置和类别的条件下完成置信度校正与目标筛选，步骤3在步骤2检测结果的基础上进行跨帧关联；其中，步骤1的音频场景先验同时作用于步骤2和步骤3。

8、所述音视频感知模型包括视觉车辆目标检测模型和音频车辆活动检测模型，所述步骤1具体为：

9、步骤11）：通过视觉车辆目标检测模型，用于从当前视频帧中提取多尺度视觉特征并输出目标候选框的位置、类别和视觉检测置信度；

10、步骤12）：通过音频车辆活动检测模型，用于从与当前视频时刻对应的道路环境音频片段中提取声学特征并输出场景级车辆存在概率。

11、步骤11）和步骤12）分别处理空间目标信息和场景事件信息，二者在时间轴上对齐并相互独立；步骤11）的目标级结果与步骤12）的场景级概率共同输入步骤2，音频车辆活动检测模型不直接修改视觉候选框的位置和类别。

12、所述步骤11）具体为：

13、（1）以coco、ua-detrac和bdd100k等公共交通场景数据集为基础，并结合实际道路环境中自采集的交通目标图像，对原始数据进行补充与扩展，定义训练所需的目标类别集合为：

14、

15、上述英文类别依次对应行人、自行车、小汽车、摩托车、公交车、卡车和三轮车，共k=7类。

16、在此基础上，对上述公共数据集进行自动化筛选，剔除不包含任何目标类别的图像及其对应标注文件，以减少无关样本对模型训练的干扰；

17、针对初筛后存在的样本冗余和场景不匹配问题，对coco数据集进行降采样，对ua-detrac数据集进行隔帧抽选，对bdd100k数据集进行整体下采样，并与自采集数据合并后按照8∶1∶1划分训练集、测试集和验证集；

18、对自采集数据进行统一标注，并对筛选后的公共数据实施重标定和标签对齐，最终获得类别语义一致、标注格式统一的视觉交通目标数据集，供视觉检测模型训练、验证和测试使用；

19、（2）以yolov8系列模型为基础，采用backbone-neck-head的检测框架，对其网络结构进行了针对交通监控场景的优化设计，构建用于车辆检测与后续多目标追踪的视觉车辆目标检测模型yolo_track：

20、backbone负责提取多尺度视觉特征，采用相对较高的通道维度配置，各阶段特征图输出通道数设置为{32,64,128,256,512}，以增强模型对车辆外观细节、尺度变化以及遮挡情况的特征表达能力；

21、引入yolo检测头特性的csplayer_2conv结构；csplayer_2conv结构通过将特征图划分为两部分分别进行卷积变换与残差连接，再在后续阶段进行融合；

22、neck用于融合不同层级的特征信息，head用于完成目标分类与边界框回归任务，整体沿用yolov8常用的fpn-pan结构及三尺度检测头，通过自顶向下与自底向上的双向特征传播，实现多尺度特征的充分融合，增强对小尺度及远距离车辆目标的检测能力。

23、以yolov8系列模型为基础构建视觉检测模型yolo_track；所述yolov8系列模型按照数据流方向依次包括backbone、neck和head，其中backbone为主干特征提取网络，neck为多尺度特征融合网络，head为目标分类与边界框回归网络；模型具有三尺度检测、特征复用充分以及便于边缘部署的特点，用于车辆检测并向后续多目标追踪提供目标级观测：

24、在backbone中，对输入交通图像进行逐级下采样和多尺度特征提取，各阶段特征图输出通道数设置为{32,64,128,256,512}，以增强对车辆外观细节、尺度变化及遮挡状态的表征能力；

25、将原yolov8的backbone和neck中的c2f模块替换为csplayer_2conv模块；所述csplayer_2conv由特征分流、卷积变换、darknetbottleneck残差处理、特征拼接及末端卷积构成，使一部分特征直接保留、另一部分特征进行深层变换后再融合，从而降低重复计算并保持局部特征表达能力；

26、neck采用fpn-pan结构，通过自顶向下和自底向上的双向路径融合backbone输出的不同尺度特征；head在三个尺度上分别完成类别预测和边界框回归，最终输出每一视频帧的候选边界框、类别置信度及对应尺度信息，并将该输出作为步骤21）的视觉检测结果。

27、所述步骤12）具体为：

28、所述音频车辆活动检测模型选用yamnet作为基础网络，并结合所构建的交通场景音频数据集进行任务适配与再训练，将音频端任务简化为“有车”与“无车”的事件级二分类，以表征场景中车辆事件的整体存在状态；

29、（1）针对与视频流同步采集的连续道路环境音频进行统一预处理，将原始音频转换为采样率16 khz的单通道波形，并按照滑动时间窗口裁剪为2 s音频片段；不足2 s的片段补零，超过2 s的片段截取对应时间窗，以形成步骤12）的标准化音频输入；

30、（2）采用公共数据集为主、自采集数据为辅的方式构建音频训练集；公共数据包括urbansound8k和vggsound中的交通相关声音，并统一映射为“有车”和“无车”两类；自采集道路音频用于补充静音、弱交通声、风噪及真实道路背景声，使公共数据与实际部署场景相互补充；

31、（3）yamnet音频模型依次包括波形预处理、梅尔频谱特征变换、由深度可分离卷积单元组成的yamnet特征提取网络、全局池化层及二分类全连接层。对于一批次b条音频波形，将批量输入按样本维拆分为b条单通道波形，采用共享参数的yamnet特征提取网络逐条获得声学特征向量，再按批量维堆叠为特征矩阵并经全连接层和softmax层输出b组“有车/无车”概率，由此实现一批次多条音频波形的逐条特征提取和统一分类。

32、所述步骤2具体为：

33、步骤21）：进行音频与视频检测结果建模，用于将步骤11）输出的视觉检测结果和步骤12）输出的音频检测结果按照同一时刻t进行组织，并由视觉检测结果构造车辆候选集合b(t)，由音频检测结果经平滑与迟滞处理得到平滑音频车辆存在概率_a(t)；

34、步骤22）：基于logit（对数几率）空间的音视频融合算法，用于接收步骤21）的b(t)和_a(t)，在统一决策尺度上校正各候选框的视觉置信度，得到融合置信度s_i^f(t)；

35、步骤23）：设定融合置信度阈值，构造最终的车辆检测集合。

36、步骤23）用于将步骤22）得到的融合置信度与融合阈值τ_f进行比较，保留满足条件的候选框并构造最终车辆检测集合b_f(t)，其输出作为步骤31）的追踪输入。

37、步骤21）完成多模态输入的时间对齐与结构化建模，步骤22）完成跨模态置信度融合，步骤23）完成目标级阈值判决，三者按顺序连接。

38、所述步骤21）具体为：

39、（1）基于yolov8的改进模型作为视频侧检测模型，并针对道路监控场景对模型进行重训练，将检测类别重新定义为7类，构造车辆候选集合,包含的边界框位置与置信度信息；

40、7类目标为person、bicycle、car、motorcycle、bus、truck和tricycle，分别对应行人、自行车、小汽车、摩托车、公交车、卡车和三轮车；其中车辆相关类别集合c_veh由除person之外的6类构成，后续音频车辆先验仅用于所述车辆相关类别；

41、在时刻，视觉模型对输入图像产生固定数量的候选预测结果，在输入图像设置为的情况下，其原始输出表示为：

42、

43、所述y(t)由步骤11）的yolo_track模型对当前视频帧前向推理得到；输入尺寸为3×640×640时，三个检测尺度对应80×80、40×40和20×20个空间位置，候选总数为80×80+40×40+20×20=8400，因此y(t)∈r^(8400×(4+k))；

44、其中，t表示当前视频时刻，k表示目标类别总数，本实施例k=7；y(t)的每一行包含4个边界框回归参数和k个类别置信度，8400为三个检测尺度全部空间位置的总数。

45、进一步地，将第个候选预测记为：

46、

47、其中：

48、

49、表示候选边界框的位置与尺度参数；而：

50、

51、表示该候选框属于各类别的置信度向量（k=7），其中对应第类的类别置信度。

52、其中，i∈{1，…，8400}为候选框序号，k∈{1，…，k}为类别序号；=[]表示第i个候选框的中心坐标、宽度和高度；表示该候选框属于第k类的置信度；k为类别总数。

53、确定每个候选框其最可能的类别及对应的类别置信度，采用最大后验类别选择方式，即对第个候选框定义其预测类别为：

54、

55、并定义对应的类别置信度为：

56、

57、上述分别表示该候选框的类别预测结果及其置信度强度。在此基础上，将候选预测进一步组织为检测框集合：

58、

59、同时为与后续音视频融合模块的目标一致性保持一致，从中筛选车辆相关类别，构造车辆候选集合：

60、其中表示第i个候选框最大置信度对应的预测类别，表示该类别的视觉检测置信度；d(t)表示全部候选检测框集合，表示车辆相关类别集合，b(t)表示从d(t)中筛选得到的车辆候选集合。

61、

62、（2）在时间维度上，音频检测模块采用滑动时间窗口对连续环境音频进行分析，设时刻t对应的音频片段为，得到时间维度上对音频概率输出，

63、

64、并进一步引入平滑与迟滞机制，得到的平滑音频概率及其对应状态，视为对一段时间内车辆活动状态的稳定估计，并作为后续决策层音视频融合的重要场景级先验信息。

65、其中，a(t)表示与时刻t对应的2 s音频片段；=表示步骤12）输出的原始车辆存在概率；α∈(0，1)为时间平滑系数；为平滑后的车辆存在概率；∈{0，1}为迟滞状态；θ_on和θ_off分别为状态开启阈值和关闭阈值，且θ_on>θ_off。平滑机制用于抑制单次概率波动，迟滞机制用于避免车辆存在状态在阈值附近频繁切换。

66、

67、

68、所述步骤22）具体为：

69、（1）在决策层引入作为一种全局一致性的先验信息，对视觉检测置信度进行校正；

70、使用步骤21）得到的平滑音频概率和第i个车辆候选框的视觉置信度，不改变候选框及其类别，仅在决策层对置信度进行校正；

71、（2）将视频检测置信度与音频场景概率从概率空间映射至logit空间，构造加权线性融合模型，对于第个车辆候选检测框，其视觉置信度的logit表示定义为:

72、

73、音频场景级车辆存在概率的logit表示为：

74、

75、构造如下加权线性融合模型：

76、

77、其中为音频信息的融合权重，用于调节音频场景先验对视觉检测结果的影响强度，当=0时，融合模型退化为纯视觉检测；随着的增大，音频检测结果在融合决策中的作用逐渐增强；

78、其中，为视觉置信度的logit值，为平滑音频概率的logit值，为二者加权后的融合logit值，λ≥0为音频融合权重，log表示自然对数；为避免概率取0或1导致数值溢出，实际计算时可将输入概率限制在[ε，1ε]内，ε为预设的小正数；

79、（3）将融合logit值通过sigmoid函数映射回概率空间，得到步骤22）的输出——融合置信度)，并将其传递至步骤23）用于检测框筛选；

80、。

81、所述步骤23）具体为：

82、设定融合置信度阈值，构造最终的车辆检测集合：

83、

84、其中，∈(0，1)为融合置信度阈值；表示时刻t的最终车辆检测集合；、分别表示保留候选框的位置与尺度、类别和融合置信度；仅保留≥的车辆候选框，并作为步骤31）的多目标追踪输入；

85、在目标级层面对检测结果进行筛选：当较低时，音频logit对低置信度视觉候选框产生抑制，减少无车场景中的误检；当较高时，音频先验提高真实但视觉置信度偏低的车辆候选框得分，降低弱光、遮挡和远距离场景中的漏检风险。

86、所述步骤3具体为：

87、步骤31）：多目标追踪输入，用于接收步骤23）输出的最终车辆检测集合，完成轨迹预测、检测—轨迹关联及状态更新，形成当前轨迹集合t(t)；

88、步骤32）：轨迹置信度建模，用于基于关联检测结果形成视觉轨迹置信度，并与步骤21）的平滑音频概率在logit空间融合，得到轨迹融合置信度；

89、步骤33）：轨迹生命周期随音频场景先验动态调整，用于依据平滑音频概率改变轨迹最大连续丢失帧数，使轨迹保留策略与当前车辆活动状态相匹配。

90、步骤31）建立基础轨迹，步骤32）评价并校正轨迹可信程度，步骤33）根据场景先验控制轨迹保留或终止；步骤32）和步骤33）均基于步骤31）的轨迹状态执行，并共同输出稳定车辆轨迹。

91、所述步骤31）具体为：

92、使用tbd方法，首先利用卡尔曼滤波等状态估计方法对目标位置进行预测，然后结合iou的构造关联代价，最后通过匈牙利算法或其变体完成轨迹与检测之间的匹配，并更新轨迹状态；在时间维度上对车辆目标进行持续关联，形成轨迹集合；

93、所述tbd为tracking-by-detection，即基于检测的多目标追踪；iou为intersection over union，即交并比。步骤31）将步骤23）得到的作为检测观测，对既有轨迹进行卡尔曼预测，并依据预测框与检测框的iou、外观特征或检测置信度构造关联代价，再通过匈牙利算法完成匹配。deepsort、bytetrack或ocsort均可作为该步骤的具体追踪器。

94、其中，表示第条轨迹的状态，包含目标的空间位置、运动状态以及轨迹置信度信息。

95、其中，为时刻t的有效轨迹数量，为第k条轨迹状态，可包括目标位置、速度、轨迹年龄、连续丢失帧数及轨迹置信度；t(t)为全部有效轨迹构成的集合。

96、所述步骤32）具体为：

97、设第条轨迹在时刻的视觉轨迹置信度为，映射至logit空间，在统一的logit决策尺度下与音频场景概率在logit空间的映射结合，构造轨迹级融合模型，最后将融合后的轨迹置信度通过sigmoid映射回概率空间；

98、其中，∈[0，1]为第k条轨迹基于当前及历史关联检测得到的视觉轨迹置信度；为其logit值；为与音频logit融合后的轨迹logit；为经sigmoid映射后的轨迹融合置信度；λ与步骤22）的音频融合权重含义相同或可分别设定；轨迹融合置信度用于后续轨迹确认、保持和终止判决；

99、视觉轨迹置信度的logit表示为：

100、

101、轨迹级融合模型：

102、

103、映射回概率空间：

104、。

105、所述步骤33）具体为：

106、轨迹允许的最大连续丢失帧数，为基础丢失容忍帧数，为音频调节系数，当较高时，表明场景中存在持续车辆活动，系统将适当延长轨迹保留时间，以提高遮挡情况下的轨迹连续性；当较低时，系统将更快终止置信度较低的轨迹，从而减少虚假轨迹与误报累积；

107、其中，l(t)为时刻t允许的最大连续丢失帧数，l_0为不使用音频调节时的基础丢失容忍帧数，β≥0为音频调节系数，为步骤21）得到的平滑车辆存在概率。实际执行时可对l(t)取整并限制在预设上下限内；当车辆活动概率较高时延长轨迹保留时间，当车辆活动概率较低时缩短轨迹保留时间。

108、本发明的有益效果：

109、本发明在保持视觉候选框位置和类别不变的基础上，将音频场景先验与视觉检测置信度在logit空间进行融合。当真实车辆因遮挡、弱光或远距离成像而产生低视觉置信度时，较高的音频车辆存在概率能够提高其融合置信度，从而减少候选框被固定阈值误删除的情况并降低车辆漏检风险。

110、本发明的音频支路不依赖场景光照，并通过时间平滑和迟滞状态机形成稳定的车辆活动先验；视觉支路通过三尺度特征提取和fpn-pan特征融合保持车辆空间定位能力，二者在决策层互补，有助于提升夜间、逆光、雨雾等复杂交通场景下的环境适应性和综合鲁棒性。

111、本发明将平滑音频车辆存在概率进一步用于轨迹置信度融合和轨迹生命周期调节：车辆活动概率较高时延长最大连续丢失帧数，使短时遮挡期间的轨迹得以保留；车辆活动概率较低时加快终止低置信度轨迹，从而兼顾轨迹连续性、身份一致性和虚假轨迹抑制。

112、本发明采用目标检测后端的决策层融合方式，不重新回归候选框位置和类别，仅增加概率平滑、logit变换、加权和sigmoid映射等标量运算；音频模型采用深度可分离卷积结构，并可与现有deepsort、bytetrack或ocsort追踪器模块化组合，因此整体计算开销较小，便于部署在嵌入式终端和路侧边缘设备。