一种基于大视觉模型与增强检测模型的智慧交通目标检测方法及系统

本发明涉及智慧交通目标检测，主要涉及一种基于大视觉模型与增强检测模型的智慧交通目标检测方法及系统。

背景技术：

1、目前，智慧交通检测系统普遍采用基于深度学习的目标检测模型来实现对车辆、行人等城市交通要素的感知与识别。主流的检测框架可分为两大类：一类是基于卷积神经网络（cnn）的模型，以yolo系列为代表，通过预定义的锚框和回归方式实现快速检测；另一类是基于transformer架构的模型，以detr（detection transformer；目标检测transformer）系列为代表，利用注意力机制和查询对象进行端到端的预测。rt-detr（real-time detection transformer）及其改进版本rt-detrv2作为其中的先进代表，凭借其实时性与高精度的平衡，在智慧交通领域得到了初步应用。

2、然而，现有检测算法严重依赖大规模、高质量的标注数据进行驱动学习。在实际的城市治理复杂场景中，单纯依靠单个目标检测模型与有限的数据分布，难以同时保证高精确率与高召回率。其技术瓶颈主要体现为以下两类问题：

3、其一，特征提取能力不足。传统的cnn或transformer骨干网络在面对复杂光照、部分遮挡、目标尺度剧烈变化等情况时，特征提取不充分，容易导致小目标漏检；同时，当不同类别目标（如行人与骑行者）的表观特征相似时，模型难以捕捉细微的判别性特征，从而引发类别误判，降低检测精度。

4、其二，数据长尾分布与场景泛化性差。智慧交通场景中，常见物体（如轿车）样本丰富，而特殊或罕见物体（如工程车、动物闯入、特定交通标志）样本稀少。这种数据长尾问题使得模型难以从有限样本中学习到鲁棒的场景相关特征，导致在垂直领域或零样本场景下的检测性能显著下降，无法满足实际部署的可靠性要求。

5、现有技术在智慧交通复杂场景下存在目标检测精度不足的问题。特别是在城市治理的多元化需求中，可靠且精确的物体识别对于提升交通管理、公共安全等关键领域的智能化水平至关重要。

6、综上所述，现有智慧交通检测系统主要依赖数据驱动的方式训练单一或集成式的目标检测模型。尽管这类方法在标准数据集上取得了不错的效果，但其核心缺点在于：未能有效利用大规模视觉基础模型的泛化语义先验来增强检测模型的特征表征能力。具体表现为：

7、1、语义鸿沟问题：现有的rt-detr等模型，其骨干网络（如卷积或传统transformer）的参数规模有限，学习到的特征主要面向检测任务本身，缺乏来自更大规模、无监督预训练所获得的通用视觉语义知识。这使得模型在面对域外样本或复杂语义场景时，“看不清”也“辨不明”。

8、2、特征融合效率低：虽然有部分工作尝试引入额外特征，但多采用简单的拼接或相加方式，未能设计专门的模块来弥合“通用语义特征”与“检测专用特征”之间的分布鸿沟，导致二者在优化过程中存在冲突，语义先验被检测任务的局部定位需求所淹没，无法发挥互补优势。

9、3、适应性不足：现有模型对所有输入图像采用固定的特征融合策略，无法根据场景的复杂程度（如遮挡、密集、远距离等）动态调整对语义信息与空间信息的依赖比重，导致在复杂多变的城市场景中鲁棒性欠佳。

技术实现思路

1、本发明克服了现有技术的不足，提供了一种基于大视觉模型与增强检测模型的智慧交通目标检测方法及系统，利用大视觉模型的特征提取能力与泛化能力，帮助检测模型聚焦检测物体的有效特征信息提取与表达。通过将上下文感知的专家路由与残差语义精炼相结合，acef（adaptive cross-source exchange forwarding；自适应跨源交互路由模块）有效地弥合了语义抽象与定位敏感性之间的鸿沟，实现了异构表示的更高效利用，并显著提升了多尺度目标感知、遮挡鲁棒性和定位精度。

2、为达到上述目的，本发明采用的技术方案为：一种基于大视觉模型与增强检测模型的智慧交通目标检测方法，包括以下步骤：

3、获取输入图像；

4、将输入图像输入预先训练的检测框架dair模型中，检测框架dair模型包括双分支骨干网络、结构感知特征适配器、自适应跨源交互路由模块，所述双分支骨干网络包括大视觉模型和增强检测模型；

5、通过双分支骨干网络中的大视觉模型和增强检测模型分别提取输入图像的检测特征和基础表征；

6、通过结构感知特征适配器将基础表征转换至与检测任务兼容的表征空间，生成对齐后的特征；

7、通过自适应跨源交互路由模块在对齐后的特征和检测特征之间执行自适应跨源交互路由，得到融合表征；

8、将融合特征输入双分支骨干网络中的增强检测模型的编码器-解码器的检测头中，进行目标的分类与边界框回归，获得目标预测结果。

9、本发明一个优选的实施方案中，双分支骨干网络的一个分支包括：采用在测试数据集上预训练的大视觉模型的预训练vit来提取语义泛化的基础表征，基础表征为：，；为大视觉模型的第i层的基础特征；上标i表示网络层序号，即第i层特征的索引，上标i∈[3,4,5]，下标d表示原始异构特征，即基础特征；i为输入图像，表示大视觉模型的编码器，表示将输入图像送入大视觉模型的编码器进行前向运算；

10、双分支骨干网络的另一个分支包括：采用增强检测模型的骨干网络来生成对定位敏感的多尺度的检测特征，检测特征为，，表示增强检测模型的骨干网络；表示图像送入增强检测模型的骨干网络前向计算，输出检测特征；为提取的增强检测模型的第i层面向检测的检测特征，下标r表示检测特征。

11、本发明一个优选的实施方案中，结构感知特征适配器包括：线性校准模块、非线性对齐模块、空间感知对齐模块；

12、所述线性校准模块用于执行线性投影对齐，包括3×3卷积层和同步批归一化层，为：，为第i层线性校准后特征，在协调特征分布，并为异构表示建立一个统一的嵌入空间；其中，为3×3卷积，为同步批归一化；下标l表示线性校准特征；

13、非线性对齐模块在线性校准模块的基础上增加了gelu激活函数，，其中，为gelu激活函数，为第i层非线性对齐后特征；下标n表示非线性对齐特征；

14、空间感知对齐模块在非线性对齐模块的基础上增加深度卷积，用于恢复空间归纳偏置，包括:，其中，表示3×3深度卷积，为空间感知对齐后的第i层基础特征；下标s表示空间感知对齐特征。

15、本发明一个优选的实施方案中，自适应跨源专家融合模块将对齐的基础特征和增强检测模型输出的检测特征投影到统一的交互空间中，采用轻量级门控网络基于全局上下文描述符预测专家路由权重，稀疏top-k路由机制激活最相关的专家以进行异构特征交互，选定的专家输出通过加权求和进行聚合，并通过残差语义精炼与原始表示进一步结合，从而生成最终的融合特征。

16、本发明一个优选的实施方案中，投影到统一的交互空间包括以下步骤：

17、对齐的基础特征和检测特征投影到一个统一的交互空间中，算法包括：，

18、轻量级投影瓶颈构建出统一的交互空间，算法包括：

19、，

20、其中，表示由1×1卷积组成的转换函数，为拼接特征，为投影到统一的交互空间后的特征；上标i表示网络层序号；表示将和直接通道拼接。

21、本发明一个优选的实施方案中，上下文感知路由包括：通过全局平均池化从投影表示中提取全局上下文描述符，基于全局上下文描述符，采用轻量级门控网络来估计专家路由分布，算法包括：，表示softmax函数；gap（·）表示自适应全局平均池化；表示第i层特征下，第j个专家的门控分数；w1、w2表示两层全连接网络的可学习权重矩阵；

22、采用稀疏top-k路由策略，仅激活最相关的专家：，其中表示在第i个特征处选定的专家集合；上标i表示网络层序号，下标j表示第j个专家索引；topk表示稀疏top-k路由函数，表示从全部专家权重中选出权重最大的前k个专家；k表示预设超参数，即每次只激活k个专家。

23、本发明一个优选的实施方案中，专家交互学习包括：

24、每个专家网络实现为轻量级瓶颈结构，算法包括：，，仅调用由各自转换函数表示的top-k专家来进行特征精炼；

25、专家增强的表示，通过对激活的专家进行加权求和得出：；其中，为第i层特征下，第j个专家的特征，表示上一步top-k筛选得到的被激活专家集合；表示专家增强后的融合特征；表示输入特征x送入第i尺度下第j个专家单元的输出特征。

26、本发明一个优选的实施方案中，残差语义精炼，包括：

27、将专家调节后的特征与原始投影嵌入重新整合，算法为：，为表示传递给后续transformer编码器-解码器架构的最终融合表示。

28、本发明一个优选的实施方案中，检测框架dair模型的建立和训练包括：

29、收集智慧交通检测目标图片，并标注检测框和对应的类别；

30、构建检测框架dair模型，建立结构感知特征适配器和自适应跨源交互路由模块，将大视觉模型主干特征嵌入增强检测模型作为双分支骨干网络；

31、检测框架dair模型的大视觉模型主干结构冻结，将采集数据进行交叉训练，获得智慧交通检测任务场景模型，获得权重，实现模型的预训练；

32、将训练好的模型部署到智慧交通云端服务器。

33、本发明一个优选的实施方案中，一种基于大视觉模型与增强检测模型的智慧交通目标检测系统，包括：

34、数据获取模块，采用摄像头获取输入图像；

35、数据处理模块，用于将输入图像输入预先训练的检测框架dair模型中，检测框架dair模型包括双分支骨干网络、结构感知特征适配器、自适应跨源交互路由模块，所述双分支骨干网络包括大视觉模型和增强检测模型；通过双分支骨干网络中的大视觉模型和增强检测模型分别提取输入图像的检测特征和基础表征；通过结构感知特征适配器将基础表征转换至与检测任务兼容的表征空间，生成对齐后的特征；通过自适应跨源交互路由模块在对齐后的特征和检测特征之间执行自适应跨源交互路由，得到融合表征；将融合特征输入双分支骨干网络中的增强检测模型的编码器-解码器的检测头中，进行目标的分类与边界框回归，获得目标预测结果；

36、数据输出模块，用于输出目标预测结果。

37、本发明解决了技术背景中存在的缺陷，本发明有益的技术效果是：

38、本发明引入大视觉模型（dinov3）的泛化优势，以增强检测模型（rt-detrv2）的性能表现，设置了轻量级的结构感知特征适配器，在保留语义先验的同时实现基础模型与检测特征的有效对齐；构建了自适应跨源专家融合模块，通过动态路由机制挖掘异构数据源间的互补语义与空间信息；通过将大视觉模型的特征提取能力引入检测框架中，在智慧城市云端计算环境中实现精准、鲁棒的城市级目标检测任务。

39、1、提出了一种将视觉基础模型整合至基于transformer目标检测器的解耦对齐与交互路由框架（dair）。解耦对齐与交互路由框架（dair）建立了原则性的表示桥接范式，通过将“表征对齐”与“交互路由”两个过程进行解耦，有效缓解了因联合优化导致的冲突。使基础模型（dinov3）的语义先验能够高效、稳定地迁移到检测任务的特征空间中，为后续模块奠定基础。

40、2、提出了结构感知特征适配器（structure-aware feature adapter；safa），是一种轻量级的空间感知表示对齐模块。结构感知特征适配器在保留大视觉模型可迁移语义先验的同时，通过引入线性校准、非线性激活及深度卷积构成的空间感知机制，有效弥合了通用基础模型表征与面向检测任务特征之间的分布鸿沟；显著提升了模型对复杂城市场景中遮挡、尺度剧变等情况的特征表达能力，且计算开销极低。

41、3、提除了自适应跨源专家融合模块（acef），将异构特征融合问题重新定义为动态交互路由任务。自适应跨源专家融合模块摒弃了静态拼接或注意力融合策略，采用上下文感知的稀疏top-k路由机制，使模型能够根据输入场景的具体特征（如密集程度、遮挡情况），自适应地选择最相关的“专家”分支进行特征交互。自适应跨源专家融合模块实现了对dinov3语义信息与rt-detrv2定位信息的选择性高效利用，在最大化特征融合效果的同时保证了计算效率。