一种基于世界模型的雷视融合三维目标检测方法、系统、终端及存储介质与流程

摘要: 本发明涉及三维目标检测,尤其涉及一种基于世界模型的雷视融合三维目标检测方法、系统、终端及计算机可读存储介质。背景技术:1、三维目标检测是自动驾驶感知系统的核心任...
一种基于世界模型的雷视融合三维目标检测方法、系统、终端及存储介质与流程

本发明涉及三维目标检测,尤其涉及一种基于世界模型的雷视融合三维目标检测方法、系统、终端及计算机可读存储介质。

背景技术:

1、三维目标检测是自动驾驶感知系统的核心任务,其目标是对车辆周围环境中的交通参与者(如机动车、非机动车、行人)及障碍物进行精确的类别识别、三维空间定位和朝向估计。随着自动驾驶等级从l2向l4/l5演进,感知系统对检测精度、鲁棒性和实时性的要求日益严苛,单一传感器已难以满足复杂开放道路场景下的全工况感知需求。

2、目前,主流的三维目标检测方案主要依赖以下三类传感器:

3、激光雷达(lidar):通过发射激光束获取高精度的三维点云,能够直接提供目标的几何轮廓和深度信息,测距精度可达厘米级。然而,激光雷达存在显著局限:硬件成本高昂(单颗车规级激光雷达售价通常在数千至数万元),大规模量产部署困难;在雨、雾、雪等恶劣天气条件下,点云数据会因大气散射而出现大量噪点甚至缺失;此外,激光雷达无法提供纹理、颜色等语义信息,对交通标志、车道线等弱反射目标的识别能力有限。

4、光学相机:以rgb图像形式提供丰富的纹理、颜色和形状语义信息,分辨率高、成本低廉,且与人类视觉感知方式最为接近。但相机本质上是一种被动式传感器,缺乏主动测距能力,单目图像中像素与三维空间点的映射存在深度歧义,即使采用立体视觉或运动恢复结构方法,深度估计精度仍远低于激光雷达,且计算开销较大。

5、四维毫米波雷达(4d radar):相较于传统三维雷达,四维雷达在水平角、俯仰角、距离和速度四个维度上均具备测量能力,能够输出目标的距离、方位角、俯仰角以及径向多普勒速度。其核心优势在于:成本远低于激光雷达(约为后者的十分之一至五分之一);对雨雾尘埃具有良好的穿透性,全天候工作能力强;可直接测量目标径向速度,为运动预测提供天然的速度先验。但其缺点同样明显-角分辨率较低,点云稀疏且缺乏语义信息,对静态物体的聚类和识别较为困难。

6、鉴于上述传感器特性互补,将雷达与相机进行融合已成为三维目标检测领域的主流技术路线。融合的核心挑战在于如何将异构传感器数据映射到统一的特征表示空间。近年来,鸟瞰视角(bev,bird's-eye view)表示方法因其天然具备尺度一致性、遮挡处理友好且便于下游规划控制任务等优势,受到学术界和工业界的广泛关注。bev融合方案通常将相机图像通过视锥变换或交叉注意力机制提升至三维空间,再将雷达点云投影至bev网格,二者在bev特征图上进行拼接或注意力交互,最终由检测头回归目标的三维包围框。

7、作为代表性工作之一,sgdet3d(semantic-geometry detection 3d,语义-几何三维检测网络)提出了一种基于雷达引导深度补全与定位感知交叉注意力的雷视融合框架。该方法利用雷达点云的稀疏深度值对相机的图像特征进行深度分布引导,缓解单目深度估计的不确定性;同时,通过定位感知的注意力模块,使雷达特征与图像特征在bev空间中进行自适应交互,有效提升了远距离小目标的检测召回率。

8、尽管现有bev融合方法在公开数据集上取得了良好的检测性能,但经深入分析,其仍存在以下显著缺陷:

9、(1)、单帧监督导致bev隐状态缺乏短时动力学信息,定位精度受限。

10、现有bev融合网络在训练阶段,检测损失函数仅对当前时刻输出的三维包围框施加监督(如smooth l1损失、iou损失等),即仅要求bev特征图上解码得到的物体位置与当前帧标注框对齐。然而,bev隐状态作为整个场景的紧凑向量化表征,理论上应同时承载空间布局与运动趋势信息。由于训练目标仅关注“物体当前在哪里”,网络缺乏内在驱动力去学习物体在短时间窗口内的运动模式和位移规律。对于道路上具有明确运动趋势的车辆(如直行、转弯)、行人等可预测目标,现有模型仅依赖单帧外观和几何线索进行定位,当目标被遮挡、截断或激光雷达点云稀疏时,其位置估计容易出现抖动或偏移,限制了检测精度的进一步提升。换言之,隐状态并未显式或隐式编码下一帧物体的预期位置,导致特征表达的时间一致性不足。

11、(2)、推理阶段多帧融合策略与低时延部署需求存在根本矛盾。

12、部分先进方法尝试利用历史多帧点云或图像序列来增强当前帧检测,通过时序信息补偿单帧感知的不足。然而,这类多帧融合方案在推理阶段必须执行帧间位姿对齐(通常依赖惯性测量单元imu或里程计提供的自运动补偿),并将历史帧特征变换到当前帧坐标系下,再执行时序注意力或循环神经网络递推。这一过程不仅引入了额外的坐标系变换和特征重采样计算,还显著增加了显存占用和推理延迟。在量产车规级嵌入式平台上,感知模块的端到端延时通常要求控制在50毫秒以内,而多帧融合的额外开销(尤其在处理高分辨率bev特征时)往往使系统难以满足实时性指标。因此,现有方法在实际部署时几乎都退化为单帧推理模式,丧失了时序信息的潜在增益。

13、(3)、辅助监督设计不当:未来帧直接重建任务牵引特征走向外观细节,损害检测主干。

14、为缓解单帧监督信息不足的问题,部分研究尝试引入辅助自监督任务,例如利用深度估计分支监督当前帧深度图,或利用未来帧图像/点云重建作为损失项,期望通过预测未来传感器数据来迫使隐状态编码时序信息。然而,经实验发现,直接要求网络重建下一帧的rgb图像或密集点云,会强有力地牵引bev隐状态和编码器特征去保留大量与三维检测任务无关的纹理、光照、颜色等低层次外观细节。这种“特征偏移”效应使得特征提取网络的容量被外观重建任务大量占用,而对语义判别和几何定位的关键特征表征能力反而被削弱,最终导致检测精度不升反降。同时,像素级/点级重建任务的计算量巨大,进一步加大了训练负担和部署难度。

15、综上所述,现有基于bev的雷视融合三维检测方法在时序信息利用上存在监督缺失、推理效率与信息利用矛盾、辅助任务设计失当等问题。

16、因此,现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种基于世界模型的雷视融合三维目标检测方法、系统、终端及计算机可读存储介质,旨在解决现有单帧bev融合方案的训练目标仅监督当前帧物体位置,导致隐状态缺乏对物体短时动力学信息的编码,限制了可预测目标的定位精度,且推理时引入多帧融合会显著增加延迟,难以满足低时延部署需求的问题。

2、为实现上述目的,本发明提供一种基于世界模型的雷视融合三维目标检测方法,所述基于世界模型的雷视融合三维目标检测方法包括如下步骤:

3、采集当前时刻的四维毫米波雷达点云与相机图像,并获取同一驾驶序列中下一时刻的四维毫米波雷达点云与相机图像,根据当前时刻和下一时刻采集的数据构建训练帧对,获得同步雷视输入数据;

4、将所述同步雷视输入数据分别输入雷达特征提取分支与相机特征提取分支,经雷视融合骨干映射至鸟瞰视角空间,获得bev隐特征;

5、将所述bev隐特征输入检测头,得到当前时刻的三维检测监督信号,并在训练阶段将所述bev隐特征分别输入场景动力学头与目标解码头,所述场景动力学头预测下一帧停梯度嵌入并计算场景损失,所述目标解码头预测各类别下一帧bev占用图并计算目标损失,当有相对位姿时,将未来帧隐特征与占用真值对齐至当前bev网格后,与检测损失联合优化;

6、当训练完成后移除所述场景动力学头与所述目标解码头,在推理阶段,将所述bev隐特征输入检测头进行处理,输出三维目标检测结果。

7、可选地,所述的基于世界模型的雷视融合三维目标检测方法,其中,所述采集当前时刻的四维毫米波雷达点云与相机图像,并获取同一驾驶序列中下一时刻的四维毫米波雷达点云与相机图像,根据当前时刻和下一时刻采集的数据构建训练帧对,获得同步雷视输入数据,具体包括:

8、在当前时刻t采集四维毫米波雷达点云与相机图像,并在同一序列中取下一时刻t+1对应的四维毫米波雷达点云与相机图像,构成训练帧对(t,t+1);

9、对于提供相对位姿的数据集,根据自车相对位姿对帧对进行筛选,过滤大位移样本对,对于不提供相对位姿的数据集,按帧索引在序列内配对,得到同步雷视输入数据及相对位姿信息。

10、可选地,所述的基于世界模型的雷视融合三维目标检测方法,其中,所述将所述同步雷视输入数据分别输入雷达特征提取分支与相机特征提取分支,经雷视融合骨干映射至鸟瞰视角空间,获得bev隐特征,具体包括:

11、将当前时刻t同步采集的四维毫米波雷达点云输入雷达特征提取分支,对所述四维毫米波雷达点云进行体素化或支柱化编码,提取多尺度点云几何特征,并通过高度维度的压缩卷积,将点云特征沿垂直方向聚合,生成初始雷达bev特征;

12、将当前时刻t同步采集的相机图像输入相机特征提取分支,利用2d卷积骨干网络提取多尺度图像语义特征,同时,基于所述四维毫米波雷达点云在图像平面上的稀疏投影点所提供的可靠深度先验,对图像特征进行雷达引导的深度分布估计与补全,再将携带深度信息的图像语义特征通过视锥变换散射至三维空间,并执行bev池化操作,生成初始相机bev特征;

13、将所述初始雷达bev特征与所述初始相机bev特征在空间网格坐标系下进行位置对齐,并输入至定位感知的交叉注意力融合模块,以所述初始雷达bev特征作为几何位置查询,以所述初始相机bev特征作为语义键值,通过注意力权重计算实现几何信息与语义信息的自适应交互与增强,得到融合后的bev交互特征;

14、将所述bev交互特征输入至由多层卷积构成的bev特征细化网络,进行跨通道信息整合与空间上下文增强,输出最终的bev隐特征。

15、可选地,所述的基于世界模型的雷视融合三维目标检测方法,其中,所述bev隐特征同时作为当前时刻三维目标检测的特征输入,以及作为世界模型状态用于后续未来帧预测任务的监督信号。

16、可选地,所述的基于世界模型的雷视融合三维目标检测方法,其中,所述将所述bev隐特征输入检测头,得到当前时刻的三维检测监督信号,并在训练阶段将所述bev隐特征分别输入场景动力学头与目标解码头,所述场景动力学头预测下一帧停梯度嵌入并计算场景损失,所述目标解码头预测各类别下一帧bev占用图并计算目标损失,当有相对位姿时,将未来帧隐特征与占用真值对齐至当前bev网格后,与检测损失联合优化,具体包括:

17、获取bev隐特征,将所述bev隐特征输入至并联于bev特征提取主干之后的三维检测头,由所述三维检测头回归当前时刻t的三维目标边界框参数及类别概率,并计算检测损失;

18、将所述bev隐特征同时输入至场景动力学头,所述场景动力学头采用轻量卷积预测器,将当前时刻状态映射为下一帧隐特征的预测值:

19、;

20、将融合骨干对下一帧t+1的雷视输入数据执行无梯度前向传播所得到的停梯度嵌入作为预测目标,计算场景损失,所述场景损失仅在当前bev网格的有效格点集合上计算预测嵌入与目标嵌入之间的均方误差:

21、;

22、其中,表示bev网格中的格点位置,表示欧几里得距离的平方,表示停止梯度操作;

23、将所述bev隐特征同时输入至目标解码头,所述目标解码头采用解码器网络,将同一bev隐特征映射为各类别在下一帧的bev空间的占用预测图:

24、;

25、其中,所述占用预测图的每个格点输出对应各类别的占用对数几率;

26、将下一帧t+1的三维目标边界框真值按照空间位置栅格化至bev网格,生成各类别的占用标签图,在所述占用标签图与预测占用图之间采用类平衡二元交叉熵损失计算目标损失;

27、当自动驾驶车辆存在帧间相对位姿变换时,执行自车运动对齐操作,将所述场景动力学头预测的下一帧隐特征预测值和所述目标解码头使用的下一帧占用标签图,分别通过平面刚体变换与双线性重采样操作对齐至当前帧t时刻的bev坐标系下,得到对齐后的场景特征和占用标签;

28、;

29、;

30、其中,表示空间变换与重采样操作;

31、将检测损失、场景损失以及目标损失,按照预设权重系数进行加权求和,构成联合训练总损失;

32、以联合训练总损失作为优化目标,对雷达特征提取分支、相机特征提取分支、雷视融合骨干、三维检测头、场景动力学头及目标解码头的可学习参数进行端到端的联合梯度更新。

33、可选地,所述的基于世界模型的雷视融合三维目标检测方法,其中,所述联合训练总损失为:

34、;

35、其中,表示联合训练总损失,表示场景损失权重,表示目标损失权重;检测损失监督当前帧框,场景损失与目标损失仅在训练阶段生效。

36、可选地,所述的基于世界模型的雷视融合三维目标检测方法,其中,

37、此外,为实现上述目的,本发明还提供一种基于世界模型的雷视融合三维目标检测系统,其中,所述基于世界模型的雷视融合三维目标检测系统包括:

38、数据采集模块,用于采集当前时刻的四维毫米波雷达点云与相机图像,并获取同一驾驶序列中下一时刻的四维毫米波雷达点云与相机图像,根据当前时刻和下一时刻采集的数据构建训练帧对,获得同步雷视输入数据;

39、特征提取模块,用于将所述同步雷视输入数据分别输入雷达特征提取分支与相机特征提取分支,经雷视融合骨干映射至鸟瞰视角空间,获得bev隐特征;

40、模型训练模块,用于将所述bev隐特征输入检测头,得到当前时刻的三维检测监督信号,并在训练阶段将所述bev隐特征分别输入场景动力学头与目标解码头,所述场景动力学头预测下一帧停梯度嵌入并计算场景损失,所述目标解码头预测各类别下一帧bev占用图并计算目标损失,当有相对位姿时,将未来帧隐特征与占用真值对齐至当前bev网格后,与检测损失联合优化;

41、检测结果输出模块,用于当训练完成后移除所述场景动力学头与所述目标解码头,在推理阶段,将所述bev隐特征输入检测头进行处理,输出三维目标检测结果。

42、此外,为实现上述目的,本发明还提供一种终端,其中,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于世界模型的雷视融合三维目标检测程序,所述基于世界模型的雷视融合三维目标检测程序被所述处理器执行时实现如上所述的基于世界模型的雷视融合三维目标检测方法的步骤。

43、此外,为实现上述目的,本发明还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有基于世界模型的雷视融合三维目标检测程序,所述基于世界模型的雷视融合三维目标检测程序被处理器执行时实现如上所述的基于世界模型的雷视融合三维目标检测方法的步骤。

44、本发明中,采集当前时刻的四维毫米波雷达点云与相机图像,并获取同一驾驶序列中下一时刻的四维毫米波雷达点云与相机图像,根据当前时刻和下一时刻采集的数据构建训练帧对,获得同步雷视输入数据;将所述同步雷视输入数据分别输入雷达特征提取分支与相机特征提取分支,经雷视融合骨干映射至鸟瞰视角空间,获得bev隐特征;将所述bev隐特征输入检测头,得到当前时刻的三维检测监督信号,并在训练阶段将所述bev隐特征分别输入场景动力学头与目标解码头,所述场景动力学头预测下一帧停梯度嵌入并计算场景损失,所述目标解码头预测各类别下一帧bev占用图并计算目标损失,当有相对位姿时,将未来帧隐特征与占用真值对齐至当前bev网格后,与检测损失联合优化;当训练完成后移除所述场景动力学头与所述目标解码头,在推理阶段,将所述bev隐特征输入检测头进行处理,输出三维目标检测结果。本发明在不改变推理计算图、不增加部署时延的前提下,通过世界模型辅助训练提升运动可预测目标的三维检测精度。