一种基于大模型的自监督自动驾驶感知与预测方法及系统与流程

本发明涉及自动驾驶与计算机视觉技术，尤其涉及一种基于大模型的自监督自动驾驶感知与预测方法及系统。

背景技术：

1、在高阶自动驾驶中，3d目标检测、3d语义占用预测等三维感知技术及场景预测技术，是保障车辆精准环境感知、可靠决策规划的核心关键，直接决定自动驾驶系统的感知精度与行驶安全性。传统三维占用（occupancy，简称occ）网络训练高度依赖大规模人工三维标注数据，标注成本高、周期长，严重制约模型迭代与落地。为解决该问题，现有技术发展出基于神经辐射场（nerf）可微渲染的自监督occ训练方案，例如公开号为us20260051151a1的专利申请，其通过多视角一致性光度损失实现无三维标签的自监督训练，有效降低了三维感知模型的训练成本。

2、目前，行业也逐步将世界模型引入自动驾驶场景预测与规划任务，并利用sam等2d视觉基础模型实现自动化标注，有效降低了二维感知的标注成本，推动感知技术向自监督、低成本方向发展。但现有技术体系仍存在明显技术缺陷，无法满足高阶自动驾驶对三维感知精度、场景预测稳定性及闭环规划可靠性的严苛要求，具体不足如下：

3、首先，现有自监督occ网络仅依靠纯光度损失约束nerf渲染过程，缺乏细粒度实例级语义约束。同时，其nerf射线多采用均匀采样或单一密度采样方式，对目标边界特征提取不足，导致实例边界识别精度差。该问题使得模型对锥筒、行人等小目标检测精度低，且动态物体渲染易出现重影，造成动态场景与小目标感知漏检、误检，存在安全隐患。

4、其次，2d大模型先验与3d隐式重建缺乏深度耦合。现有技术利用sam生成伪标签仅用于离线真值监督或后处理优化，无法与nerf体渲染过程构建在线闭环反馈。在可微渲染前向过程中，无法有效利用2d大模型的强几何边界先验优势，二维语义、几何先验无法实时辅助三维重建，导致三维重建精度与语义贴合度难以提升。

5、最后，世界模型在三维occ隐空间的时空对齐精度不足。现有世界模型多在2d图像空间或一维离散token空间完成预测，迁移至三维occ隐空间推演时，缺乏针对自车运动及场景动态特征的显式时空对齐机制，导致预测的三维占用状态存在几何不一致问题、时序稳定性差，无法有效支撑自动驾驶闭环仿真与运动规划等下游任务。

技术实现思路

1、鉴于目前自动驾驶与计算机视觉技术存在的上述不足，本发明提供一种基于大模型的自监督自动驾驶感知与预测方法及系统，能够实现低成本高精度三维感知与预测。

2、为达到上述目的，本发明采用如下技术方案：

3、一种基于大模型的自监督自动驾驶感知与预测方法，所述方法包括：

4、获取自动驾驶车辆的多视角图像；

5、基于预训练大模型对所述多视角图像进行实例分割，生成二维实例伪标签掩码；

6、提取所述多视角图像的二维特征，并基于所述二维特征构建三维占用特征空间；基于所述三维占用特征空间预测三维场景流特征；

7、基于所述二维实例伪标签掩码执行掩码引导动态射线采样策略，对所述三维占用特征空间进行采样与体积渲染，生成二维渲染语义特征图、渲染rgb图像和渲染深度图；

8、基于所述二维渲染语义特征图、渲染rgb图像和渲染深度图，结合所述二维实例伪标签掩码，构建跨模态自监督总损失函数，反向传播更新所述三维占用特征空间；

9、基于所述三维场景流特征，对所述三维占用特征空间进行时空对齐，将对齐后的三维占用特征空间输入至世界模型，以预测未来的三维占用状态，并根据所述三维占用状态生成所述自动驾驶车辆的运动规划指令。

10、根据本发明的一个方面，所述基于所述二维实例伪标签掩码执行掩码引导动态射线采样策略，对所述三维占用特征空间进行采样与体积渲染，生成二维渲染语义特征图、渲染rgb图像和渲染深度图具体包括：

11、基于所述多视角图像生成像素射线参数方程；

12、根据所述二维实例伪标签掩码计算实例边界指示图和动态区域指示图；

13、基于所述射线参数方程进行粗采样，获得粗采样点，并计算粗略深度分布；

14、基于所述二维实例伪标签掩码、粗略深度分布、实例边界指示图和动态区域指示图执行动态细采样，并结合所述粗采样点确定最终采样点；

15、基于所述最终采样点结合所述三维占用特征空间，渲染输出二维渲染语义特征图、渲染rgb图像和渲染深度图。

16、根据本发明的一个方面，所述基于所述二维实例伪标签掩码、粗略深度分布、实例边界指示图和动态区域指示图执行动态细采样，并结合所述粗采样点确定最终采样点具体为：

17、根据所述二维实例伪标签掩码、实例边界指示图和动态区域指示图，自适应计算细采样点；

18、基于所述二维实例伪标签掩码、粗略深度分布、实例边界指示图和动态区域指示图，构建采样重要性权重函数；

19、基于采样重要性权重函数，生成细采样点；

20、合并所述粗采样点与所述细采样点，得到最终采样点。

21、根据本发明的一个方面，所述跨模态自监督总损失函数为跨模态语义损失、渲染深度耦合损失和多视角光度一致性损失的加权和。

22、根据本发明的一个方面，所述跨模态语义损失基于所述二维渲染语义特征图与所述二维实例伪标签掩码之间的交叉熵计算；所述渲染深度耦合损失基于所述渲染深度图与所述粗略深度分布的差值及梯度一致性计算；所述多视角光度一致性损失基于所述渲染rgb图像与多视角图像之间的l1损失和ssim损失计算。

23、根据本发明的一个方面，所述基于所述三维占用特征空间预测三维场景流特征具体为：基于相邻时间戳的所述三维占用特征，预测所述三维场景流特征。

24、根据本发明的一个方面，所述预训练大模型为sam。

25、根据本发明的一个方面，所述世界模型为基于transformer或卷积lstm的序列生成网络。

26、根据本发明的一个方面，所述时空对齐包括：基于三维场景流特征，将对齐后的历史三维占用特征与当前帧三维占用特征构成环境状态序列，结合自动驾驶车辆未来控制动作指令，输入世界模型，预测未来三维占用状态。

27、一种基于大模型的自监督自动驾驶感知与预测系统，所述系统应用于上述的自监督自动驾驶感知与预测方法，所述系统包括：

28、数据获取模块，获取自动驾驶车辆的多视角图像；

29、实例分割与特征提取模块，基于预训练大模型对所述多视角图像进行实例分割，生成二维实例伪标签掩码；

30、三维占用特征映射模块，提取所述多视角图像的二维特征，并基于所述二维特征构建三维占用特征空间；基于所述三维占用特征空间预测三维场景流特征；

31、渲染重建模块，基于所述二维实例伪标签掩码执行掩码引导动态射线采样策略，对所述三维占用特征空间进行采样与体积渲染，生成二维渲染语义特征图、渲染rgb图像和渲染深度图；

32、自监督损失计算模块，基于所述二维渲染语义特征图、渲染rgb图像和渲染深度图，结合所述二维实例伪标签掩码，构建跨模态自监督总损失函数，反向传播更新所述三维占用特征空间；

33、结果生成模块，基于所述三维场景流特征，对所述三维占用特征空间进行时空对齐，将对齐后的三维占用特征空间输入至世界模型，以预测未来的三维占用状态，并根据所述三维占用状态生成所述自动驾驶车辆的运动规划指令。

34、本发明实施的优点在于：利用预训练大模型生成的实例伪标签掩码引导粗细两阶段动态射线采样，在实例边界与动态区域实施自适应密集采样，并结合跨模态语义损失与深度耦合损失构建闭环反馈机制，使2d大模型的强几何边界先验深度融入3d体渲染过程，有效解决了现有技术中小目标检测精度低、动态物体渲染重影的问题，显著提升了三维占用空间重建的细粒度语义精度与几何一致性。同时，基于三维场景流预测，对历史三维占用特征进行时空对齐，确保世界模型在三维隐空间内的前向推演具有严格的几何物理一致性，预测的未来三维占用状态时序稳定、空间准确，能够有效支撑下游的碰撞检测、运动规划与闭环仿真任务，为高阶自动驾驶提供可靠的三维环境感知与预测能力。