基于神经辐射场和深度学习的路口拓扑构建及空间映射方法、系统及设备与流程

本发明属于自动驾驶、智慧交通及计算机视觉，涉及一种基于神经辐射场和深度学习的路口拓扑构建及空间映射方法、系统及设备。

背景技术：

1、深度学习是机器学习领域中以前馈神经网络为核心架构的技术体系，其核心在于通过构建具有多个非线性处理层的深度神经网络模型，实现对原始输入数据从低级到高级的逐层抽象与表征学习。与传统机器学习方法依赖人工设计特征不同，深度学习的核心优势在于其端到端的特征学习能力，已在计算机视觉领域取得革命性进展。

2、与传统机器学习方法依赖人工设计特征不同，深度学习的优势在于其端到端的特征学习能力。模型通过海量数据驱动，利用反向传播等优化算法，自动从原始数据（如图像像素、文本序列、音频波形）中迭代学习并提取多层次、非线性的内在特征表示。浅层网络通常捕获局部边缘、纹理等基础模式，而随着网络深度增加，高层网络能够组合出语义化的部件、对象乃至复杂概念。

3、得益于高质量预训练数据集、计算能力的提升以及算法架构的创新，深度学习已在计算机视觉、自然语言处理、语音识别等领域取得超越传统方法的性能，成为当前人工智能发展的主导技术范式。然而，该技术路径仍存在对大规模标注数据的依赖、计算成本高昂、决策过程可解释性不足等局限，这也是该领域持续演进的重要研究方向。

4、三维重建技术（3d reconstruction）是指通过采集物体或场景的二维数据（如图像、视频、深度信息等），利用计算机视觉、图形学和机器学习等技术，恢复其三维几何结构和表面信息的过程。神经辐射场（nerf）作为一种新兴的三维重建技术（3dreconstruction），通过隐函数对场景进行建模，将空间点在指定观察方向呈现的颜色和不透明度表示为以空间坐标和方向为输入的隐函数，并通过神经网络的反向传播拟合该函数。nerf能够渲染任意观察角度下的高保真图像，且可通过指定射线起始位置跳过遮挡物进行渲染。

5、三维重建与路口拓扑构建是智慧交通和自动驾驶领域的基础性技术。现有技术在路口场景下面临以下突出问题：

6、（1）视角不统一，难以联合分析。现有方法通常依赖单一摄像头视角下的图像信息，不同摄像头的视角和坐标系各不相同，导致多相机数据难以在同一空间框架下进行融合分析，限制了跨摄像头车辆跟踪和全域交通感知能力。

7、（2）动态车辆严重干扰静态要素重建。路口场景中运动车辆密集，传统三维重建方法难以有效区分动态车辆与静态道路标线，导致车道线、导向箭头等关键静态要素的重建精度下降。

8、（3）人工标定成本高，难以维护更新。传统方法需要大量人工操作来建立相机画面中车道与拓扑关系的对应关系，当摄像头位置调整或路口改造时，需要重新标定，系统可扩展性和可维护性差。

9、神经辐射场（nerf）作为一种新兴的三维重建技术，能够渲染任意观察角度下的高保真图像，且可通过指定射线起始位置跳过遮挡物进行渲染，这为解决上述问题提供了新的技术思路。

10、因此，亟需一种能够自动构建路口拓扑关系图，并建立像素坐标系到拓扑关系映射的方法及系统。

技术实现思路

1、为了解决使用图像自动构建路口拓扑关系图的技术问题，本发明公开了一种基于神经辐射场和深度学习的路口拓扑构建及空间映射方法、系统及设备。通过隐式神经表示模型渲染任意观察角度图像的能力，结合深度学习方法检测路口车道相关信息，自动构建出路口的车道级拓扑关系，以及路口相机画面与路口拓扑之间的映射关系。

2、本发明能够建立目标相机的像素坐标系到三维场景模型坐标系的映射关系，以及像素坐标系到拓扑图的映射关系，从而实现将路口摄像头检测到的车辆信息投影到世界坐标系进行多摄像头融合分析的功能，以及根据检测到的事故位置利用拓扑图找到受影响车道的功能。

3、具体而言，实现本发明目的技术方案如下：

4、第一方面，本发明提供了一种基于神经辐射场和深度学习的路口拓扑构建及空间映射方法，所述方法包括以下步骤：

5、s1：获取路口的图像序列及其位姿信息，基于神经辐射场方法构建支持渲染任意指定虚拟相机位姿下图像的三维场景模型，利用所述三维场景模型渲染生成所述路口的指定视角投影图像；

6、s2：利用深度学习检测网络对所述指定视角投影图像执行检测，识别所述路口中各车道的拓扑节点位置及属性信息；

7、s3：获取部署在该路口处相机的相机参数及位姿，利用所述三维场景模型对所述相机标定，建立所述相机的像素空间到世界坐标系的映射关系；

8、s4：以所述拓扑节点位置为拓扑节点，根据所述属性信息建立各车道之间的有向连接关系，生成所述路口的车道级拓扑图，并建立所述相机的像素空间到所述车道级拓扑图的映射关系。

9、作为一种优选的技术方案，步骤s1中，构建支持渲染任意指定虚拟相机位姿下图像的三维场景模型，包括：

10、s11：在以指定gps点为中心、单位为米且x、y、z轴分别指向东、南、上的世界坐标系为基准的前提下，利用所述图像序列的gps坐标和相机位姿估计结果，计算缩放比例；基于所述缩放比例确定旋转矩阵以建立建模坐标系，使所述建模坐标系的坐标轴指向预设方向且原点位于所述路口的中心区域；其中，所述建模坐标系与所述世界坐标系原点相同、轴向一致；

11、s12：提取所述图像序列中运动车辆的掩码；

12、s13：利用所述图像序列和所述掩码进行神经辐射场模型训练，在训练过程中忽略所述掩码所覆盖像素的损失函数；其中，所述三维场景模型为神经辐射场模型。

13、作为一种优选的技术方案，步骤s2中，所述拓扑节点位置包括各车道的主定位点坐标和次定位点坐标，所述属性信息包括车道类型和车道导向方向，所述车道导向方向包括左转、右转、直行、掉头及可变导向。

14、作为一种优选的技术方案，步骤s2中，所述深度学习检测网络采用卷积神经网络，所述检测网络根据所述指定视角投影图像的尺度一致性，采用单尺度检测头。

15、作为一种优选的技术方案，步骤s2中，还包括训练所述深度学习检测网络，具体包括：

16、s21：获取标注有主定位点和次定位点的指定视角投影训练图像，将所述训练图像划分为多个网格；

17、s22：对于每个网格，若其中心坐标与任一标注的主定位点坐标之间的距离小于预设阈值，则将该网格对应的输出作为正样本进行监督训练，否则作为负样本进行监督训练。

18、作为一种优选的技术方案，步骤s3中，建立所述相机的像素空间到世界坐标系的映射关系，包括：

19、s31：利用所述三维场景模型对所述相机的位姿进行校准；

20、s32：基于校准后的相机位姿，利用所述三维场景模型渲染生成深度图；

21、s33：根据所述深度图及所述相机的相机参数，建立所述相机的像素空间到世界坐标系的映射关系；

22、步骤s4中，建立所述相机的像素空间到所述车道级拓扑图的映射关系，包括：

23、s41、将所述车道级拓扑图投影至所述相机的像素平面，结合所述像素空间到世界坐标系的映射关系，生成所述像素空间到所述车道级拓扑图的映射关系。

24、作为一种优选的技术方案，步骤s4中，建立各车道之间的有向连接关系，包括：

25、s42：以各车道的所述拓扑节点位置中的主定位点为拓扑节点；

26、s43：根据所述属性信息对拓扑节点进行分组，同一组内的节点满足：车道导向方向相同、车道类型相同、且主定位点与次定位点连线方向之间的夹角偏差不大于预设角度；

27、s44：根据预设的交通规则，在不同分组的节点之间建立有向连接，其中，所述预设的交通规则包括：根据车道的导向方向确定连接的目标方向组；

28、s45：对于建立有向连接的驶出车道节点和驶入车道节点，在指定视角投影空间中生成连接该驶出车道节点与该驶入车道节点的平滑连接线。

29、作为一种优选的技术方案，步骤s45中，生成所述平滑连接线，包括：

30、在指定视角投影空间中计算插值点，将所述驶出车道节点、所述插值点和所述驶入车道节点依次连接；其中，所述插值点位于过所述驶出车道节点和所述驶入车道节点方向延长线的交点、且与所述驶出车道节点和所述驶入车道节点连线垂直的直线上，并且与所述连线的距离为预设比例值。

31、第二方面，本发明提供了一种基于神经辐射场和深度学习的路口拓扑构建及空间映射系统，包括场景建模与渲染模块、车道检测模块、相机标定模块、拓扑构建模块和映射模块。

32、其中，场景建模与渲染模块用于执行上述步骤s1；

33、车道检测模块用于执行上述步骤s2；

34、相机标定模块用于执行上述步骤s3；

35、拓扑构建模块用于执行上述步骤s4；

36、映射模块用于执行上述步骤s3和s4以建立映射关系。

37、第三方面，本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的基于神经辐射场和深度学习的路口拓扑构建及空间映射方法，以解决现有技术中使用图像自动构建路口拓扑关系图的技术问题。

38、与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：

39、1.自动化程度高：本发明利用无人机拍摄图像自动构建路口神经辐射场模型，结合深度学习检测方法，无需人工干预即可自动完成路口车道级拓扑图的构建，克服了传统方法需要大量人力人工构建相机画面中车道与拓扑关系对应关系的缺陷，大幅降低了路口数字化的人力成本和时间成本。

40、2.重建精度高、抗动态干扰能力强。通过s12步骤提取运动车辆掩码，并在s13步骤的训练过程中忽略掩码所覆盖像素的损失函数，本发明有效排除了动态车辆的干扰，确保了路口地面标线（如车道线、导向箭头）的重建精度。即使在车辆密集、遮挡严重的路口场景下，也能保证静态要素的重建质量。

41、3.支持多相机融合与跨视角分析。通过s31至s33步骤建立的像素空间到世界坐标系的映射关系，本发明可将多个路口相机的检测结果统一到同一世界坐标系中进行联合分析，实现跨摄像头车辆的持续跟踪。这解决了传统方法局限于单一摄像头视角、难以进行全域感知的技术瓶颈。

42、4.支持实时事件影响快速分析。通过s41步骤建立的像素空间到车道级拓扑图的映射关系，当路侧相机检测到事故或拥堵事件时，可即时确定受影响的车道节点，并在拓扑图中沿有向连接进行前向和后向搜索，快速识别受影响的所有车道。这为交通管理部门提供了实时决策支持能力。

43、5.可扩展性强、易于维护。通过s31步骤中利用三维场景模型对相机位姿进行校准，后装相机仅需提供内参、畸变参数及大致安装位置，即可快速接入系统并建立精确映射。得益于神经辐射场渲染图像接近真实照片的质量，系统可直接复用基于真实数据训练的检测识别模型，并利用渲染图与新摄像头实拍图进行基于特征点匹配的位姿估计，无需重新建模，便于系统的后续更新和维护，解决了现有技术难以维护更新的问题。

44、6.支撑自动驾驶与智慧交通。本发明自动构建的路口车道级拓扑关系及空间映射关系，可为自动驾驶车辆提供精准的路口结构化信息，支撑路径规划和行为决策；同时可为智慧交通管理系统提供路口数字化基础，支持交通流仿真、信号灯优化、事故预警等应用场景。