一种多视角一致的三维场景构建方法及系统

本发明属于三维感知与无人驾驶，具体涉及一种多视角一致的三维场景构建方法及系统。

背景技术：

1、在无人驾驶系统的环境感知任务中，三维障碍物的检测与表征是核心环节。传统方法多依赖于三维目标检测模型，将环境中的物体简化为三维长方体边界框。然而，这种表征方式仅能涵盖有限类别的已知物体，且在处理形状复杂的异形障碍物时，难以提供精细的几何结构信息，进而影响避障路径规划的安全性。

2、此外，现有深度学习感知模型高度依赖于大规模的人工标注数据，数据标注过程耗时费力且成本高昂。虽然基于神经辐射场（nerf）的隐式表征技术展现了强大的三维重建能力，但其原始框架多适用于静态离线场景，且缺乏跨视角几何一致性的显式约束。这导致在动态驾驶环境下，模型往往无法保证在不同观测视角下深度估计的逻辑一致性。

技术实现思路

1、本发明的目的在于为了解决现有感知模型对人工标注依赖性强、异形障碍物建模精度低以及多视角感知结果不一致的问题，提出一种多视角一致的三维场景构建方法及系统，通过自监督训练机制与几何一致性约束，在不依赖人工标注的前提下实现对复杂环境的高精度、高稳定性的三维场景建模与避障表征。

2、为实现上述目的，本发明采用以下技术方案。

3、一种多视角一致的三维场景构建方法，包括以下步骤：

4、获取同步的原始相机图像和激光雷达点云；

5、利用双流特征提取网络对所述原始相机图像和所述激光雷达点云进行特征提取，并将提取的特征进行融合，得到融合传感特征；

6、利用体渲染模块基于所述融合传感特征进行体渲染处理，得到合成图像和合成深度；

7、基于所述合成图像和所述合成深度以及所述原始相机图像和所述激光雷达点云构建联合损失，并利用所述联合损失对所述双流特征提取网络和所述体渲染模块进行迭代优化训练，得到三维场景感知模型；

8、利用所述三维场景感知模型对待处理相机图像和激光雷达点云进行处理，生成三维场景重建结果。

9、进一步地，利用双流特征提取网络对所述原始相机图像和所述激光雷达点云进行特征提取，包括：

10、通过深度卷积神经网络对所述原始相机图像进行下采样，提取透视视角下的图像语义特征；

11、对所述激光雷达点云进行体素化处理并映射至鸟瞰视角平面，提取鸟瞰视角下的点云几何结构特征。

12、进一步地，将提取的特征进行融合，得到融合传感特征，包括：

13、获取待采样三维空间点，利用投影矩阵将所述待采样三维空间点分别投影至透视视角平面与鸟瞰视角平面；

14、通过双线性插值在所述透视视角平面获取图像语义特征，并在所述鸟瞰视角平面获取点云几何结构特征；

15、对获取到的所述图像语义特征与所述点云几何结构特征进行向量拼接，得到融合传感特征。

16、进一步地，基于所述融合传感特征进行体渲染处理，得到合成图像和合成深度，包括：

17、沿相机焦点至像素点的射线进行离散采样，确定各采样点的体积密度与颜色值；

18、基于所述体积密度计算各采样点对应的透射率与不透明度权重；

19、根据所述不透明度权重对采样点的颜色值进行加权积分得到合成图像，并根据所述不透明度权重对采样点的采样距离进行加权积分得到合成深度。

20、进一步地，沿相机焦点至像素点的射线进行离散采样，确定各采样点的体积密度与颜色值，包括：

21、基于随机采样策略选取像素区域内的待渲染射线束，并优先选取激光雷达点云覆盖区域对应的射线；

22、利用多层感知机对所述待渲染射线束上的采样点进行特征解析，得到体积密度与颜色值。

23、进一步地，基于所述合成图像和所述合成深度以及所述原始相机图像和所述激光雷达点云构建联合损失，包括：

24、计算所述合成图像与所述原始相机图像像素间的颜色偏差，得到光度损失；

25、计算所述合成深度与激光雷达点云投影深度间的距离误差，得到深度监督损失；

26、基于循环重投影逻辑计算多个观测视角间的深度匹配误差，得到几何一致性损失；

27、对所述光度损失、所述深度监督损失及所述几何一致性损失进行加权求和，得到联合损失。

28、进一步地，基于循环重投影逻辑计算多个观测视角间的深度匹配误差，得到几何一致性损失，包括：

29、结合第一视角下的像素点坐标与估计深度，映射得到第一三维空间点；

30、将所述第一三维空间点投影至第二视角的成像平面，得到第二视角投影坐标；

31、获取所述第二视角投影坐标对应的估计深度并还原为第二三维空间点，将所述第二三维空间点投影回第一视角得到重投影像素点坐标；

32、度量所述重投影像素点坐标与所述第一视角下的像素点坐标间的欧氏距离，得到几何一致性损失。

33、进一步地，利用所述联合损失对所述双流特征提取网络和所述体渲染模块进行迭代优化训练，包括：

34、根据所述联合损失对所述双流特征提取网络和所述体渲染模块的网络参数进行梯度更新；

35、在所述联合损失收敛后，提取零等值面以生成三维网格，完成感知模型训练。

36、进一步地，利用所述三维场景感知模型对待处理相机图像和激光雷达点云进行处理，生成三维场景重建结果，包括：

37、根据待重建场景的连续观测序列选取观测帧，作为渲染监督参考；

38、通过训练后的三维场景感知模型对实时输入的传感器数据进行体积特征提取与场景合成，生成多视角一致的三维场景重建结果。

39、一种多视角一致的三维场景构建系统，包括：

40、数据获取模块，用于获取同步的原始相机图像和激光雷达点云；

41、双流特征提取网络，用于对所述原始相机图像和所述激光雷达点云进行特征提取，并将提取的特征进行融合，得到融合传感特征；

42、体渲染模块，用于基于所述融合传感特征进行体渲染处理，得到合成图像和合成深度；

43、训练模块，用于基于所述合成图像和所述合成深度以及所述原始相机图像和所述激光雷达点云构建联合损失，并利用所述联合损失对所述双流特征提取网络和所述体渲染模块进行迭代优化训练，得到三维场景感知模型；

44、推理模块，用于利用所述三维场景感知模型对待处理相机图像和激光雷达点云进行处理，生成三维场景重建结果。

45、本发明取得了如下有益效果。

46、1.本发明采用基于连续时间序列的自监督学习机制，利用时空帧序列的一致性作为监督信号，打破了传统模型对大规模人工标注三维数据的依赖，实现了零标注成本的训练流程。

47、2.本发明通过引入多视角几何一致性损失函数，构建像素与三维点间的闭环重投影逻辑，有效解决了深度估计在不同观测视角下的漂移问题，显著增强了重建三维结构的几何鲁棒性与逻辑稳定性。

48、3.本发明基于神经辐射场原理利用体渲染模块预测体积密度，相比传统的长方体框表征，能够更精细地刻画复杂异形物体的几何边缘与局部纹理细节，为无人车提供了更详尽的避障表征信息。

49、4.本发明通过双流特征提取网络实现了透视视角语义与鸟瞰视角几何结构特征的深度融合，使模型在面临遮挡场景或远距离感知任务时依然具备强大的表征能力，展现出极强的环境适应性。

50、5.本发明通过对联合损失的协同优化，实现了从传感器数据到三维网格结果的高效转化，其生成的多视角一致性场景可直接应用于无人驾驶的路径规划、障碍物检测及高精地图构建。