基于车载视觉观测的车辆三维高斯模型构建方法和装置

摘要: 本发明涉及车辆建模,尤其涉及一种基于车载视觉观测的车辆三维高斯模型构建方法和装置。背景技术:1、在自动驾驶仿真场景中,需要将各种类型的车辆模型插入虚拟环境,以模...
基于车载视觉观测的车辆三维高斯模型构建方法和装置

本发明涉及车辆建模,尤其涉及一种基于车载视觉观测的车辆三维高斯模型构建方法和装置。

背景技术:

1、在自动驾驶仿真场景中,需要将各种类型的车辆模型插入虚拟环境,以模拟罕见事件并评估算法的鲁棒性,这对车辆三维高斯模型的几何精度和物理尺度提出了较高要求。

2、目前,在进行车辆三维高斯模型重建时,是以车辆为中心的多视角图像及对应的相机位姿,采用神经辐射场(neural radiance field,nerf)和三维高斯泼溅(3d gaussiansplatting),对多视角图像进行逐场景迭代优化,生成高质量的车辆三维高斯模型。

3、海量回流的车载视觉数据通常是在车辆前进场景中采集的,视角有限,重建时难以恢复真实尺度和完整结构。因此,如何在仅观测到车辆局部位置图像的条件下,构建出同时具备真实尺度与几何完整性的车辆三维高斯模型,是目前亟待解决的技术问题。

技术实现思路

1、本发明提供一种基于车载视觉观测的车辆三维高斯模型构建方法和装置,用以解决现有技术中如何在仅观测到车辆局部位置图像的条件下,构建出同时具备真实尺度与几何完整性的车辆三维高斯模型的问题。

2、本发明提供一种基于车载视觉观测的车辆三维高斯模型构建方法,包括:

3、获取针对目标车辆局部位置的多张图像及每张图像对应的相机位姿;

4、将所述多张图像和对应的相机位姿输入视觉基础模型,通过深度估计得到各所述图像的相对深度图,通过尺度预测得到全局尺度因子,并基于所述全局尺度因子和各所述相对深度图得到覆盖所述目标车辆局部位置的、具有真实尺度的三维点云,所述三维点云由各所述图像反投影得到的三维点合并得到,所述三维点云中的每个三维点作为一个高斯球的基准中心位置;

5、针对各所述图像,基于所述图像和所述图像对应的相对深度图,确定所述图像对应的高斯属性图,所述高斯属性图中包括所述图像中各像素点的高斯属性,所述高斯属性包括位置偏移量、旋转矩阵、缩放矩阵、不透明度和颜色参数,所述高斯属性图中的像素点与各所述图像反投影至三维空间得到的三维点一一对应;

6、基于各所述像素点对应的位置偏移量对对应的三维点的基准中心位置进行校正,得到各所述像素点对应的高斯球的中心位置;

7、基于各所述高斯球的中心位置,确定所述目标车辆的参考侧;

8、将所述参考侧的高斯球通过镜像变换克隆至另一侧,并根据所述参考侧的高斯球和克隆后的高斯球,确定覆盖所述目标车辆表面的三维高斯模型。

9、根据本发明提供的一种基于车载视觉观测的车辆三维高斯模型构建方法,所述将所述多张图像和对应的相机位姿输入视觉基础模型,通过深度估计得到各所述图像的相对深度图,通过尺度预测得到全局尺度因子,并基于所述全局尺度因子和各所述相对深度图得到覆盖所述目标车辆局部位置的、具有真实尺度的三维点云,包括:

10、将所述多张图像和对应的相机位姿输入视觉基础模型,通过所述视觉基础模型中的多模态编码器提取各所述图像的图像特征;

11、通过所述视觉基础模型中的解码器对各所述图像特征进行解码处理,并通过所述视觉基础模型中的深度预测层对各解码后的图像特征进行深度估计,得到各所述图像对应的相对深度图;

12、通过所述解码器对各所述图像特征和可学习的尺度编码进行处理,并通过所述视觉基础模型中的尺度预测层对处理后的尺度编码进行回归处理,得到所述全局尺度因子;

13、基于各所述相对深度图、对应的相机位姿以及所述全局尺度因子,确定所述三维点云。

14、根据本发明提供的一种基于车载视觉观测的车辆三维高斯模型构建方法,所述基于各所述相对深度图、对应的相机位姿以及所述全局尺度因子,确定所述三维点云,包括:

15、针对各所述图像,基于所述全局尺度因子、所述图像对应的相对深度图和相机位姿,将所述图像中各像素点反投影至三维空间,得到所述图像对应的具有真实尺度的单帧三维点云;

16、对所述图像进行语义分割,得到所述图像对应的车辆掩码;

17、利用所述车辆掩码对对应的所述单帧三维点云进行过滤,得到所述目标车辆对应的车辆区域的三维点;

18、将各所述单帧三维点云中车辆区域的三维点进行合并处理,得到所述三维点云。

19、根据本发明提供的一种基于车载视觉观测的车辆三维高斯模型构建方法,所述基于所述图像和所述图像对应的相对深度图,确定所述图像对应的高斯属性图,包括:

20、将所述图像和所述图像对应的相对深度图沿通道维度拼接,得到多通道特征图;

21、将所述多通道特征图输入高斯属性预测模型,通过所述高斯属性预测模型中的编码器对所述多通道特征图进行多尺度特征提取,通过所述高斯属性预测模型中的解码器对提取的多尺度特征进行逐级上采样,并将采样结果与所述编码器对应层的特征进行跳跃连接融合,得到与所述图像的分辨率相同的所述高斯属性图。

22、根据本发明提供的一种基于车载视觉观测的车辆三维高斯模型构建方法,所述编码器采用resnet-50网络结构,包括多个残差网络模块,所述残差网络模块用于逐步提取多尺度特征;

23、所述解码器包括多个解码模块,每个所述解码模块通过卷积层调整特征通道数,经上采样后与所述编码器中对应尺度的特征进行跳跃连接融合。

24、根据本发明提供的一种基于车载视觉观测的车辆三维高斯模型构建方法,所述基于各所述高斯球的中心位置,确定所述目标车辆的参考侧,包括:

25、基于各所述高斯球的中心位置,确定所述目标车辆的纵向中轴面两侧的高斯球分布;

26、基于所述高斯球分布,将所述高斯球数量最大的一侧确定为所述目标车辆的参考侧。

27、根据本发明提供的一种基于车载视觉观测的车辆三维高斯模型构建方法,所述将所述参考侧的高斯球通过镜像变换克隆至另一侧,并根据所述参考侧的高斯球和克隆后的高斯球,确定覆盖所述目标车辆表面的三维高斯模型,包括:

28、以所述目标车辆的纵向中轴面为对称面,将所述参考侧的高斯球通过镜像变换克隆至另一侧,得到所述另一侧中克隆后的高斯球;

29、将所述参考侧的高斯球和所述克隆后的高斯球合并;

30、根据合并后的高斯球,确定覆盖所述目标车辆表面的三维高斯模型。

31、根据本发明提供的一种基于车载视觉观测的车辆三维高斯模型构建方法,所述根据合并后的高斯球,确定覆盖所述目标车辆表面的三维高斯模型,包括:

32、对所述图像进行语义分割,得到所述图像对应的车辆掩码;

33、利用所述车辆掩码对所述合并后的高斯球进行过滤,得到覆盖所述目标车辆表面的三维高斯模型。

34、根据本发明提供的一种基于车载视觉观测的车辆三维高斯模型构建方法,所述高斯属性预测模型为基于如下方式训练得到的:

35、获取针对样本车辆局部位置的多张样本图像及对应的样本相机位姿,以及不同于所述局部位置的其他位置的多张真值图像;

36、将所述多张样本图像及对应的样本相机位姿输入所述视觉基础模型,得到每张所述样本图像对应的样本相对深度图以及覆盖所述样本车辆局部位置的、具有真实尺度的样本三维点云;

37、将各所述样本图像和对应的样本相对深度图进行拼接,并将拼接后的样本多通道特征图输入初始高斯属性预测模型,得到各所述样本图像对应的样本高斯属性图;

38、基于所述样本高斯属性图和所述样本三维点云确定覆盖所述目标车辆表面的样本三维高斯模型;

39、基于所述样本三维高斯模型和所述多张真值图像,确定所述高斯属性预测模型。

40、根据本发明提供的一种基于车载视觉观测的车辆三维高斯模型构建方法,所述基于所述样本三维高斯模型和所述多张真值图像,确定所述高斯属性预测模型,包括:

41、将所述样本三维高斯模型渲染至各所述真值图像对应的视角,得到渲染图像;

42、基于各所述渲染图像与对应的真值图像,构建损失函数;

43、基于所述损失函数更新所述初始高斯属性预测模型的模型参数,得到所述高斯属性预测模型。

44、本发明还提供一种基于车载视觉观测的车辆三维高斯模型构建装置,包括:

45、获取模块,用于获取针对目标车辆局部位置的多张图像及每张图像对应的相机位姿;

46、确定模块,用于将所述多张图像和对应的相机位姿输入视觉基础模型,通过深度估计得到各所述图像的相对深度图,通过尺度预测得到全局尺度因子,并基于所述全局尺度因子和各所述相对深度图得到覆盖所述目标车辆局部位置的、具有真实尺度的三维点云,所述三维点云由各所述图像反投影得到的三维点合并得到,所述三维点云中的每个三维点作为一个高斯球的基准中心位置;

47、所述确定模块,还用于针对各所述图像,基于所述图像和所述图像对应的相对深度图,确定所述图像对应的高斯属性图,所述高斯属性图中包括所述图像中各像素点的高斯属性,所述高斯属性包括位置偏移量、旋转矩阵、缩放矩阵、不透明度和颜色参数,所述高斯属性图中的像素点与各所述图像反投影至三维空间得到的三维点一一对应;

48、校正模块,用于基于各所述像素点对应的位置偏移量对对应的三维点的基准中心位置进行校正,得到各所述像素点对应的高斯球的中心位置;

49、所述确定模块,还用于基于各所述高斯球的中心位置,确定所述目标车辆的参考侧;

50、所述确定模块,还用于将所述参考侧的高斯球通过镜像变换克隆至另一侧,并根据所述参考侧的高斯球和克隆后的高斯球,确定覆盖所述目标车辆表面的三维高斯模型。

51、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述基于车载视觉观测的车辆三维高斯模型构建方法。

52、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于车载视觉观测的车辆三维高斯模型构建方法。

53、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于车载视觉观测的车辆三维高斯模型构建方法。

54、本发明提供的基于车载视觉观测的车辆三维高斯模型构建方法和装置,通过获取针对目标车辆局部位置的多张图像及每张图像对应的相机位姿,将多张图像和对应的相机位姿输入视觉基础模型,通过深度估计得到各图像的相对深度图,通过尺度预测得到全局尺度因子,并基于全局尺度因子和各相对深度图确定覆盖目标车辆局部位置的、具有真实尺度的三维点云,三维点云由各图像反投影得到的三维点合并得到,三维点云中的每个三维点作为一个高斯球的基准中心位置,针对各图像,基于图像和图像对应的相对深度图,确定图像对应的高斯属性图,高斯属性图中包括图像中各像素点的高斯属性,高斯属性包括位置偏移量、旋转矩阵、缩放矩阵、不透明度和颜色参数,高斯属性图中的像素点与各图像反投影至三维空间得到的三维点一一对应,基于各像素点对应的位置偏移量对对应的三维点的基准中心位置进行校正,得到各像素点对应的高斯球的中心位置,基于各高斯球的中心位置,确定目标车辆的参考侧,将参考侧的高斯球通过镜像变换克隆至另一侧,并根据参考侧的高斯球和克隆后的高斯球,确定覆盖目标车辆表面的三维高斯模型。由于可以通过全局尺度因子将反投影得到的点云转换为具有真实尺度的三维点云,并利用位置偏移量对三维点云中各三维点的基准中心位置进行校正以得到高斯球的精确中心位置,另外,还可以基于高斯球分布确定参考侧并通过镜像变换克隆至另一侧以补全缺失的几何结构,从而可以在仅观测到车辆局部位置图像的情况下,构建出同时具备真实尺度与几何完整性的车辆三维高斯模型。