四维场景构建方法、装置、设备、介质和产品与流程

摘要: 本公开涉及场景重建技术,尤其是一种四维场景构建方法、装置、设备、介质和产品。背景技术:1、随着自动驾驶技术的快速发展,仿真系统对动态城市街道场景的高真实度建模与...
四维场景构建方法、装置、设备、介质和产品与流程

本公开涉及场景重建技术,尤其是一种四维场景构建方法、装置、设备、介质和产品。

背景技术:

1、随着自动驾驶技术的快速发展,仿真系统对动态城市街道场景的高真实度建模与渲染需求日益增长。当前,场景重建多采用基于标注的监督式方法,如street gaussians、omnire等,此类方法通常基于稠密激光雷达扫描数据、预校准的自车位姿以及人工三维跟踪标注完成建模,通过解耦场景组件或优化动态高斯位姿实现城市场景的重建与渲染。然而,该种场景重建方式数据依赖性强,建模成本高昂,且易引入噪声。

技术实现思路

1、为了解决上述技术问题,本公开实施例提供一种四维场景构建方法、装置、设备、介质和产品。

2、本公开实施例的一个方面,提供了一种四维场景构建方法,包括:获取多个视角的目标视频,任一视角的目标视频包括:动态目标、天空元素、地面元素和背景元素;基于各目标视频,确定全局背景点云、全局地面点云、环境纹理图和动态目标点云序列;获取所述全局背景点云、所述全局地面点云和所述动态目标点云序列分别对应的高斯参数;基于所述动态目标点云序列的高斯参数,确定所述动态目标的运动信息;基于所述各高斯参数、所述运动信息和所述环境纹理图,构建四维场景模型。

3、本公开实施例的另一个方面,提供了一种四维场景构建装置,包括:视频采集模块,用于获取多个视角的目标视频,任一视角的目标视频包括:动态目标、天空元素、地面元素和背景元素;点云获取模块,用于基于各目标视频,确定全局背景点云、全局地面点云、环境纹理图和动态目标点云序列;高斯创建模块,用于获取所述全局背景点云、所述全局地面点云和所述动态目标点云序列分别对应的高斯参数;运动模型创建模块,用于基于所述动态目标点云序列的高斯参数,确定所述动态目标的运动信息;场景创建模块,用于基于所述各高斯参数、所述运动信息和所述环境纹理图,构建四维场景模型。

4、本公开实施例的再一个方面,提供了一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现上述的方法。

5、本公开实施例的又一个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现上述的方法。

6、本公开实施例的再一个方面,提供了一种计算机程序产品,包括计算机程序指令,该计算机程序指令被处理器执行时实现上述的方法。

7、基于四维场景构建方法、装置、设备、介质和产品,通过纯视觉输入(多个视角的目标视频)实现了对动态场景的全自动四维重建,有效降低了数据采集与建模成本,摆脱了传统方法对激光雷达、预校准位姿及人工标注的依赖;同时,通过对场景中背景元素、地面元素、动态目标与天空元素的差异化表示与统一建模,能够更完整、准确的还原场景的静态几何结构及动态目标的运动轨迹,提升了模型的场景表达能力和时空一致性,为自动驾驶仿真、城市场景数字孪生等应用提供了高质量、低门槛的四维场景构建方案。

8、下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。

1.一种四维场景构建方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,基于所述各目标视频,确定全局背景点云和全局地面点云,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于各深度图序列,确定所述各目标视频的背景深度图序列和地面深度图系列,包括:

4.根据权利要求3所述的方法,其特征在于,所述获取自车位姿,包括:

5.根据权利要求2所述的方法,其特征在于,所述基于所述各目标视频,利用深度估计模型,确定所述各目标视频的深度图序列之后,还包括:

6.根据权利要求5所述的方法,其特征在于,所述获取尺度因子,包括:

7.根据权利要求1所述的方法,其特征在于,所述基于所述动态目标点云序列的高斯参数,确定所述动态目标的运动信息,包括:

8.根据权利要求1所述的方法,其特征在于,所述基于所述各高斯参数、所述运动信息和所述环境纹理图,构建四维场景模型,包括:

9.根据权利要求8所述的方法,其特征在于,所述真值信息包括:真值彩色图、真值深度图、真值动态目标掩码、真值天空掩码和真值背景掩码;所述渲染信息包括:渲染彩色图、渲染深度图、渲染动态目标掩码、渲染天空掩码和渲染背景掩码;

10.一种四维场景构建装置,其特征在于,包括:

11.一种电子设备,其特征在于,包括:

12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现上述权利要求1-9任一所述的方法。

13.一种计算机程序产品,包括计算机程序指令,其特征在于,该计算机程序指令被处理器执行时实现上述权利要求1-9任一所述的方法。