四维场景构建方法、装置、设备、介质和产品与流程
本公开涉及场景重建技术,尤其是一种四维场景构建方法、装置、设备、介质和产品。
背景技术:
1、随着自动驾驶技术的快速发展,仿真系统对动态城市街道场景的高真实度建模与渲染需求日益增长。当前,场景重建多采用基于标注的监督式方法,如street gaussians、omnire等,此类方法通常基于稠密激光雷达扫描数据、预校准的自车位姿以及人工三维跟踪标注完成建模,通过解耦场景组件或优化动态高斯位姿实现城市场景的重建与渲染。然而,该种场景重建方式数据依赖性强,建模成本高昂,且易引入噪声。
技术实现思路
1、为了解决上述技术问题,本公开实施例提供一种四维场景构建方法、装置、设备、介质和产品。
2、本公开实施例的一个方面,提供了一种四维场景构建方法,包括:获取多个视角的目标视频,任一视角的目标视频包括:动态目标、天空元素、地面元素和背景元素;基于各目标视频,确定全局背景点云、全局地面点云、环境纹理图和动态目标点云序列;获取所述全局背景点云、所述全局地面点云和所述动态目标点云序列分别对应的高斯参数;基于所述动态目标点云序列的高斯参数,确定所述动态目标的运动信息;基于所述各高斯参数、所述运动信息和所述环境纹理图,构建四维场景模型。
3、本公开实施例的另一个方面,提供了一种四维场景构建装置,包括:视频采集模块,用于获取多个视角的目标视频,任一视角的目标视频包括:动态目标、天空元素、地面元素和背景元素;点云获取模块,用于基于各目标视频,确定全局背景点云、全局地面点云、环境纹理图和动态目标点云序列;高斯创建模块,用于获取所述全局背景点云、所述全局地面点云和所述动态目标点云序列分别对应的高斯参数;运动模型创建模块,用于基于所述动态目标点云序列的高斯参数,确定所述动态目标的运动信息;场景创建模块,用于基于所述各高斯参数、所述运动信息和所述环境纹理图,构建四维场景模型。
4、本公开实施例的再一个方面,提供了一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现上述的方法。
5、本公开实施例的又一个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现上述的方法。
6、本公开实施例的再一个方面,提供了一种计算机程序产品,包括计算机程序指令,该计算机程序指令被处理器执行时实现上述的方法。
7、基于四维场景构建方法、装置、设备、介质和产品,通过纯视觉输入(多个视角的目标视频)实现了对动态场景的全自动四维重建,有效降低了数据采集与建模成本,摆脱了传统方法对激光雷达、预校准位姿及人工标注的依赖;同时,通过对场景中背景元素、地面元素、动态目标与天空元素的差异化表示与统一建模,能够更完整、准确的还原场景的静态几何结构及动态目标的运动轨迹,提升了模型的场景表达能力和时空一致性,为自动驾驶仿真、城市场景数字孪生等应用提供了高质量、低门槛的四维场景构建方案。
8、下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
1.一种四维场景构建方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,基于所述各目标视频,确定全局背景点云和全局地面点云,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于各深度图序列,确定所述各目标视频的背景深度图序列和地面深度图系列,包括:
4.根据权利要求3所述的方法,其特征在于,所述获取自车位姿,包括:
5.根据权利要求2所述的方法,其特征在于,所述基于所述各目标视频,利用深度估计模型,确定所述各目标视频的深度图序列之后,还包括:
6.根据权利要求5所述的方法,其特征在于,所述获取尺度因子,包括:
7.根据权利要求1所述的方法,其特征在于,所述基于所述动态目标点云序列的高斯参数,确定所述动态目标的运动信息,包括:
8.根据权利要求1所述的方法,其特征在于,所述基于所述各高斯参数、所述运动信息和所述环境纹理图,构建四维场景模型,包括:
9.根据权利要求8所述的方法,其特征在于,所述真值信息包括:真值彩色图、真值深度图、真值动态目标掩码、真值天空掩码和真值背景掩码;所述渲染信息包括:渲染彩色图、渲染深度图、渲染动态目标掩码、渲染天空掩码和渲染背景掩码;
10.一种四维场景构建装置,其特征在于,包括:
11.一种电子设备,其特征在于,包括:
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现上述权利要求1-9任一所述的方法。
13.一种计算机程序产品,包括计算机程序指令,其特征在于,该计算机程序指令被处理器执行时实现上述权利要求1-9任一所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com